RAC應(yīng)用集群介紹

1、RAC應(yīng)用集群一實(shí)施規(guī)劃1. 平臺：操作系統(tǒng)： RedHat Enterprise Linux Advanced Server 5.0存大?。?2048M交換空間： 2048M硬盤空間： 10G網(wǎng)卡配置： 2（public IP，Vitual IP ,Private IP）主機(jī)結(jié)點(diǎn)：2（node1，node2）存儲設(shè)備：1 （DB fies）2. 網(wǎng)絡(luò)規(guī)劃Node1 公共 192.168.100.101Node2 公共 192.168.100.102Node1-vip 虛擬 192.168.100.201Node2-vip 虛擬 192.168.100.202Node1-priv 專用 19.

2、168.100.101Node2-priv 專用 19.168.100.1023. 安裝流程>安裝虛擬機(jī)vmware Server 1.0.9>安裝RHEL5.4>配置RHEL操作系統(tǒng)>復(fù)制第二臺虛擬機(jī)>配置雙機(jī)信任關(guān)系>建立ASM存儲>安裝clusterware軟件>安裝database軟件>配置監(jiān)聽Listener>建立數(shù)據(jù)庫實(shí)例二新建虛擬機(jī)1選擇-新建，虛擬機(jī)名為RAC1，location為F:vmwareRAC1，網(wǎng)卡接口選擇橋接網(wǎng)絡(luò)方式(Use bridged networking)，適配器選擇LSI Logic，虛擬硬盤選

3、擇SCSI，硬盤容量選擇10G，然后選擇每次擴(kuò)充擴(kuò)充2G(Split disk into 2GB files)，不選擇立即分配。然后按Add添加硬盤，先添加一個100M的硬盤，選擇立即分配方式(Allocate all disk space now)，該盤作為VotingDisk盤，目錄存放位置為F:vmwaresharediskVotingdisk，虛擬設(shè)備結(jié)點(diǎn)選擇SCSI 1：1 Hard Disk2，模式選擇一致即：independent->persistent。然后再添加一個100M的硬盤，選擇立即分配，該盤作為OCRdisk盤，目錄存放位置為：F:vmwaresharedisk

4、OCRdisk，硬盤選擇SCSI 1：2，模式為 一致。再添加一個2G的硬盤用作ASM的數(shù)據(jù)文件的空間，選擇立即分配和2G擴(kuò)充一個文件，目錄位置為F:vmwaresharediskASMdisk，硬盤選擇SCSI 1：3，模式選擇一致。再添加一個1.3G的硬盤用作ASM的閃回區(qū)，選擇立即分配，目錄位置為F:vmwaresharediskASMdisk2，硬盤選擇SCSI 1：4，模式選擇一致性。再添加一塊網(wǎng)卡，用作兩臺虛擬機(jī)之間的通信，連接方式選擇Host-only模式并選擇（connect at power on）。2. 開啟該虛擬機(jī)，安裝RHEL 5.4，注意事項(xiàng)：交換分區(qū)分2G，主機(jī)名為

5、node1，eth0為192.168.100.101，eth1為19.168.100.101 作為node1-priv，自定義安裝包時，選擇開發(fā)、服務(wù)器以與基本系統(tǒng)的全部，防火墻關(guān)閉，selinux設(shè)為enabled禁用。安裝好之后，編輯F:vmwareRAC1Red Hat Linux.vmx，添加如下一段（可以使那四個磁盤真正的作為共享盤）：disk.locking = “false”disklib.dataCacheMaxSize = “0”disklib.dataCacheMaxReadAheadSize = “0”disklib.dataCacheMinReadAheadSize =

6、 “0”disklib.dataCachePageSize = “4096”disklib.maxUnsyncedWrites = “0”scsi1:1.deviceType = “disk”scsi1:2.deviceType = “disk”scsi1:3.deviceType = “disk”scsi1:4.deviceType = “disk”4. RHEL系統(tǒng)配置#uname r2.6.128-164.el5#vim /etc/hosts（加上如下一段）192.168.100.101 node1192.168.100.102 node2192.168.100.201 node1-vi

7、p192.168.100.202 node2-vip19.168.100.101 node1-priv19.168.100.102 node2-priv#vim /etc/sysctl.conf（加上如下一段）Kernel.shmall = 2097152Kernel.shmmax = 536870912Kernel.shmmni = 4096Kernel.sem = 250 32000 100 128Fs.file-max = 65536Net.ipv4.ip_local_port_range = 1024 65000Net.core.rmem_default = 1048576Net.co

8、re.rmem_max = 1048576Net.core.wmem_default = 262144Net.core.wmem_max = 262144#sysctl p （是該文件生效）#vim /etc/security/limits.conf（加上如下一段）Oracle soft nproc 2047Oracle hard nproc 16384Oracle soft nofile 1024Oracle hard nofile 65536#vim /etc/pam.d/login（加上如下一段）Session required /lib/security/pam_limits.so#v

9、im /etc/rc.loal (掛起檢測時間定時器，檢測對方有沒有宕機(jī))Modprobe hangcheck-timer hangcheck-tick=30 hangcheck_margin=20#groupadd oinstall#groupadd dba#useradd m g oinstall G dba#passwd oracle#vim /home/oracle/.bash_profileExport TMPDIR=/tmpExport ORACLE_BASE=/u01/app/oracleExport ORACLE_HOME=$ORACLE_BASE/product/10.2.0

10、/db_1Export ORACLE_SID=RACDB1Export ORACLE_TERM=xtermExport PATH=$ORACLE_HOME/bin:/usr/bin:$PATHExport LD_LIBRARY_PATH=$ORACLE_HOME/bin:/bin:/usr/bin:/usr/local/bin:/usr/X11R6/binExport CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlibUlimit u 16384 n 65536Umask 022#mkdir p /u01/a

11、pp/oracle#chown R oracle:oinstall /u01#chmod R 775 /u01#fdisk /dev/sdb#fdisk /dev/sdc#fdisk /dev/sdd#fdisk /dev/sde#partprobe#rpm ivh oracleasm-support-*#rpm ivh oracleasm-2.6.18-164.el5.*#rpm ivh oracleasmlib*#rpm ivh compat-gcc-7.3.2-2.96.128.i386.rpm#rpm Uvh compat-libstdc+-7* -force#rpm ivh comp

12、at-libstdc-devel-7.3.2#rpm ivh compat-gcc-c+* #service oracleasm configureOracleOinstallYY#vim /etc/udev/rules.d/60-raw.rules(加上如下一段)ACTION=”add”,KERNEL=”/dev/sdb1”,RUN+=”/bin/raw /dev/raw1 %N”ACTION=”add”,ENVMAJOR=”8”,ENVMINOR=”17”,RUN+=”/bin/raw /dev/raw/raw1 %M %m” ( 其中的主設(shè)備號可以通過ls l /dev/sd*

13、查看)ACTION=”add”,KERNEL=”/dev/sdc1”,RUN+=”/bin/raw /dev/raw2 %N”ACTION=”add”,ENVMAJOR=”8”,ENVMINOR=”33”,RUN+=”/bin/raw /dev/raw/raw2 %M %m”KERNEL=”raw1-2”,OWNER=”oracle”,GROUP=”oinstall”,MODE=”640”#start_udev#ls l /dev/raw/*#shutdown h now三復(fù)制出第二臺虛擬機(jī)1.將復(fù)制之后的名稱為RAC1的改為RAC2，另外編輯Red Hat Linux.vmx查找文件中的RA

14、C1將它改為RAC2，然后編輯RAC2.vmdk將文件中的RAC1改為RAC2（如下所示）:RW 4192256 SPARSE “RAC2-s001.vmdk”RW 4192256 SPARSE “RAC2-s002.vmdk”RW 4192256 SPARSE “RAC2-s003.vmdk”RW 4192256 SPARSE “RAC2-s004.vmdk”RW 4192256 SPARSE “RAC2-s005.vmdk”RW 10240 SPARSE “RAC2-s006.vmdk”2.打開RAC2，選擇Create3.配置node2操作系統(tǒng)#hostname node2#vim /e

15、tc/sysconfig/networkHOSTNAME=node2#vim /etc/hosts127.0.0.1 node2 localhost.localdomain localhost#cd /etc/sysconfig/network-scripts/#cat ifcfg-eth0.bak#cat ifcfg-eth0#cat ifcfg-eth1.bak#cat ifcfg-eth1#mv ifcfg-eth0.bak ifcfg-eth0#mv ifcfg-eth1.bak ifcfg-eth1#ifconfig eth0 | grep HWaddr#cat ifcfg-eth0

16、 | grep ADDR#ifconfig eth1 | grep Hwaddr#cat ifcfg-eth1 | grep ADDR#cat /home/oracle/.bash_profile | grep ORACLE_SIDExport ORACLE_SID=RACDB2#ping node1#ping node2#ping node1-priv#ping node2-priv4.時間同步Node2# ssh node1Node1# service xinetd startNode1# chkconfig time-stream onNode1# chkconfig xinetd on

17、Node1# chkconfig ntpd onNode1#service ntpd restartNode1#exitNode2#crontab e0-59/1 * * * * rdate s 192.168.100.1010-59/1 * * * * ntpdate 192.168.100.101Node2# > /etc/resolv.confNode2# ssh node1Node1# > /etc/resolv.conf四配置雙機(jī)信任關(guān)系Node1#su oracleNode1$ mkdir .sshNode1$ chmod 700 .sshNode1$ ssh-keyg

18、en t rsaNode1$ ssh-keygen -t dsaNode2#su oracleNode2$mkdir .sshNode2$chmod 700 .sshNode2$ssh-keygen -t rsaNode2$ssh-keygen -t dsaNode1$ cat /home/oracle/.ssh/id_rsa.pub >> /home/oracle/.ssh/authorized_keysNode1$ cat /home/oracle/.ssh/id_dsa.pub >> /home/oracle/.ssh/authorized_keysNode1$s

19、sh node2 cat /home/oracle/.ssh/id_rsa.pub >> /home/oracle/.ssh/authorized_keysNode1$ssh node2 cat /home/oracle/.ssh/id_dsa.pub >> /home/oracle/.ssh/authorized_keysNode1$ scp /home/oracle/.ssh/authorized_keys node2:/home/oracle/.ssh/authorized_keys五配置ASMNode1#service oracleasm configureNo

20、de1#service oracleasm createdisk vol1 /dev/sdd1Node1#service oracleasm createdisk vol2 /dev/sde1Node1#service oracleasm scandisksNode1#service oracleasm listdisksNode1#ssh node2Node2#service oracleasm scandisksNode2#service oracleasm listdisksNode2#exitNode1#cd /oradiskNode1#unzip oracle10g01_cluste

21、r*Node1#chown R oracle:oinstall /oradiskNode1#chmod R 775 /oradisk然后注銷以oracle登錄Node1$cd /oradisk/clusterware/cluvfyNode1$./runcluvfy.sh stage pre crsinst -n node1.node2 -verboseNode1$export LANG=en_USNode1$/oradisk/clusterware/runInstaller -ignoreSysPreReqs這里注意1.安裝路徑為/u01/app/oracle/product/10.2.0/c

22、rs_1 2.Specify Cluster Configuration 中添加上node2的信息 3.Specify Network Interface Usage中檢查一下eth0和eth1的接口類型有沒有反，應(yīng)該eth0為public，eth1為private。 4.指定OCR配置的路徑為/dev/raw/raw1，外部存儲 5.指定VotingDisk的路徑為/dev/raw/raw2，外部存儲 6.安裝過程中最重要的：在node2上用ntpdate 192.168.100.101與node1同步（手工進(jìn)行且最好是每兩三秒同步一次）。 7.當(dāng)安裝完成即出現(xiàn)要執(zhí)行兩個文件的窗口時，一定要

23、將如下步驟操作完之后才可以點(diǎn)擊OK。Node1#/u01/app/oracle/oraInventory/orainstRoot.shNode2#/u01/app/oracle/oraInventory/orainstRoot.shNode1#/u01/app/oracle/product/10.2.0/crs_1/root.sh（注意，在這里的執(zhí)行過程中要查看/dev/raw/raw*是不是屬于oracle和oinstall組）Node2#/u01/app/oracle/product/10.2.0/crs_1/root.sh(在這里執(zhí)行完會報錯，此時要修改/u01/app/oracle/p

24、roduct/10.2.0/crs_1/bin/vipca和srvctl )如下所示：Node2#vim vipcaif “Sarch” = “i686”o “Sarch” = “ia64” then LD_ASSUME_KERNEL=2.4.19 export LD_ASSUME_KERNELfiunset LD_ASSUME_KERNEL （加上這句話）Node2#vim srvctlLD_ASSUME_KERNEL=2.4.19export LD_ASSUME_KERNELunset LD_ASSUME_KERNEL（*） Node2#/u01/app/oracle/product/10

25、.2.0/crs_1/root.shNode2#cd /u01/app/oracle/product/10.2.0/crs_1/bin/Node2#export LANG=en_US.UTF-8Node2#./vipca (會報錯)Node2#./oifcfg iflistNode2#./oifcfg setif -global eth0/192.168.100.0:publicNode2#./oifcfg setif -global eth1/19.168.100.0:cluster_interconnectNode2#./oifcfg getifNode2#./vipca （該項(xiàng)配置過程中

26、注意兩個vip的配置，完成之后回到node1上的clusterware安裝界面點(diǎn)擊ok）集群軟件安裝完成之后：Node1#cd /u01/app/oracle/product/10.2.0/crs_1/binNode1#./crs_stat -t (可以看到有六個)Node1#ssh node2Node2#cd /u01/app/oracle/product/10.2.0/crs_1/binNode2#./crs_stat -tNode2#./crs_stop ora.node2.vipNode2#./crs_start ora.node2.vipNode2#tail -3 /etc/init

27、tabNode1#tail -3 /etc/inittab六Clusterware卸載自動卸載：$ORACLE_HOME/install/rootdelete.sh$ORACLE_HOME/install/rootdeinstall.sh手工卸載：#srvctl stop nodeapps n node1#rm -rvf /etc/oracle/*#rm -rvf /etc/init.d/init.*#rm -rvf /etc/rc3.d/*.crs#rm -rvf /etc/rc5.d/*.crs#cp /etc/inittab.orig /etc/inittab#ps ef | grep

28、crs#ps ef | grep css#ps ef | grep evm#rm rvf /tmp/.oracle/*#rm rvf /var/tmp/.oracle/*#rm -rvf /u01/app/oracle/*#dd if=/dev/zero of=/dev/Votingdisk bs=1024 count=100000#dd if=/dev/zero of=/dev/OCRdisk bs=1024 count=100000#dd if=/dev/zero of=/dev/ASMdisk bs=1024 count=2000000#dd if=/dev/zero of=/dev/A

29、SMdisk2 bs=1024 count=1300000#shutdown r now七安裝數(shù)據(jù)庫軟件檢查：Node1#cat /etc/hostsNode1#cat /etc/sysctl.confNode1#cat /etc/security/limits.confNode1#cat /etc/pam.d/loginNode1#cat /etc/redhat-releaseNode1#cat /home/oracle/.bash_profile注銷以oracle用戶登錄Node1$cd /oradisk/databaseNode1$./runInstaller ignoreSysPreR

30、eqs注意在指定路徑時的路徑：/u01/app/oracle/product/10.2.0/db_1 在Specify Hardware Cluster Installation Mode然后將node1和node2都勾選上。八.配置監(jiān)聽1. 選擇集群配置（Cluster configuration）2. 兩個結(jié)點(diǎn)都選上Node1$cd /u01/app/oracle/product/10.2.0/crs_1/bin/Node1$./crs_stat -tNode1$./crs_stat |moreNode1$./crs_stat -p |moreNode1$ssh node2Node2$cd

31、 /u01/app/oracle/product/10.2.0/crs_1/bin/Node2$./crs_stat -tNode2$./crs_stat | more (查詢每個name的具體信息)Node2$./crs_stat p |more（查詢更具體的信息）九建立數(shù)據(jù)庫實(shí)例Node1$dbca安裝的數(shù)據(jù)庫的名稱為RACDB選擇ASM自動存儲管理創(chuàng)建初始化參數(shù)文件的路徑為：ORACLE_BASE/admin/+ASM/pfile/init.oraASM的兩個磁盤建立成為外部的，一個命名為RAC_VOLGRP1,另一個命名為FLASH_RECOVERY_AREADatabae compo

32、nent中的em倉庫可選可不選字符集選成ZHS16GBK安裝完成之后：Node1$ cd /u01/app/oracle/product/10.2.0/crs_1/binNode1$ ./crs_stat -t (此時會看到十三個RAC的管理進(jìn)程)Node1$ ssh node2Node2$ cd /u01/app/oracle/product/10.2.0/crs_1/binNode2$ ./crs_stat -t (13個)十測試RACNode2斷電，不可使用shutdown h now，要使用非正常關(guān)機(jī)，否則不會產(chǎn)生飄移。Node1$ /u01/app/oracle/product/10.2.0/crs_1/bin/crs_stat t (等待時間為1-5分鐘就可以看到node2的虛擬IP飄移到了node1上)Node2上電，再來查看，會看到虛擬IP飄移了回來。十一.RAC啟停與警告文件