Oracle集群搭建步驟

1、一、版本說(shuō)明發(fā)現(xiàn)網(wǎng)上相關(guān)文章很多但是不是很專(zhuān)，因此細(xì)化版本為了使文章更加實(shí)用。這次搭建的是Oracle 11g R2 11.2.0.4的RAC環(huán)境，使用的操作系統(tǒng)版本為Oracle Linux 6.4點(diǎn)擊(此處)折疊或打開(kāi)1. rootnode1 # lsb_release -a2. LSB Version: :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarch3. D

2、istributor ID: OracleServer4. Description: Oracle Linux Server release 6.45. Release: 6.46. Codename: n/a內(nèi)核版本：點(diǎn)擊(此處)折疊或打開(kāi)1. rootnode1 # uname -r2. 2.6.39-400.17.1.el6uek.x86_64UEK代表Unbreakable Enterprise Kernel，是Oracle專(zhuān)門(mén)為Oracle Linux定制的內(nèi)核，可以提供在線支持和對(duì)數(shù)據(jù)庫(kù)的支持，算是OracleLinux的賣(mài)點(diǎn)之一。（本文中一些配置過(guò)程會(huì)因?qū)嵱肬EK版本而得到簡(jiǎn)化）

3、二、Oracle 11g R2 RAC安裝整體步驟1.服務(wù)器準(zhǔn)備 (system, storage, and network administration): 安裝操作系統(tǒng)并升級(jí)到滿(mǎn)足Oracle安裝要求的版本。 創(chuàng)建安裝所需要的組、用戶(hù)以及軟件的家目錄。 設(shè)置GNS域名如果您打算部署GNS，并且完成網(wǎng)絡(luò)地址在DNS和服務(wù)器上的配置。 設(shè)置所要求的存儲(chǔ)。 將所有安裝文件拷貝到一個(gè)節(jié)點(diǎn)上。2.安裝Oracle Grid集群基礎(chǔ)架構(gòu), 包括Oracle Clusterware和Oracle ASM (system and storage administration): 為集群安裝Oracle G

4、rid基礎(chǔ)架構(gòu)軟件。在安裝過(guò)程中，F(xiàn)ixup腳本進(jìn)行操作系統(tǒng)參數(shù)、SSH和用戶(hù)環(huán)境變量等參數(shù)的附加調(diào)整。 升級(jí)Oracle Clusterware和Oracle ASM到最新補(bǔ)丁。3.安裝Oracle RAC (database administration): 安裝Oracle RAC 打補(bǔ)丁到最新版本 完成安裝后的調(diào)試三、詳細(xì)安裝過(guò)程及說(shuō)明（參考官方文檔）1.通過(guò)SecureCRT或TerminalX建立命令行連接。2.在每一個(gè)節(jié)點(diǎn)上添加安裝Oracle Grid的用戶(hù)、組和家目錄，并設(shè)置權(quán)限。點(diǎn)擊(此處)折疊或打開(kāi)1. # /usr/sbin/groupadd -g 1000 oinst

5、all2. # /usr/sbin/groupadd -g 1020 asmadmin3. # /usr/sbin/groupadd -g 1021 asmdba4. # /usr/sbin/groupadd -g 1022 asmoper5. # /usr/sbin/groupadd -g 1031 dba6. # /usr/sbin/groupadd -g 1032 oper7. # useradd -u 1100 -g oinstall -G asmadmin,asmdba,asmoper,oper,dba grid8. # useradd -u 1101 -g oinstall -G

6、dba,asmdba,oper oracle9. # mkdir -p /u01/app/11.2.0/grid10. # mkdir -p /u01/app/grid11. # chown -R grid:oinstall /u0112. # mkdir /u01/app/oracle13. # chown oracle:oinstall /u01/app/oracle14. # chmod -R 775 /u01/參照官方文檔，采用GI與DB分開(kāi)安裝和權(quán)限的策略，對(duì)于多實(shí)例管理有利。3.檢查服務(wù)器各個(gè)節(jié)點(diǎn)的配置是否符合安裝要求I.服務(wù)器硬盤(pán)空間要求/tmp目錄大小至少：1GB安裝Grid

7、Infrastracture所需空間：6.6GB安裝Oracle Database所需空間：4GB此外安裝過(guò)程中分析、收集、跟蹤文件所需空間：10GB建議總共至少30GB，放心?。ù颂幉话珹SM或NFS的空間需求）II.服務(wù)器內(nèi)存要求內(nèi)存大?。褐辽?.5GBSwap大小：當(dāng)內(nèi)存為2.5GB-16GB時(shí)，Swap需要大于等于系統(tǒng)內(nèi)存。當(dāng)內(nèi)存大于16GB時(shí)，Swap等于16GB即可。III.檢查和調(diào)試代碼 查看內(nèi)存及Swap大小的命令如下。點(diǎn)擊(此處)折疊或打開(kāi)1. # grep MemTotal /proc/meminfo2. # grep SwapTotal /proc/meminfo 查看

8、/tmp目錄以及配置單獨(dú)lv的命令如下。點(diǎn)擊(此處)折疊或打開(kāi)1. # df -h /tmp2. # lvcreate -L 2G -n lv_tmp vg_temp3. # mount /dev/vg_temp/lv_tmp /tmp4. # df -h /tmp4.設(shè)置操作系統(tǒng)相關(guān)參數(shù) 這一項(xiàng)在非Oracle Linux的操作系統(tǒng)中算是一項(xiàng)比較繁瑣的工作，然而我們這次安裝的版本是Oracle Linux 6.4 withUnbreakable Enterprise Kernel，因此我們有了更簡(jiǎn)單的辦法，就是通過(guò)安裝Oracle Preinstallation RPM來(lái)實(shí)現(xiàn)相關(guān)操作系統(tǒng)參數(shù)

9、的調(diào)整和軟件包的安裝。這個(gè)安裝包主要完成以下工作： Automatically downloads and installs any additional RPM packages needed for installing Oracle Grid Infrastructure and Oracle Database, and resolves any dependencies Creates anoracleuser, and creates the oraInventory (oinstall) and OSDBA (dba) groups for that user As needed,

10、 setssysctl.confsettings, system startup parameters, and driver parameters to values based on recommendations from the Oracle Preinstallation RPM program Sets hard and soft resource limits Sets other recommended parameters, depending on your kernel version此安裝包位于操作系統(tǒng)安裝盤(pán)的Packages目錄下。點(diǎn)擊(此處)折疊或打開(kāi)1. # cd

11、 /mnt/install_DVD2. # cd Packages3. # ll | grep preinstall4. -rw-r-r- 1 root root 15524 Jan 16 2013 oracle-rdbms-server-11gR2-preinstall-1.0-7.el6.x86_64.rpm5. # rpm -ivh oracle-rdbms-server-11gR2-preinstall-1.0-7.el6.x86_64.rpm安裝包修改/etc/sysctl.conf的內(nèi)容如下：其中標(biāo)有oracle-rdbms-server-11gR2-preinstall字樣注釋的

12、便是安裝包所添加的參數(shù)。點(diǎn)擊(此處)折疊或打開(kāi)1. # cat /etc/sysctl.conf2. # Kernel sysctl configuration file for Red Hat Linux3. #4. # For binary values, 0 is disabled, 1 is enabled. See sysctl(8) and5. # sysctl.conf(5) for more details.6.7. # Controls IP packet forwarding8. net.ipv4.ip_forward = 09.10. # Controls source

13、route verification11. net.ipv4.conf.default.rp_filter = 112.13. # Do not accept source routing14. net.ipv4.conf.default.accept_source_route = 015.16. # Controls the System Request debugging functionality of the kernel17. kernel.sysrq = 018.19. # Controls whether core dumps will append the PID to the

14、 core filename.20. # Useful for debugging multi-threaded applications.21. kernel.core_uses_pid = 122.23. # Controls the use of TCP syncookies24. net.ipv4.tcp_syncookies = 125.26. # Disable netfilter on bridges.27. net.bridge.bridge-nf-call-ip6tables = 028. net.bridge.bridge-nf-call-iptables = 029. n

15、et.bridge.bridge-nf-call-arptables = 030.31. # Controls the default maxmimum size of a mesage queue32. kernel.msgmnb = 6553633.34. # Controls the maximum size of a message, in bytes35. kernel.msgmax = 6553636.37. # Controls the maximum shared segment size, in bytes38.39. # Controls the maximum numbe

16、r of shared memory segments, in pages40.41. # oracle-rdbms-server-11gR2-preinstall setting for fs.file-max is 42. fs.file-max = 43.44. # oracle-rdbms-server-11gR2-preinstall setting for kernel.sem is 250 32000 100 12845. kernel.sem = 250 32000 100 12846.47. # oracle-rdbms-server-11gR2-preinstall set

17、ting for kernel.shmmni is 409648. kernel.shmmni = 409649.50. # oracle-rdbms-server-11gR2-preinstall setting for kernel.shmall is on x86_6451. # oracle-rdbms-server-11gR2-preinstall setting for kernel.shmall is on i38652. kernel.shmall = 53.54. # oracle-rdbms-server-11gR2-preinstall setting for kerne

18、l.shmmax is 04 on x86_6455. # oracle-rdbms-server-11gR2-preinstall setting for kernel.shmmax is on i38656. kernel.shmmax = 0457.58. # oracle-rdbms-server-11gR2-preinstall setting for net.core.rmem_default is 59. net.core.rmem_default = 60.61. # oracle-rdbms-server-11gR2-preinstall setting for net.co

19、re.rmem_max is 62. net.core.rmem_max = 63.64. # oracle-rdbms-server-11gR2-preinstall setting for net.core.wmem_default is 65. net.core.wmem_default = 66.67. # oracle-rdbms-server-11gR2-preinstall setting for net.core.wmem_max is 68. net.core.wmem_max = 69.70. # oracle-rdbms-server-11gR2-preinstall s

20、etting for fs.aio-max-nr is 71. fs.aio-max-nr = 72.73. # oracle-rdbms-server-11gR2-preinstall setting for net.ipv4.ip_local_port_range is 9000 6550074. net.ipv4.ip_local_port_range = 9000 655005.配置Oracle網(wǎng)絡(luò)I.硬件配置要求 每個(gè)服務(wù)器節(jié)點(diǎn)至少需要2塊網(wǎng)卡，一塊對(duì)外網(wǎng)絡(luò)接口，一塊私有網(wǎng)絡(luò)接口（心跳）。 如果你通過(guò)OUI安裝Oracle集群軟件，需要保證每個(gè)節(jié)點(diǎn)用于外網(wǎng)或私網(wǎng)接口（網(wǎng)卡名）保證一致

21、。比如，node1使用eth0作為對(duì)外接口，node2就不能使用eth1作為對(duì)外接口。II.IP配置要求 存在為集群服務(wù)的DHCP DHCP能為每個(gè)節(jié)點(diǎn)提供足夠的IP，一個(gè)虛擬IP、3個(gè)SCAN IPIII.非GNS下手動(dòng)配置IP實(shí)例6.檢查操作系統(tǒng)軟件包首先，根據(jù)操作系統(tǒng)版本到官方文檔中找到安裝包需求列表，如下圖可以通過(guò)mount安裝盤(pán)或直接通過(guò)yum源檢查和安裝所需要的包：點(diǎn)擊(此處)折疊或打開(kāi)1. # rpm -qa packages_name2. # rpm -ivh packages_name3.4. # yum list packages_name5. # yum install

22、packages_name這里還要提一下：CVUdisk這個(gè)包也可以在這個(gè)時(shí)候一起安裝好，以備之后使用CVU時(shí)會(huì)用到。點(diǎn)擊(此處)折疊或打開(kāi)1. # 檢查是否已經(jīng)安裝2. # rpm -qi cvuqdisk3. # 如果已安裝需要先卸載之前的版本4. # rpm -e cvuqdisk5. # 安裝新版本6. # CVUQDISK_GRP=oinstall; export CVUQDISK_GRP7. # rpm -ivh cvuqdisk-1.0.9-1.rpm7.關(guān)閉NTP及端口范圍參數(shù)修改點(diǎn)擊(此處)折疊或打開(kāi)1. # Oracle建議使用Oracle Cluster Time Syn

23、chronization Service，因此關(guān)閉刪除NTP2. # /sbin/service ntpd stop3. # chkconfig ntpd off4. # rm /etc/ntp.conf (mv /etc/ntp.conf /etc/ntp.conf.old)5. # rm /var/run/ntpd.pid6.7. 檢查T(mén)CP/UDP端口范圍8. #cat /proc/sys/net/ipv4/ip_local_port_range9. 如果已經(jīng)顯示9000 65500,就不用進(jìn)行下面的步驟了10. # echo 9000 65500 /proc/sys/net/ipv4/

24、ip_local_port_range11. # vim /etc/sysctl.conf12. # 添加此行：13. # TCP/UDP port range14. net.ipv4.ip_local_port_range = 9000 6550015. # 重啟網(wǎng)絡(luò)16. # /etc/rc.d/init.d/network restart8.調(diào)整.bash_profile內(nèi)容并設(shè)置顯示地址點(diǎn)擊(此處)折疊或打開(kāi)1. 設(shè)置參數(shù)：2. $ su - root3. # mkdir /mount_point/tmp4. # chmod 775 /mount_point/tmp5. # exit6

25、.7. $ vi .bash_profile8. 加入行：9. TEMP=/mount_point/tmp10. TMPDIR=/mount_point/tmp11. export TEMP TMPDIR12. 加入行：umask 02213. 加入行：DISPLAY=local_IP:0.0 ; export DISPLAY14. local_IP為你要將安裝視圖所顯示的桌面地址15.16. 檢查設(shè)置參數(shù)17. $ umask18. $ env | more19. $ echo $DISPLAY20. $ echo $TEMP21. $ echo $TMPDIR9.配置SSH互信這是很關(guān)鍵的

26、一步，雖然官方文檔中聲稱(chēng)安裝GI和RAC的時(shí)候OUI會(huì)自動(dòng)配置SSH，但為了在安裝之前使用CVU檢查各項(xiàng)配置，還是手動(dòng)配置互信更優(yōu)。點(diǎn)擊(此處)折疊或打開(kāi)1. 配置過(guò)程如下：2. 各節(jié)點(diǎn)生成Keys：3. rootrac1 # su - oracle4. oraclerac1 $ mkdir /.ssh5. oraclerac1 $ chmod 700 /.ssh6. oraclerac1 $ ssh-keygen -t rsa7. oraclerac1 $ ssh-keygen -t dsa8. rootrac2 # su - oracle9. oraclerac2 $ mkdir /.ss

27、h10. oraclerac2 $ chmod 700 /.ssh11. oraclerac2 $ ssh-keygen -t rsa12. oraclerac2 $ ssh-keygen -t dsa13.14. 在節(jié)點(diǎn)1上進(jìn)行互信配置：15. oraclerac1 $ touch /.ssh/authorized_keys16. oraclerac1 $ cd /.ssh17. oraclerac1 .ssh$ ssh rac1 cat /.ssh/id_rsa.pub authorized_keys18. oraclerac1 .ssh$ ssh rac2 cat /.ssh/id_rs

28、a.pub authorized_keys19. oraclerac1 .ssh$ ssh rac1 cat /.ssh/id_dsa.pub authorized_keys20. oraclerac1 .ssh$ ssh rac2 cat /.ssh/id_dsa.pub authorized_keys21.22. 在rac1把存儲(chǔ)公鑰信息的驗(yàn)證文件傳送到rac2上23. oraclerac1 .ssh$ pwd24. /home/oracle/.ssh25. oraclerac1 .ssh$ scp authorized_keys rac2:pwd26. oraclerac2s passw

29、ord:27. authorized_keys 100% 1644 1.6KB/s 00:0028.29. 設(shè)置驗(yàn)證文件的權(quán)限30. 在每一個(gè)節(jié)點(diǎn)執(zhí)行：31. $ chmod 600 /.ssh/authorized_keys32.33. 啟用用戶(hù)一致性34. 在你要運(yùn)行OUI的節(jié)點(diǎn)以oracle用戶(hù)運(yùn)行(這里選擇rac1)：35. oraclerac1 .ssh$ exec /usr/bin/ssh-agent $SHELL36. oraclerac1 .ssh$ ssh-add37. Identity added: /home/oracle/.ssh/id_rsa (/home/oracl

30、e/.ssh/id_rsa)38. Identity added: /home/oracle/.ssh/id_dsa (/home/oracle/.ssh/id_dsa)39.40. 驗(yàn)證ssh配置是否正確41. 以oracle用戶(hù)在所有節(jié)點(diǎn)分別執(zhí)行：42. ssh rac1 date43. ssh rac2 date44. ssh rac1-priv date45. ssh rac2-priv date46.47. 如果不需要輸入密碼就可以輸出時(shí)間，說(shuō)明ssh驗(yàn)證配置成功。必須把以上命令在兩個(gè)節(jié)點(diǎn)都運(yùn)行，每一個(gè)命令在第一次執(zhí)行的時(shí)候需要輸入yes。48. 如果不運(yùn)行這些命令，即使ssh驗(yàn)證已

31、經(jīng)配好，安裝clusterware的時(shí)候也會(huì)出現(xiàn)錯(cuò)誤：49. The specified nodes are not clusterable50. 因?yàn)?，配好ssh后，還需要在第一次訪問(wèn)時(shí)輸入yes，才算是真正的無(wú)障礙訪問(wèn)其他服務(wù)器。請(qǐng)謹(jǐn)記，SSH互信需要實(shí)現(xiàn)的就是各個(gè)節(jié)點(diǎn)之間可以無(wú)密碼進(jìn)行SSH訪問(wèn)。10.為Grid集群基礎(chǔ)軟件配置存儲(chǔ)（使用ASM）Oracle所允許的存儲(chǔ)主要有ASM、NFS和ACFS等，這里僅介紹ASM的配置過(guò)程。（1）安裝ASM配置軟件點(diǎn)擊(此處)折疊或打開(kāi)1. 依然是可以通過(guò)yum或者系統(tǒng)DVD光盤(pán)安裝2. # cd /mnt/install_DVD/Packages

32、3. # rpm -qi oracleasm4. # rpm -qi oracleasm-support5. # rpm -qi oracleasm-support-2.1.8-1.el6.x86_64.rpm6. /我們是Oracle Linux系統(tǒng)，此版本已經(jīng)集成了oracleasm和oracleasmlib，所以就不用再安裝了（2）規(guī)劃ASM磁盤(pán)組官方文檔中規(guī)定了不同冗余策略下OCR、Voting Disk、Database和Recovery所需求的大小。找到存儲(chǔ)管理員，把規(guī)劃好的磁盤(pán)都讓他給你配置好（3）配置ASM點(diǎn)擊(此處)折疊或打開(kāi)1. 格式化每個(gè)磁盤(pán)2. rootrac1 # fdisk /dev/sdb3.4. 完成后我們通過(guò)fdisk -l查看一下5. rootrac1 # fdisk -l6.7. rootrac1 # /usr/sbin/oracleasm configure -i8. Default user to own the driver interface : grid9