HACMP配置與維護(hù)手冊(cè).doc

POWER HA5.5配置與維護(hù)手冊(cè)2010年9月2日目錄第一章 一體化系統(tǒng)HACMP配置41.1系統(tǒng)結(jié)構(gòu)圖41.2拓?fù)湟?guī)劃41.3磁盤資源規(guī)劃51.4應(yīng)用規(guī)劃61.5操作系統(tǒng)要求7第二章HACMP日常維護(hù)92.1HACMP服務(wù)正常啟停92.1.1HACMP啟動(dòng)92.1.2停止HA102.2查看HACMP集群服務(wù)狀態(tài)112.2.1查看HACMP服務(wù)狀態(tài)112.2.2查看資源組的狀態(tài)112.2.3查看HACMP集群狀態(tài)12第三章系統(tǒng)切換方案133.1rlw1機(jī)器應(yīng)用出現(xiàn)故障，HACMP資源切換133.1.1切換rlw1_apprg資源組133.1.2恢復(fù)rlw1_apprg資源組143.2hg2機(jī)器應(yīng)用出現(xiàn)故障，HACMP資源切換163.2.1切換rlw2_orarg資源組163.2.2恢復(fù)rlw2_orarg資源組18第四章HACMP切換測(cè)試204.1網(wǎng)卡故障模擬測(cè)試204.2rlw1 系統(tǒng)單機(jī)故障模擬測(cè)試214.3rlw2 系統(tǒng)單機(jī)故障模擬測(cè)試234.4rlw1系統(tǒng)HA 手工切換測(cè)試254.5rlw2系統(tǒng)HA 手工切換測(cè)試27第一章 一體化系統(tǒng)HACMP配置1.1 系統(tǒng)結(jié)構(gòu)圖 Persistent Network P780(1)主機(jī)(LPAR rlw1) 共享磁盤陣列（HDS USPV存儲(chǔ)系統(tǒng))心跳線(tty0) ent2 ent0P780(2) 主機(jī)(LPAR rlw2) ent2ent0 Service Network1.2 拓?fù)湟?guī)劃CLUSTER NAME:rlwcluster NetworkNode Name : rlw1rlw2Service IP (Default gate: 26/28)192.168.1/28（net_ether_01) Label rlw1_serrlw2_ser Address 121.xxx21.xxxPersistent IP (Default gate: 26/28)192.168.1/28（net_ether_01)Labelrlw1rlw2Address 10221.7.0/28（net_ether_01) Label rlw1_boot1rlw2_boot1 Address 191192.168.0/28（net_ether_01) Label rlw1_boot2rlw2_boot2 Address 291Comm. Devnet_rs232_01Device name rlw1_tty0_01 path/dev/tty0Node name rlw1net_rs232_01Device name rlw2_tty0_01 path/dev/tty0Node namerlw2rlw1機(jī)器boot1地址配置在第一塊外置網(wǎng)卡上（en0），將boot2地址配置在第二塊外置網(wǎng)卡（en2），persistent ip地址綁在第二塊外置網(wǎng)卡上（en2）；rlw2機(jī)器boot1地址配置在第一塊外置網(wǎng)卡上（en0），將boo2地址配置在第二塊外置網(wǎng)卡（en2），persistent ip地址綁在第二塊外置網(wǎng)卡上（en2）。將兩個(gè)LPAR的兩塊外置網(wǎng)卡分別連接在兩個(gè)網(wǎng)絡(luò)交換機(jī)上,屬同一個(gè)vlan。Node Namerlw1rlw2備注Boot1 IPen0en0Boot2 IPen2en2Persistent IPen2en21.3 磁盤資源規(guī)劃卷組名邏輯卷名文件系統(tǒng)物理卷名備注appvgapplv/appHdisk4/5/6rlw1batchlv/batchoraclevglv_data1/oracleHdisk7/8/9rlw2lv_data2/oracle1lv_data2/oracle21.4 應(yīng)用規(guī)劃Application ServerNamerlw1_app Start Script/opt/app_script/rwpstart.sh Stop Script/opt/app_script/rwpstop.shNamerlw2_app Start Script/opt/ora_script/ora_start.sh Stop Script/opt/ora_script/ora_stop.shResource GroupNamerlw1_apprgrlw2_orarg Participating Node rlw1 rlw2rlw2 rlw1 Startup PolicyOnline On Home Node Only Online On Home Node Only Fallover PolicyFallover To Next Priority Node In The ListFallover To Next Priority Node In The List Fallback PolicyNever Fallback Never Fallback Service Labelrlw1_serrlw2_ser Application Serverrlw1_apprlw2_app Share File Systems/app /batch/oracle /oracle1 /oracle2Share Volume Groupappvgoraclevg1.5 操作系統(tǒng)要求Required AIX 6.1 BOS ComponentsThe following AIX 5L base operating system (BOS) components are required for HACMP: AIX 6.1 BOS ComponentAIX 5L v.5.3AIX 5L .tcp.server04bos.rte.SRC00bos.rte.libc04bos.rte.libcfg0bos.rte.libcur00bos.rte.libpthreads02bos.rte.odm01bos.rte.lvm.rte (required only using Concurrent Logical Volume Manager for concurrent access)bos.clvm.enh (required only using Concurrent Logical Volume Manager for concurrent access) Requirements for RSCTInstall the RSCT images before installing HACMP. Ensure that each node has the same version of RSCT. To determine if the appropriate filesets are installed and their level, issue the following commands:/usr/bin/lslpp -l pat.basic.hacmp/usr/bin/lslpp -l pat.clients.hacmp/usr/bin/lslpp -l rsct.basic.rte第二章 HACMP日常維護(hù)2.1 HACMP服務(wù)正常啟停2.1.1 HACMP啟動(dòng)正常HACMP啟動(dòng)，首先啟動(dòng)rlw1機(jī)器上HACMP服務(wù)，然后啟動(dòng)rlw2上的HACMP服務(wù)。操作步驟如下：以root用戶登錄rlw1服務(wù)器，執(zhí)行#smit clstart 啟動(dòng)rlw1 上面的HA 服務(wù)。啟動(dòng)的選項(xiàng)有三個(gè)：now，restart，both一般選擇默認(rèn)的now既可，即立即啟動(dòng)HA。Restart 表示在下次系統(tǒng)重新啟動(dòng)后，系統(tǒng)自動(dòng)HABoth 表示立即啟動(dòng)HA，并且在下次系統(tǒng)啟動(dòng)后，也自動(dòng)啟動(dòng)HA。選擇響應(yīng)選項(xiàng)后，回車既可。同時(shí)查看hacmp.out啟動(dòng)信息：#tail f /var/hacmp/log/hacmp.out等rlw1啟動(dòng)成功后，登錄rlw2上的HACMP 服務(wù)器，啟動(dòng)rlw2主機(jī)上面的HA 服務(wù)。2.1.2 停止HA正常情況下停止是先停rlw1機(jī)器上的HACMP服務(wù)，然后停rlw2上的HACMP服務(wù)。操作步驟如下：以root用戶登錄rlw1服務(wù)器，#smitty clstop停止時(shí)候于三個(gè)停止選項(xiàng)可以選擇: Bring Resource Groups Offline 表示停止HA服務(wù)并釋放資源組資源，其它節(jié)點(diǎn)不接管其資源。Move Resource Groups 表示停止HA服務(wù)并釋放資源組資源，其它節(jié)點(diǎn)接管其資源。Unmanaged Resource Groups 表示停止HA服務(wù)，但是不釋放資源?？梢圆捎猛瑯臃绞降卿況lw2機(jī)器，停止rlw2主機(jī)上面的HA 服務(wù)。2.2 查看HACMP集群服務(wù)狀態(tài)2.2.1 查看HACMP服務(wù)狀態(tài)可以通過命令查看節(jié)點(diǎn)HACMP的服務(wù)狀態(tài)。操作步驟如下：以root用戶登錄rlw1服務(wù)器：進(jìn)入到/usr/es/sbin/cluster/utilities目錄，執(zhí)行./clshowsrv vtopsvcs、grpsvcs 、emsvcs、emaixos、ctrmc、clcomdES、clstrmgrES、clinfoES這些服務(wù)的狀態(tài)是active的說明HAMCP的服務(wù)正常2.2.2 查看資源組的狀態(tài)可以通過命令查看節(jié)點(diǎn)資源組的狀態(tài)。操作步驟如下：以root用戶登錄rlw1服務(wù)器：進(jìn)入到/usr/es/sbin/cluster/utilities目錄，執(zhí)行./clRGinfo-Group Name State Node -rlw2_orarg ONLINE rlw2 OFFLINE rlw1 rlw1_apprg ONLINE rlw1 OFFLINE rlw2 資源組rlw2_orarg在rlw2上是online的狀態(tài)，資源組rlw1_apprg在rlw1上是online的狀態(tài)2.2.3 查看HACMP集群狀態(tài)可以通過命令查看節(jié)點(diǎn)HACMP集群的狀態(tài)。操作步驟如下：以root用戶登錄rlw1服務(wù)器：進(jìn)入到/usr/es/sbin/cluster目錄，執(zhí)行./clstatCluster: rlwcluster Thu Aug 20 02:53:48 CDT 2010 State: UP Nodes: 2 SubState: STABLE Node: rlw1 State: UP Interface: rlw1_boot1 (1) Address: 7 State: UP Interface: rlw2_boot2 (1) Address: 7 State: UP Node: rlw2 State: UP Interface: rlw2_boot1 (1) Address: 9 State: UP Interface: rlw2_boot2 (1) Address: 9 State: UP第三章 系統(tǒng)切換方案3.1 rlw1機(jī)器應(yīng)用出現(xiàn)故障，HACMP資源切換3.1.1 切換rlw1_apprg資源組1. 在rlw1機(jī)器上移除rlw1_apprg到rlw2#smitty hacmp選擇第3項(xiàng)：System Management(C-SPOC),然后回車。顯示如下：選擇第3項(xiàng)：HACMP Resource Groupand Application Management，然后回車。顯示如下：選擇第4項(xiàng)：Move a Resource Groups to Another Node/Site，然后回車。選擇第1項(xiàng)：Move Resource Groups to Another Node，然后回車 。選擇資源組：rlw1_apprg 然后回車確認(rèn)選擇移到的節(jié)點(diǎn)：rlw2 然后回車確認(rèn)，則開始從切換資源組2. 檢查切換狀態(tài)在rlw2機(jī)器上查看hacmp.out文件，看是否成功啟動(dòng)# tail f /var/hacmp/log/hacmp.out3.1.2 恢復(fù)rlw1_apprg資源組rlw1機(jī)器恢復(fù)，重新接管資源rlw1_apprg1、 在rlw2機(jī)器上移除rlw1_apprg到rlw1#smitty hacmp選擇第3項(xiàng)：System Management(C-SPOC),然后回車。顯示如下：選擇第3項(xiàng)：HACMP Resource Groupand Application Management，然后回車。顯示如下：選擇第4項(xiàng)：Moving a Resource Groups to Another Node/Site，然后回車。選擇第1項(xiàng)：Move Resource Groups to Another Node，然后回車 。選擇資源組：rlw1_apprg 然后回車確認(rèn)選擇移到的節(jié)點(diǎn)：rlw1 然后回車確認(rèn)，則開始從切換資源組2、 rlw1機(jī)器上查看hacmp.out文件，看是否成功啟動(dòng)# tail f /var/hacmp/log/hacmp.out3.2 hg2機(jī)器應(yīng)用出現(xiàn)故障，HACMP資源切換3.2.1 切換rlw2_orarg資源組1. 在rlw2機(jī)器上移除rlw2_orarg到rlw1#smitty hacmp選擇第3項(xiàng)：System Management(C-SPOC),然后回車。顯示如下：選擇第3項(xiàng)：HACMP Resource Groupand Application Management，然后回車。顯示如下：選擇第3項(xiàng)：Moving a Resource Groups to Another Node/Site，然后回車。選擇第1項(xiàng)：Move Resource Groups to Another Node，然后回車 。選擇資源組：rlw2_orarg 然后回車確認(rèn)選擇移到的節(jié)點(diǎn)：rlw1 然后回車確認(rèn)，則開始從切換資源組2. rlw1機(jī)器上查看hacmp.out文件，看是否成功啟動(dòng)# tail f /var/hacmp/log/hacmp.out3.2.2 恢復(fù)rlw2_orarg資源組1、 在rlw1機(jī)器上移除rlw2_orarg到rlw2#smitty hacmp選擇第3項(xiàng)：System Management(C-SPOC),然后回車。顯示如下：選擇第3項(xiàng)：HACMP Resource Groupand Application Management，然后回車。顯示如下：選擇第4項(xiàng)：Moving a Resource Groups to Another Node/Site，然后回車。選擇第1項(xiàng)：Move Resource Groups to Another Node，然后回車 。選擇資源組：rlw2_orarg 然后回車確認(rèn)選擇移到的節(jié)點(diǎn)：rlw2 然后回車確認(rèn)，則開始從切換資源組2、 rlw2機(jī)器上查看hacmp.out文件，看是否成功啟動(dòng)# tail f /var/hacmp/log/hacmp.out第四章 HACMP切換測(cè)試4.1 網(wǎng)卡故障模擬測(cè)試 按照下面測(cè)試表格，分別在rlw1,rlw2兩臺(tái)臺(tái)主機(jī)節(jié)點(diǎn)上面進(jìn)行測(cè)試。測(cè)試項(xiàng)目網(wǎng)卡故障模擬測(cè)試施工單位序號(hào)測(cè)試時(shí)間分鐘測(cè)試目的測(cè)試HACMP對(duì)網(wǎng)卡故障的保護(hù)能力操作預(yù)備條件操作系統(tǒng)運(yùn)行正常、HACMP運(yùn)行正常操作步驟序號(hào)內(nèi)容測(cè)試項(xiàng)目描述預(yù)期結(jié)果實(shí)際結(jié)果1# ps ef | grep cluster；確認(rèn)所有節(jié)點(diǎn)上的HACMP已啟動(dòng)。所有節(jié)點(diǎn)上的HACMP都已經(jīng)啟動(dòng)2# errclear 0；清空系統(tǒng)錯(cuò)誤日志。#tailf/var/hacmp/log/hacmp.out；監(jiān)控HACMP的運(yùn)行狀態(tài)。3# ifconfig en down；宕掉Service網(wǎng)卡。Service網(wǎng)卡down4# netstat in；查看另一塊boot網(wǎng)卡是否接管了宕掉的Service網(wǎng)卡的IP地址已經(jīng)接管Service網(wǎng)卡上的IP地址5使用客戶端連接數(shù)據(jù)庫，并對(duì)數(shù)據(jù)庫做簡(jiǎn)單操作，驗(yàn)證數(shù)據(jù)庫完整性數(shù)據(jù)庫正常連接，數(shù)據(jù)完整6# ifconfig en up 恢復(fù)先前宕掉的service 網(wǎng)卡網(wǎng)卡恢復(fù)本項(xiàng)測(cè)試結(jié)論通過 未通過 部分通過 備注（存在的問題及整改措施）4.2 rlw1 系統(tǒng)單機(jī)故障模擬測(cè)試測(cè)試項(xiàng)目單機(jī)故障模擬測(cè)試施工單位主機(jī)序列號(hào)測(cè)試時(shí)間分鐘測(cè)試目的測(cè)試HACMP的高可用性操作預(yù)備條件操作系統(tǒng)運(yùn)行正常、HACMP運(yùn)行正常操作步驟序號(hào)內(nèi)容測(cè)試項(xiàng)目描述預(yù)期結(jié)果實(shí)際結(jié)果1# ps ef | grep cluster；確認(rèn)所有節(jié)點(diǎn)（rlw1, rlw2）上的HACMP已啟動(dòng)。所有節(jié)點(diǎn)上的HACMP都已經(jīng)啟動(dòng)2# errclear 0；清空系統(tǒng)錯(cuò)誤日志。在rlw2主機(jī)執(zhí)行：# tailf/var/hacmp/log/hacmp.out；監(jiān)控HACMP的運(yùn)行狀態(tài)。3在rlw1節(jié)點(diǎn)上 # halt -q系統(tǒng)宕機(jī)4在 rlw2 節(jié)點(diǎn)上# netstat in、# lsvg o、# ps ef APP_PID，查看備份節(jié)點(diǎn)是否接管了故障節(jié)點(diǎn)的Service地址、共享卷組和應(yīng)用程序rlw1已經(jīng)接管了故障節(jié)點(diǎn)的Service地址、共享卷組和應(yīng)用程序5重新啟動(dòng)故障節(jié)點(diǎn)，并啟動(dòng)HACMP6# netstat in、# lsvg o、# ps ef APP_PID，查看該節(jié)點(diǎn)是否將原屬于他的Service地址、共享卷組和應(yīng)用程序接管回來了原屬于rlw1的Service地址、共享卷組和應(yīng)用程序不接管回來了7在rlw2上mv rlw1_apprg資源組在rlw1上面online rlw1_apprg資源組Rlw1手動(dòng)接管rlw1_apprg資源和service IP本項(xiàng)測(cè)試結(jié)論通過 未通過 部分通過 備注（存在的問題及整改措施）4.3 rlw2 系統(tǒng)單機(jī)故障模擬測(cè)試測(cè)試項(xiàng)目單機(jī)故障模擬測(cè)試施工單位主機(jī)序列號(hào)測(cè)試時(shí)間分鐘測(cè)試目的測(cè)試HACMP的高可用性操作預(yù)備條件操作系統(tǒng)運(yùn)行正常、HACMP運(yùn)行正常操作步驟序號(hào)內(nèi)容測(cè)試項(xiàng)目描述預(yù)期結(jié)果實(shí)際結(jié)果1# ps ef | grep cluster；確認(rèn)所有節(jié)點(diǎn)（rlw1, rlw2）上的HACMP已啟動(dòng)。所有節(jié)點(diǎn)上的HACMP都已經(jīng)啟動(dòng)2# errclear 0；清空系統(tǒng)錯(cuò)誤日志。# tailf/var/hacmp/log/hacmp.out；監(jiān)控HACMP的運(yùn)行狀態(tài)。3在 rlw1 節(jié)點(diǎn)上# netstat in、# lsvg o、# ps ef APP_PID，查看備份節(jié)點(diǎn)是否接管了故障節(jié)點(diǎn)的Service地址、共享卷組和應(yīng)用程序rlw1已經(jīng)接管了故障節(jié)點(diǎn)的Service地址、共享卷組和應(yīng)用程序4重新啟動(dòng)故障節(jié)點(diǎn)，并啟動(dòng)HACMP6# netstat in、# lsvg o、# ps ef APP_PID，查看該節(jié)點(diǎn)是否將原屬于他的Service地址、共享卷組和應(yīng)用程序接管回來了rlw2_orarg資源和service IP不切換到rlw2節(jié)點(diǎn)7在rlw1上面mv rlw2_orarg資源組在rlw2上面online rlw2_orarg資源組Rlw2手動(dòng)接管rlw2_orarg資源和service IP本項(xiàng)測(cè)試結(jié)論通過 未通過 部分通過 備注（存在的問題及整改措施）4.4 rlw1系統(tǒng)HA 手工切換測(cè)試測(cè)試項(xiàng)目手工切換測(cè)試施工單位序號(hào)測(cè)試時(shí)間分鐘測(cè)試目的測(cè)試HA手工切換接管是否正常操作預(yù)備條件該測(cè)試必須在網(wǎng)絡(luò)環(huán)境中進(jìn)行，確保兩臺(tái)服務(wù)器上HACMP處于啟動(dòng)狀態(tài)。操作步驟序號(hào)內(nèi)容測(cè)試項(xiàng)目描述預(yù)期結(jié)果實(shí)際結(jié)果1# ps ef | grep cluster；確認(rèn)所有節(jié)點(diǎn)上的HACMP已啟動(dòng)。測(cè)試兩個(gè)節(jié)點(diǎn)上的HA 都已經(jīng)正常啟動(dòng)。所有節(jié)點(diǎn)上的HACMP都已經(jīng)啟動(dòng)2停止rlw1節(jié)點(diǎn)上的HACMP服務(wù)用smit停止rlw1上的HACMP，選擇takeover 模式可以正常停止3檢查rlw1上面的資源用# netstat in；lsvg o,df 命令查看rlw1上面的資源相關(guān)資源已經(jīng)不存在4檢查rlw2上面的資源用# netstat in；lsvg o,df ，ps ef APP_PID命令查看rlw2上面的資源已經(jīng)接管r