PowerHA完全手冊(cè)

1、文檔來(lái)源為：從網(wǎng)絡(luò)收集整理.word版本可編輯.歡迎下載支持.5PowerHA完全手冊(cè)（一）前言自2008 年4月02日筆者在舊M DevelopWork 網(wǎng)站首次發(fā)表HACMP5.X完全手冊(cè)以來(lái)， 加上各網(wǎng)站的轉(zhuǎn)載，應(yīng)該已過(guò)了 10萬(wàn)的閱讀量，在此 非常感謝大家的認(rèn)可和支持。轉(zhuǎn)眼已經(jīng)5年過(guò)去了，期間非常感謝不少同仁指出了該文的各種不足，并且HACMP已經(jīng)改名為HACMP 了，由于軟件版本的更新和本人當(dāng)時(shí)的技術(shù)水準(zhǔn)有限，同時(shí)也存儲(chǔ)不少同仁的希望，在原文基礎(chǔ)上進(jìn)行了補(bǔ)充和修訂完善， 也 就有了本文。正是由于AIX專(zhuān)家俱樂(lè)部的興起，對(duì) AIX和HACMP的技術(shù)感興趣的技術(shù) 人員又更多了。因此選擇本

2、雜志作為原創(chuàng)發(fā)表，就是希望能對(duì)更多的同仁日常工 作有所幫助。止匕外，雖然本文號(hào)稱(chēng)“完全手冊(cè)”，一是為了吸引眼球，二也只是相對(duì)于其他只談安裝配置的文檔而言。由于 HACMP現(xiàn)在已相當(dāng)復(fù)雜，本文范圍也主要 關(guān)注于最常用的雙節(jié)點(diǎn)，還望大家諒解。即便如此，本文篇幅可能仍然較長(zhǎng)，雖然也建議大家先通讀一下，但實(shí)際 使用使用時(shí)可根據(jù)具體目的按章節(jié)直接查閱操作。 這是因?yàn)橐环矫姹疚乃霾僮?筆者都加以 驗(yàn)證過(guò)；一方面也是全中文，省得大家去查一大堆原版資料。希望 能幫助大家在集成和運(yùn)維HACMP的過(guò)程中節(jié)省精力、降低實(shí)施風(fēng)險(xiǎn)，這也是 本文編寫(xiě)的初衷。 同時(shí)還望那些被部分摘抄文章的同仁也能理解，你們都是筆者的老師

3、，這里也謝過(guò)雖筆者端正態(tài)度，盡力認(rèn)真編寫(xiě)，但由于能力有限，恐仍有錯(cuò)漏之處，還望眾多同仁多多指正海涵，在此先行謝過(guò)。1. 為什么需要PowerHA/HACMP隨著業(yè)務(wù)需求日益增加，IT的系統(tǒng)架構(gòu)中核心應(yīng)用必須一直可用，系統(tǒng)必須對(duì)故障必須有容忍能力，已經(jīng)是現(xiàn)代IT 高可用系統(tǒng)架構(gòu)的基本要求。10 年前各廠商現(xiàn)有的UNIX 服務(wù)器就已擁有很高的可靠性，在這一點(diǎn)上IBM 的 Power 系列服務(wù)器表現(xiàn)尤為突出。但所有UNIX 服務(wù)器均無(wú)法達(dá)到如原來(lái) IBM 大型主機(jī)S/390 那樣的可靠性級(jí)別，這是開(kāi)放平臺(tái)服務(wù)器的體系結(jié)構(gòu)和應(yīng)用環(huán)境所決定的，這一點(diǎn)，即使科技發(fā)展到云計(jì)算的今天仍然如此。因此， 我們需要

4、通過(guò)軟件提供這些能力，同時(shí)這個(gè)軟件還應(yīng)該是經(jīng)濟(jì)有效的。 它可以有效確保解決方案的任何組件的故障都不會(huì)導(dǎo)致用戶(hù)無(wú)法使用應(yīng)用程序及其數(shù)據(jù)。實(shí)現(xiàn)這一目標(biāo)的方法是通過(guò)消除單一故障點(diǎn)消除或掩蓋計(jì)劃內(nèi)和計(jì)劃外停機(jī)。另外，保持應(yīng)用程序高可用性并不需要特殊的硬件。IBM 高可用性集群軟件-PowerHA/HACMP也就應(yīng)運(yùn)而生，即使到了今天 ，對(duì)比 x86 平臺(tái)的 linux 、 windows 甚至包括其他UNIX 操作系統(tǒng)的高可用性集群，至少?gòu)墓P者20年的IT從業(yè)實(shí)際經(jīng)歷來(lái)看，舊M PowerHA/HACMP高可用性解決方案雖然復(fù)雜，需要更高水平工程師的精心維護(hù)，但的確相對(duì)更成熟更有效。PowerHA 的

5、前身為HACMP ，或者說(shuō)PowerHA 和 HACMP 這兩個(gè)詞對(duì) IBM 來(lái)說(shuō)可以互換使用?；谶@一點(diǎn)，也由于實(shí)際使用過(guò)程中 PowerHA軟件的名稱(chēng)、菜單名、日志等均仍為HACMP ,因此后面論述時(shí)我們?nèi)跃Q(chēng)為 PowerHA為HACMP ,以 免造成理解的困難。2. PowerHA的版本由于IBM對(duì)軟件的整合，目前PowerHA其實(shí)不僅僅只包含之前的 HACMP軟件，我們先來(lái)看看下圖:Featured AIX availability solutions PowerHA SyGtemMirror for AIX PowerHA SystamMtrror For AIX Standard

6、 Edition PowerHA SystemMirror For AIX Enterprise EtWian PowerHA |iureScale4FTiBE abw AIX £dlt門(mén)口工Featured IBM i availability mHution與* PowerMA SystemMirror for t PowerHA SyEtemMImor tor i Aranda rd Edition" PowerHA SyEtemMirror for i Enterprise Edition令 Learn more about IdM sotutons大家可以看到，我

7、們通常的HACMP其實(shí)現(xiàn)在準(zhǔn)確名稱(chēng) 是PowerHA SystemMirror ,它有2個(gè)平臺(tái)4個(gè)主 要大版本，for AIX , i系統(tǒng)；企業(yè)版和標(biāo)準(zhǔn)版；企業(yè)版擴(kuò)展了異地容災(zāi)相關(guān)的功能；而其他小版本，則是在其企業(yè)版和標(biāo)準(zhǔn)版基礎(chǔ) 之外的支持；比如最近比較熱的PowerHA SystemMirror HyperSwap? 的數(shù)據(jù)中心雙活的解決方案，就是利 用HyperSwap版本對(duì)存儲(chǔ)DS8000容錯(cuò)的擴(kuò)展支持來(lái)得以實(shí)現(xiàn)。我們說(shuō)的 PowerHA pureScale ,則是和類(lèi) oracle RAC 的 IBMDB2 pureScale解決方案相配合的高可用性套件，不再是我們通常意義上的HACM

8、P由于本文的重點(diǎn)為AIX的本地高可用性，因此除非特別聲明，我們?nèi)笔≌f(shuō)PowerHA 時(shí)都是指 PowerHA SystemMirror Standard 的版本。3. HACMP 的工作原理HACMP 是 High Availability Cluster Multi-Processing 的縮寫(xiě)；也就是IBM 公司在 P 系列 AIX 操作系統(tǒng)上的高可靠集群軟件，配置冗余，消除單點(diǎn)故障，保證整個(gè)系統(tǒng)連續(xù)可用性和安全可靠性。HACMP 是通過(guò)偵測(cè)主機(jī)及網(wǎng)卡的狀況，搭配AIX 所提供的LVM 等管理功能，在主機(jī)、網(wǎng)卡、硬盤(pán)控制卡或網(wǎng)絡(luò)發(fā)生故障時(shí)，自動(dòng)切換到另一套備用元件上重新工作; 若是主機(jī)故障

9、還切換至備機(jī)上繼續(xù)應(yīng)用系統(tǒng)的運(yùn)行。作為雙機(jī)系統(tǒng)的兩臺(tái)服務(wù)器同時(shí)運(yùn)行HACMP 軟件；兩臺(tái)服務(wù)器的備份方式大體有二種:一臺(tái)服務(wù)器運(yùn)行應(yīng)用，另外一臺(tái)服務(wù)器做為備份兩臺(tái)服務(wù)器除正常運(yùn)行本機(jī)的應(yīng)用外，同時(shí)又作為對(duì)方的備份主機(jī);兩臺(tái)主機(jī)系統(tǒng)在整個(gè)運(yùn)行過(guò)程中，通過(guò)"心跳線"相互監(jiān)測(cè)對(duì)方的運(yùn)行情況（包括系統(tǒng)的軟硬件運(yùn)行、網(wǎng)絡(luò)通訊和應(yīng)用運(yùn)行情況等）;一旦發(fā)現(xiàn)對(duì)方主機(jī)的運(yùn)行不正常（出故障）時(shí)，故障機(jī)上的應(yīng)用就會(huì)立即停止運(yùn)行， 本機(jī)（故障機(jī)的備份機(jī)）就會(huì)立即在自己的機(jī)器上啟動(dòng)故障機(jī)上的應(yīng)用，把故障機(jī)的應(yīng)用及其資源（包括用到的IP 地址和磁盤(pán)空間等）接管過(guò)來(lái)，使故障機(jī)上的應(yīng)用在本機(jī)繼續(xù)運(yùn)行;應(yīng)用

10、和資源的接管過(guò)程由HACMP 軟件自動(dòng)完成，無(wú)需人工干預(yù);當(dāng)兩臺(tái)主機(jī)正常工作時(shí)，也可以根據(jù)需要將其中一臺(tái)機(jī)上的應(yīng)用人為切換到另一臺(tái)機(jī)（備份機(jī)）上運(yùn)行。4. HACMP 術(shù)語(yǔ)：為方便大家閱讀，我們這里簡(jiǎn)單介紹一下 HACMP主要術(shù)語(yǔ)。它們可以分為 拓?fù)浣M件和資源組件兩類(lèi)。拓?fù)浣M件(Cluster topology)基本上是物理組件。它們包括：節(jié)點(diǎn)(Nodes):運(yùn)行AIX操作系統(tǒng)的Power服務(wù)器上的分區(qū)或微分區(qū)。實(shí)際目前節(jié)點(diǎn)現(xiàn)分為2種，一個(gè)是服務(wù)器節(jié)點(diǎn)(Server節(jié)點(diǎn))，運(yùn)行核心服務(wù)和共享磁盤(pán)的應(yīng)用的機(jī)器；一個(gè)是客戶(hù)端節(jié)點(diǎn)( Client )節(jié)點(diǎn)，前 臺(tái)使用集群服務(wù)的應(yīng)用的機(jī)器。比如中間件軟

11、件等無(wú)需共享磁盤(pán)安裝在客戶(hù) 端節(jié)點(diǎn)的機(jī)器上，數(shù)據(jù)庫(kù)軟件安裝在服務(wù)器節(jié)點(diǎn)的機(jī)器上。像監(jiān)控節(jié)點(diǎn)的信息收集程序clinfo就是只運(yùn)行在客戶(hù)節(jié)點(diǎn)上。而對(duì)于2 個(gè)節(jié)點(diǎn)的集群，則簡(jiǎn)化掉這些分別，即節(jié)點(diǎn)為二合一。網(wǎng)絡(luò)(Networks ) ： IP網(wǎng)絡(luò)和非IP網(wǎng)絡(luò)通信接口( Communication interfaces ):以太網(wǎng)或令牌環(huán)網(wǎng)適配器通信設(shè)備(Communication devices) : RS232或磁盤(pán)的心跳機(jī)制文檔來(lái)源為：從網(wǎng)絡(luò)收集整理.word版本可編輯.歡迎下載支持.nod21-Y拓?fù)浣M件示意圖資源組件(Cluster resources)是需要保持圖可用性的邏輯實(shí)體。它們包括：

12、應(yīng)用服務(wù)器(Application servers )：它涉及應(yīng)用程序的啟動(dòng)/停止腳本。服務(wù)IP地址(Service IP labels / addresses )：最終用戶(hù)一股通過(guò)IP地址連 接應(yīng)用程序。這個(gè)IP地址映射到實(shí)際運(yùn)行應(yīng)用程序的節(jié)點(diǎn)。因?yàn)?IP地 址需要保持高可用性，所以它屬于資源組。文件系統(tǒng)(File systems ):許多應(yīng)用程序需要掛載文件系統(tǒng)。卷組(Volume groups )：許多應(yīng)用程序需要高可用的卷組。所有資源一起組成資源組實(shí)體。HACMP把資源組當(dāng)作單一單元處理它會(huì)保持資源組高可用性。資源組件示意圖此外，還存在資源組有與其相關(guān)聯(lián)的策略。這些策略包括：1 .啟動(dòng)

13、策略(Cluster startup ):這決定資源組應(yīng)該激活哪個(gè)節(jié)點(diǎn)。2 .故障轉(zhuǎn)移策略(Resource /Node failure )：當(dāng)發(fā)生故障時(shí)，這決定故障轉(zhuǎn)移 目標(biāo)節(jié)點(diǎn)。3 .故障恢復(fù)策略(Resource/Node recovery )：這決定資源組是否執(zhí)行故障恢 復(fù)。當(dāng)發(fā)生故障時(shí)，HACMP尋找這些策略并執(zhí)行相應(yīng)的操作。5.實(shí)驗(yàn)環(huán)境說(shuō)明:11以雙機(jī)互備中相對(duì)復(fù)雜的多業(yè)務(wù)網(wǎng)絡(luò)的情況為例，其他類(lèi)似設(shè)置可適當(dāng)簡(jiǎn)化。1）機(jī)器一覽表節(jié)點(diǎn)機(jī)器名操作系統(tǒng)應(yīng)用軟件HA版本hostlAIX6.1.7ORACLE 11gHA6.1.10host2AIX6.1.7TUXEDO 11HA6.1.102

14、）磁盤(pán)和VG規(guī)劃表節(jié)點(diǎn)機(jī)器名磁盤(pán)VGVG MajorNumberhost1hdisk2host1vg101host2hdisk3host2vg2013）用戶(hù)和組規(guī)劃表用戶(hù)USERID組組ID使用節(jié)點(diǎn)orarunc610dba601host1tuxrun301tux301host1bsx1302tux301host1xcom401dba601host1orarun609dba601host24）邏輯卷和文件系統(tǒng)規(guī)劃表PP size:128M節(jié)點(diǎn)機(jī)邏輯卷文件系統(tǒng)大所有者用途器名)hostlorallrunclv/orallrunc40oraruncORACLE客戶(hù)端軟件tuxllrunlv/tux

15、llrun30tuxedoTuxedo軟件bsxllv/bsxl30bsx1寶信MES應(yīng)用程序xcomlv/xcom30xcom寶信xcom通信軟件host2orallrunlv/orallrun60orarunORACLE數(shù)據(jù)庫(kù)軟件oradatalv/oradata80orarun數(shù)據(jù)庫(kù)5）路由規(guī)劃表節(jié)點(diǎn)名目的路由host1default5410.2.2005410.3.30054host2default546) HACMP結(jié)構(gòu)表集群名:test_cluster適配器名功能網(wǎng)絡(luò)名網(wǎng)絡(luò)類(lèi)型屬性節(jié)點(diǎn)名IP地址MAC地址hos

16、t1_tty0heartbeathost1_net_rs232rs232serialhost1host1_l2_boot1boot1host2_net_ether_2etherpublichosthost1_l1_boot1boot1host2_net_ether_1etherpublichost1host1_l2_svcServicehost1_net_ether_2etherpublichosthost1_l1_svc1Servicehost1_net_ether_1etherpublichosthost1_l

17、1_svc2Servicehost1_net_ether_1etherpublichosthost1_l2_boot2boot2host1_net_ether_2etherpublichosthost1_l1_boot2boot2host1_net_ether_1etherpublichosthost2_tty0heartbeathost2_net_rs232rs232serialhost2host2_l2_boot1bootlhost2_net_ether_2etherpublichosthost2_l1_boo

18、t1bootlhost2_net_ether_1etherpublichost2host2_l2_svcservicehost2_net_ether_2etherpublichosthost2_l1_svc1servicehost2_net_ether_1etherpublichosthost2_l1_svc2servicehost2_net_ether_1etherpublichosthost2_l2_boot2boot2host2_net_ether_2etherpublichostho

19、st2_l1_boot2boot2host2_net_ether_1etherpublichost7) HACMP示意圖Kt her nvthiNitlI41J.2J10.112.1bwpllNJJJHJ.2-2(Md-2bMl2IAX1Uhost 14CPl',K«B MI M5*714GBUDDhejinhcmR232"M Pl Ml Mwfcl邛.Rvwiurrr ercmph(H4l R(»(ADIXGncxiclho*i11 nippWvjurcr 晉rcipMG RG G由岡hgISmIhrwtl I 10.14 J ml

20、I-LI»u的工n> rii.i科“IUXIOLIbonil10 J. 1.2IIVJ.ltM.2h«ijI&2.1L!“工mjjui.2Hhcr nwJH(ptihlie)CASCADING policy除Del hALLOVER TO NEXT PRIORITY NODE JNTHE LISTfiiiiback-LALLBACK TO HIGHER PRIORITY NODEIN THE LIST8）實(shí)驗(yàn)環(huán)境示意圖9）應(yīng)用腳本起停設(shè)計(jì)start_host1:添加網(wǎng)關(guān)運(yùn)行 start_host1_appstop_host1:運(yùn)行 stop_host1_app

21、清理vg進(jìn)程start_host2:添加網(wǎng)關(guān) 運(yùn)行 start_host2_app文檔來(lái)源為:從網(wǎng)絡(luò)收集整理.word 版本可編輯.歡迎下載支持stop_host2:運(yùn)行stop_host1_app清理vg 進(jìn)程start_host1_app:確認(rèn) host2 已啟動(dòng)整理路由啟動(dòng)主應(yīng)用程序啟動(dòng)通信程序stop_host1_app:停通信程序停應(yīng)用主程序清理路由start_host2_app:如在host1 機(jī)器上執(zhí)行stop_host1_app起 Oracle 數(shù)據(jù)庫(kù)及l(fā)istener如在host1 機(jī)器上執(zhí)行start_host1stop_host2_app:停數(shù)據(jù)庫(kù)及l(fā)istener13第

22、一部分-規(guī)劃篇萬(wàn)事開(kāi)頭難，對(duì)于一個(gè)有經(jīng)驗(yàn)的HACMP 工程師來(lái)說(shuō)，會(huì)深知規(guī)劃的重要性，一個(gè)錯(cuò)誤或混亂的規(guī)劃將直接導(dǎo)致實(shí)施的失敗和不可維護(hù)性。HACMP實(shí)施的根本目的不是安裝測(cè)試通過(guò)，而是在今后運(yùn)行的某個(gè)時(shí)刻突然故障中，能順利的發(fā)生自動(dòng)切換或處理，使得服務(wù)只是短暫中斷即可自動(dòng)恢復(fù)，使高可用性成為現(xiàn)實(shí)。2.1. 規(guī)劃前的需求調(diào)研在做規(guī)劃之前，或者說(shuō)一個(gè)準(zhǔn)備實(shí)施HACMP 來(lái)保證高可用性的系統(tǒng)初步設(shè)計(jì)之前，至少需要調(diào)查了解系統(tǒng)的以下相關(guān)情況，這些都可能影響到HACMP 的配置。? 應(yīng)用特點(diǎn)1) 對(duì)負(fù)荷的需求，如 CPUU內(nèi)存、網(wǎng)絡(luò)等特別是I/O的負(fù)載的側(cè)重。2) 對(duì)起停的要求，如數(shù)據(jù)庫(kù)重起可能需要應(yīng)

23、用重起等等。3) 對(duì)于自動(dòng)化的限制，如重起需要人工判斷或得到命令，需要在控制臺(tái)執(zhí)行。? 網(wǎng)絡(luò)狀況和規(guī)劃包括網(wǎng)段的劃分、路由、網(wǎng)絡(luò)設(shè)備的冗余等等在系統(tǒng)上線前的狀況和可提供條件，以及 實(shí)施運(yùn)行過(guò)程中可能出現(xiàn)的變更。? 操作系統(tǒng)情況目前舊M的HACMP除了 AIX,還支持 Linux。目前新裝機(jī)器都是 AIX5.3,即使安裝HA5.4也沒(méi)有問(wèn)題。但如果安裝可能是在老機(jī)器上進(jìn) 行升級(jí)，需要仔細(xì)了解操作系統(tǒng)版本及補(bǔ)丁情況。? 主機(jī)設(shè)計(jì)1) )可能實(shí)施的機(jī)器網(wǎng)卡的數(shù)量,網(wǎng)卡是否只能是雙口或更多。2) 是否有槽位增加異步卡3) 主機(jī)之間的距離，這影響到串口線的長(zhǎng)度。文檔來(lái)源為：從網(wǎng)絡(luò)收集整理.word版本可

24、編輯.歡迎下載支持.?預(yù)計(jì)實(shí)施高可用性的情況1） 希望實(shí)施HACMP的機(jī)器數(shù)量2） 希望方式，如一備一，雙機(jī)互備，一備多，環(huán)形互備等等。2.2. PowerHA/HACMP 版本確定IBM HACMP自從出了 5.2版本后，到了 5.205后比較穩(wěn)定，并經(jīng)過(guò)我們自己充分的測(cè)試（見(jiàn)測(cè)試篇）和實(shí)踐證明（已有多個(gè)系統(tǒng)成功自動(dòng)切換）。之前個(gè)人覺(jué)得 HACMP5.3后變化較快快，功能增加多，穩(wěn)定性不夠，相當(dāng)長(zhǎng)時(shí)間還是一直推薦HA5.209。這也是本文出了第一版完全手冊(cè)之后一直沒(méi)有修訂的原因之一。隨著Power主機(jī)和 AIX的更新?lián)Q代，名稱(chēng)也在變化，雖然目前最新版為PowerHASystemMirror

25、7.1,又增加了不少絢麗奪目的功能，但個(gè)人以為作為高可用性軟件，其成熟度為第一要素，其穩(wěn)定性有待進(jìn)一步驗(yàn)證。而經(jīng)過(guò)我們這2年來(lái)的充分實(shí)施經(jīng)驗(yàn)，目前可以放心推薦版本為 PowerHA 6.1的6.1.10及以上。2.3. IP地址設(shè)計(jì)IP地址切換（IPAT方式有3種方式：圖1a, 1b,和1c中描述了三個(gè)主要的IPAT配置場(chǎng)景。第一個(gè)拓?fù)淠Ｊ剑篒PAT via Replacement在分開(kāi)的子網(wǎng)中包含 boot和standby網(wǎng)卡。當(dāng)集群服務(wù)啟動(dòng)的時(shí)候boot地址被換成service地址。盡管這種方式有效性強(qiáng)，但是在需要實(shí)現(xiàn)多服務(wù)IP地址的環(huán)境下這種方式是不可取的。集群的管理員不得不利用pre-

26、和post-events定制其環(huán)境建立額外的別名，并且需要確認(rèn)這些別名在下一次接管發(fā)生前被刪除。IPATvia Replacement示空?qǐng)Dq第二個(gè)拓?fù)淠Ｊ剑篒PAT via AliasingHACMP 4.5開(kāi)始引入了 IPAT via Aliasing作為缺省的拓?fù)淠Ｊ健?在這種新的模式中，standby 網(wǎng)卡的功能被另外一個(gè)boot網(wǎng)卡替換。子網(wǎng)需求的不同點(diǎn)是還需要一個(gè)另外的子網(wǎng)，每一個(gè)boot網(wǎng)卡需要它自己的子網(wǎng)，并且任何service或persistent的IP將在其本身的子網(wǎng)上操作，所以一共三個(gè)子網(wǎng)。當(dāng)集群服務(wù)啟動(dòng)并且需要service IP的時(shí)候，boot IP并不消失。這個(gè)設(shè)計(jì)

27、和第一種是不同的，在同一個(gè)HACMP網(wǎng)絡(luò)中有多個(gè)service IP存在并且通過(guò)別名來(lái) 控制。IH I m* IP AlutMne簟忤* （同卡）* W手阿* ' ip IftaIPAT via Aliasing 示惠國(guó)第三種模式：EthernetChannel (EQ這種模式把底層的以太網(wǎng)卡藏到一個(gè)單一的“ ent接口之后。該模式不是對(duì)前述任何一種方式的替換，而是可以和前述的任一種模式共同存在。因?yàn)樵诿恳粋€(gè)節(jié)點(diǎn) EC都被配置成冗余方式，可以在HACMP中使用IP別名定義它們每一個(gè)作為單一網(wǎng)卡網(wǎng)絡(luò)。因?yàn)樵诿總€(gè)節(jié)點(diǎn)只有一個(gè)網(wǎng)卡被定義，所以只有兩個(gè)子網(wǎng)，一個(gè)是用作boot (每個(gè)節(jié)點(diǎn)的基本

28、IP地址)，另一個(gè)是用于提供高可用服務(wù)。17IPIPAT via EthernetChannel 示意圉本文討論實(shí)際工作中使用最多的為第 2種:別名方式(IPAT via Aliasing)即使到今天，其使 用仍然最為廣泛，對(duì)交換機(jī)要求也最低。對(duì)于新型核心交換機(jī)和網(wǎng)絡(luò)人員可緊密配合的，則推薦第3種，由于第3種更為簡(jiǎn)單，切換時(shí)間更短。但本文這里以第2種為主加以討論。這樣設(shè)計(jì)時(shí)就需要注意以下事情：1 .網(wǎng)段設(shè)計(jì)：一個(gè)服務(wù)地址需要 3個(gè)網(wǎng)段對(duì)應(yīng)，boot地址網(wǎng)段不能和服務(wù)地址一致。 避免網(wǎng)絡(luò)變 更造成的系統(tǒng)不可用，boot地址的網(wǎng)段不要和實(shí)際其他系統(tǒng)的網(wǎng)段一致。在網(wǎng)段比文檔來(lái)源為:從網(wǎng)絡(luò)收集整理.w

29、ord 版本可編輯.歡迎下載支持較緊張的地方，建議設(shè)計(jì)時(shí)詢(xún)問(wèn)網(wǎng)絡(luò)人員。舉例來(lái)說(shuō)，下面的地址將會(huì)由于網(wǎng)絡(luò)變更后打通合一后可能造成沖突設(shè)計(jì)人1機(jī)器名服務(wù)地址boot1地址boot2地址張三app1_db張三app1_app李四app2_db李四app2_app王五app3_db王五app3_app

30、2 . boot地址的設(shè)計(jì)：不要和實(shí)際其他同網(wǎng)段機(jī)器的boot地址沖突，最好不同網(wǎng)段。即這個(gè)規(guī)劃不能只考慮系統(tǒng)本身，還需要從同網(wǎng)段的高度考慮。舉例來(lái)說(shuō)，下面的地址由于2個(gè)系統(tǒng)分開(kāi)設(shè)計(jì)，同時(shí)開(kāi)啟將直接導(dǎo)致 2個(gè)系統(tǒng)不可用。boot地址的設(shè)計(jì)表1設(shè)計(jì)人機(jī)器名服務(wù)地址boot1地址boot2地址張三app1_db張三app1_app李四app2_db李四app2_app10.10.1

31、.2所以在設(shè)計(jì)時(shí)，我們建議 boot地址的IP地址最后一段參照服務(wù)地址，這樣雖然可記憶 性不是很好，但即使設(shè)計(jì)在同一網(wǎng)段，也可以避免上述錯(cuò)誤發(fā)生。更改設(shè)計(jì)如下：boot地址的設(shè)計(jì)表2設(shè)計(jì)人機(jī)器名服務(wù)地址boot1地址boot2地址張三app1_db張三app1_app李四app2_db1李四app2_app2boot地址要分開(kāi)到此外，如果是每個(gè)網(wǎng)卡多個(gè)網(wǎng)口，記得設(shè)計(jì)時(shí)必須注

32、意同一網(wǎng)絡(luò)的 2塊網(wǎng)卡，以保證真正的冗余。配置HACMP的過(guò)程中，除了 TCP/IP網(wǎng)絡(luò)之外，您也可以在其它形式的網(wǎng)絡(luò)上，如串行 網(wǎng)絡(luò)和磁盤(pán)總線上配置心跳網(wǎng)絡(luò)。1. TCP/IP 網(wǎng)絡(luò)優(yōu)點(diǎn)：要求低，不需要任何額外硬件或軟件，即可實(shí)現(xiàn)。缺點(diǎn)：占用IP地址，不能避免由于 TCP/IP的軟件問(wèn)題導(dǎo)致 HACMP崩潰，系統(tǒng)不可 用。2. 串口網(wǎng)絡(luò)優(yōu)點(diǎn)：真正實(shí)現(xiàn)高可用性，不占用IP地址。缺點(diǎn)：需要硬件支持，需要新增異步卡，而中低端的機(jī)器的插槽有限。3. 磁盤(pán)心跳優(yōu)點(diǎn)：不占用插槽，磁盤(pán)總線上的心跳網(wǎng)絡(luò)能夠在TCP/IP網(wǎng)絡(luò)資源有限的情況下提供額外的HACMP節(jié)點(diǎn)間的通信手段，并且能夠防止HACMP節(jié)點(diǎn)之間

33、由于 TCP/IP軟件出現(xiàn)問(wèn)題而無(wú)法相互通信。缺點(diǎn)： 需要操作系統(tǒng)和存儲(chǔ)支持，如使用增強(qiáng)型卷組，此外對(duì)于I/O 讀寫(xiě)負(fù)荷高的應(yīng)用，也需要慎用。正如 IBM 紅皮書(shū)所說(shuō)，條件許可的情況下，強(qiáng)烈推薦使用串口網(wǎng)絡(luò)，其次是磁盤(pán)心跳。不過(guò)我們也注意到HACMP7.1 將不再支持串口心跳，而改為其他如SAN 方式， 效果有待進(jìn)一步觀察。2.5. 資源組設(shè)計(jì)對(duì)于HACMP來(lái)講，服務(wù)IP地址和磁盤(pán) VG文件系統(tǒng)、應(yīng)用服務(wù)器都是資源，如何規(guī)劃需 要根據(jù)實(shí)際情況來(lái)，包括以下內(nèi)容：資源組的數(shù)量即資源：一般情況下每臺(tái)機(jī)器只要建立一個(gè)資源組即可，包括服務(wù)IP 地址、應(yīng)用服務(wù)器及VG?，F(xiàn)在不推薦具體確定 VG里的文件系統(tǒng)

34、，這是因?yàn)榇_定后，有可能造成有些新增文件系統(tǒng) 不在HACMP的控制范圍，結(jié)果是 HACMP切換時(shí)由于這些文件系統(tǒng)沒(méi)有unmount掉而導(dǎo)致切換失敗。資源組的策略：分failover（故障切換）和fallback （回切）等。一般選缺省，當(dāng)然你可以根據(jù)具 體情況修正，如 oracle 10g RAC的并發(fā)VG資源組的選擇就不一樣。雖然實(shí)際上HACMP 是靠 PVID 來(lái)認(rèn)磁盤(pán)的，但集群的機(jī)器上磁盤(pán)順序不一，磁盤(pán)對(duì)應(yīng)不一致會(huì)造成某種混亂。以致于安裝配置和維護(hù)時(shí)很容易產(chǎn)生各種人為錯(cuò)誤，所以我們強(qiáng)烈建議機(jī)器上看到的磁盤(pán)和VG名稱(chēng)都一一對(duì)應(yīng)，此外VG的MajorNumber也需要預(yù)先設(shè)計(jì)規(guī)劃，以免不一致

35、。同時(shí)新的AIX6.1 已很好提供了修改hdisk 號(hào)的 rendev 命令，以前這樣的煩惱也就迎刃而解了。HA要求所有切換需要用到的用戶(hù)必須所有節(jié)點(diǎn)對(duì)應(yīng)，ID完全相同，用戶(hù)運(yùn)行的環(huán)境變量完全相同，即當(dāng)系統(tǒng)切換時(shí)，對(duì)使用該用戶(hù)的程序用戶(hù)即組設(shè)置沒(méi)有區(qū)別的。如某系統(tǒng)的host2 上 oracle 用戶(hù)為 orarun ， host1 上的 orarun 必須為切換保留，ID均為209， host1 上平時(shí)用的oracle 用戶(hù)就設(shè)為orarunc。HACMP 要求切換相關(guān)的文件系統(tǒng)和lv 不能重名，如host2 上 oracle 軟件目錄為/ora11run ， host1 上的 /ora11r

36、un 必須為切換保留，改為/ora11runc 。此外，集群下相關(guān)的文件系統(tǒng)和卜，在各個(gè)節(jié)點(diǎn)主機(jī)的定義也需要一致，如/etc/filesystems里是一致的，這個(gè)通過(guò) importvg或HACMP的C-SPOC來(lái)保證。對(duì)于有通信需求的主機(jī)，很可能對(duì)路由有一定要求，如本次實(shí)驗(yàn)環(huán)境，就有 2 個(gè)網(wǎng)段走的不是缺省路由，需要設(shè)計(jì)清楚，最后在起停腳本實(shí)現(xiàn)。我們這里說(shuō)的應(yīng)用，是包括數(shù)據(jù)庫(kù)在內(nèi)除OS 和 HACMP 之外的所有程序，對(duì)于應(yīng)用程序的起停順序和各種要求，都需要預(yù)先和應(yīng)用人員加以溝通，并預(yù)先設(shè)計(jì)偽碼，最終編寫(xiě)腳本實(shí)現(xiàn)。第二部分-安裝配置篇2.1. 準(zhǔn)備 1) 操作系統(tǒng)版本要求：實(shí)驗(yàn)實(shí)際為，實(shí)際H

37、ACMP6.1要求，具體安裝時(shí)可查看以下安裝版本的HighAvailability Cluster Multi-Processing for AIXInstallation Guide Prerequisites 一節(jié)。2) 系統(tǒng)參數(shù)要求作為集群的各個(gè)節(jié)點(diǎn)機(jī)，我們建議各個(gè)參數(shù)最好完全一致，需要注意的參數(shù)有：1. 異步 I/O 服務(wù)進(jìn)程配置(Asynchronous I/O servers )2. 用戶(hù)最大進(jìn)程數(shù)3. 系統(tǒng)時(shí)間4. 用戶(hù)缺省的limits 參數(shù)5. 其他可能影響應(yīng)用的參數(shù)3) 環(huán)境要求VG 和文件系統(tǒng)，此時(shí)，沒(méi)有建立任何HACMP占用設(shè)計(jì)ID相關(guān)用戶(hù)和組，同樣也沒(méi)有建立 包括名稱(chēng)

38、沖突文件系統(tǒng)和lv 和 Major numver 沖突的VG。? 用戶(hù)和組確認(rèn)目的：確認(rèn)沒(méi)有和設(shè)計(jì)中ID 沖突的用戶(hù)，否則需要調(diào)整。host1root/ lsuser -a id ALLroot id=0daemon id=1bin id=2sys id=3adm id=4uucp id=5host2root/> lsuser -a id ALLroot id=0daemon id=1? 文件系統(tǒng)確認(rèn)目的：確認(rèn)沒(méi)有和設(shè)計(jì)名稱(chēng)相沖突的文件系統(tǒng)，否則需要調(diào)整。host1root/> df -kFilesystem1024-blocksFree %UsedIused %Iused Mou

39、nted/dev/hd45242884878207%32763% /dev/hd270778881868516 74%9129018% /usr/dev/hd9var524288458364 13%9911% /var/dev/hd3917504826700 10%1201% /tmp/dev/hd1655360524856 20%2911% /home/proc- /proc/dev/hd10opt1179648589072 51% 113708% /optonhost2root/> df -k4) 安裝包要求：RSCT 或更高版本。lslpp -l|grep rsct以下的包也是必須

40、要安裝的：（腳本可直接拷貝運(yùn)行）lslpprsct.*lslpp -lslpp -lslpp -lslpp -lslpp -lslpplslpp -llslpp -llslpp -llslpp -llslpp -l顯示確認(rèn)結(jié)果：host1root/> lslpp -l rsct.*FilesetLevel State DescriptionPath: /usr/lib/objreposCOMMITTED RSCT Basic Function (HACMP/ESSupport)COMMITTED RSCT Basic FunctionCOMMITTED RSCT Basic Functi

41、on (PSSPSupport)COMMITTED RSCT Event Management BasicFunction (HACMP/ES Support)COMMITTED RSCT Event Management BasicFunctionCOMMITTED RSCT Event Management BasicFunction (PSSP Support)COMMITTED RSCT Event Management ClientFunction (HACMP/ES Support)host2root/> lslpp -l rsct.*2.2. 安裝如果是光盤(pán)，請(qǐng)插入光盤(pán),輸

42、入 smitty install_latestInstall SoftwareType or select values in entry fields.Press Enter AFTER making all desired changes.Entry Fields* INPUT device / directory for software/dev/cd0* SOFTWARE to install_all_latest.ACCEPT new license agreements?yesPreview new LICENSE agreements?no如果是安裝盤(pán)拷貝，請(qǐng)進(jìn)入cd insta

43、llp/ppc 目錄， smitty install_latestInstall SoftwareType or select values in entry fields.Press Enter AFTER making all desired changes.Entry Fields* INPUT device / directory for software.* SOFTWARE to install_all_latest.ACCEPTnewlicenseagreements?yesPreview new LICENSE agreements?no安裝結(jié)束后，會(huì)報(bào)failed ,請(qǐng)檢查2

44、3文檔來(lái)源為：從網(wǎng)絡(luò)收集整理.word版本可編輯.歡迎下載支持cluster.xd.*glvm.rpv.*包以外，所有的 HACMP的包都要安裝注意，請(qǐng)不要忽略給HACMP打補(bǔ)丁這一步驟。其實(shí)對(duì) HACMP來(lái)說(shuō)，補(bǔ)丁是十分重要的。很多發(fā)現(xiàn)的缺陷都已經(jīng)在補(bǔ)丁中被解決了。當(dāng)嚴(yán)格的按照正確步驟安裝和配置完HACMP的軟件后，發(fā)現(xiàn)takeover有問(wèn)題，IP接管有問(wèn)題，機(jī)器自動(dòng)宕機(jī)等等千奇百怪的問(wèn)題，其 實(shí)大都與補(bǔ)丁有關(guān)。所以一定要注意打補(bǔ)丁這個(gè)環(huán)節(jié)。如為HACMP 6110或 以上Apar:LATEST HACMP FOR AIX R610 FIXES SP11 MAY 2013smitty ins

45、tall_latest ,全部安裝host1root/sof_ins/ha61/patch> ls.toc安裝結(jié)束后，仍會(huì)報(bào) failed ,檢查glvm.rpv.*27沒(méi)裝上外，其他都已安裝上。補(bǔ)丁可在舊M網(wǎng)站下載：PowerHA SystemMirror (HACMP)補(bǔ)丁下我示意圖重啟機(jī)器注：記住一定要重起機(jī)器，否則安裝將無(wú)法正常繼續(xù)。文檔來(lái)源為:從網(wǎng)絡(luò)收集整理.word 版本可編輯.歡迎下載支持確認(rèn) inittab ：egrep -i "hacmp" /etc/inittabhacmp:2:once:/usr/es/sbin/cluster/etc/rc.in

46、it >/dev/console 2>&1在HACMP 6.1版本中，我們可以看到inittab非常簡(jiǎn)化，將所有HACMP需要開(kāi)機(jī)啟動(dòng)相關(guān) 進(jìn)程的工作，全部歸入一個(gè)腳本/usr/es/sbin/cluster/etc/rc.init 來(lái)運(yùn)行。如果你查看/etc 文件/inittab文件 就會(huì)發(fā)現(xiàn)安裝完 HACMP后，僅添加了一行：hacmp:2:once:/usr/es/sbin/cluster/etc/rc.init >/dev/console 2>&1。* ) 確認(rèn)安裝和補(bǔ)丁包：(關(guān)鍵為lslpp -l cluster.*FilesetLevel S

47、tate DescriptionPath: /usr/lib/objrepos.COMMITTED ES Base Server Runtime* ) 確認(rèn)clcomdES已啟動(dòng)lssrc -s clcomdESSubsystem Group PID StatusclcomdES clcomdES 4128974 active392.3. 配置準(zhǔn)備總的來(lái)說(shuō)，配置前的準(zhǔn)備必不可少，這一步還要仔細(xì)小心，準(zhǔn)備不充分或有遺漏以及這步的細(xì)節(jié)疏忽會(huì)導(dǎo)致后面的配置出現(xiàn)網(wǎng)卡、磁盤(pán)找不到等現(xiàn)象。將會(huì)直接導(dǎo)致后面的配置失敗。修改確認(rèn)每臺(tái)機(jī)器/.rhosts 為 :host1root vi /.rhostshost

48、1host1_l2_boot1host1_l1_boot1host1_l2_svchost1_l1_svc1host1_l1_svc2host1_l2_boot2host1_l1_boot2host2host2_l2_boot1host2_l1_boot1host2_l2_svchost2_l1_svc1host2_l1_svc2host2_l2_boot2host2_l1_boot2注意權(quán)限修改:chmod 644 /.rhosts在 HACMP 6.1 中 為了安全起見(jiàn)，不再使用/.rhosts 文件來(lái)控制兩臺(tái)機(jī)器之間的命令和數(shù)據(jù)交換，使用/usr/es/sbin/cluster/etc/

49、rhosts 文件來(lái)代替/.rhosts 文件的功能。注意：如果兩個(gè)節(jié)點(diǎn)間的通訊發(fā)生了什么問(wèn)題，可以檢查rhosts 文件，或者編輯rhosts 文件加入兩個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)信息。為方便配置期間檢查發(fā)現(xiàn)問(wèn)題，配置期間我們讓/.rhosts 和HACMP 的 rhosts 一致。修改確認(rèn)每臺(tái)機(jī)器/etc/hosts 為 :loopback localhost # loopback (lo0) name/addresshost1_l2_boot1host1_l1_boot1 host1host1_l2_svchost1_l1_svc1host1_l1_svc2host1_l2_boot2host1_l1

50、_boot2host2_l2_boot1host2_l1_boot1 host2host2_l2_svchost2_l1_svc1host2_l1_svc2host2_l2_boot2host2_l1_boot2注：正式配置之前，主機(jī)名落在boot地址上，待配置完成后將改為服務(wù)IP地址上。確認(rèn)：host1root/> rsh host2 dateWed Sep 11 15:46:06 GMT+08:00 2013host2root/> rsh host1 dateWed Sep 11 15:46:06 GMT+08:00 2013host1root/# rsh host1 ls -

51、l /usr/es/sbin/cluster/etc/rhosts-rw 1 rootsystem237 Sep 11 15:45 /usr/es/sbin/cluster/etc/rhostshost1root/# rsh host2 ls -l /usr/es/sbin/cluster/etc/rhosts-rw 1 rootsystem237 Sep 11 15:45 /usr/es/sbin/cluster/etc/rhostshost1root/> lspvhdisk000c1fe1f0215b425rootvgactivehdisk100c1fe1f8d700839rootv

52、gactivehdisk2nonenonehdisk3nonenonesmitty vg-> Add a Volume Grouphost1root/> lspv。hdisk200f6f1569990a1efhost1vgactivehdisk300f6f1569990a12chost2vgactive由于后面需要修改loglv,必須建立文件系統(tǒng)才會(huì)有 logk,所以需要先建立在 hostlvg上 的/orallrunc和host2vg上的/orallrun的JFS2文件系統(tǒng)，其他文件系統(tǒng)可在中 2邊同時(shí)添 加。smitty lv ->Add a Logical Volume ,注意選擇JFS2smitty fs -> Enhanced Journaled File Systems -> Add a Journaled File Systemhost1root/> lsfsjfs2 rw no nojfs2 rw no noName Nodename Mount PtVFS Size Options Auto Accounting/dev/ora11runlv - /ora11run/dev/ora11runclv - /ora11run