HP_MC配置手冊(cè).doc

HP ServiceGuard 配置手冊(cè)配置手冊(cè) 作者 鄧雪平日期 2010 06 02 MSN dengxueping 日期 QQ 67493282日期 2010 年年 3 月月 HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 2 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 目 錄 1 相關(guān)配置信息相關(guān)配置信息 4 1 1 主機(jī)配置主機(jī)配置 4 1 2 集群配置集群配置 4 1 3 磁盤陣列配置磁盤陣列配置 5 2 卷組配置卷組配置 6 2 1 創(chuàng)建創(chuàng)建 PV Physical Volume 6 2 2 創(chuàng)建創(chuàng)建 VG Volume Group 7 2 2 1 創(chuàng)建用于 VG 的目錄 7 2 2 2 創(chuàng)建字符設(shè)備文件 7 2 2 3 創(chuàng)建 VG 7 2 3 創(chuàng)建創(chuàng)建 LV Logic Volume 和文件系統(tǒng) 和文件系統(tǒng) 8 2 4 VG 的激活與同步的激活與同步 8 3 集群配置集群配置 11 3 1 檢查軟件是否已經(jīng)安裝檢查軟件是否已經(jīng)安裝 11 3 2 配置配置 hosts 及信任關(guān)系及信任關(guān)系 11 3 3 生成集群配置文件生成集群配置文件 12 3 4 生成程序包配置文件生成程序包配置文件 15 3 4 1 創(chuàng)建程序包配置模板文件 15 3 4 2 修改程序包配置模板文件 15 3 5 數(shù)據(jù)庫(kù)控制腳本數(shù)據(jù)庫(kù)控制腳本 17 3 6 驗(yàn)證及分發(fā)集群及程序包配置文件驗(yàn)證及分發(fā)集群及程序包配置文件 17 3 7 運(yùn)行集群及程序包運(yùn)行集群及程序包 17 HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 3 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 4 SERVICEGUARD 常用命令常用命令 20 HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 4 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 1 相關(guān)配置信息 1 1 主機(jī)配置 部署 ServiceGuard 的服務(wù)器為兩臺(tái)數(shù)據(jù)庫(kù)主機(jī) 兩臺(tái)主機(jī)運(yùn)行一個(gè)數(shù)據(jù)庫(kù)實(shí)例 以主備 模式運(yùn)行 主機(jī)的配置情況如下 主機(jī)配置主機(jī)配置 主機(jī)型號(hào)主機(jī)型號(hào)rx6600rx6600 主機(jī)名主機(jī)名gd mudb1gd mudb2 硬件配置硬件配置 4 1 6G 18MB 8G 2 146G 4 1000Base T 2 HBA 1 DVD 1 DAT72 HP UX 11i v3 BOE MirrorDisk C C MCServiceguard 4 1 6G 18MB 8G 2 146G 4 1000Base T 2 HBA 1 DVD 1 DAT72 HP UX 11i v3 BOE MirrorDisk C C MCServiceguard 操作系統(tǒng)操作系統(tǒng)HP UX V11 31HP UX V11 31 MC SG 版本版本A 11 18 00A 11 18 00 數(shù)據(jù)庫(kù)版本數(shù)據(jù)庫(kù)版本Oracle 10 2 0 1Oracle 10 2 0 1 內(nèi)網(wǎng)內(nèi)網(wǎng) IP192 168 3 21192 168 3 22 心跳心跳 IP192 168 0 1192 168 0 2 1 2 集群配置 集群配置集群配置 集群名稱集群名稱gd mudb 節(jié)點(diǎn)名稱節(jié)點(diǎn)名稱gd mudb1gd mudb2 程序包程序包orapkg 浮動(dòng)浮動(dòng) IPorapkg 包浮動(dòng) IP 192 168 3 20 MC SG 版本版本A 11 18 00 程序包配置程序包配置 程序包名稱程序包名稱orapkg 包所在目錄包所在目錄 etc cmcluster orapkg 包配置文件包配置文件 etc cmcluster orapkg orapkg conf HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 5 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 包控制文件包控制文件 etc cmcluster orapkg tl 數(shù)據(jù)庫(kù)控制腳本數(shù)據(jù)庫(kù)控制腳本 etc cmcluster orapkg dbcontrol sh 1 3 磁盤陣列配置 磁盤陣列配置磁盤陣列配置 VG 名稱名稱RAIDPV 名稱名稱LV 名稱名稱容量容量文件系統(tǒng)文件系統(tǒng) dev vglockraid5 dev disk disk31 dev vgoradb oradata99G oradata dev vgoradb raid5 dev disk disk24 dev disk disk25 dev vgoradb archlog99G archlog dev vgorabak raid5 dev disk disk26 dev disk disk27 dev vgorabak orabak198G orabak HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 6 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 2 卷組配置 磁盤陣列為數(shù)據(jù)庫(kù)劃分了 5 個(gè) LUN 分別為 disk24 disk25 disk26 disk27 disk31 需要 注意的是 HP UX v11 31 采用永久設(shè)備名 如 dev disk disk3 對(duì)于一個(gè) lun 只有一個(gè)設(shè)備名 并且不再和物理路徑綁定 而是和 LUN 的 WorldWide Identifier WWID 綁定 只要 WWID 不 變 設(shè)備名就不變 把物理設(shè)備拔掉再插回也不變 新加入的設(shè)備只會(huì)分配新的設(shè)備名 不再 需要多路徑軟件了 能自動(dòng)實(shí)現(xiàn) load balance 功能 如果鏈路失敗系統(tǒng)會(huì)取消該鏈路 當(dāng)發(fā)現(xiàn) 新鏈路時(shí)自動(dòng)發(fā)現(xiàn)并加入 load balance 不再使用傳統(tǒng)的磁盤設(shè)備文件名稱 如 dev dsk c4t0d3 我們應(yīng)該使用新的磁盤設(shè)備文件進(jìn)行相應(yīng)的操作 對(duì)于永久設(shè)備名更詳細(xì)的 描述 可以參考 5 個(gè) LUN 中 disk24 disk26 用于 vgoradb 卷組 這個(gè)卷組分成兩個(gè)邏輯卷 一個(gè)用戶于 存放 oracle 數(shù)據(jù)文件 另一個(gè)卷用于聯(lián)機(jī)歸檔日志 而 disk25 disk27 用于 orabak 用于數(shù)據(jù) 庫(kù)備份 disk31 用于鎖盤 對(duì)于鎖盤 有以下幾點(diǎn)需要注意 1 鎖盤用于節(jié)點(diǎn)爭(zhēng)奪資源時(shí)進(jìn)行仲裁 2 鎖盤必須在創(chuàng)建在磁盤陣列 不能創(chuàng)建在本地硬盤 3 鎖盤的容量大小無(wú)限制 在 EVA 磁盤陣列上最小的容量單位為 1G 因此 只要給鎖 盤劃分一個(gè) 1G 的 LUN 就可以了 鎖盤上面不會(huì)保存任何的信息 不需要?jiǎng)?chuàng)建 LV 只要?jiǎng)?chuàng)建一個(gè)普通的 VG 就可以了 4 只有兩個(gè)節(jié)點(diǎn)集群 鎖盤是必須的 有兩個(gè)以上節(jié)點(diǎn)的集群 可以不要鎖盤 2 1 創(chuàng)建 PV Physical Volume pvcreate dev disk disk24 pvcreate dev disk disk25 pvcreate dev disk disk26 pvcreate dev disk disk27 pvcreate dev disk disk31 已經(jīng)創(chuàng)建的 pv 可以使用 pvremove 命令刪除 使用傳統(tǒng)的設(shè)備文件創(chuàng)建 pv 的命令如下 gd mudb1 dev rdsk pvcreate dev rdsk c2t0d0 Physical volume dev rdsk c2t0d0 has been successfully created gd mudb1 dev rdsk pvremove dev rdsk c2t0d0 The physical volume associated with dev rdsk c2t0d0 has been removed HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 7 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 這里需要注意的是 要使用 rdsk 目錄的設(shè)備文件創(chuàng)建 pv 而不是 dsk 目錄 2 2 創(chuàng)建 VG Volume Group 2 2 1 創(chuàng)建用于 VG 的目錄 mkdir dev vgoradb mkdir dev vgorabak mkdir dev vglock 2 2 2 創(chuàng)建字符設(shè)備文件 mknod dev vgoradb group c 64 0 x010000 mknod dev vgorabak group c 64 0 x020000 mknod dev vglock group c 64 0 x030000 mknod 的語(yǔ)法如下 mkdir options name bc major minor mknod options name p 上面的 dev vgoradb group 就是 name b c p 是設(shè)備類型 pFIFO 類型 b塊文件 c字符文件 major 這里通常都是 64 minor 0 x010000 是組文件的 mirror number 大小為從 0 ff 0 255 跟在設(shè)備文件名后的 c 指定 group 是字符設(shè)備文件 64 是 group 設(shè)備文件的主編號(hào) 主編號(hào)始終是 64 0 xnn0000 是 group 文件的十六進(jìn)制形式的次編號(hào) 每個(gè)具體的 nn 必須在所有卷組中是 唯一的 一般來(lái) nn 和卷組號(hào)對(duì)應(yīng)比較容易識(shí)別 方便維護(hù) 通過(guò) ls l 可以查到 major 和 minor 的值 如下所示 crw r 1 root sys 64 0 x000000 Dec 31 04 23 dev vg00 group crw rw rw 1 root sys 64 0 x020000 Mar 2 16 47 dev vgorabak group crw rw rw 1 root sys 64 0 x010000 Mar 2 16 47 dev vgoradb group HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 8 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 2 2 3 創(chuàng)建 VG vgcreate dev vgoradb dev disk disk24 dev disk disk26 vgcreate dev vgorabak dev disk disk25 dev disk disk27 vgcreate dev vglock dev disk disk31 2 3 創(chuàng)建 LV Logic Volume 和文件系統(tǒng) lvcreate L 20000 n oradata dev vgoradb lvcreate L 1000 n archlog dev vgoradb lvcreate L 40000 n orabak dev vgorabak 對(duì)于鎖盤 可以不用創(chuàng)建 LV 然后創(chuàng)建文件系統(tǒng) mkfs F vxfs dev vgoradb oradata mkfs F vxfs dev vgoradb archlog mkfs F vxfs dev vgorabak orabak 然后創(chuàng)建掛載點(diǎn) 就可以把文件系統(tǒng)掛載到主機(jī)上 mkdir oradata mkdir archlog mkdir orabak mount dev vgoradb oradata oradate mount dev vgoradb archlog archlog mount dev vgorabak orabak orabak 2 4 VG 的激活與同步 需要注意的一點(diǎn)是 VG 需要激活之后才能掛載 激活的方式有三種 vgchange a e dev vgoradb vgchange a y dev vgoradb vgchange c y dev vgoradb 這三種分別使用在不同的情況下 參數(shù) a y 的方式 是以共享的方式掛載卷組 這種方式 用于卷組未加入集群管理時(shí)使用 參數(shù) c y 這種方式需要在集群?jiǎn)?dòng)的時(shí)候才能使用 用于把 卷組加入到集群中管理 而參數(shù) a e 是卷組在執(zhí)行 c y 命令加入到集群管理之后 再以獨(dú)占的 方式激活卷組 在集群方式下 卷組只能以獨(dú)占的方式激活 禁用卷組有如下兩種方式 HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 9 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 vgchange a n dev vgoradb vgchange c n dev vgoradb 其中 c n 的方式是把卷組從集群管理中釋放出來(lái) 在一臺(tái)主機(jī)上配置好卷組之后 在另外一臺(tái)主機(jī)不需要再進(jìn)行配置 創(chuàng)建卷組設(shè)備文件 然后把已經(jīng)配置好的卷組信息導(dǎo)出 再導(dǎo)入到另外一臺(tái)即可 卷組只有在禁用狀態(tài)下才能被導(dǎo) 出 不然會(huì)報(bào)錯(cuò) 如以下命令 gd mudb1 tmp vgexport s m tmp vgorabak map dev vgorabak vgexport Volume group dev vgorabak is still active vgexport Couldn t export volume group dev vgorabak 這個(gè)時(shí)候這個(gè) VG 是 active 的狀態(tài) 需要把它 deactive vgchange a n dev vgorabak deactive 之后 執(zhí)行 vgexport 的需要帶 p 的參數(shù) 不然后會(huì)在會(huì)這臺(tái)機(jī)器把卷組 remove 掉 如下所示 vgexport s m tmp vgorabak map dev vgorabak 使用 strings 命令查看卷組配置信息 strings etcm lvmtab gd mudb1 strings etc lvmtab dev vg00 dev disk disk3 p2 dev vgoradb dev disk disk24 dev disk disk26 可以看到 dev vgorabak 這個(gè)卷組已經(jīng)被 remove 掉了 這里的 strings 命令是查看二進(jìn)制 文件中的文本信息 vgexport 命令中的 p 參數(shù)是 preview 的意義 即只是預(yù)覽 并不真正把 卷組導(dǎo)出 卸載 s 是掃描卷組配置 m 參數(shù)指定導(dǎo)出文件 同步時(shí)應(yīng)執(zhí)行下面的命令 vgexport p s m tmp vglock map dev vglock vgexport p s m tmp vgoradb map dev vgoradb vgexport p s m tmp vgorabak map dev vgorabak 然后通過(guò) rcp 命令把這些配置文件傳到另外一臺(tái)機(jī)器 再導(dǎo)入卷組配置 rcp tmp vglock map gd mudb2 tmp vglock map rcp tmp vgoradb map gd mudb2 tmp vgoradb map rcp tmp vgorabak map gd mudb2 tmp vgorabak map 在另外一臺(tái)主機(jī) gd mudb2 上執(zhí)行 vgimport N s m tmp vglock map dev vglock vgimport N s m tmp vgoradb map dev vgoradb HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 10 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 vgimport N s m tmp vgorabak map dev vgorabak 需要注意這里的 N 參數(shù) 這個(gè)參數(shù)是為支持新的設(shè)備文件名而增加的 導(dǎo)入之后 查看 lvmtab 文件則可以看到卷組的配置信息 gd mudb1 strings etc lvmtab dev vg00 dev disk disk3 p2 dev vgoradb dev disk disk24 dev disk disk26 dev vgorabak dev disk disk25 dev disk disk27 dev vglock dev disk disk24 在以共享模式 vgchage a y dev vgxxx 激活的卷組 可以在兩臺(tái)主機(jī)上同時(shí)激活 但 不能同時(shí)掛載 在第二臺(tái)機(jī)器上掛載的時(shí)候會(huì)報(bào)錯(cuò) gd mudb2 dev mount dev vgorabak orabak orabak vxfs mount V 3 21268 dev vgorabak orabak is corrupted needs checking 到此 磁盤卷組就都配置完成了 HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 11 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 3 集群配置 3 1 檢查軟件是否已經(jīng)安裝 通常如果購(gòu)買了 ServiceGuard 軟件 則廠家在安裝操作過(guò)程會(huì)把 ServiceGuard 軟件安 裝上去 但不會(huì)做配置 通過(guò)以下命令檢查是否安裝了 ServiceGuard 軟件 swlist grep ServiceGuard 3 2 配置 hosts 及信任關(guān)系 確保在在兩臺(tái)主機(jī)的 hosts 文件中有如下配置 gd mudb1 etc hosts 文件 127 0 0 1 localhost loopback 192 168 3 21 gd mudb1 data net 192 168 3 22 gd mudb2 192 168 0 1 gd mudb1 HB heart net 192 168 0 2 gd mudb2 HB heart net gd mudb2 etc hosts 文件 127 0 0 1 localhost loopback 192 168 3 21 gd mudb1 data net 192 168 3 22 gd mudb2 192 168 0 1 gd mudb1 HB heart net 192 168 0 2 gd mudb2 HB heart net 確保兩臺(tái)機(jī)有如下信任關(guān)系配置 gd mudb1 more rhost gd mudb1 root gd mudb2 root gd mudb2 more rhost gd mudb1 root gd mudb2 root 兩臺(tái)機(jī)建立信任關(guān)系之后 就可以使用 rlogin host name 直接登錄到另外一臺(tái)主機(jī) 而不 需要密碼 同時(shí)也可以使用 rcp 在兩臺(tái)機(jī)之后傳文件 使用命令的格式如下 HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 12 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 rcp host name path to file path to local file rcp path to local file host name path to file 確保兩臺(tái)機(jī) PING 內(nèi)網(wǎng) IP 心跳 IP 都可以通訊 心跳 IP 的兩塊網(wǎng)卡通過(guò)直連線 交叉線 進(jìn)行連接 3 3 生成集群配置文件 執(zhí)行 cmquerycl 命令生成集群配置模板文件 cmquercl v C etc cmcluster cluser ascii n gd mudb1 n gd mudb2 這里的 v 參數(shù)顯示詳細(xì)信息 C 指定配置文件的路徑 n 指定集群中的節(jié)點(diǎn) 在實(shí)際操作過(guò)程中出現(xiàn)了一個(gè)錯(cuò)誤 gd mudb1 etc cmcluster cmquerycl v C etc cmcluster cluster ascii n gd mudb1 n gd mudb2 Warning Unable to determine local domain name for gd mudb1 Looking for other clusters Done Node gd mudb2 is refusing Serviceguard communication Please make sure that the proper security access is configured on node gd mudb2 through either file based access pre A 11 16 version or role based access version A 11 16 or higher and or that the host name lookup on node gd mudb2 resolves the IP address correctly Failed to gather configuration information 很明顯 錯(cuò)誤顯示 gd mudb2 節(jié)點(diǎn)無(wú)法進(jìn)行通訊 ServiceGuard 在安裝好之后 會(huì)在 inetd conf 文件時(shí)寫入雙機(jī)配置信息 隨便 inetd 服務(wù)啟動(dòng)監(jiān)護(hù)進(jìn)程 但不知為什么 在 gd mudb2 的配置信息被注釋掉了 查看如下 SDUXdisable hacl cfg dgram udp wait root usr lbin cmclconfd cmclconfd p SDUXdisable hacl cfg stream tcp nowait root usr lbin cmclconfd cmclconfd c 因此 在出現(xiàn)類似 Node gd mudb2 is refusing Serviceguard communication 這種錯(cuò)誤的 時(shí)候 首先檢查 inetd conf 文件 如果配置被注釋 只要把注釋去掉 SDUXdisable hacl cfg dgram udp wait root usr lbin cmclconfd cmclconfd p SDUXdisable hacl cfg stream tcp nowait root usr lbin cmclconfd cmclconfd c 并執(zhí)行 inetd c 命令 inetd 服務(wù)即可 重新再執(zhí)行 cmquerycl 命令 還是報(bào)錯(cuò) 報(bào)錯(cuò)信息 如下 gd mudb2 etc cmcluster cmquerycl v C etc cmcluster cluster ascii n gd HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 13 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 mudb1 n gd mudb2 Warning Unable to determine local domain name for gd mudb2 Looking for other clusters Done Gathering storage information Error reading device dev dsk c2t0d0s1 0 x8 Error reading device dev dsk c2t0d0s2 0 x8 Error reading device dev dsk c2t0d0s3 0 x8 Found 32 devices on node gd mudb1 Found 32 devices on node gd mudb2 Analysis of 64 devices should take approximately 7 seconds 0 Error reading device dev dsk c2t0d0s1 0 x8 Error reading device dev dsk c2t0d0s2 0 x8 Error reading device dev dsk c2t0d0s3 0 x8 10 20 30 40 50 Error reading device dev disk disk3 p1 0 x8 Error reading device dev disk disk3 p2 0 x8 60 Error reading device dev disk disk3 p1 0 x8 Error reading device dev disk disk3 p2 0 x8 70 Error reading device dev disk disk3 p3 0 x8 80 Error reading device dev disk disk3 p3 0 x8 90 100 Found 3 volume groups on node gd mudb1 Found 3 volume groups on node gd mudb2 Analysis of 6 volume groups should take approximately 1 seconds 0 10 20 30 40 50 60 70 80 90 100 Note Disks were discovered which are not in use by either LVM or VxVM Use pvcreate 1M to initialize a disk for LVM or use vxdiskadm 1M to initialize a disk for VxVM Unable to determine a unique identifier for physical volume dev disk disk3 p2 on node gd mudb1 Use pvcreate to give the disk an identifier Unable to determine a unique identifier for physical volume dev disk disk3 p2 on node gd mudb2 Use pvcreate to give the disk an identifier Gathering network information Beginning network probing Completed network probing Failed to gather configuration information 集君配置文件沒(méi)有生成 這里最主要的錯(cuò)誤是 Unable to determine a unique identifier for physical volume dev disk disk3 p2 on node gd mudb1 Use pvcreate to give the disk an identifier 在網(wǎng)上查找了很久 都沒(méi)有找到原因 咨詢了一下 HP 的工程師 提供了一份關(guān)于 unique identifier 錯(cuò)誤描述的詳細(xì)文檔 文檔描述了出現(xiàn)這個(gè)錯(cuò)誤可能的原因及解決方法 其中有一種情況 描述如下 HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 14 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 CAUSE 5 On 11 31 systems partitioned boot VG devices may have this symptom Unable to determine a unique identifier for physical volume dev disk disk13 p2 on node ux206010 vgdisplay and etc lvmtab look okay however lvlnboot does not provide output and the idisk command shows idisk dev rdisk disk9 idisk version 1 44 idisk Primary partition information not valid Run idisk with r option to restore SOLUTION idisk w r dev rdisk disk9 idisk version 1 43 WARNING If you continue you may destroy all data on this disk Do you wish to continue yes no yes 執(zhí)行 idisk 時(shí)提示主分區(qū)無(wú)效 使用 disk r 選項(xiàng)進(jìn)行恢復(fù) 操作如下操作 idisk w r dev rdisk disk3 p2 idisk version 1 43 WARNING If you continue you may destroy all data on this disk 執(zhí)行上述命令之后 執(zhí)行 cmquerycl 成功 但是在后面 主機(jī)關(guān)閉之后 無(wú)法重新啟動(dòng) 造成這個(gè)問(wèn)題的原因?yàn)?HP 工程師在分配 LUN 時(shí) 未配置鎖盤使用的 LUN 在創(chuàng)建鎖盤使 用的 PV 時(shí) 使用了錯(cuò)誤的 LUN 執(zhí)行了如下命令 pvcreate dev rdsk c2t0d0 而此 LUN 對(duì)應(yīng)的新設(shè)備名為 disk3 p2 此 LUN 為本地硬盤 對(duì)應(yīng)為根盤 從 lvmtab 中 可以看出 gd mudb1 strings etc lvmtab dev vg00 dev disk disk3 p2 對(duì) disk3 p2 執(zhí)行 pvcreate 命令之后 主分區(qū)信息被破壞 導(dǎo)致后面重啟后主機(jī)無(wú)法啟動(dòng) 因此 執(zhí)行卷操作時(shí) 一定要熟悉各個(gè) LUN 的用途 是否已經(jīng)被使用 通常查看 lvmtab vg00 卷組通常為根盤 不能動(dòng)它 在執(zhí)行 cmquerycl 執(zhí)行成功后 會(huì)在 etc cmcluster 目錄下生成 cluster ascii 文件 此文件 只是一個(gè)模板文件 文件內(nèi)容需要按實(shí)際配置進(jìn)行修改 主要修改的配置參數(shù)如下 HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 15 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 cluster ascii 文件文件 CLUSTER NAMEgd mudb FIRST CLUSTER LOCK VG dev vglock VOLUME GROUP dev vglock VOLUME GROUP dev vgoradb VOLUME GROUP dev vgorabak CLUSTER NAME 指定集群的名稱 FIRST CLUSTER LOCK VG 指定鎖盤的卷組 VOLUME GROUP 指定加入集群管理的卷組 可以使用這些參數(shù)名在配置文件搜索其所在的 位置 然后進(jìn)行修改 3 4 生成程序包配置文件 3 4 1 創(chuàng)建程序包配置模板文件 1 創(chuàng)建程序包目錄 cd etc cmcluster mkdir orapkg 2 生成程序包配置文件及控制文件 cmmakepkg p orapkg orapkg conf cmmakepkg s orapkg tl 使用上述命令生成的配置文件及控制文件只是一個(gè)模板 在使用之前需要手工修改 3 4 2 修改程序包配置模板文件 1 orapkg conf 文件文件 此文件使用命令生成 生成的模板文件不能直接使用 需要根據(jù)實(shí)際的配置進(jìn)行修改 修 改的主要內(nèi)容有 PACKAGE NAMEorapkg NODE NAMEgd mudb1 NODE NAMEgd mudb2 RUN SCRIPT etc cmcluster orapkg tl HALT SCRIPT etc cmcluster orapkg tl SERVICE NAMEDB MONITOR SERVICE FAIL FAST ENABLEDno SERVICE HALT TIMEOUT300 PACKAGE NAME 指定程序包的名稱 NODE NAME 指定程序包所在的節(jié)點(diǎn) RUN SCRIPT HALT SCRIPT 指定啟 停程序包腳本的位置 SERVICE 相關(guān)的參數(shù)配置了 一個(gè)服務(wù) 這個(gè)服務(wù)用于監(jiān)控?cái)?shù)據(jù)庫(kù) HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 16 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 tl 文件文件 此文件使用命令生成 生成的模板文件不能直接使用 需要根據(jù)實(shí)際的配置進(jìn)行修改 修 改的主要內(nèi)容有 VG 0 vgoradb VG 1 vgorabak LV 0 dev vgoradb oradata FS 0 oradata FS MOUNT OPT 0 o rw FS UMOUNT OPT 0 FS FSCK OPT 0 FS TYPE 0 vxfs LV 1 dev vgoradb archlog FS 1 archlog FS MOUNT OPT 1 o rw FS UMOUNT OPT 1 FS FSCK OPT 1 FS TYPE 1 vxfs LV 2 dev vgorabak orabak FS 2 orabak FS MOUNT OPT 2 o rw FS UMOUNT OPT 2 FS FSCK OPT 2 FS TYPE 2 vxfs IP 0 192 168 3 20 SUBNET 0 192 168 3 0 SERVICE NAME 0 DB MONITOR SERVICE CMD 0 etc cmcluster orapkg dbcontrol sh monitor SERVICE RESTART 0 r 3 function customer defined run cmds ADD customer defined run commands do nothing instruction because a function must contain some command etc cmcluster orapkg dbcontrol sh start test return 51 function customer defined halt cmds ADD customer defined halt commands do nothing instruction because a function must contain some command etc cmcluster orapkg dbcontrol sh stop test return 52 VG 相關(guān)的參數(shù)把所以的 VG 定義成了一個(gè) VG 數(shù)組 此程序包所有的 VG 資源都在這里 定義 需要注意的是 集群的配置文件里有 VG 的配置 這里也有 VG 的配置 集群里可以不 只一個(gè)程序包 各個(gè)程序包用到的 VG 資源 都在各自個(gè)程序包的這個(gè)控制文件里配置 LV 0 dev vgoradb oradata FS 0 oradata FS MOUNT OPT 0 o rw FS UMOUNT OPT 0 FS FSCK OPT 0 FS TYPE 0 vxfs 上面的配置指明 LV 的掛載的相關(guān)配置 HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 17 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 服務(wù)的相關(guān)配置定義了服務(wù)的詳細(xì)調(diào)用方式 SERVICE RESTART 0 r 3 指定了服務(wù) 啟動(dòng)失敗時(shí) 嘗試 3 次 后面的兩個(gè)函數(shù) customer defined run cmds customer defined halt cmds 板模是自 動(dòng)生成的 在執(zhí)行 cmrunpkg cmhaltpkg 時(shí)會(huì)試用這兩個(gè)函數(shù) 這里只是定義了一個(gè)框架 etc cmcluster orapkg dbcontrol sh start etc cmcluster orapkg dbcontrol sh stop 這些實(shí)際上 要做的動(dòng)作 由我們自己添加 從上述的配置中可以看到 ServiceGuard 的配置文件給我們提供一個(gè)框 像服務(wù)的的實(shí) 際腳本 程序包的啟停腳本 都是需要我們自己去定義的 3 5 數(shù)據(jù)庫(kù)控制腳本 dbcontrol sh 這個(gè)腳本才是服務(wù)定義 程序包啟停真正的執(zhí)行的地方 這個(gè)腳本可以使用 HP 的標(biāo)準(zhǔn)腳本 它不是免費(fèi)的 一般 HP 不會(huì)提供 需要去網(wǎng)上自己找 然后根據(jù)實(shí)際配置 進(jìn)行修改 也可以自己來(lái)寫 腳本比較長(zhǎng) 在此不列出 需要時(shí)自己去查看 要更好的理解 ServiceGuard 集群的運(yùn)行 原理 需要認(rèn)真讀懂此腳本 3 6 驗(yàn)證及分發(fā)集群及程序包配置文件 在分發(fā)配置文件之前一定要先激活鎖盤 vgchange a e dev vglock 分發(fā)集群及程序包配置文件的過(guò)程中 會(huì)生成二進(jìn)制的配置文件 cmclconfig 同時(shí)會(huì)把配 置文件分發(fā)到各個(gè)節(jié)點(diǎn) 執(zhí)行下面的命令檢查集群及程序包配置文件 cmcheckconf v k C etc cmcluster cluster ascii P etc cmcluster orapkg orapkg conf 檢查配置沒(méi)有問(wèn)題之后 執(zhí)行下面的命令則分發(fā)集群 程序包配置文件 cmapplyconf v k C etc cmcluster cluster ascii P etc cmcluster orapkg orapkg conf 至此 ServiceGuard 集群就配置完了 3 7 運(yùn)行集群及程序包 集群配置完成之后 使用 cmruncl f v 來(lái)運(yùn)行集群 運(yùn)行成功之后 可以使用 cmviewcl v 來(lái)查看集群的運(yùn)行狀態(tài) 程序會(huì)列出集群 節(jié)點(diǎn)和程序包的運(yùn)行狀態(tài) HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 18 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 要停止整個(gè)集群 則使用 cmhaltcl f v 的命令 要啟動(dòng)程序包 使用 cmrunpkg n node name pkg name n 參數(shù)指定程序包在哪個(gè)節(jié)點(diǎn)上運(yùn)行 停止程序包 使用 cmhaltpkg pkg name 命令 但是 在一個(gè)節(jié)點(diǎn)停止程序包之后 會(huì)自動(dòng)在另外一個(gè)節(jié)點(diǎn)重啟 如果不希 望服務(wù)包重啟 則使用 cmmodpkg d n node name1 n node name2 pkg name 禁用程 序包 如果要切換程序包 則可以不禁用程序包 直接執(zhí)行 cmhaltpkg 停掉程序包 這樣程序包 就會(huì)在另外一臺(tái)機(jī)重啟 以下腳本是我自己寫的用于程序包在節(jié)點(diǎn)間切換的腳本 cmswitchpkg bin sh CL CONF etc cmcluster cluster ascii MAIN OSUSER id awk F print 2 awk F print 1 if OSUSER root then echo echo The user to execute this program must be ROOT echo exit 0 fi if eq 0 then echo echo Usage cmswitchpkg pkg name echo exit 0 else PKG NAME 1 echo Package name PKG NAME fi STATE cmviewcl v grep w PKG NAME awk print 3 echo Running state STATE if STATE running then echo echo The package PKG NAME does not running echo exit 0 HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 19 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 else HOST MA cmviewcl v grep w PKG NAME awk print 5 echo The host master HOST MA if f CL CONF then HOST SL grep NODE NAME CL CONF awk print 2 grep v HOST MA echo The host slave HOST SL else echo echo Can t find the cmcluster configuration file exit 0 fi fi echo Switch package PKG NAME from HOST MA to HOST SL cmhaltpkg PKG NAME cmmodpkg d n HOST MA PKG NAME cmmodpkg e n HOST SL PKG NAME cmrunpkg n HOST SL PKG NAME 要查看集群的運(yùn)行情況 可以查看 var adm syslog syslog log 日志文件 集群會(huì)在所有節(jié) 點(diǎn)的這個(gè)日志文件中輸出運(yùn)行日志 程序包運(yùn)行的詳細(xì)日志 在程序包所運(yùn)行的節(jié)點(diǎn)的程序包目錄 如 orapkg 程序包的日志 位于 etc cmcluster orakg tl log HP ServiceGuard 配置手冊(cè) XX 科技 XX 有限公司 工程部第 20 頁(yè) 共 23 頁(yè)2009 03 26 版本 1 0 4 ServiceGuard 常用命令 命令命令說(shuō)明說(shuō)明 cmapplyconf 驗(yàn)證并應(yīng)用驗(yàn)證并應(yīng)用ServiceGuardServiceGuard群集配置和程序包配置文件 群集配置和程序包配置文件 cmapplyconf驗(yàn)證在cluster ascii file和相關(guān)的pkg ascii file中指 定的群集配置和程序包配置 創(chuàng)建或更新名為cmclconfig的二進(jìn)制配 置文件 將其分發(fā)到所有節(jié)點(diǎn) 此二進(jìn)制配置文件包含群集配置信息 以及所有指定程序包的程序包配置信息 此文件被群集守候進(jìn)程用來(lái)管理整個(gè)群集和程序包環(huán)境 它保存在 etc cmcluster目錄下 如果需要對(duì)群集配置或任何程序包配置文件 進(jìn)行修改 請(qǐng)首先更新相應(yīng)的ASCII文件群集或者程序包 然后使用 cmcheckconf命令使這些更改生效 再使用cmapplyconf 命令驗(yàn)證二進(jìn) 制文件并將其再分發(fā)到所有節(jié)點(diǎn) 只有當(dāng)群集關(guān)閉的時(shí)候才能修改群集和程序包配置 只有第一次配置 群集或者添加和刪除群集節(jié)點(diǎn)時(shí)才需要指定群集ASCII文件 只有在要 添加程序包或修改程序包配置時(shí)才需要指定程序ASCII文件 每當(dāng)需要 對(duì)現(xiàn)有配置進(jìn)行修改時(shí)都建議用戶運(yùn)行cmgetconf命令來(lái)獲得群集 ASCII 配置文件或程序包ASCII配置文件 請(qǐng)注意cmapplyconf將驗(yàn)證并分發(fā)群集配置或程序包文件它不會(huì)導(dǎo)致群 集守候進(jìn)程啟動(dòng)或從群集配置中被刪除 相同類型的處理將用于程序 包配置以便確定是否要添加或刪除程序包節(jié)點(diǎn)程序包子網(wǎng)等 對(duì)程序 包配置做任何更改都要求將程序包暫停 cmdeleteconf 刪除群集或程序包配置 刪除群集或程序包配置 cmdeleteconf刪除整個(gè)群集配置包括其全部程序包或僅刪除指定的程 序包如果cluster name和package name都沒(méi)有指定 cmdeleteconf將 刪除本地群集的配置及其所有的程序包 如果僅指定了package name 則僅刪除本地群集中package name的配置 如果同時(shí)指定了 cluster name和package name 則必須在cluster name中配置程序包 并且將只刪除程序包package name 本