suse linux HA配置.doc

Suse sp3 HA配置手冊 SUSE11 sp3下HA的配置1 前言HA(High Available), 高可用性群集，是保證業(yè)務連續(xù)性的有效解決方案，一般有兩個或兩個以上的節(jié)點，且分為活動節(jié)點及備用節(jié)點。通常把正在執(zhí)行業(yè)務的稱為活動節(jié)點，而作為活動 節(jié)點的一個備份的則稱為備用節(jié)點。當活動節(jié)點出現(xiàn)問題，導致正在運行的業(yè)務（任務）不能正常運行時，備用節(jié)點此時就會偵測到，并立即接續(xù)活動節(jié)點來執(zhí)行業(yè) 務。從而實現(xiàn)業(yè)務的不中斷或短暫中斷。2 資源規(guī)劃 兩臺SUSE11sp3的虛機，計算機名分別為ccfile1、ccfile2。 網卡的IP地址為 節(jié)點1 ：eth0 192.168.58.238 eth2 10.10.58.238 節(jié)點2 : eth0 192.168.58.238 eth2 10.10.58.238 VIP 10.10.58.240 漂移IP 10.10.58.240 192.168.58網段用于心跳 suse11sp3 和 對應的HA的光盤3 前期環(huán)境準備3.1 連接工具3.1.1 Vsphere client連接提前安裝好vsphere client軟件，向管理員咨詢虛擬機管理服務器vcenter server的地址，輸入其地址及個人的域名和密碼?？砂碔P或者虛擬機名稱查找。雙擊查找出的結果：選擇虛擬機，右鍵選擇“打開控制臺”，將鼠標移動到彈出的窗口中，點擊左鍵，即可登錄到虛擬機操作系統(tǒng)界面中。（有時可能需要重新輸入操作系統(tǒng)的賬號和密碼進行登錄）3.1.2 xmanager xbrowser安裝Xmanager3軟件，使用xbrowser軟件來連接虛擬機。過程如下：如下圖，輸入地址后，回車。在彈出的窗口中，選擇本機地址，然后點“OK”，將顯示輸出到本機。3.2 安裝HA組件SUSE的HA要通過HA組件來配置，而Suse sp3操作系統(tǒng)默認是沒有安裝HA組件的。因此要使用HA組件ISO安裝包為操作系統(tǒng)安裝HA組件。過程如下：點擊桌面左下角“computer”菜單，選擇YAST，點擊“Add”。本實驗中SUSE Linux Enterprise Server 11 SP2的安裝ISO文件已經先拷貝到服務器上。選擇“Local ISO Image”，點擊“Next”。 選中ISO文件后點擊“Next”。 同意協(xié)議后擊“Next”。 點擊“High Availability”成如圖狀態(tài)后點擊“OK”。注意如果之前沒有掛載好系統(tǒng)光盤，會彈出報錯如下，此時將HA安裝盤彈出再掛載系統(tǒng)盤，等到裝好系統(tǒng)盤內容，會再次提示掛載HA盤。選擇稍后配置后點擊“Next”。 點擊“Next”。安裝完成后，如果可以在YAST控制面板上找到“Cluster”和“Pacemaker Gui”，表示安裝成功。3.3 修改hostname修改/etc/HOSTNAME中的內容，并且使用 hostname ccfile1 和hostname ccfile2修改當前SESSION的hostname，修改完成后，可以重啟下機子用hostname查看確認下是否生效。3.4 文件系統(tǒng)兩臺虛擬機的共享盤是可由虛擬機管理員提前分配好。先使用fdisk l或者partitioner工具查看兩臺虛擬機是否都已經掛載了共享盤。以下操作，只要在一臺虛擬機上操作，另一臺就能看得到效果。推薦使用系統(tǒng)自帶的工具patitioner進行分區(qū)及格式化。3.4.1 使用命令行格式化（不推薦）計劃使用/dev/sdc1 /dev/sdb13.4.2 使用partitioner格式化點擊桌面左下角“computer”菜單，選擇選擇system-partitioner此處要注意，選擇“Do not mount partition”，否則每次系統(tǒng)重啟，都可能去mount同一個共享盤，導致使用reboot方式的HA切換失敗。最后實際的效果圖：其中/dev/sdd1是應用所在的文件系統(tǒng)共享盤；/dev/sdd2是仲裁盤，只需要大概100MB左右。（官方說只要10M就行）3.5 修改/etc/hosts 兩節(jié)點都做將192.168.XX.YY網段用于心跳的地址配置上去，并同時配置/etc/hosts下的內容。在terminal窗口中輸入YAST 命令：硬盤管理員提前分配好了網卡資源，在另一張沒有用的網卡上配置上192網段的IP，只要兩臺通過互通就可以。注意：私網的地址的名稱要與hostname不一樣。127.0.0.1 localhost# special IPv6 addresses:1 localhost ipv6-localhost ipv6-loopbackfe00:0 ipv6-localnetff00:0 ipv6-mcastprefixff02:1 ipv6-allnodesff02:2 ipv6-allroutersff02:3 ipv6-allhosts10.10.58.239 ccfile2 ccfile210.10.58.238 ccfile1 ccfile1192.168.58.238 ccfile1-priv ccfile1-priv192.168.58.239 ccfile2-priv ccfile2-priv4 配置集群4.1 HA配置日志HA配置過程中的日志，可以通過tail f /var/log/messages來查看。4.2 配置ccfile1作為主節(jié)點在終端中運行命令 yast2 cluster命令，打開配置窗口。（也可以通過YAST控制面板上的other-cluster打開。）此處配置的是心跳地址，而不是實際的地址，并且只要寫到192.168.58.0網段，不需要到具體的地址，如192.168.58.238。可以參照生產上的配置，注意生產的地址經過了映射。如上圖配置，bind network address選擇192私網網段的網段地址，組播地址和端口用默認，node id選擇自動生成。 勾選“啟用安全身份驗證”選擇generate auth key file仔細閱讀此選項上面一行的信息把authkey的目錄記住，然后下一步To specify the synchronization group, click Add in the Sync Host group and enter the local host names of all nodes in your cluster. For each node, you must use exactly the strings that are returned by the hostname command. Click Generate Pre-Shared-Keys to create a key file for the synchronization group. The key file is written to /etc/csync2/key_hagroup. After it has been created, it must be copied manually to all members of the cluster. To populate the Sync File list with the files that usually need to be synchronized among all nodes, click Add Suggested Files.Activate Csync2 by clicking Turn Csync2 ON. This will execute chkconfigcsync2 to start Csync2 automatically at boot time.必須確保ccfile1和ccfile2是兩個結點使用hostname命令查詢得出的結果。配置csync2，選擇add把兩臺主機名加入，然后點擊add suggested files，點擊generate pre-shared-keys,再點turen csync2 on下一步這一步選擇實際的網卡，地址不需要配置（其實這一整步應該可以略過的，不影響HA功能使用）。下一步，主節(jié)點就配完了。選擇其他節(jié)點注意，openais不設置成開機啟動，可以手工啟動，這樣可以自由地選擇要將應用運行在哪一臺服務器上。選擇完后，點“start openais now”啟動openais。4.3 配置節(jié)點2在yast2 cluster下如上圖配置，但是不要點generate auth key file。?（實際操作時，有點）如上圖配置，openais可能無法馬上啟動，不過可以重啟下兩臺機器手，手工啟動試一下。重啟的日志，可以通過tail f /var/log/messages查看。不是主節(jié)點的只要啟動csync2,其他不用改。修改心跳，選用和主節(jié)點相同網段的網卡。4.4 配置同步切換到主節(jié)點，進入/etc/csync2目錄查看把csync2.cfg和key_hagroup用scp拷貝到其他節(jié)點的相同目錄下scp /etc/csync2/csync2.cfg rootccfile2:/etc/csync2scp /etc/csync2/key_hagroup rootccfile2:/etc/csync2把/etc/corosync下的authkey和corosync.conf拷到其他節(jié)點的相同目錄下scp /etc/corosync/authkey rootha2:/etc/corosync/scp /etc/corosync/corosync.conf rootha2:/etc/corosync/如果是手動配置nodeid，則拷貝后，將corosync.conf中的nodeid:1#node1為1，node2為2。不過我沒有修改第二個結點使用csync2 xv也能成功。不過在crm_mon時，結點2未啟動。在主節(jié)點上運行csync2 -xv會得到如上圖顯示沒有錯誤。 If one or several files that are to be synchronized have been modified on other nodes (not only on the current one), Csync2 will report a conflict. You will get an output similar to the one below: While syncing file /etc/corosync/corosync.conf:ERROR from peer hex-14: File is also marked dirty here!Finished with 1 errors. If you are sure that the file version on the current node is the “best” one, you can resolve the conflict by forcing this file and resynchronizing: root # csync2 -f /etc/corosync/corosync.confcsync2 -x在主節(jié)點上的終端運行crm_mon看到如上圖的online里有兩個節(jié)點，若沒有就調節(jié)其他節(jié)點里的yast2 cluster里的NODE ID，ID號可能被同步成主節(jié)點的ID，把他們改成自己原先設置的ID號，改完后重啟。4.5 設置csync2和xinetd服務開機自啟在所有結點上執(zhí)行如下命令進行配置：Service openais statuschkconfig csync2 onchkconfig xinetd onrcxinetd startrcopenais status rcopenais start4.6 修改hacluster用戶密碼配置資源前，需要修改hacluster用戶密碼：#passwd hacluster 一般直接設置與用戶名一樣。5 crm_gui配置5.1 配置CRM參數(shù)在openais服務啟動后，在terminal窗口中執(zhí)行下面的配置命令：crm configure property stonith-enabled=falsecrm configure property no-quorum-policy=ignorecrm configure rsc_defaults resource-stickiness=100查看設置：crm configure show備注：運行完yast2 cluster 命令配置雙機引擎參數(shù)，接著在第一次運行service openais start命令啟動雙機后，一定要在字符界面運行crm命令，進行configure配置。否則下面的圖形界面hb_gui 配置雙機資源將不會生效。?在主節(jié)點上運行crm在help下運行configure鍵入property no-quorum-policy=ignore回車再鍵入property stonith-enabled=false 暫時未執(zhí)行“primitive .eth3” by cld 151030再鍵入rsc_defaults resource-stickiness=100（缺圖）然后commit5.2 配置資源5.2.1 配置浮動IP在terminal窗口中輸入crm_gui，回車后打開ha配置窗口。輸入hacluster用戶的密碼，連接到HA配置管理器。創(chuàng)建一個資源組，名為RES，在其中創(chuàng)建ip和filesystem資源：此處的ETH1要跟實際生產的地址所在的網卡一致。并且兩臺機器的網卡序號要一樣，這樣在HA切換后，才能保證網卡序號不變。添加一個名為“RES”的Group，此處注意：不需要勾選target-role started的屬性。上圖中的默認的屬性要刪除掉。IP指的是VIP，nic要跟機器10網段的網卡一致5.2.2 配置文件系統(tǒng)參照生產上的配置。此處注意：不需要勾選target-role started的屬性。上圖中的默認的屬性要刪除掉。5.2.3 配置ping資源創(chuàng)建一個clone資源：查看資源：5.2.3.1 添加ping約束：添加ping約束：5.2.4 配置stonith資源：打開stonith開關：勾選Stonith Enabled配置stonith資源：默認屬性即可查看資源：有其它版本的SBD資源的類型為primitive，如下圖，這個與clone的區(qū)別是什么 ？重啟兩臺服務器。那臺先啟動，即擁有stonith資源。5.2.5 添加應用程序服務資源5.2.5.1 配置應用資源在本例子中，需要配置的應用可執(zhí)行程序為根目錄下的/start.sh文件。將此文件添加為資源，并且與文件系統(tǒng)等資源做啟動順序約束。填寫好后，點擊“forward”進入下一步。1. binfile所指向的文件要有可執(zhí)行權限，需檢查所有結點的權限配置。2. 在主備機切換的過程中，確保兩臺機器調用腳本的應用用戶uid一致，否則可能會出現(xiàn)一臺沒有權限寫log導致腳本無法正常調用刪除掉此處默認設置的operation。5.2.5.2 添加resource colocation約束一般的情況下，應用程序App_res要在包含了共享盤和VIP的機器上啟動，要與基礎資源在同一臺服務器上。因此要設置resource colocation協(xié)同約束。如果是要在基礎資源啟動之后才能啟動。因此需要則配置resouce order約束。點擊確認后，添加完成。5.2.5.3 添加resource order約束5.2.5.4 是否有必要添加約束本例子中，應用程序只是設置本地的nfs服務而已，不依賴于基礎資源，因此，不需要建立resource order約束。但其要在擁有基礎資源的結點上啟動，因此，需要建立resouce colocation約束。以上的resource order建立只是做示范，可以刪除掉。5.3 配置結點信息6 手工切換驗證可以使用reboot命令重啟機子，或者使用service openais stop或service openais start啟動openais服務，以進行手工切換。這個案例中，本地的文件系統(tǒng)被其它機器mount，在沒有釋放掉的情況下，直接openais restart，不會將fs切換過去，要先service nfsserver stop后，再進行openais restart。其它的案例中，只是本地的文件系統(tǒng)對外提供服務而已，不影響切換。可使用crm status查看HA狀態(tài)。7 注意事項添加應用資源時，所有結點binfile所指向的文件要有可執(zhí)行權限。兩個結點的網卡序號一致。應用所在的文件系統(tǒng)需格式化成ext3類型的格式，但不要設置自動MOUNT。啟動應用資源的用戶的用戶名、組、UID都要一樣。如果是中途修改的UID，那么應用涉及到的所有文件的屬主也要一并跟著修改。查看/etc/fstab是否有錯誤的自動掛載的內容。仲裁盤不要格式化成EXT3.應用所在的目錄要格式化成EXT3，但千萬不要MOUNT到某個目錄。8 問題處理8.1 Marking file as dirtyha1:/etc/csync2 # csync2 -xvMarking file as dirty: /etc/sysconfig/pacemakerMarking file as dirty: /etc/sysconfig/openaisMarking file as dirty: /etc/samba/smb.confMarking file as dirty: /etc/lvm/lvm.confMarking file as dirty: /etc/drbd.dMarking file as dirty: /etc/drbd.d/global_common.confMarking file as dirty: /etc/drbd.confMarking file as dirty: /etc/csync2/key_hagroupMarking file as dirty: /etc/csync2/csync2.cfgMarking file as dirty: /etc/corosync/corosync.confMarking file as dirty: /etc/corosync/authkey如果報以下錯的話，強制再同步一下：csync2f/etc/csync2/csync2.cfgcsync2-f/etc/csync2/key_hagroup8.2 第二個結點未online將第一二結點的threads 都修改成2，重新拷貝同步文件到結點2，并且全部重新啟動Service openais restart。之后就正常了：8.3 Could not establish cib_ro connection: Connection refused (111)ccfile1:/etc/corosync # crm_monAttempting connection to the cluster.Could not establish cib_ro connection: Connection refused (111) .Could not establish cib_ro connection: Connection refused (111) .Could not establish cib_ro connection: Connection refused (111)Oct 30 10:21:29 ccfile1 sbd: 6702: info: Watchdog enabled.Oct 30 10:21:29 ccfile1 sbd: 6702: ERROR: Header magic does not match.Oct 30 10:21:29 ccfile1 sbd: 6702: ERROR: header on device 4 is not valid.Oct 30 10:21:29 ccfile1 sbd: 6702: ERROR: No devices were available at start-up.可能是因為沒有格式化盤導致的，要用PARTIONER格式化分區(qū)。8.4 什么情況會發(fā)生切換？在目前占有資源的結點上執(zhí)行service openais restart后，其占用的IP資源未發(fā)生切換，而FS資源處于unmanaged狀態(tài)，其它資源正常切換。只有用reboot命令將機器重啟，其IP和FS資源才會切換到另一臺。根據(jù)什么條件來觸發(fā)切換？是否根結點的SCORE有關？-可能是這個案例中，本地的文件系統(tǒng)被其它機器mount，在沒有釋放掉的情況下，直接openais restart，不會將fs切換過去，要先service nfsserver stop后，再進行openais restart。要么直接用reboot重啟。8.5 在其它安全中，沒有創(chuàng)建sdb克隆資源，而是創(chuàng)建primitive普通資源，使用external/vmware的stonith，這與本案例有何區(qū)別？8.6 Header magic does not match.Nov 2 20:18:52 ccfile1 kernel: 337.849275 ll header: ff:ff:ff:ff:ff:ff:22:af:3b:61:2f:3a:08:00Nov 2 20:18:53 ccfile1 kernel: 338.047004 martian source 10.10.58.255 from 10.10.58.167, on dev eth0Nov 2 20:18:53 ccfile1 kernel: 338.047009 ll header: ff:ff:ff:ff:ff:ff:00:50:56:bd:91:03:08:00Nov 2 20:18:54 ccfile1 kernel: 339.218524 martian source 1