ESXi搭建與配置紅帽RHCS套件_超詳細(xì)

1、簡單的說，集群（cluster）就是一組計(jì)算機(jī)，它們作為一個(gè)整體向用戶提供一組網(wǎng)絡(luò)資源。這些單個(gè)的計(jì)算機(jī)系統(tǒng)就是集群的節(jié)點(diǎn)（node）。一個(gè)理想的集群是，用戶從來不會(huì)意識(shí)到集群系統(tǒng)底層的節(jié)點(diǎn)，在他/她們看來，集群是一個(gè)系統(tǒng)，而非多個(gè)計(jì)算機(jī)系統(tǒng)。并且集群系統(tǒng)的管理員可以隨意增加和刪改集群系統(tǒng)的節(jié)點(diǎn)。通過特殊的軟件將若干服務(wù)器連接在一起并提供故障切換功能的實(shí)體我們稱之為高可用集群?？捎眯允侵赶到y(tǒng)的uptime，在7x24x365的工作環(huán)境中，99%的可用性指在一年中可以有87小時(shí)36分鐘的DOWN機(jī)時(shí)間，通常在關(guān)鍵服務(wù)中這種一天多的故障時(shí)間是無法接受的，所以提出了前面提到的錯(cuò)誤恢復(fù)概念，以滿足99

2、.999%的高可用性需求。這里我們先說一下幾個(gè)概念：1、服務(wù)（Service），是集群中提供的資源，包括Float IP，共享的存儲(chǔ)，apache等等。2、成員服務(wù)器（Member Server） 也叫節(jié)點(diǎn)（Node），是HA中實(shí)際運(yùn)行服務(wù)提供資源的服務(wù)器。3、失效域（Failover Domain），是HA中提供資源的服務(wù)器的集合，當(dāng)內(nèi)部某個(gè)成員出現(xiàn)故障時(shí)，可以將服務(wù)切換到其他正常的成員服務(wù)器上。在HA中一個(gè)失效域一般包含2臺(tái)成員服務(wù)器（未應(yīng)用虛擬技術(shù)）。4、心跳（HeartBeat）是HA中監(jiān)控成員服務(wù)器狀態(tài)的方法，一般心跳是通過網(wǎng)線和串口線來傳輸?shù)?/p>

3、。5、單一故障點(diǎn)（Single Point Of Failuer，SPOF）是指一個(gè)系統(tǒng)的這樣的一個(gè)部件，當(dāng)它失效或者停止運(yùn)行，將導(dǎo)致整個(gè)系統(tǒng)不能工作。在HA中通常使用雙電源，多網(wǎng)卡，雙交換機(jī)等來避免SPOF。6、仲裁（Quorum）是HA中為了準(zhǔn)確的判斷服務(wù)器及其提供的服務(wù)是否正常而采用的在共享磁盤中保存成員服務(wù)器信息的方法。共享的狀態(tài)信息包括群集是否活躍。服務(wù)狀態(tài)信息包括服務(wù)是否在運(yùn)行以及哪個(gè)成員正在運(yùn)行該服務(wù)。每個(gè)成員都檢查這些信息來保證其它成員處于最新狀態(tài)。在一個(gè)只有兩個(gè)成員的群集中，每個(gè)成員都定期把一個(gè)時(shí)間戳和群集狀態(tài)信息寫入位于共享磁盤貯存區(qū)的兩個(gè)共享

4、群集分區(qū)上。要保證正確的群集操作，如果某成員無法在啟動(dòng)時(shí)寫入主共享群集分區(qū)和屏蔽共享群集分區(qū)，它將不會(huì)被允許加入群集。此外，如果某群集成員不更新其時(shí)間戳，或者到系統(tǒng)的"heartbeats"(心跳)失敗了，該成員就會(huì)從群集中刪除。7、Fence設(shè)備，F(xiàn)ence設(shè)備的作用時(shí)在一個(gè)節(jié)點(diǎn)出現(xiàn)問題時(shí),另一個(gè)節(jié)點(diǎn)通過fence設(shè)備把出現(xiàn)問題的節(jié)點(diǎn)重新啟動(dòng)，這樣做到了非人工的干預(yù)和防止出現(xiàn)問題的節(jié)點(diǎn)訪問共享存儲(chǔ)，造成文件系統(tǒng)的沖突，關(guān)于Fence 設(shè)備,有外置的比如APC的電源管理器.很多服務(wù)器都是內(nèi)置的，只不過不同廠家的叫法不同而已。比如HP的稱為iLo，IBM的稱為BMC

5、，Dell的稱為DRAC。 8、LUCIRHCS（RedHat Cluster Suite）提供了多種集群配置和管理工具，常用的有基于GUI的system-config-cluster、Conga等，也提供了基于命令行的管理工具。system-config-cluster是一個(gè)用于創(chuàng)建集群和配置集群節(jié)點(diǎn)的圖形化管理工具，它有集群節(jié)點(diǎn)配置和集群管理兩個(gè)部分組成，分別用于創(chuàng)建集群節(jié)點(diǎn)配置文件和維護(hù)節(jié)點(diǎn)運(yùn)行狀態(tài)。一般用在RHCS早期的版本中。 Conga是一種新的基于網(wǎng)絡(luò)的集群配置工具，與system-config-cluster不同的是，Conga是通過we

6、b方式來配置和管理集群節(jié)點(diǎn)的。Conga有兩部分組成，分別是luci和ricci，luci安裝在一獨(dú)立的計(jì)算機(jī)上（即服務(wù)器），用于配置和管理集群，ricci安裝在每個(gè)集群節(jié)點(diǎn)上，Luci通過ricci和集群中的每個(gè)節(jié)點(diǎn)進(jìn)行通信一、HA的搭建實(shí)驗(yàn)環(huán)境：RHEL6.5  iptables  and  selinux  disabled三臺(tái)主機(jī)：                IP

7、                       hostnae         25（iSCSI）     (eth0)       26(node1)       (eth0)       192.168.60.

8、227(node2)       (eth0)心跳（HeartBeat） 01(node1) (eth1) 02(node2) (eth1)分別修改兩臺(tái)節(jié)點(diǎn)主機(jī)的/etc/hosts 26             27         &#

9、160;  分別關(guān)閉兩臺(tái)節(jié)點(diǎn)主機(jī)的防火墻iptables     rootnode1 /# service iptabls stop rootnode1 /# chkconfig iptabls off分別關(guān)閉兩臺(tái)節(jié)點(diǎn)主機(jī)的selinux   rootnode1 /# setenforce 0同步兩臺(tái)節(jié)點(diǎn)主機(jī)的系統(tǒng)時(shí)間rootnode1 /# yum install ntpdate-*rootnode1 /# ntpdate 39在兩臺(tái)節(jié)點(diǎn)主機(jī)上分別安裝ricci、luci、cman、rgm

10、anager、lvm2-cluster、gfs2-utilsrootnode1 /# yum install -y ricci-*rootnode1 /# yum install -y luci-*rootnode1 /# yum install -y cman-*rootnode1 /# yum install -y rgmanager-*rootnode1 /# yum install -y lvm2-cluster-*rootnode1 /# yum install -y gfs2-utils-*啟動(dòng)兩臺(tái)節(jié)點(diǎn)主機(jī)的ricci、luci服務(wù)rootnode1 /# service ricc

11、i startrootnode1 /# service luci startPoint your web browser to :8084 (or equivalent) to access luci設(shè)置兩臺(tái)節(jié)點(diǎn)主機(jī)開機(jī)自啟動(dòng)rootnode1 /# chkconfig ricci onrootnode1 /# chkconfig luci onrootnode1 /# chkconfig cman onrootnode1 /# chkconfig rgmanager onrootnode1 /# chkconfig modclusterd onrootnode1 /# chkconfig c

12、lvmd on為兩臺(tái)節(jié)點(diǎn)主機(jī)ricci設(shè)置密碼rootnode1 /# passwd ricciweb訪問:8084進(jìn)入網(wǎng)頁編輯先用root登錄創(chuàng)建集群為集群添加集群節(jié)點(diǎn)，點(diǎn)擊創(chuàng)建后兩臺(tái)節(jié)主機(jī)點(diǎn)會(huì)重啟集群節(jié)點(diǎn)創(chuàng)建完成為集群添加Fence設(shè)備實(shí)驗(yàn)環(huán)境是用VMware ESXi搭建的選擇VMware Fencing (SOAP interface)填上ESXi主機(jī)的IP地址和管理員賬號(hào)密碼Fence設(shè)備創(chuàng)建完成為節(jié)點(diǎn)node1綁定Fence設(shè)備選擇已有Fence設(shè)備填上節(jié)點(diǎn)node1的虛擬機(jī)名字跟VM UUID號(hào)可以通過以下命令查看UUID號(hào)rootnode1 # fence_vmware_soa

13、p -a 45 -z -l root -p Wys483639 -n redhat_system1 -o listredhat_system1,42075f1b-5f5f-da78-b47a-af4a10170e74redhat_system2,420775f1-594a-d712-bab7-0677816ff959Fence設(shè)備綁定完成在另外一臺(tái)節(jié)點(diǎn)node2上按照上面操作完成Fence設(shè)備綁定添加失效域 Failover Domain設(shè)置好點(diǎn)擊創(chuàng)建創(chuàng)建完成分別在兩臺(tái)節(jié)點(diǎn)安裝httpdrootnode1 # yum install -y httpdrootnode2

14、# yum install -y httpd分別為兩臺(tái)節(jié)點(diǎn)創(chuàng)建一個(gè)index.html文件rootnode1 #echo "" > /var/www/html/index.htmlrootnode2 #echo "" > /var/www/html/index.html添加資源組添加虛擬IP添加httpd腳本資源組添加完成添加集群服務(wù)創(chuàng)建集群服務(wù)并添加資源把剛才創(chuàng)建的兩個(gè)資源組添加上去創(chuàng)建完成點(diǎn)擊啟動(dòng)集群集群正常啟動(dòng)用命令查看集群狀態(tài)，顯示服務(wù)已經(jīng)掛載到節(jié)點(diǎn)node2rootnode1 # clustatCluster Status for

15、web_ha Fri Dec 25 22:03:18 2015Member Status: Quorate Member Name ID Status - - - - node1 1 Online, Local, rgmanager node2 2 Online, rgmanager Service Name Owner (Last) State - - - - - service:www node2 starteddown節(jié)點(diǎn)node2網(wǎng)卡eth0進(jìn)行測試rootnode2 /# ifconfig eth0 down繼續(xù)查看集群狀態(tài)，顯示服務(wù)已經(jīng)切換到節(jié)點(diǎn)node1上了rootnode1 #

16、 clustatCluster Status for web_ha Fri Dec 25 22:03:18 2015Member Status: Quorate Member Name ID Status - - - - node1 1 Online, Local, rgmanager node2 2 Online, rgmanager Service Name Owner (Last) State - - - - - service:www node1 started切換節(jié)點(diǎn)進(jìn)行測試rootnode1 html# curl 28rootnode1 html

17、# clusvcadm -r www -m node2rootnode1 html# curl 28到這里集群已經(jīng)基本完成接下來配置共享存儲(chǔ)和GFS2(集群文件系統(tǒng))跟仲裁盤（Quorum）qdisk創(chuàng)建兩個(gè)lv邏輯卷web-data跟qdisk，web-data當(dāng)集群共享存儲(chǔ)，qdisk當(dāng)集群仲裁盤(qdisk) rootclassroom /# pvcreate /dev/sdb Writing physical volume data to disk "/dev/sdb" Physical volume "/dev/sdb

18、" successfully createdrootclassroom /# vgcreate cluster-stor /dev/sdb Volume group "cluster-stor" successfully createdrootclassroom /# lvcreate -L 1G -n qdisk /dev/cluster-stor Logical volume "qdisk" createdrootclassroom /# lvcreate -l +100%FREE -n web-data cluster-stor Logi

19、cal volume "web-data" created在classroom服務(wù)器，安裝配置iSCSI服務(wù)端rootclassroom /# yum install scsi-target-* -yrootclassroom /# service tgtd startrootclassroom /# chkconfig tgtd onrootclassroom /# vim /etc/tgt/targets.conf #末尾添加下列內(nèi)容<target iqn.2015-.example:classroom> backing-store /dev/cluster

20、-stor/web-data backing-store /dev/cluster-stor/qdisk initator-address 26 initator-address 27 </target>：x rootclassroom /# service tgtd restart在兩臺(tái)節(jié)點(diǎn)主機(jī)上分別安裝配置iSCSI客戶端rootnode1 /# yum install y iscsi-initiator-*rootnode1 /# service iscsi startrootnode1 /# chkconfig iscsi o

21、nrootnode1 /# iscsiadm -m discovery -t st -p classroom rootnode1 /# iscsiadm -m node lrootnode1 /# fdisk l此時(shí)文件夾/dev/中多了sdb(邏輯卷qdisk)跟sdc(邏輯卷web-data)在節(jié)點(diǎn)node1主機(jī)創(chuàng)建集群文件系統(tǒng)GFS2rootnode1 /# pvcreate /dev/sdc Writing physical volume data to disk "/dev/sdc" Physical volume "/dev/sdc" suc

22、cessfully createdrootnode1 /# lvmconf -enable-cluster #使lvm支持集群rootnode1 /# /etc/init.d/clvmd restartrootnode1 /# vgcreate cluster-vg /dev/sdc Clustered volume group "cluster-vg" successfully createdrootnode1 /# lvcreate -l +100%FREE -n web-data cluster-vg Logical volume "web-data&quo

23、t; created格式化為gfs2文件系統(tǒng)，-p lock_dlm使用分布式鎖，-t web_ha:cluster指定集群標(biāo)簽,-j 3日志記錄結(jié)點(diǎn)個(gè)數(shù)(以后還可以添加)需要注意：指定集群標(biāo)簽-t web_ha:cluster-gfs2一定要跟/etc/cluster/cluster.conf文件內(nèi)容的<cluster config_version="11" name="web_ha">上面的name的名字一樣rootnode1 /# mkfs.gfs2 -p lock_dlm -t web_ha:cluster-gfs2 -j3 /dev

24、/cluster-vg/web-dataThis will destroy any data on /dev/cluster-vg/web-data.It appears to contain: symbolic link to ./dm-0'Are you sure you want to proceed? y/n yDevice: /dev/cluster-vg/web-dataBlocksize: 4096Device Size 3.99 GB (1046528 blocks)Filesystem Size: 3.99 GB (1046527 blocks)Journals: 3

25、Resource Groups: 16Locking Protocol: "lock_dlm"Lock Table: "web_ha:cluster-gfs2"UUID: e5bf661b-16cd-bd0a-4afb-94701f3a8d2c在節(jié)點(diǎn)node2執(zhí)行pvs、vgs、lvs可以正?？吹絼倓傇诠?jié)點(diǎn)node1上面創(chuàng)建的CFS2文件系統(tǒng)rootnode2 /# pvs PV VG Fmt Attr PSize PFree /dev/sdc cluster-vg lvm2 a- 3.99g 0 rootnode2 /# vgs VG #PV #LV

26、#SN Attr VSize VFree cluster-vg 1 1 0 wz-nc 3.99g 0 rootnode2 /# lvs LV VG Attr LSize Origin Snap% Move Log Copy% Convert web-data cluster-vg -wi-a- 3.99g在節(jié)點(diǎn)node1把/dev/cluster-vg/web-data掛載到/var/www/html創(chuàng)建index.html文件rootnode1 /# mount /dev/cluster-vg/web-data /var/www/html/rootnode1 /# echo "&

27、quot; > /var/www/html/index.html在集群上添加GFS2資源組rootnode1 /# umount /var/www/html/ web訪問:8084GFS2資源組添加完成把GFS2資源組添加到集群服務(wù)中rootnode1 /# clusvcadm -d www #關(guān)閉集群服務(wù)選擇添加剛剛創(chuàng)建的GFS2資源組web-data創(chuàng)建完成后，重啟集群服務(wù)進(jìn)行測試rootnode1 /# clusvcadm -e wwwrootnode1 /# df -h文件系統(tǒng) 容量 已用 可用 已用% 掛載點(diǎn)/dev/sda3 8.7G 1.9G 6.4G 24% /tmpfs

28、 992M 32M 960M 4% /dev/shm/dev/sda1 194M 26M 159M 14% /bootclassroom:/media/rhel6 2.9G 2.9G 0 100% /media/rhel6/dev/mapper/cluster-vg-web-data 4.0G 388M 3.7G 10% /var/www/htmlrootnode1 /# curl 28把資源組服務(wù)切換到節(jié)點(diǎn)node2rootnode1 /# clusvcadm -r www -m node2rootnode1 /# df -h文件系統(tǒng) 容量 已用 可用 已

29、用% 掛載點(diǎn)/dev/sda3 8.7G 1.9G 6.4G 24% /tmpfs 992M 26M 967M 3% /dev/shm/dev/sda1 194M 26M 159M 14% /bootclassroom:/media/rhel6 2.9G 2.9G 0 100% /media/rhel6在節(jié)點(diǎn)node2上面df h查看資源組掛載rootnode2 /# df -h文件系統(tǒng) 容量 已用 可用 已用% 掛載點(diǎn)/dev/sda3 8.7G 1.9G 6.4G 23% /tmpfs 1012M 32M 980M 4% /dev/shm/dev/sda1 194M 26M 159M 14

30、% /bootclassroom:/media/rhel6 2.9G 2.9G 0 100% /media/rhel6/dev/mapper/cluster-vg-web-data 4.0G 388M 3.7G 10% /var/www/htmlrootnode2 /# curl 28資源切換正常！接下來配置qdisk仲裁盤（Quorum），如果雙機(jī)情況下不配置qdisk也是可以正常的，但對(duì)于多節(jié)點(diǎn)就一定要配置qdisk在節(jié)點(diǎn)node1創(chuàng)建一塊qdisk盤rootnode1 /# mkqdisk -c /dev/sdb -l my_qdiskmkqdisk vWriting new quorum disk label 'my_qdisk' to /dev/sdb.WARNING: Ab