2023學(xué)年完整公開課版5Pacemaker的架構(gòu)

Pacemaker的架構(gòu)1任務(wù)描述華云數(shù)據(jù)集團(tuán)承建無錫地鐵云計算平臺，通過應(yīng)用虛擬化技術(shù)和云計算平臺來整合內(nèi)部IT系統(tǒng)，實現(xiàn)資源統(tǒng)籌管理，提升現(xiàn)有資源的可靠性和可用性，大幅度節(jié)約企業(yè)硬件成本和管理成本，提高資源使用率，為應(yīng)用提供動態(tài)、靈活、彈性、虛擬、共享和高效的資源服務(wù)，以加快生產(chǎn)和開發(fā)的效率，滿足無錫地鐵信息化建設(shè)構(gòu)建統(tǒng)一管理平臺的發(fā)展需求。在無錫地鐵云計算平臺的規(guī)劃設(shè)計中，華云數(shù)據(jù)集團(tuán)采用Pacemaker服務(wù)作為云平臺的集群服務(wù)，提供集群管理功能。本節(jié)主要學(xué)習(xí)Pacemaker服務(wù)架構(gòu)。目錄Pacemaker架構(gòu)Pacemaker集群管理工具pcsPacemaker內(nèi)部組件23從高層次的集群抽象功能來看，Pacemaker的核心架構(gòu)主要由集群不相關(guān)組件、集群資源管理組件和集群底層基礎(chǔ)模塊三個部分組成Pacemaker架構(gòu)4（1）底層基礎(chǔ)模塊底層的基礎(chǔ)架構(gòu)模塊主要向集群提供可靠的消息通信、集群成員關(guān)系和等功能，底層基礎(chǔ)模塊主要包括像corosync、CMAN和Heartbeat等項目組件。（2）集群無關(guān)組件在Pacemaker架構(gòu)中，這部分組件主要包括資源本身以及用于啟動、關(guān)閉以及監(jiān)控資源狀態(tài)的腳本，同時還包括用于屏蔽和消除實現(xiàn)這些腳本所采用的不同標(biāo)準(zhǔn)之間差異的本地進(jìn)程。雖然在運行多個實例時，資源彼此之間的交互就像一個分布式的集群系統(tǒng)，但是，這些實例服務(wù)之間仍然缺乏恰當(dāng)?shù)腍A機制和獨立于資源的集群治理能力，因此還需要后續(xù)集群組件的功能支持。Pacemake架構(gòu)Pacemake架構(gòu)5（3）資源管理

Pacemaker就像集群大腦，專門負(fù)責(zé)響應(yīng)和處理與集群相關(guān)的事件，這些事件主要包括集群節(jié)點的加人、集群節(jié)點脫離，以及由資源故障、維護(hù)、計劃的資源相關(guān)操作所引起的資源事件，同時還包括其他的一些管理員操作事件，如對配置文件的修改和服務(wù)重啟等操作。在對所有這些事件的響應(yīng)過程中，Pacemaker會計算出當(dāng)前集群應(yīng)該實現(xiàn)的最佳理想狀態(tài)并規(guī)劃出實現(xiàn)該理想狀態(tài)后續(xù)需要進(jìn)行的各種集群操作，這些操作可能包括了資源移動、節(jié)點停止，甚至包括使用遠(yuǎn)程電源管理模塊來強制節(jié)點下線等。Pacemake內(nèi)部組件6Pacemaker作為一個獨立的集群資源管理器項目，其本身由多個內(nèi)部組件構(gòu)成，這些內(nèi)部組件彼此之間相互通信協(xié)作并最終實現(xiàn)了集群的資源管理，Pacemaker項目由五個內(nèi)部組件構(gòu)成，各個組件之間的關(guān)系如下圖所示。Pacemake內(nèi)部組件7

CIB：集群信息基礎(chǔ)（ClusterInformationBase)。

CRMd：集群資源管理進(jìn)程（ClusterResourceManagerdeamon)。

LRMd：本地資源管理進(jìn)程(LocalResourceManagerdeamon)。

PEngine(PE)：策略引擎(PolicyEngine)。

STONITHd：集群Fencing進(jìn)程（ShootTheOtherNodeInTheHeaddeamon)。Pacemake內(nèi)部組件8CIB主要負(fù)責(zé)集群最基本的信息配置與管理，Pacemaker中的CIB主要使用XML的格式來顯示集群的配置信息和集群所有資源的當(dāng)前狀態(tài)信息。CIB所管理的配置信息會自動在集群節(jié)點之間進(jìn)行同步，PE將會使用CIB所提供的集群信息來規(guī)劃集群的最佳運行狀態(tài)。并根據(jù)當(dāng)前CIB信息規(guī)劃出集群應(yīng)該如何控制和操作資源才能實現(xiàn)這個最佳狀態(tài)，在PE做出決策之后，會緊接著發(fā)出資源操作指令，而PE發(fā)出的指令列表最終會被轉(zhuǎn)交給集群最初選定的控制器節(jié)點（Designatedcontroller，DC),通常DC便是運行MasterCRMd的節(jié)點。Pacemake內(nèi)部組件9在PE的決策指令處理過程中，DC會按照指令請求的先后順序來處理PEngine發(fā)出的指令列表，簡單來說，DC處理指令的過程就是把指令發(fā)送給本地節(jié)點上的LRMd（當(dāng)前節(jié)點上的CRMd已經(jīng)作為Master在集中控制整個集群，不會再并行處理集群指令）或者通過集群消息層將指令發(fā)送給其他節(jié)點上的CRMd進(jìn)程，然后這些節(jié)點上的CRMd再將指令轉(zhuǎn)發(fā)給當(dāng)前節(jié)點的LRMd去處理。當(dāng)集群節(jié)點運行完指令后，運行有CRMd進(jìn)程的其他節(jié)點會把他們接收到的全部指令執(zhí)行結(jié)果以及日志返回給DC（即DC最終會收集全部資源在運行集群指令后的結(jié)果和狀態(tài)），然后根據(jù)執(zhí)行結(jié)果的實際情況與預(yù)期的對比，從而決定當(dāng)前節(jié)點是應(yīng)該等待之前發(fā)起的操作執(zhí)行完成再進(jìn)行下一步的操作，還是直接取消當(dāng)前執(zhí)行的操作并要求PEngine根據(jù)實際執(zhí)行結(jié)果再重新規(guī)劃集群的理想狀態(tài)并發(fā)出操作指令。Pacemake內(nèi)部組件10在某些情況下，集群可能會要求節(jié)點關(guān)閉電源以保證共享數(shù)據(jù)和資源恢復(fù)的完整性，為此，Pacemaker引人了節(jié)點隔離機制，而隔離機制主要通過STONITH進(jìn)程實現(xiàn)。STONITH是一種強制性的隔離措施，STONINH功能通常是依靠控制遠(yuǎn)程電源開關(guān)以關(guān)閉或開啟節(jié)點來實現(xiàn)。在Pacemaker中，STONITH設(shè)備被當(dāng)成資源模塊并被配置到集群信息CIB中，從而使其故障情況能夠被輕易地監(jiān)控到。同時，STONITH進(jìn)程（STONITHd)能夠很好地理解STONITH設(shè)備的拓?fù)淝闆r，因此，當(dāng)集群管理器要隔離某個節(jié)點時，只需STONITHd的客戶端簡單地發(fā)出Fencing某個節(jié)點的請求，STONITHd就會自動完成全部剩下的工作，即配置成為集群資源的STONITH設(shè)備最終便會響應(yīng)這個請求，并對節(jié)點做出Fenceing操作，而在實際使用中，根據(jù)不同廠商的服務(wù)器類型以及節(jié)點是物理機還是虛擬機，用戶需要選擇不同的STONITH設(shè)備。Pacemaker集群管理工具pcs11可以用用cibadmin命令行工具來查看和管理pacemaker的集群配置信息，集群CIB中的配置信息量非常大而且以XML語言呈現(xiàn)，對于僅由極少數(shù)節(jié)點和資源所組成的集群，cibadmin也許是個可行方案。但是，對于擁有大量節(jié)點和資源的大規(guī)模集群，簡化統(tǒng)一的命令行工具才是最終的歸宿。隨著開源集群軟件Pacemaker版本的不斷更新，社區(qū)推出了常用的集群管理命令行工具pcs。在pacemaker集群中PCS命令行工具幾乎可以實現(xiàn)集群管理的各種功能，例如，全部受控的pacemaker和配置屬性的變更管理都可以通過pcs實現(xiàn)。此外，需要注意的是，pcs命令行的使用對系統(tǒng)中安裝的pacemaker和corosync