一種基于Quattor的差異化機(jī)群自動(dòng)部署方法

1、一種基于Quattor的差異化機(jī)群自動(dòng)部署方法第十六屆全國(guó)科學(xué)計(jì)算與信息化會(huì)議暨科研大數(shù)據(jù)論壇提綱機(jī)群自動(dòng)部署工具Quattor的介紹Quattor的改進(jìn)差異化的自動(dòng)部署方法Quattor在高能物理研究所的應(yīng)用2022/7/172Quattor的介紹Quattor是一套集群系統(tǒng)自動(dòng)化安裝和配置工具集通過(guò)自動(dòng)控制PXE+Kickstart+DHCP實(shí)現(xiàn)操作系統(tǒng)的自動(dòng)安裝通過(guò)編譯模版來(lái)生成節(jié)點(diǎn)所有信息的描述文件（xml or json）所有的模版都是是由pan語(yǔ)言來(lái)編寫(xiě)模版文件保存在SCDB的版本控制服務(wù)器中節(jié)點(diǎn)安裝quattor的客戶(hù)端讀取 xml or json文件對(duì)本機(jī)進(jìn)行配置2022/7/

2、173Quattor的特性所有節(jié)點(diǎn)的配置文件保存在有版本控制的數(shù)據(jù)庫(kù)（SCDB）可重新安裝：重新安裝的系統(tǒng)與原系統(tǒng)保持一致。改變節(jié)點(diǎn)的配置只需要更改 配置數(shù)據(jù)庫(kù)即可（SCDB）可以控制節(jié)點(diǎn)從安裝到退役的整個(gè)過(guò)程。初始化安裝使用PXE+KickstartSCDB可以方便的版本回退。服務(wù)配置可以重復(fù)利用不同的節(jié)點(diǎn)可以共享一個(gè)服務(wù)的配置。便捷的維護(hù)。只需要修改一個(gè)配置文件就可以在所有節(jié)點(diǎn)上起做用。在部署應(yīng)用前對(duì)配置文件進(jìn)行一致性和語(yǔ)法的檢查，降低錯(cuò)誤的配置對(duì)系統(tǒng)造成的危害。2022/7/174Quattor的主要組件Panc 編譯器SCDB Svn based configuration datab

3、aseAII（Auto Installation Infrastructure）ccm and ncm-components Software repositorys2022/7/175Quattor的主要組件 Panc 編譯器Panc編譯器把用pan語(yǔ)言編寫(xiě)的模版最終生成xml 或者 json文件Pan是一種高層次的描述性語(yǔ)言支持function定義支持變量的定義變量種類(lèi)很多，類(lèi)似 structure/class的定義支持變量類(lèi)型的轉(zhuǎn)換Hierarchical organization of information例子： /hardware/network/interfaces/eth0/i

4、p = 2022/7/176Quattor主要組件-SCDBSVN版本控制的Pan templates節(jié)點(diǎn)profiles不在svn下面，但是可以重新編譯。SCDB使用”ant”來(lái)操作純Java編寫(xiě)，可以在所有平臺(tái)使用 3各主要的操作Compile: 本地編譯Deploy: 配置的部署 在server端生成節(jié)點(diǎn)的profile文件僅在成功編譯并且local working dir 和SVN服務(wù)器同步的情況下才能成功執(zhí)行。 update.rep.templates 刷新軟件包列表的模板2022/7/177Quattor主要組件-AIIAII : Automated Installation In

5、frastructurePXE (DHCP+TFTP) + Kickstart 使用aii的命令aii-shellfe 來(lái)控制DHCP : 自動(dòng)從節(jié)點(diǎn)profile文件獲取信息寫(xiě)入dhcp配置文件TFTP :Kickstart :通過(guò)aii命令自動(dòng)生成kiskstart文件Re-installation 節(jié)點(diǎn)始終設(shè)置PXE啟動(dòng)通過(guò)aii命令修改節(jié)點(diǎn)的狀態(tài) install or boot2022/7/178Quattor主要組件 ccm and ncm客戶(hù)端 : Configuration Cache Manager (CCM)進(jìn)程： cdp-listend當(dāng)服務(wù)器端有配置改動(dòng)時(shí)，接收服務(wù)器端的

6、notification然后下載新的配置文件(command ccm-fetch)也可以手動(dòng)執(zhí)行這個(gè)命令ccm-fetch客戶(hù)端 : Node Configuration Manager (NCM)進(jìn)程 ncm-cdispdImplements configuration changesBased on “components” (plug-ins)1 component manages 1 “service” (NIS, accounts, Globus)A component is a Perl script with a particular APIncm-query 可以查詢(xún)顯示配置數(shù)

7、據(jù)。2022/7/179Quattor主要組件 components Package deployment : SPMANCM的組件對(duì)系統(tǒng)的安裝包進(jìn)行安裝卸載管理基于”軟件包名-版本-arch”允許升級(jí)和降級(jí)檢查軟件包的依賴(lài)關(guān)系其它c(diǎn)omponents每一個(gè)component可以實(shí)現(xiàn)對(duì)一類(lèi)或者多累系統(tǒng)和軟件環(huán)境的配置已有的 ssh, account, network, chkconfig, afsclt, pbs, 2022/7/1710Quattor工作流 節(jié)點(diǎn)xml編譯過(guò)程2022/7/1711檢查模版語(yǔ)法調(diào)用PANC編譯器節(jié)點(diǎn)profile模版確定節(jié)點(diǎn)類(lèi)型配置類(lèi)型Cluster 配置模版

8、確定操作系統(tǒng)版本Site 配置模版確定統(tǒng)一配置參數(shù)dns, ntp, repository,dhcp, Grid site info, 操作系統(tǒng)模版RPMs select, version control, Kernel version, Drivers config, System tools select.軟件定義模版配置根據(jù)節(jié)點(diǎn)類(lèi)型配置硬件配置模版硬盤(pán)，網(wǎng)卡，cpu，生成節(jié)點(diǎn)pro文件Quattor工作流 節(jié)點(diǎn)自動(dòng)安裝配置過(guò)程節(jié)點(diǎn)加電啟動(dòng)通過(guò)pxe + DHCP 獲取IP地址和啟動(dòng)鏡像通過(guò)mac地址識(shí)別節(jié)點(diǎn)名稱(chēng)獲取節(jié)點(diǎn)kickstart文件開(kāi)始系統(tǒng)安裝安裝minimal 系統(tǒng)安裝結(jié)束寫(xiě)入

9、ks-post-boot腳本調(diào)用aii命令改變安裝狀態(tài)重啟系統(tǒng)執(zhí)行ks-post-boot腳本安裝quattor客戶(hù)端獲取節(jié)點(diǎn)xml文件安裝軟件包設(shè)定kernel version配置系統(tǒng)環(huán)境配置軟件參數(shù)配置用戶(hù)和組信息完成系統(tǒng)配置重啟系統(tǒng)2022/7/1712Quattor改進(jìn) 原因支持的應(yīng)用在不斷增多不同應(yīng)用對(duì)軟件環(huán)境的不同需求傳統(tǒng)的實(shí)現(xiàn)方式維護(hù)模版數(shù)量多，模版不能重復(fù)使用2022/7/1713Quattor改進(jìn)原先的模型2022/7/1714安裝服務(wù)器配置信息軟件安裝與配置管理, 系統(tǒng)服務(wù),網(wǎng)格服務(wù) 安裝包軟件包節(jié)點(diǎn)配置管理軟件包RPM 包服務(wù)器軟件包組系統(tǒng)安裝與配置管理軟件緩存RPM 包

10、管理配置信息管理器機(jī)群4配置信息管理器機(jī)群3配置信息管理器機(jī)群2配置信息管理器機(jī)群1配置緩存節(jié)點(diǎn)1機(jī)群3機(jī)群2機(jī)群1Quattor改進(jìn) 實(shí)現(xiàn)方法模塊化的設(shè)計(jì)方法。擴(kuò)展配置信息管理器的功能并添加調(diào)用接口和模塊選擇器。開(kāi)發(fā)出統(tǒng)一接口并且可以實(shí)現(xiàn)對(duì)各個(gè)模塊進(jìn)行調(diào)用取舍。按照統(tǒng)一的接口標(biāo)準(zhǔn)對(duì)功能模塊進(jìn)行改進(jìn)。每一個(gè)模塊實(shí)現(xiàn)一個(gè)功能，模塊可以復(fù)用。所有開(kāi)發(fā)使用Pan語(yǔ)言完成2022/7/1715Quattor改進(jìn) 實(shí)現(xiàn)方法2022/7/1716功能模塊1功能模塊2功能模塊3功能模塊4模塊選擇器配置信息管理器調(diào)用接口機(jī)群1機(jī)群2機(jī)群3節(jié)點(diǎn)1Quattor改進(jìn) 實(shí)現(xiàn)后的模型2022/7/1717安裝服務(wù)器配

11、置信息軟件安裝與配置管理, 系統(tǒng)服務(wù),網(wǎng)格服務(wù) 安裝包軟件包節(jié)點(diǎn)配置管理軟件包RPM 包服務(wù)器軟件包組系統(tǒng)安裝與配置管理軟件緩存RPM 包管理配置信息管理器配置緩存節(jié)點(diǎn)1機(jī)群3機(jī)群2機(jī)群1Quattor在高能所的應(yīng)用網(wǎng)格系統(tǒng)網(wǎng)格系統(tǒng)的自動(dòng)安裝和部署網(wǎng)格系統(tǒng)的升級(jí)網(wǎng)格CVMFS的自動(dòng)部署dCache存儲(chǔ)系統(tǒng)的自動(dòng)部署DPM存儲(chǔ)系統(tǒng)的自動(dòng)部署2022/7/1718Quattor在高能所的應(yīng)用集群系統(tǒng)計(jì)算節(jié)點(diǎn)的自動(dòng)配置節(jié)點(diǎn)pbs-client的自動(dòng)配置集群環(huán)境的自動(dòng)配置autofs, symlinks, lustre, panfs, 用戶(hù)和組的自動(dòng)配置并行計(jì)算MPI集群的自動(dòng)部署并行文件系統(tǒng)Lustre的自動(dòng)部署并行文件系統(tǒng)gLuster的自動(dòng)部署2022/7/1719Quattor在高能所的應(yīng)用GPU節(jié)點(diǎn)的自動(dòng)安裝和部署GPU opencl驅(qū)動(dòng)的自動(dòng)安裝GPU監(jiān)控系統(tǒng)的自動(dòng)安裝2022/7/1720Quattor在高能所的應(yīng)用Quattor輔助工具批量添加節(jié)點(diǎn)模版工具。并行ssh的工具。2022/7/1721Quattor在高能所的應(yīng)用正在研究云計(jì)算的自動(dòng)部署。物理機(jī)操作系統(tǒng)