一種基于Quattor的差異化機(jī)群自動(dòng)部署方法

一種基于Quattor的差異化機(jī)群自動(dòng)部署方法第十六屆全國科學(xué)計(jì)算與信息化會(huì)議暨科研大數(shù)據(jù)論壇提綱機(jī)群自動(dòng)部署工具Quattor的介紹Quattor的改進(jìn)——差異化的自動(dòng)部署方法Quattor在高能物理研究所的應(yīng)用2023/2/52Quattor的介紹Quattor是一套集群系統(tǒng)自動(dòng)化安裝和配置工具集通過自動(dòng)控制PXE+Kickstart+DHCP實(shí)現(xiàn)操作系統(tǒng)的自動(dòng)安裝通過編譯模版來生成節(jié)點(diǎn)所有信息的描述文件（xmlorjson）所有的模版都是是由pan語言來編寫模版文件保存在SCDB的版本控制服務(wù)器中節(jié)點(diǎn)安裝quattor的客戶端讀取xmlorjson文件對本機(jī)進(jìn)行配置2023/2/53Quattor的特性所有節(jié)點(diǎn)的配置文件保存在有版本控制的數(shù)據(jù)庫（SCDB）可重新安裝：重新安裝的系統(tǒng)與原系統(tǒng)保持一致。改變節(jié)點(diǎn)的配置只需要更改配置數(shù)據(jù)庫即可（SCDB）可以控制節(jié)點(diǎn)從安裝到退役的整個(gè)過程。初始化安裝使用PXE+KickstartSCDB可以方便的版本回退。服務(wù)配置可以重復(fù)利用不同的節(jié)點(diǎn)可以共享一個(gè)服務(wù)的配置。便捷的維護(hù)。只需要修改一個(gè)配置文件就可以在所有節(jié)點(diǎn)上起做用。在部署應(yīng)用前對配置文件進(jìn)行一致性和語法的檢查，降低錯(cuò)誤的配置對系統(tǒng)造成的危害。2023/2/54Quattor的主要組件Panc編譯器SCDBSvnbasedconfigurationdatabaseAII（AutoInstallationInfrastructure）ccmandncm-componentsSoftwarerepositorys2023/2/55Quattor的主要組件–Panc編譯器Panc編譯器把用pan語言編寫的模版最終生成xml或者json文件Pan是一種高層次的描述性語言支持function定義支持變量的定義變量種類很多，類似structure/class的定義支持變量類型的轉(zhuǎn)換Hierarchicalorganizationofinformation例子：

‘/hardware/network/interfaces/eth0/ip’=‘’2023/2/56Quattor主要組件-SCDBSVN版本控制的Pantemplates節(jié)點(diǎn)profiles不在svn下面，但是可以重新編譯。SCDB使用”ant”來操作純Java編寫，可以在所有平臺(tái)使用3各主要的操作Compile:本地編譯Deploy:配置的部署

在server端生成節(jié)點(diǎn)的profile文件僅在成功編譯并且localworkingdir和SVN服務(wù)器同步的情況下才能成功執(zhí)行。update.rep.templates刷新軟件包列表的模板2023/2/57Quattor主要組件-AIIAII:AutomatedInstallationInfrastructurePXE(DHCP+TFTP)+Kickstart使用aii的命令‘a(chǎn)ii-shellfe’來控制DHCP

:自動(dòng)從節(jié)點(diǎn)profile文件獲取信息寫入dhcp配置文件TFTP:Kickstart:通過aii命令自動(dòng)生成kiskstart文件Re-installation節(jié)點(diǎn)始終設(shè)置PXE啟動(dòng)通過aii命令修改節(jié)點(diǎn)的狀態(tài)installorboot2023/2/58Quattor主要組件ccmandncm客戶端:ConfigurationCacheManager(CCM)進(jìn)程：cdp-listend當(dāng)服務(wù)器端有配置改動(dòng)時(shí)，接收服務(wù)器端的notification然后下載新的配置文件(command‘ccm-fetch’)也可以手動(dòng)執(zhí)行這個(gè)命令’ccm-fetch’客戶端:NodeConfigurationManager(NCM)進(jìn)程ncm-cdispdImplementsconfigurationchangesBasedon“components”(plug-ins)1componentmanages1“service”(NIS,accounts,Globus…)AcomponentisaPerlscriptwithaparticularAPI‘ncm-query’可以查詢顯示配置數(shù)據(jù)。2023/2/59Quattor主要組件componentsPackagedeployment:SPMANCM的組件對系統(tǒng)的安裝包進(jìn)行安裝卸載管理基于”軟件包名-版本-arch”允許升級(jí)和降級(jí)檢查軟件包的依賴關(guān)系其它c(diǎn)omponents每一個(gè)component可以實(shí)現(xiàn)對一類或者多累系統(tǒng)和軟件環(huán)境的配置已有的ssh,account,network,chkconfig,afsclt,pbs,…2023/2/510Quattor工作流——節(jié)點(diǎn)xml編譯過程2023/2/511檢查模版語法調(diào)用PANC編譯器節(jié)點(diǎn)profile模版確定節(jié)點(diǎn)類型配置類型Cluster配置模版確定操作系統(tǒng)版本Site

配置模版確定統(tǒng)一配置參數(shù)dns,ntp,repository,dhcp,Gridsiteinfo,…操作系統(tǒng)模版RPMsselect,versioncontrol,Kernelversion,Driversconfig,Systemtoolsselect.軟件定義模版配置根據(jù)節(jié)點(diǎn)類型配置硬件配置模版硬盤，網(wǎng)卡，cpu，…生成節(jié)點(diǎn)profile.xml文件Quattor工作流——節(jié)點(diǎn)自動(dòng)安裝配置過程節(jié)點(diǎn)加電啟動(dòng)通過pxe+DHCP獲取IP地址和啟動(dòng)鏡像通過mac地址識(shí)別節(jié)點(diǎn)名稱獲取節(jié)點(diǎn)kickstart文件開始系統(tǒng)安裝安裝minimal系統(tǒng)安裝結(jié)束寫入ks-post-boot腳本調(diào)用aii命令改變安裝狀態(tài)重啟系統(tǒng)執(zhí)行ks-post-boot腳本安裝quattor客戶端獲取節(jié)點(diǎn)xml文件安裝軟件包設(shè)定kernelversion配置系統(tǒng)環(huán)境配置軟件參數(shù)配置用戶和組信息完成系統(tǒng)配置重啟系統(tǒng)2023/2/512Quattor改進(jìn)——原因支持的應(yīng)用在不斷增多不同應(yīng)用對軟件環(huán)境的不同需求傳統(tǒng)的實(shí)現(xiàn)方式維護(hù)模版數(shù)量多，模版不能重復(fù)使用2023/2/513Quattor改進(jìn)——原先的模型2023/2/514

安裝服務(wù)器配置信息軟件安裝與配置管理,系統(tǒng)服務(wù),網(wǎng)格服務(wù)

安裝包軟件包節(jié)點(diǎn)配置管理軟件包RPM包服務(wù)器軟件包組系統(tǒng)安裝與配置管理軟件緩存RPM包管理配置信息管理器機(jī)群4配置信息管理器機(jī)群3配置信息管理器機(jī)群2配置信息管理器機(jī)群1配置緩存節(jié)點(diǎn)1機(jī)群3機(jī)群2機(jī)群1Quattor改進(jìn)——實(shí)現(xiàn)方法模塊化的設(shè)計(jì)方法。擴(kuò)展配置信息管理器的功能并添加調(diào)用接口和模塊選擇器。開發(fā)出統(tǒng)一接口并且可以實(shí)現(xiàn)對各個(gè)模塊進(jìn)行調(diào)用取舍。按照統(tǒng)一的接口標(biāo)準(zhǔn)對功能模塊進(jìn)行改進(jìn)。每一個(gè)模塊實(shí)現(xiàn)一個(gè)功能，模塊可以復(fù)用。所有開發(fā)使用Pan語言完成2023/2/515Quattor改進(jìn)——實(shí)現(xiàn)方法2023/2/516功能模塊1功能模塊2功能模塊3功能模塊4模塊選擇器配置信息管理器調(diào)用接口機(jī)群1機(jī)群2機(jī)群3節(jié)點(diǎn)1Quattor改進(jìn)——實(shí)現(xiàn)后的模型2023/2/517

安裝服務(wù)器配置信息軟件安裝與配置管理,系統(tǒng)服務(wù),網(wǎng)格服務(wù)

安裝包軟件包節(jié)點(diǎn)配置管理軟件包RPM包服務(wù)器軟件包組系統(tǒng)安裝與配置管理軟件緩存RPM包管理配置信息管理器配置緩存節(jié)點(diǎn)1機(jī)群3機(jī)群2機(jī)群1Quattor在高能所的應(yīng)用——網(wǎng)格系統(tǒng)網(wǎng)格系統(tǒng)的自動(dòng)安裝和部署網(wǎng)格系統(tǒng)的升級(jí)網(wǎng)格CVMFS的自動(dòng)部署dCache存儲(chǔ)系統(tǒng)的自動(dòng)部署DPM存儲(chǔ)系統(tǒng)的自動(dòng)部署2023/2/518Quattor在高能所的應(yīng)用——集群系統(tǒng)計(jì)算節(jié)點(diǎn)的自動(dòng)配置節(jié)點(diǎn)pbs-client的自動(dòng)配置集群環(huán)境的自動(dòng)配置autofs,symlinks,lustre,panfs,用戶和組的自動(dòng)配置并行計(jì)算MPI集群的自動(dòng)部署并行文件系統(tǒng)Lustre的自動(dòng)部署并行文件系統(tǒng)gLuster的自動(dòng)部署2023/2/519Quattor在高能所的應(yīng)用——GPU節(jié)點(diǎn)的自動(dòng)安裝和部署GPUopencl驅(qū)動(dòng)的自動(dòng)安裝GPU監(jiān)控系統(tǒng)的自動(dòng)安裝2023/2/520Quattor在高能所的應(yīng)用—Quattor輔助工具批量添加節(jié)點(diǎn)模版工具。并行ssh的工具。2023/2/521Quattor在高能所的應(yīng)用——正在研究云計(jì)算的自動(dòng)部署。物