IT自動(dòng)化技術(shù)的研究與實(shí)施2012-06-25

1、IT自動(dòng)化技術(shù)的研究與實(shí)施信息系統(tǒng)部 趙永剛2012.6摘 要隨著IT建設(shè)的不斷深入和發(fā)展，IT運(yùn)維管理工作的復(fù)雜度和難度也大大增加，僅靠過(guò)去幾個(gè)“運(yùn)維英雄”或“技術(shù)大拿”來(lái)包打天下已經(jīng)行不通了，企業(yè)需要專業(yè)化、標(biāo)準(zhǔn)化和流程化的手段，來(lái)實(shí)現(xiàn)運(yùn)維工作的自動(dòng)化管理，盡管目前的技術(shù)雖然能夠獲取IT設(shè)備、服務(wù)器、網(wǎng)絡(luò)流量，甚至數(shù)據(jù)庫(kù)的警告信息，但成千上萬(wàn)條警告信息堆積在一起更本沒(méi)法判斷問(wèn)題的根源在哪里，即使一個(gè)簡(jiǎn)單的系統(tǒng)變更或更新往往都需要運(yùn)維人員逐一登錄每臺(tái)設(shè)備進(jìn)行手工變更，當(dāng)設(shè)備數(shù)量達(dá)至成百上千時(shí)，其工作量之大可想而知。本文對(duì)北京公司系統(tǒng)維護(hù)中心承擔(dān)的日常運(yùn)維作業(yè)任務(wù)進(jìn)行了詳細(xì)分析，根據(jù)北京公司具

2、有設(shè)備數(shù)量多、涉及業(yè)務(wù)系統(tǒng)多、支撐的業(yè)務(wù)復(fù)雜、周期性強(qiáng)、對(duì)任務(wù)結(jié)果核查要求快速、問(wèn)題處理時(shí)限短等特點(diǎn)，在符合北京公司的安全前提下，通過(guò)IT自動(dòng)化的建設(shè)，有針對(duì)性地提升維護(hù)作業(yè)任務(wù)內(nèi)容的規(guī)范化與執(zhí)行過(guò)程的自動(dòng)化，從而實(shí)現(xiàn)日常運(yùn)維作業(yè)的電子化，減少人員登錄系統(tǒng)的頻繁操作，還能將異常情況直接呈現(xiàn)在管理員面前，達(dá)到高效維護(hù)IT設(shè)備的目的。目 錄1引言12業(yè)務(wù)場(chǎng)景分析12.1維護(hù)作業(yè)計(jì)劃12.2告警智能預(yù)處理52.3軟件自動(dòng)裝載53技術(shù)架構(gòu)設(shè)計(jì)73.1總體說(shuō)明73.2接口描述93.3與周邊系統(tǒng)協(xié)作流程104數(shù)據(jù)模型設(shè)計(jì)205系統(tǒng)功能實(shí)現(xiàn)215.1基礎(chǔ)功能215.2維護(hù)作業(yè)計(jì)劃265.3告警智能預(yù)處理30

3、5.4軟件自動(dòng)裝載316總結(jié)341 引言隨著中國(guó)移動(dòng)北京公司IT建設(shè)的不斷深入和發(fā)展,IT系統(tǒng)的運(yùn)行維護(hù)已經(jīng)成為了IT部門普遍關(guān)注和不堪重負(fù)的問(wèn)題。國(guó)際知名調(diào)查機(jī)構(gòu)Gartner調(diào)查發(fā)現(xiàn),在IT運(yùn)維成本中,源自技術(shù)或產(chǎn)品(包括硬件、軟件、網(wǎng)絡(luò)等)成本其實(shí)只占20%,而流程維護(hù)成本占40%,運(yùn)維人員成本占40%。流程維護(hù)成本包括日常維護(hù)、變更管理、測(cè)試成本等;人員成本包括訓(xùn)練、教育、人員流失、招聘成本等。因此,如何提高IT運(yùn)維管理效率,降低運(yùn)維成本是時(shí)下IT界和CIO最熱門的話題之一?，F(xiàn)在隨著IT運(yùn)維管理工作的復(fù)雜度和難度的大大增加,僅靠過(guò)去幾個(gè)“運(yùn)維英雄”或“技術(shù)大拿”來(lái)包打天下已經(jīng)行不通了，

4、企業(yè)開(kāi)始需要運(yùn)用專業(yè)化、標(biāo)準(zhǔn)化和流程化的手段，來(lái)實(shí)現(xiàn)運(yùn)維工作的自動(dòng)化管理。因?yàn)橥ㄟ^(guò)自動(dòng)化監(jiān)控系統(tǒng)能及時(shí)發(fā)現(xiàn)故障隱患,主動(dòng)的告訴用戶需要關(guān)注的資源,以達(dá)到防患于未然。例如,全天候自動(dòng)檢測(cè)與及時(shí)報(bào)警能實(shí)現(xiàn)IT運(yùn)維的“全天候無(wú)人值守”,大大降低IT運(yùn)維人員的工作負(fù)擔(dān)。而且,通過(guò)自動(dòng)化診斷能最大限度地減少維修時(shí)間,提高服務(wù)質(zhì)量。因此, 對(duì)于越來(lái)越復(fù)雜的IT運(yùn)維來(lái)說(shuō),將純粹的人工操作變?yōu)橐欢ǔ潭鹊淖詣?dòng)化管理是一個(gè)重要發(fā)展趨勢(shì)。企業(yè)需要專業(yè)化、標(biāo)準(zhǔn)化和流程化的手段，來(lái)實(shí)現(xiàn)運(yùn)維工作的自動(dòng)化管理，盡管目前的技術(shù)雖然能夠獲取IT設(shè)備、服務(wù)器、網(wǎng)絡(luò)流量，甚至數(shù)據(jù)庫(kù)的警告信息，但成千上萬(wàn)條警告信息堆積在一起更本沒(méi)法

5、判斷問(wèn)題的根源在哪里，即使一個(gè)簡(jiǎn)單的系統(tǒng)變更或更新往往都需要運(yùn)維人員逐一登錄每臺(tái)設(shè)備進(jìn)行手工變更，當(dāng)設(shè)備數(shù)量達(dá)至成百上千時(shí)，其工作量之大可想而知。2 業(yè)務(wù)場(chǎng)景分析2.1 維護(hù)作業(yè)計(jì)劃維護(hù)作業(yè)計(jì)劃系統(tǒng)的主要目的是通過(guò)規(guī)范化的流程和靈活的任務(wù)制定策略，以確保周期性、重復(fù)性的工作任務(wù)合理規(guī)劃、確保執(zhí)行、及時(shí)完成，并嚴(yán)格控制作業(yè)執(zhí)行質(zhì)量。通過(guò)實(shí)現(xiàn)對(duì)現(xiàn)有設(shè)備的健康維護(hù)工作的規(guī)范化，從而壓制設(shè)備和業(yè)務(wù)系統(tǒng)的故障率。在制定維護(hù)作業(yè)計(jì)劃的同時(shí)，可以通過(guò)智能運(yùn)維平臺(tái)自動(dòng)化調(diào)度巡檢任務(wù)，實(shí)現(xiàn)對(duì)批量、重復(fù)的維護(hù)作業(yè)工作的自動(dòng)化操作，從而降大大降低人力投入，并提高執(zhí)行效率。運(yùn)維人員每天要求對(duì)主機(jī)設(shè)備進(jìn)行巡檢，巡檢內(nèi)容

6、包括：cpu、內(nèi)存、文件系統(tǒng)、IO等內(nèi)容。例如客服系統(tǒng)日常維護(hù)作業(yè)計(jì)劃中，對(duì)小機(jī)的日常巡檢需要做的操作如下表所示：維護(hù)作業(yè)計(jì)劃實(shí)例表小型機(jī)日常維護(hù)作業(yè)計(jì)劃維護(hù)項(xiàng)目操作命令參考指標(biāo)檢查操作系統(tǒng)錯(cuò)誤日志vi/var/adm/syslog/syslog.log無(wú)“WARNNING”、“ERROR”檢查包日志pkg1.log和pkg2.logvi/etc/cmcluster/icdpkg/tl.log無(wú)“WARNNING”、“ERROR”檢查啟動(dòng)日志vi /var/adm/rc.log無(wú)“WARNNING”、“ERROR”檢查內(nèi)存vmstat 2 10 或 topFree memory大于100MBp

7、i、po為零檢查CPUsar 2 10 或topIdle大于30%wio小于30%urs大于2×sys檢查I/Osar -d 2 10BUSY應(yīng)小于90%KB_READKB_WRITE小于10MB檢查swap區(qū)Swapinfo atm檢查硬盤空間bdf呼叫中心所用各邏輯卷%used小于90%維護(hù)作業(yè)計(jì)劃總體流程示意圖如下：附圖1. 維護(hù)作業(yè)計(jì)劃總體流程示意圖通過(guò)維護(hù)作業(yè)計(jì)劃系統(tǒng)完成主機(jī)設(shè)備自動(dòng)巡檢的具體步驟如下：1. 維護(hù)作業(yè)計(jì)劃制定維護(hù)作業(yè)計(jì)劃管理員通過(guò)作業(yè)計(jì)劃管理系統(tǒng)制定一個(gè)針對(duì)客服系統(tǒng)小機(jī)設(shè)備進(jìn)行巡檢的維護(hù)作業(yè)任務(wù)單。在工單中寫明要求接受巡檢主機(jī)的設(shè)備目錄及巡檢指標(biāo)，并制定每天

8、的巡檢開(kāi)始時(shí)間和結(jié)束時(shí)間等必要信息2. 設(shè)備巡檢操作維護(hù)作業(yè)計(jì)劃執(zhí)行人確認(rèn)工單后，依據(jù)維護(hù)作業(yè)任務(wù)單的內(nèi)容，開(kāi)始巡檢工作。根據(jù)不同設(shè)備類型的巡檢要求，在自動(dòng)巡檢操作界面，選擇或創(chuàng)建巡檢腳本，并填寫對(duì)應(yīng)的基線信息，如性能基線，配置基線等。如果巡檢中發(fā)現(xiàn)問(wèn)題，可以通過(guò)智能運(yùn)維平臺(tái)完成修復(fù)操作。3. 巡檢結(jié)果通知與確認(rèn)巡檢任務(wù)結(jié)束后，巡檢任務(wù)執(zhí)行人向作業(yè)計(jì)劃系統(tǒng)回執(zhí)巡檢任務(wù)單完成。同時(shí)巡檢任務(wù)結(jié)束后要利用通知功能將巡檢結(jié)果向相關(guān)負(fù)責(zé)人員通報(bào)。最終由負(fù)責(zé)人完成對(duì)本次巡檢任務(wù)的確認(rèn)。4. 定制巡檢報(bào)表與巡檢報(bào)告巡檢報(bào)表和巡檢報(bào)告用來(lái)客觀反映運(yùn)維人員的巡檢工作情況。運(yùn)維人員根據(jù)工作需要定制巡檢報(bào)表和巡檢報(bào)

9、告樣式與內(nèi)容，并將其發(fā)送給相關(guān)人員。5. 維護(hù)作業(yè)的自動(dòng)化在主機(jī)設(shè)備自動(dòng)巡檢描述的場(chǎng)景中，可以將具備固化可能的巡檢的任務(wù)固化，由智能運(yùn)維平臺(tái)統(tǒng)一調(diào)度執(zhí)行，從而實(shí)現(xiàn)巡檢的自動(dòng)化和違規(guī)結(jié)果的自動(dòng)修復(fù)，構(gòu)建閉合的維護(hù)作業(yè)計(jì)劃。維護(hù)作業(yè)的自動(dòng)化可以提自動(dòng)巡檢的效率，降低人力投入成本，同時(shí)降低人為操作的失誤風(fēng)險(xiǎn)，進(jìn)一步確保巡檢操作的規(guī)范性。下圖為維護(hù)作業(yè)計(jì)劃總體流程與維護(hù)作業(yè)計(jì)劃示意圖:附圖2. 維護(hù)作業(yè)計(jì)劃的自動(dòng)化流程示意圖維護(hù)作業(yè)的自動(dòng)化實(shí)現(xiàn)場(chǎng)景如下：1. 創(chuàng)建自動(dòng)巡檢任務(wù)維護(hù)作業(yè)計(jì)劃執(zhí)行人在接到巡檢任務(wù)單后，經(jīng)過(guò)判斷和總結(jié)，確定可以將對(duì)客戶系統(tǒng)小機(jī)設(shè)備的該巡檢任務(wù)加以固化，并利用智能運(yùn)維平臺(tái)的集成

10、調(diào)度功能實(shí)現(xiàn)自動(dòng)化的腳本調(diào)度。并在自動(dòng)化流程的必要節(jié)點(diǎn)中，設(shè)定邏輯判斷依據(jù)、傳遞參數(shù)內(nèi)容的以及設(shè)定基線比對(duì)規(guī)則。從而完成符合維護(hù)作業(yè)計(jì)劃要求的自動(dòng)化巡檢任務(wù)定制。創(chuàng)建自動(dòng)修復(fù)任務(wù)制定對(duì)巡檢結(jié)果的邏輯判斷，根據(jù)判斷結(jié)果調(diào)度自動(dòng)修復(fù)腳本或觸發(fā)修復(fù)工具，同時(shí)根據(jù)自動(dòng)通知策略自動(dòng)發(fā)起通知。自動(dòng)巡檢任務(wù)和修復(fù)任務(wù)與維護(hù)作業(yè)計(jì)劃模板進(jìn)行關(guān)聯(lián)通過(guò)智能運(yùn)維平臺(tái)的自動(dòng)化流程控制器，將自動(dòng)巡檢任務(wù)和自動(dòng)修復(fù)任務(wù)與維護(hù)作業(yè)計(jì)劃模板相關(guān)聯(lián)，確保維護(hù)作業(yè)計(jì)劃任務(wù)下發(fā)時(shí)自動(dòng)觸發(fā)智能巡檢，巡檢結(jié)束后根據(jù)結(jié)果判斷是否 調(diào)度修復(fù)任務(wù)。2. 維護(hù)作業(yè)計(jì)劃自動(dòng)實(shí)施巡檢任務(wù)將隨著每天作業(yè)計(jì)劃任務(wù)單的下發(fā)而自動(dòng)實(shí)施，實(shí)施結(jié)束后有智能運(yùn)

11、維平臺(tái)調(diào)度作業(yè)計(jì)劃管理更新自動(dòng)更新作業(yè)計(jì)劃任務(wù)工單狀態(tài)。最終實(shí)現(xiàn)維護(hù)作業(yè)計(jì)劃的自動(dòng)實(shí)施2.2 告警智能預(yù)處理告警智能預(yù)處理功能，主要是借助智能運(yùn)維平臺(tái)的自動(dòng)化技術(shù)，實(shí)現(xiàn)對(duì)可固化的事故解決方法進(jìn)行自動(dòng)化的執(zhí)行，從而提高該類故障解決效率，降低人力投入成本和人為失誤概率。下面對(duì)告警智能處理的過(guò)程進(jìn)行詳細(xì)描述，該過(guò)程主要涉及到事件管理、知識(shí)庫(kù)以及智能運(yùn)維平臺(tái)的自動(dòng)化流程控制器。具體場(chǎng)景如下：l 告警診斷通過(guò)事件管理流程對(duì)故障進(jìn)行診斷。事件管理流程創(chuàng)建了一張內(nèi)容關(guān)于某業(yè)務(wù)系統(tǒng)服務(wù)器磁盤空間已滿的事件單，分配給事件解決人員處理解決。事件解決人受理發(fā)現(xiàn)是由于某進(jìn)程崩潰后在root文件系統(tǒng)下產(chǎn)生了較大core

12、dump文件，導(dǎo)致該文件系統(tǒng)被寫滿。事件解決人清空coredump文件后，系統(tǒng)恢復(fù)正常。l 關(guān)聯(lián)知識(shí)庫(kù)的知識(shí)條目事件解決人經(jīng)過(guò)驗(yàn)證和總結(jié)發(fā)現(xiàn)該事件處理過(guò)程可以固化，便在智能運(yùn)維平臺(tái)中創(chuàng)建清空coredump文件的自動(dòng)化動(dòng)作。并借助自動(dòng)化流程控制器，將該自動(dòng)化處理動(dòng)作與知識(shí)庫(kù)相關(guān)聯(lián)。主動(dòng)發(fā)起知識(shí)流程，將該類事件的解決方案列入知識(shí)入庫(kù)申請(qǐng)。審批通過(guò)后，該知識(shí)及即生效。l 自動(dòng)實(shí)施知識(shí)條目中的處理任務(wù)今后出現(xiàn)同類故障，事件處理人可以在知識(shí)庫(kù)引用該知識(shí)，并由知識(shí)條目自動(dòng)出發(fā)清空coredump文件的動(dòng)作進(jìn)行處理。從而實(shí)現(xiàn)該類告警的智能處理。2.3 軟件自動(dòng)裝載軟件自動(dòng)裝載的目的是實(shí)現(xiàn)對(duì)批量設(shè)備或制定設(shè)

13、備進(jìn)行自動(dòng)化的應(yīng)用部署、軟件或補(bǔ)丁的版本檢查以及基于策略的自動(dòng)更新或者卸載。軟件自動(dòng)裝載可以有效的規(guī)避操作失誤風(fēng)險(xiǎn)，提升應(yīng)用發(fā)布效率。軟件裝載功能支持的軟件包括：網(wǎng)絡(luò)和服務(wù)器的操作系統(tǒng)、數(shù)據(jù)庫(kù)、中間件、應(yīng)用軟件、補(bǔ)丁等。軟件自動(dòng)裝載的業(yè)務(wù)場(chǎng)景包括：安裝審查、軟件自動(dòng)分發(fā)、軟件部署、安裝后回滾等四個(gè)。l 安裝審查在軟件或補(bǔ)丁自動(dòng)部署之前，應(yīng)該將預(yù)先對(duì)被安裝設(shè)進(jìn)行安裝備檢，審查過(guò)程中將自動(dòng)排查重復(fù)安裝或其它異常情況；同時(shí)檢查和安裝的作業(yè)自動(dòng)關(guān)聯(lián)。l 軟件自動(dòng)分發(fā)審查通過(guò)后，智能運(yùn)維平臺(tái)自動(dòng)觸發(fā)軟件分發(fā)功能，基于分發(fā)策略對(duì)預(yù)備安裝該軟件的設(shè)備（或一批設(shè)備）進(jìn)行統(tǒng)一介質(zhì)分發(fā)。l 軟件部署操作人員制定工

14、作軟件安裝部署時(shí)間（可立即安裝也和定時(shí)安裝）并在在智能運(yùn)維平臺(tái)操作界面填寫軟件安裝必要的參數(shù)，然后啟動(dòng)軟件部署動(dòng)作。l 安裝回滾如果某些設(shè)備的安裝失敗或錯(cuò)安裝者需要卸載，可以指定設(shè)備執(zhí)行回滾操作，執(zhí)行后該設(shè)備自動(dòng)回滾到?jīng)]安裝之前的狀態(tài)。3 技術(shù)架構(gòu)設(shè)計(jì)3.1 總體說(shuō)明附圖3. 智能運(yùn)維平臺(tái)技術(shù)架構(gòu)u 協(xié)議適配層即南向接口。該層主要實(shí)現(xiàn)統(tǒng)一采集接口，不同采集組件實(shí)現(xiàn)松耦合。u 綜合指令服務(wù)引擎為其他模塊提供基礎(chǔ)功能服務(wù)：網(wǎng)元連接的資源信息管理、腳本模板管理、云任務(wù)管理、任務(wù)管理、調(diào)度管理、告警處理等。u 自動(dòng)巡檢完成日常巡檢的主要功能：網(wǎng)絡(luò)設(shè)備、主機(jī)、數(shù)據(jù)庫(kù)、中間件、業(yè)務(wù)應(yīng)用的巡檢功能，并提供巡

15、檢報(bào)告、巡檢報(bào)表、檢閱等功能。u 自動(dòng)化流程控制器巡檢元任務(wù)所采集的數(shù)據(jù)均為各自獨(dú)立，沒(méi)有相互關(guān)系。此模塊提供將不同命令組合起邏輯關(guān)系，完成一個(gè)控制流程，給用戶解決實(shí)際的工作的所遇到的問(wèn)題能夠真正提高用戶的生產(chǎn)效率。并為知識(shí)庫(kù)提供服務(wù)，來(lái)實(shí)現(xiàn)知識(shí)的積累及復(fù)用，達(dá)到知識(shí)庫(kù)的共享及知識(shí)的固化作用，詳細(xì)請(qǐng)參考智能預(yù)處理節(jié)。附圖4. 自動(dòng)化流程控制器配置界面示意圖提供圖形化界面，通過(guò)鼠標(biāo)的拖拉拽操作完成流程模板編輯，以方便執(zhí)行自動(dòng)化流程作業(yè)，提高用戶的生產(chǎn)效率。u 配置變更審計(jì)主要提供兩大功能：1. 提供采集信息與資源管理平臺(tái)的基準(zhǔn)信息對(duì)比，不一致時(shí)產(chǎn)生告警。2. 配置文件對(duì)比，通過(guò)兩步操作完成此功能

16、。用戶選擇某次巡檢結(jié)果，作為下次對(duì)比基準(zhǔn)。可以提供手工輸入基準(zhǔn)值。使用本次巡檢結(jié)果，與基準(zhǔn)對(duì)比，不一致時(shí)產(chǎn)生告警。告警內(nèi)容中給出對(duì)比的差異。u 軟件裝載完成軟件裝載、卸載、升級(jí)、回退、檢查等功能的獨(dú)立模塊。可制定操作流程模板、計(jì)劃；為簡(jiǎn)化操作，最好提供模板復(fù)制功能。u 北向接口服務(wù)即北向接口。完成智能維護(hù)平臺(tái)與外圍系統(tǒng)協(xié)作時(shí)，對(duì)外提供服務(wù)的各種接口：² 向運(yùn)維管理中心的發(fā)送事件工單（告警）接口；² 運(yùn)維管理中心派發(fā)維護(hù)作業(yè)計(jì)劃接口；² 向資源管理系統(tǒng)查詢配置信息接口。² 向運(yùn)維管理中心、知識(shí)庫(kù)等外圍系統(tǒng)提供執(zhí)行作業(yè)任務(wù)接口。詳細(xì)信息請(qǐng)看下節(jié)接口描述。3.

17、2 接口描述表格1. 智能運(yùn)維平臺(tái)與外圍系統(tǒng)接口接口源系統(tǒng)目標(biāo)系統(tǒng)接口描述和信息項(xiàng)1智能運(yùn)維平臺(tái)資源管理系統(tǒng)查詢資源配置信息：資源ID，資源名稱，資源屬性信息；更新資源配置信息：資源ID，資源屬性ID，資源屬性值；2智能運(yùn)維平臺(tái)運(yùn)維管理中心派發(fā)事件工單：告警ID，告警標(biāo)題，告警類型，告警級(jí)別，告警內(nèi)容，工單ID；運(yùn)維管理中心智能運(yùn)維平臺(tái)執(zhí)行巡檢作業(yè)任務(wù)：任務(wù)ID，執(zhí)行參數(shù)；制定巡檢作業(yè)計(jì)劃：任務(wù)ID，時(shí)間周期，時(shí)間頻率3知識(shí)庫(kù)智能運(yùn)維平臺(tái)查詢?nèi)蝿?wù)信息：任務(wù)ID，任務(wù)名稱，任務(wù)描述，任務(wù)類別，參數(shù)說(shuō)明；執(zhí)行任務(wù)：任務(wù)ID，執(zhí)行參數(shù)；4智能運(yùn)維平臺(tái)基線測(cè)量查詢基線：元任務(wù)ID，上基線，下基線，上容

18、忍線，下容忍線；配置基線：元任務(wù)ID，上基線，下基線，上容忍線，下容忍線；5智能運(yùn)維平臺(tái)堡壘主機(jī)telnet6智能運(yùn)維平臺(tái)PASM權(quán)限認(rèn)證信息3.3 與周邊系統(tǒng)協(xié)作流程3.3.1 智能預(yù)處理對(duì)告警根據(jù)事先定制好的告警處理知識(shí)庫(kù)進(jìn)行相應(yīng)處理，對(duì)已有告警進(jìn)行確認(rèn)，以降低誤告警率，對(duì)可以自動(dòng)化維護(hù)的告警進(jìn)行預(yù)處理并進(jìn)行相應(yīng)的數(shù)據(jù)采集并分析對(duì)其進(jìn)行設(shè)備告警指標(biāo)優(yōu)化，減少用戶的維護(hù)量，提高告警質(zhì)量，對(duì)不同告警進(jìn)行多步驟流程化分析。附圖5. 知識(shí)庫(kù)操作向?qū)д{(diào)用智能運(yùn)維平臺(tái)執(zhí)行自動(dòng)化任務(wù)還可以通過(guò)對(duì)故障處理，總結(jié)、積累到知識(shí)庫(kù)中。并通過(guò)知識(shí)庫(kù)增加一個(gè)操作向?qū)В袒瘜?duì)故障診斷、處理的經(jīng)驗(yàn)。附圖6. 智能預(yù)處理

19、數(shù)據(jù)流圖其中，2是一個(gè)人工的過(guò)程，并沒(méi)有數(shù)據(jù)中【運(yùn)維管理中心】和【知識(shí)庫(kù)】之間傳輸。3.3.2 軟件裝載附圖7. 軟件裝載流程圖由【運(yùn)維管理中心】發(fā)起一次軟件裝載任務(wù)，下發(fā)給【智能運(yùn)維平臺(tái)】；由【軟件裝載】模塊負(fù)責(zé)執(zhí)行此任務(wù)。登錄到【網(wǎng)元】后，從【軟件包ftp服務(wù)器】下載軟件包；執(zhí)行安裝步驟；將安裝是否成功的信息發(fā)送給【運(yùn)維管理中心】。附圖8. 軟件裝載數(shù)據(jù)流圖3.3.3 配置變更審計(jì)附圖9. 配置變更審計(jì)發(fā)送不一致告警流程圖由【配置變更審計(jì)】模塊的巡檢調(diào)度，發(fā)起一次巡檢任務(wù)。首先，從【網(wǎng)元】上采集配置信息；然后，從【資源管理平臺(tái)】取得此配置信息的基準(zhǔn)值；對(duì)比兩個(gè)值，不一致時(shí)產(chǎn)生告警，向【運(yùn)維

20、管理中心】派發(fā)事件工單。附圖10. 配置變更審計(jì)發(fā)送配置不一致告警工單數(shù)據(jù)流圖3.3.4 派發(fā)告警工單流程附圖11. 派發(fā)告警工單數(shù)據(jù)流圖【自動(dòng)巡檢】執(zhí)行巡檢任務(wù)，如與異常或產(chǎn)生告警，通過(guò)【北向接口服務(wù)】向【運(yùn)維管理中心】派發(fā)事件工單。3.3.5 制定、執(zhí)行巡檢作業(yè)計(jì)劃附圖12. 巡檢作業(yè)計(jì)劃制定數(shù)據(jù)流圖【運(yùn)維管理中心】通過(guò)【北向接口服務(wù)】下發(fā)“巡檢作業(yè)任務(wù)”，執(zhí)行結(jié)果通過(guò)【北向接口服務(wù)】傳回【運(yùn)維管理中心】。3.3.6 自動(dòng)變更附圖13. 自動(dòng)變更數(shù)據(jù)流圖【運(yùn)維管理中心】向【智能運(yùn)維平臺(tái)】下發(fā)變更網(wǎng)元配置信息的任務(wù)，【智能運(yùn)維平臺(tái)】負(fù)責(zé)修改網(wǎng)元上的配置；【運(yùn)維管理中心】確認(rèn)此修改成功后，修改

21、【資源管理平臺(tái)】中的配置信息。3.3.7 與周邊模塊的關(guān)系附圖14. 智能運(yùn)維平臺(tái)與外圍系統(tǒng)關(guān)系圖軟件裝載所使用的軟件安裝包存放在【文件服務(wù)器】上，在執(zhí)行軟件裝載時(shí)，智能運(yùn)維平臺(tái)將軟件安裝包從【文件服務(wù)器】下載，傳輸?shù)奖还苤鳈C(jī)，執(zhí)行安裝動(dòng)作?！局悄苓\(yùn)維平臺(tái)】執(zhí)行采集命令（登錄網(wǎng)元上操作），是通過(guò)【堡壘主機(jī)】建立的通道完成的，執(zhí)行權(quán)限通過(guò)【4A】系統(tǒng)控制。智能運(yùn)維平臺(tái)通過(guò)【中國(guó)移動(dòng)業(yè)務(wù)支撐網(wǎng)絡(luò)運(yùn)營(yíng)管理系統(tǒng)】?jī)?nèi)的【權(quán)限管理】模塊完成用戶操作權(quán)限控制?！局R(shí)庫(kù)】的操作向?qū)?，需調(diào)用【智能運(yùn)維平臺(tái)】中【自動(dòng)化流程控制器】提供的服務(wù)完成智能預(yù)處理?！具\(yùn)維管理中心】通過(guò)【智能運(yùn)維平臺(tái)】北向接口提供的服務(wù)完成

22、巡檢作業(yè)計(jì)劃、部署、執(zhí)行?！局悄苓\(yùn)維平臺(tái)】在完成配置變更審計(jì)功能時(shí)，需取得【資源管理平臺(tái)】的配置信息，作為比對(duì)的基準(zhǔn)值。4 數(shù)據(jù)模型設(shè)計(jì)智能運(yùn)維平臺(tái)數(shù)據(jù)模型如下：附圖15. 智能運(yùn)維平臺(tái)數(shù)據(jù)模型節(jié)點(diǎn)：是一種抽象概念，包含【開(kāi)始】、【條件】、【循環(huán)】、【分支】、【合并】、【結(jié)束】節(jié)點(diǎn)，模板也是一種節(jié)點(diǎn)。服務(wù)：也是一種抽象概念，包含【巡檢作業(yè)服務(wù)】、【自動(dòng)化流程服務(wù)】。模板：包含有【指令】、【腳本解析】、【告警基線】。元任務(wù)：一個(gè)【模板】和一個(gè)【資源】的組合。任務(wù)：一組【元任務(wù)】的組合。調(diào)度：一個(gè)【任務(wù)】與一個(gè)時(shí)間周期的組合。時(shí)間周期有日、周、月、節(jié)假日、一次性。資源：網(wǎng)絡(luò)、主機(jī)等，也可以是數(shù)據(jù)庫(kù)

23、、中間件和業(yè)務(wù)應(yīng)用系統(tǒng)。指令：采集配置項(xiàng)，巡檢作業(yè)使用的操作指令，可以是shell命令、數(shù)據(jù)庫(kù)SQL語(yǔ)句、SNMP的GET指令、JMX的一個(gè)對(duì)象、等。解析腳本：使用腳本解析引擎對(duì)指令執(zhí)行結(jié)果格式化的配置腳本。告警基線：告警對(duì)比使用的靜態(tài)閾值或動(dòng)態(tài)閾值。5 系統(tǒng)功能實(shí)現(xiàn)5.1 基礎(chǔ)功能5.1.1 資源管理巡檢作業(yè)中使用的資源，如管理其登錄的用戶名、密碼、IP地址、管理方式、廠商、版本、型號(hào)等信息的維護(hù)功能?！局饕δ堋縰 系統(tǒng)有豐富的資源組織模式，資源管理方式多樣性可以適應(yīng)不同用戶對(duì)資源的個(gè)性化組織。同時(shí)資源維度的可任意擴(kuò)展性使得系統(tǒng)可以對(duì)不同的資源維度進(jìn)行個(gè)性化配置。并以列表的形式展現(xiàn)巡檢系統(tǒng)

24、中所有維度的信息。對(duì)維度信息可以執(zhí)行添加、刪除、編輯的操作。u 可以通過(guò)excel文件方式進(jìn)行批量資源導(dǎo)入，減輕了用戶資源導(dǎo)入的工作量。簡(jiǎn)化了系統(tǒng)資源配置流程。u 智能運(yùn)維平臺(tái)能發(fā)現(xiàn)各種資產(chǎn)信息和配置信息，包括：² 硬件：CPU，處理器速度，處理器/架構(gòu)，BIOS，描述信息，MAC地址，制造商，型號(hào), 磁盤，存儲(chǔ)卡等等。² 操作系統(tǒng)：DNS名稱，IP地址，開(kāi)放的TCP端口，操作系統(tǒng)類型，網(wǎng)絡(luò)設(shè)定，軟件補(bǔ)丁，系統(tǒng)名稱，用戶，用戶組，注冊(cè)表，COM+, 安全設(shè)定，服務(wù)等等。² 軟件：可以發(fā)現(xiàn)注冊(cè)到系統(tǒng)中的MSI，RPM，LPAR，Depot等標(biāo)準(zhǔn)軟件包信息，同時(shí)，發(fā)現(xiàn)

25、功能內(nèi)置的應(yīng)用簽名，還可以發(fā)現(xiàn)和標(biāo)識(shí)常用的企業(yè)應(yīng)用軟件，如DB2, Websphere, Apache, Tomcat，SSH，LDAP，Oracle，SAP等等， 用戶可以通過(guò)擴(kuò)展應(yīng)用簽名標(biāo)注和發(fā)現(xiàn)自行開(kāi)發(fā)的應(yīng)用。下圖所示為采集的Oracle的相關(guān)配置和數(shù)據(jù)表結(jié)構(gòu)信息：附圖16. Oracle配置信息管理示例² 配置信息：智能運(yùn)維平臺(tái)，可以與統(tǒng)一資源庫(kù)進(jìn)行數(shù)據(jù)交互，通過(guò)對(duì)統(tǒng)一資源庫(kù)的數(shù)據(jù)讀取，可以獲取在應(yīng)用或操作系統(tǒng)的配置文件(如hosts, security, serviecs, route, web.xml, init.ora)中的配置項(xiàng)信息，如下圖所示的截圖為智能運(yùn)維平臺(tái)所收

26、集并解析的數(shù)據(jù)配置項(xiàng)信息:附圖17. 主機(jī)配置文件信息管理示例² 用命令或腳本自定義采集：智能運(yùn)維平臺(tái)還可以將命令行或腳本輸出通過(guò)語(yǔ)法文件對(duì)象化，并轉(zhuǎn)化為配置項(xiàng)供用戶瀏覽，下圖為指令采集軟件配置文件的腳本：附圖18. 通過(guò)指令采集的配置文件信息5.1.2 模板管理主要對(duì)運(yùn)維管理中頻繁使用到的比對(duì)基線、操作腳本、存儲(chǔ)過(guò)程進(jìn)行規(guī)范化的管理，以實(shí)現(xiàn)各種部署操作高效、安全執(zhí)行。模板創(chuàng)建后要通過(guò)測(cè)試、專家評(píng)審才能固化在系統(tǒng)中使用。模板管理模塊可以將經(jīng)過(guò)驗(yàn)證、審核的模板進(jìn)行歸檔?！局饕δ堋縰 腳本模板管理：支持腳本增加、刪除、修改、查詢功能；具有測(cè)試功能，支持執(zhí)行腳本及查看執(zhí)行結(jié)果功能；支持模

27、板批量導(dǎo)入。如下圖所示：附圖19. 腳本模板示例圖u 基線模板管理：支持性能基線模板和配置基線模板的增加、刪除、修改、查詢功能；支持通用審計(jì)規(guī)范模板的導(dǎo)入如SOX、PCI等；5.1.3 控制權(quán)限管理控制權(quán)限管理實(shí)現(xiàn)對(duì)IT運(yùn)維人員的集中操作權(quán)限控制，其中包括操作腳本權(quán)限和操作資源權(quán)限，操作管理的身份需到統(tǒng)一認(rèn)證平臺(tái)進(jìn)行認(rèn)證，本模塊可以做到基于角色的權(quán)限分配。【主要功能】u 操作腳本權(quán)限，對(duì)于控制操作中定義好的各種腳本，可以設(shè)定某個(gè)操作員或者角色對(duì)該腳本是否具有編輯、執(zhí)行權(quán)限。腳本操作授權(quán)如下圖所示：u 操作資源權(quán)限，對(duì)于被管設(shè)備（包括網(wǎng)絡(luò)和主機(jī)），可以設(shè)置操作員是否可見(jiàn)的權(quán)限。附圖20. 基于角

28、色的操作資源權(quán)限控制u 模板操作使用權(quán)限5.1.4 操作日志管理日志管理主要實(shí)現(xiàn)對(duì)系統(tǒng)維護(hù)過(guò)程、操作過(guò)程、任務(wù)進(jìn)程執(zhí)行過(guò)程的日志記錄和管理，可以對(duì)操作的每一步處理過(guò)程日志進(jìn)行追蹤查詢。【主要功能】u 操作日志查詢：可以按照不同操作員、執(zhí)行的操作、被管對(duì)象、操作時(shí)間、操作結(jié)果等進(jìn)行查詢統(tǒng)計(jì);u 支持對(duì)腳本及存儲(chǔ)過(guò)程的上傳、審批、運(yùn)行等操作進(jìn)行日志記錄。u 支持操作執(zhí)行結(jié)果審核，定期生成審核報(bào)告。5.1.5 自動(dòng)化流程控制器自動(dòng)化操作控制器主要用于復(fù)雜的任務(wù)調(diào)度和系統(tǒng)間的整合，將多種標(biāo)準(zhǔn)操作組合起來(lái)完成一個(gè)具體的管理任務(wù)。目的是協(xié)調(diào)調(diào)度運(yùn)維工作中各個(gè)環(huán)節(jié)，通過(guò)自動(dòng)化的流程控制器的可將多種服務(wù)、工具

29、、腳本組裝執(zhí)行，以實(shí)現(xiàn)各種配置變更操作、日常檢查的自動(dòng)化執(zhí)行、以及跨系統(tǒng)的流程化調(diào)度?！局饕δ堋縰 圖形化的操作流程設(shè)計(jì)：支持拖拉拽的方式，完成操作流程的組裝，具備流程嵌套功能，支持邏輯判斷、for循環(huán)、流程分支、以及邏輯選擇等多種流程流轉(zhuǎn)動(dòng)作。如下圖所示：附圖21. 自動(dòng)化流程控制器流程設(shè)計(jì)界面u 自動(dòng)化的集成與調(diào)度功能主要包括對(duì)智能運(yùn)維平臺(tái)內(nèi)部模塊調(diào)度和對(duì)平臺(tái)外部模塊的調(diào)度：² 平臺(tái)內(nèi)部調(diào)度：可以協(xié)調(diào)調(diào)度平臺(tái)內(nèi)部的巡檢腳本、操作處理腳本、合規(guī)審計(jì)模塊、軟件裝載模塊、虛擬機(jī)管理模塊等，通過(guò)對(duì)內(nèi)部功能的組裝實(shí)現(xiàn)智能運(yùn)維平臺(tái)的集成調(diào)度整合自動(dòng)化。² 平臺(tái)外部調(diào)度：提供多種接

30、口適配器，如WebService、Telnet等，可以快速簡(jiǎn)單的實(shí)現(xiàn)與運(yùn)維中心的事件管理、變更管理、作業(yè)計(jì)劃管理等模塊的集成調(diào)度。基于事件驅(qū)動(dòng)的作業(yè)調(diào)度、靈活定時(shí)作業(yè)調(diào)度，構(gòu)建閉環(huán)的事件管理流程和變更管理流程。5.2 維護(hù)作業(yè)計(jì)劃自動(dòng)巡檢是將日常運(yùn)維管理中所定義的日常巡檢操作任務(wù)通過(guò)工具自動(dòng)化進(jìn)行，例如記錄和檢查設(shè)備的配置參數(shù)和運(yùn)行狀態(tài)。這些任務(wù)都是標(biāo)準(zhǔn)化的操作，可以通過(guò)定義和執(zhí)行巡檢規(guī)則來(lái)實(shí)現(xiàn)。通過(guò)定時(shí)自動(dòng)執(zhí)行這些操作序列（巡檢任務(wù)）實(shí)現(xiàn)無(wú)人值守的自動(dòng)化巡檢，并生成相應(yīng)巡檢報(bào)告。自動(dòng)巡檢主要包括巡檢作業(yè)計(jì)劃定制、巡檢作業(yè)部署、巡檢作業(yè)執(zhí)行、巡檢作業(yè)報(bào)告等功能，提升巡檢作業(yè)的效率、準(zhǔn)確性和全面

31、性。5.2.1 巡檢作業(yè)計(jì)劃制定對(duì)巡檢作業(yè)的執(zhí)行進(jìn)行計(jì)劃制定、參數(shù)配置、腳本檢查等?！局饕δ堋縰 管理員可以定義巡檢作業(yè)，可以添加、修改、刪除巡檢作業(yè)。u 巡檢作業(yè)中定義巡檢規(guī)則，包括巡檢對(duì)象、巡檢操作、結(jié)果檢查、時(shí)間間隔等參數(shù)。u 檢查的對(duì)象可以是配置文件、運(yùn)行參數(shù)、運(yùn)行狀態(tài)、安全設(shè)置等。智能運(yùn)維平臺(tái)所提供的細(xì)粒度配置項(xiàng)和強(qiáng)大智能判讀邏輯，以致一般的檢查規(guī)則無(wú)需編寫任何腳本，通過(guò)直觀的表達(dá)邏輯組合即可完成檢查設(shè)置。如下圖所示附圖22. 巡檢規(guī)則編輯示例圖u 巡檢操作可以是腳本，也可以是其它命令。u 定義自動(dòng)巡檢任務(wù)，和任務(wù)調(diào)度策略。管理員可以隨時(shí)執(zhí)行巡檢，也可以定義計(jì)劃表來(lái)自動(dòng)執(zhí)行巡檢。計(jì)

32、劃表包含日、周、月、節(jié)假日、一次性調(diào)度。調(diào)度樣式如下圖所示附圖23. 智能運(yùn)維平臺(tái)的普通調(diào)度界面附圖24. 節(jié)假日調(diào)度界面巡檢執(zhí)行中5.2.2 巡檢作業(yè)部署對(duì)制定好的巡檢作業(yè)進(jìn)行部署。【主要功能】u 巡檢作業(yè)可以部署到一個(gè)配置項(xiàng)上，也可以部署到一組配置項(xiàng)上。配置項(xiàng)可以是網(wǎng)絡(luò)、主機(jī)等，也可以是數(shù)據(jù)庫(kù)、中間件和業(yè)務(wù)應(yīng)用系統(tǒng)。u 巡檢作業(yè)本身可以分組存放，可以單獨(dú)部署，也可以成組部署。5.2.3 巡檢操作巡檢過(guò)程中，提供巡檢控制界面，例如填寫巡檢參數(shù)，修改巡檢腳本。巡檢結(jié)束后展現(xiàn)和通報(bào)巡檢結(jié)果，并提供基于巡檢結(jié)果的操作，如故障修復(fù)等。具備巡檢告警確認(rèn)功能?！局饕δ堋縰 提供巡檢操作界面，可以靈活填

33、寫巡檢參數(shù)、修改腳本。u 當(dāng)巡檢發(fā)現(xiàn)問(wèn)題時(shí)，可以自動(dòng)向告警管理發(fā)送告警信息。u 提清晰地巡檢結(jié)果展示界面，管理員可以利用在平臺(tái)建立的配置基線，即將上一次的配置檢查結(jié)果保存為基線，巡檢結(jié)果可以和配置基線進(jìn)行對(duì)比，并以醒目的方式標(biāo)出變化情況。如下圖所示附圖25. 審計(jì)結(jié)果展示示例圖附圖26. 配置基線比對(duì)示例u 管理員可定義自動(dòng)修復(fù)的操作，當(dāng)巡檢發(fā)現(xiàn)問(wèn)題時(shí)，管理員可以根據(jù)需要選擇自動(dòng)修復(fù)或是手工修復(fù)。5.2.4 巡檢作業(yè)報(bào)告對(duì)巡檢作業(yè)執(zhí)行狀況進(jìn)行匯總，形成巡檢報(bào)告?！局饕δ堋縰 巡檢結(jié)果可以生成報(bào)告，支持導(dǎo)出到多種格式，包括PDF、Excel、CSV等。u 提供郵件方式自動(dòng)發(fā)送訂閱報(bào)表的功能，巡

34、檢結(jié)果報(bào)告可以自動(dòng)發(fā)送到指定的郵箱里。5.2.5 巡檢作業(yè)報(bào)表對(duì)巡檢作業(yè)中所有執(zhí)行結(jié)果的統(tǒng)計(jì)。展現(xiàn)巡檢系統(tǒng)中所有巡檢結(jié)果的作業(yè)概況。以表格形式展示所有巡檢任務(wù)當(dāng)日的執(zhí)行情況，并可鉆取到巡檢任務(wù)執(zhí)行結(jié)果報(bào)表和巡檢元任務(wù)執(zhí)行結(jié)果報(bào)表?！局饕δ堋縰 展現(xiàn)某維度當(dāng)日作業(yè)結(jié)果的作業(yè)概況。以標(biāo)簽的形式對(duì)巡檢結(jié)果進(jìn)行篩選，按巡檢匯聚類別分：日作業(yè)結(jié)果、周作業(yè)結(jié)果、月作業(yè)結(jié)果、節(jié)假日作業(yè)結(jié)果、一次性作業(yè)結(jié)果。并可鉆取到按小時(shí)匯聚的作業(yè)概括。u 對(duì)巡檢系統(tǒng)中資源、作業(yè)、巡檢項(xiàng)、設(shè)備、業(yè)務(wù)系統(tǒng)、參數(shù)、作業(yè)結(jié)果的統(tǒng)計(jì)。5.3 告警智能預(yù)處理對(duì)告警根據(jù)事先定制好的告警處理知識(shí)庫(kù)進(jìn)行相應(yīng)處理，對(duì)已有告警進(jìn)行確認(rèn)，以降

35、低誤告警率，對(duì)可以自動(dòng)化維護(hù)的告警進(jìn)行預(yù)處理并進(jìn)行相應(yīng)的數(shù)據(jù)采集并分析對(duì)其進(jìn)行設(shè)備告警指標(biāo)優(yōu)化，減少用戶的維護(hù)量，提高告警質(zhì)量，對(duì)不同告警進(jìn)行多步驟流程化分析。故障處理任務(wù)固化是告警智能預(yù)處理的基礎(chǔ)，可以將診斷管理中的各種操作，包括診斷信息的收集、診斷邏輯、自動(dòng)修復(fù)操作等固化下來(lái)，重復(fù)使用，提高運(yùn)維效率。一般常見(jiàn)的網(wǎng)絡(luò)故障和系統(tǒng)故障都有固定的處理方式，在各種設(shè)備的維護(hù)手冊(cè)上都可以查到。每一步都可以轉(zhuǎn)化為詳細(xì)的執(zhí)行腳本，通過(guò)固化，可以重復(fù)使用故障恢復(fù)操作?！局饕δ堋縰 警智能預(yù)處理支持所有故障操作和修復(fù)操作的固化，對(duì)任意的操作序列都可以內(nèi)置到診斷過(guò)程中，診斷管理支持常見(jiàn)連接方法，例如，ftp，

36、ssh，telnet等，固化時(shí)管理員只需重點(diǎn)關(guān)注操作命令即可，相關(guān)的連接等輔助操作均由系統(tǒng)自動(dòng)完成。u 警智能預(yù)處理支持圖形化方式設(shè)計(jì)故障處理和診斷的過(guò)程，住要是通過(guò)智能運(yùn)維平臺(tái)的自動(dòng)化流程控制器設(shè)計(jì)調(diào)度流程，并在調(diào)度流程中實(shí)現(xiàn)對(duì)相關(guān)腳本和工具的調(diào)度來(lái)執(zhí)行每一步操作。u 警智能預(yù)處理中的操作流程可以全自動(dòng)執(zhí)行，也可以設(shè)置交互，在執(zhí)行過(guò)程中由管理員輸入必要的信息，根據(jù)管理員的信息或者判斷，往下執(zhí)行。u 警智能預(yù)處理可以與運(yùn)維中心中事件和問(wèn)題的解決方案固化成的知識(shí)相集成，當(dāng)故障管理判斷新的故障和以前的事件相同時(shí)，可以引用知識(shí)庫(kù)的中的知識(shí)，并有知識(shí)自動(dòng)調(diào)用這些解決方案修復(fù)故障。5.4 軟件自動(dòng)裝載主要實(shí)現(xiàn)軟件分發(fā)與部署，接收發(fā)布包（主要描述被管對(duì)象上應(yīng)該安裝什么軟件、補(bǔ)丁、配置信息，以及安裝順序、安裝和卸載腳本等信息）并實(shí)現(xiàn)發(fā)布包的分發(fā)、部署和結(jié)果檢查。部署控制是維護(hù)控制的一種典型應(yīng)用，大部分功能參照維護(hù)控制章節(jié)建設(shè)，較個(gè)性功能結(jié)合本省情況自