一種基于多級(jí)分布式管理數(shù)據(jù)采集軟件模型-設(shè)計(jì)應(yīng)用

精品文檔-下載后可編輯一種基于多級(jí)分布式管理數(shù)據(jù)采集軟件模型-設(shè)計(jì)應(yīng)用一種基于多級(jí)1引言在很多的工程中，到特定的應(yīng)用中采集數(shù)據(jù)，并對(duì)采集到的數(shù)據(jù)進(jìn)行管理是一種普遍的模式。尤其是隨著網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，對(duì)數(shù)據(jù)進(jìn)行多級(jí)管理也日益成為趨勢(shì)。典型的就是電信管理網(wǎng)中的操作維護(hù)中心(OMC)，他就是一種實(shí)現(xiàn)了省級(jí)操作維護(hù)中心(POMC)、本地操作維護(hù)中心(LOMC)、操作維護(hù)模塊(OMM)三級(jí)管理的大型系統(tǒng)，而其中的性能統(tǒng)計(jì)模塊又是典型的數(shù)據(jù)采集系統(tǒng)。以操作維護(hù)中心中的性能統(tǒng)計(jì)為基礎(chǔ)，經(jīng)過(guò)抽象分析，我們提出了一種基于分布式多級(jí)管理的數(shù)據(jù)采集軟件模型，這種模型將適用于大部分采用多級(jí)管理模式的數(shù)據(jù)采集系統(tǒng)。

我們的軟件模型由多級(jí)管理模塊和數(shù)據(jù)采集模塊兩部分組成，下面分別對(duì)兩個(gè)模塊闡述詳細(xì)的設(shè)計(jì)思路。

2多級(jí)管理模塊

圖1的左邊部分為管理系統(tǒng)結(jié)構(gòu)圖，在管理系統(tǒng)中我們采用比較有代表性的三級(jí)管理構(gòu)架，至于更多級(jí)的管理，基本原理是完全相同的。如圖1所示，在每管理中，都采用C／S結(jié)構(gòu)。其中，客戶端直接面向用戶，向用戶提供友好的圖形界面，方便用戶的使用。服務(wù)器端完成對(duì)客戶端請(qǐng)求的響應(yīng)，還要完成級(jí)聯(lián)的任務(wù)，同時(shí)，服務(wù)器端還要直接和應(yīng)用相連，這里指的應(yīng)用是我們所要管理的具體對(duì)象，在電信管理中就是電信設(shè)備，比如交換機(jī)、基站等。服務(wù)器需要和數(shù)據(jù)采集系統(tǒng)直接相連，從應(yīng)用中獲取數(shù)據(jù)。下面我們就主要闡述一下管理系統(tǒng)中的主要部分C／S結(jié)構(gòu)和多級(jí)級(jí)聯(lián)的設(shè)計(jì)思想。

2．1C／S結(jié)構(gòu)

C／S結(jié)構(gòu)是近年來(lái)幾乎所有大型系統(tǒng)都采用的一種結(jié)構(gòu)，同時(shí)因?yàn)槲覀兊哪Ｐ椭饕轻槍?duì)數(shù)據(jù)采集系統(tǒng)的，而數(shù)據(jù)采集系統(tǒng)的主要功能通常是對(duì)采集到的數(shù)據(jù)進(jìn)行實(shí)時(shí)顯示、查詢分析等等。根據(jù)以上的一些特點(diǎn)，將我們所提出模型的C／S結(jié)構(gòu)用圖2描述出來(lái)。

服務(wù)器端的主要任務(wù)有2個(gè)，一個(gè)是響應(yīng)客戶端的請(qǐng)求，這一點(diǎn)和通常的服務(wù)器沒(méi)有差別；另一個(gè)任務(wù)是維護(hù)本地?cái)?shù)據(jù)庫(kù)，雖然大部分的服務(wù)器也有維護(hù)數(shù)據(jù)庫(kù)的工作，但對(duì)于數(shù)據(jù)采集的應(yīng)用而言，我們需要提供給用戶更加豐富的數(shù)據(jù)查詢分析，甚至是數(shù)據(jù)挖掘的功能，所以這里的維護(hù)本地?cái)?shù)據(jù)庫(kù)指的不光是簡(jiǎn)單的對(duì)數(shù)據(jù)庫(kù)表的插入刪除，而且要提供OLAP甚至是數(shù)據(jù)挖掘的接口。

由于服務(wù)器對(duì)數(shù)據(jù)的操作可能很頻繁，為了保證系統(tǒng)的穩(wěn)定性，在服務(wù)器和數(shù)據(jù)之間建立連接池。所謂連接池就是預(yù)先建立到數(shù)據(jù)庫(kù)系統(tǒng)的一定數(shù)量的連接。服務(wù)器在需要訪問(wèn)數(shù)據(jù)庫(kù)時(shí)，通過(guò)同步技術(shù)從該連接池中申請(qǐng)連接，在使用完畢后將連接歸還到連接池。這樣既保證了系統(tǒng)的穩(wěn)定性，又有效的節(jié)省了數(shù)據(jù)庫(kù)連接資源的使用。2．2多級(jí)級(jí)聯(lián)

在多級(jí)管理系統(tǒng)中，多級(jí)級(jí)聯(lián)扮演著一個(gè)重要的角色。在我們的模型中，級(jí)聯(lián)通過(guò)各級(jí)服務(wù)器之間的關(guān)聯(lián)來(lái)實(shí)現(xiàn)。如圖3所示，在每服務(wù)器中都要維護(hù)一張級(jí)聯(lián)映射表，這張表記錄了整個(gè)管理系統(tǒng)中當(dāng)前所有的服務(wù)器的級(jí)聯(lián)情況。為了保證系統(tǒng)的正常運(yùn)轉(zhuǎn)，所有服務(wù)器中的級(jí)聯(lián)映射表必須保持一致。當(dāng)系統(tǒng)中的某一個(gè)服務(wù)器出現(xiàn)異常或者當(dāng)系統(tǒng)中的服務(wù)器配置發(fā)生變化時(shí)，如何保證級(jí)聯(lián)映射表的一致是多級(jí)級(jí)聯(lián)主要需解決的問(wèn)題。

分析我們系統(tǒng)的特點(diǎn)容易知道，服務(wù)器的配置不會(huì)頻繁的變化，而且每次同步級(jí)聯(lián)映射表的報(bào)文數(shù)量不是很多，整個(gè)系統(tǒng)對(duì)級(jí)聯(lián)映射表同步的實(shí)時(shí)性要求不是特別高。因此我們可以采用一般的廣播方式來(lái)實(shí)現(xiàn)同步。當(dāng)系統(tǒng)的服務(wù)器配置發(fā)生變化時(shí)，由發(fā)生變化的服務(wù)器向和他相連的服務(wù)器發(fā)出廣播報(bào)文，以同步級(jí)聯(lián)映射表。當(dāng)這些服務(wù)器收到報(bào)文后再繼續(xù)向外廣播，直到整個(gè)系統(tǒng)中的所有級(jí)聯(lián)映射表完全一致。

3數(shù)據(jù)采集系統(tǒng)模塊

圖1的右邊部分是數(shù)據(jù)采集系統(tǒng)，由于不同應(yīng)用總是有著自身的特點(diǎn)，不可能做到所有的應(yīng)用都可以向管理系統(tǒng)提供相同的接口。考慮到這一點(diǎn)，我們?cè)趹?yīng)用和管理系統(tǒng)之間添加了一個(gè)模塊，叫適配器(Adaptor)。適配器的重要作用就是負(fù)責(zé)到應(yīng)用中去采集數(shù)據(jù)，上報(bào)給各級(jí)服務(wù)器。同時(shí)他還負(fù)責(zé)對(duì)管理系統(tǒng)屏蔽不同應(yīng)用的不同特點(diǎn)。也就是說(shuō)，適配器在管理系統(tǒng)和應(yīng)用之間做必要的轉(zhuǎn)換工作，以保證不同應(yīng)用對(duì)管理系統(tǒng)來(lái)說(shuō)有著相同的接口，因而適配器是數(shù)據(jù)采集的的部分。3．1數(shù)據(jù)采集

適配器(Adaptor)作為管理系統(tǒng)和應(yīng)用之間的橋梁，在系統(tǒng)中起著舉足輕重的作用，其首要的任務(wù)就是到應(yīng)用中去采集數(shù)據(jù)。在我們的模型中，數(shù)據(jù)采集的工作由3類進(jìn)程來(lái)協(xié)同完成，如圖4所示。

控制進(jìn)程在適配器(Adaptor)初始化的時(shí)候，生成采集進(jìn)程和處理進(jìn)程，并完成對(duì)采集進(jìn)程和處理進(jìn)程的初始化工作。在此之后，控制進(jìn)程要監(jiān)控采集進(jìn)程和處理進(jìn)程，當(dāng)發(fā)現(xiàn)他們出現(xiàn)異常情況(如進(jìn)程僵死、被掛起等)時(shí)，要做相應(yīng)的處理，通常的辦法可以重啟出現(xiàn)錯(cuò)誤的進(jìn)程。控制進(jìn)程在系統(tǒng)中的作用只是監(jiān)控，不做具體的采集上報(bào)工作，在系統(tǒng)中只有一個(gè)控制進(jìn)程。下面列出的是控制進(jìn)程的偽代碼：

processcontrol{readSystemConfigInfo()；／／獲取系統(tǒng)的配置信息／／創(chuàng)建采集進(jìn)程processcollectoinProcess=createCollectionProcess()；／／發(fā)送初始化事件給采集進(jìn)程，進(jìn)行初始化notify(collectoinProcess，Event-Ini)；／／創(chuàng)建處理進(jìn)程processdealwithProcess=createDealWithProcess()，／／發(fā)送初始化事件給處理進(jìn)程，進(jìn)行初始化notify(dealwithProcess，Event_Ini)；／／為每一個(gè)進(jìn)程設(shè)置一個(gè)是否出錯(cuò)的標(biāo)志，初始值為trueBooleanprocessError[processNum]={true，true…}；／／用listening方法來(lái)監(jiān)聽(tīng)采集進(jìn)程和處理進(jìn)程listening()；

functionlistening(){Timertimer；／／為監(jiān)控進(jìn)程設(shè)置一個(gè)定時(shí)器／／指定定時(shí)器的時(shí)間間隔timer．setInterval(TimerInterval)；while(true){getMsg()；／／獲取消息隊(duì)列中的消息switch(Msg){caseEvent_Shakehand：／／握手事件／／判斷是哪個(gè)進(jìn)程發(fā)過(guò)來(lái)的握手消息intindex=whichProcess(Msg)；／／將該進(jìn)程對(duì)應(yīng)的出錯(cuò)標(biāo)志設(shè)為false，表示未出錯(cuò)proeessError[index]=false；break；caseEvent_Timer／／定時(shí)器事件for(inti=0；I＜processNum；i＋＋＝{if(processError[i]){killProcess(i)；／／將出錯(cuò)進(jìn)程殺死／／如果該進(jìn)程在一定時(shí)間間隔內(nèi)出錯(cuò)，則重啟該進(jìn)程restartProcess(i)；}}break；……}}}

采集進(jìn)程負(fù)責(zé)到應(yīng)用中采集數(shù)據(jù)，對(duì)于不同的應(yīng)用，可以生成不同的采集進(jìn)程。所以在系統(tǒng)中可能存在多個(gè)采集進(jìn)程。由于采集進(jìn)程直接和應(yīng)用相連，并且進(jìn)程的正確運(yùn)行依賴于應(yīng)用。所以很有可能出現(xiàn)不可預(yù)知的異常狀況，如網(wǎng)絡(luò)鏈路不通、應(yīng)用進(jìn)程掛起、應(yīng)用的配置發(fā)生變化等等，采集進(jìn)程應(yīng)當(dāng)充分考慮如何處理異常，增強(qiáng)程序的健壯性。下面列出的是采集進(jìn)程的偽代碼：

processeollectData{TimertimerColl；／／為采集進(jìn)程設(shè)置定時(shí)器TimertimerShakeHand；／／為采集進(jìn)程設(shè)置定時(shí)器／／指定數(shù)據(jù)采集的粒度timerColl．setInterval(TimerInterval)；／／指定握手的時(shí)間間隔timerShakeHand．setInterval(TimerInterval_)；while(true){getMsg()；／／獲取消息隊(duì)列中的消息switch(Msg){…caseEvent_Timer；／／定時(shí)器事件if(isCollTimer()){collect()；／／采集數(shù)據(jù)notify（dealwithProcess，Event_Dealwitn）；if(isShakeHandTimer()){／／向控制進(jìn)程發(fā)送握手消息sendMsgToController()；}break；……}}}

處理進(jìn)程負(fù)責(zé)對(duì)采集到的數(shù)據(jù)進(jìn)行必要的處理。一個(gè)處理進(jìn)程對(duì)應(yīng)一個(gè)采集進(jìn)程，所以在系統(tǒng)中可能同時(shí)存在多個(gè)處理進(jìn)程。從采集進(jìn)程采集到的數(shù)據(jù)是原始數(shù)據(jù)，可能不符合管理系統(tǒng)對(duì)數(shù)據(jù)的要求，所以經(jīng)常需要對(duì)采集到的數(shù)據(jù)進(jìn)行處理，處理過(guò)程通常包括對(duì)數(shù)據(jù)進(jìn)行前后2個(gè)粒度的數(shù)學(xué)運(yùn)算、對(duì)數(shù)據(jù)按所需要的單位求值等。處理進(jìn)程在處理完數(shù)據(jù)后，還要對(duì)數(shù)據(jù)進(jìn)行打包，并上報(bào)給管理系統(tǒng)。下面列出的是處理進(jìn)程的偽代碼：

processdealwithData{Timertimer；／／為處理進(jìn)程設(shè)置握手定時(shí)器／／指定握手定時(shí)器的時(shí)間timer．setInterval(TimerInterval)；while(true){getMsg()；／／獲取消息隊(duì)列中的消息switch(Msg){…caseEvent_Dealwith：／／定時(shí)器事件dealwith()；／／采集數(shù)據(jù)／／向管理系統(tǒng)上報(bào)數(shù)據(jù)包sendDataToServer()；break；caseEvent_Timer．／／定時(shí)器事件／／向控制進(jìn)程發(fā)送握手消息sendMsgToController()；break；……}}}

3．2向管理系統(tǒng)提供相同接口

從圖1可以看出，管理系統(tǒng)通過(guò)適配器和多個(gè)應(yīng)用相連。由于適配器的存在，對(duì)于管理系統(tǒng)而言，不同的應(yīng)用沒(méi)有區(qū)別，都可以看作適配器發(fā)送上來(lái)的數(shù)據(jù)包，而且數(shù)據(jù)包的結(jié)構(gòu)是相同的。只要在和適配器之間事先協(xié)商好數(shù)據(jù)包的結(jié)構(gòu)，那么不管以后增加什么樣的應(yīng)用，都可以保證管理系統(tǒng)的程序不做改變。這就