大規(guī)模計算機互聯(lián)網(wǎng)絡(luò)性能監(jiān)控模型的設(shè)計與實現(xiàn)

1、第37卷第4期2000年4月計算機研究與發(fā)展JOU RNAL O F COM PU T ER R ESEA RCH &D EV ELO PM EN T V o l 137,N o 14A p r .2000 原稿收到日期:1999207212;修改稿收到日期:1999211208.本課題得到“九五”國家重點科技項目(項目編號962743201201基金資助.王繼龍,男,1973年生,博士研究生,主要研究方向為Internet 運行監(jiān)控.吳建平,男,1953年生,教授,博士生導(dǎo)師,主要研究方向為網(wǎng)絡(luò)監(jiān)控、網(wǎng)絡(luò)安全、協(xié)議測試、路由器設(shè)計等.大規(guī)模計算機互聯(lián)網(wǎng)絡(luò)性能監(jiān)控模型的設(shè)計與實現(xiàn)王繼龍

2、吳建平(清華大學(xué)中國教育科研網(wǎng)中心北京100084摘要當(dāng)前,對于Internet 性能監(jiān)控的研究正面臨諸多挑戰(zhàn).國際上有許多針對性能監(jiān)控問題的研究項目.這些研究成果都得到了廣泛的應(yīng)用.然而,在性能監(jiān)控工作中仍然存在許多懸而未決的關(guān)鍵問題.針對性能監(jiān)控系統(tǒng)設(shè)計中的體系結(jié)構(gòu)問題給出了一個參考模型.通過對現(xiàn)有研究成果的綜述,在借鑒現(xiàn)有體系結(jié)構(gòu)模型思想的基礎(chǔ)上進(jìn)行拓展,設(shè)計了能夠全面指導(dǎo)大型計算機互聯(lián)網(wǎng)絡(luò)性能監(jiān)控的4層體系結(jié)構(gòu)模型,并以CERN ET 運行性能管理系統(tǒng)為背景分析了模型的實現(xiàn)要點和應(yīng)用實例.最后分析了該模型的主要特色.關(guān)鍵詞因特網(wǎng),性能監(jiān)控,模型,體系結(jié)構(gòu)中圖法分類號T P 393AN

3、INTERNET PERFOR M ANCE MON IT OR INGMOD EL :D ESIGN AND I M PL E M ENTAT I ONW AN G J i 2L ong and W U J ian 2P ing(CERN E T N a tiona l N et w ork Cen ter ,T sing hua U n iversity ,B eij ing 100084Abstract T he field of In ternet m on ito ring is facing eno r m ou s challenges .B eing unab le to ex

4、p lain o r fu lly understand the phenom enon resu lting from netw o rk changes li m its the ab ility to con tinue scaling the In ternet and under m ine attem p ts to i m p rove its robu stness .Several research effo rts are tack ling th is p rob lem ,no tab ly In ternet Su rveyo r p ro ject ,NLAN R

5、AM P p ro ject ,and so on .A lthough all these w o rk s have p roved their app licab ility in m any cases ,there are still a num ber of p rob lem s to be con sidered .T h is paper addresses and discu sses a m odel fo r netw o rk perfo r m ance m on ito ring ,w h ich is adop ted in the m anagem en t

6、of Ch ina Educati onal &R esearch N etw o rk ,a nati onal w ide info r m ati on netw o rk of Ch ina .Cu rren t state 2of 2the 2art of the In ternet perfo r m ance m on ito ring is in troduced first ,w h ich greatly help s to fo r m u late the set of goals and requ irem en ts that a large 2scale

7、perfo r m ance m on ito ring m u st m eet .T hen an arch itectu re m odel so lu ti on to system atize the i m p lem en tati on of In ternet m on ito ring is given .Som e key po in ts abou t how to ach ieve the m odel are discu ssed together w ith exam p les of the app licati on s of the m odel in CE

8、RN ET s p erfo r m ance m on ito ring .F inally ,it is deduced that the m odel has great advan tages and is su itab le to direct the m on ito ring w o rk s of In ternet .Key words In ternet ,perfo r m ance m on ito r ,m odel ,arch itectu re1引言大規(guī)模計算機互聯(lián)網(wǎng)絡(luò)指擁有廣域骨干網(wǎng)和大量接入網(wǎng)的大型計算機信息網(wǎng)絡(luò).這樣的網(wǎng)絡(luò)通常跨地區(qū)甚至跨國家,肩負(fù)重要的科

9、研教育或商業(yè)通信任務(wù).因此,大規(guī)模計算機互聯(lián)網(wǎng)絡(luò)的運行性能管理一直備受人們關(guān)注,成為網(wǎng)絡(luò)管理研究領(lǐng)域的一個熱點.當(dāng)前,在大規(guī)模網(wǎng)絡(luò)性能監(jiān)控的研究中存在兩個主要障礙.(1“無網(wǎng)可管”即缺乏測試平臺和試驗床.網(wǎng)絡(luò)管理是一個實踐性相當(dāng)強的課題,僅通過模擬或形式化的分析方法很難反應(yīng)現(xiàn)實的網(wǎng)絡(luò)行為.由于一般的研究機構(gòu)難以擁有大規(guī)模的網(wǎng)絡(luò)環(huán)境, 一直研究任務(wù)主要由網(wǎng)絡(luò)運營機構(gòu)承擔(dān),因此研究力量相對薄弱;(2缺乏體系結(jié)構(gòu)上的指導(dǎo).由于沒有一個宏觀的體系結(jié)構(gòu)模型,使得性能監(jiān)控?zé)o法在基礎(chǔ)技術(shù)研究、產(chǎn)品功能設(shè)計和系統(tǒng)設(shè)計之間實現(xiàn)和諧統(tǒng)一.本文以CERN ET先進(jìn)的網(wǎng)絡(luò)環(huán)境為背景,針對實際應(yīng)用中對體系結(jié)構(gòu)模型的迫切

10、需求,設(shè)計了一個性能監(jiān)控參考模型.文章通過對現(xiàn)有體系結(jié)構(gòu)標(biāo)準(zhǔn)和相關(guān)研究成果的綜述,在借鑒現(xiàn)有體系結(jié)構(gòu)模型思想的基礎(chǔ)上進(jìn)行拓展,設(shè)計了能夠全面指導(dǎo)大型計算機互聯(lián)網(wǎng)絡(luò)性能監(jiān)控的4層體系結(jié)構(gòu)模型,并以CERN ET 運行性能管理系統(tǒng)為背景分析了模型的實現(xiàn)要點和應(yīng)用實例.最后分析了該模型的主要特色.2體系結(jié)構(gòu)模型研究的現(xiàn)狀分析網(wǎng)絡(luò)管理這一學(xué)科領(lǐng)域從80年代起逐漸受到重視,許多國際組織先后開發(fā)了各類標(biāo)準(zhǔn)、協(xié)議來指導(dǎo)網(wǎng)絡(luò)管理功能和網(wǎng)絡(luò)管理系統(tǒng)的設(shè)計.這些標(biāo)準(zhǔn)都各自適用于一定的場合,也都存在各自的局限性.尤其是來自不同組織的標(biāo)準(zhǔn)之間存在很大的差異,為工程實踐帶來很大不便.造成這種狀況的主要原因是人們在網(wǎng)絡(luò)管

11、理體系結(jié)構(gòu)的理念上沒有達(dá)成共識.2.1體系結(jié)構(gòu)及標(biāo)準(zhǔn)涉及網(wǎng)絡(luò)體系結(jié)構(gòu)及標(biāo)準(zhǔn)定義的國際組織有許多,最重要的3個是ISO,ITU和IET F.除以上3個知名的國際組織,還有其它一些研究機構(gòu)也為網(wǎng)管標(biāo)準(zhǔn)的開發(fā)作出了貢獻(xiàn),如IEEE,NM F,RA CE等.只不過它們的影響相對較弱.(1ISO(T he In ternati onal O rgan izati on fo r Standardizati onISO是在網(wǎng)絡(luò)管理標(biāo)準(zhǔn)制定中起步最早的一個.制定了“O S IM anagem en t F ram ew o rk”,“O S I System s M anagem en t O vervie

12、w”,“Comm oa M anagem en t Info r m ati on P ro toco l(C M IP”.提出了五大能劃分的思想FCA PS.ISO對性能監(jiān)控如下定義:性能監(jiān)控是為了優(yōu)化Q oS(quality of service.為了獲知網(wǎng)絡(luò)性能的變化,必須隨機或定時記錄收集統(tǒng)計數(shù)據(jù).收集的數(shù)據(jù)記錄不僅用于性能的管理,還可用在故障管理中檢測故障;用在配置管理中決策需要怎樣的配置調(diào)整;用在計費管理中調(diào)節(jié)帳單.ISO定義了3種途經(jīng)來交換管理信息:系統(tǒng)管理、應(yīng)用管理、層管理.在ISO O S I參考模型中,系統(tǒng)管理有兩個屬性:對O S I結(jié)構(gòu)中所有層次的資源及其狀態(tài)的管理;系統(tǒng)

13、管理協(xié)議位于應(yīng)用層.第1個屬性定義被管對象,第2個屬性解釋如何交換管理信息1,2.在O S I參考模型中,層管理具有下列屬性:由(N一層管理來支持(N一層被管對象的監(jiān)視、控制;(N一層的協(xié)議實現(xiàn)由(N-1和更低層來支持;ISO對網(wǎng)絡(luò)管理體系結(jié)構(gòu)的定義違背了分層原則.允許應(yīng)用層實體直接操作底層.此外,ISO的體系結(jié)構(gòu)實現(xiàn)效率較低,當(dāng)前還不適用于In ternet的網(wǎng)絡(luò)管理.(2ITU的(T分部(T elecomm un icati on Standardizati on Secto r of In ternati onal T elecomm un icati on U n i on的立足點是數(shù)

14、據(jù)通信網(wǎng)絡(luò).電信網(wǎng)絡(luò)管理的標(biāo)準(zhǔn)則主要由制定.從1985年起開始電信網(wǎng)444計算機研究與發(fā)展2000年管的標(biāo)準(zhǔn)化工作,頒布了“T elecomm un icati on M anagem en t N etw o rk ”參考模型.TM N 的概念由M 3010建議定義3.根椐M 3010,TM N 是一個獨立的網(wǎng)絡(luò),與電信網(wǎng)絡(luò)在不同的訪問點上存在接口.TM N 參考模型最初與O S I 是相對獨立的,但從19881992年,TM N 修訂中加入了O S I 的思想,因此如今可以說O S I 與TM N 互為補充.(3IET F仔細(xì)思索一下我們會發(fā)現(xiàn),在網(wǎng)管協(xié)議和技術(shù)的開發(fā)中,90年代In te

15、rnet 的成長起到了關(guān)鍵作用.起初I AB (In ternet A rch itectu re Board 試圖采納O S I 的管理方案,但當(dāng)時In ternet 的規(guī)模增長使得對管理的需求非常緊迫,而O S I 管理組正忙于討論O S I 管理框架.由于不可能在短期內(nèi)實現(xiàn)O S I 管理,I 要求IET F 制定一個暫時的標(biāo)準(zhǔn).IET F 在一年以后完成了SNM P .之后各廠商開始開發(fā)兼容SNM P 的產(chǎn)品.雖然SNM P 在許多方面表現(xiàn)出低效,它已成為網(wǎng)絡(luò)管理信息交換事實上的工業(yè)標(biāo)準(zhǔn).IET F 沒有提供完整的網(wǎng)絡(luò)管理體系結(jié)構(gòu)的標(biāo)準(zhǔn), IET F 主要致力于網(wǎng)管協(xié)議和M I B 的

16、開發(fā).SNM P 的體系結(jié)構(gòu)如圖1所示.圖1SNM P 的體系結(jié)構(gòu)其中,C 2M I B 中定義控制變量,I 2M I B 中包含信息變量.(4IEEE眾所周知,IEEE 制定了LAN 和W AN 的標(biāo)準(zhǔn)(IEEE 802.這些標(biāo)準(zhǔn)中也對LAN 和W AN 的管理給出了定義.如:IEEE 802.1B LAN W AN M anagem en t ,IEEE 802.1E System L oad P ro toco l ,IEEE 802.1F Comm on D efin iti on s and P rocedu res fo r IEEE 802M anagem en t Info r

17、 m ati on .IEEE 的標(biāo)準(zhǔn)基于ISO 的C M IP ,不同之處在于ISO 的網(wǎng)管協(xié)議應(yīng)用于第7層而IEEE 的C M OL (Comm on M anagem en t O ver LL C 應(yīng)用于數(shù)據(jù)鏈路層.因此它的明顯缺陷是無法管理路由器另外一端設(shè)備.(路由器位于第3層.C M OL 比較適用于I BM 的組網(wǎng)方案(I BM 的互聯(lián)策略是“sou rce 2rou ting b ridges ”,可避免使用路由器.(5NM FO S I N etw o rk M anagem en t Fo rum 創(chuàng)建于1988年,目的是促進(jìn)O S I 和CC IT T 管理標(biāo)準(zhǔn)4,5的開

18、發(fā)和實現(xiàn).這是一個由廠商、公司和科研機構(gòu)組成的非贏利組織.NM F 也涉及其它來源的管理標(biāo)準(zhǔn):IET F 的SNM P ,O SF (Op en Softw are Foundati on 的DM E 6,X Open 的“M anagem en t P ro toco l A P I ”(XM P 和“O S I A b stract D ata M an i p u lati on A P I ”(XOM ,OM G (Op en M anagem en t Group 的“Comm on O b jectR equest B roker A rch itectu re ”(CORBA .

19、為了協(xié)調(diào)工作,NM Fo rum 制訂了OM N IPo in t (Op en M anagem en t In teroperab ility Po in t 計劃.它由一系列標(biāo)準(zhǔn)、標(biāo)準(zhǔn)的實現(xiàn)說明、標(biāo)準(zhǔn)的測試方法及工具對象庫構(gòu)成,目的是開發(fā)具有互操作性的系統(tǒng)及應(yīng)用7,8.(6RA CERA CE 是歐共體為促進(jìn)歐州先進(jìn)通信技術(shù)的發(fā)展而設(shè)立的.RA CE 的目標(biāo)是在1995年前向歐共體引入I BC (In tegrated B roadband Comm un icati on .為實現(xiàn)這一目標(biāo),BA CE 設(shè)立了上百個不同的工程,不同工程都針對了I BC 的某些方面,有些甚至涉及了I BC

20、 的所有領(lǐng)域.BA CE 受電信工業(yè)及運營工司的控制,因此的研究基于和的工作.5444期王繼龍等:大規(guī)模計算機互聯(lián)網(wǎng)絡(luò)性能監(jiān)控模型的設(shè)計與實現(xiàn)結(jié)論:通過以上分析我們看到,當(dāng)前主要的網(wǎng)管標(biāo)準(zhǔn)和協(xié)議都源于ISO 的思想和定義.ISO 主要開發(fā)概念性的標(biāo)準(zhǔn),由于ISO O S I 網(wǎng)絡(luò)體系結(jié)構(gòu)標(biāo)準(zhǔn)沒有相應(yīng)的物理實現(xiàn),基于O S I 的網(wǎng)絡(luò)管理體系結(jié)構(gòu)只能作為開發(fā)實用體系結(jié)構(gòu)的參考.ITU 主要針對電信網(wǎng)絡(luò)開發(fā)標(biāo)準(zhǔn),對于計算機網(wǎng)絡(luò)的管理,ITU 標(biāo)準(zhǔn)中有許多思想可資借鑒,但卻無法作為完整的體系結(jié)構(gòu)解決方案.IET F 是SNM P 的締造者,SNM P 規(guī)定了管理信息交換的體系結(jié)構(gòu)和標(biāo)準(zhǔn),但是相對于整

21、個網(wǎng)絡(luò)性能監(jiān)控體系結(jié)構(gòu)而言,SNM P 僅僅定義了底層標(biāo)準(zhǔn),因而也是不完整的.除此之外,其它一些標(biāo)準(zhǔn)規(guī)范也都各自針對一些局部問題.缺乏透視全局的指導(dǎo)標(biāo)準(zhǔn),是當(dāng)前網(wǎng)絡(luò)性能管理研究偏向于一隅的主要原因.2.2性能監(jiān)控研究的新進(jìn)展In ternet 本身的迅速發(fā)展給性能監(jiān)控帶來許多新的挑戰(zhàn)9.目前,國際上有許多針對性能監(jiān)控問題的研究項目,主要包括第二代In ternet 計劃中的Su rveyo r 工程10、N SF 資助的AM P 工程和N I M I 工程11、W indm ill 工程12等.這些研究項目都著眼于In ternet 應(yīng)用的未來發(fā)展,即對高速率和高服務(wù)質(zhì)量的強調(diào).研究主要集中于

22、兩個方面:主動式性能監(jiān)控和被動式性能監(jiān)控.主動式性能監(jiān)控研究端到端的性能測量和分析優(yōu)化,主要成果有Su rveyo r 軟件系統(tǒng),可以監(jiān)測端到端的單程延遲.被動式性能監(jiān)控即流量分析,主要成果有Co ral OCXm on 13監(jiān)測平臺.雖然近年來學(xué)術(shù)界和工業(yè)界在性能監(jiān)控研究方面取得了豐碩的成果,生產(chǎn)了豐富的工具軟件14,我們?nèi)匀豢梢钥吹皆S多顯著的問題.如一直以來人們的注意力很少放在對性能監(jiān)控的系統(tǒng)性研究上,因而盡管在許多具體技術(shù)上有較好的解決方案,卻不能有效的組織和協(xié)作,從而在整體上發(fā)揮應(yīng)有的效力.解決這一問題的愿望正是我們設(shè)計L IPM 模型的主要動力.3L IP M 模型概述L IPM (

23、large scale In ternet p erfo r m ance m on ito r m odel 模型是網(wǎng)絡(luò)性能監(jiān)控的一個整體解決方案.它借鑒了ISO 的層次結(jié)構(gòu)思想,融匯了TM N 在對象管理方面的方法,補充了當(dāng)前各類體系結(jié)構(gòu)方案所不具備的關(guān)于數(shù)據(jù)分析和數(shù)據(jù)表示功能的定義.如圖2所示,L IPM 分為4個層次,分別為數(shù)據(jù)采集層、數(shù)據(jù)管理層、數(shù)據(jù)分析層和數(shù)據(jù)表示層.各個層次核心線索是數(shù)據(jù).其功能定義如以下各節(jié)所述 .圖2模型示意圖3.1數(shù)據(jù)采集層數(shù)據(jù)采集功能包括主動式數(shù)據(jù)采集和被動式數(shù)據(jù)采集.主動式數(shù)據(jù)采集直接針對特定的性能問題,目的性很強.如通過追蹤數(shù)據(jù)包來了解路由狀況;通過收

24、發(fā)I C M P 包來測算端到端的延遲.被動式數(shù)據(jù)采集監(jiān)聽網(wǎng)絡(luò)流量.監(jiān)聽功能通過軟件或硬件探針來實現(xiàn).被動式數(shù)據(jù)采集積累大量的網(wǎng)絡(luò)644計算機研究與發(fā)展2000年流量數(shù)據(jù),通過對這些數(shù)據(jù)的分析,可以了解各個時段內(nèi)網(wǎng)絡(luò)的運行效率.如:帶寬利用率;網(wǎng)管信息對帶寬的消耗;垃圾流量的大小;路由信息量;ftp ,www ,em ail 等各類應(yīng)用在通信量上的比例關(guān)系.3.2數(shù)據(jù)管理層數(shù)據(jù)管理功能包括基本數(shù)據(jù)管理和事件管理.基本數(shù)據(jù)管理功能包括數(shù)據(jù)的存儲管理和數(shù)據(jù)的格式化.性能監(jiān)控信息的數(shù)據(jù)量非常之大,以被動式數(shù)據(jù)采集為例,網(wǎng)絡(luò)的流量信息是每秒遞增的,因此對數(shù)據(jù)存儲管理提出較高的要求.數(shù)據(jù)格式化的主要目的

25、是便于數(shù)據(jù)分析,同時對數(shù)據(jù)進(jìn)行一定程度的壓縮.事件管理的功能是根據(jù)預(yù)先的定義和當(dāng)前采集到的數(shù)據(jù)生成性能事件.提供事件管理機制的主要目的是提高對一些嚴(yán)重性能問題的反應(yīng)的實時性.數(shù)據(jù)采集、管理與數(shù)據(jù)分析之間是一種松耦合關(guān)系,數(shù)據(jù)分析功能的執(zhí)行通常由人員控制,或者通過定時機制周期性地進(jìn)行.由此產(chǎn)生了一個問題,即從性能問題發(fā)生到得到處理要經(jīng)過一段延遲,對于一些嚴(yán)重的性能問題而言,這個延遲可能是無法接受的.事件機制可以主動發(fā)現(xiàn)和提交問題,因而彌補了這一弱點.3.3數(shù)據(jù)分析層數(shù)據(jù)分析包括兩層含義,一是對基礎(chǔ)數(shù)據(jù)的分析,二是對事件的分析.基礎(chǔ)數(shù)據(jù)分析包括3方面功能:基本統(tǒng)計功能.如按線路、路由器端口、網(wǎng)絡(luò)或

26、自治域統(tǒng)計流量,按應(yīng)用類型統(tǒng)計流量分布;性能趨勢預(yù)測.按照一些數(shù)學(xué)模型,如時間序列預(yù)測、回歸分析、概率預(yù)測、判斷預(yù)測技術(shù).最優(yōu)分割預(yù)測,判斷分析預(yù)測等,對基礎(chǔ)數(shù)據(jù)做進(jìn)一步加工處理,作為網(wǎng)絡(luò)規(guī)劃的參考;數(shù)據(jù)關(guān)聯(lián)分析.利用數(shù)據(jù)挖掘技術(shù)對基礎(chǔ)數(shù)據(jù)進(jìn)行旋轉(zhuǎn)、關(guān)聯(lián),發(fā)現(xiàn)潛在的問題.事件分析主要根據(jù)特定的原則進(jìn)行事件過濾,并決策適當(dāng)?shù)奶幚矸绞?事件按緊急程度劃分為不同的優(yōu)先級,優(yōu)先級高的事件優(yōu)先響應(yīng).對于由同一問題引發(fā)的連鎖事件,應(yīng)盡量歸并.對于不同來源的事件應(yīng)盡量關(guān)聯(lián).3.4數(shù)據(jù)表示層數(shù)據(jù)表示層的功能是提交性能監(jiān)控的結(jié)果,包括數(shù)據(jù)分析結(jié)果和事件處理結(jié)果.數(shù)據(jù)分析結(jié)果有兩種提交形式:統(tǒng)計報表和可視化.其中

27、可視化的結(jié)果相對而言是一種更加直觀的形式,它將符號轉(zhuǎn)換成幾何,使研究者能觀察到他們的研究工作.它變不可見為可見,豐富了科學(xué)發(fā)現(xiàn)的途徑,給予人們意想不到的啟示.事件處理結(jié)果視具體情況可以有3種方式:告警、分發(fā)和日志.告警方式主要適用于特別緊急,需要馬上處理的事件.告警手段可以是在值班人員的終端上彈出告警窗口、發(fā)出警鈴聲、自動尋呼等.分發(fā)方式針對于一些與其它管理域相關(guān)的事件.如與失效管理或配置管理相關(guān)的事件.在此,管理域指網(wǎng)絡(luò)管理的五大功能,即性能管理、失效管理、配置管理、計費管理、安全管理.日志方式適合于優(yōu)先級較低的事件,對這些事件可以不必立即處理,而是以故障卡片的形式保存起來,網(wǎng)絡(luò)管理人員任何

28、時刻都可以通過查詢故障卡片來了解有哪些事件尚未處理.4L IP M 模型的實現(xiàn)要點及應(yīng)用實例以下各小節(jié)按數(shù)據(jù)采集、數(shù)據(jù)管理、數(shù)據(jù)分析和數(shù)據(jù)表示4個方面來概括L IPM 模型的實現(xiàn)要點,用單獨一節(jié)來描述基于事件驅(qū)動的性能監(jiān)控.同時,以CERN ET 性能管理工程的實踐為背景,介紹L IPM 模型的實際應(yīng)用情況.4.1數(shù)據(jù)采集數(shù)據(jù)采集是實現(xiàn)性能監(jiān)控的前提.數(shù)據(jù)采集的兩個要素是數(shù)據(jù)采集方案的選擇和數(shù)據(jù)采集系統(tǒng)的結(jié)構(gòu)設(shè)計.4.1.1數(shù)據(jù)采集方案數(shù)據(jù)采集方案通常有以下幾類:(1基于SNM P 協(xié)議的數(shù)據(jù)采集是為管理設(shè)計的信息交換協(xié)議.由一系列15,16文檔定義.SNM P 協(xié)議簡單7444期王繼龍等:大

29、規(guī)模計算機互聯(lián)網(wǎng)絡(luò)性能監(jiān)控模型的設(shè)計與實現(xiàn)而易于實現(xiàn),以UD P數(shù)據(jù)包在管理者與被管對象間傳遞數(shù)據(jù),是目前使用最廣的網(wǎng)管協(xié)議,許多優(yōu)秀的商品化網(wǎng)管軟件都基于SNM P來設(shè)計,如H P的OpenV iew,T ri o l的N etV iew.標(biāo)準(zhǔn)SNM P協(xié)議的缺點是處理結(jié)構(gòu)化數(shù)據(jù)的能力較弱,對協(xié)議分析和流量分析所需的詳細(xì)數(shù)據(jù)無能為力.但SNM P是一個不斷發(fā)展完善的網(wǎng)絡(luò)管理標(biāo)準(zhǔn),投入應(yīng)用的SNM P協(xié)議已經(jīng)有兩個版本:SNM Pv1和SNM Pv2.SNM Pv2在功能上較SNM Pv1有較大改進(jìn).IET F目前正在制定新的SNM P版本SNM Pv317.SNM Pv3的目標(biāo)是進(jìn)一步增強管

30、理的范圍而同時保持配置和實現(xiàn)的簡易性.由于受到眾多網(wǎng)絡(luò)設(shè)備廠商的支持,SNM P成為網(wǎng)絡(luò)管理事實上的工業(yè)標(biāo)準(zhǔn).幾乎所有智能網(wǎng)絡(luò)設(shè)備都可以通過SNM P來管理.(2基于SNM P2RM ON的數(shù)據(jù)采集RM ON其實是一種特殊的SNM P M I B.M I B(m anagem en t info r m ati on base是SNM P中的一個重要概念.它描述被管設(shè)備所能提供的管理信息.不同的網(wǎng)絡(luò)設(shè)備往往都聲明了各自獨特的M I B定義.標(biāo)準(zhǔn)的SNM P M I B通常只支持對網(wǎng)絡(luò)設(shè)備的一般性管理,RM ON則定義了從網(wǎng)絡(luò)體系結(jié)構(gòu)的各個層次來管理一個網(wǎng)絡(luò)所需要的信息.通過訪問RM ON設(shè)備,

31、我們可以獲得更多的網(wǎng)絡(luò)管理信息.(3基于代理軟件(agen t代理軟件是運行在被管設(shè)備上收集數(shù)據(jù)的一類特殊軟件.網(wǎng)管系統(tǒng)通過與代理軟件的交互獲取需要的設(shè)備狀態(tài)數(shù)據(jù).事實上,網(wǎng)絡(luò)設(shè)備上的SNM P實現(xiàn)就是代理軟件,只不過它由設(shè)備廠商來實現(xiàn),支持一般性的網(wǎng)管任務(wù).理想的情況下,代理軟件應(yīng)可以由除設(shè)備廠商外的第3方來實現(xiàn),可以動態(tài)下載到網(wǎng)絡(luò)設(shè)備上執(zhí)行特殊的網(wǎng)管任務(wù).這是“主動式網(wǎng)絡(luò)(active netw o rk”研究的領(lǐng)域之一.(4其他網(wǎng)管協(xié)議理論上,除SNM P外,還可以基于C M IP,HMM P等網(wǎng)管協(xié)議來設(shè)計數(shù)據(jù)采集系統(tǒng).但這樣的方案在當(dāng)前而言并不可行.不是技術(shù)上的原因,而是絕大多數(shù)網(wǎng)絡(luò)

32、設(shè)備只支持SNM P協(xié)議.這是由歷史決定的事實.(5特殊方法以上方案無論優(yōu)劣,都有標(biāo)準(zhǔn)可依,有理論可循.然而,在一些特殊場合下,尤其在這些“標(biāo)準(zhǔn)”的方法不能奏效時,往往需要“非常之舉”.例如,監(jiān)視主干網(wǎng)絡(luò)的詳細(xì)流量幾乎是一個必然的需求,具體的解決方案也很多,但是任何一個方案,如果需要主干網(wǎng)絡(luò)路由器的支持,就會帶來性能上的問題.因為支持網(wǎng)管功能就意味著要消耗設(shè)備的寶貴資源(CPU、內(nèi)存.而各類“標(biāo)準(zhǔn)”方法無一例外地要實現(xiàn)在網(wǎng)絡(luò)設(shè)備上.因此,負(fù)載已經(jīng)很重的前提下,就要采取“非?！狈椒?如用1臺工作站來監(jiān)聽數(shù)據(jù)流.上述方案各具特色,但在實現(xiàn)上或能力上都有各自的局限性.如“方案1”是目前應(yīng)用最廣的形式

33、,一般的網(wǎng)絡(luò)設(shè)備都可以支持SNM P數(shù)據(jù)交換,實現(xiàn)上也較為簡單,但收集數(shù)據(jù)的能力較弱,提供的信息不夠詳盡,對協(xié)議分析和應(yīng)用分析支持不足,在管理大型網(wǎng)絡(luò)時會遇到麻煩.“方案2”利用了RM ON技術(shù)彌補了“方案1”在功能上的一些不足,但要求額外的支持,許多網(wǎng)絡(luò)設(shè)備并不支持RM ON,更新設(shè)備或購置專用RM ON監(jiān)測器是否可行決定了“方案2”的價值;“方案3”功能極強,同時也要求被管設(shè)備具有下載并執(zhí)行代理程序的能力,或在被管設(shè)備同一網(wǎng)段上的Server上運行代理程序,因此適用范圍受到限制;“方案4”的問題也受到應(yīng)用范圍的限制,近年來人們?yōu)榱藦浹aSNM P的功能缺陷,定義了C M IP,HMM P等協(xié)

34、議,由于這些協(xié)議在實現(xiàn)效率上不高,目前沒有受到廣泛支持.“方案5”則是一種場合手段,過多使用會影響系統(tǒng)的開放性和互操作性.因此在具體的數(shù)據(jù)采集方案選擇上,不應(yīng)拘泥于既有的方案,而是采用靈活多變的策略.CERN ET網(wǎng)絡(luò)性能監(jiān)控系統(tǒng)在數(shù)據(jù)采集手段上,以SNM P A P I為主,同時也靈活運用了p ing,telnet, T cl T k expect,fp ing等工具收集,諸如響應(yīng)時間、包丟失率、可連接性、可達(dá)性等SNM P力所不及的信息. 4.1.2數(shù)據(jù)采集系統(tǒng)的設(shè)計數(shù)據(jù)采集系統(tǒng)的設(shè)計是一個軟件工程問題,主要難點在于:(1不同的性能監(jiān)測目的要求不同的數(shù)據(jù)采集能力,難于找出一種手段來滿足所有

35、的需求;(2數(shù)據(jù)采集系統(tǒng)作為一個整體要向上提供統(tǒng)一一致的訪問接口;(3數(shù)據(jù)采集的頻度要滿足性能分析的需要,同時要盡量減少給被管設(shè)備帶來的負(fù)擔(dān)和對網(wǎng)絡(luò)資源的消耗.不難看出,其中前兩點恰好構(gòu)成一對矛盾.如何解決這一矛盾是系統(tǒng)設(shè)計成功與否的關(guān)鍵.CERN ET網(wǎng)絡(luò)性能監(jiān)控系統(tǒng)處理這一系列問題的策略是采用了面向?qū)ο蟮南到y(tǒng)設(shè)計方法.面向?qū)ο蠹夹g(shù)具有多態(tài)性和封裝性,可以有效解決這些問題.對于每個被管設(shè)備或資源,定義一個對象,稱為被管對象.由被管對象代理所有對被管設(shè)備或資源的訪問.如圖3所示. 圖3面向?qū)ο蟮臄?shù)據(jù)采集系統(tǒng)設(shè)計為了構(gòu)造被管對象,定義了“被管對象類”.“被管對象類”是性能指標(biāo)及其訪問方法的集合.

36、利用被管對象隱藏了對具體設(shè)備的訪問.然而被管對象并不是“被管對象類”直接派生的實例.這是因為評價不同設(shè)備或資源所需的性能指標(biāo)不同,例如,對于令牌環(huán)網(wǎng)評價其沖突率是沒有意義的.此外,對不同設(shè)備或資源所采取的數(shù)據(jù)采集方法也可能不同.因此,把“被管對象類”定義為虛類,對于不同類型的被管設(shè)備或資源,派生其子類.所以被管對象是“被管對象類”子類的實例.在數(shù)據(jù)采集頻度的處理上,把數(shù)據(jù)采集任務(wù)按需求特點分為前臺數(shù)據(jù)采集和后臺數(shù)據(jù)采集.分別服務(wù)于隨機的實時監(jiān)測請求和預(yù)先定義的大規(guī)模數(shù)據(jù)采集任務(wù).對于前臺數(shù)據(jù)采集任務(wù),當(dāng)啟動一個實時監(jiān)測程序時執(zhí)行前臺數(shù)據(jù)采集動作,如實時流量監(jiān)測.一般而言其涉及的被管對象較少,被

37、管對象在程序啟動時指定,數(shù)據(jù)采集的目的是為了考察一個或幾個網(wǎng)絡(luò)設(shè)備的狀態(tài).對于后臺數(shù)據(jù)采集任務(wù),由一個專用deam on程序自動完成.定時收集大量網(wǎng)絡(luò)設(shè)備的信息.被管設(shè)備由管理者預(yù)先向系統(tǒng)注冊.4.2數(shù)據(jù)管理性能數(shù)據(jù)的存儲和管理所面臨的主要問題是:(1巨量數(shù)據(jù)的存儲和維護;(2高性能的數(shù)據(jù)檢索和分析處理.為了實現(xiàn)性能分析,需要存儲大量的網(wǎng)絡(luò)運行狀態(tài)數(shù)據(jù).一般的方法是采用數(shù)據(jù)庫技術(shù).利用數(shù)據(jù)庫系統(tǒng)可以較好地解決大量數(shù)據(jù)的維護問題,卻無法克服數(shù)據(jù)快速增長所帶來的檢索性能下降和存儲空間危機.CERN ET網(wǎng)絡(luò)性能監(jiān)控系統(tǒng)采用多級緩存和壓縮技術(shù)較好地解決了這一難題.數(shù)據(jù)的存儲有基于文件和基于數(shù)據(jù)庫兩種

38、方式.采用基于文件的方式可以獲得較高的存儲效率和存取數(shù)據(jù)的速度,對于中小規(guī)模數(shù)據(jù)要求的應(yīng)用是合適的.但由于在數(shù)據(jù)文件中不利于表示數(shù)據(jù)之間的關(guān)系及復(fù)雜的結(jié)構(gòu),難以實現(xiàn)對數(shù)據(jù)的完整性控制,因而不利于數(shù)據(jù)規(guī)模大、類型混雜的應(yīng)用程序?qū)崿F(xiàn).主要表現(xiàn)在數(shù)據(jù)的增、刪、改和查詢等方面低效,維護困難,需自行開發(fā)數(shù)據(jù)維護工具.此外,專用格式的數(shù)據(jù)文件不利于數(shù)據(jù)共享和采用第3方數(shù)據(jù)處理工具.采用基于數(shù)據(jù)庫的存儲方式有許多優(yōu)點,首先,有成熟的技術(shù),各種數(shù)據(jù)庫系統(tǒng)都提供了數(shù)據(jù)庫操作、維護的工具,使用方便,可靠性強,使得許多在文件系統(tǒng)中需要開發(fā)人員完成的工作,都可由數(shù)據(jù)庫系統(tǒng)高效地實現(xiàn),極大減輕了開發(fā)人員的工作量;其二,

39、有利于數(shù)據(jù)共享,數(shù)據(jù)庫系統(tǒng)提供了標(biāo)準(zhǔn)的SQL語言屏蔽了數(shù)據(jù)存儲的具體方式,使得不同應(yīng)用軟件可以用相同的A P I存取同一組數(shù)據(jù),且可保證數(shù)據(jù)的一致性.數(shù)據(jù)庫存取方案的不足之處在于數(shù)據(jù)存儲的速度方面,頻繁的數(shù)據(jù)庫操作將影響系統(tǒng)的性能.通過以上分析,我們設(shè)計存儲策略時,針對具體應(yīng)用的性質(zhì),綜合考慮效率、性能等因素,靈活選擇或綜合運用不同策略:對小應(yīng)用程序臨時使用的數(shù)據(jù),如實時流量數(shù)據(jù),存放于二進(jìn)制數(shù)據(jù)文件中;對類似于歷史數(shù)據(jù)這樣需要保留的大規(guī)模數(shù)據(jù),則求助于數(shù)據(jù)庫系統(tǒng).但創(chuàng)建一個二進(jìn)制數(shù)據(jù)文件作為存儲緩沖,從數(shù)據(jù)文件到數(shù)據(jù)庫的轉(zhuǎn)換定期批量進(jìn)行,以緩解數(shù)據(jù)庫操作的低效性對網(wǎng)管服務(wù)器性能的影響;進(jìn)行必

40、要的數(shù)據(jù)壓縮處理.對數(shù)據(jù)按不同的時間段進(jìn)行壓縮,同時計算出一些基本的性能指標(biāo).數(shù)據(jù)壓縮的主要依據(jù)是:當(dāng)按不同的時間間隔考察性能發(fā)展趨勢時,所需數(shù)據(jù)采樣的粒度不同,例如我們需要至少5m in的數(shù)據(jù)采樣來畫出一天的性能走勢圖,而對于一周,我們則只需要30m in的采樣就足夠了.數(shù)據(jù)預(yù)處理的實現(xiàn)正是基于這一事實.為了更加客觀反映網(wǎng)絡(luò)性能,每一個數(shù)據(jù)采樣取了該段時間所有數(shù)據(jù)的平均值,而不是采樣一個點的數(shù)據(jù).在數(shù)據(jù)壓縮的同時,計算出極值、平均值等性能指標(biāo)更加提高了系統(tǒng)效率.通過數(shù)據(jù)預(yù)處理,使系統(tǒng)的平均響應(yīng)速度和效率提高了至少1個數(shù)量級:(1+6+24+288 4=80倍.在此強調(diào)的一個問題是對稀疏(sp

41、arse類型數(shù)據(jù)的特殊處理.稀疏類型的數(shù)據(jù)主要指誤碼率這樣的數(shù)據(jù),這些數(shù)據(jù)的值在通常情況下(無故障均為零,因此,對于稀疏數(shù)據(jù)類型,如果只記錄少數(shù)的非零值將極大提高數(shù)據(jù)管理的效率.4.3數(shù)據(jù)分析網(wǎng)絡(luò)性能監(jiān)控系統(tǒng)應(yīng)該提供強有力的性能分析能力.然而一個不爭的事實是,系統(tǒng)設(shè)計者很難全面考慮實際應(yīng)用中所能遇到的各種需求.即使像N etV iew,OpenV iew這樣優(yōu)秀的網(wǎng)管平臺對于數(shù)據(jù)分析也僅提供了有限的支持.因此,管理者出于特定的性能分析需求,常常需要自行設(shè)計分析程序.而要自行設(shè)計數(shù)據(jù)處理的應(yīng)用程序,就必須首先了解底層數(shù)據(jù)組織的細(xì)節(jié),帶來很大的不便,且一些產(chǎn)品常常出于技術(shù)保密的考慮,對具體的數(shù)據(jù)組

42、織細(xì)節(jié)未作說明,更帶來了難度.因此數(shù)據(jù)分析的關(guān)鍵并不是具體的數(shù)據(jù)分析技術(shù),而是數(shù)據(jù)分析機制的開放性.CERN ET性能監(jiān)控系統(tǒng)在數(shù)據(jù)分析方面的開放性是通過提供數(shù)據(jù)掃描器(scanner類庫來實現(xiàn)的.數(shù)據(jù)掃描器的功能是把數(shù)據(jù)按特定要求格式化,用以生成報告或作圖形顯示.掃描器的輸入?yún)?shù)是被管對象集合和對每個對象要提取的屬性.表1所列的例子是一些基本的數(shù)據(jù)掃描器的類功能定義及繼承關(guān)系.表1Scanner定義基本的固定數(shù)據(jù)掃描行為HomoScanner Scanner的子類,從每個被管對象中收集相同的信息Si m p leScanner HomoScanner的子類,可對收集的信息格式化Statist

43、icScanner HomoScanner的子類,可以在被管對象上執(zhí)行計算操作M eanScanner StatisticScanner的子類,在一組被管對象上計算一個或多個屬性的平均值V arianceScanner M eanScanner的子類,計算一個或多個被管對象屬性的平均變化情況M in2M axScanner StatisticScanner的子類,計算一組被管對象屬性的最小 最大值通過數(shù)據(jù)掃描器,消除了數(shù)據(jù)分析對數(shù)據(jù)管理細(xì)節(jié)的依賴.4.4數(shù)據(jù)表示數(shù)據(jù)表示是性能監(jiān)控功能的體現(xiàn).數(shù)據(jù)表示的兩個要點是統(tǒng)計報表設(shè)計和數(shù)據(jù)可視化.統(tǒng)計報表設(shè)計即如何實現(xiàn)簡練、直觀、準(zhǔn)確.數(shù)據(jù)可視化是一種計

44、算技術(shù),包含圖像理解與圖像綜合,它是由復(fù)雜的多元時變數(shù)據(jù)集產(chǎn)生圖像的工具和理解復(fù)雜現(xiàn)象和大規(guī)模數(shù)據(jù)的重要工具.在可視化工作中必須解決兩個基本問題.首先,必須抽象出目標(biāo)系統(tǒng)的可視化模型;其次,在模型建立之后,找出描繪這個模型的適當(dāng)方案.性能監(jiān)控數(shù)據(jù)可視化的難點恰恰在于,我們很難抽象出可視化對象的物理模型,例如,路由信息的表示.而且,即使我們能夠抽象出一個模型,這個模型也很難給我們一個直觀感受.因為,一個物理特性通常只對應(yīng)一類實物,而一個計算機領(lǐng)域的設(shè)計則可以對應(yīng)許多不同的實現(xiàn),所以,某一可視化模型可能符合某一些人的想法,但卻與其他人的想法完全不一致.因此數(shù)據(jù)表示與其說是一個技術(shù)問題,不如說是一個

45、藝術(shù)問題. 4.5基于事件驅(qū)動的性能監(jiān)控前面幾小節(jié)針對基礎(chǔ)數(shù)據(jù)討論了采集、管理、分析和表示等問題.本節(jié)集中探討基于事件驅(qū)動的性能監(jiān)控技術(shù).從控制行為特點上,性能監(jiān)控可分為主動式性能監(jiān)控和被動式性能監(jiān)控.前面幾節(jié)敘述的都是與主動式性能監(jiān)控相關(guān)的技術(shù).即為排除某一性能故障或評價、預(yù)測網(wǎng)絡(luò)的性能而主動收集網(wǎng)絡(luò)的運行狀態(tài)數(shù)據(jù),進(jìn)行分析、整理,對網(wǎng)絡(luò)性能狀況的把握和優(yōu)化提供支持.主動式性能監(jiān)控的特點是:數(shù)據(jù)采集或數(shù)據(jù)分析任務(wù)之間都存在一定的時間間隔.這是由于數(shù)據(jù)采集和數(shù)據(jù)分析本身都要消耗一定的網(wǎng)絡(luò)資源,因而頻度必須在一個合理的范圍內(nèi).但是這就帶來一個問題:欠缺對于嚴(yán)重性能問題的實時反應(yīng)能力.被動式性能監(jiān)

46、控,即基于事件驅(qū)動的性能監(jiān)控恰恰彌補了這一不足.管理者列舉所有可能出現(xiàn)的需要處理的情況,定義為事件,而由被管對象來通知某一事件的發(fā)生.基于事件驅(qū)動的性能監(jiān)控的關(guān)鍵是事件的定義.一般的智能網(wǎng)絡(luò)設(shè)備都提供了一定的失效管理方面的事件告警能力,如通斷.如果要求網(wǎng)絡(luò)設(shè)備來提供性能事件告警,通常而言過于苛刻,因為性能的優(yōu)劣畢竟是相對的,不同情況下的判斷標(biāo)準(zhǔn)有很大差異,因此,實際工作中要求IT人員自己來定義性能事件.CERN ET性能監(jiān)控系統(tǒng)利用閾值來控制事件的生成.由于絕大多數(shù)網(wǎng)絡(luò)性能參數(shù)都體現(xiàn)為一個數(shù)值,因此設(shè)置閾值是定義性能事件的一個非常有效的手段.圖4是CERN ET性能監(jiān)控系統(tǒng)基于閾值的事件告警機

47、制示意圖.其中事件過濾器的作用是對事件按類型和優(yōu)先級分類,以便突出需要緊急處理的事件. 圖4基于閾值控制的事件告警機制5模型特色L IPM是一個層次模型,具有以下優(yōu)點:(1各層功能相對獨立.一個層次并不依賴底層的實現(xiàn)細(xì)節(jié),僅需了解層間接口所提供的服務(wù).(2結(jié)構(gòu)上易于分隔.各層都可以采用最合適的技術(shù)來實現(xiàn).如文中所述,在各個層次的功能實現(xiàn)上都有多種解決方案.(3易于實現(xiàn)和維護.這種結(jié)構(gòu)使得一個龐大而又復(fù)雜系統(tǒng)的實現(xiàn)和調(diào)試變得易于處理.(4具有較好的開放性.任何一層發(fā)生變化時,只要接口關(guān)系保持不變,不會影響上下層的運行.層次模型的缺點是各層功能通過數(shù)據(jù)關(guān)聯(lián)實現(xiàn)松耦合,一個完整性能監(jiān)控流程在各層之間

48、的延遲不可預(yù)測,無法適應(yīng)實時性要求強的性能監(jiān)控需求.針對實時性問題,L IPM提供了基于事件驅(qū)動的性能監(jiān)控機制.L IPM在功能定義上比較全面地考慮了性能監(jiān)控的各種可能的需求,實現(xiàn)的開銷較大,運行效率也受到影響,因此主要適用于規(guī)模較大、結(jié)構(gòu)復(fù)雜、對性能管理要求高的大型計算機信息網(wǎng)絡(luò).參考文獻(xiàn)1ISO D IS1016521.Info r m ati on p rocessing system sOpen system s interconnecti onStructure of m anagem ent info r m ati onPart 1:M anagem ent info r m a

49、ti on model,19932ISO TC97 SC21N1388.P ropo sal fo r further considerati on of the O S I m anagem ent arch itecture,19863CC IT T.R ecomm endati on M.3010,P rinci p les fo r a telecomm unicati ons m anagem ent netwo rk,19924Em bry J,M anson P,M ilham D.A n open netwo rk m anagem ent arch itecture:O S

50、I NM fo rum arch itecture and concep ts.IEEE N etwo rk M agazine,1990,4(7:14225Em bry J,M anson P,M ilham D.Interoperable netwo rk m anagem ent:O S I NM fo rum arch itecture and concep ts.In:P roc of the IF IP TC6 W G616Second Internati onal Sympo sium on Integrated N etwo rk M anagem ent.Am sterdam

51、:N o rth2Ho lland,1991.29446A utrata M,Strutt C.DM E F ram ewo rk and D esign,N etwo rk and D istributed System s M anagem ent.Chap ter23.R eading,M A:A ddison2W esley,19947M urrill B.OM N IPo int:A n i m p lem entati on guide to integrated netwo rked info r m ati on system s m anagem ent.In:P roc o

52、f the IF IP TC6 W G6.6T h ird Internati onal Sympo sium on Integrated N etwo rk M anagem ent.Am sterdam:N o rth2Ho lland,1993.4054188N etwo rk M anagem ent Fo rum.D iscovering Om ni po intA Common A pp roach to the Integrated M anagem ent of N etwo rked Info r m ati on System s,1993.h ttp: www.nm t.

53、o rg9C laffy K,M onk T.W hats next fo r internet data analysis.Status and challenges facing the comm unity.P roceedings of the IEEE,1997, 85(10:1563157110Kalidindi S,M atthew J Z.Surveyo r:A n infrastructure fo r Internet perfo r m ance m easurem ents.h ttp: www.isoc.o rg inet9911Paxson V,M ahdavi J

54、,A dam s A et a l.A n arch itecture fo r large2scale Internet m easurem ent.IEEE Comm unicati ons,1998,36(8:48 5412L eizao la M S.T uning IP perfo r m ance:T he righ t too ls fo r the task.D ata Comm unicati ons,1998,27(7:12913013A p isdo rf J,C laffy K,T homp son K et a l.OC3mon:F lexible,affo rdable,h igh2perfo r m ance statistics co llecti on.h ttp: www.isoc.o rg inet9714M alan G R,Jahanian F.A n extensible p robe arch itecture fo r netwo rk p ro toco l perfo r m ance m easurem ent.A CM Computer Comm unicati on R eview,1998,28(4:21521715Case J D,Fedo r M,Schoffstall M L et a l.