一種網(wǎng)絡(luò)流量監(jiān)控系統(tǒng)的設(shè)計(jì)方案

1、一種網(wǎng)絡(luò)流量監(jiān)控系統(tǒng)的設(shè)計(jì)方案1 引言隨著武警部隊(duì)指揮信息網(wǎng)的建設(shè)，網(wǎng)絡(luò)結(jié)構(gòu)日趨復(fù)雜，各種網(wǎng)絡(luò)業(yè)務(wù)也迅猛發(fā)展，對(duì)網(wǎng)絡(luò)的可靠性與可用性的依賴(lài)程度也越來(lái)越高，微小的網(wǎng)絡(luò)流量變化都可能對(duì)網(wǎng)絡(luò)關(guān)鍵應(yīng)用造成重大的影響。因此，網(wǎng)絡(luò)的流量分析尤顯重要，直接分析網(wǎng)絡(luò)實(shí)時(shí)流量，將具有非常重要的意義。它可以直接指導(dǎo)網(wǎng)絡(luò)管理員分析網(wǎng)絡(luò)應(yīng)用、規(guī)劃流量；對(duì)網(wǎng)絡(luò)以及網(wǎng)絡(luò)所承載的各類(lèi)業(yè)務(wù)進(jìn)行及時(shí)、準(zhǔn)確地流量和流向分析，進(jìn)而挖掘網(wǎng)絡(luò)資源潛力；提供立即的安全審計(jì)，病毒預(yù)警等功能；并為網(wǎng)絡(luò)規(guī)劃、優(yōu)化調(diào)整和業(yè)務(wù)發(fā)展提供基礎(chǔ)依據(jù)。網(wǎng)絡(luò)監(jiān)控的基本手段是簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議（SNMP），它很好地滿(mǎn)足了網(wǎng)元性能監(jiān)控需要，但在流量方面，只能提供

2、粗糙、簡(jiǎn)略的流量統(tǒng)計(jì)資料。網(wǎng)絡(luò)探針（sniffer）或是類(lèi)似的監(jiān)聽(tīng)工具可以彌補(bǔ)SNMP的缺陷，但它的問(wèn)題是數(shù)據(jù)龐大，對(duì)CPU、內(nèi)存等資源消耗過(guò)大，難以適應(yīng)高速網(wǎng)絡(luò)的要求。Cisco公司于1996年開(kāi)發(fā)的NetFlow技術(shù)，現(xiàn)在有很多路由器支持，它利用路由器上提供高層的IP流量統(tǒng)計(jì)信息，其特性是通?；谲浖軜?gòu)，對(duì)主機(jī)間流量的描述精確性接近100%，但問(wèn)題是當(dāng)數(shù)據(jù)包流量很大時(shí)，可能會(huì)給采集器帶來(lái)負(fù)擔(dān)。sFlow（RFC 3176）是基于標(biāo)準(zhǔn)的最新網(wǎng)絡(luò)導(dǎo)出協(xié)議，能夠解決當(dāng)前網(wǎng)絡(luò)管理人員面臨的很多問(wèn)題?？梢詫Flow技術(shù)嵌入到網(wǎng)絡(luò)路由器和交換機(jī)ASIC芯片中。與使用鏡像端口、探針和旁路監(jiān)測(cè)技術(shù)的傳

3、統(tǒng)網(wǎng)絡(luò)監(jiān)視解決方案相比，sFlow能夠明顯地降低實(shí)施費(fèi)用，同時(shí)可以使面向每一個(gè)端口的全網(wǎng)絡(luò)監(jiān)視解決方案成為可能，其不足是對(duì)網(wǎng)絡(luò)傳輸流的描述不如NetFlow精確。本方案采用NetFlow與MRTG相結(jié)合的方式，構(gòu)建一個(gè)多層次的網(wǎng)絡(luò)流量監(jiān)控系統(tǒng)。2 系統(tǒng)結(jié)構(gòu)及功能基于Web方式的網(wǎng)絡(luò)流量監(jiān)控系統(tǒng)結(jié)構(gòu)如圖2.1所示。按功能分為三層：設(shè)備層、數(shù)據(jù)處理層、Web管理層，用戶(hù)可以通過(guò)Web進(jìn)行網(wǎng)絡(luò)信息查詢(xún)和管理。該網(wǎng)絡(luò)流量監(jiān)控系統(tǒng)支持以圖形方式或數(shù)據(jù)表提供實(shí)時(shí)數(shù)據(jù)流分析。在數(shù)據(jù)源上，系統(tǒng)支持通過(guò)設(shè)定數(shù)據(jù)流特征，在海量數(shù)據(jù)中實(shí)時(shí)濾取特定數(shù)據(jù)流，數(shù)據(jù)特征可以是：1、流出或流入指定設(shè)備端口的數(shù)據(jù)。2、源或目的

4、IP地址指定的數(shù)據(jù)（IP地址、地址范圍或網(wǎng)段）。3、IP包內(nèi)高層協(xié)議指定的數(shù)據(jù)。4、TCP / UDP / RIP / OSPF等等。5、指定高層協(xié)議端口的數(shù)據(jù)。6、Telnet / Http / ICMP / Smtp / Ftp /NetBIOS / SMB等等。7、指定數(shù)據(jù)包大小的數(shù)據(jù)。8、在數(shù)據(jù)的圖形輸出上，系統(tǒng)支持按時(shí)間展開(kāi)數(shù)據(jù)流，或按TopN排序方式展示各數(shù)據(jù)分量的即時(shí)比特流、幀流量。9、在數(shù)據(jù)的表格輸出方式上支持將某時(shí)刻原始數(shù)據(jù)進(jìn)行全面展示，允許在原始數(shù)據(jù)基礎(chǔ)上進(jìn)行排序、歸類(lèi)、過(guò)濾等分析操作。10、系統(tǒng)保留所有原始數(shù)據(jù)以供事后分析，避免了異常事件轉(zhuǎn)瞬即逝的困境，可以進(jìn)行“數(shù)據(jù)回放

5、”分析。SNMP AGENTMIB設(shè)備層NetFlow Cisco數(shù)據(jù)處理層定期采集數(shù)據(jù)過(guò)濾數(shù)據(jù)歸并Web管理層網(wǎng)絡(luò)狀態(tài)流量分析業(yè)務(wù)統(tǒng)計(jì)內(nèi)部IP地址異常報(bào)警圖形繪制TXT或Oracle數(shù)據(jù)庫(kù)圖2.1 網(wǎng)絡(luò)流量監(jiān)控系統(tǒng)模型該系統(tǒng)支持事件的預(yù)警處理，通過(guò)事前定義數(shù)據(jù)濾取規(guī)則，即時(shí)數(shù)據(jù)門(mén)限，在指定的時(shí)間段中，系統(tǒng)不斷地實(shí)時(shí)監(jiān)測(cè)原始數(shù)據(jù)流，分析數(shù)據(jù)流，一旦數(shù)據(jù)門(mén)限被觸發(fā)，系統(tǒng)將提出事件告警，以明確的信息一方面進(jìn)行屏幕提示，另一方面將警示信息用郵件發(fā)送到引發(fā)事件的數(shù)據(jù)源處或網(wǎng)絡(luò)管理員處。3 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)網(wǎng)絡(luò)流量監(jiān)控系統(tǒng)分兩部分監(jiān)測(cè)網(wǎng)絡(luò)，并將監(jiān)測(cè)數(shù)據(jù)送到監(jiān)控器進(jìn)行處理和圖形顯示（如圖3.1所示）：1、

6、利用MRTG工具監(jiān)測(cè)內(nèi)網(wǎng)服務(wù)器的流量。2、 利用內(nèi)部、邊界路由器的NetFlow技術(shù)，實(shí)現(xiàn)內(nèi)、外網(wǎng)流量監(jiān)控。圖3.1 網(wǎng)絡(luò)流量監(jiān)控過(guò)程3.1 MRTG在流量監(jiān)測(cè)中的應(yīng)用MRTG（Multi Router Traffic Grapher）是一個(gè)跨平臺(tái)的監(jiān)控網(wǎng)絡(luò)鏈路流量負(fù)載的工具軟件，它利用SNMP協(xié)議從設(shè)備取得流量統(tǒng)計(jì)數(shù)據(jù)。MRTG利用的是UDP協(xié)議的161端口，該端口被設(shè)備代理監(jiān)聽(tīng)，等待接受管理者進(jìn)程發(fā)送的管理信息查詢(xún)請(qǐng)求消息。MRTG通過(guò)MIB管理信息庫(kù)取回被監(jiān)視設(shè)備的輸入或輸出流量值信息（如圖2.1）。經(jīng)計(jì)算后寫(xiě)入內(nèi)部的日志文件，并生成反映流量情況的GIF / PNG曲線圖及包含流量圖的H

7、TML頁(yè)面。由于MRTG可以監(jiān)控任意支持SNMP的網(wǎng)絡(luò)設(shè)備，因此使用該工具可以方便地查明設(shè)備和網(wǎng)絡(luò)的性能問(wèn)題，另外MRTG還可監(jiān)視主要服務(wù)器CPU、DNS、IIS6.0的工作情況.根據(jù)日志或圖表，還可以幫助進(jìn)行預(yù)測(cè)網(wǎng)絡(luò)。可以預(yù)測(cè)網(wǎng)絡(luò)使用的峰值，從而避免網(wǎng)絡(luò)飽和可能帶來(lái)的低性能。另外，還可以用來(lái)判定使用率高的時(shí)間。知道了這一點(diǎn)，就可以把大量數(shù)據(jù)傳送任務(wù)安排在避開(kāi)高峰時(shí)刻的時(shí)間里。通過(guò)數(shù)據(jù)分析還可以得到網(wǎng)絡(luò)應(yīng)用的重要信息，若發(fā)現(xiàn)某端口輸出量長(zhǎng)時(shí)間偏高，可能是局域網(wǎng)內(nèi)建有共享文件或FTP下載。若輸入量偏高，則可配合NetFlow監(jiān)測(cè)軟件進(jìn)一步分析，單純MRTG信息在網(wǎng)絡(luò)流量增加時(shí)不能對(duì)網(wǎng)絡(luò)異常情況準(zhǔn)

8、確定位，因此在核心交換機(jī)或路由器出口可以使用NetFlow進(jìn)行監(jiān)測(cè)。3.2 用NetFlow收集網(wǎng)絡(luò)應(yīng)用情況和TopN統(tǒng)計(jì)NetFlow是Cisco為實(shí)現(xiàn)統(tǒng)計(jì)流量而開(kāi)發(fā)的功能，現(xiàn)在已經(jīng)有很多路由器支持。它可以捕獲網(wǎng)絡(luò)設(shè)備中經(jīng)過(guò)的每一個(gè)IP數(shù)據(jù)包，進(jìn)行解包、顯示和分析各種網(wǎng)絡(luò)數(shù)據(jù)流信息，并定期以UDP數(shù)據(jù)包的形式發(fā)送給流量分析監(jiān)測(cè)器。要在支持NetFlow的路由器或交換機(jī)上實(shí)現(xiàn)NetFlow，首先要在路由器端設(shè)置啟用NetFlow，如路由器命令cisco: ip flow export <IP> <port>。這樣路由器就會(huì)向監(jiān)測(cè)器的2355端口發(fā)送UDP包了。在監(jiān)測(cè)器端

9、需要啟動(dòng)一個(gè)NetFlow的收集程序，可使用flow-tool程序組，其中包含數(shù)種用來(lái)收集及統(tǒng)計(jì)信息的程序。在NetFlow流量信息捕捉并存儲(chǔ)下來(lái)之后，便可根據(jù)其格式及所要統(tǒng)計(jì)的項(xiàng)目進(jìn)行統(tǒng)計(jì)分析。以一天或10分鐘為單位統(tǒng)計(jì)即時(shí)的流量，可針對(duì)網(wǎng)段、協(xié)議、流入/ 流出的IP網(wǎng)段進(jìn)行合計(jì)或TopN統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果記錄到Oracle數(shù)據(jù)庫(kù)中，由Web頁(yè)面提供可視化的分析結(jié)果。針對(duì)NetFlow監(jiān)控?cái)?shù)據(jù)可以實(shí)現(xiàn)自動(dòng)報(bào)警、處理機(jī)制，將NetFlow監(jiān)控軟件設(shè)置在核心交換機(jī)的出口上，可以統(tǒng)計(jì)IP、TCP協(xié)議通信流量，主機(jī)TopN統(tǒng)計(jì)結(jié)果，可以將排在前幾位IP主機(jī)先進(jìn)行隔離，同時(shí)觀察主機(jī)的通信端口來(lái)判斷是否中病毒或在使用BT下載等占用帶寬的服務(wù)，可采用E-MAIL方式通知用戶(hù)，按照具體情況進(jìn)行殺毒或限制其網(wǎng)絡(luò)傳輸速度。4 系統(tǒng)技術(shù)指標(biāo)參數(shù)1、 流量統(tǒng)計(jì)包括：網(wǎng)絡(luò)流量統(tǒng)計(jì)（流量總數(shù)） 、網(wǎng)絡(luò)利用率 、廣播包流量、廣播包占有率 、指定包長(zhǎng)的數(shù)據(jù)包數(shù)量及占有率 、以柱狀圖、餅圖、和表格顯示當(dāng)前流量最高的TopN IP地址、廣播包流量及廣播包占有率、最高的TopN IP地址。2、 協(xié)議分析包括：（1）二層的協(xié)議分布：IP、IPX 、ARP 、NetBEUI協(xié)議的字節(jié)數(shù)、數(shù)據(jù)包數(shù)、及所占百分比數(shù)及產(chǎn)生這些流量的對(duì)應(yīng)MAC地址及占