整理H3C網(wǎng)絡(luò)流量分析解決方案

1、方案背景隨著網(wǎng)絡(luò)的應(yīng)用越來越廣泛,規(guī)模也隨之日漸增長,網(wǎng)絡(luò)中承載的業(yè)務(wù)也越來越豐富.企業(yè)需要及時的了解到網(wǎng)絡(luò)中承載的業(yè)務(wù),及時的掌握網(wǎng)絡(luò)流量特征,以便使網(wǎng)絡(luò)帶寬配置最優(yōu)化,及時解決網(wǎng)絡(luò)性能問題.目前企業(yè)在治理網(wǎng)絡(luò)當(dāng)中普遍遭遇到了如下的問題：1、 網(wǎng)絡(luò)的可視性：網(wǎng)絡(luò)利用率如何什么樣的程序在網(wǎng)絡(luò)中運行主要用戶有哪些網(wǎng)絡(luò)中是否產(chǎn)生異常流量有沒有長期的趨勢數(shù)據(jù)用作網(wǎng)絡(luò)帶寬規(guī)劃2、 應(yīng)用的可視性：當(dāng)前網(wǎng)內(nèi)有哪些應(yīng)用分別產(chǎn)生了多少流量網(wǎng)絡(luò)中應(yīng)用使用的模式是什么企業(yè)內(nèi)部重要應(yīng)用執(zhí)行狀況如何3、 用戶使用網(wǎng)絡(luò)模式的可視性：哪些用戶產(chǎn)生的流量最多哪些效勞器接收的流量最多哪些會話產(chǎn)生了流量分別使用了哪些應(yīng)用從這些

2、企業(yè)治理網(wǎng)絡(luò)中所經(jīng)常遇到的問題來看,需要有一種解決方案能讓網(wǎng)絡(luò)治理人員及時了解到詳細的網(wǎng)絡(luò)使用情形,使網(wǎng)絡(luò)治理人員及時洞察網(wǎng)絡(luò)運行狀況、及時了解網(wǎng)內(nèi)應(yīng)用的執(zhí)行情況.為了應(yīng)對企業(yè)網(wǎng)絡(luò)治理中的這些問題,于是,H3c公司的NTA(NetworkTrafficAnalysis)解決方案應(yīng)運而生！所謂的工欲善其事,必先利其器,NTA解決方案可以幫助網(wǎng)絡(luò)治理人員了解企業(yè)內(nèi)部網(wǎng)絡(luò)之運行狀況,及時發(fā)現(xiàn)并解決網(wǎng)絡(luò)中的性能瓶頸問題、網(wǎng)絡(luò)異?，F(xiàn)象,也能方便用戶進行網(wǎng)絡(luò)優(yōu)化、網(wǎng)絡(luò)設(shè)備投資、網(wǎng)絡(luò)帶寬優(yōu)化等的參考,并方便網(wǎng)絡(luò)治理員及時解決網(wǎng)絡(luò)異常問題.NetStream技術(shù)介紹在理解NetworkTrafficAnaly

3、sis念,它們是該解決方案的根底.解決方案之前,首先需要了解NetStream的一些根本概“流概念NetStream的流定義為：由源到目的方向的一系列單向的數(shù)據(jù)包.NetStream流是通過7元組來標(biāo)識的,即通過接口索引、源IP地址、目的IP地址、源端口號、目的端口號、協(xié)議號和ToS組成的七元組確定一個NetStream流,設(shè)備根據(jù)七元組信息對過往的數(shù)據(jù)包進行NetStream統(tǒng)計.卜圖中就包括四條流:從ClientA到WWWServe防向通信時產(chǎn)生的流;從WWWServedClientA方向通信時產(chǎn)生的流；從ClientB至UFTPServer方向通信時產(chǎn)生的流；從FTPServer到Cli

4、entB方向通信時產(chǎn)生的流；圖1網(wǎng)絡(luò)中流的舉例說明從上例中可以很容易地理解,流是單向的,同時流也是基于協(xié)議的.形象地說,通過NetStream流可以記錄下來網(wǎng)絡(luò)中whowhat、whenwhere、how.NetStream技術(shù)NetStream是H3c公司基于“流的概念,定義了一種用于路由器/交換機輸出網(wǎng)絡(luò)流量的統(tǒng)計數(shù)據(jù)的方法,路由器/交換機對通過其的IP數(shù)據(jù)包進行統(tǒng)計和分析,并上報給網(wǎng)流采集器,網(wǎng)流采集器把搜集的數(shù)據(jù)包及統(tǒng)計數(shù)據(jù)傳送到網(wǎng)流分析器,經(jīng)合并處理后存入數(shù)據(jù)庫,并進行進一步的分析處理.NetStream技術(shù)可利用網(wǎng)絡(luò)中數(shù)據(jù)流創(chuàng)造價值,并可在最大限度減小對路由器/交換機性能影響的前提

5、下提供詳細的數(shù)據(jù)流統(tǒng)計信息.NTA解決方案介紹NTAK統(tǒng)組成NetworkTrafficAnalysis解決方案包括：網(wǎng)流采樣設(shè)備(NetTrafficExporter)、網(wǎng)流流采集設(shè)備(NetTrafficCollector)、數(shù)據(jù)分析處理設(shè)備(NetTrafficProcessor),三個設(shè)備之間的關(guān)系如下列圖所示：圖2NetworkTrafficAnalyze各組成局部的關(guān)系NTE負(fù)責(zé)流量的采集和發(fā)送,NTC設(shè)備負(fù)責(zé)收集和存儲NTE發(fā)來的流量統(tǒng)計數(shù)據(jù)信息；NTP從數(shù)據(jù)庫中獲取收集到的數(shù)據(jù),經(jīng)分析加工后以直觀的圖表、報表等方式為網(wǎng)絡(luò)規(guī)劃、網(wǎng)絡(luò)優(yōu)化、網(wǎng)絡(luò)監(jiān)控、流量趨勢分析、異常檢測等提供直接

6、的數(shù)據(jù)依據(jù).1) NetTrafficExporter提供NetStream技術(shù)接口的網(wǎng)絡(luò)設(shè)備H3c公司的路由器和交換機及華為公司的路由器,負(fù)責(zé)對設(shè)備各個端口進出的網(wǎng)絡(luò)報文進行流分類統(tǒng)計,然后打包輸出.2) NetTrafficCollectorNTC可以采集多個NTE設(shè)備輸出的數(shù)據(jù),對數(shù)據(jù)進行過濾和聚合,并將數(shù)據(jù)存儲在數(shù)據(jù)庫中供分析處理.3) NetTrafficProcessorNTP是一個網(wǎng)絡(luò)流量的分析工具,對采集來的流量數(shù)據(jù)進行分析處理.為便于網(wǎng)絡(luò)治理人員的操作,采用基于亞3彤式訪問,提供直觀的、圖形化的治理界面,所有數(shù)據(jù)輸出都以友好的形式直接在Web頁面中顯示.NTE設(shè)備功能作為支持

7、NetStream的網(wǎng)絡(luò)設(shè)備,首先需要翻開網(wǎng)絡(luò)設(shè)備的偵聽端口,然后配置將NetStream日志要發(fā)送到哪個IP的哪個端口即NTC設(shè)備的監(jiān)聽端口.這樣,設(shè)備就會把NetStream日志以UDPM的形式發(fā)往NTC而NTCW可從偵聽端口源源不斷的接收NetStream日志.NTC設(shè)備功能NetStream日志被NTC備采集到之后,將會做聚合處理,這樣可減少最終存入數(shù)據(jù)庫的的數(shù)據(jù)量,并提升了分析的效率；同時,NTC設(shè)備也會對存入數(shù)據(jù)庫的數(shù)據(jù)作進一步的統(tǒng)計處理,以便快速產(chǎn)生各類分析報表.NT啾備功能NTP寸NTC生成的所有數(shù)據(jù)進行分析,對數(shù)據(jù)進行二次聚合、統(tǒng)計分析,分析的結(jié)果以非常直觀的圖表、表格等形式

8、展示給用戶,通過這些分析結(jié)果,用戶可以監(jiān)控網(wǎng)絡(luò)使用狀況、應(yīng)用使用狀況、用戶網(wǎng)絡(luò)訪問行為,并可監(jiān)控到流量異常狀況以便用戶進一步做分析.報表功能用戶可根據(jù)統(tǒng)計分析的需求,自定義報表生成規(guī)那么,由報表引擎生成報表,并將統(tǒng)計分析的結(jié)果以餅圖、曲線圖、統(tǒng)計信息表格等直觀的形態(tài)展示出來.當(dāng)前實現(xiàn)的報表功能列表和簡要說明如下：功能類別功能工程功能說明配置功能設(shè)備接口自動識別對指定的設(shè)備設(shè)備IP地址、團體字,自動發(fā)現(xiàn)其各種接口設(shè)備物理端口的流量統(tǒng)計對指定的設(shè)備的物理端口流量通過SNMFPT式進行統(tǒng)計接口組設(shè)置對自動發(fā)現(xiàn)的接口按組進行分類,并按組進行統(tǒng)計設(shè)置應(yīng)用聚合策略設(shè)置統(tǒng)計實時性系統(tǒng)參數(shù)設(shè)置設(shè)置TopN的N

9、值大小,數(shù)據(jù)保存時間,以及磁盤使用方面的信息應(yīng)用治理設(shè)置修改預(yù)先定義好的網(wǎng)絡(luò)應(yīng)用的端口號和協(xié)議號,以及新增未知網(wǎng)絡(luò)應(yīng)用的端口號和協(xié)議號分析功能設(shè)備接口流量統(tǒng)計顯示設(shè)備各個接口的流量值和接口的帶寬占用率基于接口的流量分布指定設(shè)備、接口和時間段,顯示其流量在這段時間的趨勢圖基于接口的應(yīng)用分布指定設(shè)備、接口和時間段,顯示其各種應(yīng)用TopN流量在一段時間的趨勢圖和比例基于接口的源IPTopN指定設(shè)備、接口和時間段,顯示其流量排名靠前的TopN源IP地址以及流量值和占用流量的比例基于接口的目的IPTopN指定設(shè)備、接口和時間段,顯示其流量排名靠前的TopN目的IP地址以及流量值和占用流量的比例基于接口的

10、會話TopN指定設(shè)備、接口和時間段,顯示其流量排名靠前的TopN源和目的IP會話以及流量值和占用流量的比例基于接口的應(yīng)用相關(guān)TopN源IP和目的IP列表指定設(shè)備、接口,在應(yīng)用流量趨勢圖中,查看指定應(yīng)用的TopN源IP地址和TopN目的IP地址基于接口的TopN源IP相關(guān)的應(yīng)用TopN列表和會話TopN目的IP列表指定設(shè)備、接口,在源IPTopN列表中,查看指定源IP地址的應(yīng)用TopN排名和會話TopN的目的IP地址基于接口的TopN目的IP相關(guān)的應(yīng)用TopN列表和會話TopN源IP列表指定設(shè)備、接口,在目的IPTopN列表中,查看指定目的IP地址的應(yīng)用TopN排名和會話TopN的源IP地址基于

11、接口的TopN會話相關(guān)的應(yīng)用明細指定設(shè)備、接口,在會話TopN列表中,查看其會話的應(yīng)用明細列表一流量值和所占比例支持周期報表提供網(wǎng)流周期性每小時、每日、每周、每月狀態(tài)的綜合報表,提供直觀的網(wǎng)流狀態(tài)展示.支持即時報表提供網(wǎng)流當(dāng)前狀態(tài)最近一小時的綜合報表,提供準(zhǔn)實時的網(wǎng)絡(luò)流量展示.報表展示目前對于NetStreamV5日志,NTP提供以下統(tǒng)計分析報表:1、流量統(tǒng)計報表-給出一段時間內(nèi)入出流量的趨勢圖,以及按入出流量統(tǒng)計總流量、最大速率、最小速率、平均速率,并給出流量明細信息：圖3流量統(tǒng)計報表2、應(yīng)用統(tǒng)計報表-給出一段時間內(nèi)流入、流出的各種應(yīng)用以及趨勢圖.圖4應(yīng)用統(tǒng)計報表3、應(yīng)用明細報表-給出應(yīng)用統(tǒng)

12、計報表中某個應(yīng)用的明細信息,包含該應(yīng)用的趨勢、使用該應(yīng)用源節(jié)點以及目的節(jié)點應(yīng)用統(tǒng)計報表-給出一段時間內(nèi)流入、流出的各種應(yīng)用以及趨勢圖.圖5應(yīng)用明細報表以餅圖的形4、來源統(tǒng)計報表-給出一段時間內(nèi),作為源IP的各個節(jié)點產(chǎn)生的流量的信息.式展示,并給出產(chǎn)生流量最多的節(jié)點：圖6來源統(tǒng)計報表top圖7來源明細報表以餅6、目的統(tǒng)計報表-給出一段時間內(nèi),作為目的IP的各個節(jié)點接收的流量的統(tǒng)計信息.圖的形式展示,并給出接收流量最多的節(jié)點top圖8目的統(tǒng)計報表7、目的明細報表-給出目的統(tǒng)計報表中某個節(jié)點的明細信息.并給出與目的節(jié)點通信的目的節(jié)點以及與目的點通信的top應(yīng)用圖9目的明細報表TOP列表8、會話統(tǒng)計報

13、表-給出會話節(jié)點流量TOP分布圖,以及會話節(jié)點流量圖10會話統(tǒng)計報表9、會話明細報表一一給出會話統(tǒng)計報表中,某對IP之間在一段時間內(nèi)產(chǎn)生的流量的趨勢,并給出這對IP之間通信所使用的應(yīng)用圖ii會話明細報表DIG采集設(shè)備針對一些不支持NetStream技術(shù)的網(wǎng)絡(luò)設(shè)備,H3c公司還提供了一種DIG采集設(shè)備,只要網(wǎng)絡(luò)設(shè)備支持端口鏡像,DIG采集設(shè)備能直接從鏡像端口收集網(wǎng)絡(luò)流量信息,并形成DIG日志提供給NTC/NTRS行流量分析.DIG日志DIG日志又稱為探針日志,是由探針型采集器即XLogDIG日志探針組件直接從交換機的鏡像端口、共享式HU豉分流器中采集用戶上網(wǎng)信息,并對訪問網(wǎng)絡(luò)的數(shù)據(jù)包進行分類統(tǒng)計

14、而生成的日志記錄.目前,DIG日志的版本是1.0,DIG1.0日志記錄包含以下內(nèi)容:開始時間結(jié)束時間源IP地址目的IP地址源端口號目的端口號協(xié)議類型目前區(qū)分TCRUDPICMP三種協(xié)議輸入包個數(shù)輸出包個數(shù)輸入字節(jié)數(shù)輸出字節(jié)數(shù)DIG采集設(shè)備DIG日志采集器所需要做的工作是把流經(jīng)設(shè)備端口的數(shù)據(jù)報文中,根據(jù)DIG日志的數(shù)據(jù)格式對數(shù)據(jù)報文進行過濾和統(tǒng)計,最終形成DIG日志輸出.DIG采集器有以下幾種方式對網(wǎng)絡(luò)設(shè)備端口的數(shù)據(jù)報文進行采集：1、從鏡像端口采集對于支持鏡像端口的交換機、路由器設(shè)備,可以將鏡像端口直接同DIG日志探針組件的采集網(wǎng)卡相連,實現(xiàn)數(shù)據(jù)采集.此類采集方式,需要設(shè)置設(shè)備鏡像端口,保證鏡像

15、端口和采集網(wǎng)卡的類型匹配、帶寬匹配.2、 分流器采集在設(shè)備不支持鏡像端口的情況下,為了不影響設(shè)備性能,比擬專業(yè)的采集方案是采用分流器,從設(shè)備端口接收網(wǎng)絡(luò)數(shù)據(jù)報文.此方案通常應(yīng)用于光纖鏈路,價格高昂.3、 共享式HU琳集對于不支持端口鏡像的設(shè)備,且需要監(jiān)控的端口帶寬小于100M的情況下,可以使用共享式HUB現(xiàn)對端口數(shù)據(jù)的采集.但這種方式很容易引起網(wǎng)絡(luò)單點故障,不推薦使用.DIG日志探針組件對采集到的原始網(wǎng)絡(luò)報文進行實時處理,需要對報文進行過濾處理,也就是說根據(jù)過濾規(guī)那么,要過濾掉一些不希望繼續(xù)處理的報文；然后可進行聚合處理,即根據(jù)預(yù)置聚合條件將多條報文聚合成一條,這樣就減少了后續(xù)處理以及歸檔的日

16、志數(shù)據(jù)量.聚合之后,DIG日志探針組件將會形成DIG日志,并將DIG日志發(fā)送給NTC/NTPS行處理.NTA解決方案的典型組網(wǎng)利用NetStream日志,NTA提供了一種網(wǎng)絡(luò)監(jiān)測、分析的方式,直接從支持NetStream功能的路由器和交換機中收集流量信息,可以靈活啟動不同層面接入層、會聚層、核心層的網(wǎng)絡(luò)設(shè)備進行NetStream流量日志收集,并將收集的內(nèi)容以NetStream格式的日志輸出給NTC/NTP設(shè)備進行分析.用戶使用NTA的分析功能,可以做網(wǎng)絡(luò)使用狀況監(jiān)控、用戶行為追蹤、異常流量檢測等,并且基于功能豐富的報表,用戶可以做網(wǎng)絡(luò)規(guī)劃方面的決策.NetStream日志可以開啟在路由器中、會

17、聚層/核心層交換機中.圖12NTA解決方案典型組網(wǎng)NTA的應(yīng)用場景NetStream技術(shù)定義了一種路由器/交換機向治理系統(tǒng)輸出流量數(shù)據(jù)的方法,通過采集和分析流量數(shù)據(jù),并將流量數(shù)據(jù)與治理限制臺中的其他網(wǎng)絡(luò)和應(yīng)用性能指標(biāo)建立關(guān)系,對網(wǎng)絡(luò)運行狀態(tài)進行治理.NetStream技術(shù)的IP網(wǎng)絡(luò)流量數(shù)據(jù)報文中包含許多有價值的流量統(tǒng)計數(shù)據(jù),這些流信息充分揭示了有關(guān)網(wǎng)絡(luò)使用的“4W問題：Who誰IP使用了網(wǎng)絡(luò)?What:網(wǎng)絡(luò)流量的類型是什么?When在什么時間使用網(wǎng)絡(luò),使用了多長時間?Where!：網(wǎng)絡(luò)流量流向何處?利用NTA網(wǎng)流分析系統(tǒng)對這些數(shù)據(jù)進行統(tǒng)計分析,就能從中提取出網(wǎng)絡(luò)流量特征,從而為網(wǎng)絡(luò)治理員提供一

18、張豐富而詳盡的網(wǎng)絡(luò)利用視圖.網(wǎng)絡(luò)優(yōu)化通過NTA解決方案,可以使網(wǎng)絡(luò)治理員及時掌握網(wǎng)絡(luò)負(fù)載狀況,網(wǎng)內(nèi)應(yīng)用資源使用情況,盡早發(fā)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的不合理,或是網(wǎng)絡(luò)性能瓶頸,盡快作出網(wǎng)絡(luò)優(yōu)化方面的決斷,使網(wǎng)絡(luò)帶寬分配最優(yōu)化,為用戶提供高品質(zhì)的網(wǎng)絡(luò)效勞,并且防止了網(wǎng)絡(luò)帶寬和效勞器瓶頸問題.圖13網(wǎng)絡(luò)優(yōu)化的應(yīng)用場景網(wǎng)絡(luò)規(guī)劃參考利用NetStream流日志以及NTA長期監(jiān)控網(wǎng)絡(luò)帶寬而形成的各類趨勢報表,有助于網(wǎng)絡(luò)治理員跟蹤和預(yù)測網(wǎng)絡(luò)鏈路流量的增長,從而能有效的規(guī)劃網(wǎng)絡(luò)升級例如,增加路由效勞、端口或使用更高帶寬的接口.圖14網(wǎng)絡(luò)規(guī)劃參考應(yīng)用場景1.1 WANf量監(jiān)測對于一個企業(yè)來說,WAN?寬通常是有PM的,如果W

19、AN1路上的流量增大,通常企業(yè)的做法就是進行投資以升級WAN1路,但是如果企業(yè)能掌握WANf量的特征,制定相應(yīng)的策略比方QoS和針對源或目的IP地址作流限制,就能使WAN?寬得到最合理最充分的使用,防止進行不必要的升級投資,而NTA解決方案所提供的分析結(jié)果能夠使網(wǎng)絡(luò)治理員洞察WAN鏈路的流量特征、承載的應(yīng)用、用戶使用狀況,從而針對是否應(yīng)投資升級帶寬快速的作出快速響應(yīng)！圖15WAN流量監(jiān)測應(yīng)用場景1.2 網(wǎng)絡(luò)流量異常監(jiān)測網(wǎng)絡(luò)治理員都希望在網(wǎng)絡(luò)性能忽然下降的時候找到“真兇所在,并迅速解決問題.利用NTA解決方案提供的某段時間內(nèi)的流量、應(yīng)用趨勢分析,可非常直觀的看到網(wǎng)絡(luò)流量是否有忽然增長或忽然下降的現(xiàn)象,并進一步分析出是哪些用戶產(chǎn)生了最多的流量、使