網(wǎng)絡(luò)流量分析解決方案技術(shù)白皮書H3C

1、 網(wǎng)絡(luò)流量分析解決方案技術(shù)白皮書 關(guān)鍵詞：DIG、NetStream 、NTA、網(wǎng)絡(luò)流量、網(wǎng)流分析 摘 要：網(wǎng)絡(luò)流量分析是一個有助于網(wǎng)絡(luò)管理者進(jìn)行網(wǎng)絡(luò)規(guī)劃、網(wǎng)絡(luò)優(yōu)化、網(wǎng)絡(luò)監(jiān)控、流量趨勢分析等工作的工具， 通過對網(wǎng)絡(luò)信息流(NetStream )的采集并分析可幫助網(wǎng)絡(luò)管理者得到網(wǎng)絡(luò)流量的準(zhǔn)確信息，為網(wǎng)絡(luò)的正常、 穩(wěn)定、可靠運行提供保障。本文檔介紹了 H3C公司的網(wǎng)絡(luò)流量分析解決方案( Network Traffic Analysis )的 結(jié)構(gòu)組成、功能、以及部署建議，有助于用戶更好的理解 H3C的網(wǎng)絡(luò)流量分析解決方案的功能和特點。 縮略語清單： Noun Explanation 中文解釋 NT

2、A Network Traffic Analysis 網(wǎng)絡(luò)流量分析解決方案 方案背景 隨著網(wǎng)絡(luò)的應(yīng)用越來越廣泛，規(guī)模也隨之日漸增長，網(wǎng)絡(luò)中承載的業(yè)務(wù)也越來越豐富。企業(yè)需要及時的了解到網(wǎng)絡(luò) 中承載的業(yè)務(wù)，及時的掌握網(wǎng)絡(luò)流量特征，以便使網(wǎng)絡(luò)帶寬配置最優(yōu)化，及時解決網(wǎng)絡(luò)性能問題。目前企業(yè)在管理網(wǎng)絡(luò) 當(dāng)中普遍遭遇到了如下的問題： 1、 網(wǎng)絡(luò)的可視性：網(wǎng)絡(luò)利用率如何？什么樣的程序在網(wǎng)絡(luò)中運行？主要用戶有哪些？網(wǎng)絡(luò)中是否產(chǎn)生 異常流量？有沒有長期的趨勢數(shù)據(jù)用作網(wǎng)絡(luò)帶寬規(guī)劃？ 2、 應(yīng)用的可視性：當(dāng)前網(wǎng)內(nèi)有哪些應(yīng)用？分別產(chǎn)生了多少流量？網(wǎng)絡(luò)中應(yīng)用使用的模式是什么？企業(yè) 內(nèi)部重要應(yīng)用執(zhí)行狀況如何？ 3、 用戶

3、使用網(wǎng)絡(luò)模式的可視性：哪些用戶產(chǎn)生的流量最多？哪些效勞器接收的流量最多？哪些會話產(chǎn) 生了流量？分別使用了哪些應(yīng)用？ 從這些企業(yè)管理網(wǎng)絡(luò)中所經(jīng)常遇到的問題來看， 需要有一種解決方案能讓網(wǎng)絡(luò)管理人員及時了解到詳細(xì)的網(wǎng)絡(luò)使用 情形，使網(wǎng)絡(luò)管理人員及時洞察網(wǎng)絡(luò)運行狀況、及時了解網(wǎng)內(nèi)應(yīng)用的執(zhí)行情況。 為了應(yīng)對企業(yè)網(wǎng)絡(luò)管理中的這些問題，于是， H3C公司的NTA ( Network Traffic Analysis )解決方案應(yīng)運而生! 所謂的工欲善其事，必先利其器， NTA解決方案可以幫助網(wǎng)絡(luò)管理人員了解企業(yè)內(nèi)部網(wǎng)絡(luò)之運行狀況，及時發(fā)現(xiàn)并 解決網(wǎng)絡(luò)中的性能瓶頸問題、網(wǎng)絡(luò)異常現(xiàn)象，也能方便用戶進(jìn)行網(wǎng)絡(luò)優(yōu)化

4、、網(wǎng)絡(luò)設(shè)備投資、網(wǎng)絡(luò)帶寬優(yōu)化等的參考，并 方便網(wǎng)絡(luò)管理員及時解決網(wǎng)絡(luò)異常問題。 NetStream 技術(shù)介紹 在理解Network Traffic Analysis解決方案之前， 首先需要了解NetStream的一些根本概念， 它們是該解決方案的根底。 “流概念 NetStream的流定義為：由源到目的方向的一系列單向的數(shù)據(jù)包。 NetStream流是通過7元組來標(biāo)識的，即通過接口索引、源 IP地址、目的IP地址、源端口號、目的端口號、協(xié)議號和 ToS組成的七元組確定一個 NetStream流，設(shè)備根據(jù)七元組信息對過往的數(shù)據(jù)包進(jìn)行 NetStream統(tǒng)計。 下列圖中就包括四條流： 從Clien

5、t A到WWW Server 方向通信時產(chǎn)生的流； 從WWW Server至U Client A方向通信時產(chǎn)生的流； 從Client B至U FTP Server方向通信時產(chǎn)生的流； 從FTP Server至U Client B方向通信時產(chǎn)生的流； 圖1網(wǎng)絡(luò)中流的舉例說明 從上例中可以很容易地理解，流是單向的，同時流也是基于協(xié)議的。形象地說，通過 NetStream流可以記錄下來網(wǎng) 絡(luò)中 who、what、when、where、how。 NetStream 技術(shù) NetStream是H3C公司基于“流的概念，定義了一種用于路由器 /交換機(jī)輸出網(wǎng)絡(luò)流量的統(tǒng)計數(shù)據(jù)的方法，路由器 / 交換機(jī)對通過其

6、的IP數(shù)據(jù)包進(jìn)行統(tǒng)計和分析，并上報給網(wǎng)流采集器，網(wǎng)流采集器把搜集的數(shù)據(jù)包及統(tǒng)計數(shù)據(jù)傳送到網(wǎng)流 分析器，經(jīng)合并處理后存入數(shù)據(jù)庫，并進(jìn)行進(jìn)一步的分析處理。 NetStream技術(shù)可利用網(wǎng)絡(luò)中數(shù)據(jù)流創(chuàng)造價值，并可在 最大限度減小對路由器 /交換機(jī)性能影響的前提下提供詳細(xì)的數(shù)據(jù)流統(tǒng)計信息。 NTA解決方案介紹 FTP* Uiert BISAW WW/Ssrvar FT P Server FTF*訕岫B NTA系統(tǒng)組成 Network Traffic Analysis 解決方案包括： 網(wǎng)流采樣設(shè)備 (NetTraffic Exporter )、網(wǎng)流流采集設(shè)備 (NetTraffic Collector

7、)、 數(shù)據(jù)分析處理設(shè)備(NetTraffic Processor ),三個設(shè)備之間的關(guān)系如下列圖所示： 圖2 Network Traffic Analyze 各組成局部的關(guān)系 NTE負(fù)責(zé)流量的采集和發(fā)送， NTC設(shè)備負(fù)責(zé)收集和存儲 NTE發(fā)來的流量統(tǒng)計數(shù)據(jù)信息； NTP從數(shù)據(jù)庫中獲取收集到 的數(shù)據(jù)，經(jīng)分析加工后以直觀的圖表、報表等方式為網(wǎng)絡(luò)規(guī)劃、網(wǎng)絡(luò)優(yōu)化、網(wǎng)絡(luò)監(jiān)控、流量趨勢分析、異常檢測等提供 直接的數(shù)據(jù)依據(jù)。 1) NetTraffic Exporter 提供NetStream技術(shù)接口的網(wǎng)絡(luò)設(shè)備 (H3C公司的路由器和交換機(jī)及華為公司的路由器) ，負(fù)責(zé)對設(shè)備各個端口進(jìn)出 的網(wǎng)絡(luò)報文進(jìn)行流分類

8、統(tǒng)計，然后打包輸出。 2) NetTraffic Collector NTC可以采集多個NTE設(shè)備輸出的數(shù)據(jù)，對數(shù)據(jù)進(jìn)行過濾和聚合，并將數(shù)據(jù)存儲在數(shù)據(jù)庫中供分析處理。 3) NetTraffic Processor NTP是一個網(wǎng)絡(luò)流量的分析工具，對采集來的流量數(shù)據(jù)進(jìn)行分析處理。為便于網(wǎng)絡(luò)管理人員的操作，采用基于 Web 形式訪問，提供直觀的、圖形化的管理界面，所有數(shù)據(jù)輸出都以友好的形式直接在 Web頁面中顯示。 NTE設(shè)備功能 作為支持NetStream的網(wǎng)絡(luò)設(shè)備，首先需要翻開網(wǎng)絡(luò)設(shè)備的偵聽端口，然后配置將 NetStream日志要發(fā)送到哪個IP的 哪個端口(即NTC設(shè)備的監(jiān)聽端口)。這樣，

9、設(shè)備就會把 NetStream日志以UDP包的形式發(fā)往NTC ,而NTC那么可從偵聽 端口源源不斷的接收 NetStream日志。 NTC設(shè)備功能 NetStream日志被NTC設(shè)備采集到之后，將會做聚合處理，這樣可減少最終存入數(shù)據(jù)庫的的數(shù)據(jù)量，并提高了分析NTE 網(wǎng)絡(luò)NTC 網(wǎng)流糅割XLog) NIP 網(wǎng)流分新器iXLog) 的效率；同時，NTC設(shè)備也會對存入數(shù)據(jù)庫的數(shù)據(jù)作進(jìn)一步的統(tǒng)計處理，以便快速產(chǎn)生各類分析報表。 NTP設(shè)備功能 NTP對NTC生成的所有數(shù)據(jù)進(jìn)行分析， 對數(shù)據(jù)進(jìn)行二次聚合、 統(tǒng)計分析，分析的結(jié)果以非常直觀的圖表、 表格等形式展示給用戶， 通過這些分析結(jié)果， 用戶可以監(jiān)控網(wǎng)

10、絡(luò)使用狀況、 應(yīng)用使用狀況、用戶網(wǎng)絡(luò)訪問行為, 并可監(jiān)控到流量異常狀況以便用戶進(jìn)一步做分析。 報表功能 用戶可根據(jù)統(tǒng)計分析的需求，自定義報表生成規(guī)那么，由報表引擎生成報表，并將統(tǒng)計分析的結(jié)果以餅圖、 曲線圖、統(tǒng)計信息表格等直觀的形態(tài)展示出來。 當(dāng)前實現(xiàn)的報表功能列表和簡要說明如下： -功能類別 功能工程 功能說明 配 置 功 能 設(shè)備接口自動 識別 對指定的設(shè)備設(shè)備 IP地址、團(tuán)體字， 自動發(fā)現(xiàn)其各種接口 設(shè)備物理端口 的流量統(tǒng)計 對指定的設(shè)備的物理端口流量通過 SNMP 方式進(jìn)行統(tǒng)計 接口組設(shè)置 對自動發(fā)現(xiàn)的接口按組進(jìn)行分類，并按組 進(jìn)行統(tǒng)計 設(shè)置應(yīng)用聚合 策略 設(shè)置統(tǒng)計實時性 系統(tǒng)參數(shù)設(shè)置

11、 設(shè)置TopN的N值大小，數(shù)據(jù)保存時間， 以及磁盤使用方面的信息 應(yīng)用管理設(shè)置 修改預(yù)先定義好的網(wǎng)絡(luò)應(yīng)用的端口號和協(xié) 議號，以及新增未知網(wǎng)絡(luò)應(yīng)用的端口號和 協(xié)議號 分 析 功 能 設(shè)備接口流量 統(tǒng)計 顯示設(shè)備各個接口的流量值和接口的帶寬 占用率 基于接口的流 里分布 指定設(shè)備、接口和時間段，顯示其流量在 這段時間的趨勢圖 基于接口的應(yīng) 用分布 指定設(shè)備、接口和時間段，顯示其各種應(yīng) 用TopN 流量在一段時間的趨勢圖和比 例例 基于接口的源 IP TopN 指定設(shè)備、接口和時間段，顯示其流量排 名靠前的TopN源IP地址以及流量值和占 用流量的比例 基于接口的目 的 IP TopN 指定設(shè)備、接

12、口和時間段，顯示其流量排 名靠前的TopN目的IP地址以及流量值和 占用流量的比例 基于接口的會 話 TopN 指定設(shè)備、接口和時間段，顯示其流量排 名靠前的TopN源和目的IP會話以及流量 值和占用流量的比例 基于接口的應(yīng) 用相關(guān)TopN 源IP和目的IP 列表 指定設(shè)備、接口，在應(yīng)用流量趨勢圖中， 查看指定應(yīng)用的 TopN源IP地址和TopN 目的IP地址 基于接口的 TopN源IP相 關(guān)的應(yīng)用 TopN 列表和 會話TopN目 的IP列表 指定設(shè)備、接口，在源 IP TopN列表中， 查看指定源IP地址的應(yīng)用TopN排名和會 話TopN的目的IP地址 基于接口的 TopN 目的IP 相關(guān)

13、的應(yīng)用 TopN 列表和 會話TopN源 IP列表 指定設(shè)備、接口，在目的IP TopN列表中， 查看指定目的IP地址的應(yīng)用TopN排名和 會話TopN的源IP地址 基于接口的 TopN 會話相 關(guān)的應(yīng)用明細(xì) 指定設(shè)備、接口，在會話 TopN列表中， 查看其會話的應(yīng)用明細(xì)列表一流量值和所 占比例 支持周期報表 提供網(wǎng)流周期性每小時、每日、每周、每 月狀態(tài)的綜合報表，提供直觀的網(wǎng)流狀態(tài) 展刀、O 支持即時報表 提供網(wǎng)流當(dāng)前狀態(tài)最近一小時的綜合 報表，提供準(zhǔn)實時的網(wǎng)絡(luò)流量展示。 - 1 報表展示 目前對于NetStreamV5日志，NTP提供以下統(tǒng)計分析報表： 1、流量統(tǒng)計報表-給出一段時間內(nèi)入出

14、流量的趨勢圖，以及按入出流量統(tǒng)計總流量、最大速率、最小速率、平均速 率，并給出流量明細(xì)信息： 門劍，411 .3DM 0|91* 30 QD niB loot a an m MO* M M 11 D m D 00 家 24 1 9 *0 00 0 00 w mm. jit，m I n 制nn mf AR hia Tfir|fLriL i p 5 nri * til J BP I “l(fā)OMIsf ?T 1 ?41CI l l lifi| t 兀誦I 姑J 3 S4| 53 t-s-Viee -Ifl 1-SJ ，h to fc!3 M 忙心b 5ft ij -10 E 11 hF 1-3 3 e

15、c ，但 fSl l ! ， If 10153 130 32 IQ 1&J1J45 10153 21 175 W1B11N11 ID 15121 W1S3 21 M W153 71 5T ID 1533 54 513 3 tQ 151J 55 10153 J 55 153155 iD IS J 5 ID 153 3 54 3 n GO 3 63 OB jee OB w OB 2 ?0 r?B 饋睥 2 UQB 圖10會話統(tǒng)計報表 9、會話明細(xì)報表一一給出會話統(tǒng)計報表中，某對 IP之間在一段時間內(nèi)產(chǎn)生的流量的趨勢，并給出這對 IP之間通信 嘉小 43枇 ICMF 7 4 小 4T DIG

16、采集設(shè)備 針對一些不支持NetStream技術(shù)的網(wǎng)絡(luò)設(shè)備，H3C公司還提供了一種 DIG采集設(shè)備，只要網(wǎng)絡(luò)設(shè)備支持端口鏡像， DIG 采集設(shè)備能直接從鏡像端口收集網(wǎng)絡(luò)流量信息，并形成 DIG日志提供給NTC/NTP進(jìn)行流量分析。 DIG日志 DIG日志又稱為探針日志，是由探針型采集器即 XLog DIG日志探針組件 直接從交換機(jī)的鏡像端口、 共享式HUB 或分流器中采集用戶上網(wǎng)信息，并對訪問網(wǎng)絡(luò)的數(shù)據(jù)包進(jìn)行分類統(tǒng)計而生成的日志記錄。 目前，DIG日志的版本是1.0, DIG1.0日志記錄包含以下內(nèi)容： 開始時間 結(jié)束時間 源IP地址 目的IP地址 源端口號 目的端口號 協(xié)議類型目前區(qū)分 TCP

17、、UDP和ICMP三種協(xié)議 輸入包個數(shù) 輸出包個數(shù) 輸入字節(jié)數(shù) 輸出字節(jié)數(shù) DIG采集設(shè)備 DIG日志采集器所需要做的工作是把流經(jīng)設(shè)備端口的數(shù)據(jù)報文中，按照 DIG日志的數(shù)據(jù)格式對數(shù)據(jù)報文進(jìn)行過濾和 統(tǒng)計，最終形成DIG日志輸出。DIG采集器有以下幾種方式對網(wǎng)絡(luò)設(shè)備端口的數(shù)據(jù)報文進(jìn)行采集： 1、 從鏡像端口采集 對于支持鏡像端口的交換機(jī)、路由器設(shè)備，可以將鏡像端口直接同 DIG日志探針組件的采集網(wǎng)卡相連，實現(xiàn)數(shù)據(jù)采 集。此類采集方式，需要設(shè)置設(shè)備鏡像端口，保證鏡像端口和采集網(wǎng)卡的類型匹配、帶寬匹配。 2、 分流器采集 在設(shè)備不支持鏡像端口的情況下，為了不影響設(shè)備性能，比擬專業(yè)的采集方案是采用分

18、流器，從設(shè)備端口接收網(wǎng)絡(luò) 數(shù)據(jù)報文。此方案通常應(yīng)用于光纖鏈路，價格高昂。 3、 共享式HUB采集圖12 NTA解決方案典型組網(wǎng) 對于不支持端口鏡像的設(shè)備，且需要監(jiān)控的端口帶寬小于 100M的情況下，可以使用共享式 HUB實現(xiàn)對端口數(shù)據(jù)的 采集。但這種方式很容易引起網(wǎng)絡(luò)單點故障，不推薦使用。 DIG日志探針組件對采集到的原始網(wǎng)絡(luò)報文進(jìn)行實時處理，需要對報文進(jìn)行過濾處理，也就是說根據(jù)過濾規(guī)那么，要 過濾掉一些不希望繼續(xù)處理的報文；然后可進(jìn)行聚合處理，即按照預(yù)置聚合條件將多條報文聚合成一條，這樣就減少了 后續(xù)處理以及歸檔的日志數(shù)據(jù)量。聚合之后， DIG日志探針組件將會形成 DIG日志，并將DIG日志

19、發(fā)送給NTC/NTP進(jìn)行 處理。 NTA解決方案的典型組網(wǎng) 利用NetStream日志，NTA提供了一種網(wǎng)絡(luò)監(jiān)測、分析的方式，直接從支持 NetStream功能的路由器和交換機(jī)中收集 流量信息，可以靈活啟動不同層面接入層、會聚層、核心層的網(wǎng)絡(luò)設(shè)備進(jìn)行 NetStream流量日志收集，并將收集的 內(nèi)容以NetStream格式的日志輸出給 NTC/NTP設(shè)備進(jìn)行分析。用戶使用 NTA的分析功能，可以做網(wǎng)絡(luò)使用狀況監(jiān)控、用 戶行為追蹤、異常流量檢測等，并且基于功能豐富的報表，用戶可以做網(wǎng)絡(luò)規(guī)劃方面的決策。 NetStream日志可以開啟在路由器中、會聚層 /核心層交換機(jī)中。 NTA的應(yīng)用場景 Net

20、Stream技術(shù)定義了一種路由器/交換機(jī)向管理系統(tǒng)輸出流量數(shù)據(jù)的方法，通過采集和分析流量數(shù)據(jù)，并將流量數(shù) 據(jù)與管理控制臺中的其他網(wǎng)絡(luò)和應(yīng)用性能指標(biāo)建立關(guān)系， 對網(wǎng)絡(luò)運行狀態(tài)進(jìn)行管理。 NetStream技術(shù)的IP網(wǎng)絡(luò)流量數(shù)據(jù)報 文中包含許多有價值的流量統(tǒng)計數(shù)據(jù)，這些流信息充分揭示了有關(guān)網(wǎng)絡(luò)使用的“ 4W問題： Who :誰IP使用了網(wǎng)絡(luò)？ What:網(wǎng)絡(luò)流量的類型是什么？ When：在什么時間使用網(wǎng)絡(luò)，使用了多長時間？ Where :網(wǎng)絡(luò)流量流向何處？ 利用NTA網(wǎng)流分析系統(tǒng)對這些數(shù)據(jù)進(jìn)行統(tǒng)計分析， 就能從中提取出網(wǎng)絡(luò)流量特征， 從而為網(wǎng)絡(luò)管理員提供一張豐富 而詳盡的網(wǎng)絡(luò)利用視圖。 網(wǎng)絡(luò)優(yōu)化

21、通過NTA解決方案，可以使網(wǎng)絡(luò)管理員及時掌握網(wǎng)絡(luò)負(fù)載狀況，網(wǎng)內(nèi)應(yīng)用資源使用情況，盡早發(fā)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的不合 理，或是網(wǎng)絡(luò)性能瓶頸，盡快作出網(wǎng)絡(luò)優(yōu)化方面的決斷，使網(wǎng)絡(luò)帶寬分配最優(yōu)化，為用戶提供高品質(zhì)的網(wǎng)絡(luò)效勞，并且 防止了網(wǎng)絡(luò)帶寬和效勞器瓶頸問題。 各類TOR莊用苜比祁比 ，使用者英反用BA期內(nèi)用戶.犀野器的口怎雋及統(tǒng) THI OPF通信對產(chǎn)生房晶的罰比及其使用的成周他 tt,以及對童憂籍希鼬 - 丁 力 - - - - - - / jF f ; A 圖13網(wǎng)絡(luò)優(yōu)化的應(yīng)用場景 網(wǎng)絡(luò)規(guī)劃參考 利用NetStream流日志以及NTA長期監(jiān)控網(wǎng)絡(luò)帶寬而形成的各類趨勢報表，有助于網(wǎng)絡(luò)管理員跟蹤和預(yù)測網(wǎng)絡(luò)鏈路

22、 流量的增長，從而能有效的規(guī)劃網(wǎng)絡(luò)升級例如，增加路由效勞、端口或使用更高帶寬的接口。LAN 分析系統(tǒng)分析系統(tǒng) LAN 圖14網(wǎng)絡(luò)規(guī)劃參考應(yīng)用場景 1.1 WAN流量監(jiān)測 對于一個企業(yè)來說， WAN帶寬通常是有限的，如果 WAN鏈路上的流量增大，通常企業(yè)的做法就是進(jìn)行投資以升級 WAN鏈路，但是如果企業(yè)能掌握 WAN流量的特征，制定相應(yīng)的策略比方 QoS和針對源或目的IP地址作流限制，就 管理員洞察 WAN鏈路的流量特征、承載的應(yīng)用、用戶使用狀況，從而針對是否應(yīng)投資升級帶寬快速的作出快速響應(yīng)! 圖15 WAN流量監(jiān)測應(yīng)用場景 1.2 網(wǎng)絡(luò)流量異常監(jiān)測 網(wǎng)絡(luò)管理員都希望在網(wǎng)絡(luò)性能突然下降的時候找到“真兇所在，并迅速解決問題。利用 NTA解決方案提供的某段 時間內(nèi)的流量、應(yīng)用趨勢分析，可非常直觀的看到網(wǎng)絡(luò)流量是否有突然增長或突然下降的現(xiàn)象，并進(jìn)一步分析出是哪些 用戶產(chǎn)生了最多的流量、使用了哪些應(yīng)用以至于網(wǎng)絡(luò)運轉(zhuǎn)出現(xiàn)性能問題。并根據(jù)最終分析結(jié)果，網(wǎng)絡(luò)管理員可快速的解 能使WAN帶寬得到最合理最充分的使用，防止進(jìn)行不必要的升級投資，而 NTA解決方案所提供的分析結(jié)果能夠使網(wǎng)絡(luò) 基于設(shè)番援口的均基于設(shè)番援口的均H心心A出越參出越參 ，恢布3董切莊胴93人 世笑矜拼 *告關(guān)DP用日分比.同比 Il il emet IntEict 蜻計某一彪肘日內(nèi)與蜻計某一彪肘日內(nèi)與WAN