cisco構(gòu)建高性能網(wǎng)絡(luò)的Netflow流量統(tǒng)計(jì)環(huán)境

1、周昌令北京大學(xué)計(jì)算中心 Netflow流量統(tǒng)計(jì)技術(shù)是Cisco公司提出的一項(xiàng)網(wǎng)絡(luò)數(shù)據(jù)流統(tǒng)計(jì)標(biāo)準(zhǔn)，得到了主流廠商如Juniper、Extreme等的支持。 利用netflow技術(shù)可以監(jiān)測(cè)網(wǎng)絡(luò)上的IP流（IP flow）信息。采集到的netflow流量信息可以幫助進(jìn)行網(wǎng)絡(luò)規(guī)劃，網(wǎng)絡(luò)管理，流量計(jì)費(fèi)和病毒檢測(cè)等等。 一段時(shí)間內(nèi)網(wǎng)絡(luò)的某個(gè)觀測(cè)點(diǎn)所通過(guò)的一系列分組（packets）。 通常我們關(guān)心的流記錄分類(lèi)依據(jù)由一個(gè)五元組（即源地址、目的地址、源端口、目的端口和協(xié)議類(lèi)型）所組成。 index:0 xc1a21router:src IP:5dst IP:

2、8input ifIndex:8output ifIndex:55src port:12043dst port:80pkts:6bytes:680IP nexthop:0start time:11:29:22 2004-6-9end time:11:29:25 2004-6-9protocol:6tos:0 x0src AS:0dst AS:321src masklen:20dst masklen:0TCP flags:0 x1bengine type:1engine id:0 大量的流量信息數(shù)據(jù)導(dǎo)致記錄文件巨大； 統(tǒng)計(jì)分析無(wú)法跟上數(shù)據(jù)文件生成的

3、速度； 統(tǒng)計(jì)什么信息？00:0002:0004:0006:0008:0010:0012:0014:0016:0018:0020:0022:0005000001000000150000020000002500000FlowsTime Flows北京大學(xué)校園網(wǎng)拓?fù)浣Y(jié)構(gòu)復(fù)雜，設(shè)備和使用者眾多，平均日常在線聯(lián)網(wǎng)節(jié)點(diǎn)約12000臺(tái)左右，峰值在15000臺(tái)以上。同時(shí)，ftp、p2p以及流媒體等消耗帶寬的應(yīng)用非常普遍。 記錄類(lèi)型 flows、packets、octets 協(xié)議分布 TCP、UDP、ICMP、Multicast、other 應(yīng)用分布 ftp、www、email、bt、maze、telnet、d

4、ns Top N信息 協(xié)議比例、應(yīng)用分布、流量排名 被動(dòng)監(jiān)測(cè)(Passive Monitor) 實(shí)時(shí)壓縮存儲(chǔ) 數(shù)據(jù)在內(nèi)存中做cache，寫(xiě)入存儲(chǔ)系統(tǒng)之前采用zlib壓縮算法進(jìn)行壓縮 ，加上頭信息 ，再輸出到文件。 多CPU并行處理 根據(jù)流量數(shù)據(jù)文件的特點(diǎn)，處理前一時(shí)間段的數(shù)據(jù)進(jìn)行過(guò)程中，可以另起進(jìn)程處理下一時(shí)間段的數(shù)據(jù)。 快速匹配算法 Patricia Tries算法常常用于路由選擇計(jì)算，具有很高的效率。 數(shù)據(jù)庫(kù)與文件結(jié)合 采用高性能的Oracle數(shù)據(jù)庫(kù)后臺(tái)來(lái)記錄歸并統(tǒng)計(jì)結(jié)果，用RRDTool存儲(chǔ)協(xié)議分布、流量計(jì)費(fèi)等數(shù)據(jù)。 主干路由器配置 軟件環(huán)境 Perl Flow-tools Cflow

5、FLowScan RRDtools PKUFlow 1）在相關(guān)的接口上配置 (config-if)#ip route-cache flow2）在全局配置模式下(config)#ip flow-export version 5(config)#ip flow-export destination A.B.C.D port3）對(duì)多層交換設(shè)備，Native IOS系統(tǒng)上可以這樣配置（CatOS上設(shè)置有所不同，具體可以參考技術(shù)文檔）：(config)#mls nde sender version 5(config)#mls flow ip full如果設(shè)備不支持Netflow輸出，也可以有變通的方法。比如進(jìn)行端口鏡像（Port Mirror），再用NetflowExporter這樣的軟件處理輸出Netflow流量數(shù)據(jù) 修改自CUFlow + JKFlow 多CPU同步計(jì)算 可以區(qū)分是否免費(fèi)IP地址 可以按照進(jìn)出端口(ifIndex)/