8月26日培訓rg-ace流控技術(shù)學習

1、RG-ACE流控技術(shù)學習目 錄 Contents整體架構(gòu)DPI、DFIQOS調(diào)度機制整機綜述新版本ACEv5.0與V3.0相比內(nèi)存增加至6GCF卡更換至512M固化Bypass Card，可提供3個PS/2接口，用于連接外置OBS交換機由原32位操作系統(tǒng)升級為64位操作系統(tǒng)ACE2000為4核CPU，ACE3000為8核CPU。每個核綁定某幾個接口，并可靈活動態(tài)調(diào)配依靠傳統(tǒng)SNMP與Agentx完成內(nèi)部通信與配置下發(fā)問題：通過WEB界面下發(fā)的策略是否在底層先生成命令行，再輸入？WEBUI與CLI命令行屬于并行模式，優(yōu)先級相同兩者都可以直接調(diào)用SNMP，所以，通過WEB界面下發(fā)的命令不觸發(fā)命令行

2、Page3數(shù)據(jù)通過ACE是否有延遲？數(shù)據(jù)通過一臺設備，經(jīng)過一系列處理，肯定會比直接傳輸延遲更高。一條流（非一個包），經(jīng)過ACE，如果開啟基于主機的報表，需要消耗大約4000條CPU指令。如果不開啟主機報表，需要消耗大約3000條CPU指令假設CPU主頻為2GHz，4000條指令，一個核的處理時間為0.002msPage4流量在ACE中到底是怎么跑的？PIPE（通道）：屬于某個橋（也可以說鏈路）VC（容器）：屬于某個PIPE流量進入管道后，先進入PIPE，在進入VC帶寬嵌套：一個橋包含2個PIPE每個PIPE包含3個VC帶寬租用：PIPE1和PIPE2屬于同一個Share PIPEVC2和VC3

3、屬于同一個Share VCVC5和VC6屬于同一個Share VCPage5VC 1 Rate PoolVC 2 Rate PoolVC 3 Rate PoolPipe 1 Rate PoolVC 4 Rate PoolVC 5 Rate PoolVC 6 Rate PoolPipe 2 Rate PoolShareVCLine Rate PoolSharePipeShareVC數(shù)據(jù)流處理流程，ACE是否也有流表？Page6收包L2-L4SITFTActionQOSRMON發(fā)包查找4層表查找Source IP table查找Flow table匹配通道等QOS+報表+日志匹配匹配不匹配加入SI

4、T加入FT不匹配Global策略一級策略DPI二級策略基于源地址的全局策略PIPE策略（不能基于應用）查找7層表VC策略（可以基于應用）如果策略有修改，ACE重新計算流表（有部分廠商等待流表超時）目 錄 Contents整體架構(gòu)DPI、DFIQOS調(diào)度機制DPI的來源DPI（Deep Packet Inspection）：深度包檢測源于電信運營商的需要：實行精細化管理分析用戶行為開展增值業(yè)務，構(gòu)建更好的盈利模式真正讓DPI廣泛使用源于P2P、網(wǎng)絡游戲、IPTV等應用的發(fā)展P2P的出現(xiàn)，打破了傳統(tǒng)的C/S模型，消除了服務器性能瓶頸。網(wǎng)絡游戲、IPTV等應用對網(wǎng)絡時延要求很高。運營商帶寬的擴容速度

5、無法趕上應用的發(fā)展傳統(tǒng)報文識別的缺陷傳統(tǒng)方式如何識別報文五元組：源IP、目的IP、源端口、目的端口、協(xié)議特殊字段在ACE中，如果通過L2-L4特征庫查找后，“fixed”字段=1（明確這個特征只通過L2-L4就可以識別），則不用在查L7表。DNS協(xié)議，端口號是53，fixed=1HTTP協(xié)議，端口號是80.但是其他大量協(xié)議有時也會占用80端口。所以，僅判斷L2-L4信息，無法識別，fixed=0缺陷多數(shù)應用已經(jīng)沒有特定的端口，如：BT、迅雷部分應用使用其他傳統(tǒng)端口，如：QQ某些應用使用80端口結(jié)論單純的傳統(tǒng)4層識別方式已經(jīng)無法滿足需求需要2-7層應用識別技術(shù)DPI綜述DPI是包含2-7層的流量

6、識別技術(shù)DPI將網(wǎng)絡上的數(shù)據(jù)報文根據(jù)五元組分為一個個的應用流，并通過識別技術(shù)對應用流中的特定數(shù)據(jù)報文進行探測，從而確定應用流對應的應用或者用戶的動作?；谔卣髯值淖R別每個應用往往都包括他的“指紋”這個“指紋”可以是端口號、特定的字符串或bit序列以Bittorrent為例：應用由客戶端發(fā)起的一條握手信息開始后面是循環(huán)的信息流，每一條流中都包含一個長度字段每個握手流中都會包含“19bittorrent protocol”所以，可以確定“19bittorrent protocol”就是Bittorrent的指紋字符串是特征字的其中一種方式，但其具有一定的局限性。目前，主流的DPI技術(shù)采用的是字符串

7、+正則式的形式正則表達式正則表達式是指一個用來描述或者匹配一系列符合某個句法規(guī)則的字符串的單個字符串正則表達式可以用來檢查一個串是否含有某種子串、將匹配的子串做替換或者從某個串中取出符合某個條件的子串等舉例1：如果你想查找某個目錄下的所有的Word文檔的話，你會搜索*.doc。在這里*會被解釋成任意的字符串。舉例2：查找所有電話號碼b0ddd?-dddddddd?b以0開頭，然后是兩或三個數(shù)字，然后是一個連字號“-”，最后是7或8個數(shù)字性能與準確度的取舍正則表達式靈活性高，識別準確，但需要CPU來計算普通的特征碼+mask識別的方式，可以通過硬件計算，性能高，但協(xié)議識別準確率低什么是特征碼+m

8、ask？Mask跟IP的反掩碼類似，用以確認哪幾個字段是必須匹配，哪幾個字段可以忽略如：匹配ABC*12*2*1，這就是一個特征，可以匹配；但上頁舉的“查找所有電話號碼”的例子，這種方式無法滿足正則表達式的性能真的很低嗎？其實不然。Page13正則表達式特征碼+mask識別準確度與靈活性高低性能中高應用識別性能與特征庫大小無關數(shù)據(jù)流與特征庫的匹配方式包括：逐條查找或按圖查找（DFA）逐條查找顧名思義，特征庫越大，效率越低ACE采用DFA，舉例：識別“abc是QQ的特征碼”將特征碼分配到連續(xù)的內(nèi)存中，每個內(nèi)存區(qū)域存儲特征碼的不同部分由此可見，識別效率跟特征庫數(shù)量是無關的，只跟特征本身長度有關Pa

9、ge14abcQQHTTP流量識別銳捷網(wǎng)絡DPI技術(shù)將HTTP流量分為正常HTTP瀏覽通過DPI識別HTTP單線程下載單個GET或POST所請求的資源大小超過界限HTTP多線程下載查看range：bytes字段，看是否分片HTTP鏡像判斷協(xié)議返回狀態(tài)請求分片的某個部分206表示有鏡像其他應用識別技術(shù)應用網(wǎng)關識別技術(shù)某些應用的控制流與數(shù)據(jù)流是分開的，如FTP。只分析數(shù)據(jù)流無法判斷流量類別需要先識別控制流，在根據(jù)控制流種類，識別數(shù)據(jù)流行為模式分析技術(shù)（ACE暫不支持）此種應用識別方式用于識別目前無法識別的流量，這種流量沒有特征字，如：垃圾郵件通過垃圾郵件的行為，如：郵件的速率、目的郵件地址數(shù)目、變

10、化頻率、源郵件地址數(shù)目、變化頻率、郵件被拒絕的頻率等參數(shù)等，建立行為模式庫，以識別此類流量此技術(shù)可識別一些非法流量，但需對非法行為進行數(shù)據(jù)分析DFI簡述DFI（Deep Flow Inspection）：深度流識別與DPI相比，由于只比較流的特征（DPI需要每個包都與特征庫相比）性能較高與DPI相比，識別率較低，只能大致識別此應用是P2P或是HTTPDPI的特征庫總是落后于應用，但DFI不會 DFI主要用于識別加密P2P流量目 錄 Contents整體架構(gòu)DPI、DFIQOS調(diào)度機制流屬性繼承Page19鏈路PIPE2PIPE3PIPE4PIPE1vc1vc2全局屬性PIPEVC數(shù)據(jù)流屬性OK

11、屬性繼承順序為：全局-PIPE-VC流量進入鏈路后，首先尋找可匹配的PIPE。如果沒有，則進入Default PIPE。如上圖，如果流量匹配PIPE1，則進入；每個PIPE之間有優(yōu)先級，數(shù)據(jù)按順序匹配，匹配成功后，不會繼續(xù)向下查詢。如果沒有任何PIPE可匹配，則進入Default PIPE（圖中鏈路除PIPE1-4之外，其余部分是Default PIPE）進入PIPE后（包括Default PIPE），尋找可以匹配的VC。如果沒有，則進入Default VC。規(guī)則同PIPE流屬性繼承Page20宿舍網(wǎng)IP辦公網(wǎng)IP迅雷視頻宿舍網(wǎng)迅雷宿舍網(wǎng)視頻宿舍網(wǎng)HTTP宿舍網(wǎng)QQ辦公網(wǎng)QQHTTP視頻視頻迅

12、雷辦公網(wǎng)辦公網(wǎng)實驗室圖書館共享池同屬一個橋的幾個PIPE之間可以共用共享池同屬同一個PIPE的幾個VC之間可以共用共享池跨橋的PIPE不能共享跨PIPE的VC不能共享權(quán)重：共享池里面的VC或PIPE通過權(quán)重分配可共享的帶寬。假設A、B、C三個VC，每個VC有1M帶寬，三個VC用一個共享池A、B、C的權(quán)重分別為1、2、3當C不在線的時候，A和B可以租用C的帶寬根據(jù)權(quán)重計算，最終A的最大帶寬為（1+1/3）MB的最大帶寬為（1+2/3）MPage21數(shù)據(jù)入棧一條流確認自己的屬性后（屬于哪個PIPE和VC），先檢查PIPE中是否有per IP屬性。有per IP屬性（假設每個IP不能超過1M），則先

13、檢查自己是否流量超過1M超過1M，則不能入棧，丟棄；不超過1MVC沒滿可以入棧VC滿，丟棄沒有per IP屬性VC沒滿可以入棧VC滿，丟棄Page22數(shù)據(jù)出棧數(shù)據(jù)流入棧后進行排隊，準備轉(zhuǎn)發(fā)出棧算法類似WRR（Weighted Round Robin），基于權(quán)重輪詢發(fā)包如：2個隊列，他們的權(quán)重比為2:1第一個隊列先發(fā)2M字節(jié)第二個隊列再發(fā)1M字節(jié)之后從頭循環(huán)ACE的QOS算法與WRR的區(qū)別？WRR是按包輪詢，每個隊列發(fā)幾個包ACE是按流量輪詢，每個隊列發(fā)多少流量為保證通道不被相同數(shù)據(jù)流占滿，ACE采用了PFQ（per Flow queue），不同的流有更高的優(yōu)先級占用其他通道。迅雷有2個流要出棧，這時候，HTTP數(shù)據(jù)流也要出棧，則優(yōu)先發(fā)送1個迅雷流和HTTP，等HTTP流發(fā)送后在發(fā)送剩下的1個迅雷流Page23報表（RMON）RMON為RFC標準，用于各種報表的生成ACE的RMON是基于接口的，只有當接口打開RMON，才有報表生成ACE有兩種接口，物理接口和