網(wǎng)絡(luò)流量模型及分析(最終思路)課件

1、1網(wǎng)絡(luò)流量模型及分析我們的工作網(wǎng)絡(luò)流量相關(guān)概念網(wǎng)絡(luò)流量的采集網(wǎng)絡(luò)流量模型實(shí)例分析1234網(wǎng)絡(luò)流量概念分類測(cè)量網(wǎng)絡(luò)流量的特點(diǎn)自相似性長(zhǎng)相關(guān)性周期性、突發(fā)性、混沌性網(wǎng)絡(luò)流量相關(guān)概念網(wǎng)絡(luò)流量-概念網(wǎng)絡(luò)流量就是網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量 單位時(shí)間內(nèi)通過網(wǎng)絡(luò)設(shè)備或者傳輸介質(zhì)的信息量報(bào)文數(shù)數(shù)據(jù)包數(shù)字節(jié)數(shù)網(wǎng)絡(luò)流量-分類Packet-level的流量分類關(guān)注數(shù)據(jù)包（packet）的特征及其到達(dá)過程Flow-level的流量分類由源IP地址、源端口、目的IP地址、目的端口、應(yīng)用協(xié)議組成的五元組Stream-level的流量分類由源IP地址、目的IP地址、應(yīng)用協(xié)議組成的三元組上述三種分類方法，流量的粒度由小到大遞增。廣泛

2、使用參考文獻(xiàn)：Internet流量模型分析與評(píng)述_張賓，楊家海，吳建平網(wǎng)絡(luò)流量-測(cè)量主動(dòng)向目標(biāo)鏈路或目標(biāo)節(jié)點(diǎn)發(fā)送探測(cè)包測(cè)量延遲、帶寬、丟包率被動(dòng)接入網(wǎng)絡(luò)的測(cè)量探針監(jiān)測(cè)、記錄網(wǎng)絡(luò)上的數(shù)據(jù)情況主動(dòng)測(cè)量會(huì)額外注入流量，被動(dòng)測(cè)量涉及安全性與私密性問題主動(dòng)測(cè)量確定網(wǎng)絡(luò)整體性能，被動(dòng)測(cè)量故障定位！理想的網(wǎng)絡(luò)測(cè)量不影響數(shù)據(jù)包轉(zhuǎn)發(fā)的速度完整的流量監(jiān)控占用資源少不會(huì)泄露用戶的隱私速度完整資源安全網(wǎng)絡(luò)測(cè)量的意義Internet流量工程和網(wǎng)絡(luò)行為學(xué)的研究的依據(jù)開發(fā)高性能網(wǎng)絡(luò)設(shè)備和設(shè)計(jì)網(wǎng)絡(luò)協(xié)議的理論基礎(chǔ)開展Qos敏感應(yīng)用提供Qos保證的前提條件診斷網(wǎng)絡(luò)的運(yùn)行狀況，進(jìn)行更好的管理保障網(wǎng)絡(luò)安全，防范網(wǎng)絡(luò)攻擊運(yùn)營(yíng)商針對(duì)網(wǎng)絡(luò)

3、流量進(jìn)行業(yè)務(wù)上的收費(fèi)網(wǎng)絡(luò)流量的特點(diǎn)自相似性長(zhǎng)相關(guān)性周期性突發(fā)性混沌性采集自臺(tái)灣地區(qū)的臺(tái)中教育大學(xué)網(wǎng)絡(luò)主節(jié)點(diǎn)服務(wù)器Incming artides共計(jì)71天的每小時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)圖自相似性局部結(jié)構(gòu)與總體結(jié)構(gòu)相比具有某種程度的一致性種類確定自相似性隨機(jī)自相似性（網(wǎng)絡(luò)流量）赫斯特指數(shù)（Hurst）確定自相似性示例自相似性-從分布的角度定義參考文獻(xiàn)：基于時(shí)間相關(guān)的網(wǎng)絡(luò)流量建模與預(yù)測(cè)研究_高波自相似性-赫斯特指數(shù)（Hurst）表征自相似特性的一個(gè)重要參數(shù)當(dāng)0H0.5時(shí)，表示負(fù)相關(guān)，即不具備自相似性高低值交替的趨勢(shì)持續(xù)一段時(shí)間（粗糙曲線）當(dāng)H=0.5時(shí)，隨機(jī)過程呈現(xiàn)為某種“隨機(jī)游走”狀態(tài)，即不同時(shí)間的狀態(tài)轉(zhuǎn)換

4、是互不相關(guān)的當(dāng)0.5H0，k0，則 Pareto 分布概率密度函數(shù) f(x)是如下描述的分段函數(shù)結(jié)論：當(dāng)多個(gè)獨(dú)立同分布的 ON/OFF 數(shù)據(jù)源流量疊加時(shí)，如果 ON 狀態(tài)或者 OFF 狀態(tài)的持續(xù)時(shí)間服從重尾分布，那么疊加流量將具有自相似性39帕累托分布（Pareto）重尾分布的ON/OFF模型優(yōu)點(diǎn)可以解釋產(chǎn)生自相似的部分原因，有助于深入地了解自相似的本質(zhì)缺點(diǎn)各個(gè)源端必須是獨(dú)立同分布的,且輸出速率為常數(shù)與實(shí)際網(wǎng)絡(luò)業(yè)務(wù)不符，適用范圍受限C，即Convergence，表示趨同性網(wǎng)絡(luò)趨同性說(shuō)明：以往的 ON/OFF 模型中對(duì)于各個(gè) ON/OFF 源之間獨(dú)立同分布的假設(shè)變得不切實(shí)際，導(dǎo)致 ON/OFF

5、模型生成流量的合成流量的自相關(guān)函數(shù)并不滿足實(shí)際網(wǎng)絡(luò)流量的長(zhǎng)相關(guān)特性C-ON/OFF模型1、根據(jù) Internet 中廣泛存在的趨同性改進(jìn)現(xiàn)有的 ON/OFF 模型，使各源之間具有一定的相關(guān)性，討論各源之間相關(guān)性與合成流量長(zhǎng)相關(guān)性的關(guān)系2、建立基于 ON/OFF 模型的具有趨同性的新網(wǎng)絡(luò)流量模型。3、使用歸一化子協(xié)方差函數(shù)和Hurst參數(shù)驗(yàn)證實(shí)驗(yàn)步驟假設(shè) ON/OFF 模型中有 N 個(gè) ON/OFF 源，每個(gè) ON/OFF 源產(chǎn)生的流量分別是 X1(m)、X2(m)、XN(m)，其中 m 為整數(shù)離散時(shí)間， m 0。這 N 個(gè)源生成流量的合成流量 X(m)為：設(shè) n 為時(shí)間間隔，n 為大于等于零的

6、整數(shù)，那么，X(m)的自相關(guān)函數(shù)為：理論驗(yàn)證N 個(gè)獨(dú)立同分布 ON/OFF 源的合成流量的自協(xié)方差函數(shù)與每個(gè)源流量自協(xié)方差函數(shù)的關(guān)系：其中c(n)是合成流量的自協(xié)方差函數(shù)，ci(n)是每個(gè)源流量的自協(xié)方差一系列數(shù)學(xué)推導(dǎo)V. Paxson 等人34指出，ON 周期或 OFF 周期的持續(xù)時(shí)間具有輕尾分布的 ON/OFF 模型在獨(dú)立同分布條件下產(chǎn)生的合成流量是短相關(guān)流量結(jié)論1：當(dāng) ON/OFF 結(jié)構(gòu)模型滿足獨(dú)立同分布、ON 周期或 OFF 周期持續(xù)時(shí)間呈輕尾分布時(shí)，源產(chǎn)生的流量具有短相關(guān)性質(zhì)結(jié)論1各個(gè)源產(chǎn)生流量的自協(xié)方差函數(shù)與互協(xié)方差函數(shù)說(shuō)明：由于各個(gè)源之間不獨(dú)立，因此第二項(xiàng)必不為零結(jié)論2：?jiǎn)蝹€(gè)流量

7、之間的互協(xié)方差是否可加將直接決定聚合流量自協(xié)方差函數(shù)是否可加，即各源生成流量之間的互相關(guān)性的強(qiáng)弱決定了合成流量自協(xié)方差的可加性當(dāng)On或者Off持續(xù)周期不獨(dú)立當(dāng) ON/OFF 結(jié)構(gòu)模型滿足獨(dú)立同分布、ON 周期或 OFF 周期持續(xù)時(shí)間呈輕尾分布時(shí)，源產(chǎn)生的流量具有短相關(guān)性質(zhì)只要滿足獨(dú)立同重尾分布這個(gè)條件，無(wú)論單個(gè)流量還是合成流量都是長(zhǎng)相關(guān)流量如果各源之間不獨(dú)立，具有一定相關(guān)性，那么，對(duì)于重尾分布來(lái)說(shuō)，合成流量必然長(zhǎng)相關(guān)理論論證之結(jié)論歸一化自協(xié)方差函數(shù)，又稱自相關(guān)系數(shù)Hurst參數(shù)估值兩種驗(yàn)證方法實(shí)驗(yàn)條件控制輕尾分布重尾分布數(shù)據(jù)源獨(dú)立獨(dú)立，輕尾獨(dú)立，重尾數(shù)據(jù)源不獨(dú)立不獨(dú)立，輕尾不獨(dú)立，重尾第一組：

8、ON/OFF 模型各源的 ON、OFF 狀態(tài)周期均呈輕尾分布，且各源之間相互獨(dú)立。第二組：ON/OFF 模型各源的 ON、OFF 狀態(tài)周期均呈輕尾分布（指數(shù)分布），但各源之間不獨(dú)立，具有一定相關(guān)性第三組：ON/OFF 模型各源的 ON、OFF 狀態(tài)周期均呈重尾分布（選取 Pareto 分布作為重尾分布的代表），且各源之間相互獨(dú)立第四組：ON/OFF 模型各源的 ON、OFF 狀態(tài)周期均呈重尾分布（Pareto 分布），各源之間不獨(dú)立，具有一定相關(guān)性實(shí)驗(yàn)條件設(shè)置歸一自協(xié)方差驗(yàn)證結(jié)論Hurst參數(shù)估值驗(yàn)證結(jié)論構(gòu)造新模型C-On/off條件設(shè)置1） 固定 n，觀察 C-ON/OFF 模型生成流量的歸

9、一化自協(xié)方差隨 N 值的變化情況；2） 固定 N，觀察 C-ON/OFF 模型生成流量的歸一化自協(xié)方差隨 n 值的變化情況。使用C-on/off模型測(cè)試實(shí)驗(yàn)結(jié)果（n固定）實(shí)驗(yàn)結(jié)果（N固定）Hurst驗(yàn)證新模型Hurst驗(yàn)證新模型首先通過理論分析證明了如下結(jié)論：在經(jīng)典ON/OFF 模型的基礎(chǔ)上加入各 ON/OFF 源之間的相關(guān)性，可以在 ON 周期和OFF 周期持續(xù)時(shí)間分布為輕尾分布的條件下產(chǎn)生長(zhǎng)相關(guān)性質(zhì)的流量然后對(duì)上述結(jié)論進(jìn)行了仿真驗(yàn)證，仿真結(jié)果表明：在 ON/OFF 模型各源之間增加相關(guān)性之后，即使 ON/OFF 模型的 ON 周期和 OFF 周期持續(xù)時(shí)間呈輕尾分布，合成流量依然具有長(zhǎng)相關(guān)性

10、；若 ON 周期和 OFF 周期持續(xù)時(shí)間呈重尾分布，那么各源之間的相關(guān)性將加劇合成流量的自相似程度，表現(xiàn)為 Hurst 參數(shù)值的增加C-on/off結(jié)論流量模型的發(fā)展歷程傳統(tǒng)模型（短相關(guān)）自相似模型（長(zhǎng)相關(guān)）流量模型的新發(fā)展 泊松模型 馬爾科夫模型 回歸模型重尾分布的ON/OFF模型M/G/排隊(duì)模型FBM/FGN模型基于神經(jīng)網(wǎng)絡(luò)的模型多分形模型20時(shí)期70年代-1994年1994年-2004年2004 年泊松回歸引發(fā)的爭(zhēng)論至今2004 年,Karagiannis 等人通過分析Tier 1 ISP 的骨干鏈路流量發(fā)現(xiàn),目前高帶寬和高聚合的鏈路流量在極小尺度下近似泊松過程,從而引發(fā)了人們對(duì)網(wǎng)絡(luò)流量

11、特征及建模的新思索和爭(zhēng)論之所以這樣劃分,并不表示近時(shí)期的流量模型不具有自相似的特征,主要是為了更清晰地了解近些年網(wǎng)絡(luò)流量模型的發(fā)展情況流量建模新發(fā)展近年其他模型的發(fā)展流量預(yù)測(cè)模型基于神經(jīng)網(wǎng)絡(luò)的模型混沌理論模型模糊理論模型混合模型多分形模型展望流量模型的發(fā)展目前的網(wǎng)絡(luò)模型基本都基于流量時(shí)間序列的自相似特性，未來(lái)是否還會(huì)有別的特性發(fā)現(xiàn)？目前的流量均基于時(shí)間特性，是否將來(lái)會(huì)考慮空間特性？網(wǎng)絡(luò)流量的小尺度行為的研究新的物理模型的發(fā)展模型的簡(jiǎn)單和精確性發(fā)展（1）節(jié)點(diǎn)1 ：為整個(gè)校區(qū)的網(wǎng)絡(luò)出口處，是整個(gè)校區(qū)的流量總和，具有最高匯聚度（2）節(jié)點(diǎn)2： 為匯聚層中一個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)的總流量，該子網(wǎng)絡(luò)節(jié)點(diǎn)的總流量是3

12、 個(gè)子網(wǎng)絡(luò)中流量最小的（3）節(jié)點(diǎn)3： 為匯聚層中一個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)的總流量，該子網(wǎng)絡(luò)節(jié)點(diǎn)的流量是3 個(gè)子網(wǎng)絡(luò)中流量最大的（4）節(jié)點(diǎn)4 ：為最下層路由器連接的交換機(jī)的流量總和實(shí)例分析：校園網(wǎng)7采用被動(dòng)測(cè)量技術(shù)，并對(duì)采集的報(bào)文抽樣統(tǒng)計(jì)。運(yùn)用Solarwinds軟件對(duì)校園網(wǎng)流量信息進(jìn)行抽樣測(cè)量。根據(jù)每30min的時(shí)間間隔來(lái)完成對(duì)校園網(wǎng)流量數(shù)據(jù)信息的采集。校園網(wǎng)流量測(cè)量參考文獻(xiàn)：校園網(wǎng)絡(luò)流量分析與預(yù)測(cè)研究_張昕基于BP神經(jīng)網(wǎng)絡(luò)的流量預(yù)測(cè)BP 神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練步驟如下：（1）樣本分類。把樣本分為訓(xùn)練樣本和測(cè)試樣本，訓(xùn)練樣本用于訓(xùn)練網(wǎng)絡(luò)，測(cè)試樣本用于測(cè)試網(wǎng)絡(luò)預(yù)測(cè)性能。（2）網(wǎng)絡(luò)初始化。隨機(jī)初始化 BP 神經(jīng)

13、網(wǎng)絡(luò)的權(quán)值和閾值，設(shè)置網(wǎng)絡(luò)學(xué)習(xí)速率 。（3）預(yù)測(cè)輸出。把訓(xùn)練樣本輸入網(wǎng)絡(luò)，計(jì)算網(wǎng)絡(luò)預(yù)測(cè)輸出并計(jì)算網(wǎng)絡(luò)預(yù)測(cè)輸出和期望輸出的誤差e。（4）權(quán)值修正。根據(jù)誤差e修正網(wǎng)絡(luò)權(quán)值和閾值，從而使網(wǎng)絡(luò)預(yù)測(cè)值逼近期望值。（5）判斷算法是否結(jié)束，如沒有結(jié)束，返回步驟 3，繼續(xù)運(yùn)行。sigmoid基于BP神經(jīng)網(wǎng)絡(luò)的流量預(yù)測(cè)學(xué)習(xí)速率 取 0.1基于BP神經(jīng)網(wǎng)絡(luò)的流量預(yù)測(cè)在網(wǎng)絡(luò)訓(xùn)練達(dá)到 50 次時(shí)訓(xùn)練的均方誤差為 0.108142，在訓(xùn)練達(dá)到 500 次時(shí)均方誤差為 0.106294，實(shí)際上，當(dāng)訓(xùn)練達(dá)到 220 次時(shí)均方誤差基本沒有變化，說(shuō)明此時(shí)訓(xùn)練次數(shù)的增加并不能改善網(wǎng)絡(luò)流量的預(yù)測(cè)性能。基于小波神經(jīng)網(wǎng)絡(luò)的流量預(yù)測(cè)模型

14、將小波分析和神經(jīng)網(wǎng)絡(luò)直接結(jié)合，把神經(jīng)網(wǎng)絡(luò)隱含層的傳輸函數(shù)用小波函數(shù)代替，大多數(shù)前向多層神經(jīng)網(wǎng)絡(luò)都是基于 Sigmoid函數(shù)的基函數(shù)網(wǎng)絡(luò)，用這種網(wǎng)絡(luò)作函數(shù)逼近時(shí)，由于 Sigmoid 函數(shù)自身的局限性使得其是一種次優(yōu)網(wǎng)絡(luò)。把神經(jīng)網(wǎng)絡(luò)隱含層的傳輸函數(shù)用小波函數(shù)代替，這樣的結(jié)合從本質(zhì)上改變了預(yù)測(cè)模型的結(jié)構(gòu)，在不影響預(yù)測(cè)精度的前提下，縮短了模型的訓(xùn)練時(shí)間，提高了訓(xùn)練的速度,克服了神經(jīng)網(wǎng)絡(luò)容易陷入局部次優(yōu)的缺點(diǎn)，且算法易實(shí)現(xiàn)、易應(yīng)用和易推廣。Morlet 母小波基函數(shù)：基于小波神經(jīng)網(wǎng)絡(luò)的流量預(yù)測(cè)模型基于小波神經(jīng)網(wǎng)絡(luò)的流量預(yù)測(cè)模型基于小波神經(jīng)網(wǎng)絡(luò)的流量預(yù)測(cè)模型本節(jié)實(shí)驗(yàn)采用松散型小波神經(jīng)網(wǎng)絡(luò)模型進(jìn)行流量預(yù)測(cè)

15、。首先運(yùn)用小波對(duì)采集的數(shù)據(jù)流量序列進(jìn)行小波分解，此處選擇 haar 小波對(duì)流量進(jìn)行 3 層小波分解基于小波神經(jīng)網(wǎng)絡(luò)的流量預(yù)測(cè)模型在本實(shí)驗(yàn)中采用的小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為 4-9-1。網(wǎng)絡(luò)權(quán)值的初值是在參數(shù)初始化時(shí)隨機(jī)得到。本實(shí)驗(yàn)對(duì)小波神經(jīng)網(wǎng)絡(luò)反復(fù)進(jìn)行 500 次訓(xùn)練校園網(wǎng)網(wǎng)絡(luò)流量分析流量分析步驟：選擇一種方法采集流量選擇一種或多種流量分析模型對(duì)采集到的流量的預(yù)處理劃分訓(xùn)練集、測(cè)試集對(duì)元數(shù)據(jù)做必須的映射處理分解元數(shù)據(jù)，分面處理訓(xùn)練模型，分析并預(yù)測(cè)參考文獻(xiàn)（1）基于時(shí)間相關(guān)的網(wǎng)絡(luò)流量建模與預(yù)測(cè)研究高波Internet 流量模型分析與評(píng)述張賓, 楊家海, 吳建平自相似網(wǎng)絡(luò)流量模型研究王暉，季振洲，朱素霞網(wǎng)絡(luò)流量模型與流量預(yù)測(cè)技術(shù)研究張久坤校園網(wǎng)絡(luò)流量分析與預(yù)測(cè)研究張昕網(wǎng)絡(luò)流量分析關(guān)鍵技術(shù)研究任春梅校園網(wǎng)絡(luò)流量自相似性分析與研究張浩參考文獻(xiàn)（2）Wide Area Traffic: The Fail