（計算機(jī)科學(xué)與技術(shù)專業(yè)論文）網(wǎng)絡(luò)異常流量檢測模型設(shè)計與實現(xiàn).pdf

摘要 網(wǎng)絡(luò)異常流量檢測功能是i t 運(yùn)維管理系統(tǒng)的重要功能之一。在 i t 系統(tǒng)的管理過程中，網(wǎng)絡(luò)的可用性和可靠性是一項非常重要的指 標(biāo)，通過對網(wǎng)絡(luò)流量的檢測可以對網(wǎng)絡(luò)運(yùn)行狀況進(jìn)行預(yù)判，從而可以 采取針對性的解決措施來保證網(wǎng)絡(luò)正常的運(yùn)行。針對企業(yè)內(nèi)部i t 網(wǎng) 絡(luò)，如何設(shè)計實現(xiàn)合理有效的網(wǎng)絡(luò)流量異常檢測方法已成為i t 管理 中重要的課題。 本文在介紹了現(xiàn)有常用的網(wǎng)絡(luò)流量異常檢測算法的基礎(chǔ)上，然后 結(jié)合企業(yè)內(nèi)部i t 網(wǎng)絡(luò)自身的特點(diǎn)，提出了用時間窗比較進(jìn)行網(wǎng)絡(luò)異 常流量檢測的新算法；然后將所提出的新算法同已有的靜態(tài)、動態(tài)檢 測算法相結(jié)合，提出了網(wǎng)絡(luò)異常流量綜合檢測模型，通過不同方法和 不同角度比較來發(fā)現(xiàn)網(wǎng)絡(luò)中是否存在異常流量。 在介紹i t 運(yùn)維管理系統(tǒng)及其功能的基礎(chǔ)上，設(shè)計并實現(xiàn)了網(wǎng)絡(luò)異 常流量檢測子系統(tǒng)，此子系統(tǒng)實現(xiàn)所提出的網(wǎng)絡(luò)異常流量綜合檢測模 型。論文給出了子系統(tǒng)的詳細(xì)設(shè)計，數(shù)據(jù)庫設(shè)計，檢測流程及其實現(xiàn) 步驟、實現(xiàn)主要類的說明和測試情況。最后對論文加以總結(jié)并提出需 要進(jìn)一步研究或改進(jìn)的工作。 關(guān)鍵詞網(wǎng)絡(luò)異常異常檢測網(wǎng)絡(luò)管理 d e s i g na n di m p l e m e n t a t i o no ft h en e t w o r k t r a f f i ca n o m a l y d e t e c t i o nm o d e l n e t w o r kt r a f f i ca n o m a l yd e t e c t i o ni sa ni m p o r t a n tc o m p o n e n to f i tm a n a g e m e n t w i t hi nt h eo p e r a t i n go ft h ei ts y s t e m ，t h er e l i a b i l i t y a n dt h eu s a b i l i t ya r et h ek e yp e r f o r m a n c ei n d i c a t o r s t oa n a l y z et h e c o m p o n e n t so ft h en e t w o r kw o r kt r a f f i c ，w ec a nj u d g et h eo p e r a t i n g s t a t u so ft h en e t w o r ka n dm a k et h ef i g h td e c i s i o nt om a k es u r et h es t a b l e s t a t u so ft h en e t w o r k h o wt od e s i g na ne f f e c t i v em o d e lo fa n o m a l y d e t e c t i o nt oc h e c kt h ei n n e rn e t w o r ko fac o r p e r a t i o ni sa ni m p o r t a n t t a s ki nt h ei tm a n a g e m e n t f i r s t l y , t h eb a s i ck n o w l e d g eo fn e t w o r kt r a 墑ca n o m a l yd e t e c t i o ni s i n t r o d u c e da n dt h er e s e a r c hb a c k g r o u n da n ds i g n i f i c a n c eo ft h i si s s u ei s a l s od e s c r i b e d s e c o n d l y , i nt e r m so ft h ec h a r a c t e r so ft h ei n n e rn e t w o r k i no n ec o m p a n y , t h ed e s i g nc o n c e p t sa n df u n c t i o nr e q u i r e m e n t so ft h e n e t w o r kt r a f f i ca n o m a l yd e c t e c t i o na r ei n t r o d u c e d c h e c kt h en e t w o r k t r a f f i c a n o m a l yb v d i f 詫r e n t w a y sa n df r o md i f f e r e n tv i e w s b y i n t r o d u c i n gi to p e r a t i o nm a n a g e m e n ts y s t e ms t r u c t u r ea n df u n c t i o n r e q u i r e m e n t s ，t h es o f t w a r ea r c h i t e c t u r e so fn e t w o r kt r a f f i ca n o m a l y d e t e c t i o na r e p u tf o r w a r d ，a n dt h em o d u l ed e s i g n ，p r i m a r yd a t a b a s e s t r u c t u r e s ，w o r k f l o wo fd e c t e c t i o n ，m a i na l g o r i t h m sa n dt h em a i n i m p l e m e n tc l a s s e sa r ea l s os t a t e d a tl a s t t h ec o n c l u s i o no ft h i sp a p e r a n ds o m ef u t u r ew o r ka r eb r i e f l yi n t r o d u c e d k e yw o r d sn e t w o r kt r a f f i c a n o m a l ya n o m a l y d e t e c t i o n n e t w o r km a n a g e m e n t 獨(dú)創(chuàng)性( 或創(chuàng)新性) 聲明 本人聲明所呈交的論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究 成果。盡我所知，除了文中特別加以標(biāo)注和致謝中所羅列的內(nèi)容以外，論文中不 包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得北京郵電大學(xué)或其他 教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對本研究所做的任 何貢獻(xiàn)均已在論文中作了明確的說明并表示了謝意。 申請學(xué)位論文與資料若有不實之處，本人承擔(dān)一切相關(guān)責(zé)任。 本人簽名： 施怖 j 日期：勘宮傘i 關(guān)于論文使用授權(quán)的說明 學(xué)位論文作者完全了解北京郵電大學(xué)有關(guān)保留和使用學(xué)位論文的規(guī)定，即： 研究生在校攻讀學(xué)位期間論文工作的知識產(chǎn)權(quán)單位屬北京郵電大學(xué)。學(xué)校有權(quán)保 留并向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁盤，允許學(xué)位論文被查閱和借 閱；學(xué)?？梢怨紝W(xué)位論文的全部或部分內(nèi)容，可以允許采用影印、縮印或其它 復(fù)制手段保存、匯編學(xué)位論文。( 保密的學(xué)位論文在解密后遵守此規(guī)定) 保密論文注釋：本學(xué)位論文屬于保密在年解密后適用本授權(quán)書。非保密論 文注釋：本學(xué)位論文不屬于保密范圍，適用本授權(quán)書。 本人簽名： 日期：枷譬咩j 導(dǎo)師簽名乖弘 日期- 溯- | 北京郵電大學(xué)碩上研究生畢業(yè)論文 網(wǎng)絡(luò)流量異常檢測模型設(shè)計與實現(xiàn) 1 1 研究背景 第一章前言 隨著i t 系統(tǒng)建設(shè)的完成和規(guī)模的擴(kuò)大，對i t 系統(tǒng)的管理變得越來越復(fù)雜， 需要建立與之對應(yīng)的1 1 r 運(yùn)維管理系統(tǒng)來管理龐大的i t 系統(tǒng)，使i t 系統(tǒng)在出現(xiàn) 故障的情況下，能在最短時間內(nèi)得到處理，將損失降到最低。r r 運(yùn)維管理系統(tǒng) 已成為目前企業(yè)信息化建設(shè)的重點(diǎn)，在對企業(yè)內(nèi)部建立的r r 網(wǎng)絡(luò)管理中，網(wǎng)絡(luò) 監(jiān)測是其中的基礎(chǔ)部分，是網(wǎng)絡(luò)管理人員的主要工作【l 】【2 1 。網(wǎng)絡(luò)監(jiān)測的目的是 提高服務(wù)質(zhì)量，提高資源利用率，在用戶報告問題之前開始診斷或解決問題， 提高網(wǎng)絡(luò)的可靠性和可用性。網(wǎng)絡(luò)流量異常檢測是r r 網(wǎng)絡(luò)監(jiān)測的重要組成部 分，對于一個企業(yè)內(nèi)部網(wǎng)絡(luò)，流量管理主要保證和提高網(wǎng)絡(luò)可靠性和可用性。 通過異常流量的探測和分析，用戶可以及時發(fā)現(xiàn)網(wǎng)絡(luò)中出現(xiàn)的異常流量，對病 毒、網(wǎng)絡(luò)攻擊以及網(wǎng)絡(luò)非法應(yīng)用產(chǎn)生的網(wǎng)絡(luò)流量進(jìn)行監(jiān)控。當(dāng)異常檢測出來后， 用戶可以根據(jù)異常流量分析得出網(wǎng)絡(luò)遭受哪種攻擊，從而采取較有針對性的解 決措施，也可以定位出產(chǎn)生故障的問題主機(jī)，隔斷該主機(jī)與網(wǎng)絡(luò)的連接來保證 網(wǎng)絡(luò)運(yùn)行的質(zhì)量。 有效的流量管理一般分為兩個步驟，第一步是系統(tǒng)發(fā)現(xiàn)網(wǎng)絡(luò)性能問題或故 障，第二步是提出性能問題和故障的解決辦法。目前網(wǎng)絡(luò)流量管理中對流量異 常的告警多是采用基于閾值的方法，即由有經(jīng)驗的網(wǎng)絡(luò)管理員人為的設(shè)定某條 鏈路的流量閾值，當(dāng)系統(tǒng)發(fā)現(xiàn)當(dāng)前流量超過閾值時產(chǎn)生告警。這樣的系統(tǒng)有一 個缺點(diǎn)：網(wǎng)絡(luò)流量存在突發(fā)性和隨機(jī)性的特點(diǎn)，在實際網(wǎng)絡(luò)運(yùn)行中難以設(shè)定這 個閾值，如果設(shè)定的閾值太低，則系統(tǒng)可能出現(xiàn)告警風(fēng)暴，其中誤報的可能性 很大；如果設(shè)定的閾值太高，則不易發(fā)現(xiàn)網(wǎng)絡(luò)中存在的細(xì)微流量突變，這個時 候可能就是某種攻擊或病毒的出現(xiàn)，從而導(dǎo)致不能及時進(jìn)行有效的網(wǎng)絡(luò)管理。 因此提出更加有效和更有針對性的網(wǎng)絡(luò)流量異常檢測模型對于i t 管理系統(tǒng)的 開發(fā)和建設(shè)具有重要的理論意義和應(yīng)用價值。 1 2 本文要解決的問題與創(chuàng)新點(diǎn) 對1 1 r 網(wǎng)絡(luò)流量異常的檢測是論文試圖解決的問題，具體來說，論文主要解 北京郵電人學(xué)碩- i ：研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測模型設(shè)計與實現(xiàn) 決以下問題： 一 如何對企業(yè)內(nèi)部網(wǎng)絡(luò)建立一套更加有效和有針對性的網(wǎng)絡(luò)流量異常檢 測算法和模型； 一 如何設(shè)計和實現(xiàn)r i 運(yùn)維管理系統(tǒng)中的網(wǎng)絡(luò)流量異常檢測子系統(tǒng)。 概括起來，本文的創(chuàng)新點(diǎn)是： 一 提出了基于時間窗比較進(jìn)行網(wǎng)絡(luò)異常流量檢測的新算法：時間窗內(nèi)網(wǎng) 絡(luò)流量采樣曲線比較算法； 一 提出了網(wǎng)絡(luò)異常流量檢測模型，此模型將時間窗內(nèi)網(wǎng)絡(luò)流量采樣曲線 比較算法同現(xiàn)有靜態(tài)、動態(tài)檢測算法相結(jié)合，并對各種檢測算法的結(jié) 果進(jìn)行綜合分析，此模型能夠更加有效地檢測企業(yè)內(nèi)部網(wǎng)絡(luò)的異常情 況。 1 3 研究生期間的工作 研究生期間，筆者參與多個大型1 1 r 運(yùn)維管理系統(tǒng)的研究與開發(fā)工作，對 i t 運(yùn)維管理系統(tǒng)結(jié)構(gòu)有較深的認(rèn)識，掌握了i t 運(yùn)維管理系統(tǒng)所需的關(guān)鍵技術(shù)， 包括基于模型驅(qū)動架構(gòu)( m d a ) 技術(shù)，故障根原因分析技術(shù)，流量異常檢測技 術(shù)和流量流向分析技術(shù)等，并對網(wǎng)絡(luò)流量管理進(jìn)行了較為深入的研究。攻讀研 究生期間的研究工作主要如下： 一 1 1 r 基礎(chǔ)設(shè)施與應(yīng)用管理子系統(tǒng)的研究與開發(fā)。i t 基礎(chǔ)設(shè)施與應(yīng)用管理 子系統(tǒng)是i t i l 服務(wù)管理系統(tǒng)中的基礎(chǔ)部分，負(fù)責(zé)管理企業(yè)異構(gòu)網(wǎng)絡(luò)環(huán) 境下各種1 1 r 基礎(chǔ)資源( 網(wǎng)絡(luò)設(shè)備、服務(wù)器、數(shù)據(jù)庫、中間等) 。主要 負(fù)責(zé)系統(tǒng)的u i ( 用戶界面) 設(shè)計和u i 集成，并參與完成性能采集和性 能分析模塊的實現(xiàn)。 一 某集團(tuán)公司綜合網(wǎng)絡(luò)監(jiān)視管理系統(tǒng)的研究與開發(fā)。負(fù)責(zé)完成基于 n e t f l o w 的網(wǎng)絡(luò)流量流向分析模塊，此模塊對企業(yè)內(nèi)部網(wǎng)絡(luò)的利用率和 網(wǎng)絡(luò)帶寬和負(fù)載調(diào)整有重要的作用。 一 全國無線電管理信息系統(tǒng)網(wǎng)絡(luò)管理系統(tǒng)的研究與開發(fā)。在研究和開發(fā)的 工作中提出了基于企業(yè)內(nèi)部網(wǎng)絡(luò)的網(wǎng)絡(luò)流量異常檢測算法，并且根據(jù) i t 運(yùn)維管理系統(tǒng)結(jié)構(gòu)，將網(wǎng)絡(luò)流量異常檢測作為其中一個關(guān)鍵子系統(tǒng) 實現(xiàn)，此子系統(tǒng)能夠根據(jù)網(wǎng)絡(luò)出現(xiàn)的異常及時告警，使得網(wǎng)絡(luò)的可靠性 和可用性得到保證。 2 北京郵電大學(xué)碩士研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測模型設(shè)計與實現(xiàn) 1 4 本文結(jié)構(gòu) 本文共五章，其內(nèi)容如下： 第一章前言。前言描述問題的研究背景和研究意義以及本文要解決的問題。 第二章網(wǎng)絡(luò)異常流量檢測方法概述。全面綜述各種網(wǎng)絡(luò)流量的異常檢測方 法，并且給出具體的描述和分析。 第三章網(wǎng)絡(luò)流量異常檢測新算法與綜合檢測模型。提出了基于時間窗比較 進(jìn)行網(wǎng)絡(luò)異常流量檢測的新算法，在此基礎(chǔ)上，提出了網(wǎng)絡(luò)異常流量綜合檢測 模型。 第四章流量異常檢測子系統(tǒng)設(shè)計與實現(xiàn)。在簡單介紹i t 運(yùn)維管理系統(tǒng)結(jié)構(gòu) 和系統(tǒng)功能后，說明網(wǎng)絡(luò)異常流量檢測在實現(xiàn)1 1 r 運(yùn)維管理系統(tǒng)中起到的重要作 用，設(shè)計并實現(xiàn)了網(wǎng)絡(luò)流量異常檢測子系統(tǒng)。此子系統(tǒng)實現(xiàn)本文提出的網(wǎng)絡(luò)流 量異常綜合檢測模型。 第五章結(jié)束語?？偨Y(jié)全文并提出論文中可進(jìn)一步改進(jìn)的地方。 最后為參考文獻(xiàn)和致謝部分。 北京郵電人學(xué)碩： ：研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測模型沒計與實現(xiàn) 第二章網(wǎng)絡(luò)流量異常檢測方法概述 本章對現(xiàn)有的網(wǎng)絡(luò)異常檢測技術(shù)進(jìn)行較為詳細(xì)地描述和分析。首先根據(jù)網(wǎng) 絡(luò)流量出現(xiàn)異常的原因?qū)W(wǎng)絡(luò)異常流量進(jìn)行了分類，然后根據(jù)不同的角度將檢 測方法分為兩個大類進(jìn)行描述，其中靜態(tài)檢測方法包括固定閾值方法和自適應(yīng) 閾值調(diào)整方法【3 】；動態(tài)檢測方法包括基于指數(shù)平滑技術(shù)的檢測方法 4 1 、g l r 檢 測方法【5 1 、a m yw a r d 等人提出的檢測方法【6 】等。 2 1 網(wǎng)絡(luò)異常分類 網(wǎng)絡(luò)流量異常的產(chǎn)生有多種原因造成，總結(jié)起來產(chǎn)生網(wǎng)絡(luò)流量異常的主要 原因有：( 1 ) 網(wǎng)絡(luò)設(shè)備自身發(fā)生故障，例如在網(wǎng)絡(luò)中由于路由器或是交換機(jī)的 故障導(dǎo)致網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的變化或是網(wǎng)絡(luò)的中斷都會發(fā)生網(wǎng)絡(luò)流量的變化，導(dǎo)致 某些鏈路的流量異常增加，某些鏈路流量異常減小。在企業(yè)內(nèi)部構(gòu)建的i t 支撐 系統(tǒng)包括多種支撐服務(wù)，如數(shù)據(jù)庫服務(wù)器，郵件服務(wù)器，w e b 服務(wù)器等等，當(dāng) 這些服務(wù)器出現(xiàn)故障的時候也會導(dǎo)致網(wǎng)絡(luò)流量出現(xiàn)異常的變化。( 2 ) 當(dāng)網(wǎng)絡(luò)中 存在惡意攻擊的時候，網(wǎng)絡(luò)也會出現(xiàn)異常流量，例如當(dāng)r r 系統(tǒng)中某臺主機(jī)感染 了蠕蟲病毒，導(dǎo)致該主機(jī)瘋狂的進(jìn)行主機(jī)探測，這時候網(wǎng)絡(luò)中會出現(xiàn)具有蠕蟲 病毒特征的i c m pp i n g 包和t c ps y n ，f i n ，r s t 及a c k 包。當(dāng)企業(yè)內(nèi)部網(wǎng)絡(luò) 中的部分主機(jī)感染了這種病毒的時候，網(wǎng)絡(luò)就會大量充斥著這種包，導(dǎo)致其他 業(yè)務(wù)數(shù)據(jù)丟失，網(wǎng)絡(luò)流量過載，或是網(wǎng)絡(luò)擁塞。 根據(jù)網(wǎng)絡(luò)異常流量引起的不同原因可以把網(wǎng)絡(luò)異常分為三類【7 l ：網(wǎng)絡(luò)故障 引起的異常、瞬間大量訪問異常和網(wǎng)絡(luò)攻擊異常。 網(wǎng)絡(luò)故障異常是指由于網(wǎng)絡(luò)設(shè)備的故障或是鏈接到網(wǎng)絡(luò)上的承載一些關(guān)鍵 業(yè)務(wù)的服務(wù)器的故障，從而引起的網(wǎng)絡(luò)流量異常。例如在企業(yè)內(nèi)部構(gòu)建的i t 支撐系統(tǒng)中，由于某個運(yùn)行一項支撐服務(wù)( 例如：郵件服務(wù)) 的服務(wù)器發(fā)生故 障，導(dǎo)致這項服務(wù)的暫停，可以很清楚的看到企業(yè)網(wǎng)絡(luò)由于郵件服務(wù)的停止會 使網(wǎng)絡(luò)流量大幅下降，導(dǎo)致流量的異常減小。再例如企業(yè)內(nèi)部網(wǎng)絡(luò)由兩個核心 路由器組成和外界信息交互的消息轉(zhuǎn)發(fā)，當(dāng)某一個路由器發(fā)生故障的時候，另 一個路由器上的端口會比平時接到更多的數(shù)據(jù)發(fā)送和接收的請求，有可能導(dǎo)致 網(wǎng)絡(luò)過載和擁塞，從而使得網(wǎng)絡(luò)服務(wù)質(zhì)量變差，關(guān)鍵業(yè)務(wù)數(shù)據(jù)丟失等等。這種 情況會導(dǎo)致觀測路由器端口轉(zhuǎn)發(fā)的數(shù)據(jù)流量會突然大幅增加，導(dǎo)致流量異常變 大。 瞬間大量訪問異常是指由于在短時間內(nèi)對網(wǎng)絡(luò)中某個服務(wù)器請求的大量發(fā) 起導(dǎo)致服務(wù)器過載，業(yè)務(wù)不能處理，響應(yīng)不及時等情況導(dǎo)致的異常。這種異常 4 北京郵電大學(xué)碩士研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測模型設(shè)計與實現(xiàn) 跟網(wǎng)絡(luò)故障異常引起的網(wǎng)絡(luò)流量異常增大有相似的地方，但是它們屬于不同的 分類。網(wǎng)絡(luò)故障導(dǎo)致的網(wǎng)絡(luò)流量異常增大是由于硬件設(shè)備的故障使得網(wǎng)絡(luò)拓?fù)?結(jié)構(gòu)的改變從而引起的異常，而瞬間大量訪問則是由于用戶行為的變化導(dǎo)致了 網(wǎng)絡(luò)流量異常，例如，過年期間的短消息發(fā)送量較平時會有幾倍甚至幾十倍， 幾百倍的增長，這種可以預(yù)期的用戶行為導(dǎo)致網(wǎng)絡(luò)異常和硬件故障引起的異常 需要不同的區(qū)分和解決。 網(wǎng)絡(luò)攻擊異常是指網(wǎng)絡(luò)中出現(xiàn)惡意的對網(wǎng)絡(luò)中某個目標(biāo)進(jìn)行攻擊。例如 d o s 攻擊和蠕蟲病毒端口掃描攻擊。這種網(wǎng)絡(luò)異常情況的出現(xiàn)是由于企業(yè)內(nèi)部 網(wǎng)絡(luò)感染病毒造成。當(dāng)部分主機(jī)感染了這個病毒以后，會導(dǎo)致這些主機(jī)大量不 斷向內(nèi)網(wǎng)中其他主機(jī)發(fā)送端口掃描的數(shù)據(jù)包，由于網(wǎng)絡(luò)的承載設(shè)備不能區(qū)分網(wǎng) 絡(luò)中的業(yè)務(wù)組成所以會將病毒包和正常的業(yè)務(wù)數(shù)據(jù)包做相同的處理，即在網(wǎng)絡(luò) 設(shè)備負(fù)載過重的情況下會丟棄大量的數(shù)據(jù)包。當(dāng)這種情況出現(xiàn)以后，業(yè)務(wù)質(zhì)量 將會大幅下降，網(wǎng)絡(luò)會由于大量存在于網(wǎng)絡(luò)中的病毒數(shù)據(jù)包而擁塞和過載，嚴(yán) 重的損壞了企業(yè)網(wǎng)絡(luò)和業(yè)務(wù)的運(yùn)行。 2 2 靜態(tài)檢測方法 靜態(tài)檢測方法是指由網(wǎng)絡(luò)管理人員根據(jù)自己在管理網(wǎng)絡(luò)過程中的經(jīng)驗來設(shè) 定閾值檢測網(wǎng)絡(luò)是否出現(xiàn)異常。靜態(tài)檢測方法包括固定閾值和自適應(yīng)閾值設(shè)定 兩種。靜態(tài)檢測方法完全依賴于網(wǎng)絡(luò)管理人員對整個網(wǎng)絡(luò)流量的熟悉程度和他 自己對這個網(wǎng)絡(luò)流量行為的認(rèn)識和理解。網(wǎng)絡(luò)管理員根據(jù)自己管理網(wǎng)絡(luò)的經(jīng)驗 來設(shè)定閾值，使得網(wǎng)絡(luò)異常流量檢測閾值不能隨著網(wǎng)絡(luò)流量時刻的變化來及時 的調(diào)整，產(chǎn)生很多的誤報事件和漏報事件。改變閾值由人工設(shè)定固定的值到網(wǎng) 絡(luò)根據(jù)流量隨時調(diào)整到自適應(yīng)的閾值設(shè)定是網(wǎng)絡(luò)流量異常檢測的一種進(jìn)步，這 樣使得人工維護(hù)閾值的成本降低，依賴于系統(tǒng)的自適應(yīng)。但是自適應(yīng)的閾值設(shè) 定檢測方法同樣是基于靜態(tài)檢測的方法，對于網(wǎng)絡(luò)存在那種流量突變的情況同 樣存在漏報的情況。 2 2 1 固定閾值的檢測方法 固定閾值的檢測方法，是目前網(wǎng)絡(luò)監(jiān)測中最常見的方法。該方法簡單易行， 實時性強(qiáng)，但是需要網(wǎng)絡(luò)維護(hù)和監(jiān)測人員需要有豐富的網(wǎng)絡(luò)管理經(jīng)驗，閾值的 選擇必須合適當(dāng)前網(wǎng)絡(luò)情況。當(dāng)選擇閾值過高時，如果網(wǎng)絡(luò)這個時候發(fā)生異常， 而異常的變化在閾值以下，則可能檢測不出這種流量異常。如果設(shè)置的閾值過 低，由于網(wǎng)絡(luò)的不穩(wěn)定性則會造成過的虛假告警，產(chǎn)生告警風(fēng)暴，從而掩蓋真 北京郵電人學(xué)碩十研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測模型設(shè)計與實現(xiàn) 實的有用的告警，使得網(wǎng)絡(luò)管理人員很難維護(hù)。 固定閾值的檢測方法對某個網(wǎng)絡(luò)參數(shù)給出確定的閾值，如果在某個采樣時 刻發(fā)現(xiàn)采集的該參數(shù)值超過預(yù)定的閾值，則發(fā)出流量異常告警。 u 名s 8 8 8 i - s t a t , l ct r a f f l cl 舊脯b n 翻噸l i m _ 0 州陟 ，。 l v i 諺 隊- f 1 k ， b 1 “m瑚2 圖2 1 固定閾值檢測方法示意圖 如圖2 1 所示，起伏的線表示采集一段時間采集到的網(wǎng)絡(luò)流量數(shù)據(jù)，水平 線表示預(yù)先設(shè)定的閾值。采樣點(diǎn)為每五分鐘一次，如果預(yù)先設(shè)定的閾值為一個 常數(shù)，則由上圖我們可以看到當(dāng)采集到的流量大于閾值( 本例中我們假設(shè)為 5 0 0 0 ) 的時候，系統(tǒng)就會自動產(chǎn)生一個流量異常告警。這種方法簡便易行，但 是需要豐富的網(wǎng)絡(luò)管理經(jīng)驗，閾值的選擇必須適當(dāng)。這種方法存在三個問題： 一，如何設(shè)定一個合適的閾值是一個難點(diǎn)；二，難以發(fā)現(xiàn)一些在可以接受閾值 內(nèi)，流量細(xì)微變化的異常行為：三，由于網(wǎng)絡(luò)中流量在不同的時間呈現(xiàn)出不同 的流量趨勢，對不同時自j 采用同一個閾值顯然不太利用異常的發(fā)現(xiàn)，導(dǎo)致發(fā)生 較高的誤報率或是較高的漏報率。 2 2 2 自適應(yīng)閾值的檢測方法 自適應(yīng)的閾值設(shè)定檢測方法是對固定閾值檢測方法的一種改進(jìn)。由于上面 所說的情況，對于不同時間段的網(wǎng)絡(luò)流量采用同樣一個閾值來判斷網(wǎng)絡(luò)是否出 現(xiàn)異常是不合理的。企業(yè)內(nèi)部的i t 系統(tǒng)網(wǎng)絡(luò)呈現(xiàn)出一個周期性和突發(fā)性明顯的 6 北京郵電火學(xué)碩士研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測模型設(shè)計與實現(xiàn) 特征，例如在工作時間的流量占總流量的絕大部分，而工作時間外，除了網(wǎng)絡(luò) 本身維護(hù)自身需要的流量外，人為參與導(dǎo)致流量變動的情況很少，這些自身又 組成一個相似的網(wǎng)絡(luò)流量曲線。工作日的流量則又呈現(xiàn)出一個工作時間和非工 作時間流量突變的一種情況。 自適應(yīng)的閾值檢測方法，對于某個流量參數(shù)，不再采用同一不變的閾值來 檢測，而是根據(jù)網(wǎng)絡(luò)實際流量在不同時間段內(nèi)的流量趨勢，在不同的采集時刻 點(diǎn)設(shè)置不同的閾值來判斷流量是否異常。這樣的檢測方法比固定閾值的檢測方 法更能符合網(wǎng)絡(luò)監(jiān)測的實際需求。自適應(yīng)的閾值檢測方法可以分為兩個步驟： 第一，模型化正常行為( 稱作基線建立) ；第二，根據(jù)基線建立一個網(wǎng)絡(luò)行為容 許的變化范圍邊界，這個邊界就是用來區(qū)分網(wǎng)絡(luò)正常行為與異常行為的界線。 a m a x i o n 3 】等人應(yīng)用自適應(yīng)的閾值檢測方法，通過檢測卡內(nèi)基梅隆大學(xué) 校園網(wǎng)中計算機(jī)系子網(wǎng)的利用率、以太網(wǎng)中的數(shù)據(jù)包碰撞數(shù)、數(shù)據(jù)包大小分布、 廣播數(shù)據(jù)包以及對大流量用戶流量排名統(tǒng)計，檢測廣播風(fēng)暴、人為故障插入( 產(chǎn) 生大量的短數(shù)據(jù)包，持續(xù)發(fā)送數(shù)分鐘) 、以及硬件故障( 協(xié)議實現(xiàn)的問題) 等等。 在同樣的子網(wǎng)中，f f e a t h e r l 4 1 等人應(yīng)用類似的方法，通過檢測網(wǎng)絡(luò)負(fù)載、進(jìn)出 入子網(wǎng)的數(shù)據(jù)包數(shù)、網(wǎng)絡(luò)中發(fā)生的碰撞數(shù)、短數(shù)據(jù)包、長數(shù)據(jù)包、廣播包等參 數(shù)觀測值中的異常，檢測到廣播風(fēng)暴、網(wǎng)橋宕機(jī)、硬件故障等異常。觀測值的 采樣時間間隔為5 分鐘。 在這種檢測方法中，主要對觀測值的歷史數(shù)據(jù)建立數(shù)學(xué)模型、模型的更新、 以及確定容許范圍。以網(wǎng)絡(luò)的利用率為例，從實際以太網(wǎng)中采集的網(wǎng)絡(luò)利用率， 在不同時刻的觀測值差異很大。這個檢測方法需要做的首先是消除數(shù)據(jù)中的顯 著差異性而保持原始形狀和趨勢，再用數(shù)學(xué)模型來近似地擬合這些散亂的數(shù)據(jù)。 因為數(shù)學(xué)模型是時間的函數(shù)，即得到一條曲線，將這條曲線作為這些數(shù)據(jù)總的 趨勢的一種表示，反映數(shù)據(jù)中的總體上升、下降和周期性行為和順序。這里采 用一系列數(shù)據(jù)分析中采用的技術(shù)來平滑原始數(shù)據(jù)，得到數(shù)學(xué)模型如下： z f = 0 2 5 y f 1 + o 5 y f + 0 2 5 y ，+ l ( 2 - 1 ) 這條曲線還不是一條平滑曲線，需要進(jìn)一步平滑，再經(jīng)過中值過濾、取得 中值過濾后的信號的導(dǎo)數(shù)，然后進(jìn)行閾值處理、合成信號，調(diào)整總體幅度的一 系列處理過程，才能得到一條光滑的擬合曲線p ( t ) ，它用來表示觀測值的正 常行為，是一個t 的函數(shù)。 上述過程僅僅是一天時間的正常行為，它不可能表示撿來每天的正常行為。 由于網(wǎng)絡(luò)的動態(tài)性，網(wǎng)絡(luò)行為會因為網(wǎng)絡(luò)不斷變化環(huán)境的影響而發(fā)生逐漸漂移， 隨著時間的發(fā)展會越來越遠(yuǎn)離當(dāng)前的正常行為。因此需要一種方法根據(jù)最近以 來的觀測值逐漸刷新每天的網(wǎng)絡(luò)正常行為模型。這種刷新機(jī)制可以通過把當(dāng)天 7 北京郵電大學(xué)碩上研究生畢業(yè)論文 網(wǎng)絡(luò)流量異常檢測模型設(shè)計與實現(xiàn) 的和前一天的網(wǎng)絡(luò)行為混合起來，使得歷史數(shù)據(jù)的影響起著主導(dǎo)作用。這種混 合是經(jīng)過下面的關(guān)系式來實現(xiàn)的： p ( t ) = 口 d ( f ) 一p ( t 1 ) + p ( t 1 )( 2 2 ) 其中p ( t ) 是以太網(wǎng)利用率在時間t 的預(yù)測值，即時刻t 的正常模型，d ( t ) 是時刻t 的觀測值，q 是加權(quán)常數(shù)，它控制新數(shù)據(jù)在模型中所占的比重，所以它可以控 制模型適應(yīng)局部行為的快慢程度。 上面所做的工作是整個自適應(yīng)閾值的檢測方法的第一步，即模型化正常行 為( 也包括了正常模型的刷新) 。如果當(dāng)前觀測值完全符合這個正常行為模型， 那么這個觀測值顯然應(yīng)該認(rèn)為是正常的。但是這種判斷準(zhǔn)則過于苛刻，因為期 望一天的網(wǎng)絡(luò)行為與前一天的行為完全匹配是不可能的。那么就需要一個容許 范圍，一個新的觀測值如果在這個邊界以內(nèi)就被看作是正常的，如果位于該邊 界范圍之外，那么就被認(rèn)為是異常的。如何得到這個容許范圍呢? 這就是第二 步需要解決的問題，也就是建立正常行為的邊界，或是說是容許范圍。 獲取容許范圍的需要以建立正常行為模型相同的方法計算得到。不同之處 在于模型化正常行為的數(shù)據(jù)直接來自網(wǎng)絡(luò)環(huán)境，即觀測值本身，而容許范圍的 數(shù)據(jù)則是由這些觀測值的標(biāo)準(zhǔn)差得到。也就是說，在每天的同一時刻，都有一 個觀測值，那么在過去一周( 或1 0 天，一個月) 的每個時刻就有7 個( 1 0 個， 3 0 個) 觀測值，由這些觀測值可以算出它們的標(biāo)準(zhǔn)差。當(dāng)這個標(biāo)準(zhǔn)差，即容許 范圍得到以后，把它加到正常行為模型( 曲線) 上，得到正常行為的上邊界， 再由正常行為模型減去容許范圍，就得到正常行為的下邊界。 2 3 動態(tài)檢測方法 2 3 1 基于指數(shù)平滑技術(shù)的檢測方法 在網(wǎng)絡(luò)檢測軟件r r d t o o l 8 】中常使用一種利用指數(shù)平滑技術(shù)檢測網(wǎng)絡(luò)異常 的方法。這種檢測方法實際上是利用預(yù)測技術(shù)得到下一個預(yù)測值，然后以這個 預(yù)測值作為參照，考慮下一個實際觀測值與該預(yù)測值的偏離大小。如果偏離超 出一定范圍就認(rèn)為是異常。這個實時監(jiān)測軟件能夠收集、存儲、以及可視化網(wǎng) 絡(luò)各參數(shù)的觀測值序列，并集成了數(shù)學(xué)模型對觀測值序列進(jìn)行自動地異常檢測， 是一種靈活、有效的自動化檢測工具，可以大大減輕網(wǎng)絡(luò)管理人員的負(fù)擔(dān)。監(jiān) 測的參數(shù)有經(jīng)過路由器或交換機(jī)端i ：1 上的比特數(shù)、c p u 負(fù)荷、鏈路上的負(fù)荷等。 通常觀測值采樣的時問間隔為5 分鐘。 指數(shù)平滑是基于時間序列的一個簡單統(tǒng)計模型進(jìn)行預(yù)測的，指數(shù)平滑只需 北京郵電大學(xué)碩上研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測模型設(shè)計與實現(xiàn) 要序列自身的信息進(jìn)行預(yù)測，而不需要其他序列的信息，是根據(jù)自身預(yù)測自身 的一種預(yù)測方法；指數(shù)平滑技術(shù)檢測方法中最簡單的是簡單指數(shù)平滑方法，適 用于序列值圍繞自身均值( 常數(shù)) 上下作隨即波動的序列，這類序列既無趨勢 變動也無季節(jié)變動。在軟件r r d t o o l 中，應(yīng)用的指數(shù)平滑技術(shù)有單指數(shù)平滑和 h o l t w i n t e r s 指數(shù)平滑。 簡單指數(shù)平滑預(yù)測過程是依據(jù)平滑常數(shù)q 進(jìn)行遞推計算的過程： y f + l = 明+ ( 1 一a ) y ， ( 2 - 3 ) 平滑常數(shù)q 是大于0 小于1 之間的一個小數(shù)，例如0 0 5 ，它使預(yù)測值與實 際值相適應(yīng)，對整個序列進(jìn)行平滑以后得到的平滑值就是下一期的預(yù)測值。 h o l t w i n t e r s 法是指數(shù)平滑中的一種方法，它適用于對具體有季節(jié)性影響的 線性增長趨勢的序列進(jìn)行預(yù)測。這種方法計算常數(shù)項，趨勢系數(shù)( 即斜率) 和 季節(jié)影響的各個遞推值，如果序列中不存在季節(jié)變動，可采用最簡單的 h o l t w i n t e r s 模型法【1 3 1 ，就是不必考慮季節(jié)性影響。 這種方法把異常檢測整個檢測過程劃分為三個步驟：第一步，預(yù)測時間序 列中下一個值的算法；第二步，度量預(yù)測值和實際觀測值之間的偏差；第三步， 判斷觀測值是否異常的機(jī)制( 即判定它是否遠(yuǎn)離預(yù)測值) 。 第一步，預(yù)測算法。假定y l ，y 2 ， o9y t - i ，y t ，m l ，表示等時間間隔 的觀測值時間序列，m 表示每天的觀測值個數(shù)，指數(shù)平滑就是給定當(dāng)前值和當(dāng) 前的預(yù)測值時，預(yù)測時間序列中下一個值的簡單算法。若y 。表示時間t 的預(yù)測 值( 亦稱平滑值) ，y 川表示時間什l 的預(yù)測值( 平滑值) ，y t 表示時間t 的實際 值，那么 y f + l = a y ，+ ( 1 一a ) y ， ( 2 4 ) 其中a 是模型參數(shù)( 或平滑常數(shù)) ，且0 q l ，它決定了預(yù)測值對過去值 的指數(shù)衰減的快慢，這就是指數(shù)平滑。h o l t w i n e r s 預(yù)測算法是以指數(shù)平滑算法 為基礎(chǔ)的算法，它假定觀測值時間序列可以分解為三個部分，即：基線 ( b a s e l i n e ) ，線性趨勢( 1 i n e a rt r e n d ) 和季節(jié)性影響( s e a s o n a le f f e c t ) 。h o l t w i n e r s 預(yù)測值就是： y 州= a ，+ 6 ，+ c f + l - 臃 ( 2 5 ) 其中a t ，b t ，e t 分別稱為基線、線性趨勢、和季節(jié)性趨勢。分別等于： a ，= c t ( y , 一c t - m ) + ( 1 一口) ( 口f i + 6 ，一1 ) ( 2 - 6 ) 包= f l ( a ，一a t 1 ) + ( 1 一) 島一l( 2 - 7 ) c ，= 廠( 只一a t ) + ( 1 7 ) 2 j i 一。 ( 2 - 8 ) 其中q ，d ，y 是算法的自適應(yīng)參數(shù)，且0 a ，i s ，y h 時，就認(rèn)為在r ( t ) 和s ( t ) 之間發(fā)生異常變化，否 北京郵電大學(xué)碩十研究生畢業(yè)論文網(wǎng)絡(luò)流量異常榆測模型設(shè)計與實現(xiàn) 則當(dāng)- l r g h 時，就認(rèn)為r ( t ) 和s ( t ) 之間沒有發(fā)生異常。 g l r 檢測方法是一種比較常用的方法，應(yīng)用比較廣泛。但是該檢測方法計 算過程過于繁雜，計算量大，對于在線檢測方法來說，檢測過程的復(fù)雜性和計 算時間都是必須考慮的重點(diǎn)，較長的時間延遲也是其一個缺點(diǎn)。 2 3 3 a m yw a r d 等人提出的檢測方法 a m y w a r d 6 】等人提出了一種統(tǒng)計檢測方法檢測網(wǎng)絡(luò)性能問題。把這種方法 簡單稱為a m yw a r d 方法。這種檢測方法的主要思想是建立網(wǎng)絡(luò)參數(shù)在正常運(yùn) 行情況下的一種模式特征，當(dāng)參數(shù)偏離正常行為時不符合這種模式，從而可以 被檢測出來。 該方法是建立在下面三個假設(shè)的基礎(chǔ)上： 1 ) 在一定時間內(nèi)，所選擇的參數(shù)過程是平穩(wěn)的。x ，表示第i 個工作日的 某個網(wǎng)絡(luò)參數(shù)觀測值組成的向量，即如果觀測值的時間間隔是5 分鐘， 則每天2 4 個小時共有2 8 8 個觀測值，那么x ，就是2 8 8 維的向量。假 定以( n o ) 與x m ( k 1 ) 具有相同的分布。 2 ) 滿足大數(shù)定律。每天的同一個時間的觀測值收斂于一個期望值，即如 果彤表示序列中第i 個工作日的第j 個觀測值，那么對大的n 有 e l x 川三：x ? 同時對周末也作相同的假設(shè)。 3 ) 與正常過程行為的偏差能反應(yīng)網(wǎng)絡(luò)問題。當(dāng)網(wǎng)絡(luò)出現(xiàn)問題時，過程可 能表現(xiàn)出奇怪的行為。也就是說，過程行為必須表現(xiàn)得很奇怪，使得 某些相關(guān)的參數(shù)表現(xiàn)出的行為與正常行為之間存在一定的偏差。 當(dāng)收集到的各個參數(shù)足夠的觀測值時，可以進(jìn)行異常檢測。整個檢測過程 可以分為下列4 步t 1 ) 丟棄已經(jīng)收集到的觀測值序列中發(fā)生問題時的數(shù)據(jù)； 2 ) 假定是當(dāng)時間t 充分大時，各參數(shù)過程服從正態(tài)分布，并且已經(jīng)證明 這種假設(shè)是成立的： 一一 3 ) 確定各參數(shù)過程在各個時間的均值ar 和標(biāo)準(zhǔn)偏差口，； 4 ) 調(diào)整識別偏離觀測值的界限。在這里先對觀測值進(jìn)行下式轉(zhuǎn)換： z f = 譬 ( 2 - 2 6 ) 磊 那么對充分大的時間t ，z t 可以近似地看作一個標(biāo)準(zhǔn)正態(tài)分布變量。該方法 給出了建議的經(jīng)驗值，確定觀測值是否異常的界限是：z t 3 0 。 例如，當(dāng)t c p ps y n _ s e n t 狀態(tài)的連接數(shù)與t c p i ps y n _ r c v d 狀態(tài)的連接 北京郵電大學(xué)碩士研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測模型設(shè)計與實現(xiàn) 數(shù)之比出現(xiàn)一個向上跳躍( 突變) ，而代理網(wǎng)關(guān)的吞吐量卻在下降時，那么就是 外部網(wǎng)絡(luò)出現(xiàn)問題。這是由于：( 1 ) 在t c pi ps y ns e n t 狀態(tài)消耗時間的長短 反映了外部網(wǎng)絡(luò)的健康狀況，這個時間長如果出現(xiàn)迅速增長說明外部網(wǎng)可能存 在問題；( 2 ) 在t c pi ps y nr e v d 狀態(tài)消耗時間的長短則反映了內(nèi)部網(wǎng)絡(luò)的健 康狀況，這個時候如果出現(xiàn)迅速增長說明內(nèi)部網(wǎng)可能存在問題；( 3 ) 這時代理 網(wǎng)關(guān)的吞吐量也下降就表明網(wǎng)關(guān)代理處理外部鏈接請求和緩慢。 在實際使用中要逐漸調(diào)整該界限，使得即能盡量地檢測到發(fā)生的故障，誤 報率又盡可能小。 這種檢測方法的假定比較嚴(yán)格。要求在建立模式特征和檢測期間，流量參 數(shù)( 或性能參數(shù)) 過程是平穩(wěn)的，這個條件過于苛刻。滿足大數(shù)定律要求1 1 充 分大，即要求每天的同一個時間的觀測值收斂于一個期望值，對實際網(wǎng)絡(luò)來說， 由于網(wǎng)絡(luò)自身的動態(tài)性，會收到一定程度的制約。 1 4 北京郵電大學(xué)碩上研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測模型設(shè)計與實現(xiàn) 第三章網(wǎng)絡(luò)流量異常檢測新算法與綜合檢測模型 3 1 基于時間窗的比較檢測算法 3 1 1 企業(yè)內(nèi)部i t 網(wǎng)絡(luò)流量特點(diǎn)分析 企業(yè)內(nèi)部n 網(wǎng)絡(luò)流量呈現(xiàn)出一個周期性和突發(fā)性很明顯的特征【8 】，例如在 工作日流量占企業(yè)內(nèi)部網(wǎng)絡(luò)中總流量的絕大部分，節(jié)假日的內(nèi)部網(wǎng)絡(luò)流量則可 以忽略。工作日的流量則又呈現(xiàn)出休息時間和工作時間之間存在流量突變的情 況，如：早上上班時間和中午休息時間，下午上班到下午休息時間可將工作日 的流量分為三個階段。第一個階段流量變化趨勢從無到有存在一個劇烈的變化； 第二個階段為中午休息時間，這個階段存在流量的兩個突變，一個時中午下班 的突然減少和中午上班時間的突然增大；第三階段為下班以后，流量在下降后 呈現(xiàn)一個平穩(wěn)的態(tài)勢。工作日流量示意如圖3 1 所示，非工作日流量示意如圖 3 2 所示： 豈 奎 t r a f f i cm d e lo f - d r k i n 2d a y 圖3 1 工作日流量采樣值示意圖 1 5 北京郵電大學(xué)碩卜研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測模型沒計與實現(xiàn) o - 一 專瑚。 - _ 繃0 0 t r a r t i cn o d e lo fan o n - - u o r k 蛔d e s l l ；心l 一釃肌積f 一 t _ 叫 b 1 8 81 5 82 0 02 5 8 t l n e 圖3 - 2 非工作日流量采樣值不慈圖 從圖3 1 和圖3 2 可以看到工作日和非工作日流量之間的差別。工作日的流 量明顯大于非工作日流量。工作日的流量呈現(xiàn)出較大的變化趨勢，而非工作日 的流量則趨于平穩(wěn)一些。 從圖3 1 可以看到對于工作日一天企業(yè)內(nèi)部流量采樣，流量較為明顯地集 中在兩個工作時段，非工作時間流量占總流量很小的一部分。工作日則周期性 的出現(xiàn)這樣一種流量情況。通過這樣分析內(nèi)部網(wǎng)絡(luò)流量特征，我們可以看出如 果僅僅是對流量進(jìn)行單一的動態(tài)或者靜態(tài)檢測則可能會出現(xiàn)很大的誤報率。動 態(tài)檢測出的流量突變異常有可能是網(wǎng)絡(luò)本身的特征，如上班的流量高峰。靜態(tài) 檢測的閾值如果定義在一個很大的范圍內(nèi)，則可能將出現(xiàn)異常的情況漏報。所 以需要采用兩種檢測算法結(jié)合的模型來檢測網(wǎng)絡(luò)流量異常。但是僅僅采用這兩 種異常檢測方法還是有不能檢測到的異常：當(dāng)每個采樣值處于異常的臨界狀態(tài)， 這時流量累積的增幅已經(jīng)有了較大的變化，通常可能是異常發(fā)現(xiàn)的前期，運(yùn)用 以上的兩種辦法都無法檢測到這樣的情況。 3 1 2 基于時間窗的比較檢測算法 為了解決以上問題，我們提出用時間窗內(nèi)的流量累積比較來判斷網(wǎng)絡(luò)是否 出現(xiàn)異常。 1 6 北京郵電大學(xué)碩：f ：研究生畢業(yè)論文網(wǎng)絡(luò)流量異常榆測模型設(shè)計與實現(xiàn) 已知的異常檢測方法只能根據(jù)歷史流量的統(tǒng)計值來對當(dāng)前流量采樣值進(jìn)行 判斷，有可能出現(xiàn)漏報的情況，即網(wǎng)絡(luò)流量趨勢和當(dāng)前值始終在可以接受的范 圍而沒有產(chǎn)生異常，但是流量在一段時間的累積有可能已經(jīng)超出了一個可以接 受的范圍，即有可能1 1 r 系統(tǒng)中某項業(yè)務(wù)由于網(wǎng)絡(luò)或者服務(wù)器自身的原因，在處 理接收業(yè)務(wù)的能力下降，導(dǎo)致一段時間內(nèi)累積網(wǎng)絡(luò)流量偏小，如果通過時間窗 的比較可以發(fā)現(xiàn)流量出現(xiàn)上述特征，則可以發(fā)送告警給網(wǎng)絡(luò)管理人員，檢查網(wǎng) 絡(luò)或系統(tǒng)中是否有導(dǎo)致異常出現(xiàn)的情況。 基于時間窗比較分為縱向比較和橫向的比較?？v向比較是當(dāng)前網(wǎng)絡(luò)采樣流 量時間窗口內(nèi)的流量累積以及流量趨勢同上一周采集到的相同工作日的相同時 間段窗口流量累積值和流量趨勢的比較。流量在同時間段有相似性和周期性， 縱向比較這兩個時間窗口內(nèi)的流量，可以得到i t 系統(tǒng)網(wǎng)絡(luò)是否在兩個相同的工 作日有著比較相似的利用，當(dāng)這個時間窗口的流量出現(xiàn)和上一個時間窗口流量 呈現(xiàn)明顯的不同的時候，則認(rèn)為網(wǎng)絡(luò)的服務(wù)出現(xiàn)了故障或者是由于網(wǎng)絡(luò)收到某 種攻擊造成。橫向比較是當(dāng)前網(wǎng)絡(luò)采集流量時間窗口內(nèi)的流量累積以及流量趨 勢同上一個工作日相同時間段內(nèi)的流量累積和流量趨勢的比較。做出對這個兩 個歷史時間窗的比較對比，能從兩個方面反映網(wǎng)絡(luò)的流量趨勢以及網(wǎng)絡(luò)利用情 況。一是反映當(dāng)前網(wǎng)絡(luò)同上一個時間窗比較得到網(wǎng)絡(luò)短期變化的特征，二是縱 向時間窗比較反映網(wǎng)絡(luò)的長期變化特征。當(dāng)比較網(wǎng)絡(luò)長期變化特征出現(xiàn)異常情 況時，我們還需要觀測網(wǎng)絡(luò)短期是否出現(xiàn)異常。例如當(dāng)網(wǎng)絡(luò)承載一個新業(yè)務(wù)的 時候，網(wǎng)絡(luò)流量相比上一周相同工作日的流量總體趨勢上漲，有可能已經(jīng)超出 正?？梢越邮艿姆秶@時候比較短期流量變化特征變得很有意義。因為上一 個周期時間窗口內(nèi)的流量由與網(wǎng)絡(luò)管理人員了解網(wǎng)絡(luò)情況的變化而將上一個異 常接受，這時候如果網(wǎng)絡(luò)短期的特征變化不明顯，則縱向比較出來的異常亦可 以作為接受的異常不進(jìn)行處理。綜合兩種時間窗口的比較，能夠?qū)Ξ惓z測模 塊的自適應(yīng)性得到增強(qiáng)，減少網(wǎng)絡(luò)管理人員的維護(hù)。 基于時間窗比較檢測算法實現(xiàn)步驟如下： 步驟一：獲取當(dāng)前時間窗內(nèi)和對應(yīng)上一個工作日時間窗內(nèi)所有采樣值； 步驟二：進(jìn)行時間窗縱向比較檢測； 步驟二：獲取上一個周期時間窗內(nèi)和對應(yīng)上一個工作日時間窗內(nèi)所有采樣值； 步驟三：進(jìn)行時間窗橫向比較檢測； 步驟四：得到兩個檢測結(jié)果； 步驟五：綜合判斷是否異常，進(jìn)行告警。 1 7 北京郵電大學(xué)碩十研究生畢業(yè)論文網(wǎng)絡(luò)流量異常柃測模型設(shè)計與實現(xiàn) 3 1 2 1基于時間窗口的縱向比較算法 將網(wǎng)絡(luò)流量在一個時間窗內(nèi)進(jìn)行比較，可以比較出一段時間來網(wǎng)絡(luò)流量行 為的累積變化趨勢。 僅僅通過單一時間點(diǎn)的檢測我們認(rèn)為還不能發(fā)現(xiàn)網(wǎng)絡(luò)存在的所有異常，當(dāng) 流量值均在檢測的可接受的范圍內(nèi)，但每個檢測點(diǎn)的流量值均較過去相同周期 的值大或小，即網(wǎng)絡(luò)在這個時間窗內(nèi)的流量總和可能已經(jīng)偏離了正常范圍。這 個時候僅做已知算法的檢測可能已經(jīng)不能滿足要求，于是我們提出了對網(wǎng)絡(luò)流 量進(jìn)行時間窗的比較，即比較一段時間內(nèi)的流量差異。這樣更多的結(jié)合歷史數(shù) 據(jù)，學(xué)習(xí)過去網(wǎng)絡(luò)的行為，有助于我們發(fā)現(xiàn)網(wǎng)絡(luò)中出現(xiàn)的異常。 對比縱向的時間窗數(shù)據(jù)的意思是，抽取當(dāng)前檢測點(diǎn)時間過去的半小時數(shù)據(jù)， 即六個采樣點(diǎn)( 系統(tǒng)設(shè)計每5 分鐘對流量進(jìn)行采樣一次) 作為一個時間窗，同 時從歷史數(shù)據(jù)中抽取過去一天的相同時間段內(nèi)的六個采樣點(diǎn)的數(shù)據(jù)作為比較依 據(jù)。由于網(wǎng)絡(luò)流量的周期相似性，這兩個時間窗內(nèi)的數(shù)據(jù)點(diǎn)形成的曲線應(yīng)該相 似，通過對這兩條曲線進(jìn)行相似度的比較我們可以認(rèn)為網(wǎng)絡(luò)在這段時間內(nèi)是否 出現(xiàn)異常。 記當(dāng)前時間窗內(nèi)的流量數(shù)據(jù)為葺( 1 t 6 ) ，記上一個時間窗的流量數(shù)據(jù)為 ) ，( 1 t 6 ) ，進(jìn)行計算： 兄：蘭! ：蘭! 1 6 2 ( 3 - 1 ) 如果當(dāng)前時間窗和上一個時間窗的曲線相似，則旯的值則應(yīng)趨進(jìn)于0 ，如果 五的值超出某個設(shè)定的值，則認(rèn)為兩個曲線差異度較大，即不相似。如果旯在 某個可以接受的范圍( 這個范圍由網(wǎng)絡(luò)管理人員來根據(jù)網(wǎng)絡(luò)運(yùn)行的情況進(jìn)行調(diào) 整) 內(nèi)則認(rèn)為網(wǎng)絡(luò)屬于正常運(yùn)行狀態(tài)。 3 1 2 2基于時間窗口的橫向比較算法 系統(tǒng)通過對比縱向的時問窗得到網(wǎng)絡(luò)流量異常，有可能是一種誤報，這種 情況出現(xiàn)在，當(dāng)網(wǎng)絡(luò)流量曲線相似，但是當(dāng)前網(wǎng)絡(luò)的流量較縱向時間窗口流量 有一個整體的上升或者下降，即可能內(nèi)部網(wǎng)絡(luò)承載了新的業(yè)務(wù)。由于業(yè)務(wù)新的 出現(xiàn)開始必然會導(dǎo)致流量的異常，但是網(wǎng)絡(luò)管理員認(rèn)為這種流量屬于正常范圍 ( 即人可控范圍內(nèi)) ，那么系統(tǒng)對于網(wǎng)絡(luò)出現(xiàn)的這種業(yè)務(wù)或是拓?fù)浣Y(jié)構(gòu)改變帶來 的流量變動需要有自適應(yīng)的過程，需要學(xué)習(xí)這種網(wǎng)絡(luò)流量的變化到達(dá)降低系統(tǒng) 誤報率的目的。 北京郵電大學(xué)碩十研究生畢業(yè)論文網(wǎng)絡(luò)流量異常檢測模型設(shè)計與實現(xiàn) 我們獲取當(dāng)前時間窗的數(shù)據(jù)記為五，( 1 f 6 ) ，當(dāng)前時間窗上一時間窗數(shù)據(jù) 為x 2 ，( 1 f 6 ) ，上一工作日當(dāng)前時問窗的數(shù)據(jù)為y l ，( 1 f 6 ) ，該時間窗的是 一個時間窗的數(shù)據(jù)為y 2 ，( 1 t 6 ) 。這樣我們獲得了四個時間窗的共2 4 個數(shù)據(jù)， 對這2 4 個數(shù)據(jù)做如下比較： 五。= ( x 。，一y 。，) 2 五：= g ：，一y ：，) 2 見：且 旯2 ( 3 2 ) ( 3 - 3 ) ( 3 - 4 ) 丑的值反映當(dāng)前時間窗和上一個工日的當(dāng)前時間窗流量的增幅情況，而五反映 的是上一周期兩個時間窗的流量增幅情況。通過對比 和如的比值我們得到一 個數(shù)字允，五反映了一段時間來網(wǎng)絡(luò)流量是否出現(xiàn)如上討論的那種情況，即上 個周期由網(wǎng)絡(luò)運(yùn)維人員確認(rèn)的流量變化在這個周期并不將其報告為異常。 3 2 網(wǎng)絡(luò)流量異常綜合檢測模型 為了進(jìn)一步降低異常告警的誤報率和漏報率，我們提出將現(xiàn)有的網(wǎng)絡(luò)流量 異常檢測算法同我們提出的基于時間窗口比較的檢測算法相結(jié)合，通過綜合分 析出各個檢測算法的檢測結(jié)果，最后給出網(wǎng)絡(luò)是否存在異常。所提出的異常綜 合檢測模型由五個部分組成，分別是：數(shù)據(jù)的采集，數(shù)據(jù)的存儲，數(shù)據(jù)的多算 法檢測，算法結(jié)果的綜合分析以及分析結(jié)果響應(yīng)，如圖3 3 。檢測模型中的每 個算法都根據(jù)網(wǎng)絡(luò)實時采樣到的每個時刻的網(wǎng)絡(luò)流量值大小這一參數(shù)進(jìn)行異常 檢測。 圖3 3 異常檢測模型 1 9 北京郵電大學(xué)碩上研究生畢業(yè)論文網(wǎng)絡(luò)流量異常榆測模型設(shè)計與實現(xiàn) 3 2 1 模型檢測策略 在該模型的構(gòu)建中，我們先將流量采樣值先通過動態(tài)和靜態(tài)的異常檢測， 當(dāng)在這兩種檢測同時發(fā)現(xiàn)網(wǎng)絡(luò)中存在異常則停止對異常的分析，直接可以向i t 運(yùn)維管理系統(tǒng)進(jìn)行告警。當(dāng)兩種異常檢測算法未發(fā)現(xiàn)網(wǎng)絡(luò)中存在異常，則需要 將通過時間窗的比較檢測來判斷網(wǎng)絡(luò)中是否存在累積的異常。 通過多種檢測方法，能夠從不同的方面發(fā)現(xiàn)網(wǎng)絡(luò)是否存在流量異常。單是 采用靜態(tài)和動態(tài)檢測結(jié)合的方法能檢測出網(wǎng)絡(luò)中的大多數(shù)異常，但是對于網(wǎng)絡(luò) 中可能存在流量累積增幅過大的情況未作出判斷，采用時間窗檢測彌補(bǔ)了這樣 一種誤判。但是只采用時間窗的辦法不能對于網(wǎng)絡(luò)異常進(jìn)行全面的檢測，由于 時間窗是基于一段時間流量累積結(jié)果的綜合分析，對于網(wǎng)絡(luò)中存在細(xì)微突變的 檢測能力在對于各個采樣點(diǎn)進(jìn)行平均計算的時候消失掉了。所以時間窗的檢測 是對現(xiàn)有靜態(tài)和動態(tài)算法結(jié)合檢測的一種有效補(bǔ)充，能有效的降低網(wǎng)絡(luò)異常流 量的漏報率。 3 2 2 模型的工作流程 模型首先需要完成數(shù)據(jù)的采集工作，通過對網(wǎng)絡(luò)某個參數(shù)值的采集獲取需 要檢測的數(shù)據(jù)來源。第二步，將采集到的網(wǎng)絡(luò)參數(shù)抽樣值進(jìn)行存儲，以供數(shù)據(jù) 分析處理過程的進(jìn)行。第三步，通過采用異常流量檢測算法來判斷網(wǎng)絡(luò)中是否 存在異常得出一個判斷結(jié)果。第四步，根據(jù)第三步算法計算出來的檢測結(jié)果， 看由動態(tài)檢測和靜態(tài)檢測是否有異常存在，當(dāng)沒有發(fā)現(xiàn)異常的時候，則需要進(jìn) 行時間窗比較的檢測，然后通過綜合分析部分對各個算法的檢測結(jié)果做一個綜 合比較分析，最后得出一個網(wǎng)絡(luò)流量是否異常的結(jié)論。第五步根據(jù)分析得出的 判斷結(jié)果，網(wǎng)絡(luò)管理系統(tǒng)可以作出一些響應(yīng)，例如發(fā)出異常告警，或是阻斷某 些問題主機(jī)的鏈接等等。分析和響應(yīng)步驟同時要影響采樣數(shù)據(jù)的