基于netflow實時安全檢測技術研究

哈爾濱_丁程大學碩+哈爾濱_丁程大學碩+學位論互聯網技術的飛速發(fā)展使得網絡安全問題成為當今全球最為關注的之一。惡意代碼、各種病毒以及攻擊手段大量的充斥在網絡環(huán)境當中，影人們的正常工作和學習，嚴重的會對國家財產和利益構成威脅。隨著黑客的手段不斷提高，對防入侵技術的要求也越來越高，網絡安全產品也不斷地推NetFloNetFlow對于實現網絡管理、流量計費以及安全分析等非常有效，并且對數據的處速度快，能夠滿足目前高速大流量的網絡環(huán)境需求。鑒于NetFlow勢，將其作為數據源來對網絡安全進行分析，必將是十分方便有效的方法。本文提出的基于NetFlow的NetFlow數據作為分析對象，從而實時準確地發(fā)現網絡中存在的異常行為作為一種流量檢測技術，本文首先將NetFlow與其他兩種廣泛使用的技術進行了對比分析，闡述了選擇NetFlow的原因。然后對使用NetFlow能夠發(fā)現的網絡異常行為進行了分類，指出了每種異常行為的特征，并對相應的NetFlow技術檢測方法進行了研究。在對NetFlow網絡安全領域的深入研究和理解的基礎上，使用LinuxGCC環(huán)境實現了一個基于NetFlow的實時安全事件檢測模塊。為滿足實時性的要求，采用了多線程的思想，將主要功能劃分為四個線程并發(fā)執(zhí)行，提高了系統的運行效率。在對網絡異常行為進行分析時，為了更加全面準確地定位安全事件，設計了一個三層的檢測模型，并按照可信度對生成的事件劃等級。最后經實驗表明，模塊能夠正常運行且效果良好關鍵詞：網絡安全態(tài)勢感知；NetFlow；流數據采集；異常檢哈爾濱工程大學碩七學臂論oneofthemosthasattacksinthenetworkhavemakethreats normallife．Andeveninanti-benefits．Withhaveneeded．Newpromotedbyandcooperations．Tl：1ronghstudie§andpractices，NetFlowisnetworkmanagement,trafficbilling．andsecurityt0哈爾濱工程大學碩七學臂論oneofthemosthasattacksinthenetworkhavemakethreats normallife．Andeveninanti-benefits．Withhaveneeded．Newpromotedbyandcooperations．Tl：1ronghstudie§andpractices，NetFlowisnetworkmanagement,trafficbilling．andsecurityt0usedinnetworkenvironmentwithspeedand securityreal—securityeventsdetectingtechnologiesale thisnetworkactivitiesCanbedetectedofpopularNetFlowatechnologyoftrafficdetecting,comparisonsothermadereasonsofchoosingNetFlowarerefferedinthisattacksareclassified．Characteristicsthatc舭abnormalactivitiesandrelateddetectingstrategieslistedOntheonofde印securityareas，real-withondetecting functionstheneedofreal—time．multi-intofourthreadscollectingrunningefficiencyofiselevated．Andeventsdetectedclassifiedreliability．Atimplemented．ThesystemshowthatworkmodHeKeywords：network哈爾濱工程大學位論文原哈爾濱工程大學位論文原創(chuàng)性聲本人鄭重聲明：本論文的所有工作，是在導師指導下，由作者本人獨立完成的。有關觀點、方法作者(簽字)：金哈爾濱T程大學碩士學位哈爾濱T程大學碩士學位論近年來，隨著互聯網在全球的迅速普及，網絡已經成為人們日常工作生活中不可缺少的信息承載工具。但由于因特網的開放性，也使得互聯網的安全問題越來越受到人們的關注。如今，網絡異常行為層出不窮，而且攻擊手法越來越具有隱蔽性，小到個人，大到企業(yè)、國家，無不面臨其帶來的方面威脅，這就使得人們在享受著互聯網帶來的無限樂趣與便利的同時為隨時面臨著黑客的“偷襲”而憂心忡忡。由于網絡安全產品的開發(fā)永遠不上黑客的腳步，因此衡量一個安全產品的好壞，并不是看它能否防得住所有的攻擊，而是看其是否能準確地定位攻擊，并對攻擊源實施快速有效地阻斷。因此實時性和高檢出率成為衡量一個系統功能是否強大的重要標準。傳統的網絡安全產品，如防火墻、IDS以及防病毒工具等實時性都很低而且誤報率和漏報率高，抵御網絡威脅的能力十分有限。它們往往只能做到被動防御，也就是在攻擊已經發(fā)生之后才能產生報警，對于威脅程度不斷加大、網絡承載信息內容的重要性不斷提高的今天來講，這些防御手段的局限性日益顯現出來，已經不再能適應人們的需求。因此，目前的防御技術正逐漸由被動防御向主動防御過渡。所謂的主動防御就是指能夠在攻擊行為還沒有發(fā)生，但是已經表現出跡象時，就對其進行阻斷，并作進一步處理。因為一般的攻擊行為在發(fā)生之前，都會表現出一些異常行為，如流量異常、IPNetFlow是近幾年十分熱門的流交換技術，它由于不需要對數數據進行分析，而只是對包頭信息進行統計，因而有很高的處理速度，能夠滿足高速網絡環(huán)境的需求，同時NetFlow角度反映出網絡中的異常行為特征，不但能夠在攻擊實施初期就發(fā)現異常行為，還能夠監(jiān)測未知的蠕蟲病毒在這樣的背景下，本文提出了基于NetFlow的實時安全事件檢測技哈爾濱T程大學碩士學位論哈爾濱T程大學碩士學位論所謂安全事件檢測就是發(fā)現對網絡安全構成威脅的異常行為并的過程。為了提高事件檢測的實時性，采用NetFlow技術是一個很好的選擇因為它具有對網絡數據很高的處理速度，生成的流數據對于網絡流量異常及特征分析都有無可比擬的優(yōu)勢。實時安全事件檢測技術的難點就在于怎樣也正是本文所要重點研究的問題由于NetFlov在網絡管理、流量統計、網絡安全等方面有著杰出因此一經提出就受到眾多網絡安全廠商以及研究機構的青睞，紛紛設計出些利用NetFlow數據進行分析的安全管理工具。目前NetFlow已經在網絡相國外，Fluke公司推出的ReporterAnalyzerm是一種被動的服務器端分儀，該工具通過收集和分析NetFlowCrannogw備中收集NetFlow情況視圖。NetFlow絡中的流量信息，是一個提供有關任意應用程序類型詳細細節(jié)信息的強大NetFlowCollector和NetFlowAnalyzer；美國俄亥俄州大學開發(fā)的網絡收集和分析工具Flow—toolsm'，國內目前也有很多學校和科研機構對NetFlow技術的應用進行了研中科院計算網絡中心的秦剛、李俊對NetFlow技術在網絡計費方面的應行了研究一，；北京郵電大學的顧勇分析了NetFlow在網絡性能度量和哈爾濱丁程大學碩士學位論面的應哈爾濱丁程大學碩士學位論面的應用m；清華大學李星對網絡NetFlow數據的高速采集和歸并進行了入的研究m；中國科學院的楊嶸和張國清等人針對當前網絡攻擊的特點現了一種通過NetFlown町。在產品方面，港灣網絡和啟明星辰結合各自技術優(yōu)勢，將防火墻與NetFlow技術相結合，在天清漢馬防火墻和港灣安全管理平臺中集成了NetFlow，于2005年7聯合推出了天清漢馬NetFlow系統“”本文的研究工作源于網絡安全態(tài)勢感知項目，該項目的最終目標是要現對大規(guī)模網絡安全狀況的監(jiān)控并預測網絡狀況的進一步發(fā)展趨勢。下面先介紹一下網絡態(tài)勢感知的概念網絡態(tài)勢感知源于空中交通監(jiān)管Control，ATC)態(tài)知，是一個比較新的概念，并且在這方面開展研究的個人和機構也相對較少1999年Bass在文[12]中首次提出了網絡態(tài)勢感知Awareness)這個概念，并對網絡態(tài)勢感知與ATC態(tài)勢感知進類比，旨在把ATC態(tài)勢感知的成熟理論和技術借鑒到網絡態(tài)勢感知中去目前，對網絡態(tài)勢感知還未能給出統一的、全面的定義。所謂網絡態(tài)勢是指由各種網絡設備運行狀況、網絡行為以及用戶行為等因素所構成的整個網絡當前狀態(tài)和變化趨勢。值得注意的是，態(tài)勢是一種狀態(tài)，一種趨勢，是一個整體和全局的概念，任何單一的情況或狀態(tài)都不能稱之為態(tài)勢。網絡態(tài)勢感知是指在大規(guī)模網絡環(huán)境中，對能夠引起網絡態(tài)勢發(fā)生變化的安全要素?。該項目由三部分組成，分別為數據采集、數據融合以及態(tài)勢可視化。數據采集功能實現對網絡、系統、服務以及各種應用數據的采集，是整個項目的基礎。通過集成防火墻、IDS、IPS以及各類日志信息，將多源異構數據經過預處理后轉換到統一的格式，為實現網絡安全態(tài)勢感知提供全面準確的態(tài)勢信息。數據融和的目的是將由多種傳感器提交的統一格式的信息進行融合關聯分析，生成最終的事件提交給態(tài)勢可視化功能，態(tài)勢可視化則以直觀的方式對網絡狀況進行多角度、多尺度的呈現哈爾濱T程大學碩士學位哈爾濱T程大學碩士學位論NetFlow作為數據采集子系統的一個重要的數據來源，應該能夠為數融合提供實時有效的態(tài)勢數據。通過采集網絡交換設備上的流量信息，根NetFlow數據的特點對網絡狀況進行預分析，生成初步的事件并上交給上層應用，為實現態(tài)勢感知提供有力的依據。國外很早就展開了對態(tài)勢感知的研究，很多的可視化工具都是借助于NetFlow數據實現對全網的態(tài)勢感知，這主要是因為NetFlow有很高的實時性，能夠滿足態(tài)勢感知的需求。因此作為網絡安全態(tài)勢感知系統一個重要的部分，開展基于NetFlow的實時安全事檢測技術的研究是十分有意義的第1章主要介紹該課題提出的背景和意義，并說明采用NtFlw作為數據源的原因?？偨Y歸納了NetFlow技術在網絡安全領域的國內外研究以及應用現狀，并在此基礎上提出本文的目的、背景和意義，即該課題所依托的項，第2章主要是對NetFlow相關知識的介紹，為后面技術研究以現的開展做鋪墊。重點是將目前普遍采用的三種流數據采集方法分別進行了介紹，其中以基于NetFlow的采集方法為重點，同時在此基礎之上對三種方法進行對比分析，旨在進一步體現Netweo第3章首先對通過流量分析可被發(fā)現的各種異常情況及其特征作紹，然后在此基礎上列舉比較有效的異常檢測方法。由于對NetFlow分析建立在對其數據進行統計的基礎上，因此在介紹基于NetFlow測方法之前，先描述了NetFlow流量數據統計的方法都有哪些，并在此基礎第4章是論文的重點。首先介紹了實時檢測模塊的開發(fā)環(huán)境，闡述了采用該開發(fā)環(huán)境的優(yōu)點。然后針對功能需求，提出基于NetFlow件檢測模塊的功能框架，在介紹模塊開發(fā)所用關鍵技術的基礎上，分別完成對數據接收線程、流解析線程、統計線程以及分析線程的具體設計和實現4哈爾濱1第5章中搭哈爾濱1第5章中搭建了一個實驗環(huán)境，提出實驗方案，并依據實驗方案對實的功能進行測試，目的是要驗證所設計模塊的可靠性與有效性。通過對實結果的分析，可以得出該實時檢測模塊的功能能夠達到預期的效果5哈爾濱-[程大學碩+學位論哈爾濱-[程大學碩+學位論網絡的流n．，(Flow)是指一個特定來源和目的端的單向數據報文序列，就是將來源IP、目地IP、來源Port、目地Port和傳輸協議、TOS接口的邏輯接口索引7個屬性值相同的報文整合成一個流。只要有一個屬性是一個32位無符號整數，以計數器的形式存在。當采集設備收到一個IP據包時，根據該數據包的七元組信息，在標識符表(哈希表)中相應的數據流信息。如果七元組信息在哈希表中不存在，則認為該數據包于一個新的數據流，計數器自動增加，其數值作為新數據流的標識符，在哈希表中建立新的數據流信息NetFlow技術最早是于1996CiSCO公司的DarreneryBrins發(fā)明的，并于同年5月注冊為美國專利。NetFlow技術首先被用于網絡設備加速對數據的交換，并可同步實現對高速轉發(fā)的IP數據流進行測量和統計。經并成為業(yè)界標準，得到了主流廠商(如Juniper、Foundry、Extreme等)的6哈爾濱T稃大學碩士學位論持w，國哈爾濱T稃大學碩士學位論持w，國內華為推出的NetStreamu”技術也與NetFlow技術兼容在NetFlow技術的演進過程中，Cisco公司一共開發(fā)出了Vl、V5、V7v8和v9等5個主要的實用版本，其中使用得最多的是V5。在2003年，思公司的NetFlowV9還被IETF組織從5個候選方案中確定為用IPFIXNetFloW／IPFIX致來源更具吸引力了NetFlow數據格式因其版本而有所不同，而各版本之間的差異主要表在對流采用的匯聚方法不同。但無論哪個版本，NetFlow即包頭和多個流信息記錄構成。如在V5格式中，路由器發(fā)送到接收主機的每圖2．1NetFlow數據包格丟失的序列號；而流記錄中存放的是詳細的流信息，流信息記錄的格式視不。同的版本而定，典型的流記錄格式包括：源IP地址和目的IP地址、源和目的TcP／uDP端口、服務類型、包計數和字節(jié)計數、起始和結束時間戳、路由信息(下一跳地址、源AS、目的AS測提供詳細的信息由于NetFlowV5采集到的流量數據可以支持不同維度的統計分析，所7哈爾濱工稃大學碩士學位論V9已經被列入IETF的標準，它采用模板技術，可以自哈爾濱工稃大學碩士學位論V9已經被列入IETF的標準，它采用模板技術，可以自定義輸出NetFlow據的格式，因此格式靈活、可擴展性好。這里就以V5和v9為例介紹的數據格式版本5的包頭格式和流記錄格式分別如圖2．2、圖2．3所示n一012 5 I圖2．2NetFlow版本5的包頭格version：NetFlow數據格式的版本count：數據流的個flow_sequence：已經看到的所有數據流的序列計數engine—type：流交換引擎類型(RP為0，LC為id：流交換引擎槽(即內容為O)的字reserved：未其中，flow_sequence用來作為校驗信息，當前數據報的值等于前一個數據報flow_sequence值加上前一個數據包中流記錄條數，即UDPelsequence值以及count值就可以檢驗傳輸中是否有數據包丟失srcaddr：源IP地nexthop：下一跳IP地input：輸入邏輯端output：輸出邏輯B哈爾濱T程大學碩士學位論 56789Ia哈爾濱T程大學碩士學位論 56789Iadstsrcsrcdst圖2．3NetFlow版本5的流記錄格UDP源端口 dstport：TCP／UDP目標端口src_as：源自治域src_mask=源地址掩dst_mask：目的地址padding=未用(即內容為O)的字從圖2．4中可以看出，v9的數據輸出格式與V5有較大區(qū)別，主要是為V9采用了基于模板式的數據輸出方式。網絡設備在進行V9格式的數據出時會向數據接收端分別發(fā)送數據包模板和數據流記錄。數據包模板確定9后續(xù)發(fā)送的數據流記錄中數據包的后續(xù)發(fā)送的數據流記錄中數據包的格式和長度，便于數據接收端對后續(xù)數V9圖由于NetFlow具有以上特性，因此可以為網絡管理員或分析者提供的網絡數據流信息，如IP地址、協議類型、端口以及服務類型等，這些信劃提供參考通過NetFlow可以收集網絡用戶使用細節(jié)，用戶使用的網絡服務記如對用戶上網的痕跡進行記錄，通過對NetFlow數據中包含的IP地址、字絡用戶的使用時間、消耗流量以及用戶所獲得的服務質量等，并以此為依來對用戶進行流量計經過一段時間的網絡監(jiān)測統計，可以分析出用戶上網行為習慣，及時哈爾濱丁程大學碩士學位哈爾濱丁程大學碩士學位論整網絡結構，為建立網內資源、升級改造網絡提供參4．安全owoSNetFlow提供了自治域流量的詳細信息，網絡管理員可以使用基NetFlow的分析工具來獲得源與目的所屬自治域的信息，及其間的流量趨勢。收集到的數據可以用來在鏈路繁忙時實施負載均衡。解到諸如何人、何時、何地使用過哪類服務等信息網絡管圖2．5NetFlow工作這里通過NetFlow的工作架構來說明NetFlow的工作原理。NetFlow哈爾濱T程大學碩士學位論哈爾濱T程大學碩士學位論NetFlow功能后，就開始抓取路由器上發(fā)生的流量信息，的大小可以設置。當滿足以下四個條件之一時，就以UDP方式向NetFlow(3)一個流開始30分鐘后，仍在持續(xù)(4)路由器NetFlow的Cache已經滿了2．3網絡流數據采集方法及其相關技在網絡技術發(fā)展速度不斷加快的今天，對網絡流數據進行采集和分析有著極其重要的意義。通過采集并分析較短時間內的網絡流數據，可以檢測出網絡資源利用率、濫用，以及各種惡意的攻擊行為；而對長期的數據進行采集和分析，可以幫助實施流量工程以及流量計費等。可以說，對網絡流數進行采集，無論對于網絡安全或者是網絡管理領域都是很有意義目前使用最為廣泛的用于入侵檢測和協議分析的方法是基于網絡探針采集方法。而對ManagementProtocol，啟網絡設備上的SNMP服務以獲得流量信息。同時，隨著NetFlow技術的迅發(fā)展，選擇NetFlow數據作為采集對象來對異常行為進行分析已經成為了一個新的研究方向。目前NetFlow的版本9已經成為IETF的標準之一，越來越多廠商的設備都開始支持NetFlow技術。下面就對這三種采集方法進行詳細的介紹，并在此基礎上對它們作進一步的分析比較網絡探針的思想源于傳統Ethernet總線結構。傳統的Ethernet所有其他通信，記錄通過本總線的每一次通信，進一步整理成IP流量探針必須具有對網絡底層通信方式進行控制的能力，使系統網絡接配器的工作方式變?yōu)榛祀s方式，并且將網絡底層接收的數據傳送到應用層進行分析處理。探針的實現技術一般包括數據包捕獲、包過濾模塊、會話跟蹤模塊、協議跟蹤、監(jiān)控模式匹配及用戶規(guī)則匹配及規(guī)則庫維護等為了完成Intranet網絡流量統計的要求，網絡探針應該放在最接近出件來收集網絡通信信息和有關網絡設備的統計數據。代理不斷地收集統計據，如所收到的字節(jié)數，并把這些數據記錄到一個管理信息庫(MIB員通過向代理的MIB發(fā)出查詢信號可以得到這些信息，這個過程就叫做輪(polling)管理信息庫MIB是網絡管理數據的標準，在這個標準里規(guī)定了網絡代理備必須保存的數據項目、數據類型以及允許在每個數據項目中的操作。對的訪問是實現網管的關鍵SNMP采用的是代理／管理站模型。SNMPAgent)能夠回答來flSNMP管理站(Manager)的關于MIB中定義信息的各種查詢，每一個提供MIBSNMP代理，它隨時記錄網絡設備的各種情況，網絡SNMPSNMP間通信時無需先建立連接，如圖2．6所示哈爾濱工程大學碩七學位論基于SNMP的數據采集引擎是哈爾濱工程大學碩七學位論基于SNMP的數據采集引擎是一個能夠自動從網絡環(huán)境中獲取SNMPMIB量值的獨立運行系統。其他的模塊或系統可以通過通信接口將自己對MIB變量的采集需求作為采集任務發(fā)送給采集引擎。采集引擎通過SNMP被管理實體(物理設備，軟件系統)中獲取相應數據，并將其保存到數據庫中或者返回給采集任務的請求者。在數據采集的過程中，任務的請求者可以對任務的參數進行調整，或者停止對數據的采集。請求者還可通過發(fā)送控制令的方式，動態(tài)地改變采集引擎采集任務的配置參數NetFlow的數據輸出首先要求在網絡設備上配置NetFlow輸出流的參數，包括輸出流的版本、個數、緩沖區(qū)的大小等，并配置相應流量收集器的IP地址、端口等信息，此時網絡設備即可以以UDP的方式向該收集器發(fā)送流信息。然后配置收集軟件的接收端口號、設置過濾、匯聚策略、流量文件存放分析。同時，也可以將信息數據發(fā)送給專業(yè)網管分析軟件，通過分析處理展現出流量分布、業(yè)務分布等性能分析情NctFlow緩沖Flow實體記··緩存區(qū)已·計時時間收集NetFlow數據采集過圖據庫中，提供給NetFlow流量分析工具進行流量計費、網絡規(guī)劃和各種網絡管理，并產生各類報表等。如果設備不支持NetFlow輸出，也有相應的解決方法。如采用端口鏡像(PortMirror)技術，再用№tFlowExporter這樣的件處理輸出NetFlow流量數據。圖2．7說明了NetFlow數據采集過程針對以上NetFlow數據采集和分析過程，Cisco分別有相應的軟件對應具有交換功針對以上NetFlow數據采集和分析過程，Cisco分別有相應的軟件對應具有交換功能的路由器發(fā)送來的數據，并將收集的數據存儲在flat文件中NetFlowAnalyzer(NetFlow面，將分析結果予以顯示從表2．1中可以清晰的看到三種采集方式之間存在的差別m表2．1三種流采集方法性能比網絡探較較較數據粒效監(jiān)視除了帶寬外的網絡況能不能能不能不能不能不量有關接在本機進行解析CPU負低監(jiān)視消耗的額外帶低雖然通過SNMP方式取得信息不會造成處理上過重的負擔，但是SNMP提供的只是粗糙、簡單的資料，無法提供網絡層以上的信息。這些信息只能讓管理者發(fā)現問題，卻無法進一步解決問題。而使用數據包監(jiān)聽工具盡管可以取得更詳盡的網絡信息，但是其通常專注在單一網絡數據包的內容，所以網絡管理者很難從監(jiān)聽工具所提供的信息來掌握整體網絡的狀態(tài)。此外，分析對于資源和人員的消耗驚人，這種方式不適合于高速網絡環(huán)境m哈爾濱工程大學碩哈爾濱工程大學碩七學位論而NetFlow由于不對包內容作分析，因此可以極大地提高處理速度。棄對包內容的檢測，而只停留在物理層到傳輸層之間，信息度剛好可以滿流信息分析軟件的需求，而且極大地節(jié)約了分析和處理包內容所需的工作和時間，尤其適合于大流量網絡內部的流量分析和異常檢測。同時也使NetFlow技術成為了至今流量分析與異常檢測最有效的方法本章主要是對NetFlow相關知識的介紹，為后面技術研究以及系統實的開展做鋪墊。重點是將目前用的比較多的三種流數據采集方法分別進行介紹，其中以基于NetFlow的采集方法為重點，同時在此基礎之上對三種方NetFlow作為分析對象的原因哈爾濱工稗大學碩+學位論哈爾濱工稗大學碩+學位論基于 I對于安全事件檢測技術來講，如何能夠全面有效并且準確地對網絡異行為進行檢測和分析，是其研究重點也是難點所在。因此展開對基于特征的異常檢測方法研究是十分必要的由于NetFlow數據都來自于網絡中的交換設備，因此這些數據很大程度上能夠反映出當前的網絡運行情況，通過對NetFlow收集的流信息進行統計分析，可以提取網絡流量的特征，建立網絡常規(guī)流量模型，然后根據此模型定期對NetFlow數據作TopN的統計分析，便可以檢測出異常流量，再通過異常流的NetFlow數據作進一步分析，就可以判斷網絡是否受到DoS／DDoS機，從而采取相應的措施，阻斷攻擊源，保護攻擊目標或防治病毒擴散。利用NetFlow1．TopN統計：定期對NetFlow數據作TopN統計，及時掌握網絡的分析：過濾出異常流量對應的NetFlow記錄，分析這些記錄在源／的地址、協議類型、源／目的端口等方面4．DoSoS攻擊、QoS6．后續(xù)監(jiān)視：實施反應措施后，密切監(jiān)視網絡，確保威脅被徹底根如果是蠕蟲病毒，還可以根據其特征生成一個病毒檢測模板，便于日后定期不難看出，基于NetFlow的異常檢測有利于檢測未知的網絡蠕蟲病而大多數的安全產品并不具備這個能力，而且隨著目前網絡而大多數的安全產品并不具備這個能力，而且隨著目前網絡蠕蟲更新換代度的不斷加快、變種數量越來越多，NetFlow的這一能力就便顯得非常了為了能夠清晰地對基于NetFlow的異常檢測方法進行分析，首先對能產生異常流量行為的攻擊、蠕蟲病毒以及端口掃描等行為以及它們各自的征進行介紹3．1．1端口掃描m·是否可用，即該主機的該端口是否可用。由于攻擊主機必須等待主機的回復TCP端口發(fā)送請求，企圖建立連接時，我們稱此種攻擊行為為面向網絡的口掃描，即此類攻擊掃描網絡內是否有某臺或某幾臺主機的特定端口可用：攻擊主機向某臺機器的所有端口發(fā)送TCP此或某幾個端口可用通用的掃描技術主要包括以下幾種類型m，Connect掃描：完成三次握手過程，可能會在目標系統留下2．TCPSYN掃描：建立連接但不完成三次握手過程，可以躲避目標系的日志審核FIN包，可以躲避只對SYN標志審查的FIN掃描：發(fā)送XIBaS和Null掃描：發(fā)特殊標記的包，可以躲避對FIN標志的網絡系統5．ACK掃描：發(fā)送ACK包，用來試探防火墻的過濾規(guī)則集，可以躲避6．操作系統類型掃描：發(fā)多個數據包進行掃描，根據返回結6．操作系統類型掃描：發(fā)多個數據包進行掃描，根據返回結果和協議紋棧來識別對方操作系統，隱7．UDP掃描與TCP掃描稍有不同，隱蔽性強通過對NetFlow蠕蟲是一種通過網絡傳播的惡性病毒，它具有病毒的一些共性，如傳播性、隱蔽性、破壞性等，同時具有自己的一些特征，如不利用文件寄生(有的只存在于內存中)，從而對網絡造成拒絕服務。在產生的破壞性上，蠕蟲病毒也不是普通病毒所能比擬的，網絡的發(fā)展使得蠕蟲可以在短短的時間內延整個網絡，造成網絡癱瘓，目前由蠕蟲病毒帶來的經濟損失不可估量表3．1蠕蟲病毒及其相應特病毒特類型TCP、字節(jié)數(CodeRedWom)字節(jié)數2003蠕蟲 通過UDP包向目標的1434端發(fā)送數據包、字節(jié)數為對各種網絡蠕蟲病毒來說，一旦感染了系統后，為了傳播自身，通主動向外發(fā)送具有某種特征的數據包，這種特征主要體現在協議端口號、NetFlow數據恰好能提供這些信息，所以我們可以利用NetFlow檢測知的網絡蠕蟲病毒，以便盡早發(fā)現網絡蠕蟲病毒，快速作出響應，避免病擴散、泛濫，防止網絡的正常業(yè)務受病毒影響m，哈爾濱丁程大學碩士學位論3．1．3DoS、DoSm,是哈爾濱丁程大學碩士學位論3．1．3DoS、DoSm,是 DoS攻擊有計算機網絡帶寬攻擊和連通性攻擊。帶寬攻擊指以極大的通信沖擊網絡，使得所有可用網絡資源都被消耗殆盡，最后導致合法的用戶請無法通過。連通性攻擊指用大量的連接請求沖擊計算機，使得所有可用的操作系統資源都被消耗殆盡，最終計算機無法再處理合法用戶的請求。對DoS而言，其攻擊方式很多，主要使用的攻擊有3種，分別是TCPSYNflood、UDPflood和ICMPflood。當用戶進行一次標準的TCP連接時一個三次握手過程。首先是請求服務方發(fā)送一個SYN消息，服務方收到后，會向請求方回送一個SYN-ACK表示確認，當請求方收到SYN—ACK后，次向服務方發(fā)送一個ACK消息，這樣，一次TCP連接建立成功。但是TCPflood在實現過程中只進行前兩個步驟：當服務方收到請求方的SYN—ACK認消息后，請求方由于采用源地址欺騙等手段使得服務方收不到ACK回應，于是，服務方會在一段時間處于等待接收請求方ACK消息的狀態(tài)。對于某服務器來說，可用的TCP連接是有限的，如果惡意攻擊方快速連續(xù)地發(fā)送類連接請求，該服務器可用的TCP連接隊列將很快被阻塞，系統可用資源劇減少，網絡可用帶寬迅速縮小，長此下去，網絡將無法向用戶提供正常分布式拒絕服務Denial指借助于客戶／服務器技術，將多個計算機聯合起來作為攻擊平臺，對一個或多個目標發(fā)動DoS攻擊，從而成倍地提高拒絕服務攻擊的威力，它是在傳統的DoS攻擊基礎之上產生的一類攻擊方式。通常，攻擊者使用一個偷竊帳號將I)DoS主控程序安裝在一個計算機上，在一個設定的時間主控程序將與大量Internet上的許多計算機上。代理程序收到指令時就發(fā)動攻擊。利用客戶／服務器技術，主控程序能在幾秒鐘內活成百上千次代理程序的運行準，當發(fā)現網絡流量異常的時候，就可以利用NetFlow有效地查找、定位攻擊的來源哈爾濱工程大學碩十學位論3．1．4在Landw哈爾濱工程大學碩十學位論3．1．4在Landw攻擊中，一個特別偽造的SYN包中的源地址和目標地址都置成某一個服務器地址，這時將導致接收服務器向它自己的地址發(fā)送ACK消息，因此這個地址又發(fā)回ACK消息并創(chuàng)建一個空連接，每一個這樣連接都將保留直到超時為止of這種攻擊通過發(fā)送大于65535字節(jié)的ICMP包使操作系統崩潰能發(fā)送大于65535個字節(jié)的ICMP包，但可以把報文分割成片段主機上重組，最終會導致被攻擊目標緩沖區(qū)溢Smurfm，攻擊本身屬于DoS攻擊的一種，但又有著其獨特的方式。攻擊是利用Ping程序中使用的ICMP擊主機IP地址的包；然后攻擊者將這些包發(fā)送給不知情的第三方，使它們成為“幫兇”；如果攻擊者發(fā)送足夠的ICMP包，回應會超過被攻擊主機的承受能力。因此，Smurf攻擊實際上是一種IP欺騙式的攻擊，將最終導致與拒絕服務攻擊一樣的結果WinNuke攻擊又稱帶外傳輸Bounds)攻擊，它的特征是攻標端口，并向其發(fā)送“n”，此時受攻擊計算機的網絡系統徹底崩潰，只有重新啟動。這種攻擊行為的特點是被攻擊的目標端口通常是139、138、137、1565．TCP／UDP端口掃TCPUDP行的服務類型。為進行其他行為的攻擊服務，是網絡攻擊中最常見的行為。21、23、25、80、8000、8080哈爾濱]=程大學碩十學哈爾濱]=程大學碩十學位論網絡流量異常檢測的目的是通過某種檢測方法來分析和發(fā)現網絡或系中可能出現的異常行為，并向管理員提出警告，或主動作出反應。通絡的異常行為表現為流量的異常。例如上節(jié)所列舉出的攻擊，用傳統的系統升級無法檢測并預防此類攻擊，因此對網絡流量進行實時監(jiān)測與響應成為檢測這類攻擊的重要手段。由于所有的網絡行為都會在網絡層和傳輸層留下痕跡，而流數據恰好包含了網絡層及傳輸層的信息，因此分析流數據對發(fā)現網絡異常行為具有很重要的意義對于異常流量的檢測方法，大體可以分為兩類：一類是通過建立正常的網絡流量行為，將當前的網絡流量特征與正常流量行為之間存在明顯的偏離時，即可認為存在異常：另一類是通過異常流量特征匹配的方法來實現異常檢測，即事先建立好異常特征庫，將當前流量特征與之匹配，匹配成現異常。當然兩種方法也都各有優(yōu)缺點，比如前者虛警率高，但對于未知統計分析常用在基于異常的入侵檢測系統中，它使系統能夠學習日常為，將那些與正?；顒又g存在較大統計偏差的活動標識成異?；顒?。統計模型中常用參數包括審計事件的數量、間隔時間、資源消耗情況等，可用于檢測分析的典型統計模型有五種m，；操作模型、平均值和標準差模型、多元(1指標可以根據經驗或一段時間的統計平均得到。(2)平均值和標準差模型計算參數的平均值和標準差，設定其置信區(qū)間，當測量值超出了置信區(qū)間的范圍時表明可能存在異常。(3)多個參數實現檢測。(4)態(tài)，用狀態(tài)轉移矩陣來表示狀態(tài)的變化，若對應于發(fā)生事件的狀態(tài)轉移矩陣概率較小，則該事件可能是異常事件。(5)序，如一新事件在該時間發(fā)生的概率較低，則該事件可能是異常事該方法是假設歷史數據是正常的數據該方法是假設歷史數據是正常的數據，其缺陷主要是假設統計模型的據能正確的反映系統的正常數據，而實際中往往很復雜，它的主要優(yōu)點是神經網絡具有自適應、自組織和自學習的能力，可以處理一些環(huán)境信十分復雜、背景知識不清楚的問題。在采用統計處理方法很難達到高效準與運用統計方法和神經網絡對入侵進行檢測的方法不同，用專家系統對入侵進行檢測，經常是針對有特征的入侵行為。所謂的規(guī)則，即是知識。專家系統的建立依賴于知識庫的完備性，知識庫的完備性又取決于審計記錄的完備性與實時性。入侵的特征抽取與表達，是專家系統檢測分析的關鍵數據挖掘m一Mining，DM)是從大量的、不完全的、有噪聲的模糊的、隨機的數據中提取隱含在其中的盡可能多的安全信息，抽象出有于進行判別和比較的特征模型，這些特征模型可以是基于異常檢測的特征量模型，也可以是基于異常檢測的行為描述模型，然后由計算機根據相應法判斷出當前行為的性質。目前應用較多的數據挖掘算法有數據分類、關規(guī)則和序列分析5．基于模糊理論的檢測分析方入侵活動往往不是孤立的活動，而是一個有機的活動序列。入侵者往往首先收集有關信息，然后試圖獲得某個訪問權限，之后竊取或修改系統的某些信息。這樣，在一定程度上將入侵檢測分析轉化為一個多模糊證據綜合判決的問題I3．3上，只有提取出流量的統計特征，才能夠作進一步的分析。根據NetFlow屬性特征，對NetFlow數據流進行匯聚，可以實現對網絡流量的多角度統計通常統計方式分為兩大類通常統計方式分為兩大類：靜態(tài)統計和動態(tài)統計m。前者反映某個時絡的流量信息；后者反映某個時段內網絡隨時間推移而產生的流量變化。于流量數據的采集本身是一個順序過程，因此需要指定起始時間和終止時在這個時間段內進行統計才有意義1．按照源／目的IP地址匯這種統計能夠直接反映某地區(qū)網絡負載狀況，作為路由調整、網絡擴容的策依據2．按照流入／流出接口匯統計時間T內路由器或交換機的一個或幾個接口的流量。這種統計為調路由設備端口的使用方式提供依據統計某個時間段內訪問指定的TP／DP端口的流量。P／P的端口號代表著網絡上不同的應用(wwW、FP等)，將這種方式與前兩種結合做二維或者三維分析，可以得到各種網絡應用的流量分布情況。這種統計可以作為托管機房流量監(jiān)控的手段，為提供不同服務的主機調整合適的路由端口及配置4．按照下一跳地址匯可以獲得當前流設f備和與其有直接路由關系的路由設備之間的流自治域的劃分一般以地理區(qū)域為依據，此統計方式可以獲得域間流量，為網絡規(guī)劃提供必要的決策支持。對時間T內的流量求數學期望E(F)，可以獲雜的統計方法，便于從不同視角反映流量的空間分哈爾濱工程大學碩+學位論動態(tài)統計是在靜態(tài)統計的基礎上，將T按照不同時間單位，劃分為n個子哈爾濱工程大學碩+學位論動態(tài)統計是在靜態(tài)統計的基礎上，將T按照不同時間單位，劃分為n個子時間段t。t。，?，t。，再把某種靜態(tài)統計規(guī)則應用到部分或者所有的子時間段，得到m(m≤n)個統計結果，這n1個結果在含有時間維的坐標系中的順序表示，就形成了流量的時域變化圖子時間段的劃分通常具備一些規(guī)律，如·當t．=t產?=t。時，對每個子時間段的統計得到Ⅲ=n個結果到i個結果動態(tài)統計有助于運營商確定網絡的忙閑狀況，選擇最合適的時間執(zhí)行絡維護以及設備切換等工作顯然，應用同樣的統計規(guī)則以及統計時間段T要比靜態(tài)統計大得多。如對應上文第一個子時間段劃分方式，計算資源平衡，才能保證流量分析系統良好的人機交互能力目前，通過對NetFlow數據進行分析以發(fā)現異常的方法主要有TopN與線和特征匹配兩種。它們都是基于統計結果的異常分析方法?基線是根據歷史流量模式描述“正常”網絡活動的模型；所有不在已立的流量模式中的流量將被認為是不正常趨勢與基線分析報告(一般以TopN流分析的方法。通過這種方法，可以使人們將注意力放到那些volume”TopN會話指出一個主機發(fā)出大量的連接請求到一個或多個目的主機，接請求數已遠遠超過了已建立的基線。一般出現接請求數已遠遠超過了已建立的基線。一般出現這種情況是由于新的蠕蟲DoS／DDoS攻擊、網絡掃描或其他網絡濫用正在發(fā)生正常客戶端訪問Internet會保持相對正常的連接頻率。但如果感染了蠕蟲的客戶端，其行為將會不同，將發(fā)出大量到外部的連接請求以嘗試感染其他主機，因此，其對外連接請求數將會明顯增大同樣原因，當腳本小子(Scriptkiddie)掃描地址段以查找漏洞服務時，可以通過TopN會話檢測多種網絡濫用，如實時檢測每個主機流記錄2525我商可以采用這種技術進行檢測并關閉垃圾郵件服務器2．IopN數第二種使用TopN和基線的方法是TopN數據。它定義了一段時期內兩網絡節(jié)點或一個節(jié)點到一個地址段的連續(xù)的大量網絡數據傳輸。企業(yè)中上或下載數據量TopN主機應歸類到固定組中。如新的主機出現在TopN主個報警應被觸發(fā)對具有特定流量特征的異常流量的分析和特征提取，從而確定異常的網絡量模型。流記錄中的所有流字段都可以用于特征匹配，其中源／目的IP源／目的AS號、源／目的端口號、協議類型、TCP標志位是最常用的。它通過匹配預先定義好的入侵模式與觀察到的用戶行為來檢測入侵，能夠準確地檢1．端口匹一般來說，為了發(fā)起一次攻擊，大多數的攻擊會有一個特定的端口。比如說，SQLlaer蠕蟲工作在1434端口，Neusrjn是1245理員通過對流記錄的目的端口進行過濾，可以發(fā)現相應的攻擊。這種方法易21P地址匹哈爾濱工稃大學碩士學位論IP地址匹配是另一種可以用于安全檢查的NetFlow分析方法。下面有種方法進行IP地哈爾濱工稃大學碩士學位論IP地址匹配是另一種可以用于安全檢查的NetFlow分析方法。下面有種方法進行IP地址匹配(1)匹配IANA保留地發(fā)現流記錄中存在IANA保留地址，報警應被觸發(fā)。應該意識到當執(zhí)行IANA保留地址匹配時，流記錄中的潛在主機如使騙地址將無法回溯。因此，其他的流字段Ifindex應該被使用。通過檢查相應的路由器Ifindex號以查找流真正的路由器接口來源。當執(zhí)行基于流異常檢測時，有多種用于企業(yè)或ISP的默認規(guī)則。規(guī)則·外出在企業(yè)或ISP中，任何流記錄的源IP地址不是自己網絡的外出流量都被認為是異?！みM入在企業(yè)或ISP中，任何流記錄的源地址是自己網絡的進入流量都應被為是異常一些異常行為會有一個或多個固定IP地址。比如說，在蠕蟲爆發(fā)時，蠕蟲會發(fā)送DNS查詢到以下DNS服務器194．25．2．130因此，當流記錄中的目的地址是以上地址且目的端口是UDP53時，應高警惕，并作進一步的分析正常的TCP連接要經過三次握手，但是當攻擊主機大范圍的掃描某臺哈爾濱T程大學哈爾濱T程大學碩七學位論機的眾多端口或眾多主機的同一端口時，勢必有很多端口或主啟此服務，而不回復任何消息，即攻擊特征可以明顯地表現出來。當網絡方法，也可以推測出UDP端口掃描攻擊首先對通過流量分析即可被發(fā)現的各種異常情況及其特征作以介紹后在此基礎上列舉比較有效的異常檢測方法。由于對NetFlow數據的分析果進行分析，以發(fā)現網絡異常哈爾濱1=稗大學碩士學位論·操作系統平臺Fedora哈爾濱1=稗大學碩士學位論·操作系統平臺FedoraLinux是一套免費使用和自由傳播的類Unix操作系統，它主要用于基x86系列CPU的計算機上。這個系統是由全世界各地成千上萬的程員設計和實現的。其目的是建立不受任何商品化軟件版權制約的、全世界能自由使用的Unix兼容產品Lnx以它的高效性和靈活性著稱。它能夠在Pc計算機上實現全部的Unix特性，具有多任務、多用戶的能力。Linux是在GNU公共許可權限下免費獲得的，是一個符合POSIX標準的操作系統。Linux操作系統軟件包不僅包括完整的Linux操作系統，而且還包括了文本編輯器、高級語言編譯器等應用軟件Linux操作系統在短短的幾年之內得到了非常迅猛的發(fā)展，這與x具有的良好特性是分不開的。Linux包含了Unix的全部功能和特性。簡單的Liux1．開放標準。凡遵循國際標準所開發(fā)的硬件和軟件，都能彼此兼容，可方便地實多用多任哈爾濱T程大學碩十學位論它是指計算機同時執(zhí)行多個程序，而且各個程序的運行互相獨立。系統調度每一哈爾濱T程大學碩十學位論它是指計算機同時執(zhí)行多個程序，而且各個程序的運行互相獨立。系統調度每一個進程平等地訪問微處理器。事實上，從處理器執(zhí)行一個應程序中的一組指令到Linux調度微處理器再次運行這個程序之間只有很短的4．豐富的網絡功完善的內置網絡是Linux的一大特點。Linux于其他操作系統。其他操作系統不包含如此緊密地和內核結合在一起的連網絡的能力，也沒有內置這些聯網特性的靈活性。而Linux為用戶提供Linux系統下的Compiler)是GNU推出的功能強大、性能優(yōu)C的多平臺編譯器，是GNU的代表作品之一。GCC是可以在多種硬體平臺上編譯出可執(zhí)行程序的超級編譯器，其執(zhí)行效率與一般的編譯器相比平均效率要由于路由器發(fā)送NetFlow數據是通過UDP協議，鑒于UDP協議無連的特點，如果采集程序處理一個UDP包的時問過長就可能丟失下一個所以采集程序的效率必須相當高以便接收路由器發(fā)送過來的所有數據包。Linux下用C實現的采集程序正好能滿足這一要求MySQL是一個運行速度很快、健壯并且易用的數據庫服務器軟件，對應用系統非常理想。它除了支持標準的ANSISOL語句，還支持多種平臺Linux系統上MySQL支持多線程運行方式，從而能獲得相當好的性能依據NetFlow的特點并結合本項目需求，設計實時檢測模塊功能框架數據，通過對數據包的解析，將數據包中包含的流信息進行處理，并按照一定的原始NetFlow數據格式存入原始NetFlow數據庫中。從數據庫中讀取單哈爾濱T程大學碩士學位論數據與單流特征進行匹配，并實時生哈爾濱T程大學碩士學位論數據與單流特征進行匹配，并實時生成報警信息，同時將NetFlow數據依上層應t統計信報警信II事件生單流監(jiān)測———統計規(guī)則統計規(guī)則統計規(guī)則基于NeIFlowll▲llNetFlow采集器功能根據歷史流量確定基線，將當前一個時段內的統計值與基線進行比較若落在置信區(qū)間內則為正常行為，落在置信區(qū)間以外則為異常信息。將初數據統一到一致的XML格式下。此外，還應對異常的特征進行實時更新，實現對新出現的異常行為的檢測哈爾濱T稃大學碩士學伊論由于NetFlow數據是借助于UDP數哈爾濱T稃大學碩士學伊論由于NetFlow數據是借助于UDP數據報來傳送，因而倘若后續(xù)的處理度跟不上數據包到達的速度，則會出現嚴重丟包的現象。為了保證在大流的交換設備上有較低丟包率的同時，實現對安全事件的實時檢測，本文采用了多線程技術同時運行四個主要線程，這四個線程分別完成如下幾個功能。NeFlow數據接收線程：接收Flow數據存入到本地文件流解析線程：拆分NetFlow接收線程接收的數據包，按照其數據格式對流數據進行解析，并存儲到數據庫的實時數據表中3．統計線程：按時間粒度(1分鐘、5分鐘、30分鐘等)統計流信息并儲到數據庫的統計表中4．分析線程：分析數據，定位網絡中的安4．3．1線程(thread)技術早在0年代就被提出，但真正將多線程應用到操作系統中去，是在80年代中期，ors是這方面的佼佼者。傳統的ix也支持線程的概念，但是在一個進程(proces)中只允許有一個線程，這樣多線程就意味著多進程?，F在，多線程技術已經被許多操作系統所支持，包括多線程是計算機同時運行多個執(zhí)行線程的能力(這些線程可以是同一下的多線程程序，需要使用頭文件pthread．h，連接時需要使用ibpthread．a。Linux下pthread的實現是通過系統調用clone()來實現的l4．3．2)LML?“哏口可擴展標記語言，由WideMarkup，標準化通用標記語言)發(fā)展來，是SGML的一個簡化子集。它以一種開放的、自我描述的方式定義了數結構。在描述數據內容的同時能夠突出對結構的描述，從而體現出數據之的關系，它的特點是簡單、開放可擴充。作為一種標記語言，XML標準是W3C組織推出的一系列規(guī)范組成的，它主要包括xML、W3C組織推出的一系列規(guī)范組成的，它主要包括xML、可擴展樣式表語言Language)、文檔對象模型DOM(DocumentModel)以及文檔類型定義DTD(DocumentTypeDefinition)XML的主要特點如下1．可擴展2．結構數據存儲格式不受顯示格式的制約。一般包括三個要素：數據、結構及顯示方式。XML使用DTD準確地描述文本資料的內容、含義、結構、特征和關系等信息(稱為元資料)，而把資料的外觀表現形式交給樣式表(如CSS，XSL，DSL等)處理，這樣就把資料的內容和其表現形式合理地隔開，從而大大提高XML資料的可理解性、可交換性和重用決新舊系統、不同應用系統之間或者不同數據源之間的數據共享與交互問題IIIlNctFIow數圖4．2并發(fā)處理過程示意采集器運行在NetFlow數據接收端，它的總體功能就是接收由路由器送來的UDP形式的NetFlow數據，并將UDP數據包進行拆包解析，還原送來的UDP形式的NetFlow數據，并將UDP數據包進行拆包解析，還原NetFlow數據，按照其采用的格式提取出NetFlow數據各字段信息的含義，以定義好的數據結構存儲到原始NetFlow數據庫中為了防止數據包的丟失，采集器通過運行兩個線程來實現。其中一個線程實現對UDP數據包的接收，并存入到一個數據緩存中，另一個線程負責從緩存中取數據，并對數據包進行拆包解析，還原出流記錄，然后存入到原始NetFlow數據庫中，等待后續(xù)的處理。具體工作過程如圖4．2所示4．4．1圖4．3接收端數據接收過程示意首先在支持NetFlow功能的路由器端打開NetFlow功能，并配置其輸出0route-cachedestination192．168．1．1source version哈爾濱工程大學碩十學位論[13-[4]行：啟動串行接口Serial0的NetFlow哈爾濱工程大學碩十學位論[13-[4]行：啟動串行接口Serial0的NetFlow[6]行：路由器統計生成的Flow數據從其Sl口送出[7]行：Flow數據將采用版本5格式送出依次將收集到的數據存入到數據緩存隊列中，等待后續(xù)線程使用。接收過初始上●l上cascflllklIIII’lol0打開數據庫接流解析線程是實現將讀取到的數據包按照其相應的NetFlow流的序列，然后存入數據庫中的過程。在解析過程中主要用到了以下幾個主要函數 哈爾濱下程大學碩十學位論Switch(version)：由于NetFlow目前哈爾濱下程大學碩十學位論Switch(version)：由于NetFlow目前應用得比較多的就是V5和V9，此建立兩個拆分策略，分別對應V5和v9的NetFlow數據格式。例如，倘獲取的數據包的版本號是5，則調用V5解析策略對應的解FdecodeO：流解析函數。每種解析策略有其對應的解析函數具體實現過程如圖4．4所示數據統計分析的功能是對收集到的NetFlow數據按照一定的統行統計，得到含有一定統計特征的統計結果，作為異常分析的依據。在分的過程中采用一個三層的檢測模型，在實現對數據進行實時分析的同時，能在實現上，該功能具體可分為兩個線程同時運行統計線程：按照事先定義好的多種規(guī)則對流數據進行匯聚統計，即按議類型、源P地址／端口、目的P地址／端口、自治域等方式進行流量統計，并將統計結果存入統計結果數據庫中，這些統計結果將被用來作為異常分析分析線程：在設計分析線程時，為了盡可能全面地檢測出網絡異常行提出了三層的檢測模型。第一層檢測是通過對單條流數據進行特征匹配以時發(fā)現異常。第二層和第三層檢測則是建立在統計結果之上的，根據已經統計入庫的數據，將按照協議類型、源IP地址／端口、目的IP地址／端口、自治域等方式進行流量統計的數據按時間段分析平均數據流量，與正常流量的基線進行比較，確定可疑信息，再將可疑信息的特征值與異常特征庫中的征匹配，以進一步確定安全事件，即完成第二層和第三層檢測4．5．1NetFlow成安全事件的前提條件。對數據進行統計的關鍵在于統計規(guī)則的確定，規(guī)哈爾濱_[程大學碩士學位論應該能盡量覆蓋流量特征，但同時規(guī)則數又不宜過多，倘若過多哈爾濱_[程大學碩士學位論應該能盡量覆蓋流量特征，但同時規(guī)則數又不宜過多，倘若過多則會影響個線程的執(zhí)行效率根據常見攻擊各自所具有的特征，來確定分析時常用到的NetFlow屬性，可制定統計規(guī)則如表4．1所示。由于NetFlow數據屬性值很豐富此相應的統計規(guī)則也非常多，在設計時可以根據需要不斷添加新的規(guī)則序l源IP地址／源端口目的IP地址／源端口23456789destination—addresssource——address／source——portsource—destination-address／destination—source／destination—col／tos／source／destination—目的IP地址／目的端口在實現的過程中，首先初始化統計線程fstat0，設置相應的數據變量如起始時間等。然后從原始NetFlow數據庫中逐條讀取流記錄，將每條流據按照事先定義好的規(guī)則進行統計，同時實時更新統計結果數據庫中的各項下面就以平均包長的代碼實現為例，說明該方法的統計過程，其他的計方式與其類似。平均包長的統計過程如圖4．5所示。其中，P長，通過判斷語句來判定P的大小，倘若P的值落在了某一長度區(qū)間內該長度所對應的統計值該長度所對應的統計值就加一if(D<=32)++rptlif(p<-2560)++rptl一if(P<=3072)++rptl>psize3072if(P<=3584)++rptlpsize3584if(P<=4096)什rpt卜>psize4096NetFlowNetFlow條流記錄和多條流記錄的統計結果兩方面著手，從而全面地發(fā)現異常行為。而基于統計結果的分析又可以采用異常流量特征匹配和建立正常流量基線相結合的方式來對異常行為進行檢測，即建立起上文中所提到的三層檢測模型哈爾濱T程大學碩士學哈爾濱T程大學碩士學位論NetFlow數1．基于單條流信息的異常檢測?；趩螚l流信息的異常檢測主要針對單條流記錄的特征值進行檢測，收到流數據就馬上進行檢測，因此實時性很高圖4．7基于單流的異常檢測方檢測方法如下首先查看單條流記錄的源地址是否異常，倘若流的源地址為或者該域內的廣播地址，則可直接判定該流是存在異常的。然后查看流的哈爾濱T程大學碩士學哈爾濱T程大學碩士學位論和目的地址是否相等，如相等則可判定為異常流信息。最后再查看流的源目的端口以及標志位是否異常。檢測過程如圖4．7所2．基于統計結果的異常檢測模由于流記錄具有多種屬性，而流量的異常可以通過屬性值的異常體現出來，因此，需要對NetFlow數據進行各種角度的統計，才能有效的發(fā)現網絡異常行為。這里采用異常流量特征匹配和建立正常流量基線相結合的方式來對異常行為進行檢測，該方式可以綜合兩種檢測方法的優(yōu)勢，更加全面有效8先將統計結果與從歷史流量中提取出的基線進行比較，倘若當前觀測值落在置信區(qū)間內，則可認為該流量是正常的，倘若落在了置信區(qū)間以外，則將其列為可疑事件，并作進一步的分析判定，即將可疑信息與異常特征進匹配，如果沒有匹配成功，則將該類信息列為低可信度事件，如果匹配成功則將其視為高可信事件。這樣做不但可以比較全面的分析出網絡中存在的異常行為，確定事件的具體類型，還可以將可疑事件按照可信度來分級，這樣管理員就可以按照可信度的級別對高可信度的事件做優(yōu)先處理圖4．8檢測過程示意基線是描述正常流量的范圍，即置信區(qū)間，可以從歷史流量中提取。線的確定可以采用參數度量平均值的標準偏差值來計算。通過已經觀測哈爾濱]二程大學碩士學位機變量X的樣本值X；(i=l，2，?，n)計算出哈爾濱]二程大學碩士學位機變量X的樣本值X；(i=l，2，?，n)計算出觀測值的平均值，=·-·—··一定義stdev為標準偏差，則置信區(qū)間的計算公式[mean-d*stdev,mean+d*stdev(4-式中：dstdev——標準偏其中d為參數，它根據目前的網絡流量狀況不斷的進行調整，倘若是網絡流量高峰期，如上午10：oo到12：oo，則d避免誤報，而在網絡流量低谷期，如24：oo一6：00，d值就會調整到較小的(2)異常流量特征進行異常流量特征匹配的前提是特征庫的建立，如何保證特征庫既完備又不冗余，是實現實時準確檢測異常的關鍵所在。根據NetFlow屬性特征以及常見網絡攻擊的特點，歸納特征描述如表4．2所示表4．2特征描目的地址多且目的端口都是出現大量目的端口號為80、包數為3、字節(jié)數為144的攻擊類DoS(TCPSYN)震蕩波變Slammer蠕Red流數大，目標地址單一且源端口都為由于網絡中的異常行為方式不斷增多，應該對特征庫進行定期的更新哈爾濱]_程大學碩十學位論以保證不會有因為新攻擊手段哈爾濱]_程大學碩十學位論以保證不會有因為新攻擊手段的不斷出現而使系統失效的可能異常流量特征匹配的基本思想如圖4．9所示將從通過基線模式過濾出來的可疑信息中提取出的特征值與異常特征當前特特征事件名事件名匹配成事件名特征n-事件名n-特征圖4．9異常流量特癥匹配示意本章是論文的重點。首先介紹了實時檢測模塊的開發(fā)環(huán)境，闡述了該開發(fā)環(huán)境的優(yōu)點。然后針對目標需求，提出基于NetFlow的實時安全事檢測模塊的功能框架，在介紹模塊開發(fā)所用關鍵技術的基礎上，分別完成數據接收線程、流解析線程、統計線程以及分析線程的具體設計和實現哈爾濱工稃大學碩士哈爾濱工稃大學碩士學位論針對設計實現的NetFlow數據采集和統計功能，搭建相應的網絡環(huán)境臺進行實驗，用以驗證該功能的有效性5．1實驗環(huán)境的部為了進行驗證實驗，搭建了如圖5．1所示的實驗環(huán)境圖5．1網絡實驗環(huán)境示意該實驗環(huán)境搭建在校園網中的一個網段內。主要實驗設備包括：一臺HB、一臺c機作為NFow模擬輸出端、一臺Pc機作為tlw通過安裝NetFlowExporter軟件在NetFlow數據采集機上模擬生成HUB所形成的沖突域中的NetFlow數據，在數據接收集上運行設計開發(fā)的序，準備工作就緒，下面就依照實驗方案對實現的模塊中的各功能進行驗證哈爾濱工稃大學碩士學位論在配置的網絡環(huán)境中，主要進行以下幾個方面的實驗1．數據捕d虻哈爾濱工稃大學碩士學位論在配置的網絡環(huán)境中，主要進行以下幾個方面的實驗1．數據捕d虻222．2T．2飄222．2T．2斟”"¨"”"66222．27．2飄6666222．2T．2明66222．27．2222．27．2鰣222．2T．2鈾6666仉2222725一蚴m"Ⅲ塒刪獅"∞薹|腳螂暑f哪啪薹若嗽鑫}郴m邸一螂一喇～一一洲齜蹦m""仰壩m塒|66m|∞實驗表明，模塊中的數據采集功能夠對收集到的NetFlow數據按照字值進行正常顯示％oF刪D獻．懈。稈蛾D毗#蜘96一cp(M目Ho(囂126iTcP}105．56bps(278．32值進行正常顯示％oF刪D獻．懈。稈蛾D毗#蜘96一cp(M目Ho(囂126iTcP}105．56bps(278．3233鉀帥 222．27．積．96zz2，27．拼．96222．27．25啐136．96b*(96．7136．61bps(96．52烈．5咻∽．6l倦33132『i∞l斟，T鞠0吲璺·2bps(軺·砷l13．59b陟(籬揣210．22．13．2圖5．3NetFlow該實驗對傳送率進行統計，生成了TopN統計結果。218．107．55．21在個時段內通信量最大，通過協議類型可以判斷該用戶可能正在從IP地址222．27．254．96在對NetFlow數據進行統計的實驗中，選擇了三種規(guī)則進行統計，分從圖中可以看出，大約在19：30分的時候流量明顯增加，表明存在網per從流量統計圖中，可以分析出流量起伏比較大，表明用戶正常的訪問哈爾濱工程大學碩七學位論絡資源，未見異常day統計結圖哈爾濱工程大學碩七學位論絡資源，未見異常day統計結圖(3)Megabitssecond圖Megabits該實驗結果表明在17點和19．-30兩次出現了流量突變的情況，可以斷在這兩個時段網絡流量值發(fā)生了激增，應該對這兩個時段的數據進行進步分析通過以上的實驗結果可以分析出，設計實現的實時檢測模塊能夠成功的o驗環(huán)境搭建在一個局域網內，收集的數據只是流經HUB的數據，因此數據有限，不能對系統在大流量數據下的采集和統計功能進行測試本章首先搭建了～個實驗環(huán)境，并依據實驗方案對模塊功能進行測試目的是要驗證該模塊的可靠性與有效性。通過對實驗結果的分析，可以得該模塊能夠實現預期的功能哈爾濱工程大學碩+哈爾濱工程大學碩+學付論網絡科學技術的發(fā)展，信息共享程度的提高，使得網絡已經滲入到了社會生活的各個方面，同時也為網絡犯罪的產生和發(fā)展提供了條件。為了抵御網絡威脅所帶來的破壞性，各種網絡安全技術不斷涌現。網絡安全態(tài)勢感知就是一個全新的研究方向，它能夠快速的反映網絡的當前安全狀況及預測來發(fā)展趨勢，并具有主動實施防御的能力。NetFlow作為一種高速的流交換技術，能夠提供流經網絡交換設備全面的實時網絡數據，因而可以作為一項重要的數據源來進行研究。為了更好的支撐網絡安全態(tài)勢感知項目，開展基于NetFlow的實時安全事件檢測技術是非常有必要的。對NetFlow技術進行了較全面的總結，對目前普遍采用的三種網絡流量采技術逐一做了介紹，并進一步對三種方法進行了對比分析，突出了NetFlow的原因及優(yōu)勢2．分析了基于NetFlow的異常檢測方法，尤其對基于統計結果的異常測方法進行了詳細的闡述。在這部分工作里，首先介紹了通過NetFlow技術可以發(fā)現的異常都有哪些，并對這些異常的特點進行分析，然后總結了NetFlow流量統計方法。最后在前兩項工作的基礎上提出了一個三層的檢測3．在Lnx操作系統下使用C語言實現了基于w檢測模塊中數據收集線程、流解析線程以及統計線程三個線程，并通過實驗予以了驗證。設計了分析線程的工作框架，并對其進行了初步的實現。I．考慮是否需要在采集的時候設置采樣率。由于在該系統中采用了單檢測模式，因此倘若采用采樣策略則很有可能產生漏報，而且這種漏報很再由后續(xù)的檢測方法發(fā)現，即時能夠被發(fā)現也將極大影響實時性。但考慮采樣率考慮采樣率的問題，則在高速網絡環(huán)境下，實時性也會受到影響。因此方面問題應該權衡考2．繼續(xù)完成對分析線程的實現。同時考慮是否有更好的分析算法來快速有效的對安全事件進行檢測。本文提出的三層檢測模型，雖然能夠比較全面這應該在以后的工作中作更深入的研究并逐步改進哈爾濱工程大學碩七學位論仁Crannog系列產品介紹iWJofthe2004ACMWorkshoponandComputer哈爾濱工程大學碩七學位論仁Crannog系列產品介紹iWJofthe2004ACMWorkshoponandComputerDE．USA．2004：157—Li．VisFlowConnect：NetFlowVisualizationsofthe2004onVisualizationand(VizSEC／DMSEC)。WashingtonDE，USA．2004：223—Flow-tools．http：／／www．splintered．net／sw／Flow-Analysis秦剛，李俊．應用NetFlow技術進行網絡計費的研究．微電子學與計機．2004，21(2)：95—98顧勇，壽國礎．IP網絡性能度量和測試方法的研究．電信楊蠑，張國清，韋衛(wèi)，李仰耀．基于NetFlow流量分析的網絡攻擊行哈爾濱_T程大學碩十學位論發(fā)現．計算機工程．2005，31(13)：137—139[11]港灣網絡與啟明哈爾濱_T程大學碩十學位論發(fā)現．計算機工程．2005，31(13)：137—139[11]港灣網絡與啟明星辰合推出天清漢馬防火墻／多功能安全網關http：／／www．c啊 [12]Timhttp：／／WWW．usenix．org／publications／109in／1999—[13]王惹強，賴積保，朱亮，梁穎．網絡態(tài)勢感知系統研究綜述．計算機學．2006，33(10)：5-10lOS[15]利用NetFlow進行網絡安全管理術．2006，7：38—41[18]韓春靜，唐海娜，李俊．IP協議分析儀的設計與實現．計算機工程與9Flow—IOSNetFlow[20]周宏．校園網上NetFlow流量監(jiān)控分析系統的設計與實現．西南民族學學報(自然科學版)．2005，31(3)：456—459SNP計算機科學．2003，30(7)：69～73頁朱勤，陸建新，陳繼紅．IP流量采集的幾種方法及其比較．南通工學院[23]王元莉．NetFlow技術與高校網絡管理．中國教育網絡．2005，06：65—頁[24]肖微．端口掃描技術的原理及應用．網絡安全技術與應用[25]辛穎，徐敬東，肖建華．基于統計的異常檢測引擎分析．計算機應用哈爾濱-[程大學碩十學位論周韶澤，邵力耕．高速網絡環(huán)境下基于NetFlow的網絡監(jiān)測系統計．大連鐵道學院學報．2005，26(2)：86-89BasedIntrusion哈爾濱-[程大學碩十學位論周韶澤，邵力耕．高速網絡環(huán)境下基于NetFlow的網絡監(jiān)測系統計．大連鐵道學院學報．2005，26(2)：86-89BasedIntrusionofthe2004IEEEInternational＆吳虎，劉云超．對DDoS攻擊防范策略的研究及若干實現．計算機應用究．2002，19(8)：34—36李文嘉，張大方，謝高崗．一種基于數據包分析的網絡入侵檢測探針．趙鵬，李之棠．網絡攻擊防御的研究分析．計算機安全．2003，26：35—頁鄒柏賢．一種網絡異常實時檢測方法．計算機學報Fw200531(13)137139164頁朱敏．基于NetFlow網絡流量異常的分析．計算機系統應用4：28—30DE．Anintrusion-detectionmodel．IEEETransactionadata-FlowinnetworkoffifthACMSIGKDDInternationalConferenceKnowledgeand andE．Bloedorn，A．D．Christiansen，W．Hill，C．Skorupka，L．札toforNetworkIntrusionJ．Tivel．DateStarted．The崔毅東，張暉，徐惠民．基于NetFlow技術的網絡流量統計．電信科學哈爾濱T程大學碩士哈爾濱T程大學碩士學位論[38]肖政宏，尹浩．基于網絡流量統計分析的入侵檢測研究．微電子學與算機．2003，23(5)：76—79[39]YimingWormsand Activities[40]李軍懷，周明全，耿國華，張景．XML在異構數據集成中的應用研究計算機應用．2002，22(9)：i0—12[41]張雷．基于XML的異構數據集成研究．北華大學學報(自然科學【l】【l】賴積保，王慧強，金爽．基于NetFlow的網絡安全態(tài)勢感知系統研究．算機應用研究．(已錄用在此論文即將完成之際，謹向在研究生階段給予我關心和指導的各位老師、同學和家人致以最衷心的感謝!正是因為有了他們的幫助和支持，我才在此論文即將完成之際，謹向在研究生階段給予我關心和指導的各位老師、同學和家人致以最衷心的感謝!正是因為有了他們的幫助和支持，我才基于NetFlow的實時安全事件檢測技術研作者學位授予單位金哈爾濱工程大研究-計算機應用研究2.學位論文周仁杰基于NetFlow的實時安全事件檢測技術研作者學位授予單位金哈爾濱工程大研究-計算機應用研究2.學位論文周仁杰基于NetFlow的網絡安全態(tài)勢傳感器設計與實現本文首先闡述了NetFlow(網絡流)技術原理及應用情況，在此基礎上討論了Netflow優(yōu)缺點。其次，研究了NetFlow流量信息的特性，并提出了相應的獲取方法；研究了掃描、蠕蟲、木馬、DOS/DDOS攻擊等網絡異常事件所引起的Netlow化規(guī)律，提出了基線檢測層與特征檢測層相結合的層次化檢測模型。最后，對基于NetFlow的網絡安全態(tài)勢傳感器進行了實驗驗證，包括實地網絡驗證及DARPA數據重放驗證。實驗表明基于NetFlow器能夠高效準確地檢測具有較顯著流量模式或連接模式的網絡安全事件，比如掃描行為、蠕蟲爆發(fā)、DOS/DDOS攻擊等。3.學位論文張超基于NetFlow數據流的計算機蠕蟲病毒探測系統的研究因此計算機蠕蟲病毒探測系統必須能快速探測、鑒別和隔離已感染計算機蠕蟲病毒的機器，特別是感染新型的未知的計算機蠕蟲病毒的機器。同時，計算機蠕蟲病毒攻擊的多樣性，智能性和復雜性對網絡安全管理也提出了新的挑戰(zhàn)。如何完善網絡管理，在早期發(fā)現及處理計算機蠕蟲病毒減輕其危害就成為網絡安全管理的重中之重。鑒于此，我們提出了一種基于NetFlow共性為出發(fā)點，以NetFlow數據流為被監(jiān)視的對象，利用數理統計原理對NetFlow數據流進行分析從而發(fā)現目標。利用該機制，我們能夠探測出大部分計算機蠕蟲病毒掃描、拒絕服務攻擊和其他網絡異常流量。經測試，該機制擁有較高的效率和較低的誤報率。本文首先介紹了計算機蠕蟲病毒的發(fā)展趨勢應用NetFlow可以提供網絡中IP流的信息.這些流的信息有多種用途,包括網管、網絡規(guī)劃、ISP計費等.在網絡安全領域,NetFlow提供的IP分析網絡中的異常流量,這是對