畢業(yè)論文-基于網(wǎng)絡流的異常檢測原型系統(tǒng)設計與實現(xiàn)

本科生畢業(yè)設計[論文]基于網(wǎng)絡流的異常檢測原型系統(tǒng)設計與實現(xiàn)院系__計算機科學與技術學院_專業(yè)班級信息安全1201班姓名_________________學號U201214706指導教師2016年7月13日華中科技大學畢業(yè)設計（論文）

學位論文原創(chuàng)性聲明本人鄭重聲明：所呈交的論文是本人在導師的指導下獨立進行研究所取得的研究成果。除了文中特別加以標注引用的內(nèi)容外，本論文不包括任何其他個人或集體已經(jīng)發(fā)表或撰寫的成果作品。本人完全意識到本聲明的法律后果由本人承擔。作者簽名：年月日學位論文版權使用授權書本學位論文作者完全了解學校有關保障、使用學位論文的規(guī)定，同意學校保留并向有關學位論文管理部門或機構(gòu)送交論文的復印件和電子版，允許論文被查閱和借閱。本人授權省級優(yōu)秀學士論文評選機構(gòu)將本學位論文的全部或部分內(nèi)容編入有關數(shù)據(jù)進行檢索，可以采用影印、縮印或掃描等復制手段保存和匯編本學位論文。本學位論文屬于1、保密囗，在年解密后適用本授權書2、不保密囗。（請在以上相應方框內(nèi)打“√”）作者簽名：年月日導師簽名：年月日I

摘要計算機網(wǎng)絡技術日新月異，接踵而來的安全問題也日漸凸顯，如何保證計算機網(wǎng)絡安全已經(jīng)成為人們越來越重視的問題。為了應對網(wǎng)絡安全的需求，防火墻，入侵檢測系統(tǒng)（IDS），安全審計，入侵防御系統(tǒng)（IPS），各種防病毒軟件等網(wǎng)絡安全設備或軟件在網(wǎng)絡安全領域得到了廣泛的應用。但往往這些工具產(chǎn)生的零散的安全信息難以整合，無法得到整個網(wǎng)絡的安全狀況和變化趨勢信息?；谶@種現(xiàn)狀，此文介紹了一個采用了新的網(wǎng)絡安全技術，基于網(wǎng)絡流的異常行為檢測原型系統(tǒng)。該系統(tǒng)可以通過對網(wǎng)絡流量的快速采集和快速感知，將提取出的各種網(wǎng)絡流量元數(shù)據(jù)與正常行為和異常行為進行匹配，以達到異常行為檢測的目的。關鍵詞：網(wǎng)絡流；訪問控制列表（ACL）；網(wǎng)絡異常檢測 1緒論1.1課題背景當代的計算機和通訊水平日益健壯，Internet日益普及，網(wǎng)絡已經(jīng)成為大眾日常工作和生活的重要組成部分。與此同時，各種各樣的網(wǎng)絡安全問題也接踵而來，惡意攻擊行為、信息竊取和計算機病毒等安全威脅所帶來的挑戰(zhàn)也日益嚴峻，已經(jīng)嚴重干擾了信息的安全傳遞和大眾使用互聯(lián)網(wǎng)進行工作、學習和生活。政府、企業(yè)、軍事部門等開始越來越關注計算機網(wǎng)絡安全、正常的運作。在這種需求和現(xiàn)狀下，各種各樣的網(wǎng)絡安全設備和軟件開始得到關注和使用，如入侵檢測系統(tǒng)(IDS)、入侵防御系統(tǒng)（IPS）、防病毒軟件、安全審計、防火墻等。盡管這些五花八門多種多樣的安全設備和安全軟件給網(wǎng)絡安全管理者提供了許許多多元數(shù)據(jù)和基礎網(wǎng)絡因子，但是如何將這些零散的數(shù)據(jù)進行整合和分類匯聚卻成了一個難題。通過整合這些元數(shù)據(jù)，可以從更宏觀的角度為網(wǎng)絡管理人員展示整個網(wǎng)絡的變化趨勢和安全信息，進而為其工作提供更加決策性的信息，幫助網(wǎng)絡管理員進行決策，進而更加主動、有效的進行安全防護。在這種背景下，研究人員將開始將目光聚集到從復雜多變的網(wǎng)絡流量中提取分類網(wǎng)絡元數(shù)據(jù)，通過一些特定算法的匯聚和處理，從而生成宏觀層面的網(wǎng)絡安全信息，以幫助網(wǎng)絡管理人員對應網(wǎng)絡異常行為和處理網(wǎng)絡安全問題[1]。自1999年，TimBass首次提出后，國外逐漸開始了對宏觀網(wǎng)絡流量態(tài)勢感知的研究，并且受到了社會各界的廣泛關注。而在國內(nèi)方面，近年來也陸續(xù)展開了對網(wǎng)絡態(tài)勢感知的研究工作。我國將信息系統(tǒng)安全技術劃入國家自然科學基金和國家863計劃的重點支持項目，明確指出對網(wǎng)絡異常流量的研究方向。通過從網(wǎng)絡流中提取各類元信息來研究網(wǎng)絡態(tài)勢是網(wǎng)絡安全研究的必經(jīng)之路[2]，該項研究的結(jié)果將有助于網(wǎng)絡信息安全更加動態(tài)化、實時化、主動化、智能化。最初的網(wǎng)絡安全研究工作，不論從規(guī)模上還是環(huán)境上都無法與當今相比，因此，對網(wǎng)絡流量態(tài)勢感知的研究也受限于中、小網(wǎng)絡，數(shù)據(jù)量也不夠充足。到了今天，計算機網(wǎng)絡經(jīng)過快速的發(fā)展，早已今非昔比，網(wǎng)絡規(guī)模的巨大化，應用范圍的廣泛化，使得網(wǎng)絡流量安全的研究也需要適應這種發(fā)展，今后的研究工作也以建立集采集、分析、防御、報警、預防于一體的更加主動的網(wǎng)絡安全防御體系為目標提供支持。1.2選題目的和意義通過對關鍵技術的學習和了解，提供基于網(wǎng)絡流元數(shù)據(jù)的數(shù)據(jù)分析和處理的初步工作平臺；通過對數(shù)據(jù)流的截取分析，準確有效的檢測到網(wǎng)絡異常行為或安全威脅等；通過對網(wǎng)絡態(tài)勢感知技術的學習和應用，為更龐大的應用場景做鋪墊，為以后的工作和學習做準備。

2關鍵技術介紹2.1網(wǎng)絡流網(wǎng)絡流（network-flows）是一種類比水流的解決問題方法，本系統(tǒng)涉及的網(wǎng)絡流來自于“流（flow）”的概念。對于一組具有相同子接口，相同的源和目的IP地址，相同的源和目的端口號，相同協(xié)議類型的數(shù)據(jù)，我們稱為一個flow，通常為5

元組[5]。網(wǎng)絡中紛繁復雜的各種數(shù)據(jù)在傳輸時都可以看作是網(wǎng)絡流。而經(jīng)過本系統(tǒng)數(shù)據(jù)采集端的flow將包含其他關鍵信息，包括源IP，目的IP，源端口，目的端口，傳輸層協(xié)議，應用層協(xié)議，包數(shù)，字節(jié)數(shù)，標志位，開始時間，持續(xù)時間，結(jié)束時間等。而這些包含了額外關鍵信息的網(wǎng)絡流即IPFIX流，它是由IETF公布的包含網(wǎng)絡中的流信的標準協(xié)議，用于IP數(shù)據(jù)流的信息輸出[6]。2.2網(wǎng)絡態(tài)勢態(tài)勢感知(SituationAwareness)是指將各類元數(shù)據(jù)和信息進行分類和整理，借助其連續(xù)變化規(guī)律感知系統(tǒng)狀態(tài)。這一概念最初在1979年提出，并逐漸被應用到眾多領域。在動態(tài)的復雜環(huán)境中，決策者往往需要借助態(tài)勢感知來顯示當前系統(tǒng)的連續(xù)變化狀況，并以此為基礎做出決策，因此態(tài)勢感知也越來越成為一項熱門的研究課題[7]（如圖2-1所示）。圖2-1最初的態(tài)勢感知三級模型網(wǎng)絡態(tài)勢的定義是：以各種網(wǎng)絡設備的狀況、網(wǎng)絡行為、用戶行為等網(wǎng)絡流量數(shù)據(jù)為態(tài)勢因子來展現(xiàn)出整個網(wǎng)絡的連續(xù)變化狀況[8]。態(tài)勢是一種宏觀上的概念，而一個時間片的狀態(tài)和某些特定情況的狀態(tài)都不能稱之為態(tài)勢[9]。2.3pmacct軟件pmacct是Linux系統(tǒng)下優(yōu)秀的開源網(wǎng)絡監(jiān)視工具，用來采集并導出的IPv4和IPv6流量[10]。可插入的架構(gòu)使數(shù)據(jù)收集非常靈活，同時支持多種輸出方式，比如存儲到關系型數(shù)據(jù)庫和存儲到本地文件，也支持出口NetFlow、sFlow和IPFIX協(xié)議的數(shù)據(jù)流。pmacct支持完全自定義的歷史數(shù)據(jù)和流數(shù)據(jù)采樣、濾波和標記。工作時，直接調(diào)用pmacct的監(jiān)聽命令pmacctd：pmacctd-fpmacctd.conf其中，-f表示加載本地配置文件，而在pmacctd.conf中，包含了需要監(jiān)聽的端口和流輸出的方式。在這里，配置成監(jiān)聽所有端口并輸出IPFIX流到特定端口。2.4Trafficmeter軟件Trafficmeter軟件是Linux系統(tǒng)下優(yōu)秀的開源網(wǎng)絡流量的記錄和分析軟件，可以根據(jù)時間、源IP地址、目標IP地址、協(xié)議、源端口、目標端口等進行分組顯示[10]?？梢詥为毇@取某個IP地址的詳細流量信息，包括一個時間段的輸入和輸出統(tǒng)計。Trafficmeter在啟動時會加載本地配置，本地配置中包含了Trafficmeter的數(shù)據(jù)來源端口和文件存儲目錄。Trafficmeter主要的運行方式是使用命令行工具對本地存儲的網(wǎng)絡流信息進行解碼和分析，主要的命令和功能如表2-1：表2-1Trafficmeter命令與功能命令名功能描述tmflow獲取某IP地址的流信息tmflow2 獲取某MAC地址的流信息tmstat獲取某IP地址的統(tǒng)計信息tmstat2獲取某MAC地址統(tǒng)計信息tmpacket將某IP地址的流量信息存入本地.pcap文件中tmname基于存儲的直連DNS解答者來解析主機名TMW顯示源接口流量強度的輔助工具tmdump查看十六進制格式的源接口動態(tài)包的輔助工具tmfetchip把每日的流量統(tǒng)計信息存入關系型數(shù)據(jù)庫在本系統(tǒng)中，Trafficmeter擔任的主要任務是將pamacct生成的IPFIX流數(shù)據(jù)收集和記錄起來，并將網(wǎng)絡流量信息按日存入數(shù)據(jù)庫，以供網(wǎng)絡管理員查詢、分析和使用。

3系統(tǒng)總體設計3.1系統(tǒng)單元說明網(wǎng)絡異常檢測原型系統(tǒng)由網(wǎng)絡元數(shù)據(jù)采集單元和網(wǎng)絡元數(shù)據(jù)分析單元組成，具體結(jié)構(gòu)如圖3-1所示。其中網(wǎng)絡元數(shù)據(jù)采集單元由網(wǎng)絡流數(shù)據(jù)采集模塊和網(wǎng)絡流數(shù)據(jù)整合模塊組成；網(wǎng)絡元數(shù)據(jù)分析單元由流信息查詢模塊、基礎ip因子單元和異常檢測模塊組成。圖3-1網(wǎng)絡異常檢測原型系統(tǒng)單元結(jié)構(gòu)各單元功能如表3-1所示：

表3-1網(wǎng)絡異常檢測原型系統(tǒng)各單元組成及功能說明其中，網(wǎng)絡元數(shù)據(jù)采集單元采集多源網(wǎng)絡流數(shù)據(jù)并分類匯聚存儲；網(wǎng)絡元數(shù)據(jù)分析單元的各個子單元分析網(wǎng)絡流數(shù)據(jù)，獲取各態(tài)勢因子進行分析，以檢測網(wǎng)絡異常行為。3.2系統(tǒng)流程介紹整個系統(tǒng)流程如圖3-2所示：圖3-2 系統(tǒng)流程圖網(wǎng)絡流的采集與格式化網(wǎng)絡流采集功能是本系統(tǒng)的基礎，為網(wǎng)絡流的統(tǒng)計分析提供支持。數(shù)據(jù)采集主要是對原始數(shù)據(jù)的采集，采集后經(jīng)過解碼和重組等處理，轉(zhuǎn)換形成IPFIX格式輸出[12]。IPFIX定義的網(wǎng)絡流包括：源和目的IP、源和目的端口、協(xié)議、包數(shù)、字節(jié)數(shù)、標志位、開始、持續(xù)和結(jié)束時間。這些信息組成一個十一元組，分別用sIP、dIP、sPort、dPort、pro、packets、bytes、flags、sTime、duration、eTime來表示：Flow={sIP,dIP,sPort,dPort,pro,packets,bytes,flags,sTime,duration,eTime}如{sIP,eIP,*,*,pro,*,*,*,*}表示以sIP為源IP、以eIP為結(jié)束IP并使用pro協(xié)議的流。2.格式化網(wǎng)絡流的傳輸本系統(tǒng)采用采集端和存儲端分離的方式，網(wǎng)絡數(shù)據(jù)經(jīng)過pmacct預處理生成IPFIX流傳輸?shù)奖镜靥囟ǘ丝?，然后tcp監(jiān)聽程序在監(jiān)聽該端口的過程中拿到該數(shù)據(jù)，通過TCP連接發(fā)送到遠程的存儲端的接收端口。3.格式化網(wǎng)絡流的存儲存儲服務器的Trafficmeter監(jiān)聽本地接收端口，將收到的IPFIX流數(shù)據(jù)存儲到本地配置好的目錄中，供后面使用和分析。4.格式化網(wǎng)絡流分析該部分依賴于Trafficmeter的分析工具，主要完成以下異常的分析工作：訪問控制列表（ACL）策略異常：通過比照ACL策略，判定網(wǎng)絡連接請求合規(guī)性、有效性。網(wǎng)絡異常行為：如高風險協(xié)議、端口掃描、DDoS攻擊等。5.異常行為記錄根據(jù)分析結(jié)果，當發(fā)現(xiàn)網(wǎng)絡異常行為時向數(shù)據(jù)庫相關表中記錄，以便網(wǎng)絡管理員查詢和決策。另外Trafficmeter自帶的tmfetchip命令會把每天的所有流數(shù)據(jù)記錄到數(shù)據(jù)庫。系統(tǒng)結(jié)構(gòu)如圖3-3所示：圖3-3網(wǎng)絡異常行為檢測系統(tǒng)結(jié)構(gòu)圖

4系統(tǒng)詳細設計與實現(xiàn)本章系統(tǒng)詳細設計關注的是系統(tǒng)各單元的具體實現(xiàn)和存儲分析服務器的數(shù)據(jù)結(jié)構(gòu)設計。下面將具體說明本系統(tǒng)的5個單元，即網(wǎng)絡流數(shù)據(jù)采集模塊、網(wǎng)絡流數(shù)據(jù)整合模塊、流信息查詢模塊、基礎ip因子單元、異常檢測模塊和各個單元之間的接口和配合方式，以及存儲分析服務器的設計實現(xiàn)方案。4.1網(wǎng)絡流數(shù)據(jù)采集模塊網(wǎng)絡流數(shù)據(jù)采集模塊的主要任務是將網(wǎng)絡流量解碼并提取得到IPFIX流數(shù)據(jù)。在本系統(tǒng)中，使用了一臺Linux系統(tǒng)的PC機做采集端，在上面安裝部署了pmacct軟件和tcp監(jiān)聽程序。Pmacct軟件包括數(shù)據(jù)解碼、關鍵信息提取、IPFIX流輸出三個子功能模塊（如圖4-1所示）。圖4-1 pmacct軟件模塊圖數(shù)據(jù)解碼：解封裝和重組，并記錄某些關鍵信息（如mac地址，IP地址等）。關鍵信息提?。航獯a和查找，數(shù)據(jù)包已經(jīng)解碼至第三層[13]，對流數(shù)據(jù)進行數(shù)據(jù)提取，提取出除五元組之外的信息生成IPFIX流數(shù)據(jù)。IPFIX流輸出：利用間隔時間導出數(shù)據(jù)。Tcp監(jiān)聽發(fā)送程序由兩個模塊構(gòu)成，監(jiān)聽模塊監(jiān)聽特定的端口，發(fā)送模塊將監(jiān)聽模塊得到的IPFIX流數(shù)據(jù)以TCP協(xié)議發(fā)送到遠程存儲分析服務器的接收端口[13]。圖4-2 TCP監(jiān)聽發(fā)送程序模塊圖4.2網(wǎng)絡流數(shù)據(jù)整合模塊網(wǎng)絡整合單元的作用是整合分類采集單元傳來的IPFIX流，以.pcap的格式存儲到本地目錄中并將這些流信息每日存入數(shù)據(jù)庫。網(wǎng)絡整合單元和存儲分析服務器都部署在另一臺Liux系統(tǒng)的PC機上，安裝部署Trafficmeter軟件和MySQL數(shù)據(jù)庫。Trafficmeter軟件包括三個模塊，主控模塊、存儲模塊和分析模塊（如圖4-3所示）。圖4-3 Trafficmeter軟件模塊圖Trafficmeter的主控模塊監(jiān)聽存儲分析服務器的接收端口，收到IPFXI流后運行Tmpacket命令將IPFIX流存儲到本地。同時主控模塊也執(zhí)行每天將流信息存入數(shù)據(jù)庫的命令tmfetchip。分析模塊提供了一系列用于查詢和分析數(shù)據(jù)流量的命令。使用這些命令可以給網(wǎng)絡管理員提供分析手段和檢測異常。4.3流信息查詢模塊流信息查詢模塊的實現(xiàn)依賴于Trafficmeter的查詢命令行，當用戶在控制臺選擇需要查詢的信息后，在后臺生成相應的Trafficmeter命令行進行執(zhí)行，然后將結(jié)果顯示在控制臺。流信息查詢模塊提供了幾種基本的查詢方法：4.3.1使用某協(xié)議的所有連接信息命令行[14]如下：tmpacket-s2015-04-30T12:50-e2015-04-30T12:55-v4-p21各參數(shù)詳解如下：-s-e:開始日期和結(jié)束日期，允許T+具體時間的格式，也可以省略T和后面的時間。-v:ip地址的版本，4代表IPv4，6代表IPv6，默認為v4；:某個特定源IP地址，允許使用通配符*來表示所有IP的連接信息。-p:允許特定端口的流通過，也就是特定協(xié)議的連接信息。以下是所有協(xié)議的命令行：ICMP協(xié)議過濾協(xié)議號為1的流，用-!p表示需要過濾的端口號，命令行如下：tmpacket*-!p1UDP協(xié)議tmpacket*-!p17TCP協(xié)議tmpacket*-!p6HTTP協(xié)議tmpacket*-p80SSH協(xié)議tmpacket*-p22SMTP協(xié)議tmpacket*-p25DNS協(xié)議tmpacket*-p53FTP協(xié)議tmpacket*-p20,21SSL/TLS協(xié)議tmpacket*-p443SLP協(xié)議tmpacket*-p427IMAP協(xié)議tmpacket*-p143IRC協(xié)議tmpacket*-p194RTSP協(xié)議tmpacket*-p554SIP協(xié)議tmpacket*-p5060POP3協(xié)議tmpacket*-p110RSync協(xié)議tmpacket*-p873PPTP協(xié)議tmpacket*-p1723NNTP協(xié)議tmpacket*-p119TFTP協(xié)議tmpacket*-p69MySQL協(xié)議tmpacket*-p3306Oracle協(xié)議tmpacket*-p1521NAS/CIFS協(xié)議tmpacket*-p4454.3.2某個特定IP的連接信息tmflow參數(shù)說明：tmflow是Trafficmeter專門進行某IP連接信息查詢的命令。使用方法為tmflow[IP]，允許IP值為*來匹配所有IP，允許IP后面用/端口號來表示來源端口，例如：/24。tmstat-s2015-04-01-e2015-05-01參數(shù)說明：tmstat是Trafficmeter專門針對某IP連接統(tǒng)計信息查詢的命令。-s參數(shù)表示起始時間；-e參數(shù)表示結(jié)束時間。4.3.3未知的連接信息tmflowunknown參數(shù)說明：nknown代表未知連接。更多的查詢方法及參數(shù)可以見源代碼中的說明文檔。4.4異常檢測模塊異常發(fā)現(xiàn)模塊根據(jù)用戶操作完成不同的功能，實現(xiàn)流程如圖4-4：圖4-4異常發(fā)現(xiàn)模塊設計實現(xiàn)流程圖在用戶操作過程中，用戶可以選擇查看不同的異常行為，這時需要查詢數(shù)據(jù)庫，查得結(jié)果后，將其顯示在控制臺上。各種異常行為的發(fā)現(xiàn)原理如下：高風險協(xié)議的異常：定時對相關高風險協(xié)議進行網(wǎng)絡流掃描，當發(fā)現(xiàn)符合該異常的流信息時存入庫表中；違規(guī)行為：具體指ACL違規(guī)，可以由管理員對ACL策略進行編輯配置，生成新的配置信息，存入數(shù)據(jù)庫。存儲分析服務器后臺腳本定時執(zhí)行時，會讀取這些配置，以分析網(wǎng)絡流量，并將符合ACL違規(guī)行為的流量信息存入數(shù)據(jù)庫表中；攻擊行為：如端口掃描和DDoS攻擊等，服務器定時執(zhí)行預先編輯好的攻擊發(fā)現(xiàn)腳本，對網(wǎng)絡流進行掃描和分析，以發(fā)現(xiàn)符合這些攻擊行為的網(wǎng)絡流數(shù)據(jù)，并將其存入數(shù)據(jù)庫表中。具體數(shù)據(jù)庫結(jié)構(gòu)請看4.5章節(jié)。4.5數(shù)據(jù)結(jié)構(gòu)設計4.5.1數(shù)據(jù)庫表匯總表4-1數(shù)據(jù)庫匯總表數(shù)據(jù)庫中一共設計了3個數(shù)據(jù)表，其中：ACL_lib表存儲違反了ACL策略的網(wǎng)絡流相關信息，如IP地址、端口號等；ACL_set表存儲了當前ACL策略配置信息；Abnormity_lib表存儲了檢測到有異常行為的網(wǎng)絡流信息，和發(fā)現(xiàn)異常的時間等。具體如下：4.5.2ACL_lib表表4-2ACL_lib表ACL_lib表存儲已經(jīng)發(fā)生的違反ACL策略的行為信息。該表顯示了發(fā)生ACL違規(guī)行為的網(wǎng)絡設備的源目的IP、源目的端口、協(xié)議類型、違規(guī)時間信息，Notes儲存的是違規(guī)行為具體違反了哪條ACL策略[15]。4.5.3ACL_set表表4-3ACL_set表ACL_set表是用來存儲ACL配置信息的。允許多條ACL策略同時存在，但只有最后添加的ACL策略生效[16]。

4.5.4Abnormity_lib表表4-4Abnormity_lib表Abnormity_lib表存儲的是已發(fā)現(xiàn)的異常行為。異常類型有三種：高風險協(xié)議、端口掃描和DDoS攻擊。其中：高風險協(xié)議是指FTP、RDP、E-mail和流媒體[17]等不安全協(xié)議；端口掃描是指有掃描行為的網(wǎng)絡設備相關信息；DDoS攻擊是指有DDoS攻擊行為[18]的網(wǎng)絡設備相關信息。表中字段，異常IP地址存儲的是出現(xiàn)異常行為的IP地址；異常時間存儲的是系統(tǒng)發(fā)現(xiàn)該異常的時間（而不是異常發(fā)生的時間）；備注則存儲的是預設好的為管理員提供的相應異常解決辦法，例如對于高風險協(xié)議，可以存入的提示信息為：關閉該端口以停止相應服務[19]。4.5.5數(shù)據(jù)包結(jié)構(gòu)pmacct處理在線的雙向數(shù)據(jù)流，然后導出為一個IPFIX的文件格式，數(shù)據(jù)包結(jié)構(gòu)如表4-6所示。表4-6pmacct數(shù)據(jù)包結(jié)構(gòu)表IPFIX是基于“流”的概念，一個流是指，來自相同的子接口，有相同的源和目的IP地址，協(xié)議類型，相同的源和目的協(xié)議端口號，通常為5元組。IPFIX會記錄這個流的統(tǒng)計信息，包括：時間戳，報文數(shù)，總的字節(jié)數(shù)。存儲IPFIX流的pcap文件為二進制文本，比較難讀，pmacct提供了pmaccttoascii指令，可以把pcap文件轉(zhuǎn)化為ASCII碼的格式，并以每行一個IPFIX流的方式打印出來，下圖是一個經(jīng)過該命令處理從原始的pacap文件到IPFIX流文本的轉(zhuǎn)化過程，可以清楚地看出IPFIX流的構(gòu)成：原始的pcap二進制文件：圖4-6pcap二進制文件經(jīng)轉(zhuǎn)化后的IPFIX流文本：圖4-7IPFIX流文本IPFIX流信息：圖4-8IPFIX流信息可以看出數(shù)據(jù)包構(gòu)成有：sIP源IP，dIP目的IP，sPort源端口，dPort目的端口，pro協(xié)議，packets包數(shù)，bytes字節(jié)數(shù)，flags標志位，sTime開始時間，duration持續(xù)時間，eTime結(jié)束時間。

5系統(tǒng)運行結(jié)果與分析5.1系統(tǒng)運行環(huán)境網(wǎng)絡流量采集端（PC機）：功能：采集端采集網(wǎng)絡流數(shù)據(jù)，發(fā)送到存儲分析服務器存儲；系統(tǒng)：Ubuntu16.04Kylin64位系統(tǒng)；軟件：安裝部署pmacct，tcp監(jiān)聽發(fā)送程序和Python2.7。存儲分析服務器（PC機）：功能：作為數(shù)據(jù)的存儲端和分析端；系統(tǒng)：Ubuntu16.04Kylin64位系統(tǒng)；軟件：安裝部署Trafficmeter和MySQL5.6.24以及Python2.7。5.2測試運行結(jié)果5.2.1測試pmacct是否成功運行表5-1測試pmacct是否成功運行5.2.2測試數(shù)據(jù)庫配置是否正確表5-2測試數(shù)據(jù)庫配置是否正確5.2.3測試流信息查詢模塊表5-3測試流信息查詢模塊5.2.4測試ACL違規(guī)行為檢測模塊是否正常運行表5-4測試ACL違規(guī)行為檢測模塊是否正常運行5.2.4測試端口掃描行為檢測模塊是否正常運行表5-5測試端口掃描行為檢測模塊是否正常運行5.3運行結(jié)果分析由于個人技術水平和能力限制，程序主要的異常檢測部分還有很多需要完善的地方，比如因為無法模擬DDoS攻擊，所以系統(tǒng)在這一塊還是空白；原本我的愿望是使本系統(tǒng)能夠感知各種態(tài)勢因子的連續(xù)變化狀況，自主學習并訓練出一套完善的異常檢測機制，但是實際運行效果只能對已配置的異常行為進行檢測；還有可視化方面做的不好，對用戶來說只能查詢流量信息和連接明細，而不能查看時序圖等更加直觀的圖表供決策。就已有模塊和功能的測試結(jié)果來說，本系統(tǒng)具有一定的異常檢測能力，準確度尚可，但暴露出的問題是響應時間稍長，且功能尚有很大的局限性。將來可以從增加功能和增加可視化界面入手，爭取可以對更多的異常進行分析和檢測并將查詢功能的可視化做的更好。

6總結(jié)與展望6.1總結(jié)畢業(yè)設計從著手到完成零零散散花了2個多月時間，雖然還有很多不盡人意的地方，但也是盡力而為了。總結(jié)其中遇到的問題和難點如下：首先在程序的開始階段，Trafficmeter和pmacct的中文資料非常難找，或者說根本就沒有，只能尋找官方的英文文檔，好在英文文檔比較詳細全面，但是全英文的文檔對我來說仍然是一個巨大的挑戰(zhàn)。光部署和安裝pmacct和Trafficmeter就花了我近兩周的時間，在這里我也要鄭重的感謝我的室友王思成，肯把電腦借給我做畢業(yè)設計。一開始采集端和存儲分析服務器都布置在校園網(wǎng)中，我本來以為是同一個網(wǎng)段就是同一個局域網(wǎng)，結(jié)果發(fā)現(xiàn)連接后丟包率很高，迷惑了很久，經(jīng)過同學指點，使用跟蹤路由信息的Linux指令traceroute發(fā)現(xiàn)經(jīng)過了外網(wǎng)，而不是我所想的只在校園網(wǎng)子網(wǎng)路由器跳轉(zhuǎn)一次。我的解決辦法是用采集端連接校園網(wǎng)，同時作為局域網(wǎng)主機，與存儲分析服務器相連。在配置pmacct和Trafficmeter的時候，如何使pmacct生成的IPFIX流數(shù)據(jù)快速有效的傳輸?shù)絋rafficmeter中，是我花費時間比較多的一個地方。Pmacct和Trafficmeter布置在兩臺PC機上，其中肯定涉及到遠程傳輸，也就是說，第三方程序的介入必不可少。由于中文文檔相關的信息實在太少，我翻墻查閱了很多英文資料，一開始使用的方法是讓pmacct生成pcap文件，然后由python腳本監(jiān)控pmacct的文件夾，一旦發(fā)現(xiàn)有文件就發(fā)送到存儲端，成功后刪除本地文件，之所有沒有采用這個方法是因為這個方法會損失很多效率和性能，而且無法有可能產(chǎn)生進程安全方面的問題（資源共用），只能尋找別的方法。最后在github找到了pmacct的最新版本[20]，這個版本的pmacct支持IPFIX流輸出到端口，也就是通過套接字的方式發(fā)送數(shù)據(jù)，這時采用的方法是使用python腳本監(jiān)聽腳本，建立socket連接，然后接收IPFIX流數(shù)據(jù)，由于是間隔性的接收數(shù)據(jù)，在間隔時間內(nèi)就可以進行數(shù)據(jù)的發(fā)送，使用TCP協(xié)議發(fā)送到存儲服務器的接收端口即可。簡單來說就是通過第三方程序進行監(jiān)聽和發(fā)送，以連接采集端和存儲分析端。4.在實際的操作過程中，如何有效的檢測異常行為也是一大難點，一開始我的想法是在Trafficmeter接收到流數(shù)據(jù)的時候立刻進行分析，與本地的異常行為庫和ACL配置做對比，一旦發(fā)現(xiàn)疑似異常行為的網(wǎng)絡流量立馬向管理員報警。但由于技術水平限制，對Trafficmeter做源碼上的修改暫時不太現(xiàn)實，所以我的思路轉(zhuǎn)變?yōu)榱耸褂胮ython腳本定時執(zhí)行Trafficmeter提供的分析工具命令行，對異常行為進行記錄，當網(wǎng)絡管理員查詢時，返回記錄的結(jié)果。6.1展望該系統(tǒng)未來還有很多值得改善的地方，羅列如下：加入登入權限驗證，對不同的用戶組展現(xiàn)不同的界面，提供不同權限的功能。界面的可視化?，F(xiàn)在的程序仍是命令行程序，可視化的界面可以讓用戶操作更方便，查看結(jié)果更直觀，還可以生成一些有利于分析的圖表顯示在界面上。存儲分析服務器與控制臺分離?，F(xiàn)在的存儲分析服務器和控制臺都布置在一臺機器上，如果要改善該系統(tǒng)，可以將其分別布置在不同的機器上，增加web界面等，使管理員可以不受地點限制的查看網(wǎng)絡狀況。數(shù)據(jù)采集端增加為多臺。這就意味著要求存儲端能收取多個采集端發(fā)送的數(shù)據(jù)，本次實驗由于機器限制我只做了一臺采集端，若要強化系統(tǒng)功能，針對多臺采集端的存儲分析服務器必不可少，相應的分類策略和數(shù)據(jù)庫表都要改變。5.檢測異常的種類增加，使系統(tǒng)真正的能夠自主訓練異常行為庫，達到更智能、更動態(tài)的目的。

致謝 四年的學習和生活到此告一段落，在此我想先感謝秦磊華院長和答辯組的各位老師，能在我迷茫無助的時候給我指明道路并給予我二次答辯的機會。感謝所有曾給予我關心和幫助的老師和同學，沒有他們我或許無法順利完成學業(yè)。感謝室友王思成同學允許我使用他的電腦做畢設。最后，我最想感謝的人是付小青導師，感謝付老師的耐心指導，幫助我完成本次畢業(yè)設計。

參考文獻[1]朱應武,楊家海,張金祥.基于流量信息結(jié)構(gòu)的異常檢測[J].軟件學報,2010,21(10)：2573?2583[2]曾嘉,金躍輝,葉小衛(wèi).基于NetFlow的網(wǎng)絡異常流量檢測[J].網(wǎng)絡新媒體技術,2007,28(7):709-713.[3]LeauYB,ManickamS,ChongYW.NetworkSecuritySituationAssessment:AReviewandDiscussion[M]//InformationScienceandApplications.SpringerBerlinHeidelberg,2015:407-414.[4]LaiJ,WangH,ZhuL.StudyofNetworkSecuritySituationAwarenessModelBasedonSimpleAdditiveWeightandGreyTheory[C]//InternationalConferenceonComputationalIntelligenceandSecurity.2006:1545-1548.[5]吳金宇,金舒原,楊智.基于網(wǎng)絡流的攻擊圖分析方法[J].計算機研究與發(fā)展,2011,48(8):1497-1505.[6]HofstedeR,CeledaP,TrammellB,etal.FlowMonitoringExplained:FromPacketCapturetoDataAnalysisWithNetFlowandIPFIX[J].IEEECommunicationsSurveys&Tutorials,2014,16(4):2037-2064.[7]王慧強,賴積保,胡明明,等.網(wǎng)絡安全態(tài)勢感知關鍵實現(xiàn)技術研究[J].武漢大學學報:信息科學版,2008,33(10):9