畢業(yè)答辯-基于網(wǎng)絡(luò)流的異常檢測原型系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

基于網(wǎng)絡(luò)流的異常檢測原型系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)目錄選題背景

計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)日新月異，接踵而來的安全問題也日漸凸顯，如何保證計(jì)算機(jī)網(wǎng)絡(luò)安全已經(jīng)成為人們越來越重視的問題。為了應(yīng)對網(wǎng)絡(luò)安全的需求，防火墻，入侵檢測系統(tǒng)（IDS），安全審計(jì)，入侵防御系統(tǒng)（IPS），各種防病毒軟件等網(wǎng)絡(luò)安全設(shè)備或軟件在網(wǎng)絡(luò)安全領(lǐng)域得到了廣泛的應(yīng)用。但往往這些工具產(chǎn)生的零散的安全信息難以整合，無法得到整個(gè)網(wǎng)絡(luò)的安全狀況和變化趨勢信息。

基于這種現(xiàn)狀，我設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于網(wǎng)絡(luò)流的異常行為檢測原型系統(tǒng)。該系統(tǒng)可以通過對網(wǎng)絡(luò)流量的快速采集和快速感知，將提取出的各種網(wǎng)絡(luò)流量元數(shù)據(jù)與正常行為和異常行為進(jìn)行匹配，以達(dá)到異常行為檢測的目的。并且通過對網(wǎng)絡(luò)元數(shù)據(jù)的整體分析，可以幫助網(wǎng)絡(luò)管理員進(jìn)一步分析網(wǎng)絡(luò)狀況的變化趨勢。主要技術(shù)簡介

網(wǎng)絡(luò)流：網(wǎng)絡(luò)流（network-flows）是一種類比水流的解決問題方法，本系統(tǒng)涉及的網(wǎng)絡(luò)流來自于“流（flow）”的概念。對于一組具有相同子接口，相同的源和目的IP地址，相同的源和目的端口號，相同協(xié)議類型的數(shù)據(jù)，我們稱為一個(gè)flow。而被本系統(tǒng)采集后的網(wǎng)絡(luò)流將包含其他關(guān)鍵信息，包括源IP，目的IP，源端口，目的端口，傳輸層協(xié)議，應(yīng)用層協(xié)議，包數(shù)，字節(jié)數(shù)，標(biāo)志位，開始時(shí)間，持續(xù)時(shí)間，結(jié)束時(shí)間等。而這些包含了額外關(guān)鍵信息的網(wǎng)絡(luò)流即為IPFIX流，它是由IETF公布的包含網(wǎng)絡(luò)中的流信息的標(biāo)準(zhǔn)協(xié)議，用于IP數(shù)據(jù)流的信息輸出。這樣處理有助于后期的分析和檢測。主要技術(shù)簡介pmacct軟件：pmacct是Linux系統(tǒng)下優(yōu)秀的開源網(wǎng)絡(luò)監(jiān)視工具，用來采集并導(dǎo)出的IPv4和IPv6流量?？刹迦氲募軜?gòu)使數(shù)據(jù)收集非常靈活，同時(shí)支持多種輸出方式，比如存儲到關(guān)系型數(shù)據(jù)庫和存儲到本地文件，也支持出口NetFlow、sFlow和IPFIX協(xié)議的數(shù)據(jù)流。主要用于本系統(tǒng)的數(shù)據(jù)采集和將數(shù)據(jù)預(yù)處理成IPFXI流。

Trafficmeter軟件：Trafficmeter軟件是Linux系統(tǒng)下優(yōu)秀的開源網(wǎng)絡(luò)流量的記錄和分析軟件，可以根據(jù)時(shí)間、源IP地址、目標(biāo)IP地址、協(xié)議、源端口、目標(biāo)端口等進(jìn)行分組顯示。可以單獨(dú)獲取某個(gè)IP地址的詳細(xì)流量信息，包括一個(gè)時(shí)間段的輸入和輸出統(tǒng)計(jì)。主要用于本系統(tǒng)的流數(shù)據(jù)分析和存儲。系統(tǒng)設(shè)計(jì)思路及框架整個(gè)系統(tǒng)可以分為5個(gè)步驟（如左圖所示）：1.網(wǎng)絡(luò)流的采集與格式化

網(wǎng)絡(luò)流采集功能是本系統(tǒng)的基礎(chǔ)，為網(wǎng)絡(luò)流的統(tǒng)計(jì)分析提供支持。數(shù)據(jù)采集主要是對原始數(shù)據(jù)的采集，采集后經(jīng)過解碼和重組等處理，轉(zhuǎn)換形成IPFIX格式輸出。IPFIX定義的網(wǎng)絡(luò)流包括：源和目的IP、源和目的端口、協(xié)議、包數(shù)、字節(jié)數(shù)、標(biāo)志位、開始、持續(xù)和結(jié)束時(shí)間。這些信息組成一個(gè)十一元組，分別用sIP、dIP、sPort、dPort、pro、packets、bytes、flags、sTime、duration、eTime來表示：Flow={sIP,dIP,sPort,dPort,pro,packets,bytes,flags,sTime,duration,eTime}如{sIP,eIP,*,*,pro,*,*,*,*}表示以sIP為源IP、以eIP為結(jié)束IP并使用pro協(xié)議的流。2.格式化網(wǎng)絡(luò)流的傳輸

本系統(tǒng)采用采集端和存儲端分離的方式，網(wǎng)絡(luò)數(shù)據(jù)經(jīng)過pmacct預(yù)處理生成IPFIX流傳輸?shù)奖镜靥囟ǘ丝?，然后tcp監(jiān)聽程序在監(jiān)聽該端口的過程中拿到該數(shù)據(jù)，通過TCP連接發(fā)送到遠(yuǎn)程的存儲端的接收端口。

系統(tǒng)設(shè)計(jì)思路及框架

3.格式化網(wǎng)絡(luò)流的存儲存儲服務(wù)器的Trafficmeter監(jiān)聽本地接收端口，將收到的IPFIX流數(shù)據(jù)存儲到本地配置好的目錄中，供后面使用和分析。

4.格式化網(wǎng)絡(luò)流的分析該部分依賴于Trafficmeter的分析工具，主要完成以下異常的分析工作：訪問控制列表（ACL）策略異常：通過比照ACL策略，判定網(wǎng)絡(luò)連接請求合規(guī)性、有效性。網(wǎng)絡(luò)異常行為：如高風(fēng)險(xiǎn)協(xié)議、端口掃描、DDoS攻擊等。

5.異常行為記錄根據(jù)分析結(jié)果，當(dāng)發(fā)現(xiàn)網(wǎng)絡(luò)異常行為時(shí)向數(shù)據(jù)庫相關(guān)表中記錄，以便網(wǎng)絡(luò)管理員查詢和決策。另外每天還會(huì)執(zhí)行一次Trafficmeter的tmfetchip命令，把所有的流數(shù)據(jù)記錄到數(shù)據(jù)庫。系統(tǒng)設(shè)計(jì)思路及框架系統(tǒng)整體框架如下：各模塊功能及實(shí)現(xiàn)模塊示意圖如下：各模塊功能及實(shí)現(xiàn)網(wǎng)絡(luò)流數(shù)據(jù)采集模塊

網(wǎng)絡(luò)流數(shù)據(jù)采集模塊的主要任務(wù)是將網(wǎng)絡(luò)流量解碼并提取得到IPFIX流數(shù)據(jù)。在本系統(tǒng)中，使用了一臺Linux系統(tǒng)的PC機(jī)做采集端，在上面安裝部署了pmacct軟件和tcp監(jiān)聽程序。Pmacct軟件包括數(shù)據(jù)解碼、關(guān)鍵信息提取、IPFIX流輸出三個(gè)子功能模塊。數(shù)據(jù)解碼：解封裝和重組，并記錄某些關(guān)鍵信息（如mac地址，IP地址等）。關(guān)鍵信息提?。航獯a和查找，對流數(shù)據(jù)進(jìn)行數(shù)據(jù)提取，提取出除五元組之外的信息生成IPFIX流數(shù)據(jù)。IPFIX流輸出：利用間隔時(shí)間導(dǎo)出數(shù)據(jù)。Tcp監(jiān)聽發(fā)送程序由兩個(gè)模塊構(gòu)成，監(jiān)聽模塊監(jiān)聽特定的端口，發(fā)送模塊將監(jiān)聽模塊得到的IPFIX流數(shù)據(jù)以TCP協(xié)議發(fā)送到遠(yuǎn)程存儲分析服務(wù)器的接收端口。各模塊功能及實(shí)現(xiàn)網(wǎng)絡(luò)流數(shù)據(jù)整合模塊

網(wǎng)絡(luò)整合單元的作用是整合分類采集單元傳來的IPFIX流，以.pcap的格式存儲到本地目錄中并將這些流信息每日存入數(shù)據(jù)庫。網(wǎng)絡(luò)整合單元和存儲分析服務(wù)器都部署在另一臺Liux系統(tǒng)的PC機(jī)上，安裝部署Trafficmeter軟件和MySQL數(shù)據(jù)庫。Trafficmeter軟件包括三個(gè)模塊，主控模塊、存儲模塊和分析模塊。Trafficmeter的主控模塊監(jiān)聽存儲分析服務(wù)器的接收端口，收到IPFXI流后運(yùn)行Tmpacket命令將IPFIX流存儲到本地文件中。同時(shí)python腳本會(huì)每天執(zhí)行tmfetchip命令將當(dāng)天所有的流數(shù)據(jù)存入數(shù)據(jù)庫。這些存儲命令都是存儲模塊提供的功能。分析模塊提供了一系列用于查詢和分析數(shù)據(jù)流量的命令。使用這些命令可以給網(wǎng)絡(luò)管理員提供分析手段和檢測異常。各模塊功能及實(shí)現(xiàn)流信息查詢模塊

流信息查詢模塊的實(shí)現(xiàn)依賴于Trafficmeter的查詢命令行，當(dāng)用戶在控制臺選擇需要查詢的信息后，在后臺生成相應(yīng)的Trafficmeter命令行進(jìn)行執(zhí)行，然后將結(jié)果顯示在控制臺。流信息查詢模塊提供了幾種基本的查詢方法，比如查詢使用了某協(xié)議的流數(shù)據(jù)連接明細(xì)，某IP的連接明細(xì)，某IP的連接信息統(tǒng)計(jì)數(shù)據(jù)等。各模塊功能及實(shí)現(xiàn)異常檢測模塊

異常發(fā)現(xiàn)模塊根據(jù)用戶操作完成不同的功能。在用戶操作過程中，用戶可以選擇查看不同的異常行為，這時(shí)需要查詢數(shù)據(jù)庫，查得結(jié)果后，將其顯示在控制臺上。各種異常行為的發(fā)現(xiàn)原理如下：高風(fēng)險(xiǎn)協(xié)議：定時(shí)對相關(guān)高風(fēng)險(xiǎn)協(xié)議進(jìn)行網(wǎng)絡(luò)流掃描，當(dāng)發(fā)現(xiàn)符合該異常的流信息時(shí)存入庫表中；違規(guī)行為：具體指ACL違規(guī)，可以由管理員對ACL策略進(jìn)行編輯配置，生成新的配置信息，存入數(shù)據(jù)庫。存儲分析服務(wù)器后臺腳本定時(shí)執(zhí)行時(shí)，會(huì)讀取這些配置，以分析網(wǎng)絡(luò)流量，并將符合ACL違規(guī)行為的流量信息存入數(shù)據(jù)庫表中；攻擊行為：如端口掃描和DDoS攻擊等，服務(wù)器定時(shí)執(zhí)行預(yù)先編輯好的攻擊發(fā)現(xiàn)腳本，對網(wǎng)絡(luò)流進(jìn)行掃描和分析，以發(fā)現(xiàn)符合這些攻擊行為的網(wǎng)絡(luò)流數(shù)據(jù)，并將其存入數(shù)據(jù)庫表中。數(shù)據(jù)庫的表結(jié)構(gòu)請看論文中的數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)章節(jié)。系統(tǒng)功能評價(jià)由于個(gè)人技術(shù)水平和能力限制，程序主要的異常檢測部分還有很多需要完善的地方，比如因?yàn)闊o法模擬DDoS攻擊，所以系統(tǒng)在這一塊還是空白；原本我的愿望是使本系統(tǒng)能夠感知各種態(tài)勢因子的連續(xù)變化狀況，自主學(xué)習(xí)并訓(xùn)練出一套完善的異常檢測機(jī)制，但是實(shí)際運(yùn)行效果只能對已配置的異常行為進(jìn)行檢測；還有可視化方面做的不好，對用戶來說只能查詢流量信息和連接明細(xì)，而不能查看時(shí)序圖等更加直觀的圖表供決策。就已有模塊和功能的測試結(jié)果來說，本系統(tǒng)具有一定的異常檢測能力，準(zhǔn)確度尚可，但暴露出的問題是響應(yīng)時(shí)間稍長，且功能尚有很大的局限性。將來可以從增加功能和增加可視化界面入手，爭取可以對更多的異常進(jìn)行分析和檢測并將查詢功能的可視化做的更好。個(gè)人總結(jié)畢業(yè)設(shè)計(jì)從著手到完成零零散散花了2個(gè)多月時(shí)間，雖然還有很多不盡人意的地方，但也是盡力而為了?？偨Y(jié)其中遇到的問題和難點(diǎn)如下：1.首先在程序的開始階段，Trafficmeter和pmacct的中文資料非常難找，或者說根本就沒有，只能尋找官方的英文文檔，好在英文文檔比較詳細(xì)全面，但是全英文的文檔對我來說仍然是一個(gè)巨大的挑戰(zhàn)。光部署和安裝pmacct和Trafficmeter就花了我近兩周的時(shí)間，在這里我也要鄭重的感謝我的室友王思成，肯把電腦借給我做畢業(yè)設(shè)計(jì)。2.一開始采集端和存儲分析服務(wù)器都布置在校園網(wǎng)中，我本來以為是同一個(gè)網(wǎng)段就是同一個(gè)局域網(wǎng)，結(jié)果發(fā)現(xiàn)連接后丟包率很高，迷惑了很久，經(jīng)過同學(xué)指點(diǎn)，使用跟蹤路由信息的Linux指令traceroute發(fā)現(xiàn)經(jīng)過了外網(wǎng)，而不是我所想的只在校園網(wǎng)子網(wǎng)路由器跳轉(zhuǎn)一次。我的解決辦法是用采集端連接校園網(wǎng)，同時(shí)作為局域網(wǎng)主機(jī)，與存儲分析服務(wù)器相連。個(gè)人總結(jié)3.在配置pmacct和Trafficmeter的時(shí)候，如何使pmacct生成的IPFIX流數(shù)據(jù)快速有效的傳輸?shù)絋rafficmeter中，是我花費(fèi)時(shí)間比較多的一個(gè)地方。Pmacct和Trafficmeter布置在兩臺PC機(jī)上，其中肯定涉及到遠(yuǎn)程傳輸，也就是說，第三方程序的介入必不可少。由于中文文檔相關(guān)的信息實(shí)在太少，我翻墻查閱了很多英文資料，一開始使用的方法是讓pmacct生成pcap文件，然后由python腳本監(jiān)控pmacct的文件夾，一旦發(fā)現(xiàn)有文件就發(fā)送到存儲端，成功后刪除本地文件，之所有沒有采用這個(gè)方法是因?yàn)檫@個(gè)方法會(huì)損失很多效率和性能，而且無法有可能產(chǎn)生進(jìn)程安全方面的問題（資源共用），只能尋找別的方法。最后在github找到了pmacct的最新版本，這個(gè)版本的pmacct支持IPFIX流輸出到端口，也就是通過套接字的方式發(fā)送數(shù)據(jù)，這時(shí)采用的方法是使用python腳本監(jiān)聽腳本，建立socket連接，然后接收IPFIX流數(shù)據(jù)，由于是間隔性的接收數(shù)據(jù)，在間隔時(shí)間內(nèi)就可以進(jìn)行數(shù)據(jù)的發(fā)送，使用TCP協(xié)議發(fā)送到存儲服務(wù)器的接收端口即可。簡單來說就是通過第三方程序進(jìn)行監(jiān)聽和發(fā)送，以連接采集端和存儲分析端。個(gè)人總結(jié)4.在實(shí)際的操作過程中，如何有效的檢測異常行為也是一大難點(diǎn)，一開始我的想法是在Trafficmeter接收到流數(shù)據(jù)的時(shí)候立刻進(jìn)行分析，與本地的異常行為庫和ACL配置做對比，一旦發(fā)現(xiàn)疑似異常行為的網(wǎng)絡(luò)流量立馬向管理員報(bào)警。但由于技術(shù)水平限制，對Trafficmeter做源碼上的修改暫時(shí)不太現(xiàn)實(shí)，所以我的思路轉(zhuǎn)變?yōu)榱?/p>