基于對手思維建模的分布式入侵檢測模型

1、基于對手思維建模的分布式入侵檢測模型    :思維建模;入侵檢測;網(wǎng)絡(luò)入侵     0引言     伴隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展,網(wǎng)絡(luò)安全已經(jīng)成為一個至關(guān)重要的問題,也是計算機領(lǐng)域的研究熱點之一。為了達到當(dāng)場檢測出惡意的網(wǎng)絡(luò)入侵行為并馬上采取防范反擊措施的目的,實時監(jiān)測黑客入侵行為并以程序自動產(chǎn)生響應(yīng)的網(wǎng)絡(luò)入侵檢測系統(tǒng)(Intrusion Detection System, IDS)產(chǎn)生了。入侵檢測被認為是防火墻之后的第二道安全閘門,可以在不影響網(wǎng)絡(luò)性能的情況下能對網(wǎng)絡(luò)進行監(jiān)聽,從而提供對內(nèi)部攻擊、

2、外部攻擊和誤操作的實時保護,大大提高了網(wǎng)絡(luò)的安全性1。     自從1980年4月James P. Anderson第一次詳細闡述了入侵檢測的概念以來,入侵檢測系統(tǒng)經(jīng)歷了從集中式系統(tǒng)向分布式、智能化系統(tǒng)的發(fā)展歷程。與此同時,高級入侵活動也變得越來越呈現(xiàn)出分布性和協(xié)調(diào)性的特點,具體表現(xiàn)在:     (1)一次入侵可能分布在網(wǎng)絡(luò)中的多個機器上2。     (2)一次攻擊可能只是一個更大規(guī)模入侵的一個部分,它只是使用當(dāng)前被攻陷的網(wǎng)絡(luò)作為跳板,最終的目標(biāo)可能是攻擊別的系統(tǒng)或非法得到其他資源3。  

3、60;  (3) 多次簡單攻擊可以組合成為一次更復(fù)雜的長時間協(xié)同入侵4。     這使得傳統(tǒng)的基于分布式數(shù)據(jù)采集和集中分析的分布式入侵檢測系統(tǒng)很難檢測出大規(guī)模的分布式智能協(xié)作攻擊,并且不能對這些攻擊作出實時反應(yīng)。然而,Agent技術(shù)的發(fā)展為解決這些問題提供了契機。一些學(xué)者提出,由于Agent本身具有協(xié)同工作、智能化、自治性和移動性等特點,將其引入入侵檢測系統(tǒng)可以彌補傳統(tǒng)分布式入侵檢測的不足,也為入侵檢測技術(shù)提供了很多新的思路。文獻5提出利用免疫學(xué)的思想設(shè)計出一個基于Agent的入侵檢測模型。這個模型是層狀結(jié)構(gòu),能動態(tài)學(xué)習(xí)、檢測出已知和未知的入侵、檢測出不

4、同層次的入侵。文獻6提出了一種采取無控制中心的多Agent 結(jié)構(gòu), 每個檢測部件都是獨立的檢測單元, 盡量降低各檢測部件間的相關(guān)性。文獻7提出了一種層次結(jié)構(gòu)的基于自治Agent的入侵檢測框架AAFID。其中監(jiān)視器是系統(tǒng)的單一失效點。盡管如此,入侵者出于自身利益的考慮會對檢測Agent有意回避甚至對關(guān)鍵節(jié)點Agent主動攻擊,而且協(xié)作入侵通常會故意采取一些行動以隱藏其意圖或掩蓋其行動軌跡,如:     (1)能夠檢測到的入侵行動可能只是一部分,甚至檢測到的入侵行動可能是誤導(dǎo)的。     (2)入侵者可能采用靈活的計劃以同時完成多個目的。

5、     (3)入侵者也許多次重復(fù)一些步驟。     這些都極大地增大了入侵檢測的難度,僅僅對檢測系統(tǒng)自身采用Agent技術(shù)的分布式入侵系統(tǒng)很難達到實時檢測復(fù)雜入侵的目標(biāo)。在更高的層次上,筆者將入侵者和入侵檢測方抽象為是以“局部運作、全局共享”為核心的多Agent系統(tǒng),對抗雙方都是一組自治的Agent通過協(xié)調(diào)它們的知識完成入侵和入侵檢測。在求解的過程中,各Agent之間達成了協(xié)作、協(xié)調(diào)、協(xié)商、理性、對抗、交互等各種關(guān)系?；谶@種抽象以及入侵檢測的本質(zhì)(根據(jù)入侵者的行動及時推斷出入侵者的意圖),本文提出了以對手思維建模和對手意圖識別技術(shù)

6、為基礎(chǔ)的多Agent分布式入侵檢測系統(tǒng)模型IRAIDS,為解決大規(guī)模、分布式、智能化入侵提供了解決方法。     1IRAIDS模型     1.1對手思維建模     對手思維模型的核心在于意圖的識別,因為意圖對應(yīng)于實際的行為規(guī)劃,這也正是入侵檢測的目標(biāo)。本文提到的意圖識別包含兩個層次的含義:     (1)單個對手意圖的識別     在該模型中使用TA(Tracer Agent)針對單個對手的思維狀態(tài)建模,目標(biāo)是通過分析單個對手的行動序列推測

7、其可能的入侵行為。具體請見TA部分。     (2)對手群體意圖的識別     單個對手的思維建模只能檢測出簡單的個體入侵意圖,對于大規(guī)模的分布式網(wǎng)絡(luò)入侵就無能為力了。為了解決這個問題,筆者在模型中提出通過檢測Agent之間的協(xié)作方式,分析群體對手的意圖以找出其入侵計劃。這些工作主要是通過BA(Basic Agent)內(nèi)部TA之間的合作以及BA之間的協(xié)作完成的。     1.2IRAIDS模型描述     IRAIDS模型由TA、BA、SA(Supervise Agent)和

8、MA(Ma-nage Agent)組成,如圖1所示。在一個網(wǎng)絡(luò)中BA、SA、MA通過相互協(xié)作監(jiān)督組成了一個嚴密安全的入侵檢測系統(tǒng)。 其中TA是BA內(nèi)根據(jù)檢測到的對手主機的訪問情況對對手思維建模的Agent,主要用來識別單個對手的入侵及其意圖。BA是執(zhí)行某些檢測任務(wù)的Agent,它可以分布在主機或網(wǎng)絡(luò)上,將多個可疑對手歸結(jié)為一個對手群,對對手群體入侵目的進行意圖識別。SA是某一邏輯網(wǎng)段的監(jiān)督Agent,它監(jiān)督網(wǎng)段內(nèi)的BA的運行狀態(tài)并對網(wǎng)段內(nèi)的流量和訪問等信息進行統(tǒng)計。MA是整個系統(tǒng)的管理者,處于整個網(wǎng)絡(luò)與Internet接口處(通常是網(wǎng)關(guān)),對整個系統(tǒng)的流量、網(wǎng)段內(nèi)的SA的狀態(tài)進行監(jiān)督管理。 &

9、#160;   2模型結(jié)構(gòu)分析     2.1TA的結(jié)構(gòu)     由于網(wǎng)絡(luò)中需要檢測的對方主機的數(shù)量可能會很多,實現(xiàn)對手Agent要求所占資源必須足夠小,在模型上就需要足夠精簡。本文對對手建立一個簡潔的輕型Agent模型,如圖2所示。對手思維模型由三層組成,分別是:  (1)交互層。當(dāng)某個BA判斷網(wǎng)絡(luò)中某臺主機的行為超過了可能入侵的閾值時,就根據(jù)下面的模型對對手建立一個輕型Agent,以后獲取的這個對手的行為就交由該Agent處理,由TA對對手的操作進行匹配、識別其入侵意圖。交互層主要與產(chǎn)生它的BA進行交

10、流,由BA將它所“關(guān)心”的對手情況傳送給它,處理后由交互層反饋給BA。     (2)處理層。利用所歸屬的BA檢測數(shù)據(jù)庫對交互層傳來的信息進行入侵規(guī)則匹配與意圖識別,在單個對手的層次上檢測可能的入侵。     (3)存儲層用來存放處理層的中間過程和結(jié)果。     2.2BA的主要功能和結(jié)構(gòu)     BA是運用對手群意圖識別技術(shù),通過相互協(xié)商方式進行入侵檢測的Agent。每個BA負責(zé)一定的檢測任務(wù),檢測入侵的某個方面。BA由下面幾個部分組成:DB(數(shù)據(jù)庫)、通信單元、加/解密單

11、元、數(shù)據(jù)采集單元、數(shù)據(jù)預(yù)處理單元、分析引擎、狀態(tài)分析引擎、入侵處理單元、用戶接口和對對手思維建模的Agent(TA),如圖3所示。     下面按照分類詳細介紹各部分的功能:     (1)通信單元。提供BA與邏輯網(wǎng)段內(nèi)其他BA以及上層SA進行加密通信的能力,也是BA的數(shù)據(jù)來源之一。     (2)加/解密單元。為了保障Agent之間通信的安全化而設(shè)立的一個對消息進行加密和解密的單元,是維護系統(tǒng)安全運行的重要單元之一。     (3)數(shù)據(jù)采集單元。系統(tǒng)數(shù)據(jù)的另一來源,從系統(tǒng)日

12、志、審計文件以及網(wǎng)絡(luò)數(shù)據(jù)包中獲取檢測需要的數(shù)據(jù)。     (4)數(shù)據(jù)預(yù)處理單元。對從采集單元獲得的數(shù)據(jù)進行過濾、抽象化和標(biāo)準(zhǔn)化操作,便于分析引擎對數(shù)據(jù)進行分析。     (5)分析引擎。BA的核心單元,利用內(nèi)部TA反饋的可疑入侵信息,對可疑入侵群體進行意圖識別,同時與邏輯網(wǎng)段內(nèi)其他BA協(xié)作檢測并向上層SA報告。     本文原文    (6)狀態(tài)分析引擎。它是系統(tǒng)進行自我狀態(tài)進行監(jiān)督以及對上層SA觀察的單元,一旦發(fā)現(xiàn)SA存在問題將及時發(fā)動一次選舉,保證系統(tǒng)運行的完整性。 &#

13、160;   (7)入侵處理單元。發(fā)現(xiàn)入侵時的處理模塊,通常的做法是向用戶報警并根據(jù)其危害性采取限制登錄范圍、鎖定用戶賬號甚至切斷網(wǎng)絡(luò)連接等措施。     (8)用戶接口。它是用戶與BA交互的單元,用戶可以向BA中添加新的檢測模型、規(guī)則等信息,也可以對可疑入侵進行判斷分析并給出結(jié)論。     (9)DB。數(shù)據(jù)庫是BA存儲系統(tǒng)信息、檢測模型、經(jīng)預(yù)處理后的數(shù)據(jù)和中間數(shù)據(jù)的單元。數(shù)據(jù)庫中的內(nèi)容主要有下面三部分:     網(wǎng)絡(luò)的拓撲信息,包括當(dāng)前BA所處網(wǎng)絡(luò)的其他BA的地址、上層SA的地址、M

14、A地址等描述網(wǎng)絡(luò)拓撲結(jié)構(gòu)的信息。     知識庫,主要包括入侵檢測方法、單個對手意圖識別算法、對手群體意圖識別算法。其中檢測方法數(shù)據(jù)庫包括正常模式庫和異常模式庫(分別用于異常檢測和誤用檢測方法)。這兩種數(shù)據(jù)庫可以根據(jù)數(shù)據(jù)來源分為不同類別子數(shù)據(jù)庫。這樣,異常數(shù)據(jù)可以根據(jù)其來源在相應(yīng)的子數(shù)據(jù)庫中得到迅速的匹配。     經(jīng)預(yù)處理的數(shù)據(jù)。所有經(jīng)過預(yù)處理得到的標(biāo)準(zhǔn)化和格式化的數(shù)據(jù)都保存在數(shù)據(jù)庫中,用來保存對手的入侵證據(jù)。     2.3SA的主要功能和結(jié)構(gòu)     SA的主要作用是對

15、所在邏輯網(wǎng)段內(nèi)其他BA的狀態(tài)進行監(jiān)督管理、接收BA發(fā)送的可疑報告、同其他SA協(xié)商以及向上層MA提交入侵和可疑入侵情況。由于SA是從一個邏輯網(wǎng)段的所有BA中選舉出來的,與BA的結(jié)構(gòu)基本相同。不同的是,SA數(shù)據(jù)庫中的網(wǎng)絡(luò)拓撲結(jié)構(gòu)除了包括本邏輯網(wǎng)段內(nèi)的其他主機的地/址信息外,還保存其他網(wǎng)段的SA和部分BA(便于發(fā)現(xiàn)某個SA失效時可以通知其網(wǎng)段內(nèi)的BA)的地址信息。     2.4MA的主要功能和結(jié)構(gòu)     MA是處于整個網(wǎng)絡(luò)與Internet接口處,是對整個網(wǎng)絡(luò)進行監(jiān)控和檢測入侵的核心單元,常常處于與Internet接口的網(wǎng)絡(luò)設(shè)備中,對全

16、網(wǎng)的數(shù)據(jù)流量進行統(tǒng)計跟蹤。MA可以通過大量的學(xué)習(xí),統(tǒng)計正常和異常情況下網(wǎng)絡(luò)中的數(shù)據(jù)流量、各個局域網(wǎng)段的流量以及正常和異常的訪問信息等知識。通過MA在高層監(jiān)控,一旦發(fā)現(xiàn)流向某個網(wǎng)段或者整個系統(tǒng)的流量發(fā)生劇烈變化,可以通過學(xué)習(xí)的結(jié)果判斷是否出現(xiàn)入侵,并及時向可能發(fā)生的入侵網(wǎng)段的SA發(fā)出警告。     MA的結(jié)構(gòu)與BA、SA十分相似,但是它只需要對網(wǎng)絡(luò)中的數(shù)據(jù)包進行分析,在數(shù)據(jù)采集單元中只接收通信單元和網(wǎng)絡(luò)中的數(shù)據(jù)包的信息。其他部分類似,需要詳細解釋的是MA的數(shù)據(jù)庫。MA的數(shù)據(jù)庫中存放著下面三種數(shù)據(jù):    (1)整個網(wǎng)絡(luò)主機和Agent位

17、置的實時信息,尤其是網(wǎng)絡(luò)中SA的實時位置信息。這個目標(biāo)主要通過定期檢測和接收更新的方式達到。     (2)知識庫,其中包括了MA、SA、BA檢測需要使用的所有知識。也就是說,MA的數(shù)據(jù)庫中存放了整個系統(tǒng)需要的知識的總和。     (3) MA從網(wǎng)絡(luò)中獲取的數(shù)據(jù)流量和統(tǒng)計信息,以及入侵檢測的中間信息都存儲在數(shù)據(jù)庫中,便于進一步的統(tǒng)計學(xué)習(xí)。     MA為用戶提供了觀測整個系統(tǒng)的運行狀態(tài)、網(wǎng)絡(luò)中的數(shù)據(jù)流量以及動態(tài)配置系統(tǒng)的功能。更重要的是為用戶提供了一個向系統(tǒng)添加修改檢測模式的入口,可以隨時更新系統(tǒng)的檢測模

18、式庫,增強了系統(tǒng)檢測入侵的能力。     2.5系統(tǒng)運行流程     系統(tǒng)工作的流程主要包括兩部分,即自底向上過程和自頂向下過程。    自底向上處理過程     (1)BA獲取系統(tǒng)日志、審計數(shù)據(jù)以及抓取網(wǎng)絡(luò)中的需要檢測數(shù)據(jù)包,經(jīng)過預(yù)處理后根據(jù)源IP地址進行以下分類處理:     對未建立的對手模型的數(shù)據(jù)包通過定義的疑似度函數(shù)度量入侵的可能性,對超過閾值的包建立對手思維追蹤Agent即TA,并將數(shù)據(jù)交給TA處理。  對已經(jīng)建立起TA的對

19、手直接將數(shù)據(jù)傳給TA。     (2)獲取數(shù)據(jù)后的TA進行誤用檢測、異常檢測、意圖識別等一系列操作,如檢測到可疑入侵則根據(jù)異常檢測設(shè)定的關(guān)聯(lián)閾值判斷是否需要向BA報告,若發(fā)現(xiàn)入侵則立即報告。     (3)BA接收到TA發(fā)送的關(guān)聯(lián)檢測報告時,將其內(nèi)部TA的關(guān)聯(lián)閾值合并起來,看其是否超過聯(lián)合攻擊閾值,一旦超過立即進行聯(lián)合入侵檢測和群體意圖識別,即將各個TA在數(shù)據(jù)庫中存儲的數(shù)據(jù)合并起來,先檢測是否為已知的聯(lián)合攻擊,再對對手群體意圖進行識別。對于對手群的行動不符合任意已知的聯(lián)合入侵方式但入侵可疑度很高的,將利用數(shù)據(jù)挖掘技術(shù)從存儲的數(shù)據(jù)中挖掘

20、出新的入侵模式并向系統(tǒng)中其他Agent廣播。     (4)當(dāng)BA沒有發(fā)現(xiàn)大量可疑入侵,但SA監(jiān)測網(wǎng)段內(nèi)的數(shù)據(jù)流量等信息反映入侵可能發(fā)生時,BA之間通過相互協(xié)作檢測入侵。     (5)當(dāng)MA根據(jù)統(tǒng)計分析判斷系統(tǒng)可能被入侵時,SA之間相互協(xié)作,完成共同檢測復(fù)雜入侵的任務(wù)。    自頂向下處理過程     (1)用戶通過MA提供的接口向全局數(shù)據(jù)庫中添加能檢測新的入侵方式的模型,隨后MA將模型發(fā)送到下層的SA中。SA接收到新的檢測模型后,根據(jù)網(wǎng)絡(luò)情況選擇要擴充此類檢測類型的BA,

21、并將模型發(fā)送到BA的數(shù)據(jù)庫中。     (2)BA接收到新的入侵檢查模型后,立即更新TA的檢測方式,即TA在檢測時對這個新模型的規(guī)則也進行匹配。     3關(guān)鍵技術(shù)     3.1檢測方法     文獻8中提到了用IP陷阱的方式,利用IP 陷阱和流量標(biāo)本不僅能夠識別已知的異常行為, 還能夠不斷地學(xué)習(xí)和積累。文獻9中提到了一種追蹤可疑用戶入侵鏈的方式獲取入侵者的訪問信息。在檢測方法中,不管是誤用檢測還是異常檢測,基于主機型或是基于網(wǎng)絡(luò)型,各種檢測方法和技術(shù)手段都各有利弊。目前還

22、沒有通用的檢測方法出現(xiàn)。比較恰當(dāng)?shù)淖龇ㄊ?綜合分析各種檢測方法的利弊以及最優(yōu)使用場所,在復(fù)雜的網(wǎng)絡(luò)環(huán)境中根據(jù)各個網(wǎng)段的情況,在每個網(wǎng)段中部署多個最優(yōu)檢測方法的Agent,這些Agent之間相互合作共同完成檢測任務(wù)。這樣做的好處是可以利用多種檢測方法的優(yōu)點,避免其缺點,增強系統(tǒng)的檢測能力和檢測效率。     使用誤用檢測和異常檢測相結(jié)合的方法進行入侵檢測,即首先對于獲取的數(shù)據(jù)進行誤用檢測;如不能判斷是否為入侵(有可能是未曾識別出的入侵類型)再使用異常檢測方法獲取一個可疑度,將此可疑度與閾值相比判斷是否為入侵。     3.2Agent狀

23、態(tài)監(jiān)測及恢復(fù)策略     系統(tǒng)中的BA、SA、MA均存在狀態(tài)分析引擎,用于監(jiān)控自身所處的狀態(tài)(如負載重、輕、沒有負載、是否被入侵等)、檢測其他Agent的狀態(tài)和回復(fù)其他Agent發(fā)送的詢問請求。Agent之間狀態(tài)的監(jiān)督包括下面幾種:BA內(nèi)的監(jiān)督、SA內(nèi)的監(jiān)督、BA與SA之間相互監(jiān)督,以及MA與SA之間相互監(jiān)督。其中,BA每隔一定時間檢測所在網(wǎng)段的SA是否正常工作,并在需要時報告入侵檢測情況,SA也采用同樣的方法檢測BA的狀態(tài);BA內(nèi)、SA內(nèi)采用被動監(jiān)督方式,即在需要協(xié)同工作時才檢測對方狀態(tài);MA與SA的監(jiān)督方式和BA與SA的相似。   

24、0; 狀態(tài)監(jiān)督可以保證系統(tǒng)整體的正常運行,當(dāng)系統(tǒng)中某些Agent出現(xiàn)問題時按照下面的恢復(fù)策略進行恢復(fù):     (1)如果SA發(fā)現(xiàn)BA沒有響應(yīng)狀態(tài)請求,判定失效后立即調(diào)整網(wǎng)內(nèi)其他BA的檢測工作,讓其他BA合作完成失效BA的檢測任務(wù)。如果在一定時間段內(nèi)失效的BA仍沒有恢復(fù),在確定所在主機正常工作的情況下復(fù)制一個新的BA重新開始檢測。     (2)如果BA發(fā)現(xiàn)SA停止響應(yīng),則立即發(fā)動一次選舉,從網(wǎng)絡(luò)中正常工作的BA中選舉一個負載最輕的擔(dān)任SA任務(wù);被選中的SA向MA報告網(wǎng)段內(nèi)SA的更換信息,確保MA的及時更新。     (3)如果MA或SA發(fā)現(xiàn)SA