基于層次化多代理的分布式入侵檢測系統(tǒng)

-.z基于層次化多代理的分布式入侵檢測系統(tǒng)楊仕喜河海大學，****〔210098〕：yangshi*.摘要：隨著入侵檢測技術的開展,IDS越來越呈現(xiàn)出分布性、智能性的特征。傳統(tǒng)的基于多Agent的分布式入侵檢測系統(tǒng),往往采取一種分布式數(shù)據(jù)采集和層次化數(shù)據(jù)分析的方法。這雖然使系統(tǒng)的邏輯構(gòu)造簡單嚴謹,卻很大程度上限制了系統(tǒng)的分布性、智能性與實時響應能力。本文提對傳統(tǒng)的層次化構(gòu)造的分布式入侵檢測系統(tǒng)進展改進。為提高系統(tǒng)的強健性,提出一種三層協(xié)同工作的系統(tǒng)構(gòu)造,并且在各層次內(nèi)部通過多Agent的協(xié)作來完本錢層工作;對傳統(tǒng)的分布式入侵檢測系統(tǒng)進展了有效的改進。關鍵詞：多Agent系統(tǒng)；分布式入侵檢測；通信；協(xié)作1.引言隨著對入侵檢測系統(tǒng)(IntrusionDetectionSystem,簡稱IDS)研究的深入,如今的IDS逐漸呈現(xiàn)出智能性、分布性的特點。在最近10年中,入侵檢測系統(tǒng)正走向這樣一種構(gòu)造:它們由一組分布式的監(jiān)測器構(gòu)成,在這個構(gòu)造中每個監(jiān)測器都負責本地的檢測并為全局檢測提供信息,如:DIDS[1],AAFID[1]〔圖1所示〕,EMERALD[1]和COIDS[1]〔圖2所示〕等等?？梢园l(fā)現(xiàn),它們實際上都是采取一種分布式數(shù)據(jù)采集和層次化的數(shù)據(jù)分析的方式來對網(wǎng)域進展監(jiān)控。采用這種方式來構(gòu)造分布式入侵檢測系統(tǒng),具有構(gòu)造簡單、系統(tǒng)的邏輯構(gòu)造嚴謹?shù)膬?yōu)點。但也有明顯的缺乏,主要表現(xiàn)在三個方面:(1)集中的分析構(gòu)件承受的負載較高,使每個分析構(gòu)建的負載到達動態(tài)的平衡比較困難;(2)集中的分析構(gòu)件可能會成為系統(tǒng)的瓶頸與單一的失敗點[2];(3)多級層次化的分析降低了系統(tǒng)的實時性[2]。本文主要論述對傳統(tǒng)的層次化構(gòu)造的分布式入侵檢測系統(tǒng)進展改進。為提高系統(tǒng)的強健性,提出一種三層協(xié)同工作的系統(tǒng)構(gòu)造,并且在各層次內(nèi)部通過多Agent的協(xié)作來完本錢層工作;為提高系統(tǒng)實時性，檢測精度與負載平衡,將原有一個分析構(gòu)件分析功能劃分成多個有針對性的分析構(gòu)件，使他們動態(tài)分布在整個網(wǎng)絡。本文第2節(jié)簡介系統(tǒng)邏輯構(gòu)造及各層次的代理類型及功能;第3節(jié)給出基于層次協(xié)作技術的假設干方法;第4節(jié)給出了系統(tǒng)實現(xiàn)的關鍵技術與局部。最后總結(jié)我們的研究工作,并且討論未來研究開展的思路。2.系統(tǒng)介紹設所監(jiān)控的網(wǎng)域由一系列的局域網(wǎng)構(gòu)成,則系統(tǒng)的邏輯上由3個層次的Agent構(gòu)成,自底向上分別是:數(shù)據(jù)采集層，數(shù)據(jù)分析層，決策控制層；如圖3所示：該構(gòu)造一改以前多個數(shù)據(jù)采集代理向同一個代理發(fā)送所有數(shù)據(jù)，以及數(shù)據(jù)采集代理單一的弊端，將數(shù)據(jù)采集代理與數(shù)據(jù)分析處理代理的功能更加的細化，形成數(shù)據(jù)采集層，數(shù)據(jù)分析處理層；加強各層次間代理的互動，減少了由集中式帶來的各種缺乏；下面簡單介紹三個層次的代理類型：數(shù)據(jù)采集層：數(shù)據(jù)采集層有主機數(shù)據(jù)采集代理〔HostDateCollectAgent，HDCA〕與網(wǎng)絡數(shù)據(jù)采集代理〔NetDateCollectAgent，NDCA〕[3]兩種；主機采集代理主要采集主機系統(tǒng)的系統(tǒng)日志和審計記錄，并將其轉(zhuǎn)化成標準格式數(shù)據(jù)提交數(shù)據(jù)分析處理層；采集主機時時運行的性能數(shù)據(jù)；在有請求的情況下，協(xié)同其他代理監(jiān)視主機的異常操作。網(wǎng)絡數(shù)據(jù)采集代理主要采集原始網(wǎng)絡數(shù)據(jù)包作為數(shù)據(jù)源，進展簡單協(xié)議分析，轉(zhuǎn)化成標準格式數(shù)據(jù)提交到數(shù)據(jù)分析處理層；主機數(shù)據(jù)采集代理在注冊時，每臺主機都擁有一個主機數(shù)據(jù)采集代理(HDCA)和一個網(wǎng)絡數(shù)據(jù)采集代理(NDCA)；數(shù)據(jù)分析處理層：根據(jù)網(wǎng)絡協(xié)議分析原理[4]將數(shù)據(jù)分析處理代理〔DataAnalysisAgent，DAA〕進展分類〔如圖4所示〕，數(shù)據(jù)分析處理層包含Telnet_DAA、FTP_DAA、HTTP_DAA、SMTP_DAA、DNS_DAA、SNMP_DAA、ICMP_DAA和Other_DAA八種代理，加上主機數(shù)據(jù)分析處理代理〔HostDAA，HDAA〕，共九種代理；主機數(shù)據(jù)分析處理處理所屬轄域內(nèi)所有主機數(shù)據(jù)采集提交的采集數(shù)據(jù)；Telnet_DAA，F(xiàn)TP_DAA，HTTP_DAA，SMTP_DAA，DNS_DAA，SNMP_DAA，ICMP_DAA處理各自所屬網(wǎng)絡數(shù)據(jù)采集代理提交上的對應的網(wǎng)絡數(shù)據(jù)；Other_DAA處理不是上述協(xié)議類型的網(wǎng)絡數(shù)據(jù)。數(shù)據(jù)分析處理代理根據(jù)需要分布在整個網(wǎng)絡系統(tǒng)的的計算機中，各個代理協(xié)同工作；控制決策層：1〕中央控制部件：系統(tǒng)的核心部件，常駐IDS效勞器中，控制和協(xié)調(diào)其他各代理的中心，管理著系統(tǒng)中所有的代理及部件的運行。2〕響應代理：根據(jù)數(shù)據(jù)處理層提交的數(shù)據(jù)分析結(jié)果，做出相應響應，如跟蹤，切斷網(wǎng)絡通訊等。3〕優(yōu)化代理：根據(jù)系統(tǒng)長期穩(wěn)定運行的情況，先給出相對優(yōu)化的模型；運行時，可根據(jù)實時的情況進展調(diào)整優(yōu)化；系統(tǒng)工作步驟：Step1:系統(tǒng)初始化，IDS系統(tǒng)效勞器初始化所有代理及模塊，其中CU是中央控制部件，所有移動代理的，移動，掛起都由此CU發(fā)出；Step2:主機A1向CU發(fā)出注冊請求，CU同意，派出HDCA1和NDCA1,并由優(yōu)化代理指定HA1和NA1對應的數(shù)據(jù)提交代理；Step3:HDCA1采集主機實時數(shù)據(jù)，并將此數(shù)據(jù)提交給對應的主機數(shù)據(jù)分析代理。Step4:NDCA1收集原始網(wǎng)絡數(shù)據(jù)，進展協(xié)議分析分類；如：根據(jù)以太網(wǎng)協(xié)議規(guī)則[4],應在第13個字節(jié)處有2個字節(jié)的第三層網(wǎng)絡層協(xié)議標志,如為“0800〞,可見以太網(wǎng)幀數(shù)據(jù)區(qū)域中攜帶的協(xié)議是IP協(xié)議。再從第24字節(jié)處起有1個字節(jié)的第四層傳輸層協(xié)議標志號,從圖中得知其值為“06〞,可見IP幀中數(shù)據(jù)區(qū)域攜帶的協(xié)議為TCP協(xié)議。TCP協(xié)議說明,在第35字節(jié)處,有2個字節(jié)的應用層協(xié)議標志,即“端口號〞,從圖中知其值為“0050〞,轉(zhuǎn)為十進制為80,而端口號80知其是個HTTP。Step5:網(wǎng)絡數(shù)據(jù)代理不但具有網(wǎng)絡數(shù)據(jù)采集的功能，而且具有網(wǎng)絡數(shù)據(jù)數(shù)據(jù)分析的功能，根據(jù)主機運行的實時情況，執(zhí)行數(shù)據(jù)提交策略〔DataSubmitStrategy，DSS〕；Step6:數(shù)據(jù)分析處理層各代理協(xié)同工作，遇到異常情況，可向響應代理發(fā)出響應請求；Step7:優(yōu)化代理實時檢查數(shù)據(jù)分析處理層各代理運行情況，優(yōu)化數(shù)據(jù)采集代理數(shù)據(jù)提交對象；優(yōu)化數(shù)據(jù)分析處理層各代理的數(shù)量和位置；整個系統(tǒng)實際上是一個互相合作的多Agent系統(tǒng)。為了能使這個多Agent系統(tǒng)能順利地運行并且實現(xiàn)分布式入侵檢測的功能,必須建立適宜的方法體系來實現(xiàn)Agent之間的協(xié)調(diào)與合作。3.層次化協(xié)同檢測我們將系統(tǒng)分成三個邏輯層；不但要實現(xiàn)各層同類代理之間的協(xié)作，而且要實現(xiàn)各層之間的協(xié)作。在以前的系統(tǒng)之中，每一個局域網(wǎng)只有一個網(wǎng)絡數(shù)據(jù)采集代理，它將采集到的網(wǎng)絡數(shù)據(jù)根本上直接提交數(shù)據(jù)分析代理，功能比較單一；而在本系統(tǒng)中，每個主機都存在一個HDCA與NDCA，HDCA將所采集到的主機數(shù)據(jù)去掉冗余后將數(shù)據(jù)轉(zhuǎn)化稱為標準格式，提交HDAA進展分析。NDCA將所采集到的網(wǎng)絡數(shù)據(jù)按照協(xié)議進展分類，實時判斷主機運行狀態(tài)，根據(jù)系統(tǒng)設置和主機的運行狀態(tài)判定數(shù)據(jù)提交策略。網(wǎng)絡數(shù)據(jù)采集不僅僅采集網(wǎng)絡原始數(shù)據(jù)包，并且要按照協(xié)議分析將其分別歸類，實時檢測所在主機的系統(tǒng)情況，根據(jù)實際運行情況使用如下數(shù)據(jù)提交策略〔DSS〕:〔1〕全部發(fā)送對應代理，本機不分析任何數(shù)據(jù)；〔2〕本機分析HTTP數(shù)據(jù)包，其它都發(fā)送到對應的數(shù)據(jù)分析代理中；〔3〕本機分析HTTP，F(xiàn)TP數(shù)據(jù)包，其它都發(fā)送到對應的數(shù)據(jù)分析代理中；〔4〕本機分析TCP數(shù)據(jù)包，其它都發(fā)送到對應的數(shù)據(jù)分析代理中；〔5〕本機分析UDP數(shù)據(jù)包，其它都發(fā)送到對應的數(shù)據(jù)分析代理中。這樣動態(tài)承擔系統(tǒng)負載，使得系統(tǒng)整體處于最優(yōu)化狀態(tài)。優(yōu)化代理是個移動代理，實時對網(wǎng)絡數(shù)據(jù)采集代理提交的對象進展優(yōu)化，主要是確定數(shù)據(jù)采集代理提交對象，已經(jīng)所需要經(jīng)過的路由。不但使得數(shù)據(jù)分析層的各個代理所承擔的負載動態(tài)平衡，而且使整個網(wǎng)絡處于最優(yōu)狀態(tài)，不出現(xiàn)因為*個網(wǎng)絡節(jié)點上的瓶頸導致整個系統(tǒng)性能下降。數(shù)據(jù)分析處理層各代理的協(xié)同主要表現(xiàn)在：〔一〕合理配置數(shù)據(jù)分析處理層的移動代理的類型，數(shù)量，位置；確保從網(wǎng)絡數(shù)據(jù)采集層提供的分析數(shù)據(jù)能夠及時準確的處理，并且對代理所在的主機運行影響最小。〔二〕同一類數(shù)據(jù)分析代理之間的協(xié)同，當一個數(shù)據(jù)分析代理發(fā)現(xiàn)異常行為時，可與同類數(shù)據(jù)分析代理進展關聯(lián)分析，特別是針對一些復合攻擊時，可以及時了解其他同類代理的處理情況，使得處理簡單明了。在我們的系統(tǒng)中，每個代理的分工明確，工作正常且整個系統(tǒng)趨于自動化，智能化。將數(shù)據(jù)分析處理代理細分生成一些處理專用數(shù)據(jù)的代理，這些代理所含的規(guī)則少，算法簡單，易移動，可直接派遣到目標主機直接處理流量大，數(shù)據(jù)單一的數(shù)據(jù)；比方處理tcp：4662端口的eMule下載工具下載的數(shù)據(jù)。這樣減少網(wǎng)絡數(shù)據(jù)流量的同時也減少了流量增大對承載數(shù)據(jù)分析處理代理主機的負擔。4.系統(tǒng)實現(xiàn)為了實現(xiàn)上述基于移動代理的入侵檢測系統(tǒng),移動代理系統(tǒng)采用IBM的Aglets[5],主要使用其包含的一個移動代理效勞器Tahiti,遠程計算機運行Tahiti效勞器以提供移動代理運行環(huán)境.為了平臺無關性,我們采用Java作為開發(fā)語言,開發(fā)工具為JDK1.42。4.1系統(tǒng)通訊Agent間的通信是系統(tǒng)的核心問題之一，Agent之間要能夠可靠、平安、高效地傳遞信息。系統(tǒng)的通信包括主機內(nèi)Agent之間的通信和主機間Agent之間的通信，這兩者的要求不同。主機內(nèi)的通信為線程之間的通信，側(cè)重于線程之間的同步和通信的效率;而主機間的通信則要重點考慮通信的平安性問題，需要建立一個平安的通信協(xié)議。前者，我們采用管道方式[6]，因為管道非常適合于在同一主機內(nèi)的兩個線程之間交換大量的數(shù)據(jù)，并且能很好地解決線程之間的同步問題。對于同一主機內(nèi)Agent間大量數(shù)據(jù)的傳輸(數(shù)據(jù)源Agent和分析Agent之間的數(shù)據(jù)交換)適宜采用管道的形式。后者，采用TCP為傳輸層協(xié)議，通信雙方通過特定的協(xié)議消息來傳遞會話控制消息和系統(tǒng)消息，協(xié)議消息用來封裝會話控制消息和系統(tǒng)消息。4.2數(shù)據(jù)采集與分析處理的實現(xiàn)入侵檢測系統(tǒng)的數(shù)據(jù)源主要包括基于主機的數(shù)據(jù)源和基于網(wǎng)絡的數(shù)據(jù)源?；谥鳈C的數(shù)據(jù)源主要是指操作系統(tǒng)審計日志和各種應用程序日志等，基于主機的數(shù)據(jù)源可以提供較為完備的日志信息。應用程序日志是從面向用戶活動的層次來記錄系統(tǒng)活動的用戶級抽象信息，除去了大量的冗余信息，更易于理解和分析?；谥鳈C的數(shù)據(jù)采集應該結(jié)合操作系統(tǒng)行為和用戶行為來進展判定，對特定事件從多方面證據(jù)來進展檢測，從而提高準確性?；诰W(wǎng)絡的數(shù)據(jù)源主要是指實時網(wǎng)絡原始數(shù)據(jù)包的采集。使用JPCAP(JavaPackageforLibpcap)[5]開發(fā)包來捕捉網(wǎng)絡鏈路上的數(shù)據(jù)包；按照協(xié)議分析，捕捉到的數(shù)據(jù)包分類發(fā)送對應的數(shù)據(jù)處理代理中去；我們將數(shù)據(jù)分析處理代理按照網(wǎng)絡協(xié)議的特征進展分類，并將規(guī)則按照數(shù)據(jù)分析處理代理的類型進展分類；每個數(shù)據(jù)分析處理代理擁有自己的分析策略與規(guī)則庫；對于數(shù)據(jù)采集代理提交的數(shù)據(jù)，直接進展對應的處理；它即減少數(shù)據(jù)處理代理分析的工作量，提高運行效率，又減少了分析處理代理在移動過程中的資源消耗。4.3實驗結(jié)果實驗說明,即使在重載的高速網(wǎng)絡上,大量的包也可以被及時地分析,遺漏少,降低了漏報率;正確性高,數(shù)據(jù)采集層按協(xié)議分析的方法將采集到數(shù)據(jù)提交到對應的數(shù)據(jù)分析處理代理，使得每個代理的策略算法都具有針對性，也減少了簡單模式匹配方式中大量的誤報,因為它知道每種協(xié)議中潛在的攻擊行為所在的準確位置,每種特征的真正含義被理解了;負載平衡得到了保障，由于將數(shù)據(jù)分析處理層的代理進展了細化，使得數(shù)據(jù)得到及時的處理，但數(shù)量的量增大時對代理所在主機的影響也比較??；擴展性強，每個代理比以往的代理更加小巧靈活，代理可以及時得到更新，代理的增加，移動對系統(tǒng)的資源消耗比較小?？梢詸z測分片攻擊和協(xié)議驗證,如果IP協(xié)議被分片,包首先在網(wǎng)絡采集時就被重組,然后再細節(jié)地分析攻擊行為,采用重組技術,系統(tǒng)可以檢測出利用躲避技術的攻擊,如包分片,TCP,RPC分段邊界欺騙等。5.完畢語層次化主動協(xié)同和移動代理技術應用到分布式網(wǎng)絡入侵檢測系統(tǒng)中，有以下優(yōu)點:能實現(xiàn)全局*圍內(nèi)的入侵檢測功能,具有清晰的系統(tǒng)構(gòu)造和良好的可擴展性；具有優(yōu)良的可移植性能；對網(wǎng)絡系統(tǒng)和主機資源的占用較低，減少了出現(xiàn)瓶頸的可能。如何優(yōu)化局部系統(tǒng)和全局系統(tǒng)，使系統(tǒng)處于最優(yōu)化狀態(tài)，是我們今后重點深入研究的內(nèi)容。參考文獻[1]EugeneH.Spa.ord,DiegoZamboni.Intrusiondetectionusingautonomousagents.puterNetworks,2000,34:547-570.[2]Shu-ChingChe