數(shù)據(jù)挖掘的網(wǎng)絡(luò)入侵檢測(cè)

數(shù)據(jù)挖掘的網(wǎng)絡(luò)入侵檢測(cè)：如何開(kāi)始

埃里克Bloedorn，艾倫D·克里斯蒂安森，威廉希爾，

克萊門特Skorupka，莉薩M.塔爾博特，喬納森Tivel

MITRE公司

1820Dolley麥迪遜大道。

麥克萊恩，弗吉尼亞州22102

（703）983-5274

bloedorn@摘要最近人們對(duì)計(jì)算機(jī)網(wǎng)絡(luò)入侵檢測(cè)中利用數(shù)據(jù)挖掘產(chǎn)生了很大的興趣。在過(guò)去的兩年中，MITRE一直在探索如何使數(shù)據(jù)挖掘在這方面非常有用。本文提供了在這個(gè)任務(wù)中的經(jīng)驗(yàn)教訓(xùn)?；谥暗慕?jīng)驗(yàn)我們開(kāi)始了這種類型的項(xiàng)目，我們建議考慮數(shù)據(jù)挖掘技術(shù)和需要的專業(yè)知識(shí)和基礎(chǔ)設(shè)施的類型。本文有兩個(gè)預(yù)期的讀者：一是對(duì)數(shù)據(jù)挖掘中的了解甚微的網(wǎng)絡(luò)安全專業(yè)人才，二是對(duì)網(wǎng)絡(luò)入侵檢測(cè)略懂一二的數(shù)據(jù)挖掘?qū)＜摇?/p>

關(guān)鍵詞：數(shù)據(jù)挖掘，入侵檢測(cè)，計(jì)算機(jī)網(wǎng)絡(luò)安全1。網(wǎng)絡(luò)入侵檢測(cè)：這是什么？入侵檢測(cè)從對(duì)計(jì)算機(jī)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行收集的儀器開(kāi)始。流量模式的軟件“傳感器”監(jiān)督網(wǎng)絡(luò)信息流通量，當(dāng)流量模式與保存的模式相匹配時(shí)它就會(huì)“報(bào)警”。安全分析師決定這些警報(bào)是否指示事件嚴(yán)重足以保證一個(gè)響應(yīng)。一個(gè)響應(yīng)可能是關(guān)閉網(wǎng)絡(luò)的一部分，也許是提示與可疑流量相關(guān)的互聯(lián)網(wǎng)服務(wù)提供商，或者簡(jiǎn)單的做不正常流量的記錄以供將來(lái)參考。如果網(wǎng)絡(luò)很小并且特征還很鮮明，人類分析師的解決入侵檢測(cè)方案效果很好。但是，當(dāng)組織有一個(gè)大而復(fù)雜的網(wǎng)絡(luò)時(shí)，這些人類的分析師很快就會(huì)被大量的需要他們檢查的警報(bào)搞疲憊?！袄?，MITRE網(wǎng)絡(luò)上的傳感器，目前每天出現(xiàn)超過(guò)一百萬(wàn)的警報(bào)。并且數(shù)量還在不斷增加。從不斷增加的網(wǎng)絡(luò)攻擊中出現(xiàn)的這種情況，以及傳感器模式的傾向選擇性不明顯（即，增加太多的錯(cuò)誤報(bào)警）。作為商業(yè)工具當(dāng)然不會(huì)提供代表企業(yè)整體水平的有多家傳感器供應(yīng)商生產(chǎn)的報(bào)警器。商業(yè)入侵檢測(cè)軟件包往往是很少或沒(méi)有保持狀態(tài)信息的簽名導(dǎo)向。這些限制使我們調(diào)查的數(shù)據(jù)挖掘應(yīng)用到這個(gè)問(wèn)題。2。數(shù)據(jù)挖掘之前的入侵檢測(cè)當(dāng)我們第一次開(kāi)始做我們網(wǎng)絡(luò)的入侵檢測(cè)時(shí)，我們沒(méi)有把重點(diǎn)放在數(shù)據(jù)

挖掘，而是放在更根本的問(wèn)題上：如何將傳感器執(zhí)行？我們會(huì)得到多少數(shù)據(jù)？我們將如何展示這些數(shù)據(jù)？我們希望看到什么樣的數(shù)據(jù)，如何查詢才能最好地突出數(shù)據(jù)？接下來(lái)，數(shù)據(jù)的傳送，傳感器的調(diào)整，事件的調(diào)查和系統(tǒng)性能，將是我們關(guān)注的重點(diǎn)。分析師團(tuán)隊(duì)著手處理負(fù)載，培訓(xùn)和團(tuán)隊(duì)協(xié)調(diào)的日常問(wèn)題。但在互聯(lián)網(wǎng)上的偵察和攻擊的水平不斷增加，并伴隨著數(shù)據(jù)量的收集，呈現(xiàn)在我們的分析師面前。我們開(kāi)始懷疑我們的系統(tǒng)不足以對(duì)最危險(xiǎn)的攻擊進(jìn)行檢測(cè)，那些被對(duì)手使用的攻擊是新的，隱形的，或兩者兼而有之的。因此，我們認(rèn)為有兩個(gè)關(guān)于數(shù)據(jù)挖掘的問(wèn)題困惑在心里：

·我們能否發(fā)展一種方式以盡量減少分析師需要看的日?qǐng)?bào)？

·數(shù)據(jù)挖掘能否幫助我們發(fā)現(xiàn)那些傳感器和分析師不能找到的攻擊？

3。數(shù)據(jù)挖掘：這是什么？數(shù)據(jù)挖掘其核心在于模式發(fā)現(xiàn)。數(shù)據(jù)挖掘者是在大型數(shù)據(jù)集用專門的軟件找到規(guī)律（和違規(guī)）的專家。這里有一些特殊的事物使數(shù)據(jù)挖掘可能有助于入侵檢測(cè)項(xiàng)目：

·報(bào)警數(shù)據(jù)刪除的正?；顒?dòng)，讓分析師把重點(diǎn)放在真正的攻擊

·識(shí)別虛假報(bào)警發(fā)生器和“壞”的傳感器信號(hào)

·查找異?；顒?dòng)，揭示了真正的攻擊·長(zhǎng)期的認(rèn)證，正在進(jìn)行的模式（不同的IP地址，同樣的活動(dòng)）為了完成這些任務(wù)，數(shù)據(jù)挖掘者使用以下一個(gè)或多個(gè)方法：

·數(shù)據(jù)匯總統(tǒng)計(jì)，包括尋找離群

·可視化：呈現(xiàn)出的數(shù)據(jù)的圖形摘要

·把數(shù)據(jù)聚類成自然類【曼加納里斯等地2000年的數(shù)據(jù)】

·聯(lián)想發(fā)現(xiàn)規(guī)律：定義正?；顒?dòng)，得到異常發(fā)現(xiàn)

[Clifton和Gengo，2000年；芭芭拉等人，2001年。]

·分類：預(yù)測(cè)其中的一個(gè)特殊記錄屬于哪種類別[李和Stolfo，1998年]4。從使您的需求變?yōu)楝F(xiàn)實(shí)開(kāi)始自動(dòng)化最令人期待的是，它可以并將要解決你所有的問(wèn)題，而且不需要人為的參與。這是一個(gè)在入侵檢測(cè)中的海市蜃樓。人類分析師始終需要監(jiān)測(cè)人們所渴望的自動(dòng)化系統(tǒng)的執(zhí)行，確定新的攻擊類別，分析更復(fù)雜的攻擊。至于我們，首要關(guān)注的是減輕了分析師的一天又一天的負(fù)擔(dān)。實(shí)時(shí)自動(dòng)反應(yīng)在一些入侵檢測(cè)環(huán)境中是令人滿意的。但這使得對(duì)數(shù)據(jù)庫(kù)性能的需求加大。該數(shù)據(jù)庫(kù)必須足夠快的速度來(lái)記錄報(bào)警,同時(shí)產(chǎn)生的查詢結(jié)果。異常的實(shí)時(shí)評(píng)分，或分類模型是可能的，但是這不應(yīng)該與建立實(shí)時(shí)模型混淆。有這方面的研究[多明戈斯和Hulten，2000]，但是目前數(shù)據(jù)挖掘沒(méi)有從大量的實(shí)時(shí)，動(dòng)態(tài)變化的數(shù)據(jù)中學(xué)習(xí)的能力。它更適合批量處理收集的記錄數(shù)。因此，我們采取了日處理制度，而不是每小時(shí)或每分每分的計(jì)劃。

5。選擇一個(gè)廣泛而有能力的項(xiàng)目團(tuán)隊(duì)您的員工將需要三個(gè)方面技能：網(wǎng)絡(luò)安全，數(shù)據(jù)挖掘和數(shù)據(jù)庫(kù)的應(yīng)用開(kāi)發(fā)技能·當(dāng)然，可靠的團(tuán)隊(duì)建立在網(wǎng)絡(luò)和入侵檢測(cè)的堅(jiān)固基礎(chǔ)上，但他們還需要有處理大而抽象的問(wèn)題的能力?！?shù)據(jù)挖掘者需要學(xué)習(xí)統(tǒng)計(jì)和機(jī)器理論基礎(chǔ),他們還需要學(xué)習(xí)涉及計(jì)算機(jī)網(wǎng)絡(luò)的詳細(xì)的概念?！?shù)據(jù)庫(kù)開(kāi)發(fā)人員將需要高效的數(shù)據(jù)庫(kù)設(shè)計(jì)，調(diào)整性能的良好水平，以及數(shù)據(jù)的儲(chǔ)存這個(gè)團(tuán)隊(duì)將不得做很多交叉的方向的工作來(lái)提高效率。最初，安全和網(wǎng)絡(luò)的概念是必須引入和定義的。這會(huì)變得更加困難由于缺乏在這一領(lǐng)域預(yù)定義的術(shù)語(yǔ)，還會(huì)有很多的問(wèn)題。（什么是攻擊？什么是正常？什么是IDS的“報(bào)警”？什么構(gòu)成一個(gè)事件？什么是是錯(cuò)誤的報(bào)警，為什么？）6。適當(dāng)?shù)幕A(chǔ)設(shè)施的投資重大基礎(chǔ)設(shè)施是需要做這樣的工作。除此之外,從入侵檢測(cè)系統(tǒng)中的數(shù)據(jù)進(jìn)行處理，你將需要：Σ數(shù)據(jù)庫(kù)：因?yàn)槟鷮⑿枰鎯?chǔ)大量的數(shù)據(jù)，定期更新數(shù)據(jù)，復(fù)雜的查詢，并取得快速反應(yīng)，我們建議您選擇高端品質(zhì)的數(shù)據(jù)庫(kù)管理系統(tǒng)。分類是使用預(yù)先定義的類別分配的例子。機(jī)器學(xué)習(xí)軟件執(zhí)行這項(xiàng)任務(wù)，從提取或?qū)W習(xí)的例子的歧視規(guī)則正確分類的數(shù)據(jù)。分類模型可以使用各種各樣的算法。Henery[1994]分類算法分為三種類型：Σ擴(kuò)展線性歧視（例如，多層感知器，后勤歧視），

Σ決策樹(shù)和規(guī)則為基礎(chǔ)的方法（如C4.5，AQ，CART），和

Σ密度估計(jì)（樸素貝葉斯，k-近鄰，LVQ）。在這項(xiàng)工作中，我們有，到目前為止，只用決策樹(shù)，因?yàn)樗麄兒鸵砸?guī)則為基礎(chǔ)方法熟悉我們，因?yàn)樗麄冇心芰o人類可以理解的結(jié)果。很好的例子。訓(xùn)練數(shù)據(jù)的“質(zhì)量”是最重要的因素之一。取得了良好的分類性能。訓(xùn)練數(shù)據(jù)的質(zhì)量是數(shù)量的函數(shù).。例子，代表性的例子是，用來(lái)形容他們的屬性。標(biāo)簽的數(shù)據(jù)。監(jiān)督分類使用標(biāo)記的訓(xùn)練樣本，建立一個(gè)模型。標(biāo)簽通常來(lái)自人類專家（或?qū)＜遥┦謩?dòng)審查案件。在我們的分類中的應(yīng)用到入侵檢測(cè)中，我們獲得了通過(guò)建立一個(gè)標(biāo)記的例子基于Web的界面，需要一個(gè)標(biāo)簽，被分配到一個(gè)新的事件是每次構(gòu)建一個(gè)分析師。使用這種反饋，我們能夠收集12900標(biāo)記的例子七種不同等級(jí)，從2000年8月和16885的事件，為2000年9月。類。在得到很好的例子的另一個(gè)因素是有一個(gè)類的定義。它重要的是要保持一個(gè)人，在隨著時(shí)間的推移分配標(biāo)簽的一致性跨多個(gè)人。標(biāo)簽不一致可以使分類非常困難，尤其是如果相同的例子是含糊標(biāo)示。

11。執(zhí)行異常檢測(cè)入侵者的技術(shù)和本地網(wǎng)絡(luò)配置都將發(fā)生變化。盡管努力防御更新，新的攻擊可能通過(guò)防御滑，攻擊正常的網(wǎng)絡(luò)標(biāo)記或一個(gè)過(guò)濾的已知的良性的探針。異常檢測(cè)技術(shù)可以幫助人類優(yōu)先審查潛在的異常記錄。依靠目前的分類規(guī)則,不能捕捉新的攻擊。由于分類假定傳入的數(shù)據(jù),和完整的數(shù)據(jù)表和修復(fù)不一致，這些都是有益的。如果可能的話，過(guò)程應(yīng)停止，直到錯(cuò)誤被糾正。但是，在某些情況下，經(jīng)營(yíng)的能力一般不管的錯(cuò)誤，然后回滾和正確的統(tǒng)計(jì)數(shù)據(jù)和屬性在將匹配看到，在過(guò)去，分類可能是不恰當(dāng)?shù)姆椒?，尋找新的攻擊。異常檢測(cè)的大部分工作已接近從統(tǒng)計(jì)學(xué)角度查看并主要是與一個(gè)或很少的屬性關(guān)注。然而，由于網(wǎng)絡(luò)數(shù)據(jù)有許多方面，我們已經(jīng)調(diào)查使用聚類異常檢測(cè)。聚類是在許多方面的數(shù)據(jù)（屬性）中尋找未標(biāo)記的模式無(wú)監(jiān)督的機(jī)器學(xué)習(xí)技術(shù)。我們使用k-means聚類發(fā)現(xiàn)天然分組類似的報(bào)警記錄。遠(yuǎn)離這些集群中的任何記錄表明不尋常的活動(dòng)，可能是一種新的攻擊的一部分?？捎糜谌肭謾z測(cè)網(wǎng)絡(luò)數(shù)據(jù)主要是明確的（即，屬性有少數(shù)無(wú)序值）。分類數(shù)據(jù)的聚類分析方法，如[古哈等人，1999年]不是一般的商業(yè)化。對(duì)于非監(jiān)督方法大量數(shù)據(jù)中的離群檢測(cè)套欺詐或入侵檢測(cè)的目的是開(kāi)始在文獻(xiàn)中出現(xiàn)，但這些方法主要是基于有序數(shù)據(jù)?？酥Z爾和NG[1998]最近開(kāi)發(fā)出一種基于距離的聚類方法，在大型數(shù)據(jù)的離群檢測(cè)集。Ramaswarny，等。[2000]定義一個(gè)新的離群標(biāo)準(zhǔn)的基礎(chǔ)上的一個(gè)點(diǎn)的距離日其k近鄰。Breunig等人。[2000]定義，這是一個(gè)新的局部離群因子在何種程度上的數(shù)據(jù)點(diǎn)是一個(gè)離群。

12。讓你的系統(tǒng)的高效有許多實(shí)際的考慮，在建立一個(gè)有效的入侵檢測(cè)制度。其中一些來(lái)自數(shù)據(jù)挖掘的使用，但其中許多人將出現(xiàn)在任何入侵檢測(cè)系統(tǒng)：

Σ必須設(shè)計(jì)并啟用了一個(gè)中央資料庫(kù)。該庫(kù)必須允許輸入從一個(gè)潛在的大量不同的網(wǎng)絡(luò)傳感器，最好在一個(gè)單一的數(shù)據(jù)表。任何派生的數(shù)據(jù)，如數(shù)據(jù)挖掘?qū)傩?，也?yīng)存放在這個(gè)中心位置。它也必須支持創(chuàng)建和跟蹤安全事故。

Σ高效的查詢是必不可少的飼料安全分析師的日常運(yùn)作。一在查詢數(shù)據(jù)的瓶頸，將影響系統(tǒng)的其他一切。一些步驟，可以采取提高查詢的效率，包括列入數(shù)據(jù)庫(kù)的性能大師項(xiàng)目團(tuán)隊(duì)，統(tǒng)計(jì)/查詢性能趨勢(shì)分析，隨著時(shí)間的推移，消除耗時(shí)的查詢，或退休的舊數(shù)據(jù)從數(shù)據(jù)庫(kù)中。

Σ還可以提高效率，選擇適當(dāng)?shù)膶傩跃酆虾徒y(tǒng)計(jì)資料。的網(wǎng)絡(luò)活動(dòng)的人工分析，就會(huì)發(fā)現(xiàn)大量的原子網(wǎng)絡(luò)活動(dòng)分解成一個(gè)有意義的總量小得多。在MITRE，更多有用的集合體（源IP，目的端口），用于捕捉一些IP映射活動(dòng)，和（源IP，目的IP），用于捕捉端口掃描活動(dòng)。但是，任何字段或?qū)傩缘慕M合也可以被使用，造成的財(cái)富選擇。無(wú)論使用的領(lǐng)域，聚集減少下游的數(shù)據(jù)量。

Σ雖然大多數(shù)屬性和聚合用來(lái)喂一個(gè)自動(dòng)化的過(guò)程，不忘記分析師。分析師必須具備有效的工具，以抽查的自動(dòng)生成的安全事件，并通過(guò)新的傳感器原始數(shù)據(jù)手工梳或惡意活動(dòng)的復(fù)雜圖案。MITRE接口集中在一組傳感器數(shù)據(jù)庫(kù)，事件數(shù)據(jù)庫(kù)的瀏覽器預(yù)定義的查詢。有了這個(gè)工具，分析師可以創(chuàng)建新的安全事故，或更新現(xiàn)有的新地位事件信息。

Σ由于數(shù)據(jù)輸入，高容量和頻率和品種都自動(dòng)人體數(shù)據(jù)源，都會(huì)有一些進(jìn)程失敗。當(dāng)發(fā)生故障確實(shí)發(fā)生了，必須抓住條件和安全小組的通知。腳本，驗(yàn)證完整的數(shù)據(jù)表和修復(fù)不一致，都是有益的。如果可能的話，過(guò)程應(yīng)停止，直到錯(cuò)誤被糾正。但是，在某些情況下，經(jīng)營(yíng)的能力一般不管的錯(cuò)誤，然后回滾和正確的統(tǒng)計(jì)數(shù)據(jù)和屬性在球隊(duì)的方便，可能會(huì)更實(shí)用的恢復(fù)策略。

Σ調(diào)度是經(jīng)營(yíng)環(huán)境的一個(gè)重要方面。每個(gè)組織必須自行決定其的入侵檢測(cè)系統(tǒng)有多少真正需要“真實(shí)時(shí)間“。實(shí)時(shí)統(tǒng)計(jì)計(jì)算，必須在幾秒鐘內(nèi)完成，并以這種方式提供的數(shù)據(jù)量將始終是有限的。但是現(xiàn)在，每天批次在許多情況下，數(shù)據(jù)處理，可能就足夠了。13。摘要我們已經(jīng)描述了我們的經(jīng)驗(yàn)與數(shù)據(jù)挖掘集成到一個(gè)網(wǎng)絡(luò)入侵檢測(cè)能力。我們認(rèn)為，開(kāi)始這樣一個(gè)項(xiàng)目時(shí)，你應(yīng)該：

Σ仔細(xì)選擇你的要求和現(xiàn)實(shí)。

Σ組裝與廣泛，相關(guān)的功能的團(tuán)隊(duì)。

Σ在適當(dāng)?shù)幕A(chǔ)設(shè)施投資，以支持?jǐn)?shù)據(jù)收集和數(shù)據(jù)挖掘。

Σ設(shè)計(jì)，計(jì)算，并與您的數(shù)據(jù)存儲(chǔ)適當(dāng)?shù)膶傩浴?/p>

Σ過(guò)濾規(guī)則的數(shù)據(jù)量減少。

Σ細(xì)分為您的系統(tǒng)的整體架構(gòu)，考慮到雙方的自動(dòng)化加工和人力分析。

Σ使用數(shù)據(jù)挖掘技術(shù)，如分類，聚類和異常檢測(cè)，提出新的過(guò)濾規(guī)則。

Σ確保自動(dòng)數(shù)據(jù)處理，可以做到有效。

我們的具體做法，以數(shù)據(jù)挖掘的更多信息，入侵檢測(cè)可以發(fā)現(xiàn)[Skorupka等，2001]和[Bloedorn等，2001]。參考文獻(xiàn)

巴巴拉，D.N.吳，和S.Jajodia[2001]。“檢測(cè)的新型網(wǎng)絡(luò)入侵，使用貝葉斯估計(jì)的“訴訟第一SIAM詮釋。會(huì)議上的數(shù)據(jù)挖掘，SDM（2001年），伊利諾伊州芝加哥。

Bloedorn，大腸桿菌，陶，C.Skorupka，A.克里斯琴森，W.山，和J.Tivel[2001]?！皵?shù)據(jù)挖掘應(yīng)用到入侵檢測(cè)：MITRE的經(jīng)驗(yàn)，“中提出的2001年IEEE國(guó)際數(shù)據(jù)挖掘的會(huì)議。

Breunig，MM，HPKriegel，RT吳，和J·桑德[2001]?！癓OF：確定基于密度的本地離群“，2000年ACMSIGMOD國(guó)際機(jī)場(chǎng)。會(huì)議對(duì)數(shù)據(jù)的管理，達(dá)拉斯，德克薩斯州。

克利夫頓，和GGengo[2000]?！伴_(kāi)發(fā)自定義入侵檢測(cè)過(guò)濾器使用數(shù)據(jù)挖掘“，10月22-25日加利福尼亞州，洛杉磯，2000年軍事通信國(guó)際。

多明戈斯，P.和GHulten[2000]?！安傻V高速數(shù)據(jù)流”，在訴訟第六屆ACMSIGKDD會(huì)議上的知識(shí)發(fā)現(xiàn)和數(shù)據(jù)挖掘，第71-80。威廉希爾是一個(gè)高級(jí)安全和信息作戰(zhàn)的首席安全工程師在MITRE公司。自1990年希爾先生一直從事計(jì)算機(jī)網(wǎng)絡(luò)和在網(wǎng)絡(luò)編程，設(shè)計(jì)，操作和安全工作，最近在進(jìn)行漏洞分析，入侵檢測(cè)和響應(yīng)，及事故的調(diào)查的研究。加入MITRE之前，希爾先生為貝爾大西洋公司合作，為他們管理網(wǎng)絡(luò)運(yùn)營(yíng)的互聯(lián)網(wǎng)中心。希爾先生獲得佛羅里達(dá)州立大學(xué)的B.S.和喬治梅森大學(xué)的計(jì)算機(jī)科學(xué)碩士?？巳R姆Skorupka在2000年夏天加入MITRE，他作為一個(gè)領(lǐng)先的信息安全工程

科學(xué)家在Mitre的企業(yè)安全解決方案部。在加入MITRE，克萊姆為AT＆T的政府市場(chǎng)工作，在那里他充當(dāng)防火墻和并為情報(bào)界客戶進(jìn)行網(wǎng)絡(luò)管理操作?？巳R姆已經(jīng)十多年在網(wǎng)絡(luò)和UNIX系統(tǒng)管理經(jīng)驗(yàn)，支持各種政府和商業(yè)機(jī)構(gòu)。他擁有克萊姆森大學(xué)物理