09周課題：先進(jìn)入侵檢測技術(shù)2

1、課題：先進(jìn)入侵檢測技術(shù)課 時(shí) 第九周 第3、4課時(shí)2007年10月26日一、教學(xué)目的：1、掌握先進(jìn)入侵檢測算法的相關(guān)基本概念2、理解掌握先進(jìn)入侵檢測算法：數(shù)據(jù)融合、計(jì)算機(jī)免疫學(xué)、進(jìn)化計(jì)算二、教學(xué)重點(diǎn)：1、理解掌握先進(jìn)入侵檢測算法：數(shù)據(jù)融合、計(jì)算機(jī)免疫學(xué)、進(jìn)化計(jì)算三、教學(xué)難點(diǎn)：1、理解掌握先進(jìn)入侵檢測算法：數(shù)據(jù)融合、計(jì)算機(jī)免疫學(xué)、進(jìn)化計(jì)算四、教學(xué)方法：講授/操作演示法五、教學(xué)用具：科技樓404六、教學(xué)過程：一、數(shù)據(jù)融合與入侵檢測技術(shù)數(shù)據(jù)融合是一種多層次的、多方面的處理過程，這個(gè)過程是對多源數(shù)據(jù)進(jìn)行檢測、結(jié) 合、相關(guān)、估計(jì)和組合以達(dá)到精確的狀態(tài)估計(jì)和身份估計(jì)，以及完整、及時(shí)的態(tài)勢評估和威 脅估計(jì)。

2、簡而言之，數(shù)據(jù)融合的基本目的就是通過組合，可以比從任何單個(gè)輸入數(shù)據(jù)元素獲 得更多的信息。目前的入侵檢測系統(tǒng)還存在若干缺陷，首先，現(xiàn)有的實(shí)時(shí)IDS系統(tǒng)在技術(shù)上還不具備足以 檢測到由受到良好訓(xùn)練的黑客發(fā)起的復(fù)雜隱蔽的攻擊行為的能力。其次，虛假警報(bào)問題也是 一個(gè)令許多網(wǎng)絡(luò)管理員頭疼的事情。最后，來自各種來源的大量泛濫的數(shù)據(jù)、系統(tǒng)消息等常常沒有得到很好和及時(shí)的處理，非但無助于解決問題，反而浪費(fèi)和降低 了 IDS系統(tǒng)的處理能力和檢測性能。為解決上述問題，多傳感器數(shù)據(jù)融合技術(shù)提供了一條重要的技術(shù)途徑。它能夠把從多個(gè) 異質(zhì)分布式傳感器處得到的各種數(shù)據(jù)和信息綜合成為一個(gè)統(tǒng)一的處理進(jìn)程，來評估整個(gè)網(wǎng)絡(luò) 環(huán)境的安

3、全性能?；跀?shù)據(jù)融合的入侵檢測系統(tǒng)的輸入可以是從網(wǎng)絡(luò)嗅探器處得到的各種網(wǎng) 絡(luò)數(shù)據(jù)包、系統(tǒng)日志文件、SNMP信息、用戶資料信息、系統(tǒng)消息和操作命令等，甚至包括 各種“帶外”數(shù)據(jù)源等，系統(tǒng)輸出是入侵者的身份估計(jì)和位置確定、入侵者的活動(dòng)信息、危險(xiǎn) 性信息、攻擊的等級和對整個(gè)入侵行為危險(xiǎn)程度的評估等。推理類型威脅分析形勢評估入侵者行為入侵者身份入侵級別入侵存在性關(guān)于數(shù)據(jù)融合在入侵檢測領(lǐng)域內(nèi)的應(yīng)用，迄今為止還沒有太多的研究工作。T. Bass提出 了入侵檢測中數(shù)據(jù)融合的一般層次模型，如圖7-3所示，但是還沒有涉及具體的技術(shù)方法。推理層次高中圖7-3 IDS數(shù)據(jù)融合層次模型入侵檢測的數(shù)據(jù)融合技術(shù)同樣面臨著

4、若干挑戰(zhàn)，例如，如何開發(fā)通用的結(jié)構(gòu)化“元語言” 來描述入侵檢測和網(wǎng)絡(luò)管理的對象，以及對動(dòng)態(tài)網(wǎng)絡(luò)攻擊行為的檢測技術(shù)，還有將具有強(qiáng)烈 數(shù)學(xué)背景的多傳感器數(shù)據(jù)融合理論應(yīng)用到實(shí)際的IDS系統(tǒng)所面臨的若干復(fù)雜問題等。數(shù)據(jù) 融合技術(shù)在入侵檢測中的應(yīng)用還需后繼的大量研究工作，但是應(yīng)用前景非常廣闊。二、計(jì)算機(jī)免疫學(xué)與入侵檢測技術(shù)計(jì)算機(jī)免疫技術(shù)是直接受到生物免疫機(jī)制的啟發(fā)而提出的。與現(xiàn)有的計(jì)算機(jī)安全系統(tǒng)相 比較，生物免疫系統(tǒng)具備如下重要的特征：多層次保護(hù)機(jī)制。高度分布式的檢測和記憶系統(tǒng)。多樣化的個(gè)體檢測能力。識別未知異體的能力。S.Forrest等人在將計(jì)算安全與生物免疫學(xué)進(jìn)行類比研究的基礎(chǔ)上，最早提出了計(jì)算機(jī)

5、免 疫學(xué)的概念，并將其應(yīng)用在入侵檢測的研究領(lǐng)域。Forrest等人認(rèn)為，免疫系統(tǒng)最重要的任 務(wù)是如何準(zhǔn)確識別本體和異體。生物免疫系統(tǒng)使用諸如蛋白質(zhì)片斷（肽）等特征來完成本體 的識別，而計(jì)算機(jī)系統(tǒng)同樣具有多個(gè)特征可供選擇，例如，單個(gè)主機(jī)上資源訪問的模式、主 機(jī)網(wǎng)絡(luò)流量信息、用戶輸入的命令等。Forrest等人認(rèn)為主機(jī)上運(yùn)行的特權(quán)程序，在運(yùn)行過 程中產(chǎn)生的系統(tǒng)調(diào)用序列是相當(dāng)穩(wěn)定的，可以使用這些系統(tǒng)調(diào)用序列來識別特權(quán)程序的“本 體”，他們在此前提假設(shè)下進(jìn)行了實(shí)驗(yàn)工作。Forrest等人在實(shí)驗(yàn)工作中，確定使用系統(tǒng)調(diào)用的短序列為入侵檢測系統(tǒng)的輸入數(shù)據(jù)源， 其中僅考慮系統(tǒng)調(diào)用序列中的時(shí)間順序，而忽略掉系統(tǒng)

6、調(diào)用的參數(shù)信息。在實(shí)際檢測工作中， 首先建立了反映某個(gè)特權(quán)程序（Sendmail、wftpd或者lpr）正常系統(tǒng)調(diào)用序列情況的數(shù)據(jù)庫， 然后收集特權(quán)程序在實(shí)際運(yùn)行中所產(chǎn)生的系統(tǒng)調(diào)用序列，并與數(shù)據(jù)庫中的正常序列信息進(jìn)行 比較，如果偏離了正常情況，則認(rèn)為該特權(quán)程序的運(yùn)行出現(xiàn)了異常。具體的，F(xiàn)orrest提出了短序列匹配算法，原理如下。假設(shè)觀察到如下的系統(tǒng)調(diào)用序列數(shù)據(jù)：openreadmmap mmapopenread mmap那么，使用長度為 k 的時(shí)間 窗口對系統(tǒng)調(diào) 用序列進(jìn)行分割處理，得到如下多個(gè)長度為3的系統(tǒng)調(diào)用短序列：openreadmmapread mmap mmapmmap mmapo

7、penmmapopenreadopenreadmmap實(shí)際檢測過程中，首先對于訓(xùn)練數(shù)據(jù)樣本集所包含的系統(tǒng)調(diào)用序列，采用長度為k的時(shí) 間窗口進(jìn)行分割處理，形成對應(yīng)正常系統(tǒng)調(diào)用模式的短序列集合。之后，這些正常調(diào)用模式 的序列信息按照一定結(jié)構(gòu)被存放到數(shù)據(jù)庫中。然后，在特權(quán)程序?qū)嶋H運(yùn)行期間，收集所產(chǎn)生 的系統(tǒng)調(diào)用序列，同樣采用長度為k的時(shí)間窗口進(jìn)行劃分，對于分割得到的每個(gè)短序列，在 正常調(diào)用模式數(shù)據(jù)庫中進(jìn)行匹配，從而可以計(jì)算出所有不匹配的短序列數(shù)目占全部數(shù)目的百 分比。之后，設(shè)置一個(gè)經(jīng)驗(yàn)檢測閾值（例如，2%），就可以獲得最后的檢測結(jié)果。對于時(shí)間窗口大小k的選擇，F(xiàn)orrest只是根據(jù)經(jīng)驗(yàn)，選擇了 k=

8、6。如何確定最佳的k值， 目前并沒有提出具體的方法。后繼的研究工作提出了更加復(fù)雜的數(shù)據(jù)建模技術(shù)，例如采用隱 性馬爾可夫過程等，但是，比較簡單的短序列匹配算法而言，性能并沒有很大的提高。Forrest開展的計(jì)算機(jī)免疫學(xué)在入侵檢測中的應(yīng)用工作，其重點(diǎn)放在了對特權(quán)程序本體 特征的識別上。對于其他不涉及特權(quán)程序異常使用的入侵行為，則需要進(jìn)行進(jìn)一步的應(yīng)用研 究工作。Forrest工作的最大意義在于從一個(gè)全新的視覺來看待計(jì)算機(jī)安全問題，并提供了 成功的初期應(yīng)用例子。三、進(jìn)化計(jì)算與入侵檢測技術(shù)對生物進(jìn)化過程的仿生學(xué)研究工作，促進(jìn)了進(jìn)化計(jì)算（evolutionary computation）技術(shù) 領(lǐng)域的發(fā)展。

9、進(jìn)化計(jì)算技術(shù)在本質(zhì)上屬于一種模仿某些自然規(guī)則的全局優(yōu)化算法，其思想起 源可以追溯到達(dá)爾文的“進(jìn)化論”思想，包括自然選擇和適者生存的觀點(diǎn)。進(jìn)化計(jì)算的主要算 法包括以下5種類型：遺傳算法（GA）、進(jìn)化規(guī)劃（EP）、進(jìn)化策略（ES）、分類器系統(tǒng)（CFS）和遺傳規(guī)劃（GP）。這些進(jìn)化算法通常都維護(hù)一組對象的群體，這些對象按照一定的選擇規(guī)則和遺傳算子（例如， 重組、變異、交叉互換）不斷進(jìn)行進(jìn)化演變。群體中的每個(gè)對象個(gè)體都具有一個(gè)反映其本身 與所處環(huán)境之間適應(yīng)性的度量值。遺傳算子中的復(fù)制操作主要應(yīng)用于那些具備較高適應(yīng)性的 個(gè)體，以發(fā)掘個(gè)體中蘊(yùn)藏的適應(yīng)性特征；而重組和變異等操作，則用于對個(gè)體特征進(jìn)行適當(dāng) 的

10、擾動(dòng)，以進(jìn)行啟發(fā)性的適應(yīng)性搜索過程。此點(diǎn)類似于生物進(jìn)化中保留對生存有利的基因以 及進(jìn)行基因突變以更好適應(yīng)環(huán)境的過程。上述5種進(jìn)化算法從理論上講，都可以應(yīng)用在入侵檢測中，但是目前主要是對遺傳算法 和遺傳規(guī)劃的應(yīng)用進(jìn)行了研究工作。二者之間的主要區(qū)別在于：遺傳算法中構(gòu)成群體的對 象個(gè)體主要是具有固定長度的字符串或者是比特組（用來模擬染色體片斷），而遺傳規(guī)劃中 群體的構(gòu)成個(gè)體通常是可供執(zhí)行的程序（用來解決特定的問題）。遺傳算法在入侵檢測中的應(yīng)用，通常分為以下步驟來完成：首先，使用一組字符串或 者比特組對可能出現(xiàn)的檢測結(jié)果進(jìn)行編碼；然后，采用定義好的最適應(yīng)性函數(shù)，對所有的字 符串或者比特組個(gè)體進(jìn)行測試，

11、找出最優(yōu)個(gè)體，并對所有的個(gè)體執(zhí)行重組、變異和復(fù)制等操 作，不斷產(chǎn)生新的字符串個(gè)體；之后，不斷重復(fù)上述的測試、選擇、重組或變異等操作步驟， 直到獲得滿意的結(jié)果。以Superlec和Ludovic Me開發(fā)的GASSATA系統(tǒng)為例，該系統(tǒng)采用了基于遺傳算法的 檢測技術(shù)，通過一組向量表示形式，使用遺傳算法對系統(tǒng)事件流進(jìn)行分類檢測。每個(gè)系統(tǒng)事 件數(shù)據(jù)流用一個(gè)n維的向量H來表示其所處的狀態(tài)情況，其中n代表當(dāng)前所知的攻擊類型 的總數(shù)，而向量H中各個(gè)分量的取值代表當(dāng)前事件流中是否發(fā)生了特定類型的攻擊活動(dòng)。 然后，系統(tǒng)應(yīng)用所定義的最適應(yīng)性函數(shù)，對最初假定的各個(gè)向量（比特組）進(jìn)行測試，并根 據(jù)測試結(jié)果，對每個(gè)向

12、量進(jìn)行遺傳算子操作（重組、復(fù)制和變異），其中包括對不符合實(shí)際 的分量值進(jìn)行修改等。最后，經(jīng)過若干次的循環(huán)過程，達(dá)到一個(gè)比較穩(wěn)定的結(jié)果。遺傳規(guī)劃的主要任務(wù)是提供能夠自動(dòng)生成可用于解決問題的計(jì)算機(jī)程序的技術(shù)方法。應(yīng) 用遺傳規(guī)劃來解決問題的一般步驟如下：生成初始的包含多個(gè)計(jì)算機(jī)程序的群體，其中每個(gè)程序個(gè)體都包括函數(shù)和變量集合 的隨機(jī)組合。執(zhí)行群體中的每個(gè)程序個(gè)體，然后根據(jù)它們解決問題的性能，賦予每個(gè)個(gè)體一個(gè)適 應(yīng)性度量值。通過執(zhí)行遺傳算子操作（復(fù)制、變異和交叉交換），創(chuàng)建一個(gè)新的程序個(gè)體群體。選擇群體中的一個(gè)或多個(gè)最佳程序個(gè)體作為解決問題的方法。在異常入侵檢測技術(shù)中，通常需要具備對用戶行為的學(xué)習(xí)能力

13、，而遺傳規(guī)劃的應(yīng)用主要 集中在提供學(xué)習(xí)能力這一點(diǎn)上。Crosbie和Spafford在1995年提出早期基于代理的入侵檢測 架構(gòu)時(shí)，對遺傳規(guī)劃在構(gòu)造代理程序中的應(yīng)用情況提供了一個(gè)基本架構(gòu)，如圖7-4所示。圖7-4基于遺傳規(guī)劃的IDS架構(gòu)(引自Crosbie等人文獻(xiàn))在圖7-4的基本架構(gòu)中，每個(gè)代理代表程序個(gè)體，負(fù)責(zé)執(zhí)行特定的檢測任務(wù)。代理程序 的編程語言為了方便遺傳規(guī)劃算法的應(yīng)用，采用了類似LISP的語言。解析器(evaluator) 負(fù)責(zé)解釋執(zhí)行代理程序，實(shí)際上每個(gè)代理程序都是經(jīng)過遺傳規(guī)劃算法而獲得的較優(yōu)個(gè)體。系 統(tǒng)抽象層負(fù)責(zé)提取審計(jì)記錄中的字段信息，并計(jì)算出系統(tǒng)所需的審計(jì)信息。下面介紹如何

14、應(yīng)用遺傳規(guī)劃算法來選擇恰當(dāng)?shù)拇沓绦騻€(gè)體?；镜牟襟E與前述的一般 步驟相同，關(guān)鍵在于如何確定每個(gè)程序個(gè)體適應(yīng)性度量值的大小。首先，對于某個(gè)用于訓(xùn)練 的審計(jì)數(shù)據(jù)，每個(gè)代理程序都計(jì)算出檢測結(jié)果，判斷是否可疑，并給出相關(guān)的可疑度。計(jì)算 出的可疑度與期望輸出值的絕對值差定義為：6 = I outcome - suspicion!接著，計(jì)算出對應(yīng)的性能衰減值penalty如下：penalty = (6 *ranking)/100)其中ranking代表每個(gè)訓(xùn)練樣本按照重要程度劃分的預(yù)定級別。最后，給出適應(yīng)性度量值的 計(jì)算公式：fitness = (100- 6 )-penalty)如果計(jì)算得到較高的適應(yīng)性度量值，則代表對應(yīng)的代理個(gè)體具備較強(qiáng)的檢測能力。 在實(shí)際應(yīng)用遺傳規(guī)劃的工作中，對于給定的訓(xùn)練數(shù)據(jù)集，要對候選的多個(gè)代理個(gè)體進(jìn)行多次 的訓(xùn)練。在每次的訓(xùn)練過程中，訓(xùn)練數(shù)據(jù)和期望輸出值都要進(jìn)