（計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)論文）基于數(shù)據(jù)挖掘的分布式入侵檢測(cè)系統(tǒng).pdf

摘要 入侵檢測(cè)在計(jì)算機(jī)安全系統(tǒng)中發(fā)揮著越來(lái)越重要的作用，目前入侵檢測(cè)使用 的規(guī)則庫(kù)還是主要依賴于專家分析提取，由于入侵檢測(cè)系統(tǒng)中數(shù)據(jù)量很大，使用 人工分析的代價(jià)是昂貴的。用數(shù)據(jù)挖掘技術(shù)分析網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行入侵檢測(cè)，可以有 效的減少人工分析的工作量，但數(shù)據(jù)挖掘技術(shù)應(yīng)用到入侵檢測(cè)中存在著一些問(wèn) 題，特別是挖掘效率的問(wèn)題，該文通過(guò)改進(jìn)系統(tǒng)結(jié)構(gòu)和數(shù)據(jù)挖掘的算法來(lái)提高系 統(tǒng)的性能。 本文對(duì)入侵檢測(cè)技術(shù)進(jìn)行了分析和研究，提出了一個(gè)基于數(shù)據(jù)挖掘和a g e n t 的分布式入侵檢測(cè)模型，并在此模型的基礎(chǔ)上實(shí)現(xiàn)了一個(gè)基于數(shù)據(jù)挖掘和a g e n t 的分布式入侵檢測(cè)系統(tǒng)。該系統(tǒng)可以分布在網(wǎng)絡(luò)中任意數(shù)目的主機(jī)上，其分布式 體系結(jié)構(gòu)和靈活的代理體系，使得系統(tǒng)具有很強(qiáng)的分布性和擴(kuò)展性，其實(shí)時(shí)的學(xué) 習(xí)功能增強(qiáng)了入侵檢測(cè)系統(tǒng)的檢測(cè)能力。 基于數(shù)據(jù)挖掘和a g e n t 的分布式入侵檢測(cè)模型的代理體系主要由通信代理、 數(shù)據(jù)挖掘代理、入侵檢測(cè)代理組成，代理之間各自獨(dú)立又相互協(xié)作，合作完成入 侵檢測(cè)的任務(wù)。代理體系的引入，將基于主機(jī)的入侵檢測(cè)和基于網(wǎng)絡(luò)的入侵檢測(cè) 靈活地融為一體，形成一個(gè)統(tǒng)一的入侵檢測(cè)系統(tǒng)。數(shù)據(jù)挖掘技術(shù)的引入，使入侵 檢測(cè)系統(tǒng)有了自學(xué)習(xí)能力，這使系統(tǒng)能自己從本機(jī)日志或網(wǎng)絡(luò)上的數(shù)據(jù)中學(xué)習(xí)并 提取特征值，通過(guò)分析不斷擴(kuò)充自己的規(guī)則庫(kù)，不斷提高檢測(cè)入侵的能力。 本文實(shí)現(xiàn)了基于數(shù)據(jù)挖掘和a g e n t 的分布式入侵檢測(cè)系統(tǒng)的具體功能，本文 后面章節(jié)對(duì)引用的數(shù)據(jù)挖掘的聚類算法和關(guān)聯(lián)規(guī)則進(jìn)行了詳細(xì)的分析，并通過(guò)數(shù) 據(jù)實(shí)驗(yàn)證明其可行性，系統(tǒng)可以運(yùn)行在u n i x l i n u x 主機(jī)上，經(jīng)測(cè)試證明是一個(gè) 可行而且先進(jìn)的入侵檢測(cè)系統(tǒng)。 關(guān)鍵詞入侵檢測(cè)；數(shù)據(jù)挖掘；聚類分析；關(guān)聯(lián)規(guī)則；分布式代理； 北京工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 a b s tr a c t i n t r u s i o nd e t e c t i o np l a y sam o r ea n dm o r ei m p o r t a n tr o l ei nc o m p u t e r s e c u r i t y i nc o n v e n t i o n a l w a y ，e x p e r t sa n a l y z e d a t ac o l l e c t e d b y i n t r u s i o nd e t e c t i o ns y s t e ma n da b s t r a c t r u l es e t s m a n u a la n a l y s i si s q u i t ee x p e r t s ：i v eb e c a u s eo fe n o r m o u sa m o u n to fd a t a a p p l y i n gd a t am i n i n g t e c h n i q u ei ni n t r u s i o nd e t e c t i o nc a nr e d u c ew o r k l o a do fm a n u a la n a l y s i s h o w e v e rd a t am i n i n gt e c h n i q u ea l s oh a ss o m ep r o b l e m s ，s u c ha se f f i c i e n c y a n da c c u r a c y t h i sa r t i c l ep r o p o s e ss y s t e ma r c h i t e c t u r ea n dd a t a m i n i n g a l g o r i t h mt oe n h a n c et h ee f f i c i e n c yo fd a t a m i n i n gi n t r u s i o nd e t e c t i o n s y s t e m i n t r u s i o nd e t e c t i o nt e c h n o l o g yi s a n a l y z e da n de x p l o r e di nt h i s t h e s i s ，a n dad a t a m i n i n ga n da g e n t b a s e dd i s t r i b u t e di n t r u s i o nd e t e c t i o n m o d e li sp r e s e n t e di nt h i st h e s i s b a s e do nt h i sm o d e l ，ad a t a m i n i n ga n d a g e n t b a s e dd i s t r i b u t e d i n t r u s i o nd e t e c t i o ns y s t e mc a l l e dd ad i d si s d e v e l o p e d d ad i d sc a nb ed i s t r i b u t e do na n yh o s ti nt h en e t w o r k d ad i d s h a sg o o dd i s t r i b u t e da n ds c a l a b l e a b i l i t yb e c a u s e o fi t sd i s t r i b u t e d a r c h i t e c t u r ea n df l e x i b l e a g e n ts y s t e m d ad i d s sr e a l - t i m es t u d y a b i l i t yc a ne n h a n c et h es y s t e m sd e t e c t i o ne f f e c t t h ea g e n ts y s t e mo fd ad i d sc o n s i s t so ft h r e em a i n m o d u l e s ：t r a n s p o r t s e r v i c ea g e n t ，d a t a m i n i n ga g e n t ，i n t r u s i o nd e t e c t i o na g e n t e v e r ya g e n t w o r k si n d e p e n d e n t l ya n dt o g e t h e rt oa c c o m p l i s hi n t r u s i o nd e t e c t i o n d u e t ot h e a g e n ts y s t e m ，d a _ d i d s c o m e si n t o b e i n g au n i f o r mi n t r u s i o n d e t e c t i o n s y s t e m t h a ti s c o m p e t e n t f o r t h et a s k o fh o s t b a s e da n d n e t w o r k b a s e di n t r u s i o nd e t e c t i o n t h ei n t r o d u c t i o no ft h ed a t a m i n i n g t e c h n i q u eg i v e st h es t u d ya b i l i t yt oi n t r u s i o nd e t e c t i o ns y s t e m ，t h i s a b i l i t ym a k e st h es y s t e mt os t u d ya n de x t r a c te i g e n v a l u e sf r o ml o g so f t h eh o s to rf r o mt h en e t w o r k ，t h e ne n l a r g ed ad i d s sr u led a t a b a s e ，t h e a b i l i t yt od e t e c ti n t r u s i o nc a nb ee n f o r c e dc e a s e l e s s l y i nt h i st h e s i s ，w e i m p l e m e n tt h ec o n c r e t ef u n c t i o n so fd ad i d s ， c l u s t e r i n ga l g o r i t h m o f d a t a m i n i n g i s a n a l y z e d d e t a i l e d l y i nt h e p o s t e r i o rc h a p t e r sa n di sp r o v e df e a s i b l et h r o u g ht h ee x p e r i m e n t a t i o n d a d i d sh a sb ei m p l e m e n t e da n dr u no nu n i x l i n u xs y s t e m i ts h o w st h a t t h i si sa na d v a n c e di n t r u s i o nd e t e c t i o ns y s t e m k e y w o r d s i n t r u s i o n d e t e c t i o n ； a s s o c i a t i o nr u l e s ： d a t a m i n i n g ； c l u s t e r a n a l y s i s ； d i s t r i b u t e da g e n t ； 獨(dú)創(chuàng)性聲明 本人聲明所呈交的論文是我個(gè)人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研 究成果。盡我所知，除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他 人已經(jīng)發(fā)表或撰寫過(guò)的研究成果，也不包含為獲得北京工業(yè)大學(xué)或其它教育機(jī)構(gòu) 的學(xué)位或證書而使用過(guò)的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均 已在論文中作了明確的說(shuō)明并表示了謝意。 簽名閂期：凈多，孑 關(guān)于論文使用授權(quán)的說(shuō)明 本人完全了解北京工業(yè)大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，即：學(xué)校有權(quán) 保留送交論文的復(fù)印件，允許論文被查閱和借閱：學(xué)?？梢怨颊撐牡娜炕虿?分內(nèi)容，可以采用影印、縮印或其他復(fù)制手段保存論文。 ( 保密的論文在解密后應(yīng)遵守此規(guī)定) 躲超虹翩魏赳j jf 魄竺絲少 1 1 課題背景 第1 章緒論 在計(jì)算機(jī)網(wǎng)絡(luò)中，單純憑借各種密碼學(xué)的方法無(wú)法達(dá)到好的安全效果，入侵 檢測(cè)越來(lái)越顯示出它的重要性。隨著互聯(lián)網(wǎng)在我國(guó)的普及和網(wǎng)絡(luò)應(yīng)用的深入，各 級(jí)政府部門，教育和科研機(jī)構(gòu)，企事業(yè)單位，乃至個(gè)人組織都相繼推出了計(jì)算機(jī) 網(wǎng)絡(luò)服務(wù)，從根本上改變了人們的生活和工作方式。人們?cè)谔峁┚W(wǎng)絡(luò)服務(wù)、參與 網(wǎng)絡(luò)活動(dòng)的同時(shí)，往往只看到其便利、有益的一面，而降低了警惕性，忽視了潛 在于網(wǎng)絡(luò)中的安全問(wèn)題。以往的教訓(xùn)表明，如果對(duì)網(wǎng)絡(luò)安全問(wèn)題掉以輕心，互聯(lián) 網(wǎng)絡(luò)也可能會(huì)使服務(wù)提供者的形象嚴(yán)重受損，帶來(lái)重大經(jīng)濟(jì)損失，甚至造成惡劣 的社會(huì)影響?；ヂ?lián)網(wǎng)具有天然的開(kāi)放性和協(xié)議的簡(jiǎn)便性，它在展示其無(wú)所不能的 強(qiáng)大威力的同時(shí)，也不可避免地伴隨了大量的安全隱患。網(wǎng)絡(luò)結(jié)構(gòu)組織各方面的 缺陷，系統(tǒng)與應(yīng)用軟件的漏洞，以及網(wǎng)絡(luò)管理員的水平低下和疏忽大意，都可能 使網(wǎng)絡(luò)攻擊者有機(jī)可乘：惡意的入侵者干擾正常業(yè)務(wù)，銷毀或篡改重要數(shù)據(jù)，甚 至使更多的服務(wù)器失去控制，造成一系列嚴(yán)重后果。 人們?cè)诘靡嬗谛畔⒏锩鶐?lái)的新的巨大機(jī)遇的同時(shí)，也不得不面對(duì)信息安 全問(wèn)題的嚴(yán)峻考驗(yàn)。伴隨著對(duì)網(wǎng)絡(luò)技術(shù)的推進(jìn)，網(wǎng)絡(luò)攻防的戰(zhàn)斗也越演越烈。網(wǎng) 絡(luò)安全已經(jīng)引起各國(guó)、各部門、各行各業(yè)的高度重視，在網(wǎng)絡(luò)中引入安全防范機(jī) 制已經(jīng)成為人們的共識(shí)。防范網(wǎng)絡(luò)攻擊，最常用的對(duì)策是構(gòu)建防火墻。防火墻是 一種應(yīng)用層網(wǎng)關(guān)，按照設(shè)定的規(guī)則對(duì)進(jìn)入網(wǎng)絡(luò)的i p 分組進(jìn)行過(guò)濾，同時(shí)也能針 對(duì)各種網(wǎng)絡(luò)應(yīng)用提供相應(yīng)的安全服務(wù)。利用防火墻技術(shù)，經(jīng)過(guò)仔細(xì)的配置，通常 能在內(nèi)外網(wǎng)之間實(shí)施安全的網(wǎng)絡(luò)保護(hù)機(jī)制，降低風(fēng)險(xiǎn)。但僅僅使用防火墻保障網(wǎng) 絡(luò)安全是遠(yuǎn)遠(yuǎn)不夠的，因?yàn)槿肭终邥?huì)想方設(shè)法尋找防火墻背后可能敞開(kāi)的通道。 另一方面，防火墻在阻止內(nèi)部襲擊等方面也收效甚微，對(duì)于企業(yè)內(nèi)部心懷不滿而 又技術(shù)高超的員工來(lái)說(shuō)，防火墻形同虛設(shè)。而且，由于性能的限制，防火墻通常 不能提供有效的入侵檢測(cè)能力。因此，認(rèn)為在i n t e r n e t 入口處部署防火墻系統(tǒng) 就足夠安全的想法是不切實(shí)際的。 能否成功阻止網(wǎng)絡(luò)黑客的入侵，保障計(jì)算機(jī)和網(wǎng)絡(luò)系統(tǒng)的安全和正常運(yùn)行， 已經(jīng)成為各機(jī)構(gòu)和單位能否正常運(yùn)作的關(guān)鍵性問(wèn)題。入侵檢測(cè)系統(tǒng)i d s 是近年出 現(xiàn)的新型網(wǎng)絡(luò)安全技術(shù)，是一套軟件和硬件的結(jié)合體。i d s 能彌補(bǔ)防火墻的不足， 為受保護(hù)網(wǎng)絡(luò)提供有效的入侵檢測(cè)及采取相應(yīng)的防護(hù)手段；入侵檢測(cè)是一個(gè)全新 的、迅速發(fā)展的領(lǐng)域，并且已成為網(wǎng)絡(luò)安全中極為重要的一個(gè)課題；入侵檢測(cè)的 方法和產(chǎn)品也在不斷的研究和開(kāi)發(fā)之中，并且已經(jīng)在網(wǎng)絡(luò)攻防實(shí)例中初步展現(xiàn)出 其重要價(jià)值。 隨著網(wǎng)絡(luò)信息的快速增長(zhǎng)和存儲(chǔ)信息的無(wú)限擴(kuò)大，怎樣對(duì)網(wǎng)絡(luò)進(jìn)行監(jiān)控，將 面臨相當(dāng)大的困難。雖然我們擁有更為高性能的計(jì)算機(jī)，但這遠(yuǎn)遠(yuǎn)趕不上所要分 析的網(wǎng)絡(luò)數(shù)據(jù)的要求。同時(shí)如何實(shí)時(shí)地分析和處理網(wǎng)絡(luò)信息，將是我們所面臨的 一大挑戰(zhàn)。下一代的網(wǎng)絡(luò)入侵檢測(cè)技術(shù)將致力于開(kāi)創(chuàng)新的技術(shù)，讓入侵檢測(cè)系統(tǒng) 能適應(yīng)高帶寬和高負(fù)荷的網(wǎng)絡(luò)環(huán)境，支持最新的計(jì)算機(jī)網(wǎng)絡(luò)協(xié)議，并有自我學(xué)習(xí) 的能力。這其中應(yīng)用比較突出的是數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)( k n o w l e d g ed i s c o v e r y a n dd a t am i n i n g ，d m i ( d ) 技術(shù)，該技術(shù)的研究正蓬勃發(fā)展，越來(lái)越顯示出其強(qiáng) 大的生命。 1 2 數(shù)據(jù)挖掘技術(shù) 數(shù)據(jù)庫(kù)技術(shù)的成熟和數(shù)據(jù)應(yīng)用的普及使得人類積累的數(shù)據(jù)量正在以指數(shù)速 度增長(zhǎng)。數(shù)據(jù)洪水正向人們滾滾涌來(lái)。例如，在超級(jí)市場(chǎng)通過(guò)條型碼掃描，把每 一筆商品交易輸入數(shù)據(jù)庫(kù)，一個(gè)中型超市經(jīng)營(yíng)的商品就數(shù)萬(wàn)種。如此大量的數(shù)據(jù) 在傳統(tǒng)的數(shù)據(jù)庫(kù)中并不能很好地回答經(jīng)理關(guān)心的問(wèn)題：商品在不同季節(jié)或一天的 不同時(shí)間的銷售量有何變化規(guī)律? 商品a 的銷售量的增加是否會(huì)同時(shí)帶動(dòng)商品b 的銷售? 如何調(diào)整商品的資金占用，以達(dá)到最佳的資源配置? 各種商品的銷售之 間是否存在一定的關(guān)聯(lián)關(guān)系? 大量信息在給人們帶來(lái)方便的同時(shí)也帶來(lái)了一大堆問(wèn)題：第一是信息過(guò)量， 難以消化；第二是信息真假難以辨識(shí)；第三是信息安全難以保證；第四是信息形 式不一致；難以統(tǒng)一處理。人們開(kāi)始提出一個(gè)新的口號(hào)：“要學(xué)會(huì)拋棄信息”，并 且開(kāi)始考慮如何才能不被信息淹沒(méi)，而是從中及時(shí)發(fā)現(xiàn)有用的知識(shí)、提高信息利 用率。 另一方面，隨著大量的大規(guī)模的數(shù)據(jù)庫(kù)迅速不斷地增長(zhǎng)，人們對(duì)數(shù)據(jù)庫(kù)的應(yīng) 用己不滿足于僅對(duì)數(shù)據(jù)庫(kù)進(jìn)行查詢和檢索，僅用查詢檢索不能幫助用戶從數(shù)據(jù)中 提取帶有結(jié)論性的有用信息。這樣數(shù)據(jù)庫(kù)中蘊(yùn)藏的豐富知識(shí)，就得不到充分的發(fā) 掘和利用，從而造成了信息的浪費(fèi)，由此也會(huì)產(chǎn)生大量的數(shù)據(jù)垃圾。從人工智能 應(yīng)用來(lái)看，專家系統(tǒng)的研究雖然取得了一定的進(jìn)展。但是，知識(shí)獲取仍然是專家 系統(tǒng)研究中的瓶頸。知識(shí)工程師從領(lǐng)域?qū)＜姨帿@取知識(shí)是非常復(fù)雜的個(gè)人到個(gè)人 之間的交互過(guò)程，具有很強(qiáng)的個(gè)性，沒(méi)有統(tǒng)一的辦法。因此有必要考慮從數(shù)據(jù)庫(kù) 中自動(dòng)挖掘新的知識(shí)。面對(duì)這一挑戰(zhàn)，數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)( k n o w l e d g e d i s c o v e r yd a t a b a s e ，k d d ) 技術(shù)應(yīng)運(yùn)而生，并顯示出強(qiáng)大的生命力。k d d 的核心 是數(shù)據(jù)挖掘( d a t am i n i n g ) 。1 技術(shù)，實(shí)際的使用中人們往往不嚴(yán)格區(qū)分?jǐn)?shù)據(jù)挖掘 和數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)，把兩者混淆使用。一般在科研領(lǐng)域中稱為k d d ，而在， 工程領(lǐng)域則稱為數(shù)據(jù)挖掘。 數(shù)據(jù)挖掘技術(shù)出現(xiàn)于2 0 世紀(jì)8 0 年代后期，9 0 年代有了突飛猛進(jìn)的發(fā)展。 數(shù)據(jù)挖掘技術(shù)是人們長(zhǎng)期對(duì)數(shù)據(jù)庫(kù)技術(shù)進(jìn)行研究和開(kāi)發(fā)的結(jié)果。起初各種商業(yè)數(shù) 據(jù)是存儲(chǔ)在計(jì)算機(jī)的數(shù)據(jù)庫(kù)中的，然后發(fā)展到可對(duì)數(shù)據(jù)庫(kù)進(jìn)行查詢和訪問(wèn)，進(jìn)而 發(fā)展到對(duì)數(shù)據(jù)庫(kù)的即時(shí)遍歷。數(shù)據(jù)挖掘使數(shù)據(jù)庫(kù)技術(shù)進(jìn)入了一個(gè)更高級(jí)的階段， 它不僅能對(duì)過(guò)去的數(shù)據(jù)進(jìn)行查詢和遍歷，并且能夠找出過(guò)去數(shù)據(jù)之間的潛在聯(lián) 系，從而促進(jìn)信息的傳遞。現(xiàn)在數(shù)據(jù)挖掘技術(shù)在商業(yè)應(yīng)用中已經(jīng)可以馬上投入使 用，因?yàn)閷?duì)這種技術(shù)進(jìn)行支持的三種基礎(chǔ)技術(shù)已經(jīng)發(fā)展成熟，他們是： 海量數(shù)據(jù)搜集 強(qiáng)大的多處理器計(jì)算機(jī) 數(shù)據(jù)挖掘算法 數(shù)據(jù)挖掘的核心模塊技術(shù)歷經(jīng)了數(shù)十年的發(fā)展，其中包括數(shù)理統(tǒng)計(jì)、人工智 能、機(jī)器學(xué)習(xí)。1 。今天，這些成熟的技術(shù)，加上高性能的關(guān)系數(shù)據(jù)庫(kù)引擎以及廣 泛的數(shù)據(jù)集成讓數(shù)據(jù)挖掘技術(shù)在當(dāng)前的數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中進(jìn)入了實(shí)用的階段。 數(shù)據(jù)挖掘技術(shù)從一開(kāi)始就是面向應(yīng)用的。它不僅是面向特定數(shù)據(jù)庫(kù)的簡(jiǎn)單檢 索查詢調(diào)用，而且要對(duì)這些數(shù)據(jù)進(jìn)行微觀、中觀乃至宏觀的統(tǒng)計(jì)、分析、綜合和 推理，以指導(dǎo)實(shí)際問(wèn)題的求解，企圖發(fā)現(xiàn)事件間的相互關(guān)聯(lián)，甚至利用已有的數(shù) 2 第1 章緒論 據(jù)對(duì)未來(lái)的活動(dòng)進(jìn)行預(yù)測(cè)。例如加拿大b c 省電話公司要求加拿大s i m o n f r a s e r 大學(xué)k d d 研究組，根據(jù)其擁有十多年的客戶數(shù)據(jù)，總結(jié)、分析并提出新的電話收 費(fèi)和管理辦法，制定既有利于公司又有利于客戶的優(yōu)惠政策。美國(guó)著名國(guó)家籃球 隊(duì)n b a 的教練，利用i b m 公司提供的數(shù)據(jù)挖掘技術(shù)，臨場(chǎng)決定替換隊(duì)員，一度在 數(shù)據(jù)庫(kù)界被傳為佳話。這樣一來(lái)，就把人們對(duì)數(shù)據(jù)的應(yīng)用，從低層次的末端查詢 操作，提高到為各級(jí)經(jīng)營(yíng)決策者提供決策支持。這種需求驅(qū)動(dòng)力，比數(shù)據(jù)庫(kù)查詢 更為強(qiáng)大。同時(shí)需要指出的是，這里所說(shuō)的知識(shí)發(fā)現(xiàn)，不是要求發(fā)現(xiàn)放之四海而 皆準(zhǔn)的真理，也不是要去發(fā)現(xiàn)嶄新的自然科學(xué)定理和純數(shù)學(xué)公式，更不是什么機(jī) 器定理證明。所有發(fā)現(xiàn)的知識(shí)都是相對(duì)的，是有特定前提和約束條件、面向特定 領(lǐng)域的，同時(shí)還要能夠易于被用戶理解，最好能用自然語(yǔ)言表達(dá)發(fā)現(xiàn)結(jié)果。因此 d m k d 的研究成果很講求實(shí)際。 1 3 國(guó)內(nèi)外發(fā)展現(xiàn)狀 根據(jù)調(diào)查結(jié)果，將數(shù)據(jù)挖掘應(yīng)用于入侵檢測(cè)己經(jīng)成為一個(gè)研究熱點(diǎn)，在這個(gè) 領(lǐng)域已經(jīng)有了很多篇論文。但是真正實(shí)現(xiàn)這樣一套系統(tǒng)的還不多見(jiàn)，主要是 c o l u m b i au n i v e r s i t y 的w e n k el e e 研究組和u n i v e r s i t yo fn e wm e x i c o ( u n m ) 的s t e p h a n i ef o r r e s t 研究組。國(guó)內(nèi)這方面的研究則剛剛起步，中國(guó)科學(xué)院的國(guó) 家信息安全重點(diǎn)實(shí)驗(yàn)室、東北大學(xué)國(guó)家軟件工程研究中心等走在前列。 1 、w e n k el e e 研究組 c o l u m b i au n i v e r s i t y 的w e n k el e e 研究組“2 “2 “”“”3 在1 9 9 8 年參加了 由美國(guó)國(guó)防部高級(jí)研究計(jì)劃署( d a r p a ) 資助的i n t r u s i o nd e t e c t i o ne v a l u a t i o n 計(jì)劃，這次測(cè)試由m i t 的l i n c o l n 實(shí)驗(yàn)室提供了模擬軍事網(wǎng)絡(luò)環(huán)境中所記錄的7 周的網(wǎng)絡(luò)流和主機(jī)系統(tǒng)調(diào)用記錄日志，這些數(shù)據(jù)全部采用t c p d u m p 和s o l a r i sb s m a u d i td a t a 的格式，包括了大約5 0 0 萬(wàn)次會(huì)話，其中包含上百種攻擊這些攻擊 分為下面4 種主要類型： 1 、拒絕服務(wù)攻擊( d o s ) ，如p i n go fd e a t h ，t e a r d r o p ，s m u r f ，s y nf l o o d 等等； 2 、遠(yuǎn)程攻擊( r 2 l ) ，如基于字典的口令猜測(cè)； 3 、本地用戶非法提升權(quán)限的攻擊( u 2 r ) ，如各種各樣的緩沖區(qū)溢出攻擊； 4 、掃描( p r o b i n g ) ，包括端口掃描和漏洞掃描。 w e n k el e e 研究組分別從網(wǎng)絡(luò)和主機(jī)兩方面進(jìn)行了審計(jì)數(shù)據(jù)的挖掘處理。針 對(duì)網(wǎng)絡(luò)數(shù)據(jù)，w e n k el e e 的主要做法是使用網(wǎng)絡(luò)服務(wù)端口( s e r v i c e ) 作為網(wǎng)絡(luò)連 接記錄的類型標(biāo)識(shí)，根據(jù)人最的正常記錄生成各個(gè)服務(wù)類型的分類模型，在測(cè)試 過(guò)程中，根據(jù)分類模型對(duì)當(dāng)前的連接記錄進(jìn)行分類，并與實(shí)際服務(wù)類型進(jìn)行比較， 從而判斷出該分類模型的準(zhǔn)確性。針對(duì)主機(jī)數(shù)據(jù)，w e n k el e e 則使用了一種快速 的規(guī)則學(xué)習(xí)算法r i p p e r ，通過(guò)對(duì)正常調(diào)用序列的學(xué)習(xí)來(lái)預(yù)測(cè)隨后發(fā)生的系統(tǒng)調(diào) 用序列，并對(duì)結(jié)果進(jìn)行了進(jìn)一步的抽象分析。以降低算法的預(yù)測(cè)誤差。根據(jù)d a r p a 報(bào)告。由c o l u m b i au n i v e r s i t y 實(shí)現(xiàn)的基于數(shù)據(jù)挖掘的入侵檢測(cè)系統(tǒng)在檢測(cè)拒絕 服務(wù)攻擊和掃描方面優(yōu)于其它系統(tǒng)，在檢測(cè)本地用戶非法提升權(quán)限方面與其它系 統(tǒng)大致持平，在檢測(cè)遠(yuǎn)程攻擊方面，所有的系統(tǒng)表現(xiàn)都不令人滿意。檢測(cè)率都在 7 0 以下。 2 、s t e p h a n i ef o r r e s t 研究組 u n i v e r s i t yo fn e wm e x i c o ( u n m ) 的s t e p h a n i ef o r r e s t 研究組進(jìn)行的是針 i ：奎三些查耋三蘭堡圭蘭竺篁塞 對(duì)土機(jī)系統(tǒng)調(diào)用的審計(jì)數(shù)據(jù)分析處理，最初的思想是基于生物免疫系統(tǒng)的概念。 無(wú)論是針對(duì)生物機(jī)體還是針對(duì)計(jì)算機(jī)系統(tǒng)，免疫系統(tǒng)的關(guān)鍵問(wèn)題在于：使用一組 穩(wěn)定的、并且在不同個(gè)體之間存在足夠差異的特征( f e a t u r e s ) 來(lái)描述自我，從而 使系統(tǒng)具備識(shí)別“自我非自我”的能力。 然而，對(duì)于計(jì)算機(jī)系統(tǒng)來(lái)說(shuō)，要解決這個(gè)問(wèn)題相當(dāng)困難。第一，惡意代碼隱 藏在正常代碼之中難以區(qū)分：第二，系統(tǒng)可能的狀態(tài)幾乎是無(wú)限的，尋找一組穩(wěn) 定的特征來(lái)定義自我并不容易。s t e p h a n i ef o r r e s t 使用短序列匹配算法對(duì)特定 的特權(quán)程序所產(chǎn)生的系統(tǒng)調(diào)用序列進(jìn)行了細(xì)致的分析，在這一領(lǐng)域做出了大量開(kāi) 創(chuàng)性工作。 在這之后，u n m 的另一個(gè)研究小組使用了有限自動(dòng)機(jī)( f s m ) 來(lái)構(gòu)建系統(tǒng)調(diào)用 的描述語(yǔ)言，但是這種方法的效率和實(shí)用性都很差。i o w as t a t eu n i v e r s i t y 的 一個(gè)小組實(shí)現(xiàn)了一種描述語(yǔ)言a u d i t i n gs p e c i f i c a t i o nl a n g u a g e ( a s l ) ，以描 述程序的正常行為。另外，還有其它一些研究者采用了神經(jīng)網(wǎng)絡(luò)等人工智能的辦 法。 實(shí)驗(yàn)和測(cè)試結(jié)果表明，將數(shù)據(jù)挖掘技術(shù)應(yīng)用于入侵檢測(cè)在理論上是可行的， 在技術(shù)上建立這樣一套系統(tǒng)是可能的。其技術(shù)難點(diǎn)主要在于如何根據(jù)具體應(yīng)用的 要求，從我們關(guān)于安全的先驗(yàn)知識(shí)出發(fā)，提取出可以有效地反映系統(tǒng)特性的特殊 屬性，應(yīng)用合適的算法進(jìn)行挖掘。技術(shù)難點(diǎn)還在于結(jié)果的可視化以及如何將挖掘 結(jié)果自動(dòng)地應(yīng)用到實(shí)際的入侵檢測(cè)系統(tǒng)中。目前，國(guó)際上在這個(gè)方面的研究非常 活躍，這些研究得到了美國(guó)國(guó)防部高級(jí)研究計(jì)劃署( d a r p a ) 、國(guó)家自然科學(xué)基金 ( n s f ) 的支持，可見(jiàn)，美國(guó)官方對(duì)此十分重視。但是，這方面的研究，包括整個(gè) 將數(shù)據(jù)挖掘技術(shù)運(yùn)用于入侵檢測(cè)的研究，總體上還處于理論探討階段，離實(shí)際應(yīng) 用似乎還有相當(dāng)?shù)木嚯x。 我們的工作大量參照w i n k el e e ，s t e p h a n i ef o r r e s t 以及其它研究人員的 做法，并在某些方面提出改進(jìn)意見(jiàn)和相應(yīng)的算法。 1 4 基于數(shù)據(jù)挖掘的入侵檢測(cè)系統(tǒng) 入侵檢測(cè)系統(tǒng)“1 是檢測(cè)企圖破壞計(jì)算機(jī)資源的完整性、真實(shí)性和可用性的行 為的軟件。入侵檢測(cè)技術(shù)是一種利用入侵者留下的痕跡( 如試圖登錄的失敗記錄) 等信息有效地發(fā)現(xiàn)來(lái)自外部或內(nèi)部的非法入侵的技術(shù)，它以探測(cè)與控制為技術(shù)本 質(zhì)，發(fā)揮主動(dòng)防御的作用，是網(wǎng)絡(luò)安全中極其重要的部分。 入侵檢測(cè)系統(tǒng)的任務(wù)就是在提取到的龐大的檢測(cè)數(shù)據(jù)中找到入侵的痕跡。入 侵分析過(guò)程需要將提取到的事件與入侵檢測(cè)規(guī)則進(jìn)行比較，從而發(fā)現(xiàn)入侵行為。 一方面入侵檢測(cè)系統(tǒng)需要盡可能多地提取數(shù)據(jù)以獲得足夠的入侵證據(jù)，而另一方 面由于入侵行為的千變?nèi)f化而導(dǎo)致判定入侵的規(guī)則越來(lái)越復(fù)雜，為了保證入侵檢 測(cè)的效率和滿足實(shí)時(shí)性的要求，入侵分析必須在系統(tǒng)的性能和檢測(cè)能力之間進(jìn)行 權(quán)衡，合理地設(shè)計(jì)分析策略，并且可能要犧牲一部分檢測(cè)能力來(lái)保證系統(tǒng)可靠、 穩(wěn)定地運(yùn)行并具有較快的響應(yīng)速度。 分析策略是入侵分析的核心，系統(tǒng)檢測(cè)能力很大程度上取決于分析策略。在 實(shí)現(xiàn)上，分析策略通常定義為一些完全獨(dú)立的檢測(cè)規(guī)則?；诰W(wǎng)絡(luò)的入侵檢測(cè)系 統(tǒng)通常使用報(bào)文的模式匹配或模式匹配序列來(lái)定義規(guī)則，檢測(cè)時(shí)將監(jiān)聽(tīng)到的報(bào)文 與模式匹配序列進(jìn)行比較，根據(jù)比較的結(jié)果來(lái)判斷是否有非正常的網(wǎng)絡(luò)行為。這 樣以來(lái)，一個(gè)入侵行為能不能被檢測(cè)出來(lái)主要就看該入侵行為的過(guò)程或其關(guān)鍵特 4 征能不能映射到基于網(wǎng)絡(luò)報(bào)文的匹配模式序列上去。有的入侵行為很容易映射， 如a r p 欺騙”3 ，但有的入侵行為是很難映射的，如從網(wǎng)絡(luò)上下載病毒。對(duì)于有的 入侵行為，即使理論上可以進(jìn)行映射，但是在實(shí)現(xiàn)上是不可行的，比如說(shuō)有的網(wǎng) 絡(luò)行為需要經(jīng)過(guò)非常復(fù)雜的步驟或較長(zhǎng)的過(guò)程才能表現(xiàn)其入侵特性9 1 ，這樣的行 為由于具有非常龐大的模式匹配序列，需要綜合大量的數(shù)據(jù)報(bào)文來(lái)進(jìn)行匹配，因 而在實(shí)際上是不可行的。而有的入侵行為由于需要進(jìn)行多層協(xié)議分析或有較強(qiáng)的 上下文關(guān)系，需要消耗大量的處理能力來(lái)進(jìn)行檢測(cè)，因而在實(shí)現(xiàn)上也有很大的難 度。 目前大多網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)的規(guī)則庫(kù)都是通過(guò)手工定制的方式建立起來(lái)的， 尤其是用于識(shí)別判斷入侵行為的檢測(cè)知識(shí)，都是由領(lǐng)域?qū)＜易约嚎偨Y(jié)提供，并將 其編寫到這些網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)中的。這類入侵檢測(cè)系統(tǒng)存在的一個(gè)最大不足就 是：它需要由人類專家不斷總結(jié)提供有關(guān)的入侵撿鋇9 知識(shí)。這也就意味著：它只 能被動(dòng)依靠外界提供的檢測(cè)知識(shí)，來(lái)幫助發(fā)現(xiàn)網(wǎng)絡(luò)系統(tǒng)的非法入侵行為，而很難 發(fā)現(xiàn)未知的入侵或攻擊行為。 數(shù)據(jù)挖掘技術(shù)在入侵檢測(cè)系統(tǒng)中的應(yīng)用盡量減少了手工和經(jīng)驗(yàn)的成分?；?數(shù)據(jù)挖掘的網(wǎng)絡(luò)入侵檢測(cè)模型可以進(jìn)行機(jī)器學(xué)習(xí)和模式擴(kuò)充，入侵檢測(cè)效率和可 靠性明顯得到提高。 同 原始數(shù)據(jù) 圖卜l 基于數(shù)據(jù)挖掘的入侵檢測(cè)系統(tǒng)結(jié)構(gòu) f i g u r e l is y s t e ms t r u c t u r eo fd ad i d s 圖卜l 所示是一個(gè)基于數(shù)據(jù)挖掘的入侵檢測(cè)系統(tǒng)結(jié)構(gòu)，由數(shù)據(jù)引擎、檢測(cè)器、 數(shù)據(jù)庫(kù)和數(shù)據(jù)挖掘( 生成入侵模型和異常檢測(cè)等) 四部分構(gòu)成。基于數(shù)據(jù)挖掘的入 侵檢測(cè)系統(tǒng)首先從原始數(shù)據(jù)中提取特征，以幫助區(qū)分正常數(shù)據(jù)和攻擊行為：然后 將這些特征用于模式匹配或異常檢測(cè)模型；最后提供一種結(jié)合模式匹配和異常檢 測(cè)模型的方法。其中，數(shù)據(jù)引擎觀察原始數(shù)據(jù)并計(jì)算用于模型評(píng)估的特征；檢測(cè) 器獲取數(shù)據(jù)引擎的數(shù)據(jù)并利用檢測(cè)模型來(lái)評(píng)估它是否是一個(gè)攻擊：數(shù)據(jù)庫(kù)被用作 數(shù)據(jù)和模型的中心存儲(chǔ)地：生成入侵模型的主要目的是為了加快開(kāi)發(fā)以及分發(fā)新 的入侵檢測(cè)模型的速度。 1 5 課題研究意義和主要研究?jī)?nèi)容 本文在數(shù)據(jù)挖掘和分布式入侵檢測(cè)理論的基礎(chǔ)上，提出了一種基于數(shù)據(jù)挖掘 技術(shù)的分布式入侵檢測(cè)模型”1 。主要是在一個(gè)分布式入侵檢測(cè)模型的基礎(chǔ)上結(jié)合 數(shù)據(jù)挖掘中的聚類分析和關(guān)聯(lián)規(guī)則等算法分析網(wǎng)絡(luò)數(shù)據(jù)流和主機(jī)日志，在比較各 類算法實(shí)驗(yàn)結(jié)果的基礎(chǔ)上，針對(duì)入侵?jǐn)?shù)據(jù)量大、屬性值多和實(shí)時(shí)性要求高等特點(diǎn) 改進(jìn)k 一均值算法和a p r i o r i 算法“1 ，以實(shí)現(xiàn)入侵檢測(cè)系統(tǒng)的數(shù)據(jù)分析和實(shí)時(shí)性功 能。 北京工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 在本課題中，我們的研究?jī)?nèi)容將包括： l _ 分布式入侵檢測(cè)系統(tǒng)的構(gòu)成、使用的技術(shù)和c i d f 。結(jié)構(gòu)框架等。 2 數(shù)據(jù)挖掘和分布式思想的引入。 3 在入侵檢測(cè)系統(tǒng)中聚類分析和關(guān)聯(lián)規(guī)則算法的應(yīng)用與改進(jìn)，及其應(yīng)用于 入侵?jǐn)?shù)據(jù)分析的實(shí)驗(yàn)結(jié)果。 4 整個(gè)基于數(shù)據(jù)挖掘的分布式入侵檢測(cè)系統(tǒng)的構(gòu)成，包括系統(tǒng)的組成、軟 件的設(shè)計(jì)和實(shí)現(xiàn)、實(shí)驗(yàn)結(jié)果和分析等。 1 6 小結(jié) 本章首先分析了課題研究的背景，簡(jiǎn)要地介紹了目前的數(shù)據(jù)挖掘技術(shù)以及它 們?cè)谌肭謾z測(cè)系統(tǒng)中的應(yīng)用及前景。并著重介紹了數(shù)據(jù)挖掘技術(shù)在一個(gè)入侵檢測(cè) 系統(tǒng)中的應(yīng)用，以此提出研究數(shù)據(jù)挖掘在入侵檢測(cè)系統(tǒng)中應(yīng)用的理論與現(xiàn)實(shí)意 義。本章最后介紹了本課題的主要研究?jī)?nèi)容和研究意義。 6 第2 章入侵檢測(cè)系統(tǒng) 第2 章入侵檢測(cè)系統(tǒng) 入侵檢測(cè)系統(tǒng)可以彌補(bǔ)防火墻的不足，為網(wǎng)絡(luò)安全“”提供實(shí)時(shí)的入侵檢測(cè)及 采取相應(yīng)的防護(hù)手段，如及時(shí)記錄證據(jù)用于跟蹤、切斷網(wǎng)絡(luò)連接，執(zhí)行用戶的安 全策略等。入侵檢測(cè)系統(tǒng)是檢測(cè)企圖破壞計(jì)算機(jī)資源的完整性、真實(shí)性和可用性 的行為的軟件。入侵檢測(cè)技術(shù)是一種利用入侵者留下的痕跡( 如試圖登錄的失敗 記錄) 等信息有效地發(fā)現(xiàn)來(lái)自外部或內(nèi)部的非法入侵的技術(shù)，它以探測(cè)與控制為 技術(shù)本質(zhì)，發(fā)揮主動(dòng)防御的作用，是網(wǎng)絡(luò)安全中極其重要的部分。 2 1 入侵檢測(cè)系統(tǒng)概述 入侵檢測(cè)系統(tǒng)的任務(wù)就是在提取到的龐大的檢測(cè)數(shù)據(jù)中找到入侵的痕跡。入 侵分析過(guò)程需要將提取到的事件與入侵檢測(cè)規(guī)則進(jìn)行比較，從而發(fā)現(xiàn)入侵行為。 一方面入侵檢測(cè)系統(tǒng)需要盡可能多地提取數(shù)據(jù)以獲得足夠的入侵證據(jù)，而另一方 面由于入侵行為的千變?nèi)f化而導(dǎo)致判定入侵的規(guī)則越來(lái)越復(fù)雜，為了保證入侵檢 測(cè)的效率和滿足實(shí)時(shí)性的要求，入侵分析必須在系統(tǒng)的性能和檢測(cè)能力之間進(jìn)行 權(quán)衡，合理地設(shè)計(jì)分析策略，并且可能要犧牲一部分檢測(cè)能力來(lái)保證系統(tǒng)可靠、 穩(wěn)定地運(yùn)行并具有較快的響應(yīng)速度。 入侵檢測(cè)系統(tǒng)在不影響網(wǎng)絡(luò)性能的情況下能對(duì)網(wǎng)絡(luò)活動(dòng)進(jìn)行監(jiān)測(cè)，從而提供 對(duì)內(nèi)部攻擊、外部攻擊和誤操作的實(shí)時(shí)保護(hù)。這些主要是通過(guò)下任務(wù)來(lái)實(shí)現(xiàn)： 監(jiān)視、分析用戶及系統(tǒng)活動(dòng)； 系統(tǒng)構(gòu)造和弱點(diǎn)的審計(jì)； 識(shí)別反映已知進(jìn)攻的活動(dòng)模式并報(bào)警： 異常行為模式的統(tǒng)計(jì)分析； 評(píng)估重要系統(tǒng)和數(shù)據(jù)文件的完整性； 操作系統(tǒng)的審計(jì)跟蹤管理，并識(shí)別用戶違反安全策略的行為。 2 1 1 入侵檢測(cè)系統(tǒng)分類 入侵檢測(cè)系統(tǒng)主要是根據(jù)入侵行為來(lái)分類。入侵( i n t r u s i o n ) 是指任何試圖 危及資源的安全性、機(jī)密性和可用性的行為。這類行為通常分為兩類： l 、誤用( m i s u s e ) 入侵，指利用系統(tǒng)的缺陷進(jìn)行進(jìn)攻的行為； 2 、異常( a n o r m a l y ) 入侵，指背離系統(tǒng)正常使用的行為。 相應(yīng)的入侵檢測(cè)系統(tǒng)則可以分為三類： l 、采用誤用檢測(cè)的入侵檢測(cè)系統(tǒng)； 2 、采用異常檢測(cè)的入侵檢測(cè)系統(tǒng)； 3 、采用兩種混合檢測(cè)的入侵檢測(cè)系統(tǒng)。 一般的入侵檢測(cè)系統(tǒng)都屬于第三類混合型的入侵檢測(cè)系統(tǒng)。誤用入侵通常都 有明確的模式，所阻誤用檢測(cè)( m i s u s ed e t e c t i o n ) 根據(jù)對(duì)使用系統(tǒng)或網(wǎng)絡(luò)的信息 進(jìn)行模式匹配來(lái)識(shí)別使用者的入侵行為。異常檢測(cè)( a n o m a l yd e t e c t i o n ) 則指根 據(jù)使用者的行為或資源使用狀況來(lái)判斷是否入侵，而不依賴于具體行為是否出現(xiàn) 來(lái)檢測(cè)，所以也被稱為基于行為的檢測(cè)。異常檢測(cè)基于統(tǒng)計(jì)方法，使用系統(tǒng)或用 7 北京工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 戶的活動(dòng)輪廓( a c t i v i t yp r o f i l e ) 來(lái)檢測(cè)入侵活動(dòng)。活動(dòng)輪廓由一組統(tǒng)計(jì)參數(shù)組 成，通常包括c p u 和i o 利用率、文件訪問(wèn)、出錯(cuò)率、網(wǎng)絡(luò)連接等。這類i d s 先 產(chǎn)生主體的活動(dòng)輪廓，系統(tǒng)運(yùn)行時(shí)，異常檢測(cè)程序產(chǎn)生當(dāng)前活動(dòng)輪廓并同原始輪 廓比較，同時(shí)更新原始輪廓，當(dāng)發(fā)生顯著偏離時(shí)即認(rèn)為是入侵。 入侵檢測(cè)系統(tǒng)還可按照輸入數(shù)據(jù)的來(lái)源分為三類： l 、基于主機(jī)的入侵檢測(cè)系統(tǒng)：其輸入數(shù)據(jù)來(lái)源于系統(tǒng)的日志，如訪問(wèn)臼志、 軟件使用日志等，一般檢測(cè)該主機(jī)上發(fā)生的入侵，主要用于保護(hù)關(guān)鍵應(yīng)用的服務(wù) 器，實(shí)時(shí)監(jiān)視可疑的連接、系統(tǒng)日志檢查，非法訪問(wèn)的闖入等。 2 、基于網(wǎng)絡(luò)的入侵檢測(cè)系統(tǒng)：其輸入數(shù)據(jù)來(lái)源于網(wǎng)絡(luò)各個(gè)節(jié)點(diǎn)的信息流， 能夠檢鋇8 該網(wǎng)段上發(fā)生的網(wǎng)絡(luò)入侵，主要用于實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)關(guān)鍵路徑的信息； 3 、兩部分相結(jié)合的分布式入侵檢測(cè)系統(tǒng)：能夠同時(shí)分析來(lái)自主機(jī)系統(tǒng)審計(jì) 日志和網(wǎng)絡(luò)數(shù)據(jù)流的入侵檢測(cè)系統(tǒng)，一般為分布式結(jié)構(gòu)，由多個(gè)部件組成。 完整的入侵檢測(cè)系統(tǒng)一般分兩步： a ) 信息收集。 入侵檢測(cè)的第一步是信息收集，內(nèi)容包括系統(tǒng)、網(wǎng)絡(luò)、數(shù)據(jù)及用戶活動(dòng)的狀 態(tài)和行為。而且，需要在計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中的若干不同關(guān)鍵點(diǎn)( 不同網(wǎng)段和不同 主機(jī)) 收集信息，這除了盡可能擴(kuò)大檢測(cè)范圍的因素外，還有一個(gè)重要的因素就 是從一個(gè)源來(lái)的信息有可能看不出疑點(diǎn)，但從幾個(gè)源來(lái)的信息的不一致性卻是可 疑行為或入侵的最好標(biāo)識(shí)。當(dāng)然，入侵檢測(cè)很大程度上依賴于收集信息的可靠性 和正確性，因此，很有必要只利用所知道的真正的和精確的軟件來(lái)報(bào)告這些信息， 因?yàn)楹诳徒?jīng)常替換軟件以搞混和移走這些信息，例如替換程序調(diào)用的子程序、庫(kù) 和其它工具。黑客對(duì)系統(tǒng)的修改可能使系統(tǒng)功能失常并看起來(lái)跟正常的一樣，例 如；u n i x 系統(tǒng)的p s 指令可以被替換為一個(gè)不顯示侵入過(guò)程的指令，或者是編輯 器被替換成一個(gè)讀取不同于指定文件的程序( 黑客隱藏了初始文件并用另一版本 代替) 。這需要保證用來(lái)檢測(cè)網(wǎng)絡(luò)系統(tǒng)的軟件的完整性，特別是入侵檢測(cè)系統(tǒng)軟 件本身應(yīng)具有相當(dāng)強(qiáng)的堅(jiān)固性，防止被篡改而收集到錯(cuò)誤的信息。 入侵檢測(cè)利用的信息一般來(lái)自以下四個(gè)方面： l 、系統(tǒng)和網(wǎng)絡(luò)日志文件。黑客經(jīng)常在系統(tǒng)日志文件中留下他們的蹤跡，因 此，充分利用系統(tǒng)和網(wǎng)絡(luò)曰志文件信息是檢測(cè)入侵的必要條件。日志中包含發(fā)生 在系統(tǒng)和網(wǎng)絡(luò)上的不尋常和不期望活動(dòng)的證據(jù)，這些證據(jù)可以指出有人正在入侵 或已成功入侵了系統(tǒng)。通過(guò)查看日志文件，能夠發(fā)現(xiàn)成功的入侵或入侵企圖，并 很快地啟動(dòng)相應(yīng)的應(yīng)急響應(yīng)程序。日志文件中記錄了各種行為類型，每種類型又 包含不同的信息例如記錄“用戶活動(dòng)”類型的日志，就包含登錄、用戶i d 改 變、用戶對(duì)文件的訪問(wèn)、授權(quán)和認(rèn)證信息等內(nèi)容。很顯然地，對(duì)用戶活動(dòng)來(lái)講， 不正常的或不期望的行為就是重復(fù)登錄失敗、登錄到不期望的位置以及非授權(quán)的 企圖訪問(wèn)重要文件等等。 2 、目錄和文件中的不期望的改變。網(wǎng)絡(luò)環(huán)境中的文件系統(tǒng)包含很多軟件和 數(shù)據(jù)文件，包含重要信息的文件和私有數(shù)據(jù)文件經(jīng)常是黑客修改或破壞的目標(biāo)。 目錄和文件中的不期望的改變( 包括修改、創(chuàng)建和刪除) ，特別是那些正常情況下 限制訪問(wèn)的，很可能就是一種入侵產(chǎn)生的指示和信號(hào)。黑客經(jīng)常替換、修改和破。 壞他們獲德訪問(wèn)權(quán)的系統(tǒng)上的文件，同時(shí)為了隱藏系統(tǒng)中他們的表現(xiàn)及活動(dòng)痕 跡，都會(huì)盡力去替換系統(tǒng)程序或修改系統(tǒng)日志文件。 3 、程序執(zhí)行中的不期望行為。網(wǎng)絡(luò)系統(tǒng)上的程序執(zhí)行一般包括操作系統(tǒng)、 網(wǎng)絡(luò)服務(wù)、用戶起動(dòng)的程序和特定目的的應(yīng)用，例如數(shù)據(jù)庫(kù)服務(wù)器。每個(gè)在系統(tǒng) 釜! 耋壘堡竺型至篁 一一 上執(zhí)行的程序由一到多進(jìn)程來(lái)實(shí)現(xiàn)。每個(gè)進(jìn)程執(zhí)行在具有不同權(quán)限的環(huán)境中，這 種環(huán)境控制著進(jìn)程可訪問(wèn)的系統(tǒng)資源、程序和數(shù)據(jù)文件等。一個(gè)進(jìn)程的執(zhí)行行為 由它運(yùn)行時(shí)執(zhí)行的操作來(lái)表現(xiàn)，操作執(zhí)行的方式不同，它利用的系統(tǒng)資源也就不 同。操作包括計(jì)算、文件傳輸、設(shè)備和其它進(jìn)程，以及與網(wǎng)絡(luò)間其它進(jìn)程的通訊。 一個(gè)進(jìn)程出現(xiàn)了不期望的行為可能表明黑客正在入侵你的系統(tǒng)。黑客可能會(huì)將程 序或服務(wù)的運(yùn)行分解，從而導(dǎo)致它失敗，或者是以非用戶或管理員意圖的方式操 作。 4 、物理形式的入侵信息。這包括兩個(gè)方面的內(nèi)容，一是未授權(quán)的對(duì)網(wǎng)絡(luò)硬 件連接；二是對(duì)物理資源的未授權(quán)訪問(wèn)。黑客會(huì)想方設(shè)法去突破網(wǎng)絡(luò)的周邊防衛(wèi)， 如果他們能夠在物理上訪問(wèn)內(nèi)部網(wǎng)，就能安裝他們自己的設(shè)備和軟件。依此，黑 客就可以知道網(wǎng)上的由用戶加上去的不安全( 未授權(quán)) 設(shè)備，然后利用這些設(shè)備訪 問(wèn)網(wǎng)絡(luò)。例如，用戶在家里可能安裝m o d e m 以訪問(wèn)遠(yuǎn)程辦公室，與此同時(shí)黑客正 在利用自動(dòng)工具來(lái)識(shí)別在公共電話線上的m o d e m ，如果一撥號(hào)訪問(wèn)流量經(jīng)過(guò)了這 些自動(dòng)工具，那么這一撥號(hào)訪問(wèn)就成為了威脅網(wǎng)絡(luò)安全的后門。黑客就會(huì)利用這 個(gè)后門來(lái)訪問(wèn)內(nèi)部網(wǎng)，從而越過(guò)了內(nèi)部網(wǎng)絡(luò)原有的防護(hù)措施，然后捕獲網(wǎng)絡(luò)流量， 進(jìn)而攻擊其它系統(tǒng)，并偷取敏感的私有信息等等。 b ) 信號(hào)分析 對(duì)上述四類收集到的有關(guān)系統(tǒng)、網(wǎng)絡(luò)、數(shù)據(jù)及用戶活動(dòng)的狀態(tài)和行為等信息， 一般通過(guò)三種技術(shù)手段進(jìn)行分析：模式匹配，統(tǒng)計(jì)分析和完整性分析。其中前兩 種方法用于實(shí)時(shí)的入侵檢測(cè)。而完整性分析則用于事后分析。 1 、模式匹配。模式匹配就是將收集到的信息與己知的網(wǎng)絡(luò)入侵和系統(tǒng)誤用 模式數(shù)據(jù)庫(kù)進(jìn)行比較，從而發(fā)現(xiàn)違背安全策略的行為。該過(guò)程可以很簡(jiǎn)單( 如通 過(guò)字符串匹配以尋找一個(gè)簡(jiǎn)單的條目或指令) ，也可以很復(fù)雜( 如利用正規(guī)的數(shù)學(xué) 表達(dá)式來(lái)表示安全狀態(tài)的變化) 。一般來(lái)講，一種進(jìn)攻模式可以用一個(gè)過(guò)程( 如執(zhí) 行一條指令) 或一個(gè)輸出( 如獲得權(quán)限) 來(lái)表示。該方法的一大優(yōu)點(diǎn)是只需收集相 關(guān)的數(shù)據(jù)集合，顯著減少系統(tǒng)負(fù)擔(dān)，且技術(shù)已相當(dāng)成熟。它與病毒防火墻采用的 方法一樣，檢測(cè)準(zhǔn)確率和效率都相當(dāng)高。但是。該方法存在的弱點(diǎn)是需要不斷的 升級(jí)以對(duì)付不斷出現(xiàn)的黑客攻擊手法，不能檢測(cè)到從未出現(xiàn)過(guò)的黑客攻擊手段。 2 、統(tǒng)計(jì)分析。統(tǒng)計(jì)分析方法首先給系統(tǒng)對(duì)象( 如用戶、文件、目錄和設(shè)備等) 創(chuàng)建一個(gè)統(tǒng)計(jì)描述，統(tǒng)計(jì)正常使用時(shí)的一些測(cè)量屬性( 如訪問(wèn)次數(shù)、操作失敗次 數(shù)和延時(shí)等) 。測(cè)量屬性的平均值將被用來(lái)與網(wǎng)絡(luò)、系統(tǒng)的行為進(jìn)行比較，任何 觀察值在正常值范圍之外時(shí)，就認(rèn)為有入侵發(fā)生。例如，統(tǒng)計(jì)分析可能標(biāo)識(shí)一個(gè) 不正常行為，因?yàn)樗l(fā)現(xiàn)一個(gè)在晚八點(diǎn)至早六點(diǎn)不登錄的帳戶卻在凌晨?jī)牲c(diǎn)試圖 登錄。其優(yōu)點(diǎn)是可檢測(cè)到未知的入侵和更為復(fù)雜的入侵，缺點(diǎn)是誤報(bào)、漏報(bào)率高， 且不適應(yīng)用戶正常行為的突然改變。具體的統(tǒng)計(jì)分析方法如基于專家系統(tǒng)的、基 于模型推理的和基于神經(jīng)網(wǎng)絡(luò)的分析方法。目前正處于研究熱點(diǎn)和迅速發(fā)展之 中。 3 、完整性分析。完整性分析主要關(guān)注某個(gè)文件或?qū)ο笫欠癖桓?，這經(jīng)常 包括文件和目錄的內(nèi)容及屬性，它在發(fā)現(xiàn)被更改的、被特洛伊化的應(yīng)用程序方面 特別有效。完整性分析利用強(qiáng)有力的加密機(jī)制，稱為消息摘要函數(shù)( 例如m d 5 ) ， 它能識(shí)別哪怕是微小的變化，其優(yōu)點(diǎn)是不管模式匹配方法和統(tǒng)計(jì)分析方法能否發(fā) 現(xiàn)入侵，只要是成功的攻擊導(dǎo)致了文件或其它對(duì)象的任何改變，它都能夠發(fā)現(xiàn)。 缺點(diǎn)是一般以批處理方式實(shí)現(xiàn)，不用于實(shí)時(shí)響應(yīng)。盡管如此，完整性檢測(cè)方法還 應(yīng)該是網(wǎng)絡(luò)安全產(chǎn)品的必要手段之一。例如，可以在每一天的某個(gè)特定時(shí)間內(nèi)開(kāi) 9 北京工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 啟完整性分析模塊。對(duì)網(wǎng)絡(luò)系統(tǒng)進(jìn)行全面地掃描檢查。 2 1 2 入侵檢測(cè)技術(shù)分類 入侵檢測(cè)技術(shù)是以探測(cè)與控制為技術(shù)本質(zhì)，發(fā)揮主動(dòng)防御的作用，是網(wǎng)絡(luò)安 全中極其重要的部分，其中的主要智能技術(shù)包括： a ) 基于神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)方法：這種方法是利用神經(jīng)網(wǎng)絡(luò)技術(shù)來(lái)進(jìn)行入 侵檢測(cè)。這種方法對(duì)用戶行為具有學(xué)習(xí)和自適應(yīng)功能，能夠根據(jù)實(shí)際檢測(cè)到的信 息有效地加以處理，并做出入侵可能性的判斷。該方法還不成熟，目前還沒(méi)有出 現(xiàn)較為完善的產(chǎn)品。 b ) 基于專家系統(tǒng)的入侵檢測(cè)技術(shù)：根據(jù)安全專家對(duì)可疑行為的分析經(jīng)驗(yàn)而形 成一套推理規(guī)則，然后在此基礎(chǔ)上建立相應(yīng)的專家系統(tǒng)，由此專家系統(tǒng)自動(dòng)對(duì)所 涉及的入侵行為進(jìn)行分析。該系統(tǒng)應(yīng)能隨著經(jīng)驗(yàn)的積累而利用其自學(xué)習(xí)能力進(jìn)行 規(guī)則的擴(kuò)充和修正。 c ) 基于模型推理的入侵檢測(cè)技術(shù)：根據(jù)入侵者在入侵時(shí)所執(zhí)行的某些行為程 序的特征，建立一種入侵行為模型，根據(jù)這種行為模型所代表的入侵意圖的行為 特征來(lái)判斷用戶執(zhí)行的操作是否屬于入侵行為。當(dāng)然這種方法也是建立在對(duì)當(dāng)前 已知的入侵行為程序的基礎(chǔ)之上的，對(duì)未知的入侵方法所執(zhí)行的行為程序的模型 識(shí)別需要進(jìn)一步的學(xué)習(xí)和擴(kuò)展。 d ) 基于數(shù)據(jù)挖掘技術(shù)的入侵檢測(cè)技術(shù)；采用的是以數(shù)據(jù)為中心的觀點(diǎn)把入侵 檢測(cè)問(wèn)題看作為一個(gè)數(shù)據(jù)分析過(guò)程。數(shù)據(jù)挖掘是一種面向應(yīng)用的技術(shù)，同傳統(tǒng)的 統(tǒng)計(jì)概率方法相比，數(shù)據(jù)挖掘方法具有如下優(yōu)點(diǎn)：數(shù)據(jù)挖掘體現(xiàn)了一個(gè)完整的數(shù) 據(jù)分析過(guò)程，它一般包括數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)預(yù)處理、建立挖掘模型、模型評(píng)估和解 釋等：另外它也是一個(gè)迭代的過(guò)程，通過(guò)不斷的調(diào)整方法和參數(shù)以得到較好的模 型?；跀?shù)據(jù)挖掘的網(wǎng)絡(luò)入侵檢測(cè)模型可以進(jìn)行機(jī)器學(xué)習(xí)和模式擴(kuò)充，使得手工 和經(jīng)驗(yàn)成分減少，入侵檢測(cè)效率和可靠性明顯得到提高。本文即將利用數(shù)據(jù)挖掘 的算法對(duì)分布式入侵檢測(cè)系統(tǒng)進(jìn)行性能的改進(jìn)。 2 1 3 入侵檢測(cè)系統(tǒng)框架 目前的入侵檢測(cè)系統(tǒng)大部分是基于各自的需求獨(dú)立設(shè)計(jì)和開(kāi)發(fā)的，不同系統(tǒng) 之間缺乏工操作性和互用性，這對(duì)入侵檢測(cè)系統(tǒng)的發(fā)展造成了障礙，因此 d a r p a ( t h ed e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ，美國(guó)國(guó)防部高級(jí)研 究計(jì)劃局) 在1 9 9 7 年3 月開(kāi)始著手c i d f ( c o m m o ni n t r u s i o nd e t e c t i o n f r a m e w o r k ，公共入侵檢測(cè)框架) 標(biāo)準(zhǔn)的制定?，F(xiàn)在加州大學(xué)d a v i s 分校的安全實(shí) 驗(yàn)室己經(jīng)完c i d f “”標(biāo)準(zhǔn)，i e t f ( i n t e r n e te n g i n e e r i n gt a s kf o r c e 。i n t e r n e t 工程任務(wù)組) 成立了i d w g ( i n t r u s i o nd e t e c t i o nw o r k i n gg r o u p ，入侵檢測(cè)工作 組) 負(fù)責(zé)建立i d e f ( i n t r u s i o nd e t e c t i o ne x c h a n g ef o r m a t ，入侵檢測(cè)數(shù)據(jù)交換 格式) 標(biāo)準(zhǔn)，并提供支持該標(biāo)準(zhǔn)的工具，以更高效率地開(kāi)發(fā)入侵檢測(cè)系統(tǒng)。國(guó)內(nèi) 在這方面的研究剛開(kāi)始起步，目前也已經(jīng)開(kāi)始著手入侵檢測(cè)標(biāo)準(zhǔn)i d f ( i n t r u s i o n d e t e c t i o nf r a m e w o r k ，入侵檢測(cè)框架) 的研究與制定。 c i d f 是一套規(guī)范，它定義了i d s 表達(dá)檢測(cè)信息的標(biāo)準(zhǔn)語(yǔ)言以及i d s 組件之 間的通信協(xié)議。符合c i d f 規(guī)范的i d s 可以共享檢測(cè)信息，相互通信，協(xié)同工作， j 0 第2 章入侵檢測(cè)系統(tǒng) 還