（計(jì)算機(jī)應(yīng)用技術(shù)專(zhuān)業(yè)論文）面向異常檢測(cè)的關(guān)聯(lián)模式挖掘算法研究.pdf

摘要 摘要 隨著科技的進(jìn)步和計(jì)算機(jī)網(wǎng)絡(luò)的飛速發(fā)展 人們已形成這樣的共識(shí) 網(wǎng)絡(luò)和電子商 務(wù)是企業(yè)制勝的必由之路 然而 高度發(fā)達(dá)的網(wǎng)絡(luò)也帶來(lái)了高風(fēng)險(xiǎn) 網(wǎng)絡(luò)與信息系統(tǒng)的 安全已成為人們高度關(guān)注的社會(huì)問(wèn)題 如何預(yù)測(cè) 識(shí)別 評(píng)估這些潛在的風(fēng)險(xiǎn) 以最為 經(jīng)濟(jì)和有效的對(duì)策來(lái)處理這些風(fēng)險(xiǎn) 將成為現(xiàn)代企業(yè)管理中的一個(gè)迫切需要解決的技術(shù) 問(wèn)題 在一定程度上 決定著一個(gè)企業(yè)的生存和發(fā)展 企業(yè) 尤其是電子商務(wù)企業(yè) 建立網(wǎng)絡(luò)安全防護(hù)體系的全部意義就在于管理風(fēng)險(xiǎn) 作為網(wǎng)絡(luò)安全防護(hù)體系的一個(gè)重要組成部分的異常檢測(cè)技術(shù)已引起了許多研究人員的極 大關(guān)注 并具有廣闊的市場(chǎng)前景 國(guó)內(nèi)外研究成果表明 將數(shù)據(jù)挖掘技術(shù)應(yīng)用于異常檢測(cè)在理論上是可行的 在技術(shù) 上建立這樣一套系統(tǒng)也是必要和可能的 關(guān)聯(lián)模式的挖掘是面向異常檢測(cè)的數(shù)據(jù)挖掘技 術(shù)中的一類(lèi)基本且具有十分重要意義的研究課題 本論文研究工作的目的就是針對(duì)企業(yè) 風(fēng)險(xiǎn)管理的需求 研究如何建立面向異常檢測(cè)的關(guān)聯(lián)模式挖掘模型 并提出相應(yīng)的解決 方案 為構(gòu)建網(wǎng)絡(luò)安全防護(hù)體系建立相應(yīng)的算法基礎(chǔ) 本論文的主要內(nèi)容及創(chuàng)新點(diǎn)可以歸納為以下五個(gè)方面 1 分析了面向異常檢測(cè)的關(guān)聯(lián)模式挖掘算法的主要技術(shù)難點(diǎn) 包括數(shù)據(jù)離散化問(wèn) 題 效率問(wèn)題 并行挖掘問(wèn)題 針對(duì)性問(wèn)題 增量更新問(wèn)題等 提出了面向異常檢測(cè)的 關(guān)聯(lián)模式挖掘模型和一種模式編碼及模式比較方法 2 針對(duì)安全審計(jì)數(shù)據(jù)的特點(diǎn) 提出了一種面向異常檢測(cè)的基于約簡(jiǎn)模式的關(guān)聯(lián)模 式挖掘算法和兩類(lèi)關(guān)聯(lián)模式的增量式更新算法 通過(guò)這些算法的實(shí)現(xiàn) 不僅能夠高效地 發(fā)現(xiàn)安全審計(jì)事務(wù)數(shù)據(jù)庫(kù)中的關(guān)聯(lián)模式或用戶(hù)行為模式 而且可以快速更新已挖掘模式 及時(shí)反映用戶(hù)行為模式的改變 最終達(dá)到降低誤報(bào)率和漏報(bào)率的效果 3 發(fā)現(xiàn)最大關(guān)聯(lián)模式對(duì)關(guān)聯(lián)模式或用戶(hù)行為模式挖掘具有十分重要的意義 提出 了一種基于頻繁模式樹(shù)的最大關(guān)聯(lián)模式挖掘算法 并就其增量式更新問(wèn)題進(jìn)行了研究 實(shí)現(xiàn)了一種快速的最大關(guān)聯(lián)模式增量式更新算法 4 并行關(guān)聯(lián)模式或用戶(hù)行為模式的挖掘是面向分布式協(xié)同異常檢測(cè)的數(shù)據(jù)挖掘技 術(shù)中的一項(xiàng)重要內(nèi)容 提出了s h a r e d n o t h i n g 并行安全審計(jì)數(shù)據(jù)庫(kù)中一種快速的并行關(guān) 聯(lián)模式挖掘算法 并對(duì)其增量式更新問(wèn)題進(jìn)行了研究 進(jìn)而提出了一種有效的并行關(guān)聯(lián) 模式增量式更新挖掘算法 5 約束關(guān)聯(lián)模式的挖掘是面向異常檢測(cè)的數(shù)據(jù)挖掘技術(shù)中的一個(gè)關(guān)鍵技術(shù) 提出 了約束最大關(guān)聯(lián)模式 約束關(guān)聯(lián)模式 約束并行關(guān)聯(lián)模式的挖掘算法 并對(duì)其增量式更 新問(wèn)題進(jìn)行了研究 設(shè)計(jì)了相應(yīng)的約束關(guān)聯(lián)模式增量式更新算法 關(guān)鍵詞 風(fēng)險(xiǎn)管理 異常檢測(cè) 數(shù)據(jù)挖掘 關(guān)聯(lián)模式 最大關(guān)聯(lián)模式 增量式更新 頻 繁模式樹(shù) t 東南 人學(xué)博士學(xué)位論文 a b s t r a c t a l o n g w i t ht h ep r o g r e s so f s c i e n c e t e c h n o l o g ya n dt h er a p i dd e v e l o p m e n to fc o m p u t e r n e t w o r k n e t w o r ka n de b u s i n e s sh a v eb e c o m et h eo n l yw a yb yw h i c he n t e r p r i s e sg a i n c o m p e t i t i v ea d v a n t a g e s h o w e v e ah i g h l ya d v a n c e dn e t w o r kh a sb r o u g h tu sh i g hr i s k t h e s e c u r i t yo ft h en e t w o r ka n di n f o r m a t i o ns y s t e mh a sb e c o m eas o c i a lp r o b l e mw h i c hp e o p l e p a y m u c ha t t e n t i o nt o h o wt op r e d i c t i d e n t i f y e v a l u a t et h e s ep o t e n t i a lp r o b l e m s a n dm a n a g e t h e mw i t he c o n o m i ca n de f f e c t i v ec o u n t e r m e a s u r e sw i l lb eat e c h n i c a lp r o b l e mt ob er e s o l v e d f o rm o d e mb u s i n e s sm a n a g e m e n t w h i c hw i l ld e t e r m i n a t et h ee x i s t e n c ea n dd e v e l o p m e n to f a ne n t e r p r i s e t h em o s ti m p o r t a n ts i g n i f i c a n c eo fe s t a b l i s h i n gd e f e n s es y s t e m so fn e t w o r ks a f e t yf o r e n t e r p r i s e s e s p e c i a l l y e b u s i n e s s e n t e r p r i s e s l i e s i nr i s k m a n a g e m e n t t h ea b n o n n i t y d e t e c t i o nt e c h n o l o g y w h i c hi st h ee s s e n t i a lc o m p o n e n to ft h ed e f e n s es y s t e m so fn e t w o r k s a f e t y h a sb r o u g h tt om a n yr e s e a r c h e r s a t t e n t i o n a n dh a sw i d em a r k e tf o r e g r o u n d r e s e a r c h e sf r o mh o m ea n da b r o a ds h o wt h a ti ti sf e a s i b l ei nt h e o r yt oa p p l yd a t am i n i n g t e c t m o l o g yt oa b n o r m i t yd e t e c t i o n a n di ti sp o s s i b l et oc o n s t r u c ts u c has y s t e mi nt e c h n o l o g y t o o t h em i n i n gf o ra s s o c i a t i o np a t t e r n si sq u i t ea ni m p o r t a n tr e s e a r c ht a s ki nt h er e s e a r c ho n d a t am i n i n gt e c h n o l o g yf o ra b n o m t i t yd e t e c t i o n i nt h i s p a p e r t h em o d e lo fa s s o c i a t i o n p a t t e m sm i n i n g f o ra b n o r m i t yd e t e c t i o na n di t s a l g o r i t h m s a r ep r o p o s e d w h i c he s t a b i i s h c o r r e s p o n d i n ga l g o r i t h m se l e m e n t s f o r t h ed e f e n s es y s t e m so f n e t w o r ks a f e t y t h em a i nr e s u l t sa n dc o n t e n t so b t a i n e di nt h i sd i s s e r t a t i o na r ea sf c l l l o w s f i r s t l y t h em o d e l o fa s s o c i a t i o np a t t e r n sm i n i n gf o ra b n o r m i t yd e t e c t i o ni sp r o p o s e d t h e p r o b l e m sa n dt e c h n i c a ld i f f i c u l t yo fi t sa l g o r i t h ma r ea n a l y z e d w h i c h i n c l u d ed i s p e r s i o n e f f i c i e n c y p a r a l l e l d a t am i n i n g p e r t i n e n c e i n c r e m e n t a lu p d a t i n ga n ds oo n t h ep a t t e m c o d i n g a n dt h em e t h o dt oc o m p a r et w ok i n d so f p a t t e r n sa r ep u tf o r w a r d s e c o n d l y f o r t h ec h a r a c t e r i s t i co f s e c u r i t ya u d i td a t a a na l g o r i t h mf o rm i n i n g a s s o c i a t i o n p a t t e r n so na b n o r m i t yd e t e c t i o ni sp r o p o s e d t w ok i n d so f i n c r e m e n t a lu p d a t i n ga l g o r i t h m s a r ea l s op r e s e n t e d b yt h e s ea l g o r i t h m s w ec a nn o to n l yf i n da s s o c i a t i o np a t t e m so ru s e r b e h a v i o r sp a t t e r n se f f i c i e n t l yf r o ms e c u r i t ya u d i td a t a b u ta l s ou p d a t et h em i n e dp a t t e r n sf a s t s o t h ec h a n g i n go fu s e rb e h a v i o r sp a t t e m sw i l lb er e f l e c t e d i nt i m e a n dr a t i oo ff a l s e n e g a t i v ea n d f a l s ep o s i t i v e sw i l ld e s c e n di nt h ee n d t h i r d l y i ti sv e r yi m p o r t a n tt of i n dm a x i m u m a s s o c i a t i o np a t t e r n s an e w a l g o r i t h ma n d i t su p d a t i n ga l g o r i t h mf o rm i n i n gm a x i m u ma s s o c i a t i o np a t t e r n sa r ep r o p o s e d w h i c hi sb a s e d o nan o v e lf r e q u e n tp a t t e r nt r e e f p t r e e s t r u c t u r e a ne x t e n d e dp r e f i x t r e e s t r u c t u r ef o r s t o r i n gc o m p r e s s e d a n dc r u c i a li n f o r m a t i o na b o u t f r e q u e n tp a t t e r n s i i a b s t r a c t f o u r t h l y s e c u r i t ya u d i td a t aa r ed i s t r i b u t e di nn a t u r e s ot h ed e v e l o p m e n to fa l g o r i t h m s f o re f f i c i e n tm i n i n go fa s s o c i a t i o np a t t e r n sf r o m s h a r e d n o t h i n gp a r a l l e ls e c u r i t ya u d i td a t a h a s i t s u n i q u ei m p o r t a n c e an e wa l g o r i t l g na n di t su p d a t i n ga l g o r i t h mf o rm i n i n ga s s o c i a t i o n p a t t e r n sf r o ms h a r e d n o t h i n gp a r a l l e ls e c u r i t y a u d i td a t aa r e p r e s e n t e d f i f t h l y m o s ta l g o r i t h m sd on o tc o n s i d e ra n yd o m a i nk n o w l e d g e a sar e s u l tt h e yc a r l g e n e r a t em a n y i r r e l e v a n t i e u n i n t e r e s t i n g p a t t e r n s s o m i n i n ga l g o r i t h mf o rc o n s t r a i n e d a s s o c i a t i o np a t t e r n so na b n o r m i t yd e t e c t i o ni sak e yp r o b l e m a ne f f e c t i v ea l g o r i t h mf o r m i n i n ga s s o c i a t i o np a a e m s w i t hi t e mc o n s t r a i n t sa n di t su p d a t i n ga l g o r i t h ma r ep r e s e n t e d k e y w o r d s r i s km a n a g e m e n t a n o m a l yd e t e c t i o n d a t am i n i n g a s s o c i a t i o np a t t e m s m a x i m u m a s s o c i a t i o np a t t e r n s i n c r e m e n t a lu p d a t i n g f p t r e e i i i 東南大學(xué)學(xué)位論文獨(dú)創(chuàng)性聲明 本人聲明所呈交的學(xué)位論文是我個(gè)人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果 盡我所知 除了文中特別加以標(biāo)注和致謝的地方外 論文中不包含其他人已經(jīng)發(fā)表或撰寫(xiě)過(guò) 的研究成果 也不包含為獲得東南大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書(shū)而使用過(guò)的材料 與我 一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均己在論文中作了明確的說(shuō)明并表示了謝意 研究生簽名 拳址日期 絲 東南大學(xué)學(xué)位論文使用授權(quán)聲明 東南大學(xué) 中國(guó)科學(xué)技術(shù)信息研究所 國(guó)家圖書(shū)館有權(quán)保留本人所送交學(xué)位論文的復(fù)印 件和電子文檔 可以采用影印 縮印或其他復(fù)制手段保存論文 本人電子文檔的內(nèi)容和紙質(zhì) 論文的內(nèi)容相一致 除在保密期內(nèi)的保密論文外 允許論文被查閱和借閱 可以公布 包括 刊登 論文的全部或部分內(nèi)容 論文的公布 包括刊登 授權(quán)東南大學(xué)研究生院辦理 研究生簽名 苤堡壘導(dǎo)師簽名 叢生蘭 日期 6 弼 緒論 第一章緒論 1 1 課題研究背景 本論文的研究工作是國(guó)家自然科學(xué)基金項(xiàng)目 面向企業(yè)風(fēng)險(xiǎn)管理的數(shù)據(jù)挖掘技術(shù)及 其應(yīng)用研究 基金立項(xiàng)編號(hào) 7 9 9 70 0 9 2 和國(guó)家科技型中小企業(yè)技術(shù)創(chuàng)新基金項(xiàng)目 m 天商2 0 0 0 智能商務(wù)管理軟件 基金立項(xiàng)編號(hào) 0 0 c 2 6 2 13 2 1 i0 1 4 的一部分 主要工 作集中在企業(yè)風(fēng)險(xiǎn)管理需求中的面向異常檢測(cè)的關(guān)聯(lián)模式挖掘算法研究 i i 1 風(fēng)險(xiǎn)及企業(yè)風(fēng)險(xiǎn)管理 所謂風(fēng)險(xiǎn)p 1 r i s k 即是指 傷害或損失的可能性 t h ep o s s i b i l i t yo f h a r mo rl o s t 這個(gè)術(shù)語(yǔ)描述的是事件及其后果的不確定性 它們對(duì)企業(yè)本身和企業(yè)目標(biāo)有著不可預(yù)料 的影響 風(fēng)險(xiǎn)的涵蓋面很廣 可以是c e o 的突然死亡 也可以是一場(chǎng)摧毀一個(gè)企業(yè)公司 辦公大樓的地震等等 有些風(fēng)險(xiǎn)是可以預(yù)料的 有些風(fēng)險(xiǎn)是不以人的意志為轉(zhuǎn)移的 我 們必須盡最大限度的努力找到它們并采取預(yù)防措施來(lái)減少其危害性 風(fēng)險(xiǎn)的核心因素是不確定性 3 棚1 即某個(gè)危險(xiǎn)事件發(fā)生時(shí)出現(xiàn)損失的可能性 風(fēng)險(xiǎn)是 不確定情況中出現(xiàn)非預(yù)料結(jié)果的可能性 比如 當(dāng)一個(gè)企業(yè)或企業(yè)的一個(gè)部門(mén)把自己的 服務(wù)器連接到因特網(wǎng)上的時(shí)候 它們會(huì)遭到攻擊嗎 它們可能會(huì) 被 黑 掉 也可能永遠(yuǎn)都沒(méi)有成 為攻擊的目標(biāo) 結(jié)果雖然不確定 可威脅卻確實(shí)存在 企業(yè)風(fēng)險(xiǎn)管理1 3 1 0 是旨在對(duì) 企業(yè)風(fēng)險(xiǎn)的不確定性及可能性等 因素進(jìn)行考察 預(yù)測(cè) 收集 分 析的基礎(chǔ)上制定出包括風(fēng)險(xiǎn)識(shí) 別 風(fēng)險(xiǎn)衡量 積極管理風(fēng)險(xiǎn) 有效處理風(fēng)險(xiǎn)及妥善處理風(fēng)險(xiǎn)所 致?lián)p失等一整套系統(tǒng)而科學(xué)的管 理方法 簡(jiǎn)單地講 企業(yè)風(fēng)險(xiǎn)管 理就是對(duì)企業(yè)中有負(fù)面后果的潛 在風(fēng)險(xiǎn)或威脅進(jìn)行識(shí)別 評(píng)估和 管理等的過(guò)程 如圖1 1 所示 圖1 1 企業(yè)風(fēng)險(xiǎn)管理的過(guò)程 1 風(fēng)險(xiǎn)識(shí)別 是指對(duì)企業(yè)所面臨的尚未發(fā)生的潛在的各種風(fēng)險(xiǎn) 或威脅 進(jìn)行系 統(tǒng)的歸納分析 從而加以認(rèn)識(shí)與辨別的過(guò)程 現(xiàn)實(shí)社會(huì)中的風(fēng)險(xiǎn)并不都是顯露在外的 東南大學(xué)博士學(xué)位論文 未加識(shí)別或錯(cuò)誤識(shí)別的風(fēng)險(xiǎn)通常不僅是難以?xún)?yōu)化管理的風(fēng)險(xiǎn) 而且還會(huì)造成意料之外的 損失 不論整個(gè)風(fēng)險(xiǎn)管理計(jì)劃的其他方面做得多么周到 科學(xué) 如在風(fēng)險(xiǎn)識(shí)別方面工作 做得不好 沒(méi)有對(duì)即將發(fā)生的風(fēng)險(xiǎn)給出正確的識(shí)別 就不可能有效地控制和處置風(fēng)險(xiǎn) 企業(yè)的生產(chǎn)經(jīng)營(yíng)活動(dòng)便無(wú)法正常進(jìn)行 所以 風(fēng)險(xiǎn)識(shí)別在整個(gè)風(fēng)險(xiǎn)管理中具有十分重要 的作用 2 風(fēng)險(xiǎn)評(píng)估 是指用現(xiàn)代化定量分析的方法對(duì)特定風(fēng)險(xiǎn)發(fā)生的可能性或損失的范 圍與程度進(jìn)行評(píng)估與衡量 實(shí)施風(fēng)險(xiǎn)管理 僅僅能識(shí)別風(fēng)險(xiǎn)還遠(yuǎn)遠(yuǎn)不夠 還必須對(duì)可能 出現(xiàn)的后果從數(shù)量上予以充分的估計(jì)與衡量 只有準(zhǔn)確地衡量各種風(fēng)險(xiǎn) 刊 能決定是采 用自留風(fēng)險(xiǎn)還是通過(guò)保險(xiǎn)轉(zhuǎn)嫁風(fēng)險(xiǎn) 準(zhǔn)確衡量各種風(fēng)險(xiǎn)還能為風(fēng)險(xiǎn)管理決策者提供科學(xué) 的依據(jù) 所以風(fēng)險(xiǎn)評(píng)估是風(fēng)險(xiǎn)管理的一個(gè)重要內(nèi)容 3 風(fēng)險(xiǎn)管理 是指對(duì)風(fēng)險(xiǎn)進(jìn)行具體的管理 它包括風(fēng)險(xiǎn)管理工具的選擇以及風(fēng)險(xiǎn) 管理的實(shí)施與評(píng)價(jià) 在完成了以上步驟之后就要對(duì)是否需要實(shí)施風(fēng)險(xiǎn)管理 如何實(shí)施風(fēng) 險(xiǎn)管理等進(jìn)行決策 比如是承接風(fēng)險(xiǎn) 還是轉(zhuǎn)移風(fēng)險(xiǎn) 或采用其他方法等 1 1 2 風(fēng)險(xiǎn)管理是網(wǎng)絡(luò)安全防護(hù)的重要技術(shù) 隨著科技的進(jìn)步和計(jì)算機(jī)網(wǎng)絡(luò)的飛速發(fā)展 信息產(chǎn)業(yè)及其應(yīng)用市場(chǎng)得到了巨大的發(fā) 展 政府 金融 電信等企事業(yè)單位對(duì)網(wǎng)絡(luò)的依賴(lài)程度越來(lái)越高 網(wǎng)絡(luò)和電子商務(wù)已經(jīng) 成為企業(yè)制勝的必由之路 越來(lái)越多的企業(yè)將自己的關(guān)鍵業(yè)務(wù)置于網(wǎng)絡(luò)之上 網(wǎng)上運(yùn)營(yíng) 的業(yè)務(wù)量也在不斷增加 并取得了卓越的成績(jī) 然而 高度發(fā)達(dá)的網(wǎng)絡(luò)也帶來(lái)了高風(fēng)險(xiǎn) 網(wǎng)絡(luò)與信息系統(tǒng)的安全已經(jīng)成為人們高度關(guān)注的社會(huì)問(wèn)題 并且上升到了一個(gè)關(guān)系企業(yè) 生存和發(fā)展的焦點(diǎn)問(wèn)題 企業(yè)網(wǎng)絡(luò)之所以處于風(fēng)險(xiǎn)之中 是因?yàn)槠髽I(yè)所采用的網(wǎng)絡(luò)系統(tǒng)平臺(tái)以及其應(yīng)用中存 在許多漏洞 i h 8 如常用的微軟操作系統(tǒng) 使用最廣泛的網(wǎng)絡(luò)t c p i p 協(xié)議等都存在著 許多漏洞 對(duì)于這些漏洞 企業(yè)必須引起高度警戒 如何預(yù)測(cè) 識(shí)別 評(píng)估這些潛在的 風(fēng)險(xiǎn) 以最為經(jīng)濟(jì)和有效的對(duì)策來(lái)處理這些意外的風(fēng)險(xiǎn) 己成為現(xiàn)代企業(yè)管理中的一個(gè) 重要的組成部分 在一定程度上 決定著一個(gè)企業(yè)的生存和發(fā)展 早期在企業(yè)風(fēng)險(xiǎn)管理 方面所做的努力大多是基于簡(jiǎn)單的直覺(jué) 由于當(dāng)時(shí)企業(yè)在機(jī)構(gòu) 業(yè)務(wù)以及市場(chǎng)競(jìng)爭(zhēng)環(huán)境 等方面遠(yuǎn)沒(méi)有現(xiàn)在的企業(yè)這么復(fù)雜 這種憑直覺(jué)的做法足以應(yīng)付 但是 一旦企業(yè)的網(wǎng) 絡(luò)系統(tǒng)連接到因特網(wǎng)上 企業(yè)就等于連通了整個(gè)世界 因特網(wǎng)的每個(gè)端點(diǎn)都可以被看成 一個(gè)潛在的威脅 企業(yè)里的計(jì)算機(jī)信息會(huì)被非法操縱 破壞和利用 成為傷害自身或作 為中間體傷害他人的工具 因特網(wǎng)時(shí)代的風(fēng)險(xiǎn)將會(huì)顯得更巨大 更突然 因此 對(duì)企業(yè) 風(fēng)險(xiǎn)的管理越來(lái)越需要依賴(lài)于科學(xué)的方法 企業(yè) 尤其是電子商務(wù)企業(yè) 建立網(wǎng)絡(luò)安全防護(hù)體系的全部意義就在于風(fēng)險(xiǎn)管理 1 安防技術(shù)應(yīng)能使企業(yè)更好地確認(rèn)哪些端點(diǎn)在訪問(wèn)企業(yè)的網(wǎng)絡(luò)系統(tǒng) 它們的身份到底是 誰(shuí) 它們?cè)L問(wèn)的目的是什么 它們?cè)L問(wèn)的行為是否正常 等等 安全防護(hù)體系通過(guò)相應(yīng) 的技術(shù) 產(chǎn)品 幫助企業(yè)了解網(wǎng)絡(luò)自身的安全性 漏洞在何處 被攻破之后破壞性有多 2 緒論 大 同時(shí)幫助企業(yè)解決那些產(chǎn)生風(fēng)險(xiǎn)管理的漏洞問(wèn)題 也就是說(shuō) 通過(guò)這類(lèi)風(fēng)險(xiǎn)管理系 統(tǒng)的運(yùn)行 企業(yè)能夠發(fā)現(xiàn)網(wǎng)絡(luò)安全威脅存在那里 然后采用相應(yīng)的解決方案 因此 從 信息安全的角度來(lái)看 風(fēng)險(xiǎn)管理是網(wǎng)絡(luò)安全防御中的 項(xiàng)重要技術(shù) 1 2 企業(yè)網(wǎng)絡(luò)的安全防護(hù)體系結(jié)構(gòu) 隨著i n t e r n e t 的迅速發(fā)展和網(wǎng)絡(luò)社會(huì)的到來(lái) 網(wǎng)絡(luò)將會(huì)無(wú)所不在地影響企業(yè)生產(chǎn) 管 理和決策等業(yè)務(wù)活動(dòng)的各個(gè)方面 計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)的應(yīng)用在給企業(yè)帶來(lái)極大方便的同時(shí) 也給企業(yè)帶來(lái)了涉及安全的新的隱患 一般而言 對(duì)網(wǎng)絡(luò)安全的威脅主要表現(xiàn)在 未授 權(quán)的非法訪問(wèn) 冒充合法用戶(hù) 破壞數(shù)據(jù)的完整性 干擾系統(tǒng)正常運(yùn)行 利用網(wǎng)絡(luò)傳播 病毒 線路偵聽(tīng)等 由此應(yīng)運(yùn)而生了許多用于網(wǎng)絡(luò)安全的產(chǎn)品 如防火墻 v p n c a 及掃描器等 其產(chǎn)品所含組件的功能主要為 訪問(wèn)控制 鑒別與認(rèn)證 加密等 3 1 1 1 9 它們對(duì)防止系統(tǒng)被非法訪問(wèn)都有一定的效果 但也存在許多缺陷 例如 利用防火墻技 術(shù) 經(jīng)過(guò)合理配置 通常能夠在內(nèi)外網(wǎng)之間提供安全的網(wǎng)絡(luò)保護(hù) 降低網(wǎng)絡(luò)安全的風(fēng)險(xiǎn) 為網(wǎng)絡(luò)服務(wù)提供較好的身份認(rèn)證和訪問(wèn)控制技術(shù) 但防火墻技術(shù)并不是萬(wàn)能的 其問(wèn)題 主要表現(xiàn)在 1 7 1 8 入侵者可以尋找防火墻背后可能敞開(kāi)的后門(mén)或者通過(guò)蠻力攻擊或 利用計(jì)算機(jī)軟 硬件系統(tǒng)的缺陷闖入未授權(quán)的計(jì)算機(jī)及網(wǎng)絡(luò)資源 防火墻完全不能阻 止內(nèi)部襲擊 對(duì)于企業(yè)內(nèi)部員工來(lái)說(shuō)防火墻形同虛設(shè) 而調(diào)查發(fā)現(xiàn) 8 0 以上的攻擊都 來(lái)自?xún)?nèi)部 許多造成嚴(yán)重后果的系統(tǒng)入侵正是由內(nèi)部攻擊者發(fā)起的 由于性能的限制 防火墻通常不能提供實(shí)時(shí)的入侵檢測(cè)能力 防火墻對(duì)于病毒也是束手無(wú)策的 又如 傳統(tǒng)的身份認(rèn)證技術(shù) 包括k e r b e r o s 技術(shù) 并不能抵制脆弱性口令 字典攻擊 特洛伊 木馬 網(wǎng)絡(luò)窺探器以及電磁輻射等攻擊手段 對(duì)于訪問(wèn)控制 入侵者也可以利用脆弱性 程序或系統(tǒng)漏洞繞過(guò)訪問(wèn)控制 或者提升用戶(hù)權(quán)限 或者非法讀寫(xiě)文件等等 針對(duì)原有安全模型的這些缺陷 有些學(xué)者提出企業(yè)網(wǎng)絡(luò)的安全防護(hù)體系結(jié)構(gòu)應(yīng)包含 4 部分 2 1 即如圖1 2 所示 此結(jié)構(gòu)具有較強(qiáng)的可靠性 適用于實(shí)際應(yīng)用 可以組成一 個(gè) 完整的 動(dòng)態(tài)的 安全循環(huán) 在這個(gè)結(jié)構(gòu)中 構(gòu)筑一個(gè)安全防御模塊只是其中的一 小部分 它還應(yīng)包括入侵檢測(cè)模 塊 調(diào)查模塊以及事后分析模塊 檢測(cè)模塊用于發(fā)現(xiàn)各種違反系統(tǒng) 安全規(guī)則的入侵行為 調(diào)查模塊 將檢測(cè)模塊所獲得的數(shù)據(jù)加以分 析 并確認(rèn)當(dāng)前所發(fā)生的有關(guān)入 侵企圖 事后分析模塊確定將來(lái) 如何抵制類(lèi)似的入侵行為 在這 以前 人們的注意力主要集中在 防御模塊上 隨著系統(tǒng)脆弱性評(píng) 估及入侵檢測(cè)工作的深入 入侵 圖1 2 企業(yè)網(wǎng)絡(luò)的安全防護(hù)體系結(jié)構(gòu)圖 東南大學(xué)博士學(xué)位論文 檢測(cè)模塊也越來(lái)越受到人們的重視 而后兩個(gè)模塊的研究開(kāi)發(fā)工作尚有待于進(jìn)一步的開(kāi) 展 1 3 企業(yè)網(wǎng)絡(luò)的入侵檢測(cè)系統(tǒng) 前已述及 隨著網(wǎng)絡(luò)技術(shù)的發(fā)展 網(wǎng)絡(luò)環(huán)境變得越來(lái)越復(fù)雜 對(duì)于網(wǎng)絡(luò)安全來(lái)說(shuō) 防火墻 加密 身份認(rèn)證等傳統(tǒng)技術(shù)已暴露出明顯的不足和弱點(diǎn) 因此 很多研究部門(mén) 目前正在致力于提出更多更強(qiáng)大的主動(dòng)策略和方案來(lái)增強(qiáng)網(wǎng)絡(luò)的安全性 入侵檢測(cè)系統(tǒng) 就是其中一個(gè)有效的解決途徑 入侵檢測(cè)的主要目的有 1 1 1 3 1 4 2 0 2 1 識(shí)別入侵者 識(shí)別入侵行為 檢測(cè)和監(jiān)視已成 功的安全突破 為對(duì)抗措施及時(shí)提供重要信息 從這個(gè)角度來(lái)看待安全問(wèn)題 入侵檢測(cè) 是非常必要的 它可以彌補(bǔ)傳統(tǒng)安全保護(hù)措施的不足 入侵檢測(cè)系統(tǒng)將成為系統(tǒng)安全的 第二道防線 并已引起了許多學(xué)者的極大興趣 成為近幾年很多研究人員進(jìn)行網(wǎng)絡(luò)安全 研究的一個(gè)極其重要的課題 1 3 1 入侵檢測(cè)系統(tǒng) 入侵檢測(cè)技術(shù)是為了保證計(jì)算機(jī)系統(tǒng)的安全而設(shè)計(jì)與配置的一種能夠及時(shí)發(fā)現(xiàn)并報(bào) 告系統(tǒng)中異?，F(xiàn)象的技術(shù) 是一種用于檢測(cè)計(jì)算機(jī)網(wǎng)絡(luò)中違反安全策略行為的技術(shù) 它 通過(guò)對(duì)計(jì)算機(jī)網(wǎng)絡(luò)或計(jì)算機(jī)系統(tǒng)中的若干關(guān)鍵點(diǎn)收集信息并進(jìn)行分析 從中發(fā)現(xiàn)網(wǎng)絡(luò)或 系統(tǒng)中是否有違反安全策略的行為和被攻擊的跡象 0 0 2 2 描 進(jìn)行入侵檢測(cè)的軟件與硬件的組合就是入侵檢測(cè)系統(tǒng) i d s i n t r u s i o nd e t e c t i o n s y s t e m 該系統(tǒng)能夠識(shí)別出不希望有的活動(dòng) 從而達(dá)到限制這些非法活動(dòng) 以保護(hù)系統(tǒng) 的安全 入侵檢測(cè)系統(tǒng)的應(yīng)用 能夠在入侵攻擊對(duì)系統(tǒng)發(fā)生危害之前檢測(cè)到入侵攻擊 著利 用報(bào)警與防護(hù)系統(tǒng)驅(qū)逐入侵攻擊 在入侵攻擊過(guò)程中 能減少入侵攻擊所造成的損失 在被入侵攻擊后 收集入侵攻擊的相關(guān)信息 作為防范系統(tǒng)的知識(shí) 以增強(qiáng)系統(tǒng)的防范 能力 由此可見(jiàn) 入侵檢測(cè)系統(tǒng)可以彌補(bǔ)防火墻等傳統(tǒng)安全防御措施的不足 為網(wǎng)絡(luò)安 全提供實(shí)時(shí)的入侵檢測(cè)及采取相應(yīng)的防護(hù)手段 它不僅能檢測(cè)來(lái)自外部的入侵行為 同 時(shí)也能指出內(nèi)部用戶(hù)的未授權(quán)活動(dòng) 可以這樣認(rèn)為 入侵檢測(cè)實(shí)質(zhì)上是應(yīng)用了 以守為 攻 的策略 它所提供的數(shù)據(jù)不僅有可能用來(lái)發(fā)現(xiàn)合法用戶(hù)是否濫用特權(quán) 還有可能成 為追究入侵者法律責(zé)任的有效證據(jù) 1 3 2 入侵檢測(cè)系統(tǒng)的實(shí)現(xiàn) 入侵檢測(cè)系統(tǒng)的實(shí)現(xiàn)過(guò)程分為兩步 2 0 一是信息收集 二是信號(hào)分析 1 信息收集 信息收集的內(nèi)容主要包括網(wǎng)絡(luò) 系統(tǒng) 數(shù)據(jù)以及用戶(hù)活動(dòng)的狀態(tài)和行為 系統(tǒng)需要 在計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中的若干關(guān)鍵點(diǎn) 不同網(wǎng)段和不同主機(jī) 收集信息 入侵檢測(cè)系統(tǒng)所 利用的信息一般來(lái)自以下4 個(gè)方面 4 緒論 1 系統(tǒng)和網(wǎng)絡(luò)日志文件 入侵者經(jīng)常在系統(tǒng)目志文件中留下其蹤跡 因此 充分利用系統(tǒng)和網(wǎng)絡(luò)日志文件信 息是檢測(cè)入侵的必要條件 曰志中包含發(fā)生在系統(tǒng)和網(wǎng)絡(luò)上的不尋常和不期望活動(dòng)的證 據(jù) 這些證據(jù)可以指出有入侵者正在入侵或已成功入侵系統(tǒng) 通過(guò)查看日志文件 能夠 發(fā)現(xiàn)入侵企圖或成功的入侵 并能快速啟動(dòng)相應(yīng)的應(yīng)急h 向應(yīng)程序加以處理 2 系統(tǒng)目錄和文件 網(wǎng)絡(luò)環(huán)境中的文件系統(tǒng)包含了很多軟件和數(shù)據(jù)文件 包含重要信息的文件和私有數(shù) 據(jù)文件經(jīng)常是入侵者修改或破壞的目標(biāo) 目錄和文件中的異常改變 特別是那些正常情 況下限制訪問(wèn)的信息 很可能就是一種入侵產(chǎn)生的指示和信號(hào) 入侵者經(jīng)常替換 修改 和破壞他們獲得訪問(wèn)權(quán)的系統(tǒng)上的文件 同時(shí) 為了隱藏系統(tǒng)中他們的表現(xiàn)及活動(dòng)痕跡 都會(huì)盡力去替換系統(tǒng)程序或修改系統(tǒng)日志文件 3 程序執(zhí)行中的有關(guān)信息 網(wǎng)絡(luò)系統(tǒng)上的程序執(zhí)行一般包括操作系統(tǒng) 網(wǎng)絡(luò)服務(wù) 用戶(hù)啟動(dòng)的程序和特定目的 的應(yīng)用 例如數(shù)據(jù)庫(kù)服務(wù)器 每個(gè)系統(tǒng)上執(zhí)行的程序由一到多個(gè)進(jìn)程來(lái)實(shí)現(xiàn) 每個(gè)進(jìn)程 執(zhí)行在不同權(quán)限的環(huán)境中 這種環(huán)境控制著進(jìn)程可訪問(wèn)的資源 程序和數(shù)據(jù)文件等 一 個(gè)進(jìn)程的執(zhí)行行為由它運(yùn)行時(shí)所執(zhí)行的操作來(lái)表現(xiàn) 操作執(zhí)行的方式不同 它利用的系 統(tǒng)資源也就不同 一個(gè)進(jìn)程出現(xiàn)了異常行為可能表明入侵者正在入侵企業(yè)的運(yùn)行系統(tǒng) 入侵者可能會(huì) 將程序或服務(wù)器的運(yùn)行分解 從而導(dǎo)致其失敗 或者是以非用戶(hù)或管理員意圖的方式操 作 f 4 物理形式的入侵信息 這包括兩個(gè)方面的內(nèi)容 一是未授權(quán)的對(duì)網(wǎng)絡(luò)硬件的連接 另一個(gè)是對(duì)物理資源的 未授權(quán)的訪問(wèn) 入侵者會(huì)想方設(shè)法地突破網(wǎng)絡(luò)的各種防衛(wèi) 如果入侵者能夠在物理上訪 問(wèn)內(nèi)部網(wǎng) 就能安裝他們自己的設(shè)備和軟件 據(jù)此 入侵者可以了解網(wǎng)上用戶(hù)加上去的 不安全設(shè)備 然后利用這些設(shè)備訪問(wèn)網(wǎng)絡(luò) 2 信號(hào)分析 信號(hào)分析是指對(duì)于上述4 類(lèi)收集到的有關(guān)系統(tǒng) 網(wǎng)絡(luò) 數(shù)據(jù) 用戶(hù)活動(dòng)狀態(tài)和行為 等信息進(jìn)行分析 一般通過(guò)3 種技術(shù)手段進(jìn)行分析 模式匹配 統(tǒng)計(jì)分析和完整性分析 1 模式匹配 模式匹配就是將收集到的信息與已知的網(wǎng)絡(luò)入侵和系統(tǒng)誤用模式數(shù)據(jù)庫(kù)進(jìn)行比較 從而發(fā)現(xiàn)違背安全策略的行為 該方法的一大優(yōu)點(diǎn)是只需收集相關(guān)的數(shù)據(jù)集合 從而顯 著減輕了系統(tǒng)的負(fù)擔(dān) 且技術(shù)已相當(dāng)成熟 它與病毒防火墻所采用的方法一樣 檢測(cè)準(zhǔn) 確率和效率都相當(dāng)高 但是該方法存在的弱點(diǎn)是需要不斷地升級(jí)以應(yīng)付不斷出現(xiàn)的入侵 者攻擊手法 不能檢測(cè)從未出現(xiàn)過(guò)的入侵者攻擊手段 f 2 統(tǒng)計(jì)分析 統(tǒng)計(jì)分析方法首先給系統(tǒng)對(duì)象創(chuàng)建一個(gè)統(tǒng)計(jì)描述 統(tǒng)計(jì)正常使用時(shí)的一些測(cè)量屬性 5 東南人學(xué)博 一學(xué)位論文 測(cè)量屬性的平均值將被用來(lái)與網(wǎng)絡(luò) 系統(tǒng)的行為進(jìn)行比較 當(dāng)任何觀察值在正常范圍之 外 就認(rèn)為有入侵發(fā)生 其優(yōu)點(diǎn)是可檢測(cè)到未知的入侵和更為復(fù)雜的入侵 缺點(diǎn)是誤報(bào) 率高 也不適用于用戶(hù)正常行為的突然改變 3 完整性分析 完整性方法主要關(guān)注某個(gè)文件或?qū)ο笫欠癖恍薷?這經(jīng)常包括文件和目錄的內(nèi)容及 其屬性 它在發(fā)現(xiàn)被更改的 被特洛伊化的應(yīng)用程序方面特別有效 其優(yōu)點(diǎn)是無(wú)論模式 匹配方法和統(tǒng)計(jì)分析方法能否發(fā)現(xiàn)入侵 只要是成功的攻擊導(dǎo)致了文件或其他對(duì)象的任 何改變 它都能被發(fā)現(xiàn) 缺點(diǎn)是一般以批處理方式實(shí)現(xiàn) 不能用于實(shí)時(shí)n 向應(yīng) 1 3 2 入侵檢測(cè)方法 根據(jù)被檢測(cè)對(duì)象的不同 入侵檢測(cè)系統(tǒng)可被分為4 類(lèi) 2 基于主機(jī)的入侵檢測(cè)系統(tǒng) 基于網(wǎng)絡(luò)的入侵檢測(cè)系統(tǒng) 混合入侵檢測(cè)系統(tǒng)和基于應(yīng)用軟件的入侵檢測(cè)系統(tǒng) 1 基于主機(jī)的入侵檢測(cè)系統(tǒng) h o s t i n t r u s i o nd e t e c t i o ns y s t e m 基于主機(jī)的入侵檢測(cè) 系統(tǒng) 如圖1 3 所示 通 常安裝在權(quán)限被授予和跟 蹤的主機(jī)上 主要是對(duì)該 主機(jī)的網(wǎng)絡(luò)實(shí)時(shí)連接以及 桑 系統(tǒng)審計(jì)同志進(jìn)行智能化 的分析和判斷 如果其主霜 一 圖1 3 基于主機(jī)目志的檢測(cè) 體活動(dòng)十分可疑 入侵檢測(cè)系統(tǒng)就會(huì)采取相應(yīng)的措施 這種檢測(cè)方法首先要求系統(tǒng)根據(jù)配置信息中設(shè)置的需要審計(jì)事件 這些事件一旦發(fā) 生 系統(tǒng)就將具體參數(shù)記錄在日志文件中 檢測(cè)系統(tǒng)則依據(jù)一定算法對(duì)日志文件中的審 計(jì)數(shù)據(jù)進(jìn)行分析 最后得出結(jié)果報(bào)告 2 基于網(wǎng)絡(luò)的入侵檢測(cè)系統(tǒng) n e t w o r k i n t r u s i o nd e t e c t i o ns y s t e m 基于網(wǎng)絡(luò)的入侵檢測(cè)系統(tǒng) 如圖1 4 所示 通常放置在 比較重要的網(wǎng)段內(nèi) 不停地監(jiān) 視網(wǎng)段內(nèi)的各種數(shù)據(jù)包 對(duì)每 i t t 一個(gè)數(shù)據(jù)包或可疑的數(shù)據(jù)包進(jìn) 行特征分析 如果數(shù)據(jù)包與系 統(tǒng)內(nèi)置的某些模式吻合 入侵 檢測(cè)系統(tǒng)就會(huì)發(fā)出警報(bào)甚至直 接切斷網(wǎng)絡(luò)連接 通常 將入侵檢測(cè)系統(tǒng)放 置在防火墻或網(wǎng)關(guān)后 就像網(wǎng) 圖1 4 基于網(wǎng)絡(luò)數(shù)據(jù)包的檢測(cè) 緒論 絡(luò)探測(cè)器一樣 捕獲所有內(nèi)傳或外傳的數(shù)據(jù)包 但它并不延誤數(shù)據(jù)包的傳送速度 因?yàn)?它對(duì)數(shù)據(jù)包來(lái)說(shuō)僅僅是在進(jìn)行監(jiān)視 3 混合入侵檢測(cè)系統(tǒng) m i x i n t r u s i o nd e t e c t i o n s y s t e m 基于網(wǎng)絡(luò)的入侵檢測(cè)系統(tǒng)和基于主機(jī)的入侵檢測(cè)系統(tǒng)都有不足之處 單純使用一類(lèi) 技術(shù)都會(huì)造成主動(dòng)防御體系不夠全面 但是 它們的缺憾是互補(bǔ)的 如果將這兩類(lèi)技術(shù) 有效地結(jié)合起來(lái)并部署在網(wǎng)絡(luò)內(nèi) 則會(huì)構(gòu)架成一套完整的主動(dòng)防御體系 混合入侵檢測(cè) 系統(tǒng) m i d s 綜合了基于網(wǎng)絡(luò)和基于主機(jī)兩種系統(tǒng)特點(diǎn)的入侵檢測(cè)系統(tǒng) 既可發(fā)現(xiàn)網(wǎng)絡(luò)中 的攻擊信息 也可從系統(tǒng)日志中發(fā)現(xiàn)異常情況 4 基于應(yīng)用軟件的入侵檢測(cè)系統(tǒng) a p p l i c a t i o n i n t r u s i o nd e t e c t i o ns y s t e m 基于應(yīng)用軟件的入侵檢測(cè)系統(tǒng)是在應(yīng)用軟件級(jí)收集信息 比如各種應(yīng)用程序 數(shù)據(jù) 庫(kù)管理軟件 w 曲服務(wù)器和防火墻都能生成自己的日志 日志信息是由放置在應(yīng)用軟件 中的檢測(cè)感應(yīng)器負(fù)責(zé)收集和分析的 對(duì)于上述任何一種被測(cè)對(duì)象 就具體的檢測(cè)方法而言 進(jìn)一步可分為基于知識(shí)的檢 測(cè)和基于行為的檢測(cè) 1 基于知識(shí)的檢測(cè) 誤用檢測(cè) 基于知識(shí)的入侵檢測(cè)也被稱(chēng)為誤用檢測(cè) m i s u s ed e t e c t i o n 這一檢測(cè)假設(shè)入侵者活 動(dòng)可以用一些模式來(lái)表示 系統(tǒng)的目標(biāo)就是檢測(cè)主體活動(dòng)是否符合這些模式 它可以將 已有的入侵方法檢查出來(lái) 但對(duì)新的入侵方法無(wú)能為力 其難點(diǎn)在于如何設(shè)計(jì)模式使之 既能夠表達(dá) 入侵 現(xiàn)象而又不會(huì)將正常的活動(dòng)包含進(jìn)來(lái) 2 基于行為的檢測(cè) 異常檢測(cè) 基于行為的入侵檢測(cè)也稱(chēng)為異常檢 狽 l j a n o m a l yd e t e c t i o n 基于異常的檢測(cè)方法主要 來(lái)源于這樣的思想 任何人的正常行為都是有一定的規(guī)律性 并且可以通過(guò)分析這些行 為產(chǎn)生的日志信息總結(jié)出這些規(guī)律 而入侵和濫用行為則通常和正常的行為存在較大的 差異 通過(guò)檢查這些差異就可以檢測(cè)入侵 例如 如果企業(yè)信息系統(tǒng)中的一個(gè)用戶(hù)x 僅 僅是在某個(gè)時(shí)間段 如早上9 點(diǎn)到下午5 點(diǎn)之間 在企業(yè)某部門(mén)的辦公室使用計(jì)算機(jī) 則該用戶(hù)在晚上的活動(dòng)是異常的 就有可能認(rèn)為是入侵 這樣系統(tǒng)就可以檢測(cè)出非法的 入侵行為 此外不屬于入侵的異常行為 濫用自己的權(quán)限 也能被檢測(cè)到 異常檢測(cè)的 難點(diǎn)在于如何建立 用戶(hù)正常使用模式 以及如何設(shè)計(jì)統(tǒng)計(jì)算法 從而不把正常的操作作 為 入侵 或忽略真正的 入侵 行為 在上述兩種入侵檢測(cè)方法中 異常檢測(cè)是一個(gè)非?；钴S的入侵檢測(cè)研究領(lǐng)域 它具 有與系統(tǒng)相對(duì)無(wú)關(guān) 通用性較強(qiáng) 可以檢測(cè)出以前未出現(xiàn)過(guò)的攻擊方法等優(yōu)點(diǎn) 常用的 異常檢測(cè)方法和技術(shù)包括 2 2 i 1 統(tǒng)計(jì)異常檢測(cè)方法 根據(jù)異常檢測(cè)器觀察主體的活動(dòng) 然后產(chǎn)生刻畫(huà)這些活動(dòng)行 為的輪廓 每一個(gè)輪廓保存記錄主體的當(dāng)前行為 并定時(shí)地將當(dāng)前的輪廓與存儲(chǔ)的輪廓 合并 通過(guò)比較當(dāng)前的輪廓與已存儲(chǔ)的輪廓來(lái)判斷異常行為 從而檢測(cè)出網(wǎng)絡(luò)入侵 2 基于特征選擇異常檢測(cè) 通過(guò)從一組度量中挑選能檢測(cè)出入侵的度量構(gòu)成子集來(lái) 東南大學(xué)博士學(xué)位論文 準(zhǔn)確地預(yù)測(cè)或分類(lèi)已檢測(cè)到的入侵 3 基于貝葉斯推理異常檢測(cè)方法 通過(guò)在任意給定的時(shí)刻 測(cè)量a l a a n 變量值推理判斷系統(tǒng)是否有入侵事件發(fā)生 其中每個(gè)變量a 表示系統(tǒng)不同的方面特征 如磁盤(pán)i o 的活動(dòng)數(shù)量 或者系統(tǒng)中頁(yè)面出錯(cuò)的數(shù) 4 基于貝葉斯網(wǎng)絡(luò)異常檢測(cè)方法 貝葉斯網(wǎng)絡(luò)實(shí)現(xiàn)了貝葉定理所揭示的學(xué)習(xí)功能 能發(fā)現(xiàn)大量變量之間的關(guān)系 是進(jìn)行預(yù)測(cè) 分類(lèi)等數(shù)據(jù)分析的有力工具 基于貝葉斯網(wǎng) 絡(luò)異常檢測(cè)方法是通過(guò)建立起異常入侵檢測(cè)貝葉斯網(wǎng) 然后將其用作分析異常測(cè)量工具 5 基于數(shù)據(jù)挖掘異常檢測(cè)方法 計(jì)算機(jī)聯(lián)網(wǎng)導(dǎo)致了大量的審計(jì)記錄 對(duì)象行為日志 信息的數(shù)據(jù)量通常非常大 如何從大量的數(shù)據(jù)中 濃縮 出一個(gè)值或一組值來(lái)表示對(duì)象 行為概貌 并以此進(jìn)行對(duì)象行為的異常分析和檢測(cè) 就可以借用數(shù)據(jù)挖掘的方法 若單 獨(dú)依靠手工方法去發(fā)現(xiàn)記錄中異常現(xiàn)象是不夠的 往往操作不便 不容易找出審計(jì)記錄 間相互關(guān)系 除了上述5 種方法外 還有一些其他方法 如神經(jīng)網(wǎng)絡(luò)法 遺傳算法 免疫系統(tǒng)方 法 模糊識(shí)別法等 這些方法目前大多數(shù)都停留理論研究階段 初步的成果可以參閱有 關(guān)的參考文獻(xiàn) 2 3 3 3 j 1 4 異常檢測(cè)與數(shù)據(jù)挖掘 異常檢測(cè)是目前入侵檢測(cè)系統(tǒng)的主要研究方向 1 1 1 4 2 0 2 2 其特點(diǎn)是通過(guò)對(duì)系統(tǒng)行為的 檢測(cè) 可以發(fā)現(xiàn)未知的攻擊行為 異常檢測(cè)技術(shù)實(shí)質(zhì)上可歸結(jié)為對(duì)安全審計(jì)數(shù)據(jù)的處理 這種處理可以針對(duì)網(wǎng)絡(luò)數(shù)據(jù) 也可以針對(duì)主機(jī)的審計(jì)記錄或應(yīng)用程序的日志文件 其目 的在于正常使用模式的建立以及如何利用這些模式對(duì)當(dāng)前的系統(tǒng)或用戶(hù)行為進(jìn)行比較 從而判斷出與正常模式的偏離程度 應(yīng)該看到 隨著操作系統(tǒng)的日益復(fù)雜化和網(wǎng)絡(luò)數(shù)據(jù) 流量的急劇膨脹 導(dǎo)致了安全審計(jì)數(shù)據(jù)同樣以驚人的速度遞增 激增的數(shù)據(jù)背后蘊(yùn)藏著 許多重要的信息 例如用戶(hù)或系統(tǒng)的正常使用模式等 人們希望能夠?qū)ζ溥M(jìn)行更高抽象 層次的分析 以便更好地利用這些數(shù)據(jù) 目前的安全審計(jì)系統(tǒng)可以高效地實(shí)現(xiàn)安全審計(jì) 數(shù)據(jù)的輸入 查詢(xún) 統(tǒng)計(jì)等功能 但無(wú)法發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)聯(lián) 關(guān)系 規(guī)則和用戶(hù)或 系統(tǒng)行為模式等 無(wú)法根據(jù)現(xiàn)有的數(shù)據(jù)預(yù)測(cè)未來(lái)的發(fā)展趨勢(shì) 缺乏挖掘數(shù)據(jù)背后蘊(yùn)藏的 知識(shí)的手段 導(dǎo)致出現(xiàn)了 安全審計(jì)數(shù)據(jù)爆炸但知識(shí)貧乏 的現(xiàn)象 如何從大量的安全審計(jì)數(shù)據(jù)中提取具有表性的系統(tǒng)或用戶(hù)特征模式 用于對(duì)程序或 用戶(hù)行為進(jìn)行描述 是實(shí)現(xiàn)安全事件審計(jì)系統(tǒng)的關(guān)鍵 為了對(duì)安全審計(jì)數(shù)據(jù)進(jìn)行全面 高速和準(zhǔn)確的分析 可以使用數(shù)據(jù)挖掘技術(shù)來(lái)處理這些安全審計(jì)數(shù)據(jù) 從包含大量冗余 信息的數(shù)據(jù)中提取盡可能多的蘊(yùn)藏的安全信息 抽象出有利于進(jìn)行判斷和比較的特征模 型 這種特征模型可以是基于誤用檢測(cè)的特征向量模型 也可以是基于異常檢測(cè)的行為 描述模型 根據(jù)這些特征向量模型和行為描述模型 可以由計(jì)算機(jī)利用相應(yīng)的算法判斷 出當(dāng)前網(wǎng)絡(luò)行為的性質(zhì) 數(shù)據(jù)挖掘 d a t am i n i n g d m 又稱(chēng)為數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn) k n o w l e d g ed i s c o v e r y i n 8 緒論 d a t a b a s e k d d 是數(shù)據(jù)庫(kù)研究和應(yīng)用的前沿領(lǐng)域 這一領(lǐng)域可以定義為 從業(yè)已構(gòu) 建的大型數(shù)據(jù)庫(kù)中高效地提取并發(fā)現(xiàn)隱式的 未知的 有潛在應(yīng)用價(jià)值的模式或規(guī)則 為企業(yè)進(jìn)行基于知識(shí)的決策提供可靠的理論依據(jù) 數(shù)據(jù)挖掘本身是一項(xiàng)通用的知識(shí)發(fā)現(xiàn) 技術(shù) 其目的是要從海量數(shù)據(jù)中提取出我們所感興趣的數(shù)據(jù)信息或知識(shí) 本論文的研究工作即是在企業(yè)風(fēng)險(xiǎn)管理的主題下 將數(shù)據(jù)挖掘技術(shù)中的關(guān)聯(lián)模式應(yīng) 用于異常檢測(cè)領(lǐng)域 建立面向異常檢測(cè)的關(guān)聯(lián)模式挖掘模型 并提出相應(yīng)的算法 利用 這些算法所得結(jié)果建立用戶(hù)的正常行為模式 為實(shí)際檢測(cè)過(guò)程中用戶(hù)行為的判斷提供比 較的依據(jù) 1 5 國(guó)內(nèi)外研究現(xiàn)狀 國(guó)內(nèi)外的研究和實(shí)驗(yàn)測(cè)試結(jié)果表明 將關(guān)聯(lián)模式挖掘技術(shù)應(yīng)用于異常檢測(cè)在理論上 是可行的 在技術(shù)上建立這樣一套系統(tǒng)也是可能的 2 1 2 7 圖1 5 建立入侵檢鍘模型的數(shù)據(jù)挖掘過(guò)程 目前 國(guó)際上在這個(gè)方向的研究很活躍 2 1 2 3 3 9 l 這些研究大多數(shù)得到美國(guó)國(guó)防部高 級(jí)研究計(jì)劃署 d a r p a 美國(guó)國(guó)家自然科學(xué)基金 n s f 等的支持 其中 美國(guó)哥倫 比亞大學(xué)的w e n k el e e 等研究人員在這方面做了大量工作 他們提出了建立入侵檢測(cè)模 型的數(shù)據(jù)挖掘過(guò)程1 2 1 2 7 1 如圖1 5 所示 此過(guò)程主要包括以下4 步 1 把原始審計(jì)數(shù)據(jù)轉(zhuǎn)換成a s c i i 格式的網(wǎng)絡(luò)分組信息或主機(jī)事件數(shù)據(jù) 其中 原 始審計(jì)數(shù)據(jù)是指從網(wǎng)絡(luò)或主機(jī)上獲得的二進(jìn)制的審計(jì)數(shù)據(jù) 2 把網(wǎng)絡(luò)分組信息或主機(jī)事件數(shù)據(jù)轉(zhuǎn)換成連接或主機(jī)會(huì)話(huà)記錄 每條記錄有多個(gè)連 9 東南大學(xué)博士學(xué)位論文 接特征組成 如連接建立的時(shí)間 連接持續(xù)的時(shí)間 連接使用的服務(wù)端口 源i p 目的 i p 連接的結(jié)束狀態(tài)等 3 利用數(shù)據(jù)挖掘技術(shù)中的關(guān)聯(lián)模式分析算法和序列分析算法挖掘出連接記錄數(shù)據(jù) 庫(kù)中的頻繁模式 如關(guān)聯(lián)模式和頻繁序列等 4 構(gòu)造入侵檢測(cè)模型 即使用一個(gè)分類(lèi)程序 如r i p p e r 4 0 1 程序 構(gòu)造分類(lèi)器 上述步驟需要不斷地反復(fù)和評(píng)估 比如如果分類(lèi)器的分類(lèi)效果不好 就需要通過(guò)關(guān) 聯(lián)模式的挖掘和比較 構(gòu)造出更有助分類(lèi)的特征 在圖1 5 中 關(guān)聯(lián)模式的挖掘是其中的一個(gè)重要組成部分 利用其所挖掘的模式 為連接記錄構(gòu)造附加特征 如時(shí)間統(tǒng)計(jì)特征 主機(jī)統(tǒng)計(jì)特征等 從而可以顯著地降低虛 報(bào)率和漏檢率 在國(guó)內(nèi) 將關(guān)聯(lián)模式技術(shù)運(yùn)用于異常檢測(cè)的研究也有報(bào)道 如清華大學(xué)的連一峰等 人提出的基于模式挖掘的用戶(hù)行為異常檢測(cè)模型 2 0 4 1 武漢大學(xué)的路勇等人提出的基于 數(shù)據(jù)挖掘技術(shù)的入侵檢測(cè)框架 4 2 西安交通大學(xué)的張勇等人提出的基于分布式代理的網(wǎng) 絡(luò)入侵檢測(cè)技術(shù)的研究與實(shí)現(xiàn)刪等等 4 4 0 1 這些項(xiàng)目或研究大多數(shù)得到了國(guó)家自然科學(xué) 基金 國(guó)家重點(diǎn)基金研究發(fā)展規(guī)劃項(xiàng)目或國(guó)家8 6 3 高技術(shù)項(xiàng)目等的資助 文獻(xiàn)1 2 0 4 1 1 應(yīng)用 了數(shù)據(jù)挖掘中的關(guān)聯(lián)分析和序列分析 提取出正常情況下用戶(hù)所執(zhí)行命令中所存在的相 關(guān)性 建立每個(gè)用戶(hù)的歷史行為模式 為實(shí)際檢測(cè)過(guò)程用戶(hù)行為的判斷提供比較的依據(jù) 文獻(xiàn) 4 2 提出了基于分布式數(shù)據(jù)挖掘的入侵檢測(cè)系統(tǒng)框架 詳細(xì)討論了該系統(tǒng)的實(shí)現(xiàn)方 案 模塊結(jié)構(gòu)和關(guān)鍵技術(shù) 給出了系統(tǒng)訓(xùn)練和評(píng)價(jià)方法 此系統(tǒng)是以基于關(guān)聯(lián)規(guī)則方法 的分布式數(shù)據(jù)挖掘技術(shù)為核心 從而實(shí)現(xiàn)了規(guī)則庫(kù)的自動(dòng)生成和更新 并能有效地檢測(cè) 出大規(guī)模的協(xié)同攻擊 文獻(xiàn) 4 3 提出了一套新的基于分布協(xié)作式代理的網(wǎng)絡(luò)入侵檢測(cè)技 術(shù) 這項(xiàng)技術(shù)通過(guò)代理的協(xié)同工作來(lái)阻止本地主機(jī)和整個(gè)網(wǎng)絡(luò)的入侵行為 并且能夠發(fā) 現(xiàn)入侵者的入侵線路 這樣就為徹底根除入侵提供了手段 綜上所述 異常檢測(cè)中的關(guān)聯(lián)模式挖掘已經(jīng)成為一個(gè)非常熱門(mén)的話(huà)題 而且會(huì)在今 后的一段時(shí)間內(nèi)持續(xù)發(fā)展 但就目前而言 這些研究總體上來(lái)說(shuō)還處于理論探討階段 一種模型 或框架 只能解決 部分問(wèn)題 離實(shí)際應(yīng)用還有一定距離 仍有許多問(wèn)題 有待于進(jìn)一步的研究和完善 需要開(kāi)發(fā)出有效的關(guān)聯(lián)模式挖掘算法和相應(yīng)的體系結(jié)構(gòu) 1 6 本文的主要內(nèi)容 本文共分為8 個(gè)部分 1 第一章緒論 說(shuō)明了本文所研究課題的背景 意義 目的以及國(guó)內(nèi)外的研究現(xiàn) 狀 簡(jiǎn)單地介紹了風(fēng)險(xiǎn) 企業(yè)風(fēng)險(xiǎn)管理及數(shù)據(jù)挖掘等相關(guān)術(shù)語(yǔ) 2 1 第二章面向異常檢測(cè)的關(guān)聯(lián)模式挖掘模型 描述了異常檢測(cè)中入侵者和合法用 戶(hù)的行為特點(diǎn) 提出了面向異常檢測(cè)的關(guān)聯(lián)模式挖掘模型 分析了面向異常檢測(cè)的關(guān) 聯(lián)模式挖掘算法的主要技術(shù)難點(diǎn) 1 0 緒論 3 第三章面向異常檢測(cè)的關(guān)聯(lián)模式挖掘算法 針對(duì)安全審計(jì)數(shù)據(jù)的特點(diǎn) 提出了 一種面向異常