（計算機科學(xué)與技術(shù)專業(yè)論文）網(wǎng)絡(luò)入侵檢測系統(tǒng)高速處理技術(shù)研究.pdf

國防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文 摘要 隨著網(wǎng)絡(luò)技術(shù)和網(wǎng)絡(luò)應(yīng)用的飛速發(fā)展，層出不窮的網(wǎng)絡(luò)攻擊手段給網(wǎng)絡(luò)安全帶來了嚴(yán) 峻的挑戰(zhàn)。在高速網(wǎng)絡(luò)環(huán)境下，傳統(tǒng)入侵檢測系統(tǒng)處理技術(shù)已經(jīng)不能滿足日益增長的數(shù)據(jù) 量對實時處理能力的需要。 論文重點研究網(wǎng)絡(luò)入侵檢測系統(tǒng)的高速處理技術(shù)。論文首先提出了一種適合高速網(wǎng)絡(luò) 入侵檢測系統(tǒng)的高速處理模型，然后針對該模型實現(xiàn)中的快速模式匹配算法、自適應(yīng)動態(tài) 負(fù)載均衡以及入侵檢測探針的流識別與管理等關(guān)鍵技術(shù)展開研究，研究成果已得到成功應(yīng) 用。 論文系統(tǒng)分析了網(wǎng)絡(luò)入侵檢測系統(tǒng)的體系結(jié)構(gòu)，提出了一種適合高速網(wǎng)絡(luò)入侵檢測系 統(tǒng)的可擴(kuò)展多級并行處理模型一x m l p p 體系結(jié)構(gòu)模型。該模型把實時要求高、處理相對 規(guī)則的處理任務(wù)交前端高速專用硬件系統(tǒng)在數(shù)據(jù)采集時完成；而把處理復(fù)雜的任務(wù)調(diào)度到 后端由多個入侵檢測探針并行完成。x m l p p 體系結(jié)構(gòu)模型可擴(kuò)展性好、可靠性高，大大 提高了系統(tǒng)整體性能，能較好地適應(yīng)高速網(wǎng)絡(luò)的入侵檢測的需求。 針對高速網(wǎng)絡(luò)入侵檢測中模式匹配存在的性能問題，論文提出一種基于t c a m 的快 速模式匹配算法_ t f p m 算法。該算法通過對待匹配字符串進(jìn)行模式前綴h a s h 檢查， 過濾掉不存在匹配可能的字符串，只使用t c a m 并行查找存在匹配前綴的字符串，有效 地降低了t c a m 查找次數(shù)。該算法使用多隊列虛擬鑒別技術(shù)，并行檢查多個報文，在隱 藏訪問延時的同時提高了t c a m 的利用率。為支持多規(guī)則復(fù)合的復(fù)雜報文分類，論文設(shè) 計并實現(xiàn)了專用模式匹配指令集，與t f p m 算法相結(jié)合，可支持多規(guī)則復(fù)雜報文分類， 增強了模式匹配的報文分類能力。算法實現(xiàn)復(fù)雜度低，可滿足高速網(wǎng)絡(luò)基于內(nèi)容的復(fù)雜報 文分類要求。 針對x m l p p 模型中的負(fù)載分配問題，論文提出了一種面向會話的自適應(yīng)負(fù)載均衡方法 m s f 自適應(yīng)負(fù)載均衡算法。該算法基于i p 報文頭多域分類方法，使用靜態(tài)流表對流 量進(jìn)行劃分，結(jié)合動態(tài)調(diào)整t c p 流數(shù)目最少流束( 具有相同h a s h 值的流的集合) 的方法， 能夠在保持各處理節(jié)點間報文級和位流級負(fù)載均衡的同時，維持網(wǎng)絡(luò)會話的完整性。由于 算法在保持負(fù)載均衡的同時保證了會話完整性，能夠確保入侵檢測探針正確解析所接收報 文的語義，適合于在高速網(wǎng)絡(luò)入侵檢測中使用。 針對入侵檢測探針中流識別與管理存在的問題，論文提出了一種具有良好h a s h 性能 的c r c 2 0 算法。基于該算法，采用基于硬件實現(xiàn)的動態(tài)報文存儲方法，論文提出了實現(xiàn) 高速報文流識別與管理方法。理論分析和模擬結(jié)果表明，該方法的計算復(fù)雜性低、訪存性 能好，適合高速網(wǎng)絡(luò)鏈路中的流管理應(yīng)用。 最后，論文應(yīng)用上述研究成果實現(xiàn)了一個基于宏流水體系結(jié)構(gòu)的高速網(wǎng)絡(luò)數(shù)據(jù)采集與 預(yù)處理系統(tǒng)，該系統(tǒng)既可應(yīng)用于高速入侵檢測，也可應(yīng)用于高速網(wǎng)絡(luò)安全監(jiān)控和網(wǎng)絡(luò)測量 等方面。論文主要成果已成為某高速網(wǎng)絡(luò)入侵檢測系統(tǒng)系列設(shè)備的重要組成部分，從2 0 0 5 第i 頁 國防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文 年開始，系統(tǒng)得到廣泛應(yīng)用，在高速網(wǎng)絡(luò)入侵檢測和網(wǎng)絡(luò)管理等領(lǐng)域發(fā)揮了重要作用。 關(guān)鍵字：高速網(wǎng)絡(luò)、入侵檢測、多級并行處理、模式匹配、自適應(yīng)負(fù)載均衡 第i i 頁 國防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to ft h en e t w o r kt e c h n o l o g i e sa n da p p l i c a t i o n s ，m o r ea n dm o r e n e t w o r ka t t a c kt e c h n i q u e sb r i n gas e r i o u sc h a l l e n g et ot h en e t w o r ks e c u r i t y i nt h el a r g e s c a l e h i g h - t r a f f i cn e t w o r ke n v i r o n m e n t , t h et r a d i t i o n a lt e c h n o l o g i e sf o rn e t w o r k - - b a s e di n t r u s i o n d e t e c t i o ns y s t e m s ( n i d s ) c a nn o ts a t i s f yt h en e e d sf o rr e a l t i m ep r o c e s s i n go ft h eg r o w i n g n e t w o r kt r a f f i c i nt h ed i s s e r t a t i o nw ed e e p l ys t u d yt h eh a r d w a r e b a s e d a c c e l e r a t i n gt e c h n i q u e s f o r h i g h - s p e e dn e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m s w ef i r s tp r o p o s ean o v e la r c h i t e c t u r a lm o d e l f o rn i d s ，a n dt h e nc o n d u c tr e s e a r c ho nt h ek e yt e c h n i q u e so ft h i sm o d e l ，i n c l u d i n gf a s tp a a e m m a t c h i n ga l g o r i t h m s ，a d a p t i v el o a d b a l a n c i n g ，a n df l o wi d e n t i f i c a t i o na n dm a n a g e m e n tf o r n i d sp r o b e s t h em a i nc o n t r i b u t i o n so ft h ed i s s e r t a t i o na r ea sf o l l o w s ： ( 1 ) w ef i r s ts y s t e m a t i c a l l ya n a l y z et h ea r c h i t e c t u r eo fn i d s ，a n dp r o p o s ean o v e l x m l p p ( e x t e n s i b l em u l t i - l e v e lp a r a l l e lp r o c e s s i n gm o d e l ) f o rh i g h - s p e e dn i d s i nt h e x m l p pm o d e l ，t h es i m p l e ，p e r i o d i ct a s k sw h i c hr e q u i r eh i g hp r o c e s s i n gs p e e da r ep r o c e s s e di n t h es p e c i a l l yd e s i g n e dh a r d w a r ew i t hh i 曲s p e e dd u r i n gd a t aa c q u i s i t i o n , a n dt h er e l a t i v e l y c o m p l e xt a s k sa r es c h e d u l e dt ot h eh i g h - p e r f o r m a n c e ，b a c k - e n dp r o b e s t h ex m l p p m o d e lc a n h e l pi m p r o v et h es y s t e mp e r f o r m a n c ea n de n h a n c et h es y s t e mr e l i a b i l i t y , w h i c ha r ev e r y i m p o r t a n tf o rh i g h - s p e e dn i d s ( 2 ) t oi m p r o v et h ep e r f o r m a n c eo fp a a e mm a t c h i n gi nh i 曲- s p e e dn i d s ，an o v e l t c a m - b a s e df a s tp a t t e r nm a t c h i n ga l g o r i t h m , t f p mi sp r o p o s e di nt h i sp a p e r t h ea l g o r i t h m r e d u c e st h en u m b e ro ft c a mm a t c h i n go p e r a t i o n sg r e a t l yb yp r e - f i l t e r i n gt h es t r i n gu s i n g p a t t e mp r e f i xm a t c h i n g b ym e a n so fm u l t i p l ev i r t u a lq u e u e sf o ri d e n t i f i c a t i o n , t h i sa l g o r i t h m s i g n i f i c a n t l yi m p r o v e st h ep e r f o r m a n c eo fp a t t e r nm a t c h i n g t os u p p o r tc o n t e n t - b a s e d m u l t i - r u l e s p a c k e tc l a s s i f i c a t i o n , w ed e s i g na n di m p l e m e n tas p e c i a lp a r e mm a t c h i n g i n s t r u c t i o ns e t t h i si n s t r u c t i o ns e tc a nb eu s e dt o g e t h e rw i t ht f p ma l g o r i t h mt os u p p o r t c o m p l e xm u l t i - r u l e sp a c k e tc l a s s i f i c a t i o na n di m p r o v et h ep a c k e tc l a s s i f i c a t i o na b i l i t yo f p a r e mm a t c h i n g t h et f p ma l g o r i t h mi se a s yt ob ei m p l e m e n t e d 、析mh a r d w a r ea n ds a t i s f i e s t h en e e df o rc o n t e n t - b a s e dc o m p l e xp a c k e tc l a s s i f i c a t i o ni nh i 曲- s p e e dn e t w o r k s ( 3 ) a i m i n ga tt h e l o a d b a l a n c i n gp r o b l e mi nh i g hs p e e dn i d s ，w ep r o p o s em s f ( m i n i m u ms e s s i o nn u m b e rf i r s t ) ，as e s s i o n - o r i e n t e da d a p t i v el o a db a l a n c i n ga l g o r i t h m w i t h c o n s i d e r a t i o no fl o a d b a l a n c i n go fb o t hp a c k e t l e v e la n db i t l e v e l ，t h em s fa l g o r i t h m d y n a m i c a l l ys c h e d u l e st h eo b j e c t sb a s e do nt h es e s s i o nn u m b e ri nt h ef l o w b u n d l e s t h i s a l g o r i t h mm a i n t a i n st h ei n t e g r i t yo ft h es e s s i o n s ，a n de n s u r e st h a tt h en i d sc a i lc o r r e c t l y u n d e r s t a n dt h es e m a n t i c so ft h er e c e i v e dp a c k e t s 第i i i 頁 國防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文 ( 4 ) a i m i n ga tt h ep r o b l e mi nt h ef l o wi d e n t i f i c a t i o na n dm a n a g e m e mo fn i d sp r o b e s ， w ep r o p o s ec r c 2 0 ，a l le f f e c t i v eh a s ha l g o r i t h m b a s e do nt h ec r c 2 0a l g o r i t h m , w e d y n a m i c a l l ys t o r et h er e c e i v e dp a c k e t sb ym e a n so fh a r d w a r e ，a n dr e a l i z et h ei d e n t i f i c a t i o na n d m a n a g e m e n to fh i g hs p e e dp a c k e tf l o w s t h e o r e t i c a la n a l y s i sa n de x t e n s i v es i m u l a t i o n sp r o v e t h a tt h ea l g o r i t h mh a sg o o dc o m p u t a t i o n a lc o m p l e x i t ya n d m e m o 巧一a c c e s sp e r f o r m a n c e ，a n di s s u i t a b l ef o rf l o wm a n a g e m e n ti nh i g hs p e e dn e t w o r k s a tl a s t ，b a s e do nt h ea b o v et e c h n i q u e sw es t u d yt h ei m p l e m e n t a t i o no far e a ls y s t e mw h i c h i sm a c r o - p i p e l i n e d - a r c h i t e c t u r e - b a s e dw i t hi n t e g r a t e dh i g hs p e e dn e t w o r kd a t ac o l l e c t i o na n d p r e - p r o c e s s i n gs y s t e m t h es y s t e mc a p t u r e sp a c k e t sf r o mh i g h s p e e dl i n k sa n dc o m p l e t e st h e p r e p r o c e s s i n gs u c ha sp a c k e tc l a s s i f i c a t i o n ，f i l t e r i n g ，c o n t e n ti n s p e c t i o n ，a n ds oo n t h es y s t e m e f f i c i e n t l ya t t e n u a t e st h en e t w o r kt r a f f i c ，r e d u c e st h ew o r k l o a do fb a c k e n dp r o c e s s i n gp r o b e s ， a n di m p r o v e st h ep e r f o r m a n c eo f n i d s a sah a r d w a r e - b a s e da c c e l e r a t i n gp r o c e s s i n gp l a t f o r m , t h i ss y s t e mc a l lb eu s e dn o to n l yi n h i g h s p e e dn i d s ，b u ta l s o i nh i g h - s p e e dn e t w o r ks e c u r i t ym o n i t o r i n g ，n e t w o r kb e h a v i o r a n a l y s i sa n dn e t w o r km e a s u r e m e n le t c c u r r e n t l yt h i ss y s t e mp l a y sa ni m p o r t a n tr o l ei nt h e f i e l do fs e c u r i t ym a n a g e m e n ta n dn e t w o r km a n a g e m e n t k e yw o r d s ：h i g h s p e e dn e t w o r k , i n t r u s i o nd e t e c t i o n ，m u l t i - l e v e lp a r a l l e lp r o c e s s i n g ， p a t t e r nm a t c h i n g ，a d a p t i v el o a db a l a n c i n g 第i v 頁 國防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文 表2 1 表3 1 表3 2 表4 1 表5 1 表5 2 表5 - 3 表5 4 表5 5 表 表 表 表 表6 4 表6 5 表6 6 表6 7 表6 8 表6 9 表目錄 不同算法的時空復(fù)雜度1 7 不同硬件實現(xiàn)方法的模式匹配性能比較2 9 不同k 值條件下的存儲性能比較3 9 四種算法的實現(xiàn)策略和內(nèi)部參數(shù)設(shè)置5 2 不同哈希算法的計算復(fù)雜性以及哈希性能5 9 測試t r a c e 的基本流量特性統(tǒng)計5 9 不同超時機制下最大沖突深度6 0 f c t 的表項6 4 f s t 表表項的含義“ 流處理框架的主要數(shù)據(jù)結(jié)構(gòu)及其開銷6 7 各功能部件計算延時與處理結(jié)果長度7 2 基于時間槽輪轉(zhuǎn)的t c a m 訪問帶寬分配技術(shù)7 6 規(guī)則分段分解實例7 8 指令格式8 l 并行轉(zhuǎn)發(fā)引擎的指令系統(tǒng)8 1 l o a d 指令的指令格式8 2 s e q u 指令的指令格式8 3 a n d 指令的指令格式8 3 指令系統(tǒng)的寄存器8 4 第v 頁 國防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文 圖目錄 圖1 1 入侵檢測的執(zhí)行時間變化6 圖2 1入侵檢測系統(tǒng)的c i d f 框架。1 1 圖2 2基于c i d f 框架實現(xiàn)的n i d s 層次式處理模型12 圖2 3高速n i d s 層次式處理模型1 4 圖2 4 新型n i d sx m l p p 模型及實現(xiàn)參考1 5 圖2 5高速n i d sx m l p p 模型的模塊化實現(xiàn)2 l 圖2 6 網(wǎng)絡(luò)流量采集與預(yù)處理系統(tǒng)其內(nèi)部結(jié)構(gòu)框圖2 1 圖3 1 基于h a s h 優(yōu)化的模式匹配算法2 4 圖3 2 字節(jié)分解多有限自動機模式匹配的實現(xiàn)2 5 圖3 3 基于b l o o mf i l t e r 的物理自動機的實現(xiàn)框架2 7 圖3 4 基于字節(jié)比較器的模式匹配算法2 8 圖3 5h a s h 鑒別器的物理實現(xiàn)3 0 圖3 6 虛擬h a s h 鑒別器及其實現(xiàn)31 圖3 7 基于t c a m 匹配失敗的優(yōu)化方法3 2 圖3 8c h e c k l i s t 表的生成算法3 4 圖3 9h a s h 鑒別器的增強預(yù)處理過程3 4 圖3 10t f p m 算法描述3 5 圖3 1 1t f p m 算法的模式匹配過程3 6 圖3 1 2 不同概率下的h a s h 鑒別的移動距離3 7 圖3 1 3 不同鑒別窗口長度下t c a m 訪問概率3 8 圖3 1 4 不同概率下的鏈路掃描速度3 8 圖3 1 5 鑒別窗口長度及不同概率下的鏈路掃描速度3 9 圖4 1i b m 自適應(yīng)負(fù)載分配調(diào)度器框圖4 2 圖4 2s m 動態(tài)負(fù)載分配器邏輯框圖4 2 圖4 3并行處理結(jié)構(gòu)下的通用負(fù)載分配模型4 3 圖4 4 自適應(yīng)負(fù)載分配調(diào)度器框圖4 7 圖4 5基于反饋控制的負(fù)載均衡方法4 8 圖4 6 調(diào)度對象選定算法4 9 圖4 7m s f 算法的偽代碼51 圖4 8 報文負(fù)載均衡度比較5 2 圖4 9 位流負(fù)載均衡度比較5 2 圖4 10 重映射破壞度比較圖5 3 圖4 1 l 會話完整性破壞度比較圖。5 3 第v i i 頁 國防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文 圖5 1 圖5 2 圖5 3 圖5 4 圖5 5 圖5 6 圖5 7 圖5 8 圖6 1 圖6 2 圖6 3 圖6 4 圖6 5 圖6 6 圖6 7 圖6 8 圖6 9 圖6 1 0 圖6 1 1 圖6 1 2 圖6 1 3 不同流超時機制下的沖突比例比較一6 0 不同超時機制下的平均訪存次數(shù)比較6 1 不同流下面的沖突比例比較一6 1 流管理方法模型。6 2 流管理的主要數(shù)據(jù)結(jié)構(gòu)6 3 報文緩沖區(qū)的組織6 5 流識別算法6 6 基于c a c h e 的f f t 的空閑流i d 池實現(xiàn)方式6 7 高速數(shù)據(jù)采集與預(yù)處理系統(tǒng)結(jié)構(gòu)框圖6 9 數(shù)據(jù)采集與預(yù)處理系統(tǒng)功能分系統(tǒng)的報文處理過程7 0 高速功能處理分系統(tǒng)宏流水結(jié)構(gòu)框圖7 1 規(guī)則自學(xué)習(xí)反饋技術(shù)實現(xiàn)框圖7 3 報文分類過濾引擎的實現(xiàn)框圖7 5 內(nèi)容搜索功能實現(xiàn)方案7 6 基于t f p m 算法的并行內(nèi)容檢查引擎7 7 t c a m 模式匹配掃描過程7 9 基于數(shù)據(jù)驅(qū)動的內(nèi)容檢查引擎指令系統(tǒng)8 0 多模式并行入侵檢測系統(tǒng)指令系統(tǒng)的結(jié)構(gòu)8 l 寄存器的生命周期8 4 負(fù)載分配引擎實現(xiàn)框圖8 6 高速數(shù)據(jù)采集與預(yù)處理系統(tǒng)的應(yīng)用8 7 第v i i i 頁 獨創(chuàng)性聲明 本人聲明所呈交的學(xué)位論文是我本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研 究成果。盡我所知，除了文中特另0 加以標(biāo)注和致謝的地方外，論文中不包含其他人已 經(jīng)發(fā)表和撰寫過的研究成果，也不包含為獲得國防科學(xué)技術(shù)大學(xué)或其它教育機構(gòu)的學(xué) 位或證書而使用過的材料與我一同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文 中作了明確的說明并表示謝意 學(xué)位論文題目：圈鱉厶堡拴型丕統(tǒng)直逮矬堡燕苤疊究 學(xué)位論文作者簽名： 霆塾二絡(luò) ： 日期：弦7 年，f 月沙日 學(xué)位論文版權(quán)使用授權(quán)書 本人完全了解國防科學(xué)技術(shù)大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定本人授權(quán)國 防科學(xué)技術(shù)大學(xué)可以保留并向國家有關(guān)部門或機構(gòu)送交論文的復(fù)印件和電子文檔，允 許論文被查閱和借閱；可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索， 可以采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文 ( 保密學(xué)位論文在解密后適用本授權(quán)書。) 學(xué)位論文題目：圈終堡拴趔丕統(tǒng)壺董矬壟掛苤盈究 學(xué)位論文作者簽名：弳塾二騖 作者指導(dǎo)教師簽名：- 7 啵 日期：扮7 年，月日 日期：。7 年月伽日 國防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文 第一章緒論 隨著計算機和網(wǎng)絡(luò)通信技術(shù)的飛速發(fā)展，計算機網(wǎng)絡(luò)得到了日益廣泛和深入的應(yīng)用， 特別是互聯(lián)網(wǎng)作為社會基礎(chǔ)設(shè)施的功能表現(xiàn)得日益明顯，已經(jīng)深深地滲透到人類社會的政 治、經(jīng)濟(jì)、文化和生活等各個方面。 然而，隨著i n t e r a c t 網(wǎng)絡(luò)規(guī)模的迅速擴(kuò)張和應(yīng)用的不斷深入，網(wǎng)絡(luò)安全卻成為越來越 嚴(yán)重的社會問題。由于設(shè)計和實現(xiàn)過程中的缺陷，操作系統(tǒng)、網(wǎng)絡(luò)協(xié)議、應(yīng)用軟件和硬件 設(shè)備等設(shè)計中不可避免地會存在安全漏洞；同時，系統(tǒng)配置或使用不當(dāng)也會造成一定的安 全隱患。在主要依靠用戶自律的i n t e m e t 中，這些漏洞和隱患都為惡意攻擊者采用非正常 手段入侵系統(tǒng)提供了可乘之機。隨著互聯(lián)網(wǎng)技術(shù)和應(yīng)用的不斷發(fā)展，各種人為網(wǎng)絡(luò)攻擊( 例 如信息泄漏、信息竊取、數(shù)據(jù)篡改、數(shù)據(jù)刪添、計算機病毒等) 惡化了互聯(lián)網(wǎng)的安全環(huán)境 【l 捌，給國家安全、社會穩(wěn)定、經(jīng)濟(jì)發(fā)展、個人隱私及安全等帶來了極大危害。各種傳統(tǒng) 的靜態(tài)網(wǎng)絡(luò)安全措施【3 】( 如數(shù)據(jù)加密、認(rèn)證與識別、漏洞掃描、訪問控制和防火墻等) 具 有一些無法克服的缺陷( 如被動防御，沒有實時報警以及響應(yīng)能力等) ，已經(jīng)不能滿足維 護(hù)網(wǎng)絡(luò)安全的需要。 入侵檢測技術(shù)是近三十年來出現(xiàn)的一種主動保護(hù)計算機免受入侵者攻擊的新型網(wǎng)絡(luò) 安全技術(shù)。它一般在線地分析系統(tǒng)的審計數(shù)據(jù)或者網(wǎng)絡(luò)中傳輸?shù)膱笪模?dāng)發(fā)現(xiàn)有入侵企圖 或入侵行為的時候，及時向網(wǎng)絡(luò)管理員報告，管理員會采取一定的響應(yīng)措施，如斷開連接、 防止錯誤數(shù)據(jù)蔓延、向入侵者發(fā)出警告等來維護(hù)系統(tǒng)安全。入侵檢測技術(shù)能夠提供對內(nèi)部 攻擊、外部攻擊和誤操作的實時檢測，是網(wǎng)絡(luò)安全技術(shù)極其重要的組成部分。 隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，性能的提高，高速網(wǎng)絡(luò)入侵檢測系統(tǒng)的功能將越來越豐富、技 術(shù)會越來越復(fù)雜。高速網(wǎng)絡(luò)環(huán)境下入侵檢測技術(shù)研究的理論和實用價值凸顯，已成為了國 際上網(wǎng)絡(luò)安全領(lǐng)域亟待解決的前沿課題，相關(guān)理論和技術(shù)的突破對網(wǎng)絡(luò)入侵檢測、行為分 析和內(nèi)容檢查等強化網(wǎng)絡(luò)管理和控制的應(yīng)用有著重大意義。 1 1 入侵檢測及入侵檢測系統(tǒng) 1 1 1 入侵檢測的基本概念 入侵( i n t r u s i o n ) 是指任何企圖危及資源完整性( i n t e g r i t y ) 、機密性( c o n f i d e n t i a l i t y ) 和可用性( a v a i l a b i l i t y ) 的活動嗍。j a m e sa n d e r s o n 將入侵定義為潛在、有預(yù)謀、未經(jīng)授 權(quán)地訪問或操作信息，導(dǎo)致系統(tǒng)不可靠或無法使用的行為吲。因此，入侵不僅包括發(fā)起攻 擊的人( 如惡意的黑客) 取得超出合法范圍的系統(tǒng)控制權(quán)，也包括收集漏洞信息，造成拒 絕訪問( d e n i a lo f s e r v i c e ) 等對計算機系統(tǒng)造成危害的行為。而入侵者可以分為兩類：外 第1 頁 國防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文 部入侵者( 一般指系統(tǒng)中的非法用戶，如常說的黑客) 和內(nèi)部入侵者( 有越權(quán)使用系統(tǒng)資 源行為的合法用戶) 。 入侵檢測( i n t r u s i o nd e t e c t i o n ) 的目標(biāo)是通過檢查操作系統(tǒng)的審計數(shù)據(jù)或網(wǎng)絡(luò)數(shù)據(jù)包 信息來檢測系統(tǒng)中違背安全策略或危及系統(tǒng)安全的行為或活動，從而保護(hù)信息系統(tǒng)的資源 不受拒絕服務(wù)攻擊、防止系統(tǒng)數(shù)據(jù)的泄漏、篡改和破壞。1 9 8 7 年，d o r o t h yd e n n i n g 發(fā)表 了具有里程碑意義的論文“a ni n t r u s i o n d e t e c t i o nm o d e l 6 】”，入侵檢測從此正式成為一個 學(xué)科分支。關(guān)于入侵檢測技術(shù)的研究，涉及到計算機、網(wǎng)絡(luò)和信息安全等多個領(lǐng)域的知識， 目前，最基本的入侵檢測方法主要是基于己知入侵行為模式、基于通信業(yè)務(wù)分析以及基于 系統(tǒng)狀態(tài)( 或行為) 統(tǒng)計異常性的檢測。 1 1 2 入侵檢測系統(tǒng) 入侵檢測系統(tǒng)( i n t r u s i o nd e t e c t i o ns y s t e m ) 就是能夠通過分析系統(tǒng)安全相關(guān)數(shù)據(jù)來檢 測入侵活動的系統(tǒng)。雖然不同的入侵檢測系統(tǒng)設(shè)備有不同的設(shè)計，但一般而言，其組成在 功能上大致相同，主要由原始數(shù)據(jù)采集、數(shù)據(jù)分析和檢測結(jié)果生成與響應(yīng)三大功能模塊組 成。 d o r o t h yd e n n i n g 在1 9 8 6 年首次提出入侵檢測系統(tǒng)抽象模型1 6 l 一異常檢測專家系 統(tǒng)模型，利用系統(tǒng)的審計記錄，檢測系統(tǒng)中的非正常活動。d e n n i n g 為構(gòu)建入侵檢測系統(tǒng) 提供了一個通用框架?；赿 e n n i n g 模型實現(xiàn)的入侵檢測系統(tǒng)多采用基于規(guī)則的模式匹配 算法，在系統(tǒng)登錄、程序執(zhí)行以及文件存取時通過審計與主體特征的匹配程度來檢測入侵 攻擊或資源濫用。這種設(shè)計模型在許多早期入侵檢測系統(tǒng)中得到了廣泛的應(yīng)用，如首次提 出異常檢測概念的w & s ( w i s d o m s e n s e ) 系統(tǒng)1 7 j ；首次采用網(wǎng)絡(luò)流做為審計數(shù)據(jù)來源的 n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 系統(tǒng)【8 1 ；具有良好擴(kuò)展性的分布式入侵檢測系統(tǒng)d i d s ( d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ) 9 , 1 0 】；為解決入侵檢測系統(tǒng)的可擴(kuò)展性而提出的 g r i d s ( g r a p h b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 系統(tǒng)l l l j 等等。這些系統(tǒng)在當(dāng)時的網(wǎng)絡(luò)安 全環(huán)境下對入侵檢測的發(fā)展做出了重要貢獻(xiàn)。 根據(jù)檢測環(huán)境不同，i d s 一般分為基于主機的i d s ( h o s t b a s e di n t r u s i o nd e t e c t i o n s y s t e m ，h i d s ) 和基于網(wǎng)絡(luò)的i d s ( n e t w o r k b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，n i d s ) 。 基于主機的i d s 一般側(cè)重于對主機的系統(tǒng)日志和審計數(shù)據(jù)等信息進(jìn)行分析，由于它對操 作系統(tǒng)的依賴程度比較大，目前已經(jīng)不是研究的重點。n i d s 則側(cè)重于對網(wǎng)絡(luò)流量進(jìn)行分 析，即通過對網(wǎng)絡(luò)傳輸?shù)膱笪倪M(jìn)行分析來檢測各種網(wǎng)絡(luò)攻擊或用戶異常行為。本文主要研 究n i d s ，無特殊說明外，全文所討論的入侵檢測系統(tǒng)均指n i d s 。 n i d s 的主要工作原理是通過對網(wǎng)絡(luò)鏈路上傳輸?shù)膱笪倪M(jìn)行分析檢測，從中獲得網(wǎng)絡(luò) 安全的相關(guān)信息，其中分析檢測是n i d s 的核心，是影響n i d s 性能的最重要因素。 基于攻擊特征的檢測和基于異常的檢測是兩種基本的基于網(wǎng)絡(luò)的入侵檢測方法?；?第2 頁 國防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文 攻擊特征的方法采用模式匹配技術(shù)，具有擴(kuò)展性好、檢測效率高、誤報率低和檢測實時性 好等特點，被目前多數(shù)商用入侵檢測產(chǎn)品所采用。著名的開源網(wǎng)絡(luò)入侵檢測工具軟件 s n o r t 1 2 , 1 3 就是采用這種方法。但該方法只能適用于比較簡單的攻擊方式，對未知攻擊的 檢測效果有限，而且入侵模式庫必須不斷更新，給系統(tǒng)的維護(hù)管理帶來困難。 由于上述缺陷，具有抵御未知類型攻擊能力的基于異常檢測的網(wǎng)絡(luò)入侵檢測技術(shù)逐漸 成為研究熱點。統(tǒng)計方法是異常檢測的最早也是最主要的方法，該方法的優(yōu)點是可檢測到 未知的入侵和更為復(fù)雜的入侵；缺點是誤報、漏報率高，且不能適應(yīng)用戶正常行為的突然 改變。 隨著網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大和入侵行為的日益復(fù)雜，各種新的分析檢測方法不斷涌現(xiàn)。 例如美國新墨西哥( n e wm e x i c o ) 大學(xué)和奧德賽研究聯(lián)合公司( o d y s s e yr e s e a r c h a s s o c i a t e si n c ) 都試圖采用免疫學(xué)方法進(jìn)行大規(guī)模網(wǎng)絡(luò)的安全研究【1 4 , 1 5 】。該方法在入侵檢 測中借鑒生物免疫學(xué)中的反向選擇機制，通過免疫學(xué)習(xí)構(gòu)建有效檢測器，它不會將正常數(shù) 據(jù)信息誤判為危險數(shù)據(jù)；借鑒生物免疫學(xué)中的克隆選擇機制，不斷淘汰無用檢測器，保留 可以經(jīng)常檢測到入侵行為的檢測器?；诿庖邔W(xué)方法的入侵檢測技術(shù)可以改善已經(jīng)存在的 入侵檢測系統(tǒng)，并設(shè)計出更好的入侵檢測系統(tǒng)。又如美國卡內(nèi)基梅隆大學(xué)、普渡大學(xué)、哥 倫比亞大學(xué)、加州大學(xué)戴維斯分校( u cd a v i s ) 和北卡羅萊那州微電子中心( m c n c ) 等 都在進(jìn)行新的異常檢測技術(shù)研究，這些研究采用包括數(shù)據(jù)挖掘、神經(jīng)元網(wǎng)絡(luò)、可能性圖分 析、代價分析、元學(xué)習(xí)、特征發(fā)現(xiàn)、統(tǒng)計等不同的技術(shù)。然而上述研究還處于初級階段， 特別是由于誤報率較高影響了實際的推廣和使用。 n i d s 的響應(yīng)動作使其從單純的檢測系統(tǒng)提高到可對攻擊做出反應(yīng)的完整系統(tǒng)。入侵 檢測的響應(yīng)可以分為兩大類：主動響應(yīng)和被動響應(yīng)。主動響應(yīng)是指不通過管理員直接對被 攻擊的目標(biāo)系統(tǒng)采取有針對性的保護(hù)動作。被動響應(yīng)不直接對被攻擊的目標(biāo)系統(tǒng)采取有針 對性的保護(hù)動作，而是以消息、告警等形式通知管理控制中心，由控制人員根據(jù)自己的經(jīng) 驗知識確定采取什么樣的處理動作。 由于被動響應(yīng)完全依賴人工處理，效率較低，因此人們開始對主動響應(yīng)技術(shù)進(jìn)行研究， 研究主要集中在新的響應(yīng)方法和攻擊源追蹤方法。新的響應(yīng)方法有將攻擊者隔離到一個無 害且可觀測到的受控環(huán)境 1 6 , 1 7 1 ( 如蜜罐) 或自動阻斷攻擊【1 8 】等。由于主動響應(yīng)不僅開銷 較大，而且還可能因為誤判而中斷用戶的正常行為，因此，主動響應(yīng)研究主要轉(zhuǎn)向入侵追 蹤技術(shù)的研究，即快速、準(zhǔn)確地發(fā)現(xiàn)攻擊者的真實地址和傳輸路徑，或?qū)ζ渥龀霰M可能真 實的定位1 9 2 0 ，2 1 2 2 ，2 3 1 。 需要注意的是，響應(yīng)方式的選擇需根據(jù)n i d s 設(shè)計和使用方式因地制宜地進(jìn)行，并根 據(jù)攻擊檢測的誤報率、漏報率，以及入侵檢測的位置等因素綜合決定。特別是隨著鏈路速 度的提高，高速n i d s 檢測到的攻擊事件在數(shù)量上可能非常龐大，如果選擇的響應(yīng)方式不 合適，會導(dǎo)致真正有價值的攻擊信息被淹沒在眾多非緊迫告警信息中，從而失去入侵檢測 的意義。 第3 頁 國防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文 總之，經(jīng)過近3 0 年的發(fā)展，入侵檢測已經(jīng)發(fā)展成為一種主動保護(hù)計算機免受入侵者 攻擊的有效網(wǎng)絡(luò)安全防護(hù)技術(shù)，各種商用及開源入侵檢測系統(tǒng)在維護(hù)網(wǎng)絡(luò)安全、打擊網(wǎng)絡(luò) 犯罪方面發(fā)揮著重要作用。 1 2 高速網(wǎng)絡(luò)入侵檢測技術(shù)發(fā)展 據(jù)不完全統(tǒng)計，各種基于i p 的業(yè)務(wù)每年以5 0 3 0 0 的速率增長，目前國際上互聯(lián) 網(wǎng)主干鏈路帶寬每6 - - 9 個月翻一番。1 9 9 9 年，美國的s u p e r n e t 實驗型i n t e m e t 主干網(wǎng)在 波士頓和華盛頓特區(qū)之間建立了第一條超過g b p s 的主干線路( 2 5 g b p s ) 。到2 0 0 5 年，中 國各主要i s p 的i n t e m e t 主干鏈路速率已經(jīng)從o c 3 s t m 1 ( 1 5 5 m ) 全面升級到了 o c 4 8 s t m 1 6 ( 2 5 g ) 或o c 1 9 2 s t m 6 4 ( 1 0 g ) 2 4 j ，預(yù)計2 0 0 8 年國內(nèi)運營商將開始部 署o c 7 6 8 s t m 1 9 2 ( 4 0 g ) 的網(wǎng)絡(luò)。 由此可見，網(wǎng)絡(luò)帶寬的增長速度遠(yuǎn)遠(yuǎn)高于c p u 和內(nèi)存處理性能的增長速度。因此， 依靠純軟件的處理方式已經(jīng)難以滿足高速網(wǎng)絡(luò)安全管理的需求。網(wǎng)絡(luò)入侵檢測必須應(yīng)對執(zhí) 行時間縮短和處理復(fù)雜性提高帶來的雙重挑戰(zhàn)。 1 2 1 基于通用計算機系統(tǒng)的入侵檢測系統(tǒng) 入侵檢測系統(tǒng)從功能上講，一般由采集器、分析器和管理器三大部分組成，分別完成 數(shù)據(jù)采集、事件分析處理和應(yīng)急響應(yīng)等功能，最初的入侵檢測系統(tǒng)大多基于通用計算機系 統(tǒng)實現(xiàn)，數(shù)據(jù)分析處理由計算機軟件完成。為了提高數(shù)據(jù)采集和處理速度，人們在實現(xiàn)上 采用了多種先進(jìn)技術(shù)減少軟件開銷，提高數(shù)據(jù)處理速率。 采用零拷貝技術(shù)【2 引，基于d m a 支持，實現(xiàn)報文直接在應(yīng)用程序用戶緩沖區(qū)與網(wǎng)絡(luò)接 口之間傳輸，提高了數(shù)據(jù)傳輸處理速度，減少了對c p u 資源的占用。 通過優(yōu)化入侵檢測規(guī)則表示及存儲等數(shù)據(jù)結(jié)構(gòu)，進(jìn)一步減少軟件開銷，提高入侵檢測 系統(tǒng)性能。例如：可根據(jù)網(wǎng)絡(luò)流量的局部性和突發(fā)性特點，動態(tài)調(diào)整入侵檢測規(guī)則的存儲 結(jié)構(gòu)，使用類似c a c h e 機制將當(dāng)前活躍規(guī)則動態(tài)調(diào)整到規(guī)則隊列前面，以加快匹配速度。 挖掘入侵檢測數(shù)據(jù)處理的內(nèi)在并行性，充分利用高性能處理器的多線程支持，基于并 行處理技術(shù)，提高系統(tǒng)性能，例如，可將規(guī)則按照協(xié)議分組分類，每種協(xié)議使用一個線程， 多線程并行工作，提高了入侵檢測處理速度。 但是，基于通用計算機系統(tǒng)實現(xiàn)的入侵檢測系統(tǒng)，一是性能價格比低，二是軟件開銷 成為性能瓶頸，處理能力越來越不能適應(yīng)g b 級以上的高速網(wǎng)絡(luò)入侵檢測的需求，針對網(wǎng) 絡(luò)入侵檢測應(yīng)用特點，設(shè)計專門定制的高速網(wǎng)絡(luò)入侵檢測系統(tǒng)成為主流 第4 頁 國防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文 1 2 2 基于專門定制硬件支持的專用入侵檢測系統(tǒng) 國外許多公司及研究機構(gòu)針對網(wǎng)絡(luò)入侵檢測特點先后研發(fā)出多種專用定制高性能硬 件設(shè)備，來實現(xiàn)入侵檢測中的高速網(wǎng)絡(luò)流量截取、高速報文分類和大帶寬高效數(shù)據(jù)存儲等 功能斷 2 7 , 2 8 , 2 9 1 。這些專用定制設(shè)備以較低的成本有效地提高了入侵檢測處理中的捕包、報 文分類過濾和數(shù)據(jù)存儲等性能。例如，e n d a c e 公司研制的n i n j a p r o b e 系列網(wǎng)絡(luò)數(shù)據(jù)流捕 獲設(shè)備2 6 1 以及n i n j a b o x 網(wǎng)絡(luò)檢測平臺【2 7 ，2 引，使用專用報文分類引擎和硬件解碼工具，具 有硬件全線速報文過濾和捕獲能力?；趎 i n j a b o x 平臺實現(xiàn)的s n o r t 入侵檢測系統(tǒng)，具有 2 5 g b p s 的入侵檢測處理性能。又如s o l e r a 網(wǎng)絡(luò)設(shè)備公司的旗艦捕獲工具d s 4 5 0 0 系列設(shè) 備1 2 9 1 ，具有1 0 g b p s 鏈路接1 2 1 ，能夠?qū)崟r捕獲并無損地存儲不超過5 g b p s 的網(wǎng)絡(luò)流量。美 國交換機公司t o p l a y e r 研制出i p 數(shù)據(jù)流偵聽設(shè)備產(chǎn)品，以其在硬件上的優(yōu)勢，可以對 2 5 g b p s 以上的網(wǎng)絡(luò)數(shù)據(jù)流實現(xiàn)實時偵聽采集。韓國的下一代網(wǎng)絡(luò)流量