基于shell命令和多重行為模式挖掘的用戶偽裝攻擊檢測

1、基于shell命令和多重行為模式挖掘的用戶偽裝攻擊檢測田新廣 段洣毅 程學(xué)旗（中國科學(xué)院計(jì)算技術(shù)研究所網(wǎng)絡(luò)科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室 北京 100190）摘 要 偽裝攻擊是指非授權(quán)用戶通過偽裝成合法用戶來獲得訪問關(guān)鍵數(shù)據(jù)或更高層訪問權(quán)限的行為。近年來，偽裝攻擊檢測在保障網(wǎng)絡(luò)信息安全中發(fā)揮著越來越大的作用。文中提出一種新的用戶偽裝攻擊檢測方法。同現(xiàn)有的典型檢測方法相比，該方法在訓(xùn)練階段改進(jìn)了對用戶行為模式的表示方式，通過合理選擇用戶行為特征并基于階梯式的序列模式支持度來建立合法用戶的正常行為輪廓，提高了用戶行為描述的準(zhǔn)確性和對不同類型用戶的適應(yīng)性；在充分考慮shell命令審計(jì)數(shù)據(jù)時序特征的基礎(chǔ)上，針對

2、偽裝攻擊行為復(fù)雜多變的特點(diǎn)，提出基于多重行為模式并行挖掘和多門限聯(lián)合判決的檢測模型，并通過交叉驗(yàn)證和等量迭代逼近方法確定最佳門限參數(shù)，克服了單一序列模式檢測模型在性能穩(wěn)定性和容錯能力方面的不足，在不明顯增加計(jì)算成本的條件下大幅度提高了檢測準(zhǔn)確度。文中提出的方法已應(yīng)用于實(shí)際檢測系統(tǒng)，并表現(xiàn)出良好的檢測性能。關(guān)鍵詞 網(wǎng)絡(luò)安全；偽裝攻擊；入侵檢測；shell命令；異常檢測中圖分類號： TP393 Masquerade detection based on shell commands and multiple behavior pattern miningTIAN Xin-Guang , DUAN

3、Mi-Yi , CHENG Xue-Qi(Key Laboratory of Network Science and Technology, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190 )Abstract Masquerade attacks are attempts by unauthorized users to gain access to confidential data or greater access privileges, while pretending to

4、be legitimate users. Masquerade detection is now one of the major concerns of system security research. This paper proposes a novel method to distinguish legitimate users from masqueraders based on shell commands and multiple behavior pattern mining. In the method, behavioral patterns of legitimate

5、users are characterized by shell command sequences of different lengths, and hierarchical sequence supports are employed to construct the normal behavior profiles of legitimate users, which improves the precision and adaptability of user profiling. In the detection stage, a model based on multiple s

6、equence pattern parallel mining and multiple threshold joint decision is used to determine whether the monitored users behavior is normal or anomalous. The model gives attention to both detection accuracy and computational efficiency, and is especially applicable for on-line detection. Our study emp

7、irically demonstrated the promising performance of the method, and it has succeeded in getting application in practical host-based intrusion detection systems.Key words network security；masquerade attack；intrusion detection；shell command； anomaly detection本課題得到國家“八六三”高技術(shù)研究發(fā)展計(jì)劃項(xiàng)目基金(2006AA01Z452)、國家24

8、2信息安全計(jì)劃項(xiàng)目基金(2005C39)和國家“九七三”重點(diǎn)基礎(chǔ)研究發(fā)展規(guī)劃項(xiàng)目(2004CB318109) 資助。田新廣，男，1976年生，博士后，副研究員，中國計(jì)算機(jī)學(xué)會高級會員（計(jì)算機(jī)安全專業(yè)委員會委員），主要研究方向?yàn)榫W(wǎng)絡(luò)安全、入侵檢測、智能信息處理。Email: tianxinguang。段洣毅，男，1953年生，研究員，博士生導(dǎo)師，中國計(jì)算機(jī)學(xué)會理事，主要研究方向?yàn)橛?jì)算機(jī)應(yīng)用、入侵檢測。程學(xué)期，男，1971年生，博士，研究員，博士生導(dǎo)師，主要研究方向?yàn)樾畔踩?、互?lián)網(wǎng)挖掘與搜索、輿情計(jì)算。1 引 言入侵者假冒或偽裝成合法用戶進(jìn)入信息系統(tǒng)的入侵行為稱為偽裝（masquerade）1-

9、3。近年來，偽裝攻擊在網(wǎng)絡(luò)信息安全事件中的比例不斷增長3-5，成為對系統(tǒng)破壞最為嚴(yán)重的攻擊方式之一。偽裝攻擊檢測是當(dāng)前網(wǎng)絡(luò)安全領(lǐng)域關(guān)注的熱點(diǎn)。由于合法用戶的行為本身是變化的，且偽裝用戶的行為可能看起來是正常的，這種不確定性使得偽裝攻擊檢測比傳統(tǒng)的網(wǎng)絡(luò)入侵檢測更為困難4。目前的偽裝攻擊檢測系統(tǒng)大多采用異常檢測技術(shù)，這種技術(shù)對合法用戶的正常行為進(jìn)行建模，通過被監(jiān)測用戶的實(shí)際行為與合法用戶正常行為之間的比較或匹配來檢測入侵（攻擊）；其優(yōu)點(diǎn)是不需要過多有關(guān)入侵行為的先驗(yàn)知識，且能夠檢測出未知的攻擊類型5。近年來，國內(nèi)外已經(jīng)開展了數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、支撐矢量機(jī)、神經(jīng)網(wǎng)絡(luò)等技術(shù)在用戶偽裝攻擊檢測中的應(yīng)用研

10、究2-9，研究目標(biāo)主要是提高檢測的準(zhǔn)確性、實(shí)時性、高效性以及自適應(yīng)性，其中一些研究成果已經(jīng)接近或達(dá)到了實(shí)用化水平。Schonlau M等人研究了基于統(tǒng)計(jì)理論的偽裝攻擊檢測方法7，并利用AT&T Shannon實(shí)驗(yàn)室的shell命令數(shù)據(jù)對不同類型的統(tǒng)計(jì)方法進(jìn)行了實(shí)驗(yàn)和綜合對比。Maxion R A等人對Schonlau M的檢測方法進(jìn)行了改進(jìn)8，引入了貝葉斯分類算法，較大程度地提高了檢測準(zhǔn)確度。Lane T等人開展了基于機(jī)器學(xué)習(xí)的偽裝攻擊檢測研究9，利用特定的相似度函數(shù)計(jì)算行為模式之間的相似度，并將加窗平滑后的相似度曲線作為檢測用戶異常行為的依據(jù)。Tian X G等人在Lane T的基礎(chǔ)

11、上改進(jìn)了相似度賦值方式10，并采用可變窗長度進(jìn)行相似度平滑濾噪，進(jìn)一步改善了檢測性能。連一峰等人提出一種基于模式挖掘的用戶行為異常檢測方法11，該方法利用數(shù)據(jù)挖掘中的關(guān)聯(lián)分析和序列挖掘技術(shù)對用戶行為進(jìn)行模式挖掘，并采用了基于相關(guān)函數(shù)的模式比較算法。此外，Kim H S等人研究了基于支撐矢量機(jī)的偽裝攻擊檢測方法4，Szymanski B K等人提出了基于遞歸數(shù)據(jù)挖掘的檢測方法5，這兩種方法均具有較高的檢測效率，但對用戶行為變化的適應(yīng)性不強(qiáng)2，僅適用于訓(xùn)練數(shù)據(jù)較為充分的場合。在以上工作的基礎(chǔ)上，本文提出一種新的用戶偽裝攻擊檢測方法。該方法利用shell會話中用戶執(zhí)行的shell命令作為原始審計(jì)數(shù)據(jù)

12、，基于實(shí)際檢測系統(tǒng)12的實(shí)例分析和已有研究結(jié)論2-9，改進(jìn)了對用戶行為模式的表示方式，通過合理選擇用戶行為特征并基于階梯式的序列模式支持度來建立合法用戶的正常行為輪廓，提高了用戶行為描述的準(zhǔn)確性和對不同類型用戶的適應(yīng)性；在檢測階段，充分考慮了shell命令審計(jì)數(shù)據(jù)的時序特征以及偽裝攻擊行為復(fù)雜多變的特點(diǎn)，通過多重行為模式并行挖掘來得到多個參考判決值，采用多門限聯(lián)合判決的方式對被監(jiān)測用戶當(dāng)前行為的異常程度進(jìn)行分析，并通過交叉驗(yàn)證和等量迭代逼近方法確定最佳門限參數(shù)，克服了基于單一序列模式的檢測模型5,7,8,9在檢測性能穩(wěn)定性和容錯能力方面的不足。實(shí)驗(yàn)表明，同現(xiàn)有的典型檢測方法相比，本文的方法在不

13、明顯增加計(jì)算成本的條件下大幅度提高了檢測準(zhǔn)確度，具有很強(qiáng)的實(shí)用性。該方法已應(yīng)用于文獻(xiàn)12所述發(fā)明專利的檢測系統(tǒng)，并表現(xiàn)出良好的檢測性能。2 審計(jì)數(shù)據(jù)的分析及預(yù)處理目前，基于主機(jī)數(shù)據(jù)的入侵檢測研究有兩個主要的分支3,4,5,13，分別是以系統(tǒng)調(diào)用為審計(jì)數(shù)據(jù)的程序行為異常檢測和以shell命令為審計(jì)數(shù)據(jù)的用戶行為異常檢測。相對用戶行為而言，程序行為比較單一，利用系統(tǒng)調(diào)用可以對程序行為特別是特權(quán)程序的行為建立較為穩(wěn)定簡潔的模型14，但是，系統(tǒng)調(diào)用來自系統(tǒng)的核心層，獲取過程比較復(fù)雜，耗用的系統(tǒng)資源較多，而且，基于系統(tǒng)調(diào)用的程序行為異常檢測不能直接檢測出用戶帳號假冒等系統(tǒng)內(nèi)部的攻擊行為13。由于用戶行為

14、復(fù)雜多變，使得用戶正常行為模型的建立變得較為困難；國內(nèi)外大都傾向于使用比較完整的審計(jì)事件來對用戶行為進(jìn)行建模。在Unix系統(tǒng)環(huán)境下，shell是終端用戶與操作系統(tǒng)之間最主要的界面，很大比例的用戶活動都是利用shell完成的；shell命令在系統(tǒng)用戶層比較容易獲取，而且能夠直接反映出用戶的行為模式。因此，基于shell命令的用戶偽裝攻擊檢測在近些年得到了較多的研究2,4,5,7,8,9。與文獻(xiàn)4,5,7,8,9中的偽裝攻擊檢測方法相同，本文的檢測方法采用Unix平臺上的shell命令作為審計(jì)數(shù)據(jù)。在訓(xùn)練和檢測階段，需要對用戶的原始shell命令數(shù)據(jù)進(jìn)行預(yù)處理。預(yù)處理的方式主要有兩種，第一種方式如

15、文獻(xiàn)7,8所述，預(yù)處理時只保留shell命令的名稱，濾除命令參數(shù)和時間等信息。第二種方式如文獻(xiàn)2,9所述，預(yù)處理時濾除shell命令中的主機(jī)名、網(wǎng)址等信息，保留shell命令的名稱及參數(shù)；各命令符號按照在shell會話中的出現(xiàn)次序進(jìn)行排列，不同的shell會話按照時間順序進(jìn)行連接，每個會話開始和結(jié)束的時間點(diǎn)上插入了標(biāo)識符號。例如，某用戶的一個shell會話數(shù)據(jù)：> cd /private/docs> ls -laF | more> cat foo.txt bar.txt zlg.txt > /tian/zly> mailx tianxg> exit 經(jīng)預(yù)處理

16、后成為如下shell命令序列：(*SOF*, cd, <1>, ls, -laF, |, more, cat, <3>, >, <1>, mailx, <1>, exit, *EOF*)，其中*SOF*和*EOF*分別是會話開始和結(jié)束的標(biāo)識符號，<1>、<3>為目錄名（地址）符號。經(jīng)過以上兩種方式預(yù)處理后的原始shell命令數(shù)據(jù)在形式上均表現(xiàn)為shell命令序列（按時序排列的若干個shell命令符號）。相對于第一種方式，第二種方式預(yù)處理后的數(shù)據(jù)中互不相同的shell命令符號明顯增多，但能夠更加精確地反映用戶行為。3

17、訓(xùn)練用戶偽裝攻擊檢測的具體實(shí)現(xiàn)過程可分為訓(xùn)練和檢測兩個階段4,5。訓(xùn)練階段的主要工作是根據(jù)訓(xùn)練數(shù)據(jù)對我們所關(guān)心的合法用戶的正常行為進(jìn)行建模。同程序行為相比，用戶行為具有一些不同的特點(diǎn)，尤其是在行為的穩(wěn)定性方面。因此，在程序行為異常檢測中具有良好性能的訓(xùn)練和檢測模型并不一定適用于用戶行為異常檢測15。在用戶行為異常檢測中，由于用戶行為的多變性，我們得到的訓(xùn)練數(shù)據(jù)往往不夠充分，這就要求訓(xùn)練和檢測模型應(yīng)當(dāng)具有一定的容錯性、泛化能力以及對用戶行為變化的適應(yīng)性2。如何利用相對不夠充分的訓(xùn)練數(shù)據(jù)來盡可能精確地描述用戶的正常行為輪廓，以及如何利用該正常行為輪廓進(jìn)行異常檢測是我們研究的重點(diǎn)。在現(xiàn)有的基于機(jī)器學(xué)

18、習(xí)和基于數(shù)據(jù)挖掘的檢測方法中5,9,11，一般都采用單一長度的shell命令短序列來表示用戶的行為模式（行為模式是指用戶操作過程中體現(xiàn)出的某種規(guī)律性）。但實(shí)際中，不同用戶所具有的行為模式存在差異，同一用戶在完成不同行為模式時所執(zhí)行的shell命令個數(shù)也不盡相同，因而，采用單一長度的shell命令序列往往難以全面準(zhǔn)確地反映用戶的行為輪廓，而且，這種方法在實(shí)際應(yīng)用中也不容易估算針對具體用戶的最佳序列長度7,9；例如，文獻(xiàn)9主要采用實(shí)驗(yàn)方法來確定最佳序列長度，所需的計(jì)算量很大，而且其性能缺乏穩(wěn)定性。我們針對以上不足進(jìn)行了改進(jìn)和修正，采用多種長度不同的shell命令短序列來表示用戶行為模式，通過合理選

19、擇用戶行為特征并基于序列模式的支持度來建立合法用戶的正常行為輪廓，提高了用戶行為描述的準(zhǔn)確性和對不同類型用戶的適應(yīng)性。訓(xùn)練階段的工作主要有以下幾部分：（1）獲取合法用戶的正常行為訓(xùn)練數(shù)據(jù)。設(shè)正常行為訓(xùn)練數(shù)據(jù)為，它是對該合法用戶在歷史上正常操作時所執(zhí)行的原始shell命令數(shù)據(jù)進(jìn)行預(yù)處理所得到的shell命令序列（其長度為），其中表示按時間順序排列的第個shell命令符號。（2）定義種長度不同的shell命令短序列，用于表示該合法用戶的各種行為模式。設(shè)定義的短序列長度的集合為，其中表示第種shell命令短序列的長度，且。在確定的情況下，可有不同的選擇。例如時，可以為（即三種序列的長度分別為），也可

20、以為或其它組合。和對檢測性能有直接影響，在選擇它們時，除了要充分考慮合法用戶的行為特征之外，還需考慮檢測系統(tǒng)的復(fù)雜度及檢測效率（和越大，檢測系統(tǒng)的存儲量和工作中的運(yùn)算量也會越大）。（3）由訓(xùn)練數(shù)據(jù)生成個序列長度分別為、的shell命令短序列流。這里，分別用、表示由生成的序列長度分別為、的個shell命令短序列流，其中是短序列長度為（1）的shell命令短序列流，它包含個shell命令短序列；，其中，是以shell命令為起點(diǎn)的長度為的短序列（）。（4）對于1，計(jì)算中每個shell命令短序列在中的支持度。定義1：一個長度為的shell命令短序列在shell命令短序列流中的支持度等于該序列在中的出現(xiàn)

21、次數(shù)除以中的序列總數(shù)（1），即support () = number()/() （1）式中number()表示短序列在的個shell命令短序列中的出現(xiàn)次數(shù)，support ()表示短序列在中的支持度。support ()描述了短序列在短序列流中的出現(xiàn)概率。（5）設(shè)置W個最小支持度minsup(1)，minsup(2)，minsup(W)，其中minsup()是針對shell命令短序列流中長度為的短序列而設(shè)置的（1）。考慮到長序列模式對短序列模式的相容性，我們采用了階梯式支持度，要求minsup(1)minsup(2)minsup(W)。（6）從個shell命令短序列流中，分別按照序列的支持度提

22、取正常行為模式序列。對于1W，將中支持度大于或等于minsup()的序列提取出來，構(gòu)成滿足支持度要求的序列庫。設(shè)中支持度大于或等于minsup()的序列共有K()個，分別記為，（這里K()），則滿足支持度要求的序列庫=，。（7）建立個序列庫來描述該合法用戶的正常行為輪廓。將W個滿足支持度要求的序列庫，存儲起來，建立用于異常檢測的正常序列庫L。這里，L=，它用于描述該用戶歷史上的正常行為輪廓。4 檢測檢測階段的工作是根據(jù)訓(xùn)練階段所建立的合法用戶正常行為輪廓，利用特定的檢測模型來識別被監(jiān)測用戶當(dāng)前行為中的異常（偽裝或假冒行為）。在檢測階段，我們充分考慮了shell命令審計(jì)數(shù)據(jù)的時序特征和短時相關(guān)性

23、，針對偽裝攻擊行為復(fù)雜多變的特點(diǎn)，提出了基于多重行為模式并行挖掘和多門限聯(lián)合判決的檢測模型，并通過交叉驗(yàn)證和等量迭代逼近方法確定最佳門限參數(shù)，與文獻(xiàn)4, 5, 9中的檢測模型相比，在不明顯增加計(jì)算成本的條件下大幅度提高了檢測準(zhǔn)確度，并且增強(qiáng)了檢測性能的穩(wěn)定性和容錯能力。檢測階段的工作包括以下幾部分：（1）獲取用于檢測的審計(jì)數(shù)據(jù)。獲取該用戶在被監(jiān)測的時間內(nèi)執(zhí)行的原始shell命令審計(jì)數(shù)據(jù)，并將其預(yù)處理成shell命令序列的形式。設(shè)預(yù)處理后得到的shell命令序列為，其中表示按時間順序排列的第個shell命令符號，為該命令序列的長度。在實(shí)時檢測（在線檢測）的情況下，中的各個shell命令是按照時間

24、順序依次得到的。（2）由審計(jì)數(shù)據(jù)生成個序列長度分別為、的shell命令短序列流。分別用、表示由生成的序列長度分別為、的個shell命令短序列流，其中是短序列長度為（1）的shell命令短序列流；，其中，是以shell命令為終點(diǎn)的長度為的短序列（）。中共有個shell命令短序列。需要指出 ，在訓(xùn)練階段利用訓(xùn)練數(shù)據(jù)生成shell命令短序列流時，采用了滑動窗前向截取短序列的方式；而在檢測階段利用審計(jì)數(shù)據(jù)生成shell命令短序列流時，采用了滑動窗后向截取短序列的方式，這樣便于實(shí)時檢測。（3）對個shell命令短序列流進(jìn)行多重行為模式匹配與挖掘。對于1，將shell命令短序列流中的每個shell命令短序

25、列同相應(yīng)的序列庫=，中的序列進(jìn)行匹配，如短序列與序列庫中的某個短序列相同（即），則將短序列視為正常行為模式序列，并記class()=1。如果與序列庫中的任何一個短序列都不相同（即），則將短序列視為異常行為模式序列，并記class()=0。經(jīng)過以上序列匹配，對于每一個shell命令短序列流，可得到序列（class()，class()，class()）。（4）計(jì)算判決值。根據(jù)國內(nèi)外現(xiàn)有的研究結(jié)論，進(jìn)行偽裝攻擊的用戶在短時間內(nèi)的行為可能與合法用戶的正常行為沒有太大差別，但在較長時間段內(nèi)表現(xiàn)出的行為特征通常會較大程度地偏離合法用戶的正常行為輪廓?？紤]到用戶偽裝攻擊的以上特點(diǎn)，我們并不直接利用class

26、()進(jìn)行判決，而是通過加窗平滑來得到參考判決值，進(jìn)而對被監(jiān)測用戶的行為作出判決。在對每個shell命令短序列流進(jìn)行模式匹配與挖掘之后，可對相應(yīng)的序列（class()，class()，class()）進(jìn)行加窗平滑處理，得到如下判決值： （2）式中，為窗長度，表示shell命令短序列對應(yīng)的判決值，且+-1。反映了以為終點(diǎn)的個shell命令短序列中正常行為模式序列的比例。shell命令短序列流中第+-1個短序列及其后面的每個短序列都分別對應(yīng)一個判決值。對于個shell命令短序列流、，我們可以并行計(jì)算出判決值、，其中的增長步長為1。（5）利用判決值對被監(jiān)測用戶的當(dāng)前行為進(jìn)行判決。在利用上述判決值對被監(jiān)

27、測用戶的行為進(jìn)行判決時，有以下兩種方案可供選擇：第一種判決方案：根據(jù)合法用戶的行為特點(diǎn)，在判決值、中選取一個作為最終判決值（這里1）。對于一次以為審計(jì)數(shù)據(jù)的檢測過程，當(dāng)中的變化（增大）時，是固定不變的。在利用進(jìn)行判決時，首先設(shè)定一個判決門限。如果>，將被監(jiān)測用戶的當(dāng)前行為判為正常行為；如果，將被監(jiān)測用戶的當(dāng)前行為判為異常行為。（這里，被監(jiān)測用戶的“當(dāng)前行為”是相對于中shell命令對應(yīng)的時間點(diǎn)而言的，它是指以為終點(diǎn)的+-1個shell命令所對應(yīng)的行為，即，所對應(yīng)的行為。）在該方案中，+-1；也就是說，被監(jiān)測用戶執(zhí)行完第+-1個shell命令后才能對其行為做第一次判決。第二種判決方案：設(shè)定

28、個判決門限，在并行計(jì)算出判決值、之后，按照以下步驟對被監(jiān)測用戶的當(dāng)前行為進(jìn)行判決。步驟1：設(shè)定。步驟2：如果，則將被監(jiān)測用戶的當(dāng)前行為判為異常行為，并不再執(zhí)行以下步驟。步驟3：如果，則（的值增加1），并返回執(zhí)行步驟2。如果，則執(zhí)行步驟4。步驟4：如果，則將被監(jiān)測用戶的當(dāng)前行為判為異常行為；否則，將被監(jiān)測用戶的當(dāng)前行為判為正常行為。在第二種判決方案中，如果對于1，存在一個小于或等于，則將被監(jiān)測用戶的當(dāng)前行為判為異常行為；如果對于1，所有的均大于，則將監(jiān)測用戶的當(dāng)前行為判為正常行為。（被監(jiān)測用戶的“當(dāng)前行為”是相對于中shell命令對應(yīng)的時間點(diǎn)而言的，它是指以為終點(diǎn)的若干個shell命令所對應(yīng)的行

29、為。）在該方案中，+-1。的值每增加1，都要執(zhí)行以上步驟來對被監(jiān)測用戶的當(dāng)前行為做一次判決。對于第一種判決方案，在窗長度確定的情況下，虛警概率和檢測概率不僅受判決門限的影響，而且還取決于最終判決值，如何從個參考判決值、中選取最佳的最終判決值是第一種判決方案的關(guān)鍵。根據(jù)現(xiàn)有的研究成果和我們的檢測實(shí)例分析，對于不同的合法用戶，由于行為特點(diǎn)不盡相同，最佳的判決值往往是不同的，而且，對于同一合法用戶，針對不同偽裝用戶異常行為的最佳判決值也是不同的，所以，在實(shí)際應(yīng)用中不太容易確定最佳的，特別是在對偽裝（異常）行為先驗(yàn)知識缺少了解的情況下。相比之下，第二種判決方案對不同合法用戶和不同偽裝（異常）行為具有較

30、強(qiáng)的適應(yīng)性，多模式并行挖掘和多門限聯(lián)合判決保證了在用戶行為復(fù)雜多變的情況下也能夠獲得很高的檢測準(zhǔn)確率，其代價是一定程度上增加了檢測階段的計(jì)算成本。5 參數(shù)確定與特點(diǎn)分析對于檢測階段的兩種判決方案，如何選擇判決門限是實(shí)際應(yīng)用中的關(guān)鍵問題。我們可參照文獻(xiàn)7中交叉驗(yàn)證的方法來確定第一種判決方案中的判決門限，將獲得的正常行為訓(xùn)練數(shù)據(jù)反復(fù)交叉地按固定比例分成兩部分，一部分用于訓(xùn)練，另一部分用于測試虛警概率和判決門限，在測試中通過調(diào)整判決門限來得到不同虛警概率與不同判決門限的對應(yīng)關(guān)系，并將期望虛警概率所對應(yīng)的判決門限作為實(shí)際檢測時的門限。第二種判決方案中的各個判決門限，的選擇相對復(fù)雜，可基于第一種判決方案

31、中交叉驗(yàn)證的方法并通過等量迭代逼近的方式確定。具體步驟如下：步驟1：設(shè)定，并設(shè)定期望虛警概率的上限。步驟2：使用作為第一種判決方案的最終判決值，并令（這里表示作為最終判決值時此種判決方案所容忍的最大虛警概率），然后利用獲得的訓(xùn)練數(shù)據(jù)通過交叉驗(yàn)證的方法來得到第一種判決方案下期望虛警概率所對應(yīng)的判決門限。步驟3：（的值增加1）。如果，返回執(zhí)行步驟2。如果>，執(zhí)行步驟4。步驟4：設(shè)定。對于1，令。步驟5：設(shè)定判決門限的增量。步驟6：。對于1，令。步驟7：將，作為第二種判決方案中的個判決門限（其中與相對應(yīng)），然后利用訓(xùn)練數(shù)據(jù)通過交叉驗(yàn)證的方法測試第二種判決方案的虛警概率。步驟8：如果>，則

32、對于1，令。如果=，則對于1，令。如果<，則返回執(zhí)行步驟6?；谝陨戏椒ù_定兩種判決方案的判決門限，我們可以對虛警概率進(jìn)行控制（訓(xùn)練數(shù)據(jù)越充分，對虛警概率的控制就越精確），而實(shí)際檢測中對偽裝（異常）行為的檢測概率則受多種因素影響。此外，窗長度也是一個重要參數(shù)，越大，檢測準(zhǔn)確率往往越高，但判決延遲也越大；根據(jù)實(shí)例分析和同類檢測方法的實(shí)驗(yàn)結(jié)論，一般將控制在50至150之間為宜。需要指出，在實(shí)時檢測（在線檢測）的情況下，檢測階段中被監(jiān)測用戶所執(zhí)行的shell命令的獲取和預(yù)處理，shell命令短序列流的生成，行為模式匹配與挖掘，判決值的計(jì)算以及對用戶行為的判決都是同步進(jìn)行的。當(dāng)獲得審計(jì)數(shù)據(jù)中的第

33、個shell命令之后，就可以生成以為終點(diǎn)的長度分別為、的個shell命令短序列、，然后進(jìn)行上述的序列匹配，計(jì)算出判決值、，進(jìn)而對被監(jiān)測用戶的當(dāng)前行為做一次判決。6 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析作者利用Purdue大學(xué)和AT&T Shannon實(shí)驗(yàn)室的兩組shell命令實(shí)驗(yàn)數(shù)據(jù)分別對以上方法的性能進(jìn)行了實(shí)驗(yàn)。Purdue大學(xué)的數(shù)據(jù)包含8個Unix用戶在兩年時間內(nèi)的活動記錄（實(shí)驗(yàn)數(shù)據(jù)的詳細(xì)說明見文獻(xiàn)9或文獻(xiàn)2）。實(shí)驗(yàn)中采用了其中的4個用戶user1、user2、user3、user4的數(shù)據(jù)，并且將user1、user2、user3設(shè)為偽裝用戶，將user4設(shè)為合法用戶。每個用戶的shell命令流中各

34、有15000個命令，user4的前10000個命令作為訓(xùn)練數(shù)據(jù)用于正常行為建模，而每個用戶的后5000個命令作為測試數(shù)據(jù)用于性能測試。實(shí)驗(yàn)的參數(shù)設(shè)置為，minsup(1)= minsup(2)=minsup(3) =0.0002, 窗長度151。在采用第一種判決方案時，使用作為最終判決值，判決門限=0.5。在采用第二種判決方案時，3個判決門限分別為=0.86，=0.64，=0.48。為了方便與同類方法進(jìn)行檢測準(zhǔn)確度的比較，實(shí)驗(yàn)中將上述兩種判決方案的期望虛警概率分別設(shè)定為0.06%和0%，在此基礎(chǔ)上確定相應(yīng)的判決門限，然后根據(jù)判決值分別計(jì)算兩種判決方案的檢測概率。在AT&T Shanno

35、n實(shí)驗(yàn)室的shell命令實(shí)驗(yàn)數(shù)據(jù)中（該數(shù)據(jù)的詳細(xì)說明見文獻(xiàn)5或文獻(xiàn)7），我們選擇前4個用戶user1、user2、user3、user4的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，每個用戶有5000個shell命令，實(shí)驗(yàn)時將其中user4設(shè)為合法用戶，該用戶的前4000個命令作為訓(xùn)練數(shù)據(jù)用于正常行為建模，后1000個命令作為測試數(shù)據(jù)用于測試虛警概率；其他3個用戶設(shè)為偽裝用戶，其中每個用戶的5000個shell命令均作為測試數(shù)據(jù)用于測試檢測概率。實(shí)驗(yàn)的參數(shù)設(shè)置為，minsup(1)= minsup(2)=minsup(3) =0.0005, 窗長度100。在采用第一種判決方案時，使用作為最終判決值，判決門限=0.35。在采

36、用第二種判決方案時，3個判決門限分別為=0.62，=0.37，=0.34。圖1給出了采用Purdue大學(xué)數(shù)據(jù)進(jìn)行實(shí)驗(yàn)時判決值的曲線，圖中的實(shí)線為合法用戶user4對應(yīng)的曲線，三條虛線分別是偽裝用戶user1、user2、user3對應(yīng)的曲線。圖2給出了采用AT&T Shannon實(shí)驗(yàn)室數(shù)據(jù)進(jìn)行實(shí)驗(yàn)時判決值的曲線?？梢钥闯?，兩個圖中合法用戶對應(yīng)的判決值曲線同偽裝用戶對應(yīng)的判決值曲線具有良好的可分性。在圖1中，合法用戶user4對應(yīng)的判決值全部大于0.48，而偽裝用戶user3對應(yīng)的判決值全部小于0.57，只有user1、user2對應(yīng)的少量判決值在0.57之上。在圖2中，合法用戶user

37、4的判決值曲線能夠同偽裝用戶user2、user3的判決值曲線很好地區(qū)分開來（僅有很少量的判決值出現(xiàn)交疊），但同user1判決值曲線的可分性稍差一些，說明兩者的某些行為具有較高的相似度。D3 ( j )jD3 ( j )j圖1 Purdue大學(xué)實(shí)驗(yàn)數(shù)據(jù)對應(yīng)的判決值曲線 圖2 AT&T Shannon實(shí)驗(yàn)室數(shù)據(jù)對應(yīng)的判決值曲線同時，作者還利用以上兩組shell命令實(shí)驗(yàn)數(shù)據(jù)分別對文獻(xiàn)4中基于支撐矢量機(jī)的檢測方法、文獻(xiàn)9中基于機(jī)器學(xué)習(xí)的檢測方法以及文獻(xiàn)2中基于齊次Markov鏈模型的檢測方法進(jìn)行了實(shí)驗(yàn)，并同本文的方法在檢測準(zhǔn)確率和計(jì)算成本兩個方面進(jìn)行了對比。表1給出了利用Purdue大學(xué)sh

38、ell命令數(shù)據(jù)所做實(shí)驗(yàn)的結(jié)果。表1 Purdue大學(xué)數(shù)據(jù)對應(yīng)的實(shí)驗(yàn)結(jié)果性能指標(biāo)虛警概率檢測概率 實(shí)驗(yàn)時間（秒）本文第一種判決方案的實(shí)驗(yàn)結(jié)果0.06%80.53%587本文第二種判決方案的實(shí)驗(yàn)結(jié)果0%83.02%711文獻(xiàn)4中檢測方法的實(shí)驗(yàn)結(jié)果0.16%74.08%510文獻(xiàn)9中檢測方法的實(shí)驗(yàn)結(jié)果0.52%75.81%3146文獻(xiàn)2中檢測方法的實(shí)驗(yàn)結(jié)果0.33 % 75.93%465表2給出了利用AT&T Shannon實(shí)驗(yàn)室shell命令數(shù)據(jù)所做實(shí)驗(yàn)的結(jié)果。表2 AT&T Shannon實(shí)驗(yàn)室數(shù)據(jù)對應(yīng)的實(shí)驗(yàn)結(jié)果性能指標(biāo)虛警概率檢測概率實(shí)驗(yàn)時間（秒）本文第一種判決方案的實(shí)驗(yàn)結(jié)果0

39、.04%85.26%135本文第二種判決方案的實(shí)驗(yàn)結(jié)果0%84.91%173文獻(xiàn)4中檢測方法的實(shí)驗(yàn)結(jié)果0.32%80.87%120文獻(xiàn)9中檢測方法的實(shí)驗(yàn)結(jié)果0%83.60%934文獻(xiàn)2中檢測方法的實(shí)驗(yàn)結(jié)果0.19 %81.92%108檢測概率（%）虛警概率（%）檢測概率（%）虛警概率（%）根據(jù)表1和表2的實(shí)驗(yàn)結(jié)果，本文所提出方法的檢測準(zhǔn)確率明顯高于文獻(xiàn)2,4,9中的檢測方法，而第二種判決方案的檢測結(jié)果又優(yōu)于第一種判決方案。表中的實(shí)驗(yàn)時間是指實(shí)驗(yàn)中進(jìn)行訓(xùn)練（正常行為建模）和檢測所需要的時間，該指標(biāo)與檢測方法的計(jì)算成本成正比，并在一定程度上反映了檢測的實(shí)時性。由實(shí)驗(yàn)結(jié)果可見，采用第二種判決方案時本

40、文方法的計(jì)算成本略高于文獻(xiàn)2,4中的檢測方法，但遠(yuǎn)低于文獻(xiàn)9中的檢測方法?？梢?，本文中檢測方法的綜合性能優(yōu)于文獻(xiàn)2,4,9中的檢測方法。此外，我們還利用Purdue大學(xué)和AT&T Shannon實(shí)驗(yàn)室兩組數(shù)據(jù)中不同用戶的shell命令數(shù)據(jù)進(jìn)行了反復(fù)交叉實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，當(dāng)采用第一種判決方案時，最佳的判決值是與具體用戶相關(guān)的，因此實(shí)際檢測中用于行為判決的最佳主要基于已有的訓(xùn)練數(shù)據(jù)并通過預(yù)先實(shí)驗(yàn)來確定；而第二種判決方案對不同用戶具有更好的適應(yīng)性，總體上也有更高的檢測性能。為了進(jìn)一步驗(yàn)證第二種判決方案的檢測準(zhǔn)確率，我們在上述實(shí)驗(yàn)的基礎(chǔ)上對判決門限進(jìn)行了調(diào)整，得到不同虛警概率條件下的檢測概率

41、。圖3給出了采用Purdue大學(xué)數(shù)據(jù)進(jìn)行實(shí)驗(yàn)時反映虛警概率與檢測概率對應(yīng)關(guān)系的ROC曲線，圖4給出了采用AT&T Shannon實(shí)驗(yàn)室數(shù)據(jù)進(jìn)行實(shí)驗(yàn)時的ROC曲線。從兩組實(shí)驗(yàn)數(shù)據(jù)對應(yīng)的ROC曲線可以看出，相對于文獻(xiàn)2,4,9中的檢測方法，本文方法中第二種判決方案的檢測準(zhǔn)確率具有明顯的優(yōu)勢。圖3 Purdue大學(xué)實(shí)驗(yàn)數(shù)據(jù)對應(yīng)的ROC曲線 圖4 AT&T Shannon實(shí)驗(yàn)室數(shù)據(jù)對應(yīng)的ROC曲線 7 結(jié)束語目前的偽裝攻擊檢測方法存在的主要問題是對用戶行為變化缺乏適應(yīng)性，檢測性能的穩(wěn)定性和容錯能力不夠強(qiáng)，檢測準(zhǔn)確度也有待提高。本文提出一種新的基于shell命令和多重行為模式挖掘的偽裝攻

42、擊檢測方法，該方法基于實(shí)際檢測系統(tǒng)的實(shí)例分析和已有研究成果，充分考慮了審計(jì)數(shù)據(jù)和用戶行為的特點(diǎn)，改進(jìn)了用戶行為模式和行為輪廓的表示方式，提出了基于多重行為模式并行挖掘和多門限聯(lián)合判決的檢測模型，在不明顯增加計(jì)算成本的條件下大幅度提高了檢測準(zhǔn)確度，并且增強(qiáng)了檢測性能的穩(wěn)定性和對用戶行為變化的適應(yīng)性。需要指出，在該方法的實(shí)際應(yīng)用中，通過優(yōu)化行為模式序列的表示及存儲方式，還可以進(jìn)一步提高其檢測效率。參考文獻(xiàn)：1 Tian Xin-Guang, Duan Mi-Yi, Sun Chun-Lai, Li Wen-Fa. Intrusion detection based on system calls

43、and homogeneous Markov chains. Journal of Systems Engineering and Electronics, 2008, 19 (3): 598-6052 Tian Xin-Guang, Duan Mi-Yi, Li Wen-Fa, Sun Chun-Lai. Anomaly detection of user behavior based on shell commands and homogeneous Markov chains. Chinese Journal of Electronics, 2008, 17(2):231-2363 Ga

44、o D, Retier M K, Song D. Behavioral distance measurement using hidden markov models/Proceedings of the Conference on Recent Advanced in Intrusion Detection. Hamburg, Germany, 2006:19-404 Kim H S, Cha S D. Empirical evaluation of SVM-based masquerade detection using UNIX commands. Computers and Secur

45、ity,2005,24(2):160 -1685 Szymanski B K, Zhang Y Q. Recursive data mining for masquerade detection and author identification/Proceedings of the 5th IEEE System, Man and Cybernetics Information Assurance Workshop. West Point, NY, USA, 2004: 424-4316 Mukkamala S, Sung A H, Abraham A. Intrusion detectio

46、n using an ensemble of intelligent paradigms. Journal of Network and Computer Application, 2005, 28(2): 167-1827 Schonlau M, Mouchel W. Computer intrusion: detecting masquerades. Statistical Science, 2001, 16(1): 58-748 Maxion R A, Townsend T N. Masquerade detection using truncated command lines/Pro

47、ceedings of the International Conference on Dependable Systems and Networks. Washington, DC, USA, 2002: 2192289 Lane T, Carla E B. An empirical study of two approaches to sequence learning for anomaly detection. Machine Learning, 2003, 51(1): 73-10710 Tian Xin-Guang, Gao Li-Zhi, Sun Chun-Lai, Duan M

48、i-Yi, Zhang Er-Yang. A method for anomaly detection of user behaviors based on machine learning. The Journal of China Universities of Post and Telecommunications, 2006, 13(2):61-65,7811 Lian Yi-Feng, Dai Ying-Xia , Wang Hang. Anomaly detection of user behaviors based on profile mining. Chinese Journ

49、al of Computer, 2002,25(3):325-330(in Chinese)（連一峰, 戴英俠, 王航. 基于模式挖掘的用戶行為異常檢測. 計(jì)算機(jī)學(xué)報, 2002, 25(3)：325-330）12 Tian Xin-Guang, Sui Jin-Guo, Li Xue-Chun. A system and its method for anomaly detection of user behavior based on machine learning . Chinese Patent, ZL200510056934. 2005-03-23 (in Chinese)（田新廣

50、, 隋進(jìn)國, 李學(xué)春. 基于機(jī)器學(xué)習(xí)的用戶行為異常檢測系統(tǒng)與方法. 中國專利, ZL200510056934. 2005-03-23）13 Ye N, Emran S M, Chen Q. Multivariate statistical analysis of audit trails for host-based intrusion detection. IEEE Transactions on Computers, 2002, 51(7): 810-82014 Tian Xin-Guang, Gao Li-Zhi, Sun Chun-Lai, Zhang Er-Yang. Anomaly

51、 detection of program behavior based on system calls and Markov chains. Journal of Computer Research and Development, 2007, 44(9):1538-1544 (in Chinese)（田新廣, 高立志, 孫春來, 張爾揚(yáng). 基于系統(tǒng)調(diào)用和齊次Markov鏈模型的程序行為異常檢測. 計(jì)算機(jī)研究與發(fā)展, 2007, 44(9):1538-1544）15 Yan Qiao, Xie Wei-Xin, Yang Bin. An anomaly intrusion detection

52、 method based on HMM. Electronics Letters, 2002, 38 (13): 663-664TIAN Xin-Guang, born in 1976, Ph.D., associate researcher. His research interests include network security, intrusion detection, and intelligent information processing.DUAN Mi-Yi, born in 1953, Ph.D., professor, Ph.D. supervisor. His m

53、ain research interests include computer application and intrusion detection.CHEN Xue-Qi, born in 1971, Ph.D., professor, Ph.D. supervisor. His main research interests include information security, network information retrieval, and P2P computing.BackgroudThe research of this paper is supported by th

54、e National High Technology Research and Development Program of China under grant No. 2006AA01Z452, National Information Security 242 Program of China under grant No. 2005C39 and National Grand Fundamental Research 973 Program of China under grant No.2004CB318109. These programs aim to develop a dist

55、ributed intrusion detection system for confidential networks to detect attacks and suspicious activities both at the network level and at the host level, and concentrate on anomaly detection of Masquerade attacks. The authors have focused their work on the development of the distributed intrusion detection system for a long while,