基于證據(jù)推理的程序惡意性判定方法

基于證據(jù)推理的程序惡意性判定方法

惡意程序分析是廣泛應(yīng)用的核心技術(shù)，包括病毒的檢測和排除、入侵檢測、惡意代碼操作等領(lǐng)域。評估程序是否惡意，是一個(gè)困難的任務(wù)。cope還證明，檢測不到檢測所有惡意軟件的方法，而檢測特定惡意軟件的所有變體的方法是無效的。進(jìn)行程序惡意性分析,傳統(tǒng)的方法主要有基于特征碼方法、基于完整性方法、基于行為方法以及程序語義方法.近年來又出現(xiàn)了許多新型的檢測方法,如基于數(shù)據(jù)挖掘的方法、基于生物免疫的方法以及基于人工智能的方法等由于正常程序與惡意程序有著一些明顯的不同行為模式,本文從這些行為特點(diǎn)入手,確定程序惡意性判定模型,選取程序特征行為,利用BP神經(jīng)網(wǎng)絡(luò)完成對模型的訓(xùn)練,并使用加權(quán)和形式的合成法則進(jìn)行證據(jù)合成,以達(dá)到程序惡意性判定的目的.由于在程序惡意性判定的過程中使用了多個(gè)行為特征,這些特征都具有一定的不確定性,因此,本文將證據(jù)理論應(yīng)用于程序惡意性判別中,提出一種基于證據(jù)推理的程序惡意性判定方法.1相關(guān)工作傳統(tǒng)的程序惡意性判定方法是通過分析程序中是否具有事先定義的某種特征來確定,但隨著混淆、變形技術(shù)的不斷發(fā)展,原有的惡意特征不再明顯.為了應(yīng)對這種局面,出現(xiàn)了基于人工智能的惡意代碼檢測方法,由于該方法能夠?qū)⒊绦蛑卸喾N不精確的、模糊的特征進(jìn)行融合與推理,綜合判斷程序中是否具有惡意性,提高了判斷的準(zhǔn)確性,因此成為近年來研究的熱點(diǎn).2004年,Abou-Assaleh等人2007年,田新廣2009年,El-Bakry2010年,Golovko上述方法都應(yīng)用了人工智能領(lǐng)域的相關(guān)方法,但本文提出的方法與上述方法存在不同:首先,本文使用反編譯逆向分析技術(shù)得到程序中具有的多種特征;其次,本文使用模糊識別技術(shù)計(jì)算程序行為的相似度;再次,本文使用BP神經(jīng)網(wǎng)絡(luò)確定推理所需的概率分配函數(shù);最后,本文基于證據(jù)推理完成對程序惡意性的判定.證據(jù)推理應(yīng)用在程序惡意性判定上的優(yōu)勢主要體現(xiàn)在3個(gè)方面:首先是證據(jù)理論具有比Bayes概率理論更弱的條件,滿足了程序惡意性不具有概率可加性的要求;其次,證據(jù)理論中利用概率分配函數(shù)進(jìn)行證據(jù)的合成當(dāng)無法判定程序的惡意性時(shí),能夠通過概率分配函數(shù)保留相關(guān)信息,分析是“不確定”還是“不知道”程序的惡意性;最后,證據(jù)理論不但允許人們將信度賦予假設(shè)空間的單個(gè)元素,而且還能夠賦予它的子集,這樣就方便安全人員在不同層次上收集程序惡意性的相關(guān)證據(jù).2證據(jù)推理2.1Mass函數(shù)為了描述和處理知識的不確定性,證據(jù)理論使用了概率分配函數(shù)、信任函數(shù)和似然函數(shù)假設(shè)D為取值空間,A為D的任意子集.定義1(概率分配函數(shù)).設(shè)函數(shù)Mass:2則稱Mass是2定義2(信任函數(shù)(belieffunction)).設(shè)函數(shù)Bel:2信任函數(shù)又稱為下限函數(shù),Bel(A)表示當(dāng)前環(huán)境下,對假設(shè)集A的信任程度,其值為A的所有子集的基本概率之和,表示對A的總的信任度.定義3(似然函數(shù)(plausibilityfunction)).設(shè)函數(shù)Pl:2其中,~A=D-A.似然函數(shù)又稱為上界函數(shù),Pl(A)表示對A為非假的信任程度.信任函數(shù)Bel(A)和似然函數(shù)Pl(A)分別表示命題A信任度的下界和上界.同樣,也可以用它來表述程序惡意性的下界和上界.本文借助概率分配函數(shù)、信任函數(shù)和似然函數(shù)等概念及相關(guān)理論,完成程序惡意性的判定.2.2合成規(guī)則Dempster合成規(guī)則(dempster’scombinationalrule)也稱證據(jù)合成公式,其定義如下:對于其中,K為歸一化常數(shù):同理,n個(gè)概率分配函數(shù)的Dempster合成規(guī)則如下:對于(1)Auf0cdD,識別框架D上的有限個(gè)概率分配函數(shù)m其中,3基于證據(jù)推理的程序惡意性分析3.1模型建立定義程序惡意性分析的相關(guān)論域如下:1)論域A表示可執(zhí)行程序的行為特征集合.設(shè)程序的行為共有m種,則A={a2)本文將所有待檢測程序作為識別對象,定義識別框架:3)論域V表示程序惡意性分類集合.設(shè)程序惡意性分類集合中含有n種類型,則V={v給定程序全集論域P,待檢測程序本文將程序的惡意性分析結(jié)果用集合T={t根據(jù)以上描述,我們建立了ERMD(evidence-reasoningbasedmaliciousdecision)模型,該模型的輸入為表示程序x惡意性的特征向量BNombril(noteproducerofmaliciousbehaviorforbinaryfile)是作者參與研制的基于證據(jù)推理的程序惡意性判定系統(tǒng),圖1給出了Nombril系統(tǒng)框架.系統(tǒng)始于對PE格式的可執(zhí)行程序進(jìn)行逆向分析,得到文件格式、機(jī)器指令、庫函數(shù)調(diào)用、高級語言以及它們之間的關(guān)聯(lián)信息、模糊識別程序中具有的行為.最后,通過證據(jù)推理融合程序中具有的多個(gè)行為特征,判定程序具有的惡意程度.程序惡意性判定過程主要由以下模塊實(shí)現(xiàn):1)行為獲取:該模塊使用反編譯逆向分析技術(shù),從二進(jìn)制文件x中獲取程序特征行為A2)行為相似度計(jì)算:由于程序的特征行為具有模糊性和相似性,該模塊計(jì)算特征行為與已定義的標(biāo)準(zhǔn)行為之間的相似度wSim.結(jié)合模塊1)中的特征行為A,得到特征行為識別程度B3)Mass函數(shù)確定:該模塊將訓(xùn)練集中的程序行為作為輸入,經(jīng)過神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí),得到程序特征行為對惡意性分類集合的概率分配函數(shù)4)證據(jù)合成:該模塊將程序x的特征行為識別程度B5)惡意性判定:該模塊計(jì)算惡意性分析結(jié)果類的信任度Bel(T)和不確定度Unc(T),采用基于規(guī)則的方法對程序的惡意性進(jìn)行判別,得到程序x最終的判定結(jié)果類t3.2行為獲取Nombril系統(tǒng)前端使用反編譯逆向分析技術(shù)獲取程序的行為,對軟件反編譯逆向分析包括文件裝載、指令解碼、語義映射、流圖構(gòu)造、過程分析、類型分析、結(jié)果輸出這7個(gè)階段.1)文件裝載:此階段主要完成讀入二進(jìn)制文件,并進(jìn)行一些初步分析,包括文件格式解析、文件信息搜集、文件性質(zhì)判定等;2)指令解碼:主要是根據(jù)體系結(jié)構(gòu)的指令編碼規(guī)則,對文件中使用的指令進(jìn)行解釋、識別和翻譯的過程得到程序?qū)?yīng)的機(jī)器指令;3)語義映射:是將機(jī)器指令通過語義描述的方法表示出來,屏蔽不同體系結(jié)構(gòu)對程序分析帶來的影響;4)流圖構(gòu)造:在程序的分析過程中,需要借助編譯原理中的相關(guān)概念完成,因此需要構(gòu)建相關(guān)流圖,主要有:控制流圖CFG(controlflowgraph)、調(diào)用圖CG(callgraph)和依賴圖DG(dependencegraph);5)過程分析:此階段是將目標(biāo)文件中的過程信息恢復(fù)出來,包括過程邊界分析、過程名、參數(shù)列表和返回值信息;6)類型分析:此階段是分析程序中各個(gè)存儲單元所攜帶的類型信息;7)結(jié)果輸出:指是逆向分析的最終階段,輸出的內(nèi)容包括匯編代碼、中間表示、控制流和數(shù)據(jù)流圖以及高級語言代碼等程序信息.Nombril系統(tǒng)中選定7類行為來描述程序的惡意性,具體定義見表1.每一個(gè)特征分量的特征值用特征的識別程度來表示,即從待檢測程序中識別出某一惡意特征類的程度.以上行為的提取工作在對程序進(jìn)行反編譯的過程中完成.程序裝載階段完成對程序文件格式的分析與加載工作并根據(jù)分析結(jié)果對b1和b2賦值;反匯編階段完成指令的解析工作,并檢測是否存在惡意指令序列,同時(shí)對b3進(jìn)行賦值;在流圖構(gòu)造和過程分析階段,重點(diǎn)分析程序的API調(diào)用行為,并對b4~b7進(jìn)行賦值.3.3行為相似度計(jì)算在分析API調(diào)用行為時(shí),對b4~b7賦值存在困難:一方面,由于惡意代碼編寫者常采用混淆或其他變形方法來隱藏其想要實(shí)現(xiàn)的惡意行為;另一方面,API函數(shù)都經(jīng)過封裝處理,因此存在等價(jià)API函數(shù)情況,也就是不同的API函數(shù)完成相同的功能.當(dāng)從可執(zhí)行程序中提取的API函數(shù)調(diào)用序列與特征庫中存儲的惡意特征序列不能完全匹配時(shí),需要采用模糊模式匹配的方法計(jì)算二者之間的相似程度,并以相似度作為此程序具備該惡意行為的程度.除此以外,考慮到每個(gè)API函數(shù)序列中都存在著一個(gè)或多個(gè)關(guān)鍵函數(shù)完成該惡意行為類的主要或核心功能,因此在計(jì)算API序列相似度時(shí),還需要考慮不同API函數(shù)對序列相似度的影響因子.假設(shè)特征庫中某一惡意特征行為類對應(yīng)的某個(gè)API函數(shù)序列為(f本文選用LD(levenshteindistance)算法計(jì)算兩序列之間的相似度Sim,并利用點(diǎn)乘運(yùn)算來計(jì)算加權(quán)相似度wSim.設(shè)反編譯分析得到程序的API函數(shù)序列為(f·設(shè)·否則,按照以上描述,求解兩序列間加權(quán)相似度的算法流程如圖2所示.輸入:已識別函數(shù)調(diào)用序列A和函數(shù)調(diào)用特征序列B,A和B的長度分別為m和n;特征序列B中函數(shù)的權(quán)值序列C;輸出:序列A和序列B的加權(quán)相似度wSim.應(yīng)用證據(jù)理論的困難在于如何將訓(xùn)練集中程序的行為特征轉(zhuǎn)換為可以進(jìn)行推理的概率分配函數(shù),這是應(yīng)用證據(jù)理論進(jìn)行程序惡意性判定的前提條件.目前,確定概率分配函數(shù)的方法大都是人工設(shè)定的,這種方法存在計(jì)算復(fù)雜、自適應(yīng)差、主觀性強(qiáng)等缺點(diǎn).而神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的泛化能力,在知識學(xué)習(xí)中具有歸納全部數(shù)據(jù)的自學(xué)習(xí)能力BP(反向傳播)神經(jīng)網(wǎng)絡(luò)適用于分類問題的處理,因此可以用來構(gòu)建概率分配函數(shù).BP網(wǎng)絡(luò)是一種反向傳遞并能修正誤差的多層映射網(wǎng)絡(luò),它由輸入層、隱層以及輸出層神經(jīng)元構(gòu)成,其中,隱層可以是多層的.輸入信息向前傳播到隱層神經(jīng)元,經(jīng)過神經(jīng)元作用函數(shù)的處理,最后將隱層的輸出信號傳播到輸出神經(jīng)元,得到輸出結(jié)果圖3給出了BP網(wǎng)絡(luò)的結(jié)構(gòu)圖.在BP網(wǎng)絡(luò)中,神經(jīng)元作用函數(shù)選用S形函數(shù).一般形式為其中,a,b,d是常數(shù).BP網(wǎng)絡(luò)的學(xué)習(xí)過程由正向傳播和反向傳播兩部分組成(1)正向傳播過程:輸入信息經(jīng)過每層神經(jīng)元的處理,最后得到輸出信號;(2)若實(shí)際輸出與樣本不一致,則將誤差信號反向逐層傳播,從而修正各連接權(quán)值.重復(fù)上述兩個(gè)過程,直到輸出信號的誤差小于預(yù)先設(shè)定值.i為非輸出層中的一個(gè)神經(jīng)元,下一層中存在神經(jīng)元j,則神經(jīng)元j的輸入為BP訓(xùn)練算法是一種迭代算法,用網(wǎng)絡(luò)的實(shí)際輸出與期望輸出之間的最小方差調(diào)整連接權(quán)值.BP網(wǎng)絡(luò)的均方差函數(shù)為為了使訓(xùn)練過程盡快收斂,調(diào)整連接權(quán)值:把訓(xùn)練集中的程序每個(gè)行為作為輸入,經(jīng)過神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí),得到行為對惡意性分類集合的概率分配函數(shù)本文采取將m個(gè)特征向量作為神經(jīng)網(wǎng)絡(luò)的輸入,n個(gè)輸出分別對應(yīng)程序惡意性集合,C層神經(jīng)元.在完成訓(xùn)練的同時(shí),連接權(quán)值W就隨之確定.我們定義Mass其中,fuf0a2表示f的一階導(dǎo)數(shù).經(jīng)典的Dempster合成規(guī)則,在對具有沖突的證據(jù)進(jìn)行合成時(shí)會產(chǎn)生悖論,使得結(jié)果有悖常理.證據(jù)沖突與證據(jù)相關(guān)是實(shí)際應(yīng)用證據(jù)理論時(shí)常常遇到的問題,在程序惡意性判定中也存在這種問題.自Dempster和Shafer提出組合框架后已有不少改進(jìn),目前,處理證據(jù)沖突的經(jīng)典方法有Yager改進(jìn)方法、Toshiyuki方法、平均法以及Smets合成規(guī)則等等.本文采用加權(quán)和形式的合成方法設(shè)m定義uf065為證據(jù)的可信度,uf065=e新的合成公式定義如下:其中,p(A)(28)uf0c7inA(28)i1uf0ceuf0e5AFii(28)Am1(A1)m2(A2)...mn(An),q(A)(28)1ni(28)nuf0e51mi(A).公式(3)又可以寫成如下形式:通過對比公式(1)和公式(4)可以發(fā)現(xiàn),公式(4)第1項(xiàng)中的p(A)/(1-k)就是經(jīng)典的Dempster合成規(guī)則.因此可以認(rèn)為本文所選用的合成規(guī)則實(shí)際上是經(jīng)典Dempster合成規(guī)則的加權(quán)和形式,加權(quán)系數(shù)為(1-k)*k.當(dāng)證據(jù)的沖突較小時(shí),k值較小,公式(4)的第1項(xiàng)起主要作用,證據(jù)合成結(jié)果近似于經(jīng)典Dempster合成規(guī)則結(jié)果;當(dāng)證據(jù)的沖突較大時(shí),公式(4)的第2項(xiàng)起主要作用,由uf065*q(A)決定,由于uf065表示證據(jù)可信程度,q(A)為證據(jù)對A的平均支持度,因此,證據(jù)合成結(jié)果將主要由證據(jù)可信度uf065和證據(jù)平均支持度q(A)的乘積決定.該合成公式在證據(jù)存在沖突時(shí),也能利用證據(jù)中的部分可用信息,可用程度取決于uf065.3.6惡意性判定通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到每個(gè)程序行為的概率分配函數(shù),使用加權(quán)和形式的合成規(guī)則對證據(jù)形成合成,得到一個(gè)表示程序中所有行為證據(jù)共同作用的概率分配函數(shù).目前,對概率分配函數(shù)的分析與決策沒有統(tǒng)一的一般性方法,必須根據(jù)具體的問題選擇不同的方法.本文采用基于規(guī)則的方法對程序的惡意性進(jìn)行判別,主要有以下4條規(guī)則:規(guī)則1.判別結(jié)果類應(yīng)具有最大的信任度,且大于閾值uf072規(guī)則2.判別結(jié)果類的信任度與其他類別信任度的差值必須大于閾值uf072規(guī)則3.判別結(jié)果類的不確定度必須小于閾值uf072規(guī)則4.判別結(jié)果類的信任度必須大于不確定度.規(guī)則1表示具有最大信任度的類是判別結(jié)果類;規(guī)則2表示每一證據(jù)對不同類的支持程度應(yīng)保持足夠大的差異;規(guī)則3表示判別結(jié)果類的不確定度不能太大;規(guī)則4表示當(dāng)對結(jié)果類的支持度不夠時(shí),不能對其進(jìn)行分類按照上述對合成算法的描述,可以得到基于規(guī)則的判決算法,如圖4所示.算法2.基于規(guī)則的程序惡意性判定算法.輸入:經(jīng)過證據(jù)推理得到的惡意性分析結(jié)果T,結(jié)果類T1初始化Bel(T4若Bel(T6斷言(Bel(T10斷言(|Bel(T13斷言((Unc(T15斷言(Bel(T17算法結(jié)束,返回tFig.4Rule-Baseddecisionalgorithm圖4基于規(guī)則的判決算法4實(shí)驗(yàn)評估本節(jié)通過對Nombril系統(tǒng)進(jìn)行測試來驗(yàn)證我們提出的方法.測試分為3個(gè)部分:首先,利用樣本對系統(tǒng)進(jìn)行訓(xùn)練,使用經(jīng)典的分類方法作為對比,測試系統(tǒng)的性能;之后,使用經(jīng)變形、混淆的病毒程序,與知名的殺毒軟件進(jìn)行對比,測試系統(tǒng)的抗混淆能力;最后,對系統(tǒng)進(jìn)行綜合測試,測試系統(tǒng)對于惡意代碼檢測的漏報(bào)率、誤報(bào)率以及整體精度.4.1判定性能測試樣本空間中的樣本程序主要來自于以下3種途徑:(1)WindowsXP安裝后,系統(tǒng)分區(qū)下Windows目錄中的全部PE可執(zhí)行程序;(2)正版應(yīng)用軟件中隨機(jī)采集的各種PE程序;(3)網(wǎng)絡(luò)上的經(jīng)多種途徑收集到的病毒程序.其中,前兩種途徑收集到的程序共3583個(gè),途徑(3)收集到的程序共3572個(gè),因此樣本空間由7155個(gè)PE程序構(gòu)成.在對模型進(jìn)行訓(xùn)練時(shí),使用了500個(gè)正常程序和500個(gè)惡意程序用來給神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練構(gòu)造概率分配函數(shù),之后隨機(jī)抽取1000個(gè)正常程序和1000個(gè)惡意程序進(jìn)行測試.在對程序惡意性進(jìn)行判定時(shí),規(guī)則1的閾值uf072為了驗(yàn)證提出的方法,我們使用MatlAB7.0實(shí)現(xiàn)如下檢測方法,包括:(1)文獻(xiàn)[10]提出的基于樸素貝葉斯的檢測方法(簡稱nat?veBayes);(2)文獻(xiàn)[5]提出的基于神經(jīng)網(wǎng)絡(luò)的檢測方法(簡稱neuralnetwork);(3)文獻(xiàn)[11]提出的基于支持向量機(jī)的檢測方法(簡稱SVM).我們使用模式識別領(lǐng)域的ROC(receiveroperatingcharacteristics)曲線作為評價(jià)指標(biāo),ROC曲線用于比較不同分類方法的性能,曲線下面的面積(AUC)越大,算法的分類性能就越好、越穩(wěn)定.為了更加方便直觀地展示實(shí)驗(yàn)結(jié)果,繪制出了各種方法的ROC曲線圖,實(shí)驗(yàn)結(jié)果如圖5所示.由圖5可以看出,使用基于證據(jù)推理的ROC曲線下方的面積大于其他分類方法,使用該方法的性能較優(yōu)這是由于證據(jù)推理能夠更好地融合程序中的不同行為特征,使其具有較好的判定結(jié)果.4.2抗混淆測試為驗(yàn)證Nombril系統(tǒng)對變形、混淆程序的檢測效果,我們選擇了9種知名的PE格式病毒進(jìn)行測試.對這些病毒程序進(jìn)行了混淆,得到了不同的變形版本.由于某些病毒的特殊性,在使用相應(yīng)的混淆方法之后,無法生成可執(zhí)行文件或者生成文件沒有病毒功能,最后共成功得到了65個(gè)程序.使用的混淆、變形方法及生成程序的數(shù)目如下:uf0b7original版:原始版本,未經(jīng)過變形、混淆(9個(gè));uf0b7v1版:插入垃圾代碼(9個(gè));uf0b7v2版:修改數(shù)據(jù)段(9個(gè));uf0b7v3版:修改控制流(9個(gè));uf0b7v4版:相同語義指令替換(7個(gè));uf0b7v5版:不透明謂詞混淆(9個(gè));uf0b7v6版:條件分支混淆(8個(gè));uf0b7v7版:隱式函數(shù)調(diào)用(5個(gè)).我們使用病毒的原始版本進(jìn)行對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練.為了更好地說明判定效果,我們還選擇了不同特點(diǎn)的國內(nèi)外知名殺毒軟件對病毒的原始版本及變形版本進(jìn)行對比測試:uf0b7卡巴斯基KAV2012,版本號:12.0.0.374;uf0b7BitDefender反病毒2011,版本號:14.0.28.44;uf0b7ClamAV,版本號:0.97.2;uf0b7Rising2011,版本號:23.00.45.97;uf0b7KV-2011,版本號:SP7.2.061628.實(shí)驗(yàn)前,各款殺毒軟件的病毒庫全部在線更新至最新版本(2011年10月18日上午10點(diǎn)).對各類病毒程序的檢測結(jié)果如圖6所示.從圖6中能夠發(fā)現(xiàn),各款反病毒軟件對于變形、混淆之后的惡意代碼的檢測率不高,而Nombril系統(tǒng)能夠有效地對抗各種混淆手段.為了進(jìn)一步分析變形、混淆對惡意性判定的影響,下面將按照變形、混淆的類型進(jìn)行統(tǒng)計(jì),如圖7所示.從圖7可以進(jìn)一步看出,常用的反病毒軟件對病毒的原始版本檢測正確率較高,而對于經(jīng)過變形、混淆的病毒程序檢測率較低.本文提出的檢測方法對病毒原始版本和變形版本均有效,且檢測準(zhǔn)確率最高.4.3綜合測試測試中隨機(jī)抽取了2000個(gè)正常程序和2000個(gè)惡意程序進(jìn)行測試.為便于對實(shí)驗(yàn)結(jié)果進(jìn)行分析,本實(shí)驗(yàn)中由以下指標(biāo)評測Nombril系統(tǒng)對程序惡意性的判定能力.uf0b7惡意程序被判定為惡意程序的情況,稱為TP(truepositive);uf0b7正常程序被判定為正常程序的情況,稱為TN(true