大規(guī)模網(wǎng)絡(luò)行為異常檢測

０引言在“大數(shù)據(jù)”時代背景下，網(wǎng)絡(luò)用戶數(shù)量正在逐年增加，再加上全球化的發(fā)展，數(shù)據(jù)資源呈現(xiàn)高度的信息化，信息資源與日俱增，2019年2月CNNIC發(fā)布的第43次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，截至2018年12月，我國互聯(lián)網(wǎng)普及率為59.6%，網(wǎng)民數(shù)量達(dá)8.29億，網(wǎng)絡(luò)社會規(guī)模高居世界第一。而隨著黑客工具的逐漸泛濫，黑客門檻逐漸降低，大多數(shù)的信息資源不能得到很好的保護(hù)，導(dǎo)致用戶信息泄露，網(wǎng)絡(luò)信息安全面臨更加嚴(yán)峻的考驗(yàn)。據(jù)測算，2014年前11個月，360網(wǎng)站安全檢測平臺共掃描各類網(wǎng)站164.2萬個，其中存在安全漏洞的網(wǎng)站有61.7萬個，占掃描網(wǎng)站總數(shù)的37.6%；存在高危安全漏洞的網(wǎng)站有27.9萬個，占掃描網(wǎng)站總數(shù)的17.0%。入侵檢測系統(tǒng)（IntrusionDetectionSystem,IDS）的引入是解決網(wǎng)絡(luò)安全問題的可行方法之一，它是一種積極主動的實(shí)時安全防護(hù)技術(shù)，能夠有效彌補(bǔ)防火墻的不足。與防火墻和其他安全措施相比，入侵檢測系統(tǒng)提供了更主動、更實(shí)時和更完善的安全保護(hù)。網(wǎng)絡(luò)行為異常檢測是入侵檢測系統(tǒng)中的一個重要環(huán)節(jié)，它能實(shí)時跟蹤關(guān)鍵網(wǎng)絡(luò)特性（如流量、帶寬使用和協(xié)議使用等），如果監(jiān)測到有不尋常事件或趨勢就會生成警報(bào)。網(wǎng)絡(luò)行為數(shù)據(jù)的特點(diǎn)是數(shù)據(jù)量大、維數(shù)高(網(wǎng)絡(luò)行為性質(zhì)種類多)、樣本容量小(異常數(shù)據(jù)僅占收集到的信息的一小部分)，需要及時有效的處理和分析，使得網(wǎng)絡(luò)行為異常檢測成為一項(xiàng)非常困難的任務(wù)。支持向量機(jī)（SupportVectorMachine，SVM）是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)方法，它將最大區(qū)間原理和核函數(shù)理論相結(jié)合，有效地解決了小樣本、高維數(shù)、非線性、超學(xué)習(xí)、局部最優(yōu)解等問題。它于1995年由文獻(xiàn)[4]正式發(fā)表，由于在文本分類任務(wù)中顯示出卓越性能，很快成為機(jī)器學(xué)習(xí)的主流技術(shù)，并且直接掀起了“統(tǒng)計(jì)學(xué)習(xí)”在2000年前后的高潮。針對各式各樣的需求，SVM這個強(qiáng)大的機(jī)器學(xué)習(xí)算法被應(yīng)用于各種不同的背景中，將SVM應(yīng)用于網(wǎng)絡(luò)行為異常的高效性和準(zhǔn)確性也已經(jīng)得到許多研究者的認(rèn)可。如文獻(xiàn)[6]中，作者將一種聚類的SVM應(yīng)用在入侵檢測背景下，提出了一種將聚類算法與SVM相結(jié)合的方法來提高入侵檢測系統(tǒng)的識別精度和識別率。文獻(xiàn)[7]也將SVM和網(wǎng)絡(luò)入侵檢測結(jié)合在一起，提出了一種基于自適應(yīng)混沌粒子群優(yōu)化SVM參數(shù)算法的入侵檢測模型。通過分析參數(shù)對SVM模型的重要性,提出一種基于ICPSO-SVM的入侵檢測模型。然而對于涉及大量樣本和極其高維特征的大規(guī)模問題，現(xiàn)有的一些SVM算法仍然具有挑戰(zhàn)性，如何提高效率，使得SVM算法能適用于大規(guī)模數(shù)據(jù)一直是研究重點(diǎn)。而稀疏支持向量機(jī)（Sparse-SupportVectorMachine，S-SVM）在面對著海量高維數(shù)據(jù)的計(jì)算中，利用其特有的稀疏性，能起到更加高效的作用。S-SVM在面對著海量高維數(shù)據(jù)的計(jì)算中，利用其特有的稀疏性，能起到更加高效的作用。它是一種強(qiáng)大的數(shù)據(jù)分類技術(shù)，通過引入一種特殊的稀疏正則化約束模型，在選擇數(shù)據(jù)特征的同時，對模型進(jìn)行了研究，在預(yù)測中不僅具有較高的精度，而且具有良好的稀疏性。在對網(wǎng)絡(luò)行為異常進(jìn)行檢測時，很多算法在面對大規(guī)模的網(wǎng)絡(luò)行為數(shù)據(jù)時，由于存儲限制和維數(shù)災(zāi)難，很難進(jìn)行有效檢測，本文主要針對這一問題，引入列生成和約束生成的方法求解S-SVM模型，檢測網(wǎng)絡(luò)異常行為。并用HTTPDATASETCSIC2010數(shù)據(jù)集來評估此算法的可行性和準(zhǔn)確性。１基于列和約束生成的稀疏支持向量機(jī)本文通過將列生成算法和約束生成算法結(jié)合起來求解稀疏支持向量機(jī)，來解決大規(guī)模網(wǎng)絡(luò)行為異常檢測問題。首先基于稀疏支持向量機(jī)建立本文網(wǎng)絡(luò)行為異常檢測算法的模型為式。（1）混合的列生成和約束生成算法的思想是希望降低高維海量網(wǎng)絡(luò)行為異常檢測問題的規(guī)模，即將原問題公式(1)限制到一個規(guī)模更小的限制問題即公式(2)中。原問題式中網(wǎng)絡(luò)行為數(shù)據(jù)樣本數(shù)量被定義為，數(shù)據(jù)特征數(shù)量被定義為，那么這個限制問題中的網(wǎng)絡(luò)行為數(shù)據(jù)樣本數(shù)量為，數(shù)據(jù)特征數(shù)量為。（2）為了方便計(jì)算，同樣將此限制問題轉(zhuǎn)換成對偶問題。（3）將求得的最優(yōu)對偶變量定義為，當(dāng)前最優(yōu)特征權(quán)重定義為。首先基于約束生成算法的原理，對網(wǎng)絡(luò)行為數(shù)據(jù)樣本進(jìn)行添加，即通過公式(4)用當(dāng)前最優(yōu)特征權(quán)重求出未被當(dāng)前限制問題公式(2)訓(xùn)練過的網(wǎng)絡(luò)行為數(shù)據(jù)樣本的檢測數(shù)，來判斷此網(wǎng)絡(luò)行為數(shù)據(jù)樣本能否添加到限制問題中。

（4）在未被當(dāng)前限制問題訓(xùn)練過的網(wǎng)絡(luò)行為數(shù)據(jù)樣本中找到個滿足的網(wǎng)絡(luò)行為數(shù)據(jù)樣本，將這些數(shù)據(jù)樣本添加到限制問題中，更新限制問題。再基于列生成算法的原理，對網(wǎng)絡(luò)行為數(shù)據(jù)特征進(jìn)行添加，即通過公式(5)，求非基變量的檢驗(yàn)數(shù)，來尋找可以添加到基變量中的和它對應(yīng)的特征向量。（5）找到個滿足的和它對應(yīng)的特征向量，將這些和它對應(yīng)的特征向量分別添加到基變量和限制問題公式(2)中，更新基變量和限制問題，再求解新的限制問題的對偶問題，循環(huán)添加未在當(dāng)前限制問題中的網(wǎng)絡(luò)行為數(shù)據(jù)的樣本和特征。直到?jīng)]有可添加的數(shù)據(jù)特征時，判斷用當(dāng)前最優(yōu)特征權(quán)重求出未被當(dāng)前限制問題訓(xùn)練過的網(wǎng)絡(luò)行為數(shù)據(jù)樣本的檢測數(shù)是否滿足，如果仍然有滿足的數(shù)據(jù)樣本，則再添加個到限制問題中，，如果沒有滿足的數(shù)據(jù)樣本，則結(jié)束循環(huán)。當(dāng)前最優(yōu)特征權(quán)重，就是本節(jié)大規(guī)模網(wǎng)絡(luò)行為異常檢測問題模型中最優(yōu)特征權(quán)重。２實(shí)驗(yàn)結(jié)果分析HTTPDATASETCSIC2010數(shù)據(jù)集是由西班牙研究委員會（SpanishNationalResearchCouncil，CSIC）信息安全研究所制作的，它是一個專門針對網(wǎng)站應(yīng)用程序防火墻的測試集。數(shù)據(jù)集是自動生成的，包含36,000個正常請求和25,000多個異常請求，其中，異常的請求包括資料隱碼攻擊（SQLinjection）、緩沖區(qū)溢出（bufferoverflow）、信息收集（informationgathering）、文件公開（filesdisclosure）、CRLF注入漏洞（HTTP響應(yīng)拆分漏洞）、跨站腳本攻擊（CrossSiteScripting，XSS）、服務(wù)端包含注入（ServerSideIncludes，SSI）、參數(shù)篡改（parametertampering）等攻擊。經(jīng)過預(yù)處理后，它是一個61065×33550的矩陣。隨機(jī)從61065個樣本中抽取3000個樣本來對本文中介紹的基于列和約束生成算法求解的稀疏支持向量機(jī)（NLPL-S-SVM）進(jìn)行實(shí)驗(yàn)。同樣用此3000個樣本的數(shù)據(jù)集對基于隨機(jī)梯度下降算法求解的稀疏支持向量機(jī)（PGD-S-SVM）進(jìn)行訓(xùn)練，并且將訓(xùn)練得到的評估性能進(jìn)行對比，如圖1所示。圖1?NSPL-S-VM算法和PGD-S-SVM算法檢測性能對比從圖中可以看出，本文的NSPL-S-SVM算法在數(shù)據(jù)特征數(shù)量遠(yuǎn)大于樣本數(shù)量的數(shù)據(jù)集上測試的準(zhǔn)確率和檢測率都比PGD-S-SVM算法測試的值高。但是NSPL-S-SVM算法將正常網(wǎng)絡(luò)行為判定為異常網(wǎng)絡(luò)行為的概率，即錯誤率比用PGD-S-SVM高。3結(jié)語在海量高維的網(wǎng)絡(luò)行為數(shù)據(jù)中，為了更有效地檢測異常行為，本文針對大規(guī)模的網(wǎng)絡(luò)行為數(shù)據(jù)提出了基于列和約束生成求解的稀疏支持向量機(jī)。實(shí)驗(yàn)結(jié)果表明，本文所提方法提高了網(wǎng)絡(luò)行為異常