基于改進(jìn)FCM的網(wǎng)絡(luò)異常流量檢測(cè)獲獎(jiǎng)科研報(bào)告

基于改進(jìn)FCM的網(wǎng)絡(luò)異常流量檢測(cè)獲獎(jiǎng)科研報(bào)告摘要：針對(duì)正常上網(wǎng)所產(chǎn)生的網(wǎng)絡(luò)流量遠(yuǎn)遠(yuǎn)大于攻擊、入侵等非正常手段產(chǎn)生的異常流量的特點(diǎn)，通過(guò)對(duì)傳統(tǒng)FCM算法進(jìn)行改進(jìn)，引入新的聚類中心矩陣計(jì)算方法來(lái)計(jì)算落入平均半徑范圍內(nèi)的流量數(shù)據(jù)的對(duì)象數(shù)量，根據(jù)該數(shù)量更新聚類中心矩陣，對(duì)流量數(shù)據(jù)進(jìn)行聚類，并識(shí)別出網(wǎng)絡(luò)異常流量。對(duì)改進(jìn)FCM算法、傳統(tǒng)FCM、HCM的效果進(jìn)行比較分析發(fā)現(xiàn)，改進(jìn)FCM雖然處理時(shí)間較HCM長(zhǎng)，但對(duì)噪聲抑制較好，錯(cuò)分率較低。

關(guān)鍵詞：FCM;流量檢測(cè);聚類

隨著網(wǎng)絡(luò)帶寬逐漸增加、存儲(chǔ)介質(zhì)的容量逐漸增大、服務(wù)器計(jì)算能力逐漸增強(qiáng)，促使了數(shù)據(jù)產(chǎn)生的成本越來(lái)越低，從而造成網(wǎng)絡(luò)數(shù)據(jù)急劇膨脹。如何快速、準(zhǔn)確對(duì)網(wǎng)絡(luò)流量進(jìn)行識(shí)別和分類是網(wǎng)絡(luò)入侵檢測(cè)中亟待解決的問(wèn)題。基于模糊集的FCM算法作為一種無(wú)監(jiān)督的分類方法[1]，表現(xiàn)了樣本與樣本之間的聯(lián)系，建立了數(shù)據(jù)樣本對(duì)類別的不確定性描述，已廣泛應(yīng)用于機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、圖像分割、海量數(shù)據(jù)分析等領(lǐng)域[2]。在網(wǎng)絡(luò)流量檢測(cè)中，往往基于以下假設(shè)，即網(wǎng)絡(luò)正常流量的數(shù)量遠(yuǎn)遠(yuǎn)大于異常流量，異常流量在數(shù)據(jù)中將會(huì)呈現(xiàn)出比較特殊的性質(zhì)，F(xiàn)CM能通過(guò)識(shí)別正常類別比例來(lái)確定異常的類別。

1傳統(tǒng)FCM算法描述

設(shè)有待分類的樣本集為，n是樣本集合中的元素個(gè)數(shù)，q是特征空間維數(shù)。將樣本集X劃分為c類，然后將n個(gè)樣本分別屬于c個(gè)類的隸屬度矩陣記為，其中表示第k個(gè)樣本屬于第i個(gè)類別的隸屬度，應(yīng)

滿足：

在目標(biāo)函數(shù)中，樣本與類別的聚類距離度量的一般表達(dá)式為：

M為階的對(duì)稱正定矩陣。聚類的準(zhǔn)則為取的極小值。

為階矩陣，表示聚類中心矩陣

為第i類的聚類中心

2改進(jìn)FCM獲取初始聚類中心和聚類中心矩陣

對(duì)于給定的數(shù)據(jù)集，定義為歐式距離，在聚類初期，不斷更新數(shù)據(jù)對(duì)象間的平均距離Mean_d，若以點(diǎn)為中心，Mean_d為半徑范圍內(nèi)落入的數(shù)據(jù)對(duì)象越多，表明該對(duì)象作為聚類中心的可能越大。計(jì)算出每個(gè)數(shù)據(jù)對(duì)象以Mean_d為半徑，落入該區(qū)間的數(shù)據(jù)對(duì)象數(shù)目，將區(qū)間內(nèi)數(shù)據(jù)對(duì)象數(shù)目最多的一個(gè)對(duì)象作為初始聚類點(diǎn)，對(duì)于任意如果

3異常判定

在聚類中心矩陣生成后，對(duì)每個(gè)聚類中心Mean_d范圍內(nèi)的數(shù)據(jù)對(duì)象數(shù)量進(jìn)行判斷，依據(jù)經(jīng)驗(yàn)，在網(wǎng)絡(luò)訪問(wèn)所產(chǎn)生的流量中，正常流量的數(shù)量是遠(yuǎn)遠(yuǎn)大于異常流量，那么正常流量聚類所產(chǎn)生的類所包含的數(shù)據(jù)對(duì)象數(shù)目應(yīng)遠(yuǎn)遠(yuǎn)大于異常流量所聚成的對(duì)象的數(shù)目。因此可以對(duì)聚類中心矩陣中每類的數(shù)據(jù)對(duì)象數(shù)目進(jìn)行簡(jiǎn)單排序，聚類中心中所含數(shù)據(jù)對(duì)象遠(yuǎn)遠(yuǎn)少于正常值的即為異常流量。

4結(jié)果與結(jié)論

為驗(yàn)證算法有效性，利用matlab2018a對(duì)數(shù)據(jù)進(jìn)行仿真，運(yùn)行環(huán)境為win10，Intel?Core?i7-8750H，CPU@2.4Ghz，RAM16GB。從HTTPDATASETCSIC數(shù)據(jù)集中，按4：1的比例對(duì)正常流量數(shù)據(jù)和異常流量數(shù)據(jù)進(jìn)行分別抽樣，隨機(jī)抽取一萬(wàn)條記錄進(jìn)行數(shù)據(jù)清洗和規(guī)范化，并通過(guò)數(shù)據(jù)規(guī)約對(duì)數(shù)據(jù)進(jìn)行降維采樣，盡量保持原有數(shù)據(jù)集的有關(guān)特性，減少需要處理的數(shù)據(jù)量，最終形成五組HTTPDATASETCSIC的六維子集。將改進(jìn)后的P_FCM算法與傳統(tǒng)FCM、HCM算法進(jìn)行性能比較，模糊權(quán)重指數(shù)為2。分別對(duì)數(shù)據(jù)樣本進(jìn)行聚類，聚類結(jié)果如表4.1所示

比較三種算法對(duì)數(shù)據(jù)樣本集的聚類結(jié)果，三種算法聚類效果比較接近，本文算法的運(yùn)行時(shí)間大于FCM算法和HCM算法，但準(zhǔn)確率高于FCM和HCM，由于HCM是硬劃分的聚類分析技

術(shù)，聚類時(shí)間較低，算法效果不及基于模糊劃分的FCM和本文算法。

對(duì)數(shù)據(jù)集添加5%的噪聲，比較三種算法對(duì)噪聲的抑制能力，添加噪聲后的數(shù)據(jù)樣本聚類結(jié)果如表4.2所示。

因傳統(tǒng)FCM對(duì)初始數(shù)據(jù)敏感[3，4]，對(duì)于含噪數(shù)據(jù)的識(shí)別效果不佳，迭代次數(shù)增加后算法處理時(shí)間迅速增加，錯(cuò)分率有所上升。HCM算法運(yùn)行速度快，但錯(cuò)分率較高。本文算法聚類中心矩陣是通過(guò)多次迭代生成的，在對(duì)噪聲的抑制上比傳統(tǒng)FCM和HCM表現(xiàn)好。

通過(guò)理論分析和實(shí)驗(yàn)發(fā)