基于卷積神經(jīng)網(wǎng)絡的工控網(wǎng)絡異常流量檢測

1、 基于卷積神經(jīng)網(wǎng)絡的工控網(wǎng)絡異常流量檢測 張艷升 李喜旺 李丹 楊華摘 要：針對工控系統(tǒng)中傳統(tǒng)的異常流量檢測模型在識別異常上準確率不高的問題，提出一種基于卷積神經(jīng)網(wǎng)絡（CNN）的異常流量檢測模型。該模型以卷積神經(jīng)網(wǎng)絡算法為核心，主要由1個卷積層、1個全連接層、1個dropout層以及1個輸出層構成。首先，將實際采集的網(wǎng)絡流量特征數(shù)值規(guī)約到與灰度圖像素值相對應的范圍內(nèi)，生成網(wǎng)絡流量灰度圖;然后，將生成好的網(wǎng)絡流量灰度圖輸入到設計好的卷積神經(jīng)網(wǎng)絡結構中進行訓練和模型調(diào)優(yōu);最后，將訓練好的模型用于工控網(wǎng)絡異常流量檢測。實驗結果表明，所提模型識別精度達到97.88%，且與已有的精度最高反向傳播（BP）

2、神經(jīng)網(wǎng)絡測精度提高了5個百分點。這充分說明該模型能夠有效檢測出異常流量，作出安全預警，方便技術人員做出安全應對措施，極大地提高工控網(wǎng)絡的安全性能。Key：卷積神經(jīng)網(wǎng)絡;異常流量監(jiān)測;工控網(wǎng)絡;特征提優(yōu);深度學習：TP301.6文獻標志碼：AAbstract： Aiming at the inaccuracy of traditional abnormal flow detection model in the industrial control system， an abnormal flow detection model based on Convolutional Neural Net

3、work （CNN） was proposed. The proposed model was based on CNN algorithm and consisted of a convolutional layer， a full connection layer， a dropout layer and an output layer. Firstly， the actual collected network flow characteristic values were scaled to a range corresponding to the grayscale pixel va

4、lues， and the network flow grayscale map was generated. Secondly， the generated network traffic grayscale image was put into the designed convolutional neural network structure for training and model tuning. Finally， the trained model was used to the abnormal flow detection of the industrial control

5、 network. The experimental results show that the proposed model has a recognition accuracy of 97.88%， which is 5 percentage points higher than that of Back Propagation （BP） neural network with the existing highest accuracy. These fully demonstrate that the model can effectively detect abnormal flow，

6、 make safety warnings， and facilitate technicians to make security countermeasures， greatly improving the safety performance of industrial control network.英文關鍵詞Key words： Convolutional Neural Network （CNN）; abnormal flow monitoring; industrial control network; feature optimization; deep learning0 引言

7、隨著兩化融合的不斷深入，越來越多的信息技術應用到了工業(yè)領域。工業(yè)控制系統(tǒng)已廣泛應用于電力、水利、石油化工、汽車、航空和食品制藥等工業(yè)領域， 其中大多數(shù)的基礎設施實現(xiàn)自動化作業(yè)時依賴工業(yè)控制系統(tǒng)， 可見，工業(yè)控制系統(tǒng)已經(jīng)成為國家關鍵基礎設施的不可或缺的組成部分，因此工業(yè)控制系統(tǒng)和國家的戰(zhàn)略安全密不可分。一般情況下，由通用的軟件和網(wǎng)絡設施組成工業(yè)控制系統(tǒng)，并集成到企業(yè)網(wǎng)和互聯(lián)網(wǎng)等開放的網(wǎng)絡環(huán)境中。傳統(tǒng)工業(yè)控制系統(tǒng)是基于物理隔離的，它主要關注系統(tǒng)的功能安全，缺乏對網(wǎng)絡信息安全的考慮，并且沒有專門的安全防御措施， 例如2010年震撼全球的“震網(wǎng)”病毒事件，專門攻擊工業(yè)控制系統(tǒng)設施，造成伊朗核電站推遲發(fā)

8、電。工業(yè)系統(tǒng)網(wǎng)絡化的快速發(fā)展，相應導致了系統(tǒng)的安全風險不斷增加，面臨的網(wǎng)絡安全問題也更加突出，再加上工業(yè)網(wǎng)絡通常采用傳輸控制協(xié)議/因特網(wǎng)互聯(lián)協(xié)議（Transmission Control Protocol/Internet Protocol， TCP/IP）技術進行通信，利用傳統(tǒng)的 IP安全漏洞攻擊工業(yè)控制網(wǎng)絡，使得工控系統(tǒng)的安全隱患愈加嚴重。傳統(tǒng)的工業(yè)控制網(wǎng)絡安全的監(jiān)測，一方面是通過工程師對網(wǎng)絡設備進行排查，另一方面是管理員通過參數(shù)信息庫對比參數(shù)進行分析并定位。目前國內(nèi)外的各種網(wǎng)絡質(zhì)量監(jiān)測技術發(fā)展相對成熟，使用較多的技術包括：1）在一定周期內(nèi)，通過對實際網(wǎng)絡系統(tǒng)的各種參數(shù)及指標進行觀測，進而

9、作出分析與評價;2）根據(jù)實際的網(wǎng)絡系統(tǒng)建立數(shù)學模型，通過對其表達式的求解進行網(wǎng)絡性能的模型分析;3）通過計算機程序模擬網(wǎng)絡的實際使用情況，對得到的結果進行性能分析。在大數(shù)據(jù)人工智能的環(huán)境下，算法和硬件系統(tǒng)的革新為網(wǎng)絡異常的檢測提供了全新的解決思路，許多的學者進行了嘗試并取得了一定的成果。其中包括使用最小二乘支持向量機1、K均值（Kmeans）2算法、動態(tài)半監(jiān)督的Kmeans結合單類支持向量機2以及通過二分法優(yōu)化Kmeans簇3等多種算法對網(wǎng)絡異常檢測進行了研究分析。分析上述研究方法發(fā)現(xiàn)雖然有些算法模型3取得了接近90%準確率，但是特征提取的好壞對傳統(tǒng)機器學習算法的效果有很大的影響，且這樣的準確

10、率還遠遠達不到工業(yè)使用的要求。近年來，在計算機視覺等多分類任務領域中使用深度學習的方法取得了一系列的成果，本文方法將深度學習的方法應用到工業(yè)控制網(wǎng)絡異常流量檢測中。本文以工業(yè)控制網(wǎng)絡中的典型代表電力網(wǎng)絡系統(tǒng)作為研究對象，系統(tǒng)采用IEC608705104規(guī)約（Telecontrol Equipment and SystemsPart 5104， IEC104）控制協(xié)議作為網(wǎng)絡通信標準，IEC104規(guī)約是基于TCP/IP網(wǎng)絡作為運動信息的網(wǎng)絡傳輸規(guī)約標準。通過對遼寧省電網(wǎng)某子網(wǎng)交換機進行IEC104協(xié)議規(guī)約解析，采集網(wǎng)絡流量數(shù)據(jù)，利用數(shù)據(jù)流時間窗口滑動的方式對采集的數(shù)據(jù)包進行應用層深度包檢測，然后

11、對檢測到的數(shù)據(jù)包進行內(nèi)容解析并統(tǒng)計網(wǎng)絡流量特征。本文在采集并統(tǒng)計好流量特征后，采用在計算機視覺領域取得了不錯的成果的卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network， CNN）進行異常檢測，典型的卷積神經(jīng)網(wǎng)絡有AlexNet4、更快速的基于區(qū)域的卷積神經(jīng)網(wǎng)絡（Faster Regions with Convolutional Neural Network， Faster RCNN）5等。實際環(huán)境下網(wǎng)絡流量數(shù)據(jù)量大，通過將采集的網(wǎng)絡流量特征數(shù)值規(guī)約到0255，與灰度圖像素值取值范圍剛好對應，每條數(shù)據(jù)特征樣本生成灰度圖，將特征灰度圖輸入到根據(jù)實際場景設計實現(xiàn)的卷積神經(jīng)網(wǎng)絡中訓

12、練。采用卷積神經(jīng)網(wǎng)絡去訓練不用像反向傳播（Back Propagation， BP）神經(jīng)網(wǎng)絡那樣每層之間采用全連接操作，導致訓練的權值參數(shù)太多、計算困難、訓練慢、反向傳播梯度損失多等。卷積神經(jīng)網(wǎng)絡利用其局部感知與權值共享操作， 可以有效減少參數(shù)數(shù)目，降低了模型的復雜性，收斂速度快，避免了反向傳播梯度消失快等。使用卷積神經(jīng)網(wǎng)絡訓練模型，在面對工控網(wǎng)絡流量大以及網(wǎng)絡流量特征復雜時，不用人為地去挑選特征，直接讓模型對特征進行提取，節(jié)約了人力成本，更符合工控環(huán)境，并最終取得了正確率相對高的模型6。用訓練好的模型檢測在線數(shù)據(jù)，能夠及時作出預警，方便工作人員作出相應調(diào)整， 因此，該模型正確率高、人為參與少

13、，更加符合工控網(wǎng)絡實際環(huán)境，以此作為工控網(wǎng)絡異常流量檢測更有意義。1 工控網(wǎng)絡異常流量檢測模型設計1.1 異常流量檢測流程網(wǎng)絡運行安全時網(wǎng)絡各個維度的特征都比較平穩(wěn)，但當異常發(fā)生時會產(chǎn)生較大的波動，當某些維度的數(shù)值超過閾值時判定異常發(fā)生。異常有許多種，并且一種異常發(fā)生時對應的特征波動情況也相對穩(wěn)定，這是設計卷積神經(jīng)網(wǎng)絡的異常流量檢測模型的原則。檢測的具體流程如圖1所示，整個流程分為S1和S2兩大階段：其中S1階段也稱為數(shù)據(jù)預處理階段，主要對采集到的數(shù)據(jù)進行相關處理;S2階段，主要對S1階段處理后的數(shù)據(jù)進行模型的建立，以及對在線數(shù)據(jù)進行異常檢測，并作出安全預警。特征提優(yōu) 對應圖1中S1數(shù)據(jù)預處理

14、部分。網(wǎng)絡流量數(shù)據(jù)的采集使用時間窗的方法，普通攻擊使用2s作為一個時間窗采集一次數(shù)據(jù);慢速攻擊掃描頻率一般大于2s，所以使用5s作為一個時間窗來采集用于判別慢速攻擊的數(shù)據(jù)7。網(wǎng)絡攻擊首先需要建立起網(wǎng)絡間的連接，因此在采集網(wǎng)絡數(shù)據(jù)時主要關注網(wǎng)絡間與連接特征相關的信息。舉例來說，在TCP（Transmission Control Protocol）連接的基本特征中可以提取連接的持續(xù)時間、網(wǎng)絡協(xié)議的類型、目標主機的網(wǎng)絡服務類型、從源主機到目標主機的數(shù)據(jù)字節(jié)數(shù)等;在TCP連接的內(nèi)容特征中可以記錄登錄失敗后嘗試再次登錄的次數(shù)、訪問敏感文件和目錄的次數(shù)、是否出現(xiàn)超級管理員命令等;以時間窗為特征的記錄一些比

15、如過去2s內(nèi)與當前連接具有相同服務的連接數(shù)、過去2s與當前連接有相同的服務的連接中，出現(xiàn)“REJ”錯誤的連接百分比等一些特征信息。1.2 卷積神經(jīng)網(wǎng)絡結構設計卷積神經(jīng)網(wǎng)絡和傳統(tǒng)神經(jīng)網(wǎng)絡一樣使用的是多層結構，一般由輸入層、輸出層、卷積層和全連接層等交替組合8-10。每一層有多個神經(jīng)元組成，每一個神經(jīng)元表示一張圖中的一個特征。隨著卷積神經(jīng)網(wǎng)絡層數(shù)增加伴隨來的是訓練參數(shù)的增加，而卷積層的權值共享策略極大地緩解了參數(shù)爆炸。假設輸入是x1，x2，x9，激活函數(shù)為f（x），輸出y為：1.2.2 卷積層模型的卷積層中卷積核的大小表示為k_widthk_heightk_channels，其中k_width、k

16、_height分別表示卷積核的寬度和高度; k_channels表示卷積核的通道數(shù);該卷積層中設置的卷積核為331，步長（stride）為1，填充（padding）為1，共有32個卷積核，步長指卷積核每次移動的距離，當圖像像素不滿足卷積核的卷積時需要在圖像周圍人工添加適當?shù)?像素使得卷積可以進行下去，填充的數(shù)目為在圖像四周添加的0值像素的行列數(shù)。設輸入數(shù)據(jù)的大小為w1h1d1，輸出的特征圖大小為w2h2d2，根據(jù)輸入數(shù)據(jù)的大小、輸出特征圖的大小和卷積核的大小可以推導出輸出特征圖大小的計算公式（2）：經(jīng)過卷積層后，每張661的輸入圖像生成6632的特征圖。式（1）中每一個卷積核運算后都要通過一個

17、激活函數(shù)f（x）輸出。卷積運算本質(zhì)上是一個線性運算而激活函數(shù)是非線性函數(shù)，將卷積結果輸入到非線性函數(shù)中后增加了非線性因素。使得神經(jīng)網(wǎng)絡的泛化能力更好?，F(xiàn)在經(jīng)常使用的激活函數(shù)有多種，如Sigmoid函數(shù)、線性整流函數(shù)（Rectified Linear Unit，ReLU）、雙曲正切（Tanh）、ELU（Exponential Linear Unit）激活函數(shù)等，本文選取的是Sigmoid函數(shù)。Sigmoid函數(shù)在中間部分變化敏感，在兩端出現(xiàn)抑制對分類比較有利，本文應用在實際網(wǎng)絡數(shù)據(jù)流環(huán)境下，利用Sigmoid一方面可以在網(wǎng)絡發(fā)生異常后能夠有效地捕捉流量數(shù)據(jù)發(fā)生的細微變化，另一方面能夠將輸出數(shù)據(jù)壓

18、縮到固定范圍中，使在卷積神經(jīng)網(wǎng)絡的層與層傳遞過程中不易發(fā)散11。卷積層的數(shù)據(jù)流圖如圖4所示。1.2.3 全連接層全連接層是將前一層輸出的神經(jīng)元與當前層的神經(jīng)元全部連接在一起。在此之前的卷積層使用33大小的卷積核對結果進行卷積操作，每一個卷積核運算后都會產(chǎn)生一張?zhí)卣鲌D，且一種卷積核對應產(chǎn)生相應特點的特征圖，全連接層的意義就是將前面從不同角度生成的網(wǎng)絡流量特征綜合到一起，將學習到的多個特征映射到樣本標記空間中進行后續(xù)的分類應用。本文卷積神經(jīng)網(wǎng)絡有兩層全連接層。第一層與卷積層相連有1024個神經(jīng)元，在算法模型中的數(shù)據(jù)流和內(nèi)部細節(jié)的展示，如圖5所示。卷積后的輸出通過reshape重構后，將全連接層的權

19、重（Full Connection Layer Weight， fc1_weights）與全連接層偏置項（Full Connection Layer Biases， fc1_biases）求和后的值輸入Sigmoid中進行非線性作用，但每一次運算發(fā)生時并不是所有的權重都參與運算，在dropout12的作用下只有部分權重連接的神經(jīng)元參與運算。得到的結果最終流入輸出層。1.2.4 dropout技術在全連接層輸出后，為防止模型發(fā)生過擬合的現(xiàn)象，在設計卷積神經(jīng)網(wǎng)絡結構時，加入了dropout操作。在用訓練樣本進行權重更新時，全連接層的所有神經(jīng)元都會參與這個過程，這樣每個神經(jīng)元都記錄樣本的一些信息。這

20、種過多記錄特征信息的過程會增加過擬合發(fā)生的概率，如果每次權值更新時只有當前層的部分神經(jīng)元起作用，這樣權重的更新將不再依賴特定的更新過程，減少神經(jīng)元間的相互影響，可以有效阻止特征被固定的網(wǎng)絡模型學習記錄。本文使用簡單的“乘零”算法。當進行一次圖片訓練時，將dropout所在的全連接層的神經(jīng)元的激勵函數(shù)的值按照40%的概率設置成0，這部分被設置成0的神經(jīng)元在前后傳播中都保持不變，可以被認為這部分神經(jīng)元沒有參與權重更新。特別需要注意的是，這部分激勵函數(shù)的值被設置成0的神經(jīng)元也不是固定的。每進行一組訓練時，這部分都是按照概率隨機指定的。同樣在測試時需要將全連接層的所有神經(jīng)元的激勵值乘上40%，期望確保

21、在測試時，一個單元的期望總輸入與在訓練時該單元的期望總輸入大致是相同的。1.2.5 輸出層輸出層有23個神經(jīng)元對應23類異常，這23個神經(jīng)元負責接收Softmax函數(shù)分類器13的輸出值。Softmax的輸出值作為所屬樣本的概率值。假設每次輸入的數(shù)據(jù)為1000張，訓練集可以表示成（x（1），y（1），（x（2），y（2），（x（1000），y（1000），其中xi表示輸入卷積神經(jīng)網(wǎng)絡的數(shù)據(jù);yi對應這個數(shù)據(jù)的真實類別標簽。舉例來說，網(wǎng)絡數(shù)據(jù)流量異?？梢苑譃镾murf攻擊、pingsweep、portscan等多種，通過向量映射將每一種異常的文字表述映射為向量表示，這樣可以直接參與卷積神經(jīng)網(wǎng)絡的數(shù)

22、值運算中。這1000張?zhí)卣鲌D，每一張對應的Softmax輸出可以表示為：其中：Wi表示第二層的全連接層與輸出層第i個神經(jīng)元相連的權重參數(shù)，P（y（i）|x（i）表示當前輸入特征所屬第i類異常的概率，n表示異常的種類。1.3 參數(shù)更新過程卷積神經(jīng)網(wǎng)絡的前向傳播過程與傳統(tǒng)神經(jīng)網(wǎng)絡是相同的，不同點在于各層之間的連接方式。傳統(tǒng)神經(jīng)網(wǎng)絡各層神經(jīng)元間是全連接的，而卷積神經(jīng)網(wǎng)絡則是由卷積層、全連接層等組成。雖然層間的組合方式不同但是前向傳播算法是相同的，都是在當前的權重參數(shù)下由輸入層依次計算激活函數(shù)值作為下一層的輸入一直到輸出層。不同的地方在反向傳播的參數(shù)更新過程中，傳統(tǒng)的神經(jīng)網(wǎng)絡除輸出層外，其他各層的參數(shù)

23、更新方式一致，卷積神經(jīng)網(wǎng)絡僅僅在最后的輸出層和全連接層與傳統(tǒng)神經(jīng)網(wǎng)絡更新方法一致。卷積層參數(shù)更新的方法根據(jù)不同的連接方式采用不同的參數(shù)更新方法。2 實驗設計與結果分析2.1 實驗數(shù)據(jù)本文所用數(shù)據(jù)是通過對遼寧電網(wǎng)采用網(wǎng)絡流量深度包檢測，將檢測的數(shù)據(jù)包進行捕獲，利用libcap（Packet Capture library）進行解析，經(jīng)過預處理后的網(wǎng)絡流量數(shù)據(jù)。數(shù)據(jù)集大小約為2.38GB，將該數(shù)據(jù)集分為訓練數(shù)據(jù)集和測試數(shù)據(jù)集兩部分，方便模型訓練以及測試使用。在數(shù)據(jù)集的每條數(shù)據(jù)中都記錄攻擊類型，其中攻擊類型一共包括4個大類以及28個小類，其中12個小類出現(xiàn)在測試集中，這樣可以檢驗模型的泛化能力，對該

24、數(shù)據(jù)集各類型數(shù)據(jù)的統(tǒng)計情況如表2所示。2.2 模型訓練與測試本文中在卷積神經(jīng)網(wǎng)絡模型設計中加入了dropout技術，其目的是為了提高模型的泛化能力，進而能夠對模型的過擬合現(xiàn)象得到有效的改善。在實驗環(huán)節(jié)，對不加入dropout技術與加入dropout技術兩個模型進行對比，其對比結果如圖7、圖8 所示。在模型設計與測試時，將dropout設置成0.4，統(tǒng)計模型在最后的損失與準確率趨于穩(wěn)定的結果，如表3所示。10 常亮，鄧小明，周明全，等.圖像理解中的卷積神經(jīng)網(wǎng)絡J.自動化學報，2016，42（9）：1300-1312.（CHANG L， DENG X M， ZHOU M Q， et al. Con

25、volution neural network in image comprehension J. Acta Automatica Sinica， 2016，42（9）：1300-1312.）11 張順，龔怡宏，王進軍.深度卷積神經(jīng)網(wǎng)絡的發(fā)展及其在計算機視覺領域的應用J/OL.計算機學報，2017：1-292018-09-10.http：/kcms/detail/11.1826.TP.20170918.2025.006.html.（ZHANG S， GONG Y H， WANG J J. The depth of the convolution of the neural network development and its application in the field of computer vision J/OL. Chinese Journal of Computers， 2017：1-29 2018-09-10. http：/kcms/detail/11.1826.TP.20170918.2025.006.h