機器學習在網絡優(yōu)化中的應用研究

1、 機器學習在網絡優(yōu)化中的應用研究 王雨 劉琳琳Summary：本文將機器學習算法應用于網絡優(yōu)化過程，基于網絡流量分類提出一種快速準確的路由選路方案，可應用于多種復雜網絡環(huán)境?；谥鞒煞址治黾鞍氡O(jiān)督聚類理論提出了一種基于QoS類別的網絡流量分類方案，根據(jù)分類結果進行路由選路，選路過程采用Q-Learning算法，通過對Q表的更新進行最佳路徑的選擇。實驗結果表明，該方案具有良好的網絡優(yōu)化效果。Abstract： In this paper， machine learning algorithm is applied to network optimization process， and a fa

2、st and accurate routing scheme based on network traffic classification is proposed， which can be applied to a variety of complex network environments. Based on principal component analysis and semi-supervised clustering theory， a network traffic classification scheme based on QoS categories is propo

3、sed. According to the classification results， the routing is selected. Q-learning algorithm is adopted in the routing process， and the optimal path is selected by updating the Q table. The experimental results show that the scheme has a good network optimization effect.Key：機器學習;Q-Learning;SDN;QoS路由分

4、配Key words： machine learning;Q-Learning;SDN;QoS routing allocation：TP18;TP391.41 ：A ：1006-4311（2020）29-0200-020 引言在傳統(tǒng)的網絡架構中，有很多的路由選路算法及轉發(fā)機制來保證網絡的服務質量1，2。近年來，由于網絡環(huán)境的復雜變化以及個人便攜式設備的多樣化發(fā)展，各種網絡環(huán)境中的流量數(shù)據(jù)迅速增長，傳統(tǒng)的網絡架構及現(xiàn)有的網絡服務保障機制已不足以為大增量的數(shù)據(jù)提供更好的服務保障。隨著人工智能技術的興起，機器學習等領域不斷展現(xiàn)出新的研究成果和好的應用效果。本文將機器學習理論與SDN網絡優(yōu)化相結合，

5、提出一種基于QoS類別的強化學習選路算法，將網絡流量按照QoS需求進行分類后，經由強化學習控制模塊進行路由選路，根據(jù)選路結果進行轉發(fā)，并對轉發(fā)后的各個參數(shù)進行加權計算，結合網絡流量的時延、丟包率、帶寬利用率等幾個方面判斷選路后的轉發(fā)效果。1 網絡流量分類為實現(xiàn)網絡中的數(shù)據(jù)流量的合理轉發(fā)，首先要對數(shù)據(jù)流量的類別進行劃分。傳統(tǒng)的流量分類方法大多是在離線環(huán)境下進行的，不能適應網絡環(huán)境多變、數(shù)據(jù)流量類別日益復雜的發(fā)展趨勢。而在線網絡流量識別分類更適用于SDN網絡，在SDN網絡控制層中，采用SDN控制器對網絡流量進行實時分類。網絡環(huán)境中的應用日趨復雜化，許多新型業(yè)務正不斷融入于網絡環(huán)境中，但大多具有相同

6、或類似的QoS需求。因此，本文根據(jù)QoS需求的相似性進行流量分類，將SDN控制器中的不同網絡流量歸屬于特定的QoS類別，以便進行路由選擇。結合網絡現(xiàn)實環(huán)境及業(yè)務需求，將網絡中數(shù)據(jù)流量按照應用需求定義為三種QoS類別：INTERACTIVE（交互類流量）、BULK（數(shù)據(jù)類）、TRANSACTIONAL（會話類）。在對流量分類器的訓練過程中，由于最初的分類模型僅可以對當前時間節(jié)點之前的數(shù)據(jù)進行集中訓練，而對于網絡中日趨龐大的數(shù)據(jù)，該模型的泛化性能較差，因此需要對SDN網絡中收集的數(shù)據(jù)進行增量訓練，從而完成對控制器中網絡流量的實時分類。1.1 主成分分析本文將SDN控制器中的網絡流量的統(tǒng)計特征作為分

7、類標準，進行基于QoS類別的分類過程，目前的研究中都是采用對網絡流量特征進行選取的方法來減少訓練樣本維度，但樣本中特征不嚴格服從于獨立同分布，所以選取的特征不能很好的代表數(shù)據(jù)的實際情況，本文采用全特征數(shù)據(jù)集表示樣本，并通過主成分分析方法對樣本特征進行降維，在一定程度上減少了噪聲影響。為了便于統(tǒng)計，對網絡數(shù)據(jù)中前n個數(shù)據(jù)流信息進行特征采集，得到248個統(tǒng)計特征，包括數(shù)據(jù)包最小最大值、平均數(shù)據(jù)包、端口信息等，經降維處理后得到28個新的統(tǒng)計特征以便于后續(xù)訓練分類模型。主成分分析過程：輸入：流量樣本集合D=？字1，？字2？字m目標空間維度28主成分分析過程：計算協(xié)方差矩陣XXT;對協(xié)方差矩陣XXT做特

8、征值分解;取最大的7個特征值所對應的特征向量：？棕1？棕28。輸出：降維后的樣本集合W=？棕1？棕281.2 半監(jiān)督K-Means聚類在對網絡流量數(shù)據(jù)的特征進行降維后得到一系列可以在分類模塊進行訓練的數(shù)據(jù)集，分類模塊采用K-Means方法對數(shù)據(jù)進行聚類，以便將所有網絡流量按照前文規(guī)定的三種QoS類型進行分類處理。通過提取離線網絡流量的統(tǒng)計特征，從而計算出k均值算法的k個聚類中心，即三種QoS類別。在分類模塊開始采用了離線數(shù)據(jù)進行模型的初始化，對后續(xù)的在線流量數(shù)據(jù)，SDN控制器采用半監(jiān)督的方式進行擬合，對所有在線流量進行分類，并將分類后的流量進行標記，對分類器進行增量訓練，隨著數(shù)據(jù)的不斷增多，分

9、類器的分類準確度將不斷趨于完美，能夠產生較好的聚類效果。在聚類過程中，采用距離最短的方式來重復計算樣本與簇中心的距離，以便確定網絡流量所屬的類別，本文采用歐式距離的計算方式，設新的樣本為具有28個維度的樣本：？字i=（？字i1？字i28），簇中心為uj=（uj1uj28）（j=1，2，3），則新增樣本與簇中心的距離為：。2 路由優(yōu)化2.1 路由選擇評價標準在經由流量分類模塊對流量進行分類后，通過路由選擇模塊進行路由選擇如圖1，以便于選擇最適合轉發(fā)的路徑進行轉發(fā)，對于轉發(fā)情況的優(yōu)劣，本文從鏈路時延、分組丟失率及帶寬利用率三個方面來綜合考慮。考慮到不同類型對以上三種評判指標要求不同，本文采用加權平

10、均值作為評判轉發(fā)情況好壞的指標，并作為Q-Learning訓練過程中的獎勵值返回。權重賦值如表1所示。Q-Learning中獎勵值函數(shù)為：.2 Q-Learning路由選擇過程在路由選路過程中，每種QoS類別流量各自維護一張Q表用于進行路由選擇，共計三張Q表共同對類別流量進行選擇性轉發(fā)，轉發(fā)后又上述評價標準對獎勵值進行加權計算，得到反饋的獎勵值，并對Q表進行更新。Initialize Q（s，a）arbitrarilyRepeat （for each episode）：Initialize sRepeat （for each step of episode）：Choose a from s u

11、sing policy derived from Q（e.g.，？著-greedy）Take action a， observe r，sssUntil s is terminal3 實驗結果分析本文將Moore_set作為標準數(shù)據(jù)集進行模型實驗，并在同一個站點中，每隔3小時進行一次數(shù)據(jù)采集，所得到的全特征數(shù)據(jù)集進行前文所設計的SDN控制器中的分類模塊及路徑選擇模塊的實驗。在流量分類模塊中首先對基于流的流量數(shù)據(jù)進行分類操作，得到結果如表2所示。由于基于在SDN控制器中的基于半監(jiān)督K-means聚類在初始化之后的一段時間內，數(shù)據(jù)集中的數(shù)據(jù)不能得到很好的聚類效果，所以在測試路由選擇模塊的轉發(fā)后果時，

12、僅選取第三次采集之后的數(shù)據(jù)集作為測試數(shù)據(jù)集，結果如表3所示。通過以上實驗結果可以得出，Q-Learning強化學習算法在SDN網絡中的路由選擇模塊中具有較好的轉發(fā)效果，且強化學習等方法可以在數(shù)據(jù)中不斷學習，轉發(fā)效果將隨時間呈正比例增長趨勢。4 結論本文將機器學習方法引入到網絡優(yōu)化過程中，設計了一種基于網絡流量分類的SDN環(huán)境中的路由選路方法，對比與傳統(tǒng)的路由選路及流量分類方法，本文中的方法可以更好的適用于復雜的網絡環(huán)境中，更能滿足用戶的QoS需求，將機器學習理論應用于網絡優(yōu)化過程具有良好的發(fā)展前景。本文的研究也存在著一定的局限性，分類過程中，需要大量的數(shù)據(jù)擬合才能滿足較好的分類效果，在有限的時間內容易出現(xiàn)過擬合情況;選路過程中，Q表的維護需要巨大的內存開銷，在這方面仍存在不足之處，有待后續(xù)研究。Reference：1Seddiki M S， Shahbaz M， Donovan S， et al. FlowQoS： Per-Flow Quality of Service for BroadbandAccess NetworksJ. 2015.2Ko N S， Heo H， Park J D， et al. OpenQFlow： Scalable OpenFlow with Fl