《支持向量機(jī)理論及其在網(wǎng)絡(luò)安全中的應(yīng)用》課件第7章

第7章總結(jié)與展望7.1總結(jié)7.2展望7.1總結(jié)

支持向量機(jī)作為統(tǒng)計(jì)學(xué)習(xí)理論中最年輕的內(nèi)容，也是最實(shí)用的部分。由于統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)建立了一套較好的有限樣本下機(jī)器學(xué)習(xí)的理論框架和通用方法，既有嚴(yán)格的理論基礎(chǔ)，又能較好地解決小樣本、非線性、高維數(shù)和局部極小點(diǎn)等實(shí)際問題，因此成為目前發(fā)展最快的研究方向之一。支持向量機(jī)理論在網(wǎng)絡(luò)安全中的應(yīng)用也日益廣泛。限于篇幅和作者的能力，本書在許多網(wǎng)絡(luò)安全方面的應(yīng)用都只做了簡(jiǎn)單介紹。

7.2展望

7.2.1支持向量機(jī)理論的未來(lái)展望

統(tǒng)計(jì)學(xué)習(xí)理論是建立在一套較堅(jiān)實(shí)的理論基礎(chǔ)之上的，為解決有限樣本學(xué)習(xí)問題提供了一個(gè)統(tǒng)一的框架。它能將很多現(xiàn)有方法納入其中，有望幫助解決許多原來(lái)難以解決的問題。支持向量機(jī)算法是對(duì)統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的具體實(shí)現(xiàn)的一種新機(jī)器學(xué)習(xí)算法。它根據(jù)有限樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折中，以期獲得最好的推廣能力。支持向量機(jī)較好地解決了以往學(xué)習(xí)方法中存在的小樣本、非線性、過學(xué)習(xí)、高維數(shù)、局部極小點(diǎn)等實(shí)際問題，具有很強(qiáng)的推廣性能。作為近幾年研究熱點(diǎn)的一種新的學(xué)習(xí)算法，國(guó)際上對(duì)統(tǒng)計(jì)學(xué)習(xí)理論及支持向量機(jī)算法的討論和進(jìn)一步研究逐漸廣泛，雖然我國(guó)國(guó)內(nèi)在最近幾年也在此領(lǐng)域開展了廣泛的研究，但大多還是注重于支持向量機(jī)的應(yīng)用研究。因此我們需要及時(shí)學(xué)習(xí)掌握有關(guān)理論，開展有效的理論研究工作，使我們?cè)谶@一有著重要意義的領(lǐng)域中能夠盡快趕上國(guó)際先進(jìn)水平。歸納一下，近年來(lái)有關(guān)支持向量機(jī)理論和應(yīng)用的研究主要集中在以下方面。

1.對(duì)現(xiàn)有SVM算法和多分類算法的改進(jìn)與完善

隨著支持向量機(jī)在理論上的深入研究，出現(xiàn)了許多變種支持向量機(jī)。從Vapnik提出的可調(diào)參數(shù)C的SVM統(tǒng)稱為C-SVM系列，到Sch?lkopf提出的用于分類和回歸的v-SVM系列。另外，一些學(xué)者還擴(kuò)展了支持向量機(jī)的概念，如通用支持向量機(jī)，模糊支持向量機(jī)，支持向量機(jī)，最小二乘支持向量機(jī)，One-Class支持向量機(jī)，光滑支持向量機(jī)，簡(jiǎn)化支持向量機(jī)，小波向量機(jī)，Lagrangian支持向量機(jī)以及其他一些新的SVM模型。這些模型從不同的角度并結(jié)合其他優(yōu)秀理論的特點(diǎn)對(duì)支持向量機(jī)算法進(jìn)行了改進(jìn)和完善。將2分類問題擴(kuò)展為多類分類問題，由此發(fā)展了“一對(duì)多”方法，“一對(duì)一”方法，有向無(wú)環(huán)圖法，糾錯(cuò)輸出編碼方法和確定多類目標(biāo)函數(shù)方法等，這些方法各有特色，實(shí)際應(yīng)用時(shí)應(yīng)根據(jù)具體的問題選擇合適的多分類方法。

2.針對(duì)大規(guī)模數(shù)據(jù)集的有效學(xué)習(xí)算法的研究

對(duì)于海量樣本數(shù)據(jù)(樣本數(shù)在105～106以上)，常規(guī)的數(shù)據(jù)優(yōu)化算法及軟件已無(wú)法實(shí)現(xiàn)二次規(guī)劃問題的求解。運(yùn)行時(shí)間和計(jì)算內(nèi)存是海量樣本數(shù)據(jù)求解支持向量機(jī)的主要瓶頸。針對(duì)海量樣本數(shù)據(jù)如何減少次規(guī)劃求解過程的計(jì)算時(shí)間和內(nèi)存值是支持向量機(jī)的研究熱點(diǎn)，目前主要有塊(Chunking)算法，工作樣本集，序貫最小優(yōu)化算法(SequentialMinimalOptimization，SMO)，以及增量式學(xué)習(xí)(incrementallearning)的SVM訓(xùn)練算法。

3.大樣本集的預(yù)處理方法

由于訓(xùn)練時(shí)間隨樣本數(shù)成超線性增長(zhǎng)，因此，對(duì)大樣本問題訓(xùn)練前的預(yù)處理是非常有必要的。已有的方法有TransRed和GetBorder方法，能夠確定支持向量的近似集合，避免了Chunking方法中對(duì)初始chunk的隨機(jī)選取。另外的方法是利用線性規(guī)劃找到支持向量的一個(gè)超集，稱為guardvectors。

4.支持向量機(jī)最優(yōu)核函數(shù)的選擇和構(gòu)造

核函數(shù)在支持向量機(jī)中起著非常重要的作用。盡管只要滿足Merce條件的函數(shù)在理論上都可選為核函數(shù)，但不同的核函數(shù)其分類器的性能有所不同，尤其是在回歸中，不同的核函數(shù)往往對(duì)擬合結(jié)果有很大影響。因此，針對(duì)某特定問題，選擇什么樣的核函數(shù)是至關(guān)重要的。另一方面，即使選擇了某一類核函數(shù)，其相應(yīng)的參數(shù)(如多項(xiàng)式的階次、徑向基函數(shù)的寬度)也有如何選擇的問題。這是一個(gè)值得研究的問題。Ayat等人認(rèn)為核函數(shù)在零點(diǎn)附近應(yīng)該較快的下降，在無(wú)窮遠(yuǎn)點(diǎn)有適當(dāng)?shù)南陆刀粦?yīng)為0，由此構(gòu)造了一個(gè)新的核函數(shù)KMOD，實(shí)驗(yàn)表明KMOD的推廣能力高于徑向基函數(shù)。Amari和Wu通過增加不同模式間的邊界距離來(lái)增加分類器的可分性，針對(duì)徑向基函數(shù)，給出了動(dòng)態(tài)修正徑向基函數(shù)的算法。我們構(gòu)造了異構(gòu)數(shù)據(jù)集上的類徑向基核函數(shù)，并對(duì)之做了動(dòng)態(tài)修正。

5.支持向量機(jī)應(yīng)用領(lǐng)域的推廣

支持向量機(jī)的應(yīng)用是目前支持向量機(jī)研究的重點(diǎn)，進(jìn)一步拓寬支持向量機(jī)在模式識(shí)別、函數(shù)逼近、信號(hào)處理、數(shù)據(jù)挖掘，網(wǎng)絡(luò)安全等方面的應(yīng)用，尤其在工業(yè)過程的診斷、決策、建模、控制等領(lǐng)域以及醫(yī)學(xué)、經(jīng)濟(jì)、社會(huì)等領(lǐng)域的應(yīng)用是支持向量機(jī)應(yīng)用研究的重點(diǎn)。7.2.2支持向量機(jī)在網(wǎng)絡(luò)安全中應(yīng)用的未來(lái)展望

支持向量機(jī)目前已經(jīng)在網(wǎng)絡(luò)安全的諸多方面得到應(yīng)用，并且多數(shù)的應(yīng)用都是利用的支持向量分類機(jī)算法，關(guān)于支持向量回歸機(jī)算法的應(yīng)用相對(duì)較少。這一方面與支持向量機(jī)理論本身的發(fā)展有關(guān)，另一方面也體現(xiàn)出支持向量機(jī)與網(wǎng)絡(luò)安全諸多問題的關(guān)系研究還不夠。因此，將支持向量機(jī)應(yīng)用于網(wǎng)絡(luò)安全領(lǐng)域還有很多問題要解決，以下簡(jiǎn)單列舉出幾個(gè)亟待解決的問題，希望能起到拋磚引玉的作用。

(1)針對(duì)入侵檢測(cè)系統(tǒng)的特點(diǎn)，提出新的支持向量分類機(jī)方法，以滿足實(shí)時(shí)性要求；

(2)針對(duì)入侵檢測(cè)數(shù)據(jù)中不同類的樣本數(shù)量不均衡的問題，提出新的多分類