支持向量機(jī)及其在小樣本分類和回歸中的應(yīng)用

1、支持向量機(jī)及其在小樣本分類和回歸中的應(yīng)用 zuoshengJune 5, 2007 1主要內(nèi)容SVM的理論基礎(chǔ)SVM理論SVM算法優(yōu)化SVM逼近效果模擬SVM算法改進(jìn)2SVM的理論基礎(chǔ)傳統(tǒng)的統(tǒng)計模式識別方法只有在樣本趨向無窮大時，其性能才有理論的保證。 Vladimir N.Vapnik等人早在20世紀(jì)60年代就開始研究有限樣本情況下的機(jī)器學(xué)習(xí)問題，在90年代形成了統(tǒng)計學(xué)習(xí)理論。統(tǒng)計學(xué)習(xí)理論（STL）研究有限樣本情況下的機(jī)器學(xué)習(xí)問題。SVM的理論基礎(chǔ)正是統(tǒng)計學(xué)習(xí)理論。Vapnik 提出的支持向量機(jī)（Support Vector Machine, SVM）是一種基于結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則的學(xué)習(xí)方法，

2、其推廣能力明顯優(yōu)于一些傳統(tǒng)的學(xué)習(xí)方法。3SVM理論訓(xùn)練點(diǎn)：最優(yōu)分類面：比如訓(xùn)練點(diǎn)如圖所示：這樣可以得到一個兩個邊界分類直線（分類面）和一個最優(yōu)分類線（分類面）,兩條邊界直線的距離為 其中： 是輸入指標(biāo)向量， 是輸出指標(biāo)4最優(yōu)化問題和判別面這樣可以得到一個最大間隔思想：判別面：由 得到?jīng)Q策函數(shù) 如右圖所示：5廣義最優(yōu)分類面為了能夠有更好的分類效果，引入松弛變量 使約束條件為：優(yōu)化問題：轉(zhuǎn)換為二次優(yōu)化問題： Lagrange方程：6廣義最優(yōu)面的求解修正目標(biāo)為對偶函數(shù)為：對應(yīng)KKT條件：確定最優(yōu)解：決策函數(shù)：7支持向量由上式：求得的 中的每一個分量 與一個訓(xùn)練點(diǎn)對應(yīng)，而分劃超平面僅依賴與 不為零的訓(xùn)

3、練點(diǎn) ，而與對應(yīng)于 為零的訓(xùn)練點(diǎn)無關(guān)，我們稱不為零的訓(xùn)練點(diǎn)的輸入為支持向量（SV），而機(jī)的意思取之機(jī)器學(xué)習(xí)理論，指算法。以上的理論主要是討論的線性可分的情況，下面本文介紹非線性可分的情況，其主要思想是核函數(shù)的應(yīng)用。8非線性最優(yōu)分類面我們用非線形變換 來代替 ，其中 為核函數(shù)。則有對偶問題轉(zhuǎn)換為：9支持向量機(jī)在回歸中的理論 函數(shù)逼近問題，即是存在一個未知函數(shù) ： 要求函數(shù) ,使得函數(shù)和函數(shù)之間的差距為： 由于函數(shù) 的未知，我們只能依靠采集得到的樣本 來求取 懲罰函數(shù)采用的是 -不靈敏區(qū)域 ，定義為： 10因此用于函數(shù)逼近的支持向量機(jī)表示為：轉(zhuǎn)化為二次規(guī)劃問題，建立Lagrange方程：11通過上

4、式得到對偶優(yōu)化問題： 通過求解可以得到通過求解發(fā)現(xiàn)在 -不靈敏區(qū)域外的點(diǎn)的對應(yīng) 不為零，而區(qū)域內(nèi)的點(diǎn)的對應(yīng) 為零。12非線性的函數(shù)逼近同樣用非線性變換 ，將輸入空間映射成高維特征空間。引入核函數(shù)，變換后的最優(yōu)二次規(guī)劃變換為 ： 13SVM理論的的優(yōu)勢支持向量機(jī)是專門針對有限樣本情況的，其目標(biāo)是得到現(xiàn)有樣本信息下的最優(yōu)解而不僅僅是樣本數(shù)趨于無窮大時的最優(yōu)值。 由于SVM 的求解最后轉(zhuǎn)化成凸二次規(guī)劃問題的求解，因此SVM 的解是全局唯一的最優(yōu)解.SVM把計算量集中到輸入空間，避免了維數(shù)災(zāi)難. 14支持向量機(jī)的優(yōu)化分類支持向量機(jī)的優(yōu)化： 設(shè)參數(shù) ，核矩陣表示為 ， 則二次規(guī)劃為： 其中： ， ， 1

5、5支持向量機(jī)的優(yōu)化回歸支持向量機(jī)的優(yōu)化 設(shè)參數(shù) ，其中 ， 。 二次規(guī)劃表示為： 其中： ， ，16實際效果模擬對于函數(shù)逼近的情況，本文分為兩個情況，即在非噪聲和噪聲情況下的模擬效果，本文采用的核函數(shù)是高斯核函數(shù)。本文先模擬非噪聲情況模擬： 設(shè)函數(shù) ，采用的樣本值為： ， 取 本文在 情況下模擬，本文以101，51個樣本進(jìn)行模擬。 下面是101樣本點(diǎn)的模擬： 171851個樣本點(diǎn)的模擬：19噪聲情況下函數(shù)逼近模擬采用上一個函數(shù)條件，隨機(jī)的加入噪聲，即 對101個樣本點(diǎn)的模擬效果如下：2051個樣本點(diǎn)的模擬：21通過上面的訪真效果模擬，可以觀察到當(dāng)樣本數(shù)在較小或很小的時候，仍可以達(dá)到非常好的效果;證明了SVM具備了很好的小樣本學(xué)習(xí)能力，同時也有很強(qiáng)的抗干擾能力,而也這些正是傳統(tǒng)算法無法很好解決的。 22支持向量機(jī)的改進(jìn) SVM算法在很多的實際問題的應(yīng)用中得到了驗證，但是該算法在上存在一些問題，包括算法計算速度慢、算法復(fù)雜而難以實現(xiàn)以及檢測階段運(yùn)算量大等等。現(xiàn)在人們對這個問題提出了很多的解決辦法，其主要思想是循環(huán)迭代：將原問題分解成為若干子問題，按照某種