(完整版)支持向量回歸機

1、1L2吞eXP(飛)3.3 支持向量回歸機SVM本身是針對經(jīng)典的二分類問題提出的，支持向量回歸機(SupportVectorRegression,SVR)是支持向量在函數(shù)回歸領(lǐng)域的應(yīng)用。SVR與SVM分類有以下不同：SVM回歸的樣本點只有一類，所尋求的最優(yōu)超平面不是使兩類樣本點分得“最開”，而是使所有樣本點離超平面的“總偏差”最小。這時樣本點都在兩條邊界線之間，求最優(yōu)回歸超平面同樣等價于求最大間隔。3.3.1SVR基本模型對于線性情況，支持向量機函數(shù)擬合首先考慮用線性回歸函數(shù)f(x)-x+b擬合(x,y),i=1,2,.,n，ii需要確定w和b。XGRn為輸入量，yGR為輸出量，即ii/-nV

2、十：圖3-3aSVR結(jié)構(gòu)圖圖3-3be不靈敏度函數(shù)懲罰函數(shù)是學(xué)習(xí)模型在學(xué)習(xí)過程中對誤差的一種度量，一般在模型學(xué)習(xí)前己經(jīng)選定，不同的學(xué)習(xí)問題對應(yīng)的損失函數(shù)一般也不同，同一學(xué)習(xí)問題選取不同的損失函數(shù)得到的模型也不一樣。常用的懲罰函數(shù)形式及密度函數(shù)如表3-1。表3-1常用的損失函數(shù)和相應(yīng)的密度函數(shù)損失函數(shù)名稱損失函數(shù)表達式盹.)I噪聲密度P(LJIe-不敏感為exp軋)拉普拉斯I)咼斯1L2吞eXP(飛)標準支持向量機采用-不靈敏度函數(shù)，即假設(shè)所有訓(xùn)練數(shù)據(jù)在精度下用線性函數(shù)擬合如圖（3-3a）所示,一y-f（x）+iiif（x）一y0ii式中，g,g*是松弛因子，當(dāng)劃分有誤差時，g，g*都大于0,誤

3、差不存在取0。iii這時，該問題轉(zhuǎn)化為求優(yōu)化目標函數(shù)最小化問題：R(，g，g*)二2z+Cgi+g；)i=1式（3.12）中第一項使擬合函數(shù)更為平坦，從而提高泛化能力；第二項為減小誤多項式丄(g)2,if|g|O；2a.|g|-斗，otherwise;Vexp(-),ifgaexp(?-|g|),otherwise、21丄lg.Ipp12廠（1/p嚴一即町-0|g|p,ifg|apap-171i1lg1-0_1,otherwiseJpVrgpexp(-i),ifg|0表示對超出誤差的樣本的懲罰程度。求解式（3.11）和式（3.12）可看出，這是一個凸二次優(yōu)化問題，所以引入Lagrange函數(shù)：

4、L=1w-w+C工(g+g*)一工ag+-y+f(x)2iiiiiii=1i=1一工a*g*+-y+f(x)-工(g.Y.+g*Y*)iiiiiiiii=1i=1式中，a，a*0，Y，Y*0，為Lagrange乘數(shù)，i=1,2,.,n。求函數(shù)L對，iiib，g，g*的最小化，對a，a*，Y，Y*的最大化，代入Lagrange函數(shù)得到對iiiiii偶形式，最大化函數(shù)：3.13)W(a,a*)=藝(a_a*)(a_a*)(x-x)2iijjiji=1,j=1+工(a_a*)y工(a+a*)8iiiiii=1i=1(a_a*)=0ii(3.15)i=10a,a*Cii求解式(3.14)、(3.15)

5、式其實也是一個求解二次規(guī)劃問題，由Kuhn-Tucker定理，在鞍點處有：a8+g_y+f(x)=0a*8+g*_y+f(x)=0iiiiiiiig丫=0g*-y*=0iiii(C_a)g=0ii(C_a*)g*=0ii從式(3.17)可得出，當(dāng)a=C，或a*=C時,ii其對應(yīng)的x稱為邊界支持向量(BoundarySupportVector,BSV)，對應(yīng)圖3-3ai中虛線帶以外的點；當(dāng)a*G(0,C)時，|f(x)y|=8，即g=0，g*=0，與其iiiii對應(yīng)的x稱為標準支持向量(NormalSupportVector，NSV)，對應(yīng)圖3-3a中落i在8管道上的數(shù)據(jù)點；當(dāng)a=0，a=0時，

6、與其對應(yīng)的x為非支持向量，對應(yīng)圖iii3-3a中8管道內(nèi)的點，它們對w沒有貢獻。因此8越大，支持向量數(shù)越少。對于標準支持向量，如果0aC(a*=0)，此時g=0，由式(3.16)可以求出參數(shù)iiib：b=y_(a_a*)x-x_8ijjji=y_(a_a*)x-x_8ijjjixjgSV同樣，對于滿足0a*0;B樣條核：k(x,x)=B?N(|xx，|)；0aCi3.18)0a*CixeSVj3.19)3.20)咼斯核：k(x,x)=exp(-x一x2b22-);RBF核：k(x,x)=exp(xx2b2)；sin(N+)(x-x)Fourier核：k(x,x)=2；sin(x-x)2因此式（

7、3.20）變成W(a,a*)=-工(a-a*)(a-a*)K(xx)2iijjii=,j=+工(a-a*)y-工(a+a*)8iiiiii=i=3.21)可求的非線性擬合函數(shù)的表示式為：f(x)(x)+b=(a-a*)K(x,x)+biiii=13.22)3.3.2結(jié)構(gòu)改進的支持向量回歸機上節(jié)所述的SVR基本模型其優(yōu)化目標為:1min-w,b,gs.t.2lHF+C(勺+亍)i=1y-w(x)-bWw+giiiw(x)+b-y0ig*0,i=1,2,.,li3.23)SVR結(jié)構(gòu)改進算法一般在優(yōu)化目標中增加函數(shù)項，變量或系數(shù)等方法使公式變形，產(chǎn)生出各種有某一方面優(yōu)勢或者一定應(yīng)用范圍的算法。Suy

8、kens提出了最小二乘支持向量機（LS-SVM）105與標準SVM相比其優(yōu)化指標采用了平方項，從而將不等式約束轉(zhuǎn)變成等式約束，將二次規(guī)劃問題轉(zhuǎn)化成了線性方程組的求解，其優(yōu)化目標為：Min,b,gs.2阿+2汽g2i=y=(x)+b+giiii=,2,L,l3.24)LS-SVM與標準SVM相比減少了一個調(diào)整參數(shù)，減少了l個優(yōu)化變量，從而簡化了計算復(fù)雜性。然而LS-SVM沒有保留解的稀疏性。改進的最小二乘支持向量機有：遞推最小二乘支持向量機106、加權(quán)最小二乘支持向量機107、多分辨率LS-SVM108及正則化最小二乘方法109等。Scholkoph等提出的v-SVM方法110,引入反映超出s管

9、道之外樣本數(shù)據(jù)點(即邊界支持向量數(shù)量)和支持向量數(shù)的新參數(shù)v，從而簡化SVM的參數(shù)調(diào)節(jié)。其優(yōu)化目標為：1廠一助+Cvs+2_y(x)-bWs+giii(x)+b-y0ig*0ii=1,2,L,llv表示邊界支持向量機的上限和支持向量機的下限。與標準支持向量機相比優(yōu)化求解過程不需要設(shè)定s值。標準SVM方法中， 引入懲罰系數(shù)C實行對超出s-帶數(shù)據(jù)點的懲罰。 在實際問題中，某些重要樣本數(shù)據(jù)點要求小的訓(xùn)練誤差，有些樣本數(shù)據(jù)點對誤差的要求不是很高。因此，在優(yōu)化問題描述時，對每個樣本點應(yīng)采用不同的懲罰系數(shù)C，或?qū)τ诿總€樣本數(shù)據(jù)點應(yīng)采用不同的s-不敏感函數(shù)，使回歸建模更加準確，這一類結(jié)構(gòu)變化的支持向量機通常

10、稱為加權(quán)支持向量機(WSVM)111，加權(quán)支持向量機可以通過對懲罰系數(shù)C加權(quán)實現(xiàn)，也可以通過對s加權(quán)實現(xiàn)。通過對參數(shù)C加權(quán)實現(xiàn)時，其優(yōu)化目標為：min1加|2+Cs(g+g*)(*b2日：，s.te(x)+b-ys+g(3.26a)iiiy-Q(x)-b0,i=1,2,L,li通過對s加權(quán)實現(xiàn)時，其優(yōu)化目標為:1丈(g2+g*2)liii=1min,b,gs.t.3.25)minIW|2+C(g+g*)w,b點,g*2i=iis.ty-w(x)-be+giiiiw(x)+b-y0,g*0i=1,2,KliiFriess等提出了一種針對分類問題的SVM變形算法-BSVM算法112。與標準SVM相

11、比，BSVM的優(yōu)化目標多一項，而約束條件少一項等式約束，變?yōu)檫吔缂s束條件下的二次規(guī)劃問題，適合迭代求解。同時可以應(yīng)用矩陣分解技術(shù)，每次只需更新Lagrange乘子的一個分量，從而不需要將所有樣本載入內(nèi)存，提高了收斂速度。BSVM算法應(yīng)用于回歸分析，其優(yōu)化目標為：(x)+b-y0ig*0ii=1,2,L,l標準SVM回歸算法都是把問題轉(zhuǎn)化為求解凸二次規(guī)劃。Kecman和Hadzicii3提出用L范數(shù)替代L范數(shù)，從而通過改造用線性規(guī)劃（LP）代替凸二次規(guī)劃,12以便于利用非常成熟的線性規(guī)劃技術(shù)求解回歸支持向量機。由最優(yōu)化理論，原目標函數(shù)中的IW|2;將代入原約束條件；增加約束a,a*0,i=1,2

12、,Ll，可得:3.26b)Mins.t.1WTw+b2+C(g+g*)2iii=1y-w(x)-bs+giii3.27)w=(a*-a)x，據(jù)此考慮把原始目標函數(shù)的l模|iii21i=1a(*)i=1卜(*)卜(a|+|ai=1）替換。則/模可以改寫為:1a(*)代替min1工(a+a*)+工(g+g*)a(*),g(*),b1j_111j_11s.t工(a-a*)(x-x)+b-ye+giiiJii(3.28)i_1y-工(a-a*)(x-x)-b0,i_1,2,L,1ii針對實際問題的特殊性，有時可以選擇其他形式的更適宜的懲罰函數(shù)。懲罰帶為任意形式的支持向量回歸機114，通過定義推廣的e-

13、不敏感損失函數(shù)：y-f(x)匹(x),y-f(x)sg(x)；c(x,y,f(x)_y-f(x)匹*(x);|y-f(x)|匹*(x),y-f(x)-匹*(x);其中g(shù)(x),g*(x):咒TR，采用推廣的e-不敏感損失函數(shù)構(gòu)造v-SVR問題，將原+始最優(yōu)化問題轉(zhuǎn)化為：懲罰帶為任意形式的支持向量回歸機包含了針對懲罰函數(shù)改進SVR結(jié)構(gòu)的所有模型。此外，還有模糊支持向量回歸機(FSVR)59、拉格朗日支持向量機(LSVR)115等。3.3.3SVM參數(shù)優(yōu)化方法研究支持向量機的性能取決于超參數(shù)C、e、核函數(shù)類型及核參數(shù)。核函數(shù)類型的選擇與所應(yīng)用的領(lǐng)域有關(guān)， 核函數(shù)特性的不同決定建立的模型也具有不同的

14、特性，對于靜態(tài)軟測量建模，一般采用rbf核函數(shù)，因為其跟蹤性能較好且沒有記憶性，符合靜態(tài)建模的特點。核參數(shù)反映了訓(xùn)練數(shù)據(jù)的范圍或分布，它對模型的預(yù)測效果影響較大；調(diào)整因子C是模型復(fù)雜度和推廣能力的折中，它決定了對損失大于e的樣本的懲罰程度，當(dāng)CT時，模型優(yōu)化目標退化為經(jīng)驗風(fēng)險最小化，C過小，mina(*),g(*),b1工(a+a*)+Cvg+1iiii_1i_1x+b-yeg(x)+giiiiiy-x-b0,i_1,2,L,1Xg*+1工(g+g*)iii_11i_1i3.29)使經(jīng)驗風(fēng)險所占比重太少，模型結(jié)構(gòu)復(fù)雜度下降，但訓(xùn)練誤差可能超出接受范圍；不靈敏函數(shù)是SVR的重要特征，它決定了支持

15、向量的數(shù)目，保證了解的稀疏性，是模型推廣性能的象征，但是太平滑的估計又會降低模型的精度。目前沒有一個理論的方法來設(shè)計SVR的參數(shù)，現(xiàn)有的軟件都是基于建模者的經(jīng)驗在建模之前設(shè)定。常用的設(shè)定SVR參數(shù)的方法主要有以下幾種：1）交叉檢驗法交叉檢驗法是用的最多的一種參數(shù)選擇方法，其基本思想是將樣本集分為訓(xùn)練集、檢驗集和測試集，選擇若干組模型參數(shù)，用訓(xùn)練集推導(dǎo)模型系數(shù)，選擇其中使檢驗集誤差測度最好的參數(shù)用于測試集。根據(jù)樣本集的長度，可以設(shè)定交叉檢驗的次數(shù)。2）經(jīng)驗選擇法經(jīng)驗選擇就是根據(jù)建模者的經(jīng)驗在建模之前選擇參數(shù)。Vladimir等提出了一種根據(jù)訓(xùn)練集數(shù)據(jù)特性選擇模型參數(shù)的方法116，其中C二max(

16、y+3G,y-3G)式中y,b分別表示訓(xùn)練數(shù)據(jù)集中y的均值和標準偏差;yb為噪聲的標準偏差，n為樣本數(shù)。上述經(jīng)驗公式是基于噪聲水平已知的假設(shè)，并沒有理論上的證明。3）網(wǎng)格優(yōu)化選擇法網(wǎng)格優(yōu)化算法是一種大范圍點集搜索方法。 搜索范圍的確定仍需建模者設(shè)定。該方法簡單易行，但是訓(xùn)練時間較長，一般用來確定參數(shù)范圍，再用其他方法進行漸近搜索。4）統(tǒng)計學(xué)習(xí)理論的VC維學(xué)習(xí)方法117、118采用統(tǒng)計學(xué)習(xí)理論的方法導(dǎo)出模型推廣錯誤的界，并用VC維來表示，用統(tǒng)計學(xué)習(xí)理論選擇的核和調(diào)整因子C可以使VC維的上界最小，從而可以確定模型的參數(shù)。但這種方法需要在非線性空間計算超球半徑。5）Bayesian學(xué)習(xí)方法James

17、Tin-YauKwok基于權(quán)值空間的觀點給出了SVM的貝葉斯解釋119。說明了SVM可以解釋為MacKay證據(jù)體系的第一層推理，還說明了證據(jù)體系下的第二層、第三層推理也可以應(yīng)用到SVM:第一個層次的推導(dǎo)考慮w的概率分布（在一個潛在的無限維空間），確定正則項和損失函數(shù)的可能性；第二層推理是調(diào)整因子C的推導(dǎo)；第三個層次的推理是獲得核參數(shù)。2.2E芟持向駅回歸機當(dāng)構(gòu)造的兩類樣本DjD一線性不可分時，通過對硬間隔的軟化和引入罰參數(shù)，冋樣可以考慮在高維空間構(gòu)造超曲而來達到回歸的日的*對于給逗的訓(xùn)練樣本集八選擇仟適的精度參數(shù)罰參數(shù)C0以及合適的核函數(shù)構(gòu)造井求解優(yōu)化問極IJ*1*i*-X9：-空嚴匕.勺）十拐工（or：-叫）-藝y.（or*-%EJ-1.r-1r-1(15)i=0-y.i=LJ得到最優(yōu)解亦二何叵叵選擇示的正分雖瓦