支持向量機(jī)中的協(xié)方差函數(shù)

支持向量機(jī)中的協(xié)方差函數(shù)

1svm的基本原理本研究的目標(biāo)是通過(guò)對(duì)svm和sv的等效研究，獲得svm與克立格方法等效的充分條件，并在此基礎(chǔ)上通過(guò)克立格方法確定svm的核函數(shù)。在此基礎(chǔ)上，我們介紹了svm建模和函數(shù)近似的基本原則，以及克立格方法的原理，并在此基礎(chǔ)上導(dǎo)出了svm方法獲得的結(jié)論，該結(jié)論被假定為克立格方法獲得的。在這一結(jié)論的指導(dǎo)下，我們提出了使用離散值函數(shù)確定svm內(nèi)核函數(shù)參數(shù)的想法，并在概念的指導(dǎo)下使用離散值函數(shù)來(lái)確定徑向核函數(shù)的寬度參數(shù)。2拉格朗日乘子法SVM方法是從線性可分情況下的最優(yōu)分類面提出的,其基本思想概括起來(lái)就是通過(guò)非線性變換將輸入空間變換到一個(gè)高維空間.在這個(gè)新空間中求取最優(yōu)線性分類面,所求得的分類函數(shù)形式上類似于一個(gè)神經(jīng)網(wǎng)絡(luò),其輸出是若干中間層節(jié)點(diǎn)的線性組合,而每一個(gè)中間層節(jié)點(diǎn)對(duì)應(yīng)于輸入樣本與一個(gè)支持向量的內(nèi)積.在SVM基礎(chǔ)上,近來(lái)提出了基于SVM的函數(shù)回歸方法,將SVM的思想推廣到函數(shù)回歸和函數(shù)估計(jì)領(lǐng)域.當(dāng)存在函數(shù)f(x)=(w·x)+b以精度ε逼近所有的觀測(cè)樣本對(duì)(xi,yi)(i=1,…,n,xi∈Rd,yi∈R)時(shí),支持向量機(jī)函數(shù)擬合的問(wèn)題可表示為minF(w,ξ?ξ*)=12∥w∥2+C(n∑i=1ξ2i+n∑i=1ξ*2i)(1a)s.t.{(w?xi)+b-yi≤ε+ξiyi-(w?xi)-b≤ε+ξ*iξi≥0ξ*i≥0(1b)當(dāng)用核函數(shù)K(xi,xj)代替輸入空間的內(nèi)積(xi·xj)時(shí),其對(duì)應(yīng)的對(duì)偶問(wèn)題為maxW(α?α*)=-εn∑i=1(α*i+αi)+n∑i=1yi(α*i-αi)-12(n∑i,j=1(α*i-αi)(α*j-αj)Κ(xi?xj)+1Cn∑i=1(α*i)2+1Cn∑i=1(αi)2)(2a)s.t.n∑i=1α*i=n∑i=1αi?0≤α*i≤C?0≤αi≤C?i=1,?n(2b)所求的權(quán)向量w為w=n∑i=1(α*i-αi)xi(2c)普通克立格方法解決的問(wèn)題可以表示為已知訓(xùn)練樣本對(duì)(x1,y1),(x2,y2),…,(xn,yn),目的是根據(jù)這些訓(xùn)練樣本對(duì),對(duì)局部空間區(qū)域內(nèi)的任何一個(gè)點(diǎn)x給出估計(jì)值y,并且估計(jì)值要寫(xiě)成已知樣本點(diǎn)加權(quán)和的形式f(x)=n∑i=1λiyi.對(duì)于給出的估計(jì)而言,該估計(jì)量應(yīng)該是線性無(wú)偏,并且估計(jì)方差最小.可以證明通過(guò)選擇λi使其滿足n∑i=1λi=1,則得到的估計(jì)量必是線性無(wú)偏的.而欲使估計(jì)方差為最小,需要使誤差的方差最小化,即滿足條件minE[y-f(x)]2.這是一個(gè)等式約束的最小化問(wèn)題,可以借助拉格朗日乘子法求出其中的λλ=Σ-1(C+μΙ)=Σ-1C+μΣ-1Ι(3)將求得的λi代入估計(jì)式得到y(tǒng)=f(x)=λΤY=(Σ-1C+μΣ-1Ι)ΤY=C′(Σ-1)ΤY+(μΣ-1Ι)ΤY(4)其中Σ為隨機(jī)向量y的協(xié)方差陣,在二階平穩(wěn)假設(shè)下可以寫(xiě)成變量x的函數(shù),即cov(f(xi),f(xj))=C(xi,xj),C=[C(x,x1),C(x,x2),…,C(x,xn)]T.如果假設(shè)Ef(x)=0成立,可知約束n∑i=1λi=1將不起作用,此時(shí)(4)式變?yōu)閥=f(x)=CΤ(Σ-1)ΤY(5)可以證明,在Ef(x)=0假設(shè)下,如果令K(x,y)=C(x,y),ε=0,C->∞,則由SVM方法得到的函數(shù)估計(jì)結(jié)果與由普通克立格方法得到的結(jié)果是等價(jià)的,即y=f(x)=CT(Σ-1)TY.如果令ε=0,則-εn∑i=1(α*i+αi)=0,如C取一個(gè)比較大的值,則(1Cn∑i=1(α*i)2+1Cn∑i=1(αi)2)→0.等于約束條件(2b)可以忽略,此時(shí)對(duì)偶問(wèn)題(2)成為maxW(α,α*)=n∑i=1yi(α*i-αi)-12n∑i,j=1(α*i-αi)(α*j-αj)Κ(xi,xj)(6a)s.t.n∑i=1(αi-α*i)=0(6b)ε=0的結(jié)果使得所有偏離監(jiān)督信號(hào)的輸出都受到了懲罰(ε≠0時(shí)所有偏離監(jiān)督信號(hào)的輸出如果小于ε將不受懲罰),而C取一個(gè)比較大的值,使得對(duì)擬合誤差的懲罰在總懲罰項(xiàng)(1a)占較大的比例.采用這兩項(xiàng)簡(jiǎn)化后得到的二次規(guī)劃問(wèn)題(6)仍然對(duì)應(yīng)著問(wèn)題(2),得到的解仍然具有結(jié)構(gòu)風(fēng)險(xiǎn)最小化的特點(diǎn).采用拉格朗日方法,約束優(yōu)化問(wèn)題(6)轉(zhuǎn)化為最小化minL(αi,α*i,λ)=n∑i=1yi(α*i-αi)-12n∑i,j=1(α*i-αi)(α*j-αj)Κ(xi,xj)-λn∑i=1(αi-α*i)(7)令βi=α*i-αi(i=1,…,n),將其代入(7)式得minL(β?λ)=n∑i=1yiβj-12n∑i,j=1βiβjΚ(xi?xj)-λn∑i=1βi(8)(8)式相對(duì)于βi,λ求導(dǎo),并令導(dǎo)數(shù)為0,則得Y-Ηβ-λΙ=0(9a)n∑i=1βi=0?β′Ι=0(9b)其中Y=[y1y2?yn]?Η=[Κ(x1,x1)Κ(x1,x2)?Κ(x1,xn)Κ(x2,x1)Κ(x2,x2)?Κ(x2,xn)????Κ(xn,x1)Κ(xn,x2)?Κ(xn,xn)],β=[β1β2?βn].如果H為正定陣,則H的逆存在并唯一.(9a)式兩邊同時(shí)乘以H-1并化簡(jiǎn)后得β=Η-1Y-λΗ-1Ι=Η-1(Y-λΙ)(10)將(10)式代入w的表達(dá)式(2c)得w=n∑i=1βixi=Xβ=X(Η-1(Y-λΙ))(11)故得到的擬合函數(shù)表達(dá)式為f(x)=Κ(x,w)+b=Κ(x,XΗ-1(Y-λΙ))+b=[Κ(x1,x),Κ(x2,x),??Κ(xn,x)](Η-1(Y-λΙ))+b(12)如果Ef(x)=0,則在二維情況下可以認(rèn)為樣本是均值為0,以原點(diǎn)為中心的分布(可以通過(guò)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理得到).估計(jì)問(wèn)題變成在高維空間估計(jì)一條過(guò)原點(diǎn)的超平面.在這個(gè)假設(shè)下b=0,f(x)=K(w,x).如果b=0,這時(shí)約束條件(2b)將消失.經(jīng)過(guò)以上簡(jiǎn)化后,則(12)式成為f(x)=[Κ(x1,x),Κ(x2,x),?,Κ(xn,x)]Η-1Y(13)若令K(x,xi)=C(x,xi)則有H=Σ.將其代入(13)式得f(x)=[C(x1,x),C(x2,x),?,C(xn,x)](Σ-1Y)=CΤ(Σ-1)ΤY(14)這樣,采用SVM方法得到的函數(shù)回歸形式(14)與克立格方法得到的函數(shù)回歸形式便相互等價(jià)了.以上在(14)式中使用了(Σ-1)T=(ΣT)-1的假設(shè),可以證明對(duì)于對(duì)稱正定陣,該假設(shè)成立.如果假設(shè)條件Ef(x)=0不滿足,兩種方法得出的結(jié)論最多只相差一個(gè)常數(shù).這就說(shuō)明,如果在SVM中用協(xié)方差函數(shù)C(x,y)代替核函數(shù)K(x,y),這樣得到的結(jié)果將具有克立格方法解的性質(zhì).因此,我們可以考慮在SVM中用協(xié)方差函數(shù)代替核函數(shù)K(x,y),這樣得到的解將具有均方最小的意義.3估計(jì)變異函數(shù)在用支持向量機(jī)方法進(jìn)行函數(shù)擬合時(shí),徑向基核函數(shù)經(jīng)常被采用,其中的寬度參數(shù)σ對(duì)擬合的結(jié)果影響較大.由于目前對(duì)σ的取值一直是根據(jù)經(jīng)驗(yàn)與試算,因此我們希望能夠借助上述的等價(jià)性研究來(lái)解決該問(wèn)題.我們嘗試提出利用原始樣本集合求取徑向基核函數(shù)的寬度參數(shù),用該徑向基函數(shù)作為SVM的核函數(shù).如果樣本均值為零,則樣本的方差為1,樣本的協(xié)方差函數(shù)C(h)<=1.又由于函數(shù)exp(h,σ)<=1,故可以令C(h)=exp(h,σ),從而確定寬度參數(shù)δ.可以在這里假設(shè)變量滿足二階平穩(wěn)假設(shè),根據(jù)樣本均值是否為0,分兩種情況對(duì)徑向基函數(shù)進(jìn)行參數(shù)估計(jì):1)假設(shè)樣本的均值為0,則協(xié)方差函數(shù)滿足0≤C(h)≤1,C(0)=1,C(h)=exp(-h22σ12)(15)2)假設(shè)樣本的均值不為0,即0≤C(h)≤∞,C(0)=α,C(h)=αexp(-h22σ12)(16)所以,如果事先不對(duì)樣本進(jìn)行零均值化處理,則用第二種情況直接估計(jì)即可.如果事先已知樣本為零均值,則用第一種情況直接估計(jì).由于在許多實(shí)際工作中,協(xié)方差函數(shù)并不存在,例如一些自然現(xiàn)象和隨機(jī)函數(shù),它們具有無(wú)限離散性,即無(wú)協(xié)方差和先驗(yàn)方差.此時(shí)采用(15)和(16)式進(jìn)行估計(jì)將沒(méi)有意義,而采用變異函數(shù)1進(jìn)行估計(jì).在一維條件下的變異函數(shù)的定義為r(x,h)=12var[z(x+h)-z(x)]=12E[z(x+h)-z(x)]2-12{E[z(x+h)]-E[z(x)]}2(17)當(dāng)變異函數(shù)r(x,h)與位置x無(wú)關(guān),而只依賴于分隔兩個(gè)樣品點(diǎn)之間的距離h時(shí),則有r(x,h)=12E[z(x+h)-z(x)]2(18)在二階平穩(wěn)假設(shè)下,可以推出r(h)=C(0)-C(h)(19)如果分別將(15),(16)式代入(19)式,則得r(h)=C(0)-C(h)=1-exp(-h22σ12)(20a)r(h)=C(0)-C(h)=α-αexp(-h22σ12)=α[1-exp(-h22σ12)](20b)因此,采用r(h)估計(jì)σ與用C(h)估計(jì)σ是等價(jià)的,而r(h)正是地質(zhì)統(tǒng)計(jì)學(xué)中定義的變異函數(shù).由于變異函數(shù)可以在更寬松的條件下得到,并且在統(tǒng)計(jì)學(xué)中關(guān)于r(h)的估計(jì)存在經(jīng)驗(yàn)公式可以直接套用,因此選擇變異函數(shù)進(jìn)行核函數(shù)的估計(jì)較協(xié)方差函數(shù)更為方便.如果知道核函數(shù)的類型,可以選擇適當(dāng)?shù)淖儺惡瘮?shù)模型進(jìn)行核函數(shù)參數(shù)的估計(jì).這里我們選擇了高斯模型作為變異函數(shù)的理論模型,在得到了模型參數(shù)的基礎(chǔ)上進(jìn)一步估計(jì)核函數(shù)參數(shù).高斯模型的定義為r(h)={0,h=0C0+C(1-e-h2a2),h>0(21)若變量均值為0,則該模型與(20)式完全吻合.這樣,在得到了變異函數(shù)模型的基礎(chǔ)上,通過(guò)估計(jì)變異函數(shù),就可以求得徑向基函數(shù)的寬度參數(shù)σ.4svm擬合中的變異函數(shù)的應(yīng)用本文探討了SVM在條件(Ef(x)=0,ε=0,C->∞)下,用協(xié)方差