支持向量機(jī)分類器

支持向量機(jī)分類器1支持向量機(jī)的提出與發(fā)展支持向量機(jī)（SVM,supportvectormachine）是數(shù)據(jù)挖掘中的一項(xiàng)新技術(shù)，是借助于最優(yōu)化方法來解決機(jī)器學(xué)習(xí)問題的新工具，最初由 V.Vapnik等人在1995年首先提出，近幾年來在其理論研究和算法實(shí)現(xiàn)等方面都取得了很大的進(jìn)展， 開始成為克服“維數(shù)災(zāi)難”和過學(xué)習(xí)等困難的強(qiáng)有力的手段，它的理論基礎(chǔ)和實(shí)現(xiàn)途徑的基本框架都已形成。根據(jù)Vapnik&Chervonenkis的統(tǒng)計學(xué)習(xí)理論，如果數(shù)據(jù)服從某個（固定但未知的）分布,要使機(jī)器的實(shí)際輸出與理想輸出之間的偏差盡可能小 ，則機(jī)器應(yīng)當(dāng)遵循結(jié)構(gòu)風(fēng)險最小化（SRM,structuralriskminimization） 原則，而不是經(jīng)驗(yàn)風(fēng)險最小化原則，通俗地說就是應(yīng)當(dāng)使錯誤概率的上界最小化。 SVME是這一理論的具體實(shí)現(xiàn)。與傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)相比 ，它不僅結(jié)構(gòu)簡單，而且泛化（generalization） 能力明顯提高。2問題描述2.1問題引入假設(shè)有分布在Rd空間中的數(shù)據(jù)，我們希望能夠在該空間上找出一個超平面 （Hyper-pan）,將這一數(shù)據(jù)分成兩類。屬于這一類的數(shù)據(jù)均在超平面的同側(cè)， 而屬于另一類的數(shù)據(jù)均在超平面的另一側(cè)。如下圖。比較上圖，我們可以發(fā)現(xiàn)左圖所找出的超平面（虛線） ，其兩平行且與兩類數(shù)據(jù)相切的超平面（實(shí)線）之間的距離較近，而右圖則具有較大的間隔。 而由于我們希望可以找出將兩類數(shù)據(jù)分得較開的超平面，因此右圖所找出的是比較好的超平面。可以將問題簡述如下：設(shè)訓(xùn)練的樣本輸入為xi,i=1,???,l，對應(yīng)的期望輸出為yi€{+1,-1},其中+1和-1分別代表兩類的類別標(biāo)識，假定分類面方程為 3-x+b=0。為使分類面對所有樣本正確分類并且具備分類間隔，就要求它滿足以下約束條件:for+1for-1而是要得到一個最優(yōu)的分類面。它追求的不僅僅是得到一個能將兩類樣本分開的分類面,而是要得到一個最優(yōu)的分類面。2.2問題的數(shù)學(xué)抽象將上述問題抽象為:根據(jù)給定的訓(xùn)練集T={（X］侃）,（3）…,（旳加）}￡（XxY）1,

其中hW二_R,X稱為輸入空間，輸入空間中的每一個點(diǎn) Xi由n個屬性特征組成，VjVjeY={-LI}」=l…jo尋找Rn上的一個實(shí)值函數(shù)g(x)，以便用分類函數(shù)f(x)=sgn(g(x)),推斷任意一個模式x相對應(yīng)的y值的問題為分類問題。判別函數(shù)g(x)是特征空間中某點(diǎn)x到超平面的距離的一種代數(shù)度量。如果g(x)>0，則判定x屬于C1,如果g(x)<0，則判定x屬于C2，如果g(x)=0，則可以將x任意分到某一類或者拒絕判定。3支持向量機(jī)分類算法3.1線性可分支持向量分類機(jī)3.1.1基礎(chǔ)理論與定理I—考慮訓(xùn)練集了「若beR和止數(shù)廠使得対所有使x=1的卜標(biāo)f有佃巧)+A>e(這里(爐迅)我示向雖少和叫的內(nèi)積).而対所仃f史h--1的卜標(biāo)M(妙町)+張則稱訓(xùn)練集7■線性叮分.稱相應(yīng)的分類何題宦線性町分的「記兩類樣本集分別為人廠=譏|”=1,?？偰耍粡S=｛斗|片=一人迅￡了八定義W的凸包c(diǎn)onv(AZ*)為TOC\o"1-5"\h\zf皿 A+ ]conv(A/^)=^x= x,a-;|=1,Aj>0,j= ?芒A廠*[j-i JA/~的凸包c(diǎn)onv(j\/_)為(.V_ ,V. rconv(A/_)-|x-》心V』|A.」LA,>0.y-LTN~:?e』廠”.\o"CurrentDocument"[M /=i" J冀中M表示+1類樣本集中樣本點(diǎn)的個敗■忙衣示一1類樣本集中樣本點(diǎn)的個數(shù)*定站給出了訓(xùn)練集丁線性町分〒兩類樣木集凸包之間的關(guān)甌定理1訓(xùn)練集T線性叮分的允要條件足.廠的兩類樣本佻』廠和4廠的凸包相如F圖所示陽1訓(xùn)乳集7■址性可分時兩類樣本云集的凸包證明：①必要件若廠是線性町分的,Ar={xf\yi=i.xleT}.A/-=mv^-L^er},由線

性可分的定義可知,存在超平面H={xcRn:（coxUb=0}和￡>0,使得（co^xf）+b>￡9Va-zeA廠且（co^x^+b<—e,Vx;eW.而正類點(diǎn)集的凸包中的任意點(diǎn)X和負(fù)類點(diǎn)集的凸包中的任總?點(diǎn)x'町分別及示為兀匹乞兀/-I jTTOC\o"1-5"\h\zNt N.其中a,>0,/?;>0且￡的=1,三0丿=1。21 /si丁是可以得到< \ N. "?（e?x）+b二e?工a占+b二工匕（（0?耳）+3?￡乞％二￡>0、 i—i ） /—1 /—1，N.，N.（Q?f）+b=。?工0八：+"=工0（（。?巧）+"）*-￡工0丿=-￡<0/=! 7=1由此可見，止負(fù)兩類點(diǎn)集的凸包位于趙平面（e?x）+—0的兩側(cè)，故兩個凸包相離?②充分性設(shè)兩類點(diǎn)集Ar,3廠的凸包相離。岡為兩個凸包那是閉凸集.R.有界，根據(jù)凸集強(qiáng)分離定理，可知存在個超平向H二{xw/T:（eT）+b=0}強(qiáng)分離這兩個凸包，即存在正數(shù)占>0,使得對MSAT的凸包中的任意點(diǎn)X和才分別有（6?-.r）+5>（cox'）^b<-€顯然特別的，對于任總的a;eA/+,^（（ox^+b>s,対于任總的齊G廠，有9巧）+比-￡,由訓(xùn)練集線性叮分的定義町知Z?是線性町分的。由于空間用中超'匕血都町以寫為9?對+5=0的形式,參數(shù)（ob）乘以任童一個非零常數(shù)厲得到的足同一個超平而，定義滿足條件兀（（e?兀）+b）20,i=L…」min|（gj?x,）+ZJ=Ij—L-??J的超平面為規(guī)范超平面。定理2當(dāng)訓(xùn)練集樣本為線性叮分時，存任唯-?的規(guī)范超平面（Q?x）+b=0.便（fox,）+6>ly,=1; ⑴（ry-xz）+6<-1yf=-l.訐明：規(guī)范超平面的存衣件是顯然的.HiiFH唯一件。假設(shè)其規(guī)范超平面有兩個：（e“）+F=0和臚=0。由丁規(guī)范超平血滿

足條件內(nèi)K也(仙?兀)+6)NO*i-L…上由第二個條內(nèi)K也(仙?兀)+6)NO*i-L…上由第二個條件町知C91—<y"-br—bn,或者妙二-少，F(xiàn)二一/第一個條fT說明少二―V=-b"不可能成匕故I唯嘰得iiF。3.1.2最優(yōu)超平面的求解式【I）中滿址0?葉）+辦二七1成走的兀稱為普通支持向呈'時「線杵町分的情況來說.只有它們在建立分類超平血的時候起到了作用，普通支持向呈通常只占申扣LI!小的一祁分，故而也說明5VM艮仃稀疏性”肘于旳-1類的樣冰點(diǎn)?Jt與規(guī)范超平面的何隔為則普通支持向量間的間隔為亠.茲優(yōu)超平面即總味首最人化二.如圖2所示I訓(xùn) 訓(xùn)nr對fi類時樣本點(diǎn),其與規(guī)范超平面的間隔為3■碼）+可1】山） o_