完整版支持向量機畢業(yè)外文翻譯文檔良心出品

1、支持向量機1.1 引言第8章的結(jié)果表明：對于已定和欠定的系統(tǒng)，內(nèi)核嶺回歸量（KRR）提供了一個統(tǒng)一的處理。另外一種方式實現(xiàn)統(tǒng)一這些兩種線性系統(tǒng)的方法是被 Vapnik 提 出的通過支持向量機（SVM學(xué)習(xí)模式。支持向量機學(xué)習(xí)的關(guān)鍵組成部分是確認一 組具有代表性的被認為最有助于形成 （線性或非線性 ）決策邊界的訓(xùn)練向量。這些 訓(xùn)練向量被稱為“支持向量”，其余的訓(xùn)練向量被稱為非支持向量。要注意的是 只有支持向量才可以直接參與進支持向量機的決策邊界特性化。支持向量機已成功地應(yīng)用于一個非常廣泛的應(yīng)用范圍域， 包括信號處理和分 類，圖像檢索，多媒體，故障檢測，通信，計算機視覺，安全 / 認證，時間序列 預(yù)

2、測，生物醫(yī)學(xué)預(yù)測，生物信息學(xué)。本章將討論以下課題：（一）1.2節(jié)推導(dǎo)線性支持向量機（SVM的二元分類。主要目標(biāo)是再次創(chuàng) 建一個最大的極限來區(qū)分對立的兩類正如以前在欠定系統(tǒng)中使用的 公式一樣。支持向量機學(xué)習(xí)的關(guān)鍵組成部分是確認一組具有代表性的被 認為最有助于形成 （線性或非線性 ）決策邊界的訓(xùn)練向量。這些訓(xùn)練向量 被稱為“支持向量”，并且，對于支持向量機來說，只有支持向量需要 處于正確的邊際超平面。（二）1.3 節(jié)將基本的支持向量機算法推廣到模糊分離的數(shù)據(jù)集分類。（三）1.4 節(jié)將線性支持向量機推廣到它的非線性變量。 通過強加額外的約 束給拉格朗日乘子，被懲罰因子參數(shù)化，從相同的優(yōu)化公式中得到穩(wěn)

3、健 的非線性支持向量機。（四）在 1.5 節(jié)中，給出了一些關(guān)于多類支持向量機的應(yīng)用研究。對訓(xùn)練 和預(yù)測精度進行了比較。此外，探究了預(yù)測精度和訓(xùn)練數(shù)據(jù)集的大小之 間的關(guān)系。（五）1.6 節(jié)探討通過削減支持向量來減少實驗間隙維數(shù)的可能性。 提議通 過支持向量機削減算法的目的是最終只保留一小部分的訓(xùn)練向量，還產(chǎn) 生高性能的決策規(guī)則。這可能進一步降低分類的復(fù)雜性。1.2線性支持向量機給一個二元分類訓(xùn)練數(shù)據(jù)集T=X,Y= %,%,X2,y2,Xnn，個基 本的SVM學(xué)習(xí)模式是找到兩平行的邊際超平面分離的正面和負面的訓(xùn)練矢量。理想的情況是，兩平行超平面應(yīng)區(qū)分兩類，正向量落在第一平面的一側(cè)，而負向量 落在第

4、二平面的另一邊。在圖1.1中，以兩條虛線表示邊際超平面，而實線用來 強調(diào)線性分類器的決策邊界，兩個平面之間的地區(qū)則是安全帶。由區(qū)域創(chuàng)建的安 全邊際可以被一個邊際超平面（兩條虛線中的一條）和決策邊界（實線）之間的 距離D測量出來。可完美線性分離的支持向量機回憶一下，前面介紹的線性學(xué)習(xí)模式的目的是找到一個決策向量W以產(chǎn)生一個沒有誤差的可以滿足被公式（8.37）嚴(yán)格規(guī)定的等式的解決方案。在這方面， 支持向量機公式有著不一樣的目的：將嚴(yán)格的等式轉(zhuǎn)化為不等式。對于所有的積極訓(xùn)練向量：wTXi 57（ 1.1）w - x + d = -T圖1.1SVM中相應(yīng)邊際超平面的圖解。虛線表示邊際超平面，而實線用來

5、表示決策超平面。同時：對于所有的積極訓(xùn)練向量：wTXi FH（ 1.2）這兩個不等式可以通過一個簡單的限制從而更簡潔的表達：yi（wTXi b r） - 0? i = 1,., N在松弛條件下，支持向量機提供了一個可以適用于已定（N和欠定（N> M場景的統(tǒng)一的學(xué)習(xí)模式。1.2.1原始向量空間中的優(yōu)化公式就像在以前的學(xué)習(xí)模式中，誤差項；i可對應(yīng)一個訓(xùn)練向量，叫做人，表示為：；i 三 wT Xi b - y .，被公式（1.3 ）限制后，變?yōu)椋簓i ；i =yi（wTXj b-yj _0-i =1,，N，培訓(xùn)的目標(biāo)是通過最小化 w來最大限度地分離邊緣約束下 2 / w。這將導(dǎo)致 以下優(yōu)化公式

6、：min w2|HI 2受約束后：比名iFi=1,.,N（1.4 ）由于SVM方法采用比LSE較少限制的約束，其解決方案熊 w值低于規(guī)定的LSE學(xué)習(xí)模型實現(xiàn)參照公式（8.32 ）。注意，小w的值更廣泛的分離的安全裕度。 1.2.2經(jīng)驗空間中的沃爾夫?qū)ε純?yōu)化等式（1.4 ）表示的式子是一個通過使用標(biāo)準(zhǔn)的凸優(yōu)化方法可解的二次規(guī)劃 優(yōu)化問題。更具體地說，可以從中推導(dǎo)出拉格朗日的相關(guān)結(jié)論。1 2 NL'（w,b,ot）=m|w|2_5：aiyiE（ 1.5 ）2 i 1拉格朗日乘子:i必須是非負的，即：:i（1.6 ）以確保 yi；i=yi( wT xi，b)-10通過聚焦的一階梯度L'

7、;（w, b）對w,我們可以建立太陽能發(fā)電N(1.7 )w 二' :iyixii =1對于SVM這已對LSP驗證的標(biāo)準(zhǔn)方法。這應(yīng)該是顯而易見的，在公式的優(yōu) 化配方，由定理1.1符合規(guī)定的條件，從而提供一個獨立的 LSP的驗證。此外，通過L'（w,b）相對于B的歸零階指令，我們得到如下的正交平面性(OHP條件：NW - ： i y -i(1.8 )i 4將式(1.7 )和式(1.8 )帶入式(1.5 )，并化簡，得：NN NLC) f-a v n-yjXj)(1.9)i£i=1 i=1沃爾夫?qū)ε純?yōu)化讓我們來表示a .iYi，for i = 1, . , N，然后，支持向

8、量機的目標(biāo)函數(shù)可以改寫如下：N1 N NL'C)= ayi二二 aiyjkij =aTka =L(a)y2 y y其中，K是內(nèi)核矩陣，并且a二Ia1,a2,., a” J是經(jīng)驗空間里的決策向量。注意，約束控制方程(1.8 )可以被一個新的形成條件取代，即：NN*、二”丫、a = eTa = 0i i A這導(dǎo)致了下面的沃爾夫雙優(yōu)化公式的實證決策向量：T 1 TmaxL(a) "max 2Ka服從OPM勺條件后：eTa二0(1.9)受符號約束后：aiyi亠Oi - 1,.,N.注意，由于式(1.6 )符號的約束，ayi -0是必要的。然而，如果我們暫 時忽略符號上的約束，那么我們

9、只需要考慮控制約束 eTa二0。對于控制約束,采用拉格朗日乘子B,我們將獲得一個新的拉格朗日公式。1F a, b ? L a 1 j beT aaT Ka aT 目- be .以F (a，b) 階梯度相對于 玄和B和均衡到零，我們得到:-N_、j 士3 b-y =01,2,., N;、-NJj±ai =°.這說明了一個事實，如果它忽略符號限制 aiy >0.，分析解決方案將是可行讓我們用一個算例表明如果只有符號約束可以忽略這個問題可以大大簡化示例1.1（SVM分類器的三個三維（2 D）訓(xùn)練向量）如圖1.2（a）所示，為三個訓(xùn)練向量x<i = 1.0.0 o.o

10、I , % = -1,X2 = 1.0 0.0 丨,y2= 1,X3 - 0.0 1.0 I ,=1.根據(jù)式（1.9），目標(biāo)函數(shù)是:L（：）八二1 3 3 一??；二 r jyiyj(xTXj)2 i a j a(1.11)33受i 0和7 i/y，0，對于等式限制7iy，0,拉格朗日乘子B,可以導(dǎo)致了一種新的拉格朗日函數(shù):3F(: ,b) =L(: ) -b 二：iyi12 12亠'：2 亠:蕓323 -匕(71 亠-：2 亠二3)2 2以F （,b）就二和B和均衡他們零階梯度，我們得到:1 b =0,12 -b =0,1 -丄-b =0,-y _% =0.(a)(b)<7o?J

11、SVM圖1.2一個簡單的支持向量機分類：（a）數(shù)據(jù)集。（b）支持向量機分類的決策邊界。在這種情況下，所有三個訓(xùn)練數(shù)據(jù)都是支持向量。這個收益率1=4, and2 =2“ =2，和閾值b =-1。如圖1.2（b）虛線所 示，決策邊界是：x1w x + b = 0二 12 2】1 = 0-X _在一般情況下，通過求解方程（1.11 ）是不能直接得到支持向量機的解決方 案。根據(jù)KKT條件，式（1.11 ）僅部分有效。更準(zhǔn)確地說，它適用于支持向量相 關(guān)的行，但不適用于非支持向量相關(guān)的行。上述數(shù)值示例中，所有三個培訓(xùn)向量恰好是支持向量。 因此，自動滿足限制 冃 _0, i =1,2, 3，通過切結(jié)一組線性

12、方程提供一個分析的解決方案。 一般來說， 執(zhí)行符號限制嘗嘗帶來繁瑣的數(shù)值程序， 沒有封閉的解。這樣一個過程是在識別 SVM中的支持向量和非支持向量時時必要的。1.2.3卡羅需-庫恩-塔克（KKT條件在SVM學(xué)習(xí)模型中，等式（1.11）只適用于選擇性的子集訓(xùn)練向量。與這相關(guān) 的訓(xùn)練向量子集將被命名為支持向量，而其余培訓(xùn)向量將稱為非支持向量。更確 切地說,積極的訓(xùn)練向量可以再細分如下:（1）支持向量必須滿足等式：wT Xj +b = +1（1.12）并且（2）支持向量滿足不等式：wT xi b 1同樣,訓(xùn)練向量可以類似地細分:（1）支持向量滿足等式：wTXi b（ 1.13）并且（2）支持向量滿足

13、不等式：wT xi b ： -1目前，將變得明確，與支持向量相關(guān)聯(lián)是：i 0，而非支持向量是3=0。 因此，因此，只有支持向量定義判別函數(shù)有一個積極的作用，見表（1.19）。為 方便起見，支持向量的指標(biāo)r h,.,is表示，其中S表示支持向量的個數(shù)。支持換句話說，如向量最優(yōu)子集的識別在支持向量機學(xué)習(xí)模型中起著關(guān)鍵性的作用。 果這樣的子集是已知的，解決方案會通過簡單地解決下列等式得:Nj Kij aj二° i門sN jaj =°124支持向量約束q% _°是與是與知名的卡羅需-庫恩-塔克（KKT條件密切相關(guān)。更準(zhǔn) 確地說,根據(jù)KKT條件、最優(yōu)的解決方案必須滿足下列等

14、式：:i j - >i （wTxi b） - yj = 0,i = 1,2,.N（ 1.14）對于所有的訓(xùn)練向量。這有效的將約束分為兩類。支持向量。滿足ak=0（即k 0）的向量被稱為支持向量。當(dāng)k ° 時，相應(yīng)的培訓(xùn)向量必須滿足：；k = wTxk b -yk =0（ 1.15）因此，支持向量處于正確的邊際超平面：wTXk b =yk。這也被成為支持超平面。同樣，利用式（1.7 ）的LSP,我們得到：瓦 ajX：Xk+b_ykKjkaj+b_yk=0（仁代）jj總之，只有當(dāng)；k=0.時，第k個訓(xùn)練向量Xk是一個支持向量。非支持向量。如果ak 0那么KKT條件（式（1.14）總

15、是會被遇到不管x =0或者；k=0。因此，第k個訓(xùn)練向量xk沒有必要滿足零點誤 差條件：wTXk b =yk。這進一步意味著第k個訓(xùn)練向量不會直接參與塑造決策邊界。為此，第k個訓(xùn)練向量xk應(yīng)標(biāo)記為非支持向量。在給出的式（1.10）中，求解沃爾夫?qū)ε純?yōu)化的困難點在于正確識別一組適 當(dāng)?shù)闹С窒蛄俊Q策邊界一旦乘數(shù)r已經(jīng)確定,可以由式(1.17 )獲得決策向量w:NW 八 qyiXi(1.17 )i 4閾值b可以被求出：b =1 - wT x k( 1.18)xk是任一個處于正面無誤差平面 WTX b =1.上的支持向量。它遵循的判別函數(shù)可以表示為：Nf(x) = wT Xyi(xTXi) b( 1

16、.19)i 4并且決策邊界的特征可以用f(x)= 0 來描述?，F(xiàn)在讓我們來探討一個數(shù)值例子來幫助說明KKT條件所發(fā)揮的關(guān)鍵作用。示例1.2 (帶有四個二維訓(xùn)練向量的SVM分類器)如圖1.3所示的數(shù)據(jù)集有四個訓(xùn)練向量：x1 -丨-0.2 0.0 1 , % = -1, x2 -0.0 0.0 丨，y2 - -1, x3 - 10.0 1.0 J , y3 = 1.x4 - 1.0 0.o l , y3 = 1數(shù)據(jù)矩陣為:-0.20010010對應(yīng)的線性核矩陣為:-0.2000.04000.20 0 1圖1.3比較兩個分離率表明SVM類器的產(chǎn)量比LSE分類器較大幅度。（一）LSE的分類器，正面和負

17、面的利潤率顯示為實線。決策邊界是由所有 四個訓(xùn)練向量共同決定的，正（負）的安全邊際是由正（或負）的訓(xùn) 練模式，這是最接近的決策邊界。（二）支持向量機分類器的決策邊界 是由三個支持向量決定的。對于支持向量機，正面和負面的利潤率（如 虛線）是相同的。由此推導(dǎo)出下列的拉格朗日公式：2 1 2 1 2(1.20)F(a,b) = ：、： 2 ： 3 ： 4-0.02： 134 -0.2 r 4通過調(diào)整相對于:'i 和 B的拉格朗日一階導(dǎo)數(shù)，我們得到:1 -0.04：-02 4 b =0,1 b =0,1 -3 'b = 0,1 - 02； 1 -4 'b = 0,-2 *3 心

18、4 =0.方程組的線性系統(tǒng)不存在可行解。然而，隨著一個訓(xùn)練向量X1,可能是一個非支持向量，然后通過KKT條件的美德，其相應(yīng)的乘數(shù)為零，即。更重要的是, ：1 =0根據(jù)KKT條件，F(xiàn)（，b）相對于：1必須是零，因此由上面第一個方程的約 束可以被忽略。通過求解余下的四個方程，我們可以得到一個可行的解.口2 =4,3 =2,口4 =2 和 b=-1 ；它遵循決策向量w:W = E «ix-4 !|02|02!|0V|2'|i-00一1一2最后，如圖1.3 （b）所示，決策邊界是2x1 2x2 -1=0.125 LSE 和SVM分離率的比較從理論上講，支持向量機產(chǎn)生一個最佳的分離裕度

19、之間的類。特別是，它應(yīng)該有一個比LSE對應(yīng)更好的邊緣。這個結(jié)果可以通過比較得到的分類器驗證通過 LSE（例8.1 ）和支持向量機（例1.2 ）。對于數(shù)據(jù)集（四個二維向量），SVM對 LSE的微弱優(yōu)勢。這兩個分類的決策邊界和分離的利潤率顯示在圖1.3。下面的例子提供了更詳細的比較。示例1.3（ LSE和SVM分類器的比較）對于給出的示例1.2中數(shù)據(jù)集（四個 二維訓(xùn)練向量），我們有以下意見：對于LSE分類器，決策邊界被規(guī)定為：1.774x（"）+1.806x）-0.806 = 0.正面和負面的安全邊際是圖1.3（ 1）的2條短的實心線所示。正類 的安全邊際是由最近的正訓(xùn)練模式的決策邊界。

20、 負邊緣被定義為類似的方 式。例如，兩者的利潤率分別為 0.382和0.318。平均等于0.35。對于SVM類器，決策邊界被規(guī)定為：2X1 2x2 -1 =0.圖1.3 （二）的虛線表示，正、負利潤率均為相同值：1/2血=0.354注意:0.354 > 0.35，因此SVM對LSE在平均利潤率方面稍占優(yōu)勢。讓我們舉個例子來說明比較 LDA RR SVM的數(shù)值：示例1.4 （案例研究：比較LDA RR SVM考慮到同一個數(shù)據(jù)集作為例8.6（ 其中有四個訓(xùn)練向量：1.0"0.81_-0.8_一-1.0% =,x2 =10.12I0.1 一必二71 一,x4 =4>0.1.同時

21、，y-1,y-1,y 1 以及 y 1.SVM的決策邊界是8x1 x2 =0,與第一特征x1主導(dǎo)的決策規(guī)則。另一方面,LSE或FDA的決策邊界是x（J = O , xf作為唯一的決策特征。對于RR兩特征之間的平衡取決于所選擇的價值 p。當(dāng)OW p V 32，相比SVM , RR更強調(diào)第二特征 X2 ）。當(dāng)p = 32 , RR和 SVM具有完全相同的解決方案。當(dāng)32V p，相比SVM RR解決方案更強調(diào)第一特征x0。通過定義，訓(xùn)練向量沿決策向量投影之后，支持向量機提供了最廣泛的（任 一）正面和（任一）負面分離之間的差距。在這種情況下，最寬的寬度是：2-/ x? & = =1 6125l

22、w/2 岡.沒有其他的分類可以產(chǎn)生一個更廣泛的正面和負面分離的投影。記得，當(dāng)p-X，RR的解決方案產(chǎn)生了最廣泛的后投影分離陽性和陰性的質(zhì)心之間的寬度：d centroids = 1.8110 見式（8.61 ）1.3模糊分離的支持向量機：松弛變量的作用在現(xiàn)實世界中的應(yīng)用程序，訓(xùn)練向量是不太可能清楚地分離。 然而，基于最 大可分性相同的配方是可行的只要一些選擇性的訓(xùn)練矢量的豁免，即允許違反最低保證金規(guī)則。顯然，該豁免向量寬間隔的數(shù)量越多。這是由圖1.4所示。首先, 我們注意到，有一個明確的保證金（薄的固體線），其特征是由三個原始的支持 向量。然而，一個相當(dāng)大的分離區(qū)（虛線之間）可以通過人為免六違

23、反了培訓(xùn)載 體。盡管如此，一個良好的訓(xùn)練向量的大部分仍然是清楚的可分離的，這些載體被保持在禁區(qū)外。這些向量將被視為不支持向量的模糊支持向量機分類。圖1.4這一圖解說明了如何通過允許一些違規(guī)行為創(chuàng)建一個更廣泛的分離裕度。1.3.1優(yōu)化原有空間在模糊支持向量中，一組正松弛變量門，是用來放松規(guī)定yi-0的約束 式（1.4）。與松弛變量，我們得到以下的軟約束：yi 1i -0 , ? i = 1, . , N,（1.21）當(dāng)打=wTxi b _ %為了防止過度放松懲罰項，其中C是一個預(yù)選的懲罰因子，將被添加到原來 的損失函數(shù)（方程（1.4 ），導(dǎo)致：片 21min 2 w c i受一系列軟限制：yi

24、i -0 同時，；i = wTXi b - y并且 i _0, i =1,.,N.（ 1.22）注意，式（1.22 ）滿足定理1.1規(guī)定的條件下，進一步保證了學(xué)習(xí)子空間的 性質(zhì)（LSP。LSP可以通過如下一個標(biāo)準(zhǔn)的優(yōu)化分析進行闡述。1.3.2學(xué)習(xí)子空間特性和優(yōu)化經(jīng)驗空間將式（1.22 ）與拉格朗日公式相照應(yīng)，得到：1 2NNL（w, b,ot,B,E）=TIWI 弋送£ o（i（yi（wTx + b）-1 + ©）£ Pi（ 1.23）2 ii_iy這應(yīng)用了兩種拉格朗日乘子（1）/ 時y點+畤蘭0，（2），P飛0時q對偶優(yōu)化問題可以用以下最小-最大公式來表示:ma

25、ximize imaximiizeL(w' b,gP,通過對照于W調(diào)整L （W B, a，B，E ）的一階梯度，我們得到了 LSP的條件：Nw=£ GjXi(1.24)通過對照于b調(diào)整L （W B, a，B，E ）的指令,我們得到了：NE 3 =0(1.25 )通過對照于E調(diào)整L （W，B, a，B，E ）的指令,我們得到了：c - - A = o.(1.26 )將式（1.24）-：優(yōu)化公式：式（ 1.26）帶入到式（1.23 ）,我們得到一種改良的沃爾夫雙N1 N Nmax' : j- ；二j yiyj(xTxj)° 72 i斗 jm(1.27)N受 iy

26、i =0和0 "乞C,i =1,.,N的限制（注意由于公式（1.25 ）和（1.26） 的限制）一旦i已從式（1.27）獲得，向量W和閾值可以通過式（1.24） 獲得。閾值b可從下式獲得：b=yk - wTxk（1.28）對于任意整數(shù)k，0 ： S ： C （在這種情況下，Xk是一個支持向量，正是在于對（正或負）無誤差平面 wTxyi 0然后，可以得出決策邊界，如下：NNf x =wTXi b - 7 yi： i（xTxJ b - v ai（xTXi ） = 0（ 1.29）i=1i=1讓經(jīng)驗決策向量a變?yōu)閕 Yi中的向量。那么成本函數(shù)可用 a和：a,來表 達：1maxaTy aT

27、Ka（ 1.30）a 2且eTa =00 乞EC , i=1,N分離裕度向量C分離裕度即2d =2/w，可以通過改變懲罰因子C,其邊緣效應(yīng)（模糊）的分 離是由圖1.5注意較大值C產(chǎn)生一個窄的模糊分離區(qū)為例，區(qū)內(nèi)含有更少的SVS 相比之下，C產(chǎn)生一個更廣泛的范圍內(nèi)，可以找到更多的 SVS最合適的C在數(shù) 據(jù)分布上，往往是通過試驗和誤差得到的。在確定學(xué)習(xí)支持向量機模型的魯棒性中，懲罰因子也起著重要的作用。當(dāng)C是足夠小的，它會創(chuàng)建一個體面的大池的支持向量， 它們都參與決策。這意味著， 由此產(chǎn)生的決策邊界成為一個更大的子集的訓(xùn)練向量的一致性。人們普遍認為， 包括更多的支持向量的方法。a Linear S

28、VM:10|b) Linear SVM: C = OJ圖1.5線性支持向量機的決策邊界（實心線）和邊際邊界（虛線）的 20個數(shù)據(jù)點。（一）C=10時的線性支持向量機。（乙）C=0.1時的線性支持向量機。這兩種情況下的決策邊界幾乎是相同的。兩條虛線之間的區(qū)域被認為是“模糊區(qū)域”，一個小的區(qū)域創(chuàng)建一個更大的模糊區(qū)域。數(shù)據(jù)集來源于 A. Schwaighofer。該分類器具有更強的預(yù)測能力。在實際應(yīng)用中，請參見圖1.11中 C的作用。示例1.5 (模糊可分?jǐn)?shù)據(jù)集。)在這個例子中，一個線性的支持向量機被施 加到的非線性可分20個數(shù)據(jù)點。圖1.5描述了兩個(略有不同)的決策邊界(顯 示為實心線)和兩個(

29、非常不同)的分離邊界(有界的兩個虛線)為 10和0.1。 值得注意的是，大多數(shù)(但不是全部)支持向量在平面之間的邊際。很明顯，當(dāng) C是小的，分離裕度更寬，允許更多的支持向量。1.3.3支持向量的研究和WE(分析對于明確分離的況下，有一個非常簡單的特征支持向量。眾所周知，第K個訓(xùn)練向量Xk是一個支持向量，當(dāng)*=0時，；i = wT x，b-y-。KKT條件和支持向量在明確可分或模糊可分的情況下，支持向量可以被簡單描述為有且只有二二-0時，由第i個訓(xùn)練向量xi是一個支持向量。注意表示式中的 KKT條件(1.14)，即：:i；i=： i(wTXi b) yJ = O，for i = 1, 2, .

30、, N, (1.31)或者：:iyi ；i = ： i(yi(wTXi b)-1)=0 for i = 1,2, . , N, (1.32)這僅適用于明確可分離的情況。對于模糊可分的情況下，KKT條件需要修改為：:iy r iH:i yi(wTXi b)-1 ?0, ?i = 1, ., n. (1.33)這將導(dǎo)致一個更復(fù)雜的支持和非支持向量的特性。支持向量的特性如果乘子:i -0，然后訓(xùn)練矢量xi將支持向量必須嚴(yán)格遵守：T 丄尹yi(w xi b) =1 - i,對比于方程不等式（1.21 ）。圖1.5 （b）中，點1, 2, 4, 9,和10是負數(shù) 據(jù)集的支持向量，而分11, 12, 15

31、, 19,和20是正數(shù)據(jù)集的支持向量。嚴(yán)格來說，當(dāng)人為支持向量時，條件E %蘭0只是一個必要條件（但不 是充分條件）。一般說來,另一方面,當(dāng)xi為非支持向量時，條件Ei y0是必要充 分條件。非支持向量的特性如果乘子。i =0,這意味著y f （xi ） 1。在這種情況下，相應(yīng)的訓(xùn)練向量將是一個非支持向量，并將保持在禁區(qū)外。圖1.5（b）,點3, 5, 6, 7,和8為負數(shù)據(jù)集的支持向量，而分13, 14, 16, 17,和18是正數(shù)據(jù)集的支持向量。嚴(yán)格來說，當(dāng)Xi為非支持向量時，條件,yi 0只是一個必要條件（但 不是充分條件）。一般說來,另一方面，當(dāng)xi為非支持向量時，條件二二0是必要充分

32、 條件?？傊?，如圖1.6所示,所有的支持向量是由兩個邊際超平面有界，一個由f（x）= 1（等價于）正訓(xùn)練樣本和一個f（x）= -1（等價于）負訓(xùn)練樣本。這形成了 的支持向量機的WEC如圖1.6所示。對于正訓(xùn)練數(shù)據(jù)集，根據(jù)KKT條件Xi是一個支持向量（SV）只有在.0時, 這也進一步表明 <-0。然而，<-0幾乎是一個充分條件為Xi作為支持向量，是 減輕（罕見）數(shù)據(jù)分布,如重復(fù)或共面訓(xùn)練向量。因此，它也是一般化的充分條件。（參數(shù)為負的數(shù)據(jù)集是相似的。）何f引tb）圖1.6 xi為一個支持向量的條件的必要（且充分）條件是i : 0這是通過SVM?；癁閃EC勺幫助。（一）負向量的WEC因

33、為y -1 , 決策邊界是f（x） = 0時，這對應(yīng)于點；i = f（xj 一引=f x。（b）正向量的WEC現(xiàn)在，比=+1，決定點對應(yīng)于.-f（xi）-yi =f x。這兩個WEC都表明了，幾乎所有的支持向量具有恒定的值-C，唯一的例外是那些相應(yīng)的EI = 0。這（開 放）分離區(qū)也可稱為恒a區(qū)。1.4內(nèi)核支持向量機要達成一個可變的決策邊界，求助于一個支持向量機的非線性核函數(shù)是可取的。一個非正式的推導(dǎo)是可以通過非線性核函數(shù)代替線性內(nèi)積得到，即xTxS K（x,x八根據(jù)式（1.27），這直接產(chǎn)生以下的一個非線性模糊支持向量 機的優(yōu)化公式:N1 N Nmax =送 Ct -藝送 otiOtj y

34、yjK (Xi, xj)i £2 i 2 j 1n且二 j呂-：»yi -0，又 0 -C,i - 1,.,N 1.4.1內(nèi)核空間的初始算法對于一個正式的推導(dǎo)，首先讓我們來表示的內(nèi)在空間的判別函數(shù):f x = uT _ : x b其誤差為:接下來在以式（1.4）的剛性限制yi -0同樣的理論是為了獲得一個清晰可 分的模糊支持向量機，另一方面，引入一組松弛變量亠0的為了放松這樣的 剛性約束。更確切的說，放松約束變?yōu)椋簓i r -0 ?i = 1, ., N.（1.34）為了防止過度的違規(guī)操作，懲罰項 i i被再次納入目標(biāo)函數(shù)?，F(xiàn)在的模糊支持向量機學(xué)習(xí)模型在本質(zhì)空間中有以下的優(yōu)

35、化公式:min,bimizec受以下公式限制：% ；i i -0 同時；i = J 一 :; xi y-i又 i 一0, ?i = 1, . , N.（1.35）注意，該公式滿足定理1.1中規(guī)定的條件，從而進一步保證了學(xué)習(xí)內(nèi)在空間 中子空間的性質(zhì)（LSP。在隨后的討論中，LSP將再一次地獨立確認通過標(biāo)準(zhǔn) 的優(yōu)化分析。1.4.2經(jīng)驗空間中的雙重優(yōu)化器與式（1.35 ）相對應(yīng)的拉格朗日公式：1 2N*NL（u,b,a, ： , ：, ） u C i 八：i（yi（uT （x-） b）-1 Ji i （ 1.36）2 iimim在拉格朗日乘子 確保名i+qzo，而Po提供類似的目的確保©凹

36、。對 偶優(yōu)化問題可以表示為以下公式：maximizeminimizehub, ctPt）在相同的數(shù)學(xué)操作下進行式（1.27）的推導(dǎo)，為線性的情況下，我們就得到F面的沃爾夫?qū)ε脊?N1 N N(1.37)(1.38)(1.39)max5 一1 為送 gotj y yj K(x-,Xj).-；i =12 i=1 j=1且' ryi =0又o：i -C,i =1,.,N用ai yi取代i，我們有一個關(guān)于a的等價優(yōu)化公式:N1 N Nmax' 叭 4、 ai aj K (x i, x j) a i ±2 i ± j ±就像在式(1.28 )，可以再次得到

37、閾值b：b 二1 -uT ：(xk)對于任何的整數(shù)k，都有0 ： r = C這將推導(dǎo)出以下支持向量機學(xué)習(xí)算法。算法1.1 （支持向量機學(xué)習(xí)模型）給出了核矩陣 K和引導(dǎo)向量y，支持向量 機學(xué)習(xí)量為乘子系數(shù)決策向量 匸i:NN Nmax'，：“jwyjK(Xi,Xj)a 72 7 j4(1.40)N且 士" =0 又 0一 ： i <C,i =1,N或者，等價地，通過解決實證決策向量 a：maxL(a)= £ay】aT Ka2：1： 2 一： 3 一：4 =0且0- -i-C =1,i =1,.,4,N且E ai =0又 OEy 蘭C,i =1,.,N(1.41

38、)i 4LSP明確對于支持向量機，我們有:N y a :（Xi）i 4因此判別函數(shù)是：f (x) = uT"x) bN(1.42)八(ai (Xi)T (x) bi占N' aiK(xi,x) bi £a可以從方程（1.41 ）和式（1.39 ）中得出。最后，sgn_f x可以用作結(jié)果。再一次，讓我們用OCF數(shù)據(jù)作為優(yōu)化公式的例子。示例1.6 （OXF數(shù)據(jù)的非線性支持向量機）OXF數(shù)據(jù)是線性不可分的；有必 要采用非線性核函數(shù)K（x, x' （1 xTx'）2。非線性支持向量機的分類可以通過最 大化得到:4N NL(：J 八,jjyiyjK(x ,xj 住2 i± j±1_91-1-11站=送 口 J L(10(2«3也1977屯住27791«37719一其限制條件為,其中的懲罰因子被設(shè)置為C=1。優(yōu)化解決方案為:1= ：2 二：3