非線性分類器及神經(jīng)網(wǎng)絡

1、非線性分類器與神經(jīng)網(wǎng)絡Nonlinear Classifiers and Neural Networks1 引言2 異或問題3 兩層感知器4 反向傳播算法5 徑向基函數(shù)網(wǎng)絡6 支持向量機7 其他非線性分類法 1. 分段線性分類器 2. 樹狀分類器 3. 二次判別函數(shù)一、 分段線性距離分類器1. 最小距離分類器 在Bayes決策中，樣本為單峰正態(tài)分布，各特征為同協(xié)方差時，即 Si=s2I ，用Bayes決策規(guī)則可得到基于歐氏距離線性判別函數(shù)，當P(w1)= P(w2)時, 用均值m作為代表點，兩類決策規(guī)則為： 決策面是兩類均值連線的垂直平分面。 判別函數(shù)為x到中心m的距離：)(ln2|)(22i

2、iiPxxgwsm2. 分段線性分類器 圖中有兩類，樣本為同協(xié)方差多峰分布。 若把各類均值向量mi作為代表點，設計最小距離分類器，得到分界面 I，顯然錯誤率大。 若取多個代表點，如w1取2個，w2取3個，仍用距離判別函數(shù)，則得折線分界面 II。 未知類別樣本可分到最近代表 點所屬的類中去，這種分段線 性的分界面II沒有錯誤。 分段線性分界面由超平面 組成，其中每一段都是最 小距離分類器。 盾。非等協(xié)分布，會出現(xiàn)矛分類效果好。若樣本為時，本分布表點，這在等協(xié)方差樣用均值作為各子集的代類。歸入則把若有樣本判別規(guī)則：對于未知的定義下列判別函數(shù)區(qū)域的樣本數(shù)。為其中，即取區(qū)域表點，在個區(qū)域。用均值作為代

3、類的第第表示個子區(qū)域，分成個代表點，將類取在分段線性方法jjcjjlillililiRxililililiiiixxgxgxcimxxgRNxNmRliRlRliliiww)(min)(, 2 , 1|min)(1. 3, 2, 1, 2, 1二、 樹狀分類器 將復雜的分類轉(zhuǎn)化為若干個簡單的分類問題。 方法：已知樣本集和判別屬性集，從樹根開始到枝、葉，根據(jù)不同屬性值組成一棵決策樹。如圖，分叉判別使用特征值，有6個特征及其閾值，共3類。將樣本x=(5,4,6,2,2,3)進行分類，判別二次得到 xw2。 決策樹逐步把樣本集劃分為越來越小的 子集, 直到每個子集的樣本屬于同一類， 該子集為“純”子

4、集，則分支停止。 組成樹需要解決 一系列問題，如樹 的結(jié)構(gòu)，分叉使用的屬性，“純”的 標準等。閾值(2,-,-,1,5,2)二、二次判別函數(shù) 決策面較復雜，是二次曲面，包括超球面、超橢球面、超雙曲面等。其判別函數(shù) djjjdjjiijjidiiiTTwxwxxwxwwxwxWxxg1011112202)(一般式1)3(21),(ddkxgdwddW需要確定系數(shù)個數(shù)：因此要得到維向量。為實對稱矩陣，是式中： 有些特殊情況可用此法：一類樣本較集中，另一類均勻分布在其周圍 其決策面為超橢球。兩類各自都較集中 決策面為雙曲面。21111120)()()()(ww，否則xxgmxmxKxgT212221

5、12211112211112110)()()()(2)()(ww，否則xxgKKmmxmmxxxgTTTTT例：用二次判別函數(shù)對XOR問題分類 三維向量映射到立方體的頂點上，如圖(00)(000), (11)(111), (10)(100), (01)(010) 這些頂點可由下面平面分類： 該平面的決策函數(shù)為Txxxxy2121定義廣義向量BxxgAxxgxxxxxg0)(0)(241)(21210412321yyy 1 引言 上一章討論了由線性判別函數(shù)g(x)=WTx+w0=ATY描述的線性分類器設計。從訓練集樣本得到權(quán)值W和w0或者A。 若兩類間是線性可分的，單層感知 器方法可計算出g(x

6、)的權(quán)值。 例：第k+1次疊代得到的直線方程 對于線性不可分的，線性分類器 的最優(yōu)方法是使平方誤差最小。 例：線性分類器的MSE方法5 . 051. 042. 1)(21xxxg431. 1241. 0218. 3)(21xxxg 對于非線性分類，選擇一個合適的非線性判別函數(shù)是很困難的，如圖AD, BD, CD。 解決方法：神經(jīng)網(wǎng)絡 (即多層感知器)具有很強的 處理非線性的能力，適合非線性分類。 神經(jīng)網(wǎng)絡中要解決的主要問題： 學習方法目的修改權(quán)值，如反向傳播算法。 網(wǎng)絡結(jié)構(gòu)層數(shù)，每層神經(jīng)元數(shù)及連接方式。 用支持向量機(網(wǎng)絡)可得到最優(yōu)分界面。 用樹分類器進行多級決策。在樹分類器上用線性判別函數(shù)

7、，就構(gòu)成了一個分段線性分類器。 對一些特殊的問題可用二次判別函數(shù)。2 異或問題（XOR） 異或布爾函數(shù)是非線性可分問題的典型例子。將布爾函數(shù)理解為分類任務，即根據(jù)輸入 x1、x2的不同，輸出為0(B類)或1(A類)。 圖中給出了類在空間的位置。 一條直線不能將這兩類分開。 “與” (AND)和“或” (OR)布爾函數(shù)是線性可分的。 用一個感知器可實現(xiàn)“或門”或“與門”。 由感知器實現(xiàn)的決策面方程 異或(XOR)問題必須用兩層感知器實現(xiàn)。0211)(AND021)(OR2121xxxgxxxgg 2 兩層感知器 一條直線不能解決異或問題，可用“或”和“與” 二條直線解決，即使用兩層感知器來解決。

8、 g1(x)= x1+x21/2=0 g2(x)= x1+x23/2= 0 二個神經(jīng)元分別實現(xiàn)或和與運算。 二條直線將空間分成三個區(qū)域 g1(x) 0 g2(x) 0 g1(x) 0 因此，這個問題可分兩階段處理。 (B類)(A類)d兩層感知器結(jié)構(gòu)f1. 兩層感知器兩層感知器的結(jié)構(gòu) 與單層感知器相比增加了一個隱層。 第一層為隱層，可由p個神經(jīng)元組成。 所有隱層神經(jīng)元輸入節(jié)點 為xi的d個特征，i=1,2,d； 權(quán)wi是要通過學習調(diào)整的參數(shù)； 每個神經(jīng)元的輸出yi不相同。 第二層為輸出層，圖中為一個神經(jīng)元，輸出 運算結(jié)果。 若輸入節(jié)點稱為輸入層，則也稱為三層網(wǎng)絡。d單層感知器結(jié)構(gòu)wiwiwi異或

9、問題用兩層感知器分兩階段解決 第一階段輸入x x1 x2T ，輸出新向量yy1 y2T y1相對于g1(x) 進行“或”運算 y2相對于g2(x) 進行“與”運算 由第一隱層兩個神經(jīng)元實現(xiàn)。 第二階段yy1 y2T為輸入，輸出為類別。 g(y)由一個神經(jīng)元實現(xiàn)。 g(y)= y1-y2-1/20y1y2兩層感知器模型 第一層隱層(hidden layer)神經(jīng)元完成第一階段的計算，是x到y(tǒng)的映射，即隱層神經(jīng)元作用是將輸入X空間映射到二維(因為二個神經(jīng)元)Y空間中單位邊長的正方形頂點上(00, 10, 10, 11) 。 第二層的一個神經(jīng)元, 稱為輸出層(output layer)完成第二階段計

10、算, 輸出分類用判別函數(shù)的值。三個神經(jīng)元決策線的方程021)(023)(021)(213212211yyygxxxgxxxgy2d隱層神經(jīng)元： d 維, 隱層有p個神經(jīng)元，其作用是將輸入X空間映射到p維Y空間中單位邊長的超立方體頂點 yi上，即輸入空間到超立方體頂點的映射是通過創(chuàng)建p個(gi=0)超平面實現(xiàn)的。 隱層作用，也可說是產(chǎn)生超平 面Hp的交集，即將輸入拆分為 由超平面交集構(gòu)成的多面體。 每個超平面由隱層中的一個神 經(jīng)元實現(xiàn)，神經(jīng)元輸出為0或1。1,1 , 0,1piyRyypipTp維空間：2. 兩層感知器分類能力y1y2y3 設d=2， p=3。根據(jù)輸入x與三個平面g1,2,3(x

11、)=0的相對位置，由平面交集定義的每個區(qū)域?qū)娜S立方體的一個頂點。如100頂點對應的區(qū)域為g1的(+)側(cè), g2的(-)側(cè), g3的(-)側(cè)。 即將輸入拆分為由超平面交集構(gòu)成的多面體。每個區(qū)域中所有向量映射到立方體(y1 y2 y3)的頂點, yi0或1。 w1011,001, 000； w2111,010,110,100。輸出神經(jīng)元 超平面將超立方體分為兩部分，一部分頂點位于一側(cè)，其余為另一側(cè)。上例 d=2, p=3 則 該平面將三維幾何空間 (R3 )分為兩個區(qū)域： 一側(cè)(類A)頂點是 000001011； 另一側(cè)(類B)頂點是 010100110111。 而101不與任一區(qū)域?qū)?

12、平面方程 g(y)=-y1-y2+y3+0.5=0 兩層感知器不能解決所有的問 題，如下列類域的分離： 類A (000111110)； 類B (001011010100)。 這取決于每個神經(jīng)元的gp(x)所構(gòu)成的平面位置。例：兩層感知器結(jié)構(gòu)為2:3:1(d=2, p=3, j=1)，用分段線性方法將非線性兩類分開。 第一隱層三個神經(jīng)元有相同的輸入x，由于gi (x) 的不同，有不同的輸出。i=1,2,3。 其分類空間是三維的。gi (x)0 建立的三個超平面H1H2H3將d維特征空間分割成正負兩個半空間。 圖中的三個超平面圍成7個區(qū)域，共兩類(w1 w2) ，每個區(qū)域映射到超立方體頂點。 w2

13、 100000010 011111101 w1 110 輸出層組織輸出。j個p個d個3. 三層感知器 第一層的隱層神經(jīng)元構(gòu)成超平面。即將有類別標記的訓練樣本集，先用分段線性算法gi (x)確定一組超平面的參數(shù)(權(quán)值)，超平面的數(shù)目就是神經(jīng)元數(shù)，設為p個。這就構(gòu)成p維空間。 第二隱層有j個神經(jīng)元，每個神經(jīng)元在p維空間中建立一個超平面。通過選擇該層的權(quán)值，決定這些超平面的組合和連接方式，構(gòu)成區(qū)域。 第三層輸出層的 神經(jīng)元確定類別。 這種結(jié)構(gòu)稱為 前饋神經(jīng)網(wǎng)絡。 三層網(wǎng)絡可以實現(xiàn)任何復雜類型的映射?？梢宰C明，由于在分類空間中超立方體的凸性，對于無論多么復雜的分類問題，一般來說用兩個隱層已足夠。 圖a

14、單層感知器只能一個線性判別；圖b兩層感知器中每個隱層神經(jīng)元都有線性判別能力，就可建立復雜的凸區(qū)域；圖c三層感知器的前二層已得到了超體立方，在第三層再次建立超平面劃分區(qū)域。 多層感知器簡稱 MLP。 Multi-Layer-Perceptron 3 反向傳播算法 神經(jīng)網(wǎng)絡的輸出取決于輸入和連接的權(quán)值。 其工作過程主要分兩個階段： 學習期通過不斷地學習修改權(quán)值。 工作期權(quán)值確定后，可計算輸出。 單層感知器可通過感知器算法進行學習，調(diào)整權(quán)值，完成線性分類。它的輸入是訓練集的樣本，輸出是期望值，對外是透明的。 多層感知器中的中間隱層學習算法，對外是不透明的，隱層權(quán)值調(diào)整有困難。在20世紀80年代提出了

15、誤差反向傳播算法，來計算隱層的權(quán)值。1. 神經(jīng)網(wǎng)絡的學習方式：有監(jiān)督學習 向網(wǎng)絡輸入訓練樣本，期望輸出已知。比較實際輸出與期望輸出之誤差，該誤差或準則函數(shù)是權(quán)值的某種標量函數(shù)，使之達到最小，以使每個輸出單元的實際輸出逼近期望值。這個過程稱為學習過程。 準則函數(shù)可用沒有錯分樣本或最小均方差規(guī)則，優(yōu)化算法可采用梯度下降法。 學習方法：如果一節(jié)點輸出正確，一切不變；如果輸出本應為1而為0，則權(quán)值增加一增量W；反之減少W，如同感知器算法。 2. 反向傳播算法(BP法) Back-Propogation 用BP算法的網(wǎng)絡也稱為BP網(wǎng)絡。 算法原理：從后向前逐層傳播誤差, 間接算出隱層誤差。采用最小二乘和

16、梯度搜索法，以使實際輸出值與期望輸出值之間的誤差均方值最小。 工作信號：輸入信號向后(正向)傳播直到輸出端，是輸入和權(quán)的函數(shù)。 誤差信號：網(wǎng)絡實際輸出 與期望輸出之差，由輸出 端向前傳播(反向) ，逐層 算出隱層誤差，修改前一 層的權(quán)值，以使誤差最小。后前 BP算法推導 計算某一層的第j個單元，i和k分別為其前層和后層的單元，Oj代表本層輸出, netj為輸入。 從前到后對每層各單元計算(正向算法) j 的輸入 j 的輸出 對輸出層而言， 為實際輸出，yj為期望值 局部梯度 iiijjOwnet)(jjnetfOjjOy jjnetEijijjjijOwnetnetEwEjjjyyE2)(21

17、定義誤差權(quán)值對誤差影響 權(quán)值修正應使誤差減少，修正量為 j 單元分兩種情況(反向計算) j是輸出節(jié)點 jjjyyE2)(21其中)()(jjjjjjjnetfyynetyyEjjyOijijOw)()()1(twtwtwijijij)1 ()1 ()(11)(Sigmoid2yyeexfexfyxxx其導數(shù)函數(shù) j不是輸出節(jié)點, Oj對后層的全部節(jié)點都有影響 在實際使用時，為了加快收斂速度，要加入前一次的修正量 第t 次的實際修正量 a a 稱為慣性系數(shù)，為學習系數(shù)。)(jkjkkjjjkkkjjnetfwnetOOnetnetEnetE) 1()(twOtwijijija反向傳播算法步驟：

18、初始化：設可調(diào)參數(shù)(每個權(quán)值和閾值)為均勻分布的較小數(shù)，如0.3 均勻分布隨機數(shù)。 對每個樣本作如下計算，直到收斂： 輸入一個樣本 x =(x1,x2,.,xd) 即Oi ；輸入網(wǎng)絡的期望輸出yj，若輸出為兩個單元則 j =1, 2。 從前向后計算各層(正向)，各神經(jīng)元輸出Oj 對輸出層計算j輸出jnetjeO11)1 ()(jjjjOOOy輸入iiijjOwnet 從后向前計算各隱層j （反向） 計算并保存各權(quán)值修正量 修正權(quán)值 t =t+1，輸入新的樣本(或新的周期樣本)，直到誤差達到要求，訓練結(jié)束。訓練時各周期中樣本的輸入順序要重新隨機排序。 這是對每個樣本作權(quán)值修正。也可對全部樣本計算

19、j后求和，按總誤差修正權(quán)值，稱為批處理方法。ijijijOtwtw a a) 1()()() 1(twwtwijijijkkikjjjwOO)1 (4. BP算法示例： 用BP算法求解異或問題(XOR)神經(jīng)網(wǎng)絡結(jié)構(gòu)MLP2:2:1 輸入節(jié)點2個(x1,x2), 隱節(jié)點2個(y1 , y2)， 輸出節(jié)點1個(z) 。計算機運行結(jié)果 迭代次數(shù)：16745次；總誤差：0.05 隱層網(wǎng)絡權(quán)值和閾值： w11=5.24, w12=5.23, w21=6.68, w22=6.64 q1=8.01, q2=2.98 輸出層網(wǎng)絡權(quán)值和閾值 T1 =10, T2 =10, f4.79 輸入x1 x2輸出 z 0

20、 0 0 0 1 1 1 0 1 1 1 0用計算結(jié)果分析神經(jīng)網(wǎng)絡的意義隱層節(jié)點代表的直線方程 直線y1 , y2將平面分成三個區(qū)域 對4個樣本點： 點(0,0)落入y2 下方, 經(jīng)隱層節(jié)點的函數(shù) f (x)(即上式)，得到y(tǒng)1 =0， y2 =0 ；0446. 0994. 0098. 264. 668. 6:0529. 1998. 0001. 823. 524. 5:2121221211xxxxyxxxxy045. 0, 053. 1045. 0, 053. 1,045. 0, 053. 12121221212121211xxxxyxxxxyyxxxxy下方間上方 點(1,0),(0,1)落

21、入y1 , y2之間，經(jīng)隱層節(jié)點的函數(shù) f(x)，得到 y1 =0, y2 =1； 點(1,1)落入y1 上方，經(jīng)隱層節(jié)點的函數(shù) f(x)，得到 y1 =1, y2 =1 結(jié)論：隱層節(jié)點將平面上四個非線性樣本點變成三個線性樣本點(0,0),(1,0), (1,1)。輸出節(jié)點代表的直線方程 直線將平面(y1 , y2)分為兩個區(qū)。0479. 0:21yyz0479. 00479. 02121yyyy下方：上方： 對樣本點 樣本點(0,1)在z線的上方，經(jīng)輸出節(jié)點的函數(shù) f(x)(階躍函數(shù))，得到 z=1； 樣本點(0,0)(1,1)在z線下方，經(jīng)輸出節(jié)點的函數(shù) f(x)，得到 z=0。 結(jié)論：輸

22、出節(jié)點將平面上的三個樣本變成兩類樣本。 神經(jīng)網(wǎng)絡節(jié)點的作用 隱層節(jié)點將原非線性4個樣本變成線性3個樣本。 輸出節(jié)點將線性樣本(3個)變成兩類(1或0)。 輸出的f (x)函數(shù)為階躍函數(shù)。隱層的f(x)一般為S型函數(shù)。 超平面(直線)特性 隱層節(jié)點直線特性 y1 , y2平行，且平行于過(1,0),(0,1)點的直線 L: x1+x21=0 y1位于點(1,1)到L的中間位置附近(q1 =1.53)。 y2位于點(0,0)到L的中間位置附近(q2 =0.45)。 閾值可在一定范圍內(nèi)變化 1.0q1 2，0q2 1.0 其分類效果相同，神經(jīng)網(wǎng)絡的解不是唯一的。 輸出節(jié)點的直線特性 z平行于直線p,

23、 并位于點(0,1)到p的中間(f0.48),閾值可在一定范圍變化(0f 1)，分類效果相同。 y1-y2=05. BP算法的特點及其改進特點： BP算法解決了單詞感知器無能為力的非線性可分模式的分類問題，廣泛用于模式識別和自動控制等應用領域。 BP網(wǎng)絡本質(zhì)上是輸入到輸出的映射，不需輸入輸出間精確的數(shù)學表達式(模型-無關)，只要用已知的模式樣本對BP網(wǎng)絡加于訓練，網(wǎng)絡就具有輸入輸出對之間的映射能力。 BP算法的關鍵在于中間隱層的學習規(guī)則，而中間隱層相當于對輸入信息的特征抽取器。BP算法的不足 從數(shù)學上看它是一個非線性優(yōu)化問題，就存在局部極小問題。 收斂速度慢，一般要迭代幾千次或更多，通常只能用

24、于離線的模式識別問題。 BP網(wǎng)絡是前饋網(wǎng)絡，運行單向傳播，沒有反饋。輸入-輸出間的關系不是非線性動力學系統(tǒng)，而只是映射。 隱層數(shù)和隱層的神經(jīng)元個數(shù)的選擇尚無理論指導，而是憑經(jīng)驗選取。 新加入的樣本要影響到已學習完的樣本，且樣本特征數(shù)要相等。改進BP算法： 使用動力項，加快收斂速度 修改激活函數(shù) E樣本平均誤差(或準則函數(shù)J)，t 迭代次數(shù))8 . 01 . 0(10)7 . 1(1)1()()() 1(aaaaa若誤差上升，則取如動量系數(shù)若誤差下降，則取twtwOtwtwijijjiijij)()1()()1(ttttEE閾值qq)(11)(xexf學習系數(shù) 的自適應調(diào)整5 支持向量機SVM(

25、非線性情況) 在第四章中，廣義線性判別函數(shù)是通過構(gòu)造新的高維特征向量，這樣可用線性判別函數(shù)解決非線性問題。 同樣建立非線性支持向量機可分兩步： 將非線性樣本，從d維空間轉(zhuǎn)換到k維空間 Ff(x)：xX， f：xF 在新的特征空間中使用線性 支持向量機。 需將原d維非線性特征向量的空間X，映射到高維(k)的線性空間F，在此空間求廣義分類面。dkRFRXkd1. 非線性空間變換方法： 在線性支持向量機中的最優(yōu)分類函數(shù) 在變換空間中定義適當?shù)膬?nèi)積函數(shù)K, 此內(nèi)積函數(shù)可用原空間中的變量直接計算得到，這樣就不會增加計算的復雜度，即 內(nèi)積 xiTxj K(xiTxj) 內(nèi)積函數(shù) 統(tǒng)計學習理論指出，只要一種

26、運算滿足Mercer條件，就可作為內(nèi)積函數(shù)。核函數(shù)就是這樣一種內(nèi)積函數(shù)。只有內(nèi)積參與運算bxxyxfTiNiiis)(sgn)(1 Mercer條件： 即對于滿足上面公式的函數(shù) K(x,x), 都存在用K(x,x)定義的內(nèi)積空間。這樣的函數(shù)也稱為核。 0) ()() ,() ,()(0)()()() ,() ()(,)(2dxdxxxxxKxxKxxrxxxxxKxxdkRxRxRxrrrrkddffffffffff是對稱函數(shù)，有，且對于任意的分量的的映射是其中內(nèi)積運算表示為均是歐氏幾何空間和映射令?？臻g對應向量的核函數(shù)已表示為原特征維空間中向量的內(nèi)積在)()(),(32jTijTijijTi

27、yyxxxxKyyk322212132123212122) 3()2()(),(RxxxxyyyyRxkyyyydxxxxxxxKjTiji映射從。選擇核函數(shù)例：)(12diiiTjTijTiyxyxdxxyy維向量內(nèi)積運算公式：一般的 核函數(shù)也稱為勢函數(shù)。由勢能的概念引出。 例如兩類模式樣本集在d維特征空間可看成一個點集，具有某種能量的點，在每類的中心(核)xc的能量最大，隨距離增大而減小。將附近空間上的點的能量用函數(shù)K(x, xc)來表示，這個函數(shù)就是核函數(shù)。 兩個d維向量x和xk同時滿足下列三個條件，可作為核函數(shù)： K(x, xk) = K(xk, x)，且當xxk 時函數(shù)有最大值 x與

28、xk 的距離趨于無窮大時， K(x, xk)趨于零 K(x, xk) 為光滑函數(shù)，且是x與xk 之間距離的減函數(shù)。 在支持向量機中常用的核函數(shù)： 12)(tanh(),(exp),(0 1),(22cmercercxxxxKSxxxxKqxxxxKiiiiqiTi，條件的一種選擇滿足形函數(shù)雙曲正切高斯徑向基函數(shù)多項式形式aas2. 支持向量機算法 用核函數(shù)代替最優(yōu)分類面中的點積，相當于把原特征空間變換到新的特征空間，則 對偶問題求i*， 分類規(guī)則 算法的其它條件均不變。siiibxxKyxf*),(sgn)()(21)(1,1jijijNjiiNiixxKyyQ 支持向量網(wǎng)絡 輸出是中間層節(jié)點

29、的線性組合，每一個中間層節(jié)點對應于輸入樣本與一個支持向量的內(nèi)積。該網(wǎng)絡與RBF網(wǎng)絡結(jié)構(gòu)相似。 輸出（決策規(guī)則） 式中 K(xi,x) 核函數(shù) x 輸入向量 xi 支持向量 Ns支持向量數(shù)目iiiNiiiiywwxxKyxfs權(quán)值),(sgn()(01輸入向量核函數(shù)權(quán)值決策f(x)3. 支持向量機實例 用不同的內(nèi)積函數(shù)導致不同的支持向量機算法。采用多項式形式的內(nèi)積函數(shù) 得到的支持向量機是一個q階多項式分類器。例1：用多項式核函數(shù)(q=2)對二維數(shù)據(jù)用SVM進行非線性分類試驗。 兩圖中分別有兩類 訓練樣本 。虛線為 得到的SVM分類線。 支持樣本加了圈； 加了是錯分樣本。qiTixxxxK 1),(例2：對于不完全可分的非線性模式樣本，如同線性SVM可用x、C懲罰項來修正。 現(xiàn)用二次型SVM判別，核函數(shù)為 使用了兩個不同的C的結(jié)果如圖。2 1),(iTixxxxK采用高斯核函數(shù)型內(nèi)積 得到的支持向量機是一種徑向基函數(shù)分類器。與傳統(tǒng)RBF區(qū)別是一個基函數(shù)的中心對應一個支持向量，函數(shù)及輸出權(quán)值由算法自己確定。采用S型函數(shù)作為內(nèi)積,如 SVM實現(xiàn)的是一個兩個隱層的多層感知器神經(jīng)網(wǎng)絡，網(wǎng)絡的權(quán)值、網(wǎng)絡的隱層節(jié)點數(shù)目也是由算法自動確定。22|exp),(siixxxxK)(tanh(),(cxxxxKiia例3：貝爾實驗室用支持向量機對美國郵政手寫