非線性分類(lèi)器及神經(jīng)網(wǎng)絡(luò)

1、非線性分類(lèi)器與神經(jīng)網(wǎng)絡(luò)Nonlinear Classifiers and Neural Networks1 引言2 異或問(wèn)題3 兩層感知器4 反向傳播算法5 徑向基函數(shù)網(wǎng)絡(luò)6 支持向量機(jī)7 其他非線性分類(lèi)法 1. 分段線性分類(lèi)器 2. 樹(shù)狀分類(lèi)器 3. 二次判別函數(shù)一、 分段線性距離分類(lèi)器1. 最小距離分類(lèi)器 在Bayes決策中，樣本為單峰正態(tài)分布，各特征為同協(xié)方差時(shí)，即 Si=s2I ，用Bayes決策規(guī)則可得到基于歐氏距離線性判別函數(shù)，當(dāng)P(w1)= P(w2)時(shí), 用均值m作為代表點(diǎn)，兩類(lèi)決策規(guī)則為： 決策面是兩類(lèi)均值連線的垂直平分面。 判別函數(shù)為x到中心m的距離：)(ln2|)(22i

2、iiPxxgwsm2. 分段線性分類(lèi)器 圖中有兩類(lèi)，樣本為同協(xié)方差多峰分布。 若把各類(lèi)均值向量mi作為代表點(diǎn)，設(shè)計(jì)最小距離分類(lèi)器，得到分界面 I，顯然錯(cuò)誤率大。 若取多個(gè)代表點(diǎn)，如w1取2個(gè)，w2取3個(gè)，仍用距離判別函數(shù)，則得折線分界面 II。 未知類(lèi)別樣本可分到最近代表 點(diǎn)所屬的類(lèi)中去，這種分段線 性的分界面II沒(méi)有錯(cuò)誤。 分段線性分界面由超平面 組成，其中每一段都是最 小距離分類(lèi)器。 盾。非等協(xié)分布，會(huì)出現(xiàn)矛分類(lèi)效果好。若樣本為時(shí)，本分布表點(diǎn)，這在等協(xié)方差樣用均值作為各子集的代類(lèi)。歸入則把若有樣本判別規(guī)則：對(duì)于未知的定義下列判別函數(shù)區(qū)域的樣本數(shù)。為其中，即取區(qū)域表點(diǎn)，在個(gè)區(qū)域。用均值作為代

3、類(lèi)的第第表示個(gè)子區(qū)域，分成個(gè)代表點(diǎn)，將類(lèi)取在分段線性方法jjcjjlillililiRxililililiiiixxgxgxcimxxgRNxNmRliRlRliliiww)(min)(, 2 , 1|min)(1. 3, 2, 1, 2, 1二、 樹(shù)狀分類(lèi)器 將復(fù)雜的分類(lèi)轉(zhuǎn)化為若干個(gè)簡(jiǎn)單的分類(lèi)問(wèn)題。 方法：已知樣本集和判別屬性集，從樹(shù)根開(kāi)始到枝、葉，根據(jù)不同屬性值組成一棵決策樹(shù)。如圖，分叉判別使用特征值，有6個(gè)特征及其閾值，共3類(lèi)。將樣本x=(5,4,6,2,2,3)進(jìn)行分類(lèi)，判別二次得到 xw2。 決策樹(shù)逐步把樣本集劃分為越來(lái)越小的 子集, 直到每個(gè)子集的樣本屬于同一類(lèi)， 該子集為“純”子

4、集，則分支停止。 組成樹(shù)需要解決 一系列問(wèn)題，如樹(shù) 的結(jié)構(gòu)，分叉使用的屬性，“純”的 標(biāo)準(zhǔn)等。閾值(2,-,-,1,5,2)二、二次判別函數(shù) 決策面較復(fù)雜，是二次曲面，包括超球面、超橢球面、超雙曲面等。其判別函數(shù) djjjdjjiijjidiiiTTwxwxxwxwwxwxWxxg1011112202)(一般式1)3(21),(ddkxgdwddW需要確定系數(shù)個(gè)數(shù)：因此要得到維向量。為實(shí)對(duì)稱(chēng)矩陣，是式中： 有些特殊情況可用此法：一類(lèi)樣本較集中，另一類(lèi)均勻分布在其周?chē)?其決策面為超橢球。兩類(lèi)各自都較集中 決策面為雙曲面。21111120)()()()(ww，否則xxgmxmxKxgT212221

5、12211112211112110)()()()(2)()(ww，否則xxgKKmmxmmxxxgTTTTT例：用二次判別函數(shù)對(duì)XOR問(wèn)題分類(lèi) 三維向量映射到立方體的頂點(diǎn)上，如圖(00)(000), (11)(111), (10)(100), (01)(010) 這些頂點(diǎn)可由下面平面分類(lèi)： 該平面的決策函數(shù)為T(mén)xxxxy2121定義廣義向量BxxgAxxgxxxxxg0)(0)(241)(21210412321yyy 1 引言 上一章討論了由線性判別函數(shù)g(x)=WTx+w0=ATY描述的線性分類(lèi)器設(shè)計(jì)。從訓(xùn)練集樣本得到權(quán)值W和w0或者A。 若兩類(lèi)間是線性可分的，單層感知 器方法可計(jì)算出g(x

6、)的權(quán)值。 例：第k+1次疊代得到的直線方程 對(duì)于線性不可分的，線性分類(lèi)器 的最優(yōu)方法是使平方誤差最小。 例：線性分類(lèi)器的MSE方法5 . 051. 042. 1)(21xxxg431. 1241. 0218. 3)(21xxxg 對(duì)于非線性分類(lèi)，選擇一個(gè)合適的非線性判別函數(shù)是很困難的，如圖AD, BD, CD。 解決方法：神經(jīng)網(wǎng)絡(luò) (即多層感知器)具有很強(qiáng)的 處理非線性的能力，適合非線性分類(lèi)。 神經(jīng)網(wǎng)絡(luò)中要解決的主要問(wèn)題： 學(xué)習(xí)方法目的修改權(quán)值，如反向傳播算法。 網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)，每層神經(jīng)元數(shù)及連接方式。 用支持向量機(jī)(網(wǎng)絡(luò))可得到最優(yōu)分界面。 用樹(shù)分類(lèi)器進(jìn)行多級(jí)決策。在樹(shù)分類(lèi)器上用線性判別函數(shù)

7、，就構(gòu)成了一個(gè)分段線性分類(lèi)器。 對(duì)一些特殊的問(wèn)題可用二次判別函數(shù)。2 異或問(wèn)題（XOR） 異或布爾函數(shù)是非線性可分問(wèn)題的典型例子。將布爾函數(shù)理解為分類(lèi)任務(wù)，即根據(jù)輸入 x1、x2的不同，輸出為0(B類(lèi))或1(A類(lèi))。 圖中給出了類(lèi)在空間的位置。 一條直線不能將這兩類(lèi)分開(kāi)。 “與” (AND)和“或” (OR)布爾函數(shù)是線性可分的。 用一個(gè)感知器可實(shí)現(xiàn)“或門(mén)”或“與門(mén)”。 由感知器實(shí)現(xiàn)的決策面方程 異或(XOR)問(wèn)題必須用兩層感知器實(shí)現(xiàn)。0211)(AND021)(OR2121xxxgxxxgg 2 兩層感知器 一條直線不能解決異或問(wèn)題，可用“或”和“與” 二條直線解決，即使用兩層感知器來(lái)解決。

8、 g1(x)= x1+x21/2=0 g2(x)= x1+x23/2= 0 二個(gè)神經(jīng)元分別實(shí)現(xiàn)或和與運(yùn)算。 二條直線將空間分成三個(gè)區(qū)域 g1(x) 0 g2(x) 0 g1(x) 0 因此，這個(gè)問(wèn)題可分兩階段處理。 (B類(lèi))(A類(lèi))d兩層感知器結(jié)構(gòu)f1. 兩層感知器兩層感知器的結(jié)構(gòu) 與單層感知器相比增加了一個(gè)隱層。 第一層為隱層，可由p個(gè)神經(jīng)元組成。 所有隱層神經(jīng)元輸入節(jié)點(diǎn) 為xi的d個(gè)特征，i=1,2,d； 權(quán)wi是要通過(guò)學(xué)習(xí)調(diào)整的參數(shù)； 每個(gè)神經(jīng)元的輸出yi不相同。 第二層為輸出層，圖中為一個(gè)神經(jīng)元，輸出 運(yùn)算結(jié)果。 若輸入節(jié)點(diǎn)稱(chēng)為輸入層，則也稱(chēng)為三層網(wǎng)絡(luò)。d單層感知器結(jié)構(gòu)wiwiwi異或

9、問(wèn)題用兩層感知器分兩階段解決 第一階段輸入x x1 x2T ，輸出新向量yy1 y2T y1相對(duì)于g1(x) 進(jìn)行“或”運(yùn)算 y2相對(duì)于g2(x) 進(jìn)行“與”運(yùn)算 由第一隱層兩個(gè)神經(jīng)元實(shí)現(xiàn)。 第二階段yy1 y2T為輸入，輸出為類(lèi)別。 g(y)由一個(gè)神經(jīng)元實(shí)現(xiàn)。 g(y)= y1-y2-1/20y1y2兩層感知器模型 第一層隱層(hidden layer)神經(jīng)元完成第一階段的計(jì)算，是x到y(tǒng)的映射，即隱層神經(jīng)元作用是將輸入X空間映射到二維(因?yàn)槎€(gè)神經(jīng)元)Y空間中單位邊長(zhǎng)的正方形頂點(diǎn)上(00, 10, 10, 11) 。 第二層的一個(gè)神經(jīng)元, 稱(chēng)為輸出層(output layer)完成第二階段計(jì)

10、算, 輸出分類(lèi)用判別函數(shù)的值。三個(gè)神經(jīng)元決策線的方程021)(023)(021)(213212211yyygxxxgxxxgy2d隱層神經(jīng)元： d 維, 隱層有p個(gè)神經(jīng)元，其作用是將輸入X空間映射到p維Y空間中單位邊長(zhǎng)的超立方體頂點(diǎn) yi上，即輸入空間到超立方體頂點(diǎn)的映射是通過(guò)創(chuàng)建p個(gè)(gi=0)超平面實(shí)現(xiàn)的。 隱層作用，也可說(shuō)是產(chǎn)生超平 面Hp的交集，即將輸入拆分為 由超平面交集構(gòu)成的多面體。 每個(gè)超平面由隱層中的一個(gè)神 經(jīng)元實(shí)現(xiàn)，神經(jīng)元輸出為0或1。1,1 , 0,1piyRyypipTp維空間：2. 兩層感知器分類(lèi)能力y1y2y3 設(shè)d=2， p=3。根據(jù)輸入x與三個(gè)平面g1,2,3(x

11、)=0的相對(duì)位置，由平面交集定義的每個(gè)區(qū)域?qū)?yīng)的三維立方體的一個(gè)頂點(diǎn)。如100頂點(diǎn)對(duì)應(yīng)的區(qū)域?yàn)間1的(+)側(cè), g2的(-)側(cè), g3的(-)側(cè)。 即將輸入拆分為由超平面交集構(gòu)成的多面體。每個(gè)區(qū)域中所有向量映射到立方體(y1 y2 y3)的頂點(diǎn), yi0或1。 w1011,001, 000； w2111,010,110,100。輸出神經(jīng)元 超平面將超立方體分為兩部分，一部分頂點(diǎn)位于一側(cè)，其余為另一側(cè)。上例 d=2, p=3 則 該平面將三維幾何空間 (R3 )分為兩個(gè)區(qū)域： 一側(cè)(類(lèi)A)頂點(diǎn)是 000001011； 另一側(cè)(類(lèi)B)頂點(diǎn)是 010100110111。 而101不與任一區(qū)域?qū)?yīng)。

12、平面方程 g(y)=-y1-y2+y3+0.5=0 兩層感知器不能解決所有的問(wèn) 題，如下列類(lèi)域的分離： 類(lèi)A (000111110)； 類(lèi)B (001011010100)。 這取決于每個(gè)神經(jīng)元的gp(x)所構(gòu)成的平面位置。例：兩層感知器結(jié)構(gòu)為2:3:1(d=2, p=3, j=1)，用分段線性方法將非線性?xún)深?lèi)分開(kāi)。 第一隱層三個(gè)神經(jīng)元有相同的輸入x，由于gi (x) 的不同，有不同的輸出。i=1,2,3。 其分類(lèi)空間是三維的。gi (x)0 建立的三個(gè)超平面H1H2H3將d維特征空間分割成正負(fù)兩個(gè)半空間。 圖中的三個(gè)超平面圍成7個(gè)區(qū)域，共兩類(lèi)(w1 w2) ，每個(gè)區(qū)域映射到超立方體頂點(diǎn)。 w2

13、 100000010 011111101 w1 110 輸出層組織輸出。j個(gè)p個(gè)d個(gè)3. 三層感知器 第一層的隱層神經(jīng)元構(gòu)成超平面。即將有類(lèi)別標(biāo)記的訓(xùn)練樣本集，先用分段線性算法gi (x)確定一組超平面的參數(shù)(權(quán)值)，超平面的數(shù)目就是神經(jīng)元數(shù)，設(shè)為p個(gè)。這就構(gòu)成p維空間。 第二隱層有j個(gè)神經(jīng)元，每個(gè)神經(jīng)元在p維空間中建立一個(gè)超平面。通過(guò)選擇該層的權(quán)值，決定這些超平面的組合和連接方式，構(gòu)成區(qū)域。 第三層輸出層的 神經(jīng)元確定類(lèi)別。 這種結(jié)構(gòu)稱(chēng)為 前饋神經(jīng)網(wǎng)絡(luò)。 三層網(wǎng)絡(luò)可以實(shí)現(xiàn)任何復(fù)雜類(lèi)型的映射?？梢宰C明，由于在分類(lèi)空間中超立方體的凸性，對(duì)于無(wú)論多么復(fù)雜的分類(lèi)問(wèn)題，一般來(lái)說(shuō)用兩個(gè)隱層已足夠。 圖a

14、單層感知器只能一個(gè)線性判別；圖b兩層感知器中每個(gè)隱層神經(jīng)元都有線性判別能力，就可建立復(fù)雜的凸區(qū)域；圖c三層感知器的前二層已得到了超體立方，在第三層再次建立超平面劃分區(qū)域。 多層感知器簡(jiǎn)稱(chēng) MLP。 Multi-Layer-Perceptron 3 反向傳播算法 神經(jīng)網(wǎng)絡(luò)的輸出取決于輸入和連接的權(quán)值。 其工作過(guò)程主要分兩個(gè)階段： 學(xué)習(xí)期通過(guò)不斷地學(xué)習(xí)修改權(quán)值。 工作期權(quán)值確定后，可計(jì)算輸出。 單層感知器可通過(guò)感知器算法進(jìn)行學(xué)習(xí)，調(diào)整權(quán)值，完成線性分類(lèi)。它的輸入是訓(xùn)練集的樣本，輸出是期望值，對(duì)外是透明的。 多層感知器中的中間隱層學(xué)習(xí)算法，對(duì)外是不透明的，隱層權(quán)值調(diào)整有困難。在20世紀(jì)80年代提出了

15、誤差反向傳播算法，來(lái)計(jì)算隱層的權(quán)值。1. 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式：有監(jiān)督學(xué)習(xí) 向網(wǎng)絡(luò)輸入訓(xùn)練樣本，期望輸出已知。比較實(shí)際輸出與期望輸出之誤差，該誤差或準(zhǔn)則函數(shù)是權(quán)值的某種標(biāo)量函數(shù)，使之達(dá)到最小，以使每個(gè)輸出單元的實(shí)際輸出逼近期望值。這個(gè)過(guò)程稱(chēng)為學(xué)習(xí)過(guò)程。 準(zhǔn)則函數(shù)可用沒(méi)有錯(cuò)分樣本或最小均方差規(guī)則，優(yōu)化算法可采用梯度下降法。 學(xué)習(xí)方法：如果一節(jié)點(diǎn)輸出正確，一切不變；如果輸出本應(yīng)為1而為0，則權(quán)值增加一增量W；反之減少W，如同感知器算法。 2. 反向傳播算法(BP法) Back-Propogation 用BP算法的網(wǎng)絡(luò)也稱(chēng)為BP網(wǎng)絡(luò)。 算法原理：從后向前逐層傳播誤差, 間接算出隱層誤差。采用最小二乘和

16、梯度搜索法，以使實(shí)際輸出值與期望輸出值之間的誤差均方值最小。 工作信號(hào)：輸入信號(hào)向后(正向)傳播直到輸出端，是輸入和權(quán)的函數(shù)。 誤差信號(hào)：網(wǎng)絡(luò)實(shí)際輸出 與期望輸出之差，由輸出 端向前傳播(反向) ，逐層 算出隱層誤差，修改前一 層的權(quán)值，以使誤差最小。后前 BP算法推導(dǎo) 計(jì)算某一層的第j個(gè)單元，i和k分別為其前層和后層的單元，Oj代表本層輸出, netj為輸入。 從前到后對(duì)每層各單元計(jì)算(正向算法) j 的輸入 j 的輸出 對(duì)輸出層而言， 為實(shí)際輸出，yj為期望值 局部梯度 iiijjOwnet)(jjnetfO jjOy jjnetEijijjjijOwnetnetEwEjjjyyE2)(2

17、1定義誤差權(quán)值對(duì)誤差影響 權(quán)值修正應(yīng)使誤差減少，修正量為 j 單元分兩種情況(反向計(jì)算) j是輸出節(jié)點(diǎn) jjjyyE2)(21其中)()(jjjjjjjnetfyynetyyEjjyOijijOw)()()1(twtwtwijijij)1 ()1 ()(11)(Sigmoid2yyeexfexfyxxx其導(dǎo)數(shù)函數(shù) j不是輸出節(jié)點(diǎn), Oj對(duì)后層的全部節(jié)點(diǎn)都有影響 在實(shí)際使用時(shí)，為了加快收斂速度，要加入前一次的修正量 第t 次的實(shí)際修正量 a a 稱(chēng)為慣性系數(shù)，為學(xué)習(xí)系數(shù)。)(jkjkkjjjkkkjjnetfwnetOOnetnetEnetE) 1()(twOtwijijija反向傳播算法步驟：

18、 初始化：設(shè)可調(diào)參數(shù)(每個(gè)權(quán)值和閾值)為均勻分布的較小數(shù)，如0.3 均勻分布隨機(jī)數(shù)。 對(duì)每個(gè)樣本作如下計(jì)算，直到收斂： 輸入一個(gè)樣本 x =(x1,x2,.,xd) 即Oi ；輸入網(wǎng)絡(luò)的期望輸出yj，若輸出為兩個(gè)單元?jiǎng)t j =1, 2。 從前向后計(jì)算各層(正向)，各神經(jīng)元輸出Oj 對(duì)輸出層計(jì)算j輸出jnetjeO11)1 ()(jjjjOOOy輸入iiijjOwnet 從后向前計(jì)算各隱層j （反向） 計(jì)算并保存各權(quán)值修正量 修正權(quán)值 t =t+1，輸入新的樣本(或新的周期樣本)，直到誤差達(dá)到要求，訓(xùn)練結(jié)束。訓(xùn)練時(shí)各周期中樣本的輸入順序要重新隨機(jī)排序。 這是對(duì)每個(gè)樣本作權(quán)值修正。也可對(duì)全部樣本計(jì)

19、算j后求和，按總誤差修正權(quán)值，稱(chēng)為批處理方法。ijijijOtwtwa a) 1()()() 1(twwtwijijijkkikjjjwOO)1 (4. BP算法示例： 用BP算法求解異或問(wèn)題(XOR)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)MLP2:2:1 輸入節(jié)點(diǎn)2個(gè)(x1,x2), 隱節(jié)點(diǎn)2個(gè)(y1 , y2)， 輸出節(jié)點(diǎn)1個(gè)(z) 。計(jì)算機(jī)運(yùn)行結(jié)果 迭代次數(shù)：16745次；總誤差：0.05 隱層網(wǎng)絡(luò)權(quán)值和閾值： w11=5.24, w12=5.23, w21=6.68, w22=6.64 q1=8.01, q2=2.98 輸出層網(wǎng)絡(luò)權(quán)值和閾值 T1 =10, T2 =10, f4.79 輸入x1 x2輸出 z 0

20、 0 0 0 1 1 1 0 1 1 1 0用計(jì)算結(jié)果分析神經(jīng)網(wǎng)絡(luò)的意義隱層節(jié)點(diǎn)代表的直線方程 直線y1 , y2將平面分成三個(gè)區(qū)域 對(duì)4個(gè)樣本點(diǎn)： 點(diǎn)(0,0)落入y2 下方, 經(jīng)隱層節(jié)點(diǎn)的函數(shù) f (x)(即上式)，得到y(tǒng)1 =0， y2 =0 ；0446. 0994. 0098. 264. 668. 6:0529. 1998. 0001. 823. 524. 5:2121221211xxxxyxxxxy045. 0, 053. 1045. 0, 053. 1,045. 0, 053. 12121221212121211xxxxyxxxxyyxxxxy下方間上方 點(diǎn)(1,0),(0,1)落

21、入y1 , y2之間，經(jīng)隱層節(jié)點(diǎn)的函數(shù) f(x)，得到 y1 =0, y2 =1； 點(diǎn)(1,1)落入y1 上方，經(jīng)隱層節(jié)點(diǎn)的函數(shù) f(x)，得到 y1 =1, y2 =1 結(jié)論：隱層節(jié)點(diǎn)將平面上四個(gè)非線性樣本點(diǎn)變成三個(gè)線性樣本點(diǎn)(0,0),(1,0), (1,1)。輸出節(jié)點(diǎn)代表的直線方程 直線將平面(y1 , y2)分為兩個(gè)區(qū)。0479. 0:21yyz0479. 00479. 02121yyyy下方：上方： 對(duì)樣本點(diǎn) 樣本點(diǎn)(0,1)在z線的上方，經(jīng)輸出節(jié)點(diǎn)的函數(shù) f(x)(階躍函數(shù))，得到 z=1； 樣本點(diǎn)(0,0)(1,1)在z線下方，經(jīng)輸出節(jié)點(diǎn)的函數(shù) f(x)，得到 z=0。 結(jié)論：輸

22、出節(jié)點(diǎn)將平面上的三個(gè)樣本變成兩類(lèi)樣本。 神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)的作用 隱層節(jié)點(diǎn)將原非線性4個(gè)樣本變成線性3個(gè)樣本。 輸出節(jié)點(diǎn)將線性樣本(3個(gè))變成兩類(lèi)(1或0)。 輸出的f (x)函數(shù)為階躍函數(shù)。隱層的f(x)一般為S型函數(shù)。 超平面(直線)特性 隱層節(jié)點(diǎn)直線特性 y1 , y2平行，且平行于過(guò)(1,0),(0,1)點(diǎn)的直線 L: x1+x21=0 y1位于點(diǎn)(1,1)到L的中間位置附近(q1 =1.53)。 y2位于點(diǎn)(0,0)到L的中間位置附近(q2 =0.45)。 閾值可在一定范圍內(nèi)變化 1.0q1 2，0q2 1.0 其分類(lèi)效果相同，神經(jīng)網(wǎng)絡(luò)的解不是唯一的。 輸出節(jié)點(diǎn)的直線特性 z平行于直線p,

23、 并位于點(diǎn)(0,1)到p的中間(f0.48),閾值可在一定范圍變化(0f 1)，分類(lèi)效果相同。 y1-y2=05. BP算法的特點(diǎn)及其改進(jìn)特點(diǎn)： BP算法解決了單詞感知器無(wú)能為力的非線性可分模式的分類(lèi)問(wèn)題，廣泛用于模式識(shí)別和自動(dòng)控制等應(yīng)用領(lǐng)域。 BP網(wǎng)絡(luò)本質(zhì)上是輸入到輸出的映射，不需輸入輸出間精確的數(shù)學(xué)表達(dá)式(模型-無(wú)關(guān))，只要用已知的模式樣本對(duì)BP網(wǎng)絡(luò)加于訓(xùn)練，網(wǎng)絡(luò)就具有輸入輸出對(duì)之間的映射能力。 BP算法的關(guān)鍵在于中間隱層的學(xué)習(xí)規(guī)則，而中間隱層相當(dāng)于對(duì)輸入信息的特征抽取器。BP算法的不足 從數(shù)學(xué)上看它是一個(gè)非線性?xún)?yōu)化問(wèn)題，就存在局部極小問(wèn)題。 收斂速度慢，一般要迭代幾千次或更多，通常只能用

24、于離線的模式識(shí)別問(wèn)題。 BP網(wǎng)絡(luò)是前饋網(wǎng)絡(luò)，運(yùn)行單向傳播，沒(méi)有反饋。輸入-輸出間的關(guān)系不是非線性動(dòng)力學(xué)系統(tǒng)，而只是映射。 隱層數(shù)和隱層的神經(jīng)元個(gè)數(shù)的選擇尚無(wú)理論指導(dǎo)，而是憑經(jīng)驗(yàn)選取。 新加入的樣本要影響到已學(xué)習(xí)完的樣本，且樣本特征數(shù)要相等。改進(jìn)BP算法： 使用動(dòng)力項(xiàng)，加快收斂速度 修改激活函數(shù) E樣本平均誤差(或準(zhǔn)則函數(shù)J)，t 迭代次數(shù))8 . 01 . 0(10)7 . 1(1)1()()() 1(aaaaa若誤差上升，則取如動(dòng)量系數(shù)若誤差下降，則取twtwOtwtwijijjiijij)()1()()1(ttttEE閾值qq)(11)(xexf學(xué)習(xí)系數(shù) 的自適應(yīng)調(diào)整5 支持向量機(jī)SVM(

25、非線性情況) 在第四章中，廣義線性判別函數(shù)是通過(guò)構(gòu)造新的高維特征向量，這樣可用線性判別函數(shù)解決非線性問(wèn)題。 同樣建立非線性支持向量機(jī)可分兩步： 將非線性樣本，從d維空間轉(zhuǎn)換到k維空間 Ff(x)：xX， f：xF 在新的特征空間中使用線性 支持向量機(jī)。 需將原d維非線性特征向量的空間X，映射到高維(k)的線性空間F，在此空間求廣義分類(lèi)面。dkRFRXkd1. 非線性空間變換方法： 在線性支持向量機(jī)中的最優(yōu)分類(lèi)函數(shù) 在變換空間中定義適當(dāng)?shù)膬?nèi)積函數(shù)K, 此內(nèi)積函數(shù)可用原空間中的變量直接計(jì)算得到，這樣就不會(huì)增加計(jì)算的復(fù)雜度，即 內(nèi)積 xiTxj K(xiTxj) 內(nèi)積函數(shù) 統(tǒng)計(jì)學(xué)習(xí)理論指出，只要一種

26、運(yùn)算滿足Mercer條件，就可作為內(nèi)積函數(shù)。核函數(shù)就是這樣一種內(nèi)積函數(shù)。只有內(nèi)積參與運(yùn)算bxxyxfTiNiiis)(sgn)(1 Mercer條件： 即對(duì)于滿足上面公式的函數(shù) K(x,x), 都存在用K(x,x)定義的內(nèi)積空間。這樣的函數(shù)也稱(chēng)為核。 0) ()() ,() ,()(0)()()() ,() ()(,)(2dxdxxxxxKxxKxxrxxxxxKxxdkRxRxRxrrrrkddffffffffff是對(duì)稱(chēng)函數(shù)，有，且對(duì)于任意的分量的的映射是其中內(nèi)積運(yùn)算表示為均是歐氏幾何空間和映射令。空間對(duì)應(yīng)向量的核函數(shù)已表示為原特征維空間中向量的內(nèi)積在)()(),(32jTijTijijTi

27、yyxxxxKyyk322212132123212122) 3()2()(),(RxxxxyyyyRxkyyyydxxxxxxxKjTiji映射從。選擇核函數(shù)例：)(12diiiTjTijTiyxyxdxxyy維向量?jī)?nèi)積運(yùn)算公式：一般的 核函數(shù)也稱(chēng)為勢(shì)函數(shù)。由勢(shì)能的概念引出。 例如兩類(lèi)模式樣本集在d維特征空間可看成一個(gè)點(diǎn)集，具有某種能量的點(diǎn)，在每類(lèi)的中心(核)xc的能量最大，隨距離增大而減小。將附近空間上的點(diǎn)的能量用函數(shù)K(x, xc)來(lái)表示，這個(gè)函數(shù)就是核函數(shù)。 兩個(gè)d維向量x和xk同時(shí)滿足下列三個(gè)條件，可作為核函數(shù)： K(x, xk) = K(xk, x)，且當(dāng)xxk 時(shí)函數(shù)有最大值 x與

28、xk 的距離趨于無(wú)窮大時(shí)， K(x, xk)趨于零 K(x, xk) 為光滑函數(shù)，且是x與xk 之間距離的減函數(shù)。 在支持向量機(jī)中常用的核函數(shù)： 12)(tanh(),(exp),(0 1),(22cmercercxxxxKSxxxxKqxxxxKiiiiqiTi，條件的一種選擇滿足形函數(shù)雙曲正切高斯徑向基函數(shù)多項(xiàng)式形式aas2. 支持向量機(jī)算法 用核函數(shù)代替最優(yōu)分類(lèi)面中的點(diǎn)積，相當(dāng)于把原特征空間變換到新的特征空間，則 對(duì)偶問(wèn)題求i*， 分類(lèi)規(guī)則 算法的其它條件均不變。siiibxxKyxf*),(sgn)()(21)(1,1jijijNjiiNiixxKyyQ 支持向量網(wǎng)絡(luò) 輸出是中間層節(jié)點(diǎn)

29、的線性組合，每一個(gè)中間層節(jié)點(diǎn)對(duì)應(yīng)于輸入樣本與一個(gè)支持向量的內(nèi)積。該網(wǎng)絡(luò)與RBF網(wǎng)絡(luò)結(jié)構(gòu)相似。 輸出（決策規(guī)則） 式中 K(xi,x) 核函數(shù) x 輸入向量 xi 支持向量 Ns支持向量數(shù)目iiiNiiiiywwxxKyxfs權(quán)值),(sgn()(01輸入向量核函數(shù)權(quán)值決策f(x)3. 支持向量機(jī)實(shí)例 用不同的內(nèi)積函數(shù)導(dǎo)致不同的支持向量機(jī)算法。采用多項(xiàng)式形式的內(nèi)積函數(shù) 得到的支持向量機(jī)是一個(gè)q階多項(xiàng)式分類(lèi)器。例1：用多項(xiàng)式核函數(shù)(q=2)對(duì)二維數(shù)據(jù)用SVM進(jìn)行非線性分類(lèi)試驗(yàn)。 兩圖中分別有兩類(lèi) 訓(xùn)練樣本 。虛線為 得到的SVM分類(lèi)線。 支持樣本加了圈； 加了是錯(cuò)分樣本。qiTixxxxK 1),(例2：對(duì)于不完全可分的非線性模式樣本，如同線性SVM可用x、C懲罰項(xiàng)來(lái)修正。 現(xiàn)用二次型SVM判別，核函數(shù)為 使用了兩個(gè)不同的C的結(jié)果如圖。2 1),(iTixxxxK采用高斯核函數(shù)型內(nèi)積 得到的支持向量機(jī)是一種徑向基函數(shù)分類(lèi)器。與傳統(tǒng)RBF區(qū)別是一個(gè)基函數(shù)的中心對(duì)應(yīng)一個(gè)支持向量，函數(shù)及輸出權(quán)值由算法自己確定。采用S型函數(shù)作為內(nèi)積,如 SVM實(shí)現(xiàn)的是一個(gè)兩個(gè)隱層的多層感知器神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的權(quán)值、網(wǎng)絡(luò)的隱層節(jié)點(diǎn)數(shù)目也是由算法自動(dòng)確定。22|exp),(siixxxxK)(tanh(),(cxxxxKiia例3：貝爾實(shí)驗(yàn)室用支持向量機(jī)對(duì)美國(guó)郵政手寫(xiě)