典型人工神經(jīng)網(wǎng)絡(luò)ppt課件

1、版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009第五章典型人工神經(jīng)網(wǎng)絡(luò)第五章典型人工神經(jīng)網(wǎng)絡(luò)版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 200920091niiiNetw x1000NetyNet0w 01x T01,nxxxxT01,nww ww1000TNetw xNetyNet版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 200920091niiiNetw x1000NetyNet1-1yNete版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009nxR0,1y0Tw x 0Tw x 版權(quán)所有版權(quán)所

2、有 復(fù)制必究復(fù)制必究 20092009jnjjxwu 0 ufy 01x1x2xnw1w2wn.X0 = 1w0n M-P感知機(jī)是一個(gè)多輸入單輸出的模型，雖然構(gòu)造簡(jiǎn)感知機(jī)是一個(gè)多輸入單輸出的模型，雖然構(gòu)造簡(jiǎn)單，但具有一定的計(jì)算才干。單，但具有一定的計(jì)算才干。n 經(jīng)過(guò)學(xué)習(xí)權(quán)重，它可以正確地分類(lèi)樣本二分類(lèi)經(jīng)過(guò)學(xué)習(xí)權(quán)重，它可以正確地分類(lèi)樣本二分類(lèi)，但只能線(xiàn)性分類(lèi)。，但只能線(xiàn)性分類(lèi)。 ifif00 uuy單一人工神經(jīng)元單一人工神經(jīng)元單層感知機(jī)單層感知機(jī)版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009 000010100111 0000111011111x2x02211xwxw00021ww0102

3、1ww00121ww01121ww1x2x5 . 1121ww02211xwxw00021ww01021 ww00121 ww01121 ww1x2x2x1x與與邏邏輯輯或或邏邏輯輯分類(lèi)才干分析分類(lèi)才干分析5 . 0121ww版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 200920091x 0000111011101x2x02211xwxw00021ww01021 ww00121 ww01121ww2x1x2x1x21120wwww異異或或邏邏輯輯2x2x1xandorxor02211xwxw版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009單層感知機(jī)單層感知機(jī) 經(jīng)過(guò)適當(dāng)?shù)倪x擇權(quán)重，單層感知機(jī)可以實(shí)

4、現(xiàn)經(jīng)過(guò)適當(dāng)?shù)倪x擇權(quán)重，單層感知機(jī)可以實(shí)現(xiàn)and, or, not布爾邏輯。布爾邏輯。l單層感知機(jī)找不到相應(yīng)的權(quán)重來(lái)實(shí)現(xiàn)單層感知機(jī)找不到相應(yīng)的權(quán)重來(lái)實(shí)現(xiàn)XOR邏輯邏輯l單層感知機(jī)不具備非線(xiàn)性分類(lèi)才干！單層感知機(jī)不具備非線(xiàn)性分類(lèi)才干！版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009x1x2xni1ijw2kiwy1y2onyhnhni, 2 , 1inj, 2 , 1onk, 2 , 112版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009隱含層輸出：隱含層輸出：111iniijjijow

5、 x11XWO輸出層輸出：輸出層輸出：221hnkkiikiyw o211122211222XWWXWWOWY版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009x1x2xniy1y2ynoLlkw1hn)1( Lhn1ijwL1L1inonLLLLLLLLXWWWY12111211版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009nRmR版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009前向傳播網(wǎng)絡(luò)本質(zhì)上表示的是一種從輸入空間到輸出空前向傳播網(wǎng)絡(luò)本質(zhì)上表示的是一種從輸入空間到輸出空間的映射。間的映射。網(wǎng)絡(luò)的訓(xùn)練本質(zhì)上是對(duì)突觸權(quán)陣的調(diào)整，以滿(mǎn)足當(dāng)輸入網(wǎng)絡(luò)的訓(xùn)練本質(zhì)上是對(duì)突觸權(quán)陣的調(diào)整，以滿(mǎn)

6、足當(dāng)輸入為為XpXp時(shí)其輸出應(yīng)為時(shí)其輸出應(yīng)為YdYd。思想：前向計(jì)算得到網(wǎng)絡(luò)的輸出思想：前向計(jì)算得到網(wǎng)絡(luò)的輸出, , 反向計(jì)算得到誤差的積反向計(jì)算得到誤差的積累，由梯度下降法調(diào)整權(quán)值。累，由梯度下降法調(diào)整權(quán)值。版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)W期望期望輸出輸出dYpY網(wǎng)絡(luò)輸出網(wǎng)絡(luò)輸出pX輸入輸入信號(hào)信號(hào)權(quán)值調(diào)整權(quán)值調(diào)整+-前向計(jì)算前向計(jì)算反向計(jì)算反向計(jì)算版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009onipidipyyE1221誤差的平誤差的平方和方和梯度下降法：權(quán)值的變化與誤差梯度的下降成正比，使誤差梯度下降法：權(quán)值的變化與誤差梯度的下降成正比，使誤

7、差目的不斷減小。目的不斷減小。WJWNpnipidiNppoyyEJ111正定的、可微正定的、可微的凸函數(shù)的凸函數(shù)N個(gè)個(gè)樣本樣本版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009x1x2xno1o2om3lkwpq1ijw3l1inm2k2kiwiykzjikl學(xué)習(xí)算法學(xué)習(xí)算法版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009學(xué)習(xí)算法續(xù)學(xué)習(xí)算法續(xù)nTxxxX,21mToooO,21神經(jīng)網(wǎng)絡(luò)輸入神經(jīng)網(wǎng)絡(luò)輸入神經(jīng)網(wǎng)絡(luò)輸出神經(jīng)網(wǎng)絡(luò)輸出pTyyyY,21qTzzzZ,21隱層輸出隱層輸出 qmlkpqkinpijwww321,加權(quán)矩陣加權(quán)矩陣 131211,mlqkpi閾值向量閾值向量kkzNet

8、f2iiyNetf1lloNetf3非線(xiàn)性作用函數(shù)激活函數(shù)非線(xiàn)性作用函數(shù)激活函數(shù)期望輸出期望輸出.,21mTdddD版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009;,2,1;,2,1pinj第一隱層輸出：第一隱層輸出：1111injjijiixwfNetfy學(xué)習(xí)算法續(xù)學(xué)習(xí)算法續(xù)2122kpiikikkywfNetfz第二隱層輸出：第二隱層輸出：1, 2,kq1, 2,lm3133lqkklkllzwfNetfo輸出層輸出：輸出層輸出：版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 200920092112mlllJdo第一步：計(jì)算梯度第一步：計(jì)算梯度:,33JJWklkllllklllllklllk

9、zzNetfodwNetNetooJwNetNetJwJ333333333)()(33()()lllldo f Net333333333)()(lllllllllllllNetfodNetNetooJNetNetJJ學(xué)習(xí)算法續(xù)學(xué)習(xí)算法續(xù)版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009第二步：計(jì)算梯度第二步：計(jì)算梯度JJW22,222222223231332133221()()()()()()kkkkikikkikkkikmllkilllkmllllkkilmllkkikilNetzNetJJJJfNetywNetwzNetwzoNetJfNetyoNetzdofNetwfNetywfNet

10、yy .)(22132kkmllklkNetfwJ學(xué)習(xí)算法續(xù)學(xué)習(xí)算法續(xù)版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009第三步：計(jì)算梯度第三步：計(jì)算梯度:,11JJw學(xué)習(xí)算法續(xù)學(xué)習(xí)算法續(xù)1111111212122111()()iiiijiijiiijqkijkkiqkkiijijkNetyNetJJJwNetwyNetwNetJfNet xNetywfNet xx 11iiJ 版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009選定初始加權(quán)矩陣選定初始加權(quán)矩陣;,321WWW普通給一組較小的隨機(jī)數(shù)。普通給一組較小的隨機(jī)數(shù)。對(duì)每個(gè)樣本反復(fù)下述過(guò)程，直到收斂：對(duì)每個(gè)樣本反復(fù)下述過(guò)程，直到收斂：學(xué)

11、習(xí)算法描畫(huà)學(xué)習(xí)算法描畫(huà)123, , ,;Net Y NetZ Net O DO正向過(guò)程計(jì)算正向過(guò)程計(jì)算;,),(,),(,),(111122223333iijiikkikkllkllJwJNetfJwJNetfJwJNetf反向過(guò)程計(jì)算反向過(guò)程計(jì)算.3 , 2, 1,rWJWrrr rrrrWJtWtW1修正權(quán)值修正權(quán)值版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009ikkiywJ2222kkJ第二隱層與第一隱層銜接權(quán)值及閾值更新：第二隱層與第一隱層銜接權(quán)值及閾值更新：213322kmllklkkNetfwNetJjiijxwJ1111iiJ第一隱層與輸入層銜接權(quán)值及閾值更新：第一隱層與輸

12、入層銜接權(quán)值及閾值更新：)(112211iqkkikiiNetfwNetJkllkzwJ3333llJ輸出層與第二隱層銜接權(quán)值及閾值更新：輸出層與第二隱層銜接權(quán)值及閾值更新：)()(333lllllNetfodNetJ.3 ,2, 1,rWJWrrr rrrrWJtWtW1學(xué)習(xí)算法描畫(huà)續(xù)學(xué)習(xí)算法描畫(huà)續(xù)版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009 初始化 加輸入和期望輸出計(jì)算隱層和輸出層的輸出迭代次數(shù)加1調(diào)理輸出層和隱層的銜接權(quán)值wJtwtw)()1( 改動(dòng)訓(xùn)練樣本訓(xùn)練樣本終止？迭代終止？NoNoyy算法根本流程算法根本流程版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009權(quán)系數(shù)的初值

13、：權(quán)系數(shù)的初值：隨機(jī)選較小的值，盡量均勻覆蓋權(quán)值空間，防止出現(xiàn)初始隨機(jī)選較小的值，盡量均勻覆蓋權(quán)值空間，防止出現(xiàn)初始權(quán)值一樣的情況。權(quán)值一樣的情況。學(xué)習(xí)方式學(xué)習(xí)方式: : 增量型學(xué)習(xí)方法效果好；累積型學(xué)習(xí)方法速度快。增量型學(xué)習(xí)方法效果好；累積型學(xué)習(xí)方法速度快。鼓勵(lì)函數(shù)：鼓勵(lì)函數(shù)：非減可微函數(shù)?？山?jīng)過(guò)調(diào)理非減可微函數(shù)?？山?jīng)過(guò)調(diào)理SigmoidSigmoid函數(shù)的斜率或采用其它函數(shù)的斜率或采用其它鼓勵(lì)函數(shù)來(lái)改善網(wǎng)絡(luò)的學(xué)習(xí)性能。鼓勵(lì)函數(shù)來(lái)改善網(wǎng)絡(luò)的學(xué)習(xí)性能。學(xué)習(xí)速率：學(xué)習(xí)速率：學(xué)習(xí)速率小，訓(xùn)練速度慢；學(xué)習(xí)速率大，訓(xùn)練速度快，能學(xué)習(xí)速率小，訓(xùn)練速度慢；學(xué)習(xí)速率大，訓(xùn)練速度快，能夠出現(xiàn)振蕩景象。夠出現(xiàn)振

14、蕩景象。影響影響B(tài)PBP學(xué)習(xí)算法的要素學(xué)習(xí)算法的要素版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009非線(xiàn)性?xún)?yōu)化的部分極小，或振蕩不收斂；非線(xiàn)性?xún)?yōu)化的部分極小，或振蕩不收斂；收斂速度很慢；收斂速度很慢；新樣本的參與會(huì)影響已學(xué)習(xí)過(guò)的老樣本。新樣本的參與會(huì)影響已學(xué)習(xí)過(guò)的老樣本。BPBP學(xué)習(xí)算法的局限性學(xué)習(xí)算法的局限性版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009選用不同的作用函數(shù)、性能目的；選用不同的作用函數(shù)、性能目的；處理部分極小問(wèn)題處理部分極小問(wèn)題選用不同的初值迭代；鼓勵(lì)函數(shù)參與斜率因子；模擬退選用不同的初值迭代；鼓勵(lì)函數(shù)參與斜率因子；模擬退火方法；分解子網(wǎng)?；鸱椒?；分解子網(wǎng)。加快收斂

15、速度加快收斂速度采用不同的鼓勵(lì)函數(shù)；變學(xué)習(xí)率方法；利用鼓勵(lì)函數(shù)的采用不同的鼓勵(lì)函數(shù)；變學(xué)習(xí)率方法；利用鼓勵(lì)函數(shù)的二階導(dǎo)數(shù)；最速下降法；組合學(xué)習(xí)方法；權(quán)值修正引入二階導(dǎo)數(shù)；最速下降法；組合學(xué)習(xí)方法；權(quán)值修正引入動(dòng)量因子；遺傳算法；等等。動(dòng)量因子；遺傳算法；等等。BPBP學(xué)習(xí)算法的改良學(xué)習(xí)算法的改良版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009準(zhǔn)那么：準(zhǔn)那么：檢查權(quán)值的修正值能否真正降低了誤差函數(shù)，假設(shè)確實(shí)如檢查權(quán)值的修正值能否真正降低了誤差函數(shù)，假設(shè)確實(shí)如此，那么闡明所選取的學(xué)習(xí)速率值小了，可以對(duì)其添加一此，那么闡明所選取的學(xué)習(xí)速率值小了，可以對(duì)其添加一個(gè)量；個(gè)量；假設(shè)不是這樣，而產(chǎn)生了過(guò)

16、調(diào)，那么就應(yīng)該減小學(xué)習(xí)速率假設(shè)不是這樣，而產(chǎn)生了過(guò)調(diào)，那么就應(yīng)該減小學(xué)習(xí)速率的值。的值。調(diào)整公式：調(diào)整公式：其它)()(04. 1) 1()(7 . 0)() 1()(05. 1) 1(kkJkJkkJkJkk自順應(yīng)變學(xué)習(xí)率方法自順應(yīng)變學(xué)習(xí)率方法版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009在修正其權(quán)值時(shí)，不僅思索誤差在梯度上的作用，而且思在修正其權(quán)值時(shí)，不僅思索誤差在梯度上的作用，而且思索在誤差曲面上變化趨勢(shì)的影響。利用附加動(dòng)量的作用那索在誤差曲面上變化趨勢(shì)的影響。利用附加動(dòng)量的作用那么有能夠滑過(guò)部分極小值。么有能夠滑過(guò)部分極小值。該方法是在反向傳播法的根底上，在每一個(gè)權(quán)值的變化上該方

17、法是在反向傳播法的根底上，在每一個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來(lái)產(chǎn)生新的權(quán)值變化。來(lái)產(chǎn)生新的權(quán)值變化。) 1()(kwwJkwijijij權(quán)值調(diào)理公式：權(quán)值調(diào)理公式：動(dòng)量因子，普動(dòng)量因子，普通取通取0.950.95左右左右附加動(dòng)量法附加動(dòng)量法版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009網(wǎng)絡(luò)的層數(shù)網(wǎng)絡(luò)的層數(shù)隱含層的神經(jīng)元數(shù)隱含層的神經(jīng)元數(shù)初始權(quán)值的選取初始權(quán)值的選取學(xué)習(xí)速率的選取學(xué)習(xí)速率的選取期望誤差的選取期望誤差的選取BPBP網(wǎng)絡(luò)的設(shè)計(jì)網(wǎng)絡(luò)的設(shè)計(jì)版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009實(shí)際上

18、曾經(jīng)證明：至少一個(gè)實(shí)際上曾經(jīng)證明：至少一個(gè)S S型隱含層加上一個(gè)線(xiàn)性輸出層型隱含層加上一個(gè)線(xiàn)性輸出層的網(wǎng)絡(luò)，可以逼近任何有理函數(shù)。的網(wǎng)絡(luò)，可以逼近任何有理函數(shù)。添加層數(shù)主要可以更進(jìn)一步的降低誤差，提高精度，但同添加層數(shù)主要可以更進(jìn)一步的降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而添加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而添加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。普通情況下，應(yīng)優(yōu)先思索添加隱含層中的神經(jīng)元數(shù)。普通情況下，應(yīng)優(yōu)先思索添加隱含層中的神經(jīng)元數(shù)。能不能僅器具有非線(xiàn)性激活函數(shù)的單層網(wǎng)絡(luò)來(lái)處理問(wèn)題呢？能不能僅器具有非線(xiàn)性激活函數(shù)的單層網(wǎng)絡(luò)來(lái)處理問(wèn)題呢？結(jié)論是：沒(méi)有必要或效果不好。結(jié)論是：沒(méi)有必要或效

19、果不好。BPBP網(wǎng)絡(luò)的層數(shù)網(wǎng)絡(luò)的層數(shù)版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009網(wǎng)絡(luò)訓(xùn)練精度的提高，可以經(jīng)過(guò)采用一個(gè)隱含層，而添網(wǎng)絡(luò)訓(xùn)練精度的提高，可以經(jīng)過(guò)采用一個(gè)隱含層，而添加其神經(jīng)元數(shù)的方法來(lái)獲得。這在構(gòu)造實(shí)現(xiàn)上，要比添加其神經(jīng)元數(shù)的方法來(lái)獲得。這在構(gòu)造實(shí)現(xiàn)上，要比添加更多的隱含層要簡(jiǎn)單得多。加更多的隱含層要簡(jiǎn)單得多。 在詳細(xì)設(shè)計(jì)時(shí)，比較實(shí)踐的做法是經(jīng)過(guò)對(duì)不同神經(jīng)元數(shù)在詳細(xì)設(shè)計(jì)時(shí)，比較實(shí)踐的做法是經(jīng)過(guò)對(duì)不同神經(jīng)元數(shù)進(jìn)展訓(xùn)練對(duì)比，然后適當(dāng)?shù)丶由弦稽c(diǎn)余量。進(jìn)展訓(xùn)練對(duì)比，然后適當(dāng)?shù)丶由弦稽c(diǎn)余量。 BPBP網(wǎng)絡(luò)隱含層的神經(jīng)元數(shù)網(wǎng)絡(luò)隱含層的神經(jīng)元數(shù)初始權(quán)值的選取初始權(quán)值的選取普通取初始權(quán)值在

20、普通取初始權(quán)值在(-1(-1，1) 1)之間的隨機(jī)數(shù)。之間的隨機(jī)數(shù)。 版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009學(xué)習(xí)速率決議每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。學(xué)習(xí)速率決議每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率能夠?qū)е孪到y(tǒng)的不穩(wěn)定。大的學(xué)習(xí)速率能夠?qū)е孪到y(tǒng)的不穩(wěn)定。小的學(xué)習(xí)速率導(dǎo)致較長(zhǎng)的訓(xùn)練時(shí)間，能夠收斂很慢，不過(guò)小的學(xué)習(xí)速率導(dǎo)致較長(zhǎng)的訓(xùn)練時(shí)間，能夠收斂很慢，不過(guò)能保證網(wǎng)絡(luò)的誤差值不跳出誤差外表的低谷而最終趨于最能保證網(wǎng)絡(luò)的誤差值不跳出誤差外表的低谷而最終趨于最小誤差值。小誤差值。所以在普通情況下，傾向于選取較小的學(xué)習(xí)速率以保證系所以在普通情況下，傾向于選取較小的學(xué)習(xí)速率以

21、保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍在統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍在0.01-0.80.01-0.8之間。之間。BPBP網(wǎng)絡(luò)學(xué)習(xí)速率的選取網(wǎng)絡(luò)學(xué)習(xí)速率的選取版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，期望誤差值也該當(dāng)經(jīng)過(guò)對(duì)比訓(xùn)在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，期望誤差值也該當(dāng)經(jīng)過(guò)對(duì)比訓(xùn)練后確定一個(gè)適宜的值。練后確定一個(gè)適宜的值。這個(gè)所謂的這個(gè)所謂的“適宜，是相對(duì)于所需求的隱含層的節(jié)點(diǎn)數(shù)適宜，是相對(duì)于所需求的隱含層的節(jié)點(diǎn)數(shù)來(lái)確定，由于較小的期望誤差值是要靠添加隱含層的節(jié)點(diǎn)，來(lái)確定，由于較小的期望誤差值是要靠添加隱含層的節(jié)點(diǎn)，以及訓(xùn)練時(shí)間來(lái)獲得的。以及訓(xùn)練時(shí)間來(lái)獲得的。普通

22、情況下，作為對(duì)比，可以同時(shí)對(duì)兩個(gè)不同期望誤差值普通情況下，作為對(duì)比，可以同時(shí)對(duì)兩個(gè)不同期望誤差值的網(wǎng)絡(luò)進(jìn)展訓(xùn)練，最后經(jīng)過(guò)綜合要素的思索來(lái)確定采用其的網(wǎng)絡(luò)進(jìn)展訓(xùn)練，最后經(jīng)過(guò)綜合要素的思索來(lái)確定采用其中一個(gè)網(wǎng)絡(luò)。中一個(gè)網(wǎng)絡(luò)。BPBP網(wǎng)絡(luò)期望誤差的選取網(wǎng)絡(luò)期望誤差的選取版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009例例5.1.1 P128 BP5.1.1 P128 BP網(wǎng)絡(luò)訓(xùn)練網(wǎng)絡(luò)訓(xùn)練版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009Matlab 命令窗口輸入命令窗口輸入 “Help 函數(shù)名函數(shù)名 可得到相關(guān)函數(shù)的可得到相關(guān)函數(shù)的詳細(xì)引見(jiàn)；詳細(xì)引見(jiàn)；輸入輸入 Demop1 Demop1 利器

23、具有利器具有2 2個(gè)神經(jīng)元個(gè)神經(jīng)元的感知器實(shí)現(xiàn)對(duì)的感知器實(shí)現(xiàn)對(duì)5 5個(gè)個(gè)輸入數(shù)據(jù)的兩分類(lèi)輸入數(shù)據(jù)的兩分類(lèi)-0.8-0.6-0.4-0.6-1-0.500.511.5Vectors to be ClassifiedP(1)P(2)版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009常用指令：常用指令： P175 P175 表表.2P180 P180 例例.1% 感知器網(wǎng)絡(luò)實(shí)驗(yàn)X=-0.5 -0.5 0.3 -0.1 0.2 0.6 0.8 0.6; -0.5 0.5 -0.5 1 0.5 -0.9 0.8 -0.6T=1 1 0 1 1 0 1

24、 0w,b=initp(X,T)w,b,epochs,erros=trainp(w,b,X,T)Y=simup(X,w,b)testX=-0.5 0.3 -0.9 0.4 -0.1 0.2 -0.6 0.8 0.1 0.4; -0.3 -0.8 -0.4 -0.7 0.4 -0.6 0.1 -0.5 -0.5 0.3y=simup(testX,w,b)figureplotpv(testX,y)plotpc(w,b)版權(quán)所有版權(quán)所有 復(fù)制必究復(fù)制必究 20092009-1.5-1-0.500.511.5-1-0.500.5Vectors to be ClassifiedP(1)P(2)00.511.5210-2010-1510-1010-5100105EpochSum-Squared ErrorSum-Squared N