神經(jīng)網(wǎng)絡(luò)第2章-BP神經(jīng)網(wǎng)絡(luò)

1、第第2章章 BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) 已經(jīng)發(fā)展了數(shù)十上百種神經(jīng)網(wǎng)絡(luò)模型，應(yīng)用最廣泛的是已經(jīng)發(fā)展了數(shù)十上百種神經(jīng)網(wǎng)絡(luò)模型，應(yīng)用最廣泛的是誤差反向傳播算法誤差反向傳播算法(Back Propagation Algorithm，簡(jiǎn)稱(chēng)，簡(jiǎn)稱(chēng)BP算法算法)，相應(yīng)的網(wǎng)絡(luò)稱(chēng)為，相應(yīng)的網(wǎng)絡(luò)稱(chēng)為BP網(wǎng)絡(luò)。網(wǎng)絡(luò)。由多層處理單元組成，每層神經(jīng)元個(gè)數(shù)不同，通過(guò)樣本自由多層處理單元組成，每層神經(jīng)元個(gè)數(shù)不同，通過(guò)樣本自學(xué)習(xí)建立網(wǎng)絡(luò)輸入變量和輸出變量之間的非線性映射關(guān)系。學(xué)習(xí)建立網(wǎng)絡(luò)輸入變量和輸出變量之間的非線性映射關(guān)系。 2-1 BP神經(jīng)網(wǎng)絡(luò)基本原理神經(jīng)網(wǎng)絡(luò)基本原理 BP網(wǎng)絡(luò)一般由輸入層、隱層和輸出層組成，隱層可以網(wǎng)絡(luò)一般由

2、輸入層、隱層和輸出層組成，隱層可以為一層或多層，每層上的神經(jīng)元稱(chēng)為節(jié)點(diǎn)或單元。為一層或多層，每層上的神經(jīng)元稱(chēng)為節(jié)點(diǎn)或單元。 標(biāo)準(zhǔn)標(biāo)準(zhǔn)BP模型由模型由3個(gè)神經(jīng)元層次組成，如圖個(gè)神經(jīng)元層次組成，如圖2.1所示，輸入所示，輸入層有層有L個(gè)處理單元，中間的隱層有個(gè)處理單元，中間的隱層有M個(gè)處理單元，輸出個(gè)處理單元，輸出層有層有N個(gè)處理單元。個(gè)處理單元。 標(biāo)準(zhǔn)標(biāo)準(zhǔn)BP模型由模型由3個(gè)神經(jīng)元層次組成，如圖個(gè)神經(jīng)元層次組成，如圖2.1所示，輸入所示，輸入層有層有L個(gè)處理單元，中間的隱層有個(gè)處理單元，中間的隱層有M個(gè)處理單元，輸出個(gè)處理單元，輸出層有層有N個(gè)處理單元。個(gè)處理單元。 圖圖2.1 三層三層BP神經(jīng)

3、網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)誤差反向傳播算法的基本網(wǎng)絡(luò)誤差反向傳播算法的基本思想思想 BP網(wǎng)絡(luò)按照感知器的工作網(wǎng)絡(luò)按照感知器的工作原理進(jìn)行信息處理：原理進(jìn)行信息處理： niiixtWfty1)()(2-1) 式中式中 為為t時(shí)刻輸出，時(shí)刻輸出， 為輸入向量的一個(gè)分量，為輸入向量的一個(gè)分量， 為為t時(shí)時(shí)刻第刻第i個(gè)輸入的加權(quán)，個(gè)輸入的加權(quán)，為閾值，為閾值， 為作用函數(shù)。為作用函數(shù)。 )(tyix f)(tWi感知器的學(xué)習(xí)規(guī)則為感知器的學(xué)習(xí)規(guī)則為 iiixtydtWtW)()() 1(2-2) 式中式中為學(xué)習(xí)率為學(xué)習(xí)率 ，d為期望輸出為期望輸出(又稱(chēng)教師信號(hào)又稱(chēng)教師信號(hào))， 為感知器的輸出。為感知器的輸出

4、。 ) 10()(ty感知器通過(guò)不斷調(diào)整權(quán)重，使得感知器通過(guò)不斷調(diào)整權(quán)重，使得 對(duì)一切樣本對(duì)一切樣本均保持不變時(shí)，學(xué)習(xí)過(guò)程就結(jié)束。均保持不變時(shí)，學(xué)習(xí)過(guò)程就結(jié)束。), 1(niWiBP網(wǎng)絡(luò)誤差反向傳播算法的基本思想是：網(wǎng)絡(luò)誤差反向傳播算法的基本思想是：根據(jù)輸出層內(nèi)各處理單元的正確輸出與實(shí)際輸出之間根據(jù)輸出層內(nèi)各處理單元的正確輸出與實(shí)際輸出之間的誤差進(jìn)行連接權(quán)系數(shù)的調(diào)整，使網(wǎng)絡(luò)的輸出盡可能接近的誤差進(jìn)行連接權(quán)系數(shù)的調(diào)整，使網(wǎng)絡(luò)的輸出盡可能接近期望的輸出，直到滿(mǎn)足事先給定的允許誤差，學(xué)習(xí)停止。期望的輸出，直到滿(mǎn)足事先給定的允許誤差，學(xué)習(xí)停止。 由于隱層的存在，輸出層對(duì)產(chǎn)生誤差的學(xué)習(xí)必須通過(guò)各層由于隱

5、層的存在，輸出層對(duì)產(chǎn)生誤差的學(xué)習(xí)必須通過(guò)各層連接權(quán)值的調(diào)整進(jìn)行，因此，隱層要能對(duì)輸出層反傳過(guò)來(lái)連接權(quán)值的調(diào)整進(jìn)行，因此，隱層要能對(duì)輸出層反傳過(guò)來(lái)的誤差進(jìn)行學(xué)習(xí)，這是的誤差進(jìn)行學(xué)習(xí)，這是BP網(wǎng)絡(luò)的一個(gè)主要特征。網(wǎng)絡(luò)的一個(gè)主要特征。 BP網(wǎng)絡(luò)的學(xué)習(xí)算法網(wǎng)絡(luò)的學(xué)習(xí)算法 考慮考慮BP網(wǎng)絡(luò)中某神經(jīng)元網(wǎng)絡(luò)中某神經(jīng)元j如圖如圖1.2所示，它有所示，它有m個(gè)輸入信個(gè)輸入信號(hào)號(hào) ，每個(gè)輸入通過(guò)各自的權(quán)系數(shù)，每個(gè)輸入通過(guò)各自的權(quán)系數(shù) 與神經(jīng)元與神經(jīng)元j相聯(lián)系。第相聯(lián)系。第j神經(jīng)元的綜合輸入量神經(jīng)元的綜合輸入量 為為 mixi1ijWjI 圖圖1.2 神經(jīng)單元模型神經(jīng)單元模型1w1x2xix2wiwjyjimiij

6、jxWI1(2-3) 式中式中 稱(chēng)為該神經(jīng)元的門(mén)檻值或閾值。為了統(tǒng)一表達(dá)式，稱(chēng)為該神經(jīng)元的門(mén)檻值或閾值。為了統(tǒng)一表達(dá)式，可以令可以令 ,將上式改寫(xiě)成將上式改寫(xiě)成 j,jojW10 ximiijjxWI0(2-4) 第第j神經(jīng)元的輸出神經(jīng)元的輸出 為為 jy jjjIfy (2-5) 式中式中 為神經(jīng)元為神經(jīng)元j的傳遞函數(shù)或響應(yīng)函數(shù)，是非線性的傳遞函數(shù)或響應(yīng)函數(shù)，是非線性可微非遞減函數(shù)，對(duì)各神經(jīng)元可取同一形式?？晌⒎沁f減函數(shù)，對(duì)各神經(jīng)元可取同一形式。 jf傳遞函數(shù)傳遞函數(shù) 通常有通常有jf0-1型型 (2-6) 10jIf時(shí)當(dāng)時(shí)當(dāng)00jjII雙曲正切型雙曲正切型 (2-8) )exp()/exp

7、()exp()exp()tanh(jjjjjjIIIIIIf )exp(1 1jjIIfSigmoid型型 (2-7)目前，用得較多的傳遞函數(shù)是目前，用得較多的傳遞函數(shù)是Sigmoid型函數(shù)或稱(chēng)為型函數(shù)或稱(chēng)為S型型函數(shù)。函數(shù)。BP網(wǎng)絡(luò)的自學(xué)習(xí)是通過(guò)若干個(gè)已知輸入和輸出的樣本，網(wǎng)絡(luò)的自學(xué)習(xí)是通過(guò)若干個(gè)已知輸入和輸出的樣本，來(lái)調(diào)整權(quán)系數(shù)來(lái)調(diào)整權(quán)系數(shù) 完成的。要求對(duì)樣本完成的。要求對(duì)樣本 ，網(wǎng)絡(luò)輸出網(wǎng)絡(luò)輸出 和樣本期望輸出和樣本期望輸出 的差值平方和極小，即的差值平方和極小，即ijW)1(Ppp， po pdmin2121jmjpjpjpodE(2-9) 現(xiàn)在考慮圖現(xiàn)在考慮圖2.2所示所示BP網(wǎng)絡(luò)，

8、用序號(hào)網(wǎng)絡(luò)，用序號(hào)13分別表示輸入層、分別表示輸入層、隱層和輸出層，為統(tǒng)一符號(hào)，規(guī)定右上角標(biāo)表示層的序隱層和輸出層，為統(tǒng)一符號(hào)，規(guī)定右上角標(biāo)表示層的序號(hào)，對(duì)第號(hào)，對(duì)第p樣本，第樣本，第 層的神經(jīng)元層的神經(jīng)元j的輸入和輸出分別用的輸入和輸出分別用 和和 表示，而對(duì)應(yīng)層的神經(jīng)元個(gè)數(shù)為表示，而對(duì)應(yīng)層的神經(jīng)元個(gè)數(shù)為 ，對(duì)圖，對(duì)圖2.2而而言，言， 。則網(wǎng)絡(luò)的正向運(yùn)算為。則網(wǎng)絡(luò)的正向運(yùn)算為llpjilpjolmNmMmLm321,現(xiàn)在考慮圖現(xiàn)在考慮圖2.2所示所示BP網(wǎng)絡(luò)，用序號(hào)網(wǎng)絡(luò)，用序號(hào)13分別表示輸入層、分別表示輸入層、隱層和輸出層，為統(tǒng)一符號(hào)，規(guī)定右上角標(biāo)表示層的序隱層和輸出層，為統(tǒng)一符號(hào)，規(guī)定

9、右上角標(biāo)表示層的序號(hào)，對(duì)第號(hào)，對(duì)第p樣本，第樣本，第 層的神經(jīng)元層的神經(jīng)元j的輸入和輸出分別用的輸入和輸出分別用 和和 表示，而對(duì)應(yīng)層的神經(jīng)元個(gè)數(shù)為表示，而對(duì)應(yīng)層的神經(jīng)元個(gè)數(shù)為 ，對(duì)圖，對(duì)圖2.2而而言，言， 。則網(wǎng)絡(luò)的正向運(yùn)算為。則網(wǎng)絡(luò)的正向運(yùn)算為llpjilpjolmNmMmLm321,圖圖2.2 三層三層BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)輸入層輸入層 (2-10)隱層或輸出層隱層或輸出層 lpjljlpjlpkmkljklpjifooWil10111pjpjio1, 1mj)3, 2, 1(lmjl12)-(211)-(2式中式中 表示第表示第 層的神經(jīng)元層的神經(jīng)元 與第與第 層的神經(jīng)元層的神經(jīng)元 之

10、間的權(quán)系數(shù)。之間的權(quán)系數(shù)。ljkW) 1( lklj網(wǎng)絡(luò)第網(wǎng)絡(luò)第 層的神經(jīng)元層的神經(jīng)元j的計(jì)算輸出的計(jì)算輸出 和樣本期望輸出和樣本期望輸出 的差值記為的差值記為lljpoljpdljpljpljpod)3, 2( l(2-13)要對(duì)網(wǎng)絡(luò)的權(quán)系數(shù)不斷進(jìn)行修正，使得要對(duì)網(wǎng)絡(luò)的權(quán)系數(shù)不斷進(jìn)行修正，使得 小于事先給定小于事先給定的允許誤差，才能完成學(xué)習(xí)過(guò)程，訓(xùn)練結(jié)束。對(duì)于第的允許誤差，才能完成學(xué)習(xí)過(guò)程，訓(xùn)練結(jié)束。對(duì)于第 次學(xué)習(xí)過(guò)程，權(quán)系數(shù)修正量次學(xué)習(xí)過(guò)程，權(quán)系數(shù)修正量 可借鑒不包含隱層的可借鑒不包含隱層的Delta學(xué)習(xí)算法學(xué)習(xí)算法(或或 學(xué)習(xí)算法學(xué)習(xí)算法)按下式進(jìn)行調(diào)整按下式進(jìn)行調(diào)整(也參見(jiàn)式也參見(jiàn)式

11、(2-2)ljp) 1( t) 1( tWljk 1) 1(ljpljpljkotW)3, 2( l(2-14)式中式中為修正因子，一般取小于為修正因子，一般取小于1的常數(shù)，也可以在學(xué)習(xí)的常數(shù)，也可以在學(xué)習(xí)過(guò)程中根據(jù)需要而改變。過(guò)程中根據(jù)需要而改變。 Delta學(xué)習(xí)算法的改進(jìn)學(xué)習(xí)算法的改進(jìn) 由式由式(2-11)則式則式(2-17)可改寫(xiě)為可改寫(xiě)為將上式與式將上式與式(2-14)比較，可見(jiàn)兩者形式相同。比較，可見(jiàn)兩者形式相同。 1) 1(ljpljpljkotW)3, 2( l(2-14) 而由式而由式(2-12)有有 對(duì)式對(duì)式(2-7)的的S型函數(shù)，上式成為型函數(shù)，上式成為 將式將式(2-23

12、)和式和式(2-24)代入式代入式(2-21)得得 將式將式(2-23)和式和式(2-26)代入式代入式(2-21)并考慮式并考慮式(2-15)得得 式式(2-16)和式和式(2-20)給出給出 需要指出的是，當(dāng)選用需要指出的是，當(dāng)選用0-1型和型和Sigmoid型傳遞函數(shù)時(shí)，網(wǎng)型傳遞函數(shù)時(shí)，網(wǎng)絡(luò)輸出的值域?yàn)榻j(luò)輸出的值域?yàn)?0,1)而雙曲正切型的值域?yàn)槎p曲正切型的值域?yàn)?-1,1)，對(duì)于超，對(duì)于超出此區(qū)間的樣本期望輸出，均需作歸一化處理。出此區(qū)間的樣本期望輸出，均需作歸一化處理。 訓(xùn)練好的訓(xùn)練好的BP網(wǎng)絡(luò)已經(jīng)建立了輸入變量與輸出變量之間的網(wǎng)絡(luò)已經(jīng)建立了輸入變量與輸出變量之間的非線性映射關(guān)系，

13、可用于結(jié)構(gòu)損傷非線性映射關(guān)系，可用于結(jié)構(gòu)損傷(裂紋裂紋)識(shí)別等反問(wèn)題的識(shí)別等反問(wèn)題的求解。該法的特點(diǎn)是具有較好的魯棒性，對(duì)測(cè)量結(jié)果的微求解。該法的特點(diǎn)是具有較好的魯棒性，對(duì)測(cè)量結(jié)果的微小誤差不很敏感。小誤差不很敏感。 BP網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)(迭代迭代)運(yùn)算步驟如下：運(yùn)算步驟如下：事先確定隱層的層數(shù)及各隱層的神經(jīng)元個(gè)數(shù)事先確定隱層的層數(shù)及各隱層的神經(jīng)元個(gè)數(shù) 2.2 BP網(wǎng)絡(luò)計(jì)算框圖網(wǎng)絡(luò)計(jì)算框圖BP網(wǎng)絡(luò)計(jì)算框圖網(wǎng)絡(luò)計(jì)算框圖(流程圖流程圖)見(jiàn)圖見(jiàn)圖2.3： 2.3 BP網(wǎng)絡(luò)的特點(diǎn)和存在的問(wèn)題網(wǎng)絡(luò)的特點(diǎn)和存在的問(wèn)題 (1) 是一種非線性映射關(guān)系是一種非線性映射關(guān)系 是靜態(tài)系統(tǒng)而非動(dòng)力學(xué)系統(tǒng)，故不涉及穩(wěn)定

14、性問(wèn)題。是靜態(tài)系統(tǒng)而非動(dòng)力學(xué)系統(tǒng)，故不涉及穩(wěn)定性問(wèn)題。 (2) BP算法收斂速度很慢算法收斂速度很慢 主要由于多峰優(yōu)化問(wèn)題，只找主要由于多峰優(yōu)化問(wèn)題，只找到局部最優(yōu)解，產(chǎn)生麻痹，如到局部最優(yōu)解，產(chǎn)生麻痹，如圖圖2.4。A全局最優(yōu)點(diǎn)全局最優(yōu)點(diǎn)B局部?jī)?yōu)化點(diǎn)局部?jī)?yōu)化點(diǎn)圖圖2.4 多峰優(yōu)化問(wèn)題尋優(yōu)過(guò)程示意圖多峰優(yōu)化問(wèn)題尋優(yōu)過(guò)程示意圖 (3) 對(duì)隱層的層數(shù)及各隱層的神經(jīng)元個(gè)數(shù)尚無(wú)理論上的推導(dǎo)對(duì)隱層的層數(shù)及各隱層的神經(jīng)元個(gè)數(shù)尚無(wú)理論上的推導(dǎo) (4) 對(duì)加入的新樣本，網(wǎng)絡(luò)需要重新學(xué)習(xí)對(duì)加入的新樣本，網(wǎng)絡(luò)需要重新學(xué)習(xí) 2.4 Kolmogorov定理定理Kolmogorov(連續(xù)函數(shù)表示連續(xù)函數(shù)表示)定理定理

15、(1957年年)： 2.5 算例算例1NN.FOR221412122212122245 . 44)(xxxxxxxxxXf駐值點(diǎn)由：駐值點(diǎn)由： 8091. 2)(5134. 0)(9855. 0)(4929. 1 ,6117. 0028. 1 ,053. 1854. 3,914. 10032132121XfXfXfXXXxfxf 需要利用導(dǎo)師信息，給出網(wǎng)格點(diǎn)的值作信息，共需要利用導(dǎo)師信息，給出網(wǎng)格點(diǎn)的值作信息，共77=49對(duì)對(duì)數(shù)據(jù)點(diǎn)，見(jiàn)表數(shù)據(jù)點(diǎn)，見(jiàn)表2-1。x1位于位于-33之間，而之間，而x2位于位于-24之間。之間。 表表2-1 神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)表神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)表x1x2f(X)x1x2

16、f(X)x1x2f(X)x1x2f(X)-3-2120.5-24150242033-3-198.5-1-217.503102119-3080.5-1-17.50420229-3166.5-101.51-234.5233-3256.5-11-0.51-120.5241-3350.5-121.51010.53-2171.5-3448.5-137.5114.53-1137.5-2-239-1417.5122.530107.5-2-1250-220134.53181.5-20150-1101410.53259.5-2190042-2733341.5-2270122-1513427.5-239 程序程序

17、NN.FOR使用說(shuō)明：使用說(shuō)明： 數(shù)據(jù)值應(yīng)在數(shù)據(jù)值應(yīng)在(0,1)之間，故應(yīng)作歸一化處理：之間，故應(yīng)作歸一化處理：62632211xxxx進(jìn)行坐標(biāo)平移及數(shù)據(jù)歸一化處理，分子進(jìn)行坐標(biāo)平移及數(shù)據(jù)歸一化處理，分子平移；分子平移；分子/分母分母歸一化。歸一化。x1最小值為最小值為-3，x2最小值為最小值為-2，取值區(qū)間分別為，取值區(qū)間分別為3-(-3)=6和和4-(-2)=6。規(guī)格化處理：規(guī)格化處理： 2.6 算例算例2考慮：考慮：1、移軸及歸一化和上下限改變的影響；、移軸及歸一化和上下限改變的影響； 2、隨機(jī)數(shù)起始點(diǎn)改變；、隨機(jī)數(shù)起始點(diǎn)改變； 3、初始數(shù)據(jù)范圍、初始數(shù)據(jù)范圍(x1，x2)。 大作業(yè)大作業(yè)1：對(duì)基本神