多層前饋神經(jīng)網(wǎng)絡new

1、5多層前饋網(wǎng)絡及BP算法多層前饋網(wǎng)絡的反向傳播（BP）學習算法，簡稱BP算法，是有導師的學習，它是梯度下降法在多層前饋網(wǎng)中的應用。（a）網(wǎng)絡結構見下圖，u、y是網(wǎng)絡的輸入、輸出向量，神經(jīng)元用節(jié)點表示，網(wǎng)絡由輸入層、隱層和輸出層節(jié)點組成，隱層可一層，也可多層（圖中是單隱層），前層至后層節(jié)點通過權聯(lián)接。由于用 BP學習算法，所以常稱BP神經(jīng)網(wǎng)絡。輸入層隱層 輸出層x：每個神經(jīng)元（節(jié)點）的輸入；y：每個神經(jīng)元（節(jié)點）的輸出；ij：神經(jīng)元 的第j個輸入。Wij :神經(jīng)元j到神經(jīng)元i的連接權節(jié)點的作用函數(shù)：y二f（x- =）,二為閾值（可設置一個偏置節(jié)點代替二）f1Ff可為線性函數(shù)，一般取為Sigmoi

2、d函數(shù)IT ,為很小的數(shù)，如0.11十e（b） BP學習算法?已知網(wǎng)絡的輸入/輸出樣本，即導師信號。? BP學習算法由正向傳播和反向傳播組成：?正向傳播是輸入信號從輸入層經(jīng)隱層， 傳向輸出層，若輸出層得到了期望 的輸出，貝浮習算法結束；否則，轉至反向傳播。?反向傳播是將誤差（樣本輸出與網(wǎng)絡輸出之差）按原聯(lián)接通路反向計算， 由梯度下降法調(diào)整各層節(jié)點的權值和閾值，使誤差減小。BP學習算法步驟如下：（1）設置初始權值W（0），它是較小的隨機非零值(2) 給定輸入/輸出樣本對，計算網(wǎng)絡的輸出。設第p組樣本輸入：up二u1p,u2p,.,unp輸出：dp = d1p ,d2p ,.,dmp , p =

3、1,2,.,L節(jié)點i在第p組樣本輸入時，輸出為yip:yip(t)=化金億)=f|送 Wj(t)ijp (i 式)-j一式中，Ijp是在第p組樣本輸入時，節(jié)點i的第j個輸入。1f(-) 取可微的s型作用函數(shù)式(2 式)1 + e可由輸入層隱層至輸出層，求得網(wǎng)絡輸出層節(jié)點的輸出。(1)計算網(wǎng)絡的目標函數(shù) J設Ep為在第p組樣本輸入時，網(wǎng)絡的目標函數(shù)，取L2范數(shù)，則1 2 1 2 1 2Ep(t) =|dp-yp(t)|2 = ' dkp-ykp(t)2ejp(t)(3式)22 k2 k式中，yp(t)是在第p組樣本輸入時，經(jīng)t次權值調(diào)整后網(wǎng)絡的輸出：k是 輸出層第k個節(jié)點。網(wǎng)絡的總目標函

4、數(shù)： J(t)八 Ep(t)( 4 式)p作為對網(wǎng)絡學習狀況的評價。(2)判別若J(t) < £(5 式)算法結束；否則，至步驟(4)。式中，總是預先確定的，'> 0.(3) 反向傳播計算由輸出層，依據(jù)J ，按梯度下降法反向計算，可逐層調(diào)整權值。林 J(ak).由式ak 1二ak - k-，取步長為常值，可得到神經(jīng)元j到神經(jīng)元i的連接權t-1次調(diào)整算式:書訓j（t）W）-6 式）：W|j （t）式中，為步長，在此稱為學習算子。具體算法如下：EpEp %wijX|pW|j（7 式）EpX|p（8 式）式中，rp是第i個節(jié)點的狀態(tài)X|p對Ep的靈敏度（第p組樣本輸入時

5、）。又（7式）（8式）可得:E|pw|j1 jp（9 式）分以下兩種情況計算;|p若I為輸出節(jié)點，由（3式）和（8式）可得:Ep *7kp ：Xkp©p f Xkp（10 式）（10式）代入（7 式），則:Ep：Wjekpf Xkp I jp（11 式）若I不是輸出節(jié)點，此時（8式）為:IPEp Ep : y|p X|p- y|p - X|p旦 f' Xip（12 式）其中-：Ep：Ep：EpEpwj I jpWm1jrpWmyip（13 式）m1： xm1p : yIpm1: xm1p : yip jmi :- xm1pmimi式中，m1是節(jié)點i后邊一層的第m1個節(jié)點；I

6、jp是節(jié)點m1的第j個輸入（第p組樣本輸入時），當I二J時I Jp將（12式）和（13式）代入（7式），有.:E旦二 f ' Xip Ij/ -JipjWm1i：Wjj- Xm1 pIf，Xip 】jp mi p Wm1 （14 式）mi可見，由（11式）和（14式），可進行（6式）的權值調(diào)整計算。（c）幾個問題討論：（1）實現(xiàn)輸入/輸出的非線性映射（2）輸入/輸出的歸一化，即將輸入輸出轉化到（0， 1）（3）泛化能力（4）訓練誤差（5）BP的不足收斂速度慢，局部最優(yōu)點，收斂速度與初始權的選擇有關隱層及接點數(shù)的選擇無理論指導新加入的樣本會影響到已學好的樣本（6）改進的BP算法例：BP算

7、法的思路及計算過程為了找出小麥產(chǎn)量與化肥用量的關系，觀測得到了多組數(shù)據(jù),如化肥用量為0.01噸/每畝時，產(chǎn)量為0.3噸/每畝,0.015 噸/每畝時,產(chǎn)量為 0.350噸/每畝,0.020噸/每畝時，產(chǎn)量為0.380噸/每畝，若化肥用量為0.050噸/每畝,則產(chǎn)量為多少？思路：假設產(chǎn)量為y，化肥用量為x，需要根據(jù)已知數(shù)據(jù)求出 y = f (x).可利用神經(jīng)網(wǎng)絡實現(xiàn) y與x之間的映射關系輸入/輸出樣本對有三個(p=3)，為口廠0.01, d廠0.3;氏二 0.015, d廠 0.35; U3 = 0.02, d廠 0.38;假設權值的初始值為：輸入到隱層：Wi,廠0.1, W2,r 0.2 ；隱

8、層到輸出：Wi,廣0.12 , Wi,2二0.22 .節(jié)點的作用函數(shù)1 一，此例僅為演示 BP訓練過程，為計算方便，取閾值二取為0 （'不為0時，需加一個偏置節(jié)點）（1）對第一個樣本（p=1):隱層節(jié)點1的輸入為:知=0.01* w = 0.001；隱層節(jié)點2的輸入為：X2,10.01* w2j = 0.002 ；隱層節(jié)點1的輸出為：y1,1f (Xi,i)二1e"1,1二 0.5002 ；隱層節(jié)點2的輸出為：y2,i0.5005 ；輸出節(jié)點的輸入為:為，廣 0.5002* 0.12 +0.5005* 0.22 二0.1701輸出節(jié)點的輸出為:= 0.5424和期望輸出的誤差

9、為:©,廠(0.3- 0.5424)=0.2424：Ep隱層到輸出層的權值調(diào)整（W二-ekp fXkp I jp):E1W1,1二-e1,1f' x1,1 I1J = 0.2424* e.1701*(V e"1701)2* 0.50020.03010旦=-e,1f'<x1,1)l21 = 0.2424*.1701*(1 +e®701)2 * 0.50050.03011W1,21,1一1W63E輸入層到隱層的權值調(diào)整(.f ' Xip I jpi npWmii ): cWijm1亙=f '(X“ 兒送e.001* (1+ e00

10、1)/ * 0.01* % * 0.12= 1.8048e- 005W1,1mtf'(x2,1 m mJwm, e.002 * ( e.002 * 0.01t1 * 0.2 3.3088e-005m同理求得第2、第3個樣本時的：E2W,j：Es。Wi,j(3)更新權值Wj,j二Wi,j_EpP，W,j(4)如果訓練誤差JEp回到步驟（1），否則結束例：利用Matlab中的神經(jīng)網(wǎng)絡工具箱， 使用BP網(wǎng)絡實現(xiàn)對 正弦函數(shù)的逼近。Function Approximation程序:p=-1:0.1:1t二-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.66 0.4609 0.1336 -0.2013-0.4344 -0.5 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816-0.0312 -0.2189 -0.3201S1=5;w1,b1,w2,b2=initff(p,S1, 'tansig',t,'purelin');df=10;me=8000;eg=0.02;lr=0.01;tp=df me eg