神經(jīng)網(wǎng)絡(luò)ppt課件

1、J. McClelland David Rumelhart BP算法根本原理 利用輸出后的誤差來估計輸出層的直接前導(dǎo)層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了一切其他各層的誤差估計。 構(gòu)造：多層前向網(wǎng)絡(luò)。 圖3-9 BP網(wǎng)絡(luò)激發(fā)函數(shù)激發(fā)函數(shù) 必需處處可導(dǎo)必需處處可導(dǎo), ,普通都運用普通都運用S S型函數(shù)型函數(shù) 運用運用S S型激活函數(shù)時型激活函數(shù)時BPBP網(wǎng)絡(luò)輸入與輸出關(guān)系網(wǎng)絡(luò)輸入與輸出關(guān)系輸入輸入輸出輸出輸出的導(dǎo)數(shù)輸出的導(dǎo)數(shù)1122.nnnetx wx wx w1()1 enetyf net211()(1)1e(1e)-netnetfnetyyn學(xué)習(xí)算法學(xué)習(xí)算

2、法n學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)n中心思想：中心思想：n 將輸出誤差以某種方式經(jīng)過隱層向輸入層逐層將輸出誤差以某種方式經(jīng)過隱層向輸入層逐層反傳反傳n算法組成：正向傳播算法組成：正向傳播 + 反向傳播反向傳播n 輸入信息誤差信號輸入信息誤差信號將誤差分攤給各層的一切將誤差分攤給各層的一切單元各層單元的誤單元各層單元的誤差信號差信號修正各單元權(quán)修正各單元權(quán)值值正向傳播：輸入樣本輸入層各隱層輸出層判別能否轉(zhuǎn)入反向傳播階段：假設(shè)輸出層的實踐輸出與期望的輸出教師信號不符誤差反傳誤差以某種方式在各層表示修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進展到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止l算法步驟

3、算法步驟l 網(wǎng)絡(luò)構(gòu)造：輸入層有網(wǎng)絡(luò)構(gòu)造：輸入層有M個神經(jīng)元，隱含層有個神經(jīng)元，隱含層有q個神個神經(jīng)元經(jīng)元, 輸出層有輸出層有L個神經(jīng)元。個神經(jīng)元。l l 學(xué)習(xí)樣本：設(shè)有學(xué)習(xí)樣本：設(shè)有N個學(xué)習(xí)樣本，每個學(xué)習(xí)樣本包括個學(xué)習(xí)樣本，每個學(xué)習(xí)樣本包括M個輸入和個輸入和L個輸出。經(jīng)過學(xué)習(xí)使個輸出。經(jīng)過學(xué)習(xí)使BP網(wǎng)絡(luò)符合這些樣網(wǎng)絡(luò)符合這些樣本。以學(xué)習(xí)第本。以學(xué)習(xí)第p個樣本為例輸入量為個樣本為例輸入量為Xp,期望輸出期望輸出為為Dp:l 前饋計算前饋計算l 隱含層第隱含層第j個節(jié)點的輸入可寫為個節(jié)點的輸入可寫為l 第第j個節(jié)點的輸出為個節(jié)點的輸出為l 其中其中 為激發(fā)函數(shù)，可取為激發(fā)函數(shù)，可取sigmoid函

4、數(shù)方式，那函數(shù)方式，那么么l 1MjijiinetO()jjOf net()jf net1()1jjnetf nete()()1()jjjf netf netf net輸出層第輸出層第k個節(jié)點的輸入可寫為個節(jié)點的輸入可寫為那么輸出層第那么輸出層第k個節(jié)點的輸出為個節(jié)點的輸出為 當實踐輸出與期望輸出不一致時，進入反向傳播當實踐輸出與期望輸出不一致時，進入反向傳播階段將誤差信號反向傳播，修正權(quán)值。階段將誤差信號反向傳播，修正權(quán)值。反向傳播反向傳播 對第對第p個樣本，定義二次型誤差函數(shù)個樣本，定義二次型誤差函數(shù) 1qkjkjinetO()kkOf net211()2MppkpkkEdO 學(xué)習(xí)的過程即

5、是調(diào)理權(quán)值使得E最小的過程，在BP算法中采用一階梯度法最速下降法。輸出層權(quán)系數(shù)的調(diào)整： 為學(xué)習(xí)速率 定義反向誤差傳播信號 jkjkE 0kkjkjkEnenettEkkkkkEneOtEOnet 故 又有 故()kkkEdOO ()()()1()kkkkkkkOf netnetnetfnetf netf net(1)()kkkkkkkkOEOOdOOnet 1()qjkjjjjkkjkOOnet(1)()jkkkkkjjkjkEOOdO OO 隱層權(quán)系數(shù)的調(diào)整：隱層權(quán)系數(shù)的調(diào)整： 定義反向誤差傳播信號定義反向誤差傳播信號 其中其中 ijijE jjijijEnenettEjjjjjEneOtE

6、Onet 1111()()LkkjkjqLjkjkjkjLkjkknetEEOnetOEOnetO 又有 故 有 那么可得 參與樣本標號，可寫為 (1)jjjjOOOnet1(1)LjjjkjkkOO 1()MijiiiijjijnOetO1(1)()LijjjkjkiijkijEOOOO pjkpjpkOpijpipjOBP算法的幾個問題：算法的幾個問題： 權(quán)值初值應(yīng)設(shè)為較小權(quán)值初值應(yīng)設(shè)為較小的隨機數(shù)的隨機數(shù) 采用采用s型激發(fā)函數(shù)時，型激發(fā)函數(shù)時，期望輸出不能設(shè)為期望輸出不能設(shè)為1或或0, 應(yīng)應(yīng)設(shè)為設(shè)為0.9或或0.1 學(xué)習(xí)速率在開場時可學(xué)習(xí)速率在開場時可取大值，后期取小值。取大值，后期取小

7、值。nBP算法直觀解釋：算法直觀解釋：n 情況不斷觀表達情況不斷觀表達n 當誤差對權(quán)值的偏當誤差對權(quán)值的偏n導(dǎo)數(shù)大于零時，權(quán)值導(dǎo)數(shù)大于零時，權(quán)值n調(diào)整量為負，實踐輸調(diào)整量為負，實踐輸n出大于期望輸出，出大于期望輸出，n權(quán)值向減少方向調(diào)整，權(quán)值向減少方向調(diào)整，n使得實踐輸出與期望使得實踐輸出與期望n輸出的差減少。輸出的差減少。wijijEwE0，此時，此時wij0 BPBP算法直觀解釋算法直觀解釋 情況二直觀表達情況二直觀表達 當誤差對權(quán)值的偏導(dǎo)數(shù)當誤差對權(quán)值的偏導(dǎo)數(shù) 小于零時，權(quán)值調(diào)整量小于零時，權(quán)值調(diào)整量 為正，實踐輸出少于期為正，實踐輸出少于期 望輸出，權(quán)值向增大方望輸出，權(quán)值向增大方 向

8、調(diào)整，使得實踐輸出向調(diào)整，使得實踐輸出 與期望輸出的差減少。與期望輸出的差減少。ijEwE0wij例例 1. 對于以下圖所示雙輸入雙輸出神經(jīng)網(wǎng)絡(luò)，給定樣本對于以下圖所示雙輸入雙輸出神經(jīng)網(wǎng)絡(luò)，給定樣本X=1,3T D= =0.95,0.05T 求一步學(xué)習(xí)的結(jié)果。求一步學(xué)習(xí)的結(jié)果。(鼓勵函數(shù)鼓勵函數(shù) , 學(xué)習(xí)效率學(xué)習(xí)效率 1( )1xf xe1 BP網(wǎng)絡(luò)的優(yōu)點：網(wǎng)絡(luò)的優(yōu)點： 非線性映射才干。能學(xué)習(xí)和存貯大量輸入非線性映射才干。能學(xué)習(xí)和存貯大量輸入-輸出方式映輸出方式映射關(guān)系，而無需事先了解描畫這種映射關(guān)系的數(shù)學(xué)方射關(guān)系，而無需事先了解描畫這種映射關(guān)系的數(shù)學(xué)方程。只需能提供足夠多的樣本方式對供網(wǎng)絡(luò)進

9、展學(xué)習(xí)程。只需能提供足夠多的樣本方式對供網(wǎng)絡(luò)進展學(xué)習(xí)訓(xùn)練，它便能完成由訓(xùn)練，它便能完成由n維輸入空間到維輸入空間到m維輸出空間的非維輸出空間的非線性映射。線性映射。 泛化才干。當向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本數(shù)泛化才干。當向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種才干稱為泛化才干。射。這種才干稱為泛化才干。 容錯才干。輸入樣本中帶有較大的誤差甚至個別錯誤容錯才干。輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。 BP網(wǎng)絡(luò)的缺陷：網(wǎng)絡(luò)的缺陷： BP算法的學(xué)

10、習(xí)速度很慢算法的學(xué)習(xí)速度很慢 網(wǎng)絡(luò)訓(xùn)練失敗的能夠性較大網(wǎng)絡(luò)訓(xùn)練失敗的能夠性較大 難以處理運用問題的實例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛盾難以處理運用問題的實例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛盾 網(wǎng)絡(luò)構(gòu)造的選擇尚無一種一致而完好的實際指點，普網(wǎng)絡(luò)構(gòu)造的選擇尚無一種一致而完好的實際指點，普通只能由閱歷選定通只能由閱歷選定 新參與的樣本要影響已學(xué)習(xí)勝利的網(wǎng)絡(luò)，而且描寫每新參與的樣本要影響已學(xué)習(xí)勝利的網(wǎng)絡(luò)，而且描寫每個輸入樣本的特征的數(shù)目也必需一樣個輸入樣本的特征的數(shù)目也必需一樣 網(wǎng)絡(luò)的預(yù)測才干也稱泛化才干、推行才干與訓(xùn)練網(wǎng)絡(luò)的預(yù)測才干也稱泛化才干、推行才干與訓(xùn)練才干也稱逼近才干、學(xué)習(xí)才干的矛盾才干也稱逼近才干、學(xué)習(xí)才干的矛

11、盾 BP網(wǎng)絡(luò)的改良：網(wǎng)絡(luò)的改良： 添加添加“慣性項慣性項 采用動態(tài)步長采用動態(tài)步長 與其他全局搜索算法相結(jié)合與其他全局搜索算法相結(jié)合 模擬退火算法模擬退火算法 目前在神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中，基于梯度的算法都不能從目前在神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中，基于梯度的算法都不能從實際上保證收斂結(jié)果是全局最優(yōu)的實際上保證收斂結(jié)果是全局最優(yōu)的(1)( )jkkjjkwtOwt BP網(wǎng)絡(luò)訓(xùn)練步驟： 1獲取訓(xùn)練樣本集 獲取訓(xùn)練樣本集合是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的第一步，也是非常重要和關(guān)鍵的一步。它包括訓(xùn)練數(shù)據(jù)的搜集、分析、選擇和預(yù)處置等 2選擇網(wǎng)絡(luò)類型與構(gòu)造 神經(jīng)網(wǎng)絡(luò)的類型很多，需求根據(jù)義務(wù)的性質(zhì)和要求來選擇適宜的網(wǎng)絡(luò)類型。 3訓(xùn)練與測試

12、最后一步是利用獲取的訓(xùn)練樣本對網(wǎng)絡(luò)進展反復(fù)訓(xùn)練，直至得到適宜的映射結(jié)果。 BP網(wǎng)絡(luò)MATLAB實現(xiàn)函 數(shù) 名功 能newff()生成一個前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù) 例3.下表為某藥品的銷售情況，現(xiàn)構(gòu)建一個如下的三層BP神經(jīng)網(wǎng)絡(luò)對藥品的銷售進展預(yù)測：輸入層有三個結(jié)點，隱含層結(jié)點數(shù)為5. 利用此網(wǎng)絡(luò)對藥品的銷售量進展預(yù)測，預(yù)測方法采用滾動預(yù)測方式，即用前三個月的銷售量來預(yù)測第四個月的銷售量，如用1、2、3月的銷售量為輸入預(yù)測第4個月的銷售量，用2、3、4月

13、的銷售量為輸入預(yù)測第5個月的銷售量.如此反復(fù)直至滿足預(yù)測精度要求為止。 月份123456銷量205623952600229816341600月份789101112銷量187314781900150020461556 %以每三個月的銷售量經(jīng)歸一化處置后作為輸入P=0.51520.81731.0000 ; 0.81731.00000.7308; 1.00000.73080.0; 0.73080.00.1087; 0.00.10870.3520; 0.10870.35200.0000;%以第四個月的銷售量歸一化處置后作為目的向量T=0.7308 0.0 0.1087 0.3520 0.0000 0.

14、3761;%創(chuàng)建一個BP神經(jīng)網(wǎng)絡(luò)，每一個輸入向量的取值范圍為0 ,1，隱含層有5個神經(jīng)%元，輸出層有一個神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活函數(shù)為%logsig，訓(xùn)練函數(shù)為梯度下降函數(shù)，即規(guī)范學(xué)習(xí)算法net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net.trainParam.epochs=15000;net.trainParam.goal=0.01;%設(shè)置學(xué)習(xí)速率為0.1LP.lr=0.1;net=train(net,P,T); 由對比圖可以看出預(yù)測效果與實踐存在一定誤差，此誤差可以經(jīng)過添加運轉(zhuǎn)步數(shù)和提高預(yù)設(shè)誤差精度業(yè)進一步減少