人工神經網(wǎng)絡 第3章 多層前向網(wǎng)絡及BP學習算法

1、合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ Artificial Neural NetworkArtificial Neural Network 人工神經網(wǎng)絡人工神經網(wǎng)絡 協(xié)協(xié) 同同 形形 成成 結結 構構 競競 爭爭 促促 進進 發(fā)發(fā) 展展 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 第第3章章 多層前向網(wǎng)絡及多層前向網(wǎng)絡及BP學習算法學習算法 n3.1多層感知器多層感知器 n3.2

2、 BP學習算法學習算法 n3.3 徑向基網(wǎng)絡徑向基網(wǎng)絡 n3.4 仿真實例仿真實例 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 3.1多層感知器多層感知器 n單層感知器只能解決線性可分的分類問題，單層感知器只能解決線性可分的分類問題， 要增強網(wǎng)絡的分類能力唯一的方法是采用要增強網(wǎng)絡的分類能力唯一的方法是采用 多層網(wǎng)絡，即在輸入與輸出層之間加上隱多層網(wǎng)絡，即在輸入與輸出層之間加上隱 含層，從而構成多層感知器（含層，從而構成多層感知器（Multilayer Perceptrons，MLP）。）

3、。這種由輸入層、這種由輸入層、 隱含層（一層或者多層）和輸出層構成的隱含層（一層或者多層）和輸出層構成的 神經網(wǎng)絡稱為多層前向神經網(wǎng)絡。神經網(wǎng)絡稱為多層前向神經網(wǎng)絡。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 多層感知器多層感知器 n多層前向神經網(wǎng)絡輸入層中的每個源節(jié)點的激多層前向神經網(wǎng)絡輸入層中的每個源節(jié)點的激 勵模式（輸入向量）單元組成了應用于第二層勵模式（輸入向量）單元組成了應用于第二層 （如第一隱層）中神經元（計算節(jié)點）的輸入（如第一隱層）中神經元（計算節(jié)點）的輸入 信號，第二層

4、輸出信號成為第三層的輸入，其信號，第二層輸出信號成為第三層的輸入，其 余層類似。網(wǎng)絡每一層的神經元只含有作為它余層類似。網(wǎng)絡每一層的神經元只含有作為它 們輸入前一層的輸出信號，網(wǎng)絡輸出層（終止們輸入前一層的輸出信號，網(wǎng)絡輸出層（終止 層）神經元的輸出信號組成了對網(wǎng)絡中輸入層層）神經元的輸出信號組成了對網(wǎng)絡中輸入層 （起始層）源節(jié)點產生的激勵模式的全部響應。（起始層）源節(jié)點產生的激勵模式的全部響應。 即信號從輸入層輸入，經隱層傳給輸出層，由即信號從輸入層輸入，經隱層傳給輸出層，由 輸出層得到輸出信號。輸出層得到輸出信號。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研

5、究室圖像信息處理研究室 Tel:2901393 Email: http:/ 多層感知器多層感知器 輸入層 隱層輸出層 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 多層感知器多層感知器 n多層感知器同單層感知器相比具有四個明顯的特點：多層感知器同單層感知器相比具有四個明顯的特點： （1）除了輸入輸出層，多層感知器含有一層或多層隱）除了輸入輸出層，多層感知器含有一層或多層隱 單元，隱單元從輸入模式中提取更多有用的信息，單元，隱單元從輸入模式中提取更多有用的信息， 使網(wǎng)絡可以完成更復雜的任務。使

6、網(wǎng)絡可以完成更復雜的任務。 （2）多層感知器中每個神經元的激勵函數(shù)是可微的）多層感知器中每個神經元的激勵函數(shù)是可微的 Sigmoid函數(shù)，如：函數(shù)，如： )exp(1 1 i i u v 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 多層感知器多層感知器 （3）多層感知器的多個突觸使得網(wǎng)絡更具連通性，）多層感知器的多個突觸使得網(wǎng)絡更具連通性， 連接域的變化或連接權值的變化都會引起連通性的連接域的變化或連接權值的變化都會引起連通性的 變化。變化。 （4）多層感知器具有獨特的學習算法，該學習算法

7、）多層感知器具有獨特的學習算法，該學習算法 就是著名的就是著名的BP算法，所以多層感知器也常常被稱之算法，所以多層感知器也常常被稱之 為為BP網(wǎng)絡。網(wǎng)絡。 n 多層感知器所具有的這些特點，使得它具有強大多層感知器所具有的這些特點，使得它具有強大 的計算能力。多層感知器是目前應用最為廣泛的一的計算能力。多層感知器是目前應用最為廣泛的一 種神經網(wǎng)絡。種神經網(wǎng)絡。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 3.2 BP學習算法學習算法 n反向傳播算法反向傳播算法(Back-Propagatio

8、n algorithm, BP) nBP學習過程：學習過程： n（1）工作信號正向傳播：工作信號正向傳播：輸入信號從輸入層經隱單輸入信號從輸入層經隱單 元，傳向輸出層，在輸出端產生輸出信號，這是工元，傳向輸出層，在輸出端產生輸出信號，這是工 作信號的正向傳播。在信號的向前傳遞過程中網(wǎng)絡作信號的正向傳播。在信號的向前傳遞過程中網(wǎng)絡 的權值是固定不變的，每一層神經元的狀態(tài)只影響的權值是固定不變的，每一層神經元的狀態(tài)只影響 下一層神經元的狀態(tài)。如果在輸出層不能得到期望下一層神經元的狀態(tài)。如果在輸出層不能得到期望 的輸出，則轉入誤差信號反向傳播。的輸出，則轉入誤差信號反向傳播。 合肥工業(yè)大學合肥工業(yè)大

9、學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ BP學習算法學習算法 （2）誤差信號反向傳播：誤差信號反向傳播：網(wǎng)絡的實際輸出與期望輸網(wǎng)絡的實際輸出與期望輸 出之間差值即為誤差信號，誤差信號由輸出端開始出之間差值即為誤差信號，誤差信號由輸出端開始 逐層向后傳播，這是誤差信號的反向傳播。在誤差逐層向后傳播，這是誤差信號的反向傳播。在誤差 信號反向傳播的過程中，信號反向傳播的過程中，網(wǎng)絡的網(wǎng)絡的權值由誤差反饋進權值由誤差反饋進 行調節(jié)。通過權值的不斷修正使網(wǎng)絡的實際輸出更行調節(jié)。通過權值的不斷修正使網(wǎng)絡的實際輸出更 接

10、近期望輸出。接近期望輸出。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 工作信號 誤差信號 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 1 x 2 x m x M x mi w ij w jp w 1 y 2 y p y P y ), 2 , 1 (Ii), 2 , 1 (Jj 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2

11、901393 Email: http:/ 神經元的輸入用神經元的輸入用u表示，激勵輸出用表示，激勵輸出用v表示，表示，u, v的上的上 標表示層，下標表示層中的某個神經元，如標表示層，下標表示層中的某個神經元，如 表示表示I 層（即第層（即第1隱層）的第隱層）的第i個神經元的輸入。設所有的個神經元的輸入。設所有的 神經元的激勵函數(shù)均用神經元的激勵函數(shù)均用Sigmoid函數(shù)。函數(shù)。設訓練樣本集設訓練樣本集 為為X=X1,X2,Xk，,XN，對應任一訓練樣本對應任一訓練樣本: Xk= xk1,xk2, kMT，（，（k=1,2,N）的實際輸出為的實際輸出為: Yk= yk1, yk2,ykPT，期

12、望輸出為期望輸出為dk= dk1,dk2, dkPT。 設設n為迭代次數(shù)，權值和實際輸出是為迭代次數(shù)，權值和實際輸出是n的函數(shù)。的函數(shù)。 I i u 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 工作信號的正向傳播過程：工作信號的正向傳播過程： M m kmmi I i xwu 1 )( 1 M m kmmi I i xwfv I i I iij J j vwu 1 )( 1 I i I iij J j vwfv J 1j J jjp P p vwu )( 1 J j J jjp P p v

13、wfv )()( 1 J j J jjp P p P pkp vwfufvy 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 輸出層第輸出層第p個神經元的個神經元的誤差信號誤差信號為：為： )()()(nyndne kpkpkp 定義神經元定義神經元p的誤差能量為：的誤差能量為： 則輸出層所有神經元的誤差能量總和為：則輸出層所有神經元的誤差能量總和為： )( 2 1 2 nekp P p kp nenE 1 2 )( 2 1 )( 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖

14、像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 誤差信號的反向傳播過程：誤差信號的反向傳播過程： （1）隱層）隱層J與輸出層與輸出層P之間的權值修正量之間的權值修正量 )( )( )( nw nE nw jp jp )( )( )( )( )( )( )( )( )( )( nw nu nu ny ny ne ne nE nw nE jp P p P p kp kp kp kpjp )()()( )( )( nvnufne nw nE J j P pkp jp 因為：因為： 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖

15、像信息處理研究室 Tel:2901393 Email: http:/ )( )( )( ne ne nE kp kp 1 )( )( ny ne kp kp )( )( )( nuf nu ny P p P p kp )( )( )( nv nw nu J j jp P p 設局部梯度設局部梯度： )( )( )( nu nE n P p P p )()( nenuf kp P p 當激勵函數(shù)為當激勵函數(shù)為S型函數(shù)型函數(shù)時有：時有： )(1)()(1)( )( )( )(nynynvnv nu nv nuf kpkp P p P p P p P p P p 合肥工業(yè)大學合肥工業(yè)大學 計算機與信

16、息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ )()(1)()(nenynyn kpkpkp P p )()()(1)(nyndnyny kppkpkp )( )( )( nw nE nw jp jp )( )( ) )( )( ( nw nu nu nE jp P p P p )()(nvn J j P p )()() 1(nwnwnw jpjpjp 可求得：可求得： 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ （2）隱

17、層）隱層I與隱層與隱層J之間的權值修正量：之間的權值修正量： )( )( )( )( )( )( nw nu nu nE nw nE ij J j J jij )( )( )( nv nu nE I i J j 設局部梯度為：設局部梯度為： )( )( )( nu nE n J j J j )( )( )( )( nu nv nv nE J j J j J j )( )( )( nuf nu nv J j J j J j P p kp nenE 1 2 )( 2 1 )( P p J j kp kp J j nv ne ne nv nE 1 )( )( )( )( )( P p J j P p

18、 P p kp kp nv nu nu ne ne 1 )( )( )( )( )( 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ )()()()()(nufndnyndne P pkpkpkpkp )( )( )( nuf nu ne P p P p kp )( )( )( nw nv nu jp J j P p )()()( )( )( 1 nwnufne nv nE jp P p P p kp J j P p jp P pkp J j J j nwnufnenufn 1 )()()()

19、()( P p jp P p J j J j nwnnufn 1 )()()()( )()()(nvnnw I i J jij 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ （3）與隱層）與隱層I和隱層和隱層J之間的權值修正量推導之間的權值修正量推導 方法相同，輸入層方法相同，輸入層M上任一節(jié)點與隱層上任一節(jié)點與隱層I上任上任 一節(jié)點之間權值的修正量為：一節(jié)點之間權值的修正量為： )()()(nxnnw km I imi 其中：其中： J j ij J j I i I i nwnnufn 1

20、 )()()()( 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ BP學習算法步驟學習算法步驟 n第一步：設置變量和參量第一步：設置變量和參量 n第二步：初始化，賦給第二步：初始化，賦給WMI (0), WIJ (0), WJP (0),各一各一 個較小的隨機非零值個較小的隨機非零值 n第三步：隨機輸入樣本第三步：隨機輸入樣本Xk ，n=0。 n第四步：第四步：對輸入樣本對輸入樣本Xk ，前向計算前向計算BP網(wǎng)絡每層神經網(wǎng)絡每層神經 元的輸入信號元的輸入信號u和輸出信號和輸出信號v n第五步

21、：由期望輸出第五步：由期望輸出dk和上一步求得的實際輸出和上一步求得的實際輸出 Yk (n)計算誤差計算誤差E(n)，判斷其是否滿足要求，若滿足判斷其是否滿足要求，若滿足 轉至第八步；不滿足轉至第六步。轉至第八步；不滿足轉至第六步。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ BP學習算法步驟（續(xù)）學習算法步驟（續(xù)） n第六步：判斷第六步：判斷n+1是否大于最大迭代次數(shù)，若大于轉是否大于最大迭代次數(shù)，若大于轉 至第八步，若不大于，對輸入樣本至第八步，若不大于，對輸入樣本Xk ，反向計算每反

22、向計算每 層神經元的局部梯度層神經元的局部梯度 n第七步：計算權值修正量，修正權值；第七步：計算權值修正量，修正權值；n=n+1，轉至轉至 第四步第四步 n第八步：判斷是否學完所有的訓練樣本，是則結束，第八步：判斷是否學完所有的訓練樣本，是則結束， 否則轉至第三步。否則轉至第三步。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ BP學習，需要注意幾點：學習，需要注意幾點： n BP學習時權值的初始值是很重要的。初始值過大，學習時權值的初始值是很重要的。初始值過大， 過小都會影響學習速度，因此

23、權值的初始值應選為過小都會影響學習速度，因此權值的初始值應選為 均勻分布的小數(shù)經驗值，大概為（均勻分布的小數(shù)經驗值，大概為（2.4/F，2.4/F） 之間（也有人建議在之間（也有人建議在 之間），其之間），其 中中F為所連單元的輸入端個數(shù)。另外，為避免每一步為所連單元的輸入端個數(shù)。另外，為避免每一步 權值的調整方向是同向的（即權值同時增加或同時權值的調整方向是同向的（即權值同時增加或同時 減少），應將初始權值設為隨機數(shù)。減少），應將初始權值設為隨機數(shù)。 )/3 ,/3(FF 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393

24、 Email: http:/ n 神經元的激勵函數(shù)是神經元的激勵函數(shù)是Sigmoid函數(shù)，如果函數(shù)，如果Sigmoid 函數(shù)的漸進值為函數(shù)的漸進值為+和和，則期望輸出只能趨于則期望輸出只能趨于+和和 ，而不能達到而不能達到+和和。為避免學習算法不收斂，為避免學習算法不收斂， 提高學習速度，應設提高學習速度，應設期望輸出為相應的小數(shù)，如期望輸出為相應的小數(shù)，如邏邏 輯函數(shù)其漸進值為輯函數(shù)其漸進值為1和和0，此時應設，此時應設相應的期望輸出相應的期望輸出 為為0.99和和0.01等小數(shù)，而不應等小數(shù)，而不應設為設為1和和0。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理

25、研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n 用用BP算法訓練網(wǎng)絡時有兩種方式，一種是算法訓練網(wǎng)絡時有兩種方式，一種是順序方順序方 式式，即每輸入一個訓練樣本修改一次權值；以上給出，即每輸入一個訓練樣本修改一次權值；以上給出 的的BP算法步驟就是按順序方式訓練網(wǎng)絡的。另一種是算法步驟就是按順序方式訓練網(wǎng)絡的。另一種是 批處理方式批處理方式，即待組成一個訓練周期的全部樣本都一，即待組成一個訓練周期的全部樣本都一 次輸入網(wǎng)絡后，以總的平均誤差能量次輸入網(wǎng)絡后，以總的平均誤差能量Eav為學習目標函為學習目標函 數(shù)修正權值的訓練方式。數(shù)修正權值的訓練方式。 nekp

26、為網(wǎng)絡輸入第為網(wǎng)絡輸入第k個訓練樣本時輸出神經元個訓練樣本時輸出神經元p的誤差，的誤差， N為訓練樣本的個數(shù)。為訓練樣本的個數(shù)。 N k N k P p kpkav e N E N E 111 2 2 11 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n BP學習中，學習步長學習中，學習步長的選擇比較重要。的選擇比較重要。值大權值大權 值的變化就大，則值的變化就大，則BP學習的收斂速度就快，但是學習的收斂速度就快，但是值值 過大會引起振蕩即網(wǎng)絡不穩(wěn)定；過大會引起振蕩即網(wǎng)絡不穩(wěn)定；小可以避免

27、網(wǎng)絡不穩(wěn)小可以避免網(wǎng)絡不穩(wěn) 定，但是收斂速度就慢了。要解決這一矛盾最簡單的定，但是收斂速度就慢了。要解決這一矛盾最簡單的 方法是加入方法是加入“動量項動量項” 。 n 要計算多層感知器的局部梯度要計算多層感知器的局部梯度，需要知道神經元需要知道神經元 的激勵函數(shù)的導數(shù)。的激勵函數(shù)的導數(shù)。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n 在在BP算法第五步需要判斷誤差算法第五步需要判斷誤差E(n)是否滿足要求，是否滿足要求， 這里的要求是：對順序方式，誤差小于我們設定的這里的要求是：對順序方

28、式，誤差小于我們設定的 值值，即即|E(n)|； 對批處理方式，每個訓練周期的對批處理方式，每個訓練周期的 平均誤差平均誤差Eav其變化量在其變化量在0.1%到到1%之間，我們就認之間，我們就認 為誤差滿足要求了。為誤差滿足要求了。 n 在分類問題中，我們會碰到屬于同一類的訓練樣在分類問題中，我們會碰到屬于同一類的訓練樣 本有幾組，在第一步設置變量時，一般使同一類的本有幾組，在第一步設置變量時，一般使同一類的 訓練樣本其期望輸出相同。訓練樣本其期望輸出相同。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email:

29、http:/ BP學習算法的改進學習算法的改進 n在實際應用中在實際應用中BP算法存在兩個重要問題：收斂速度算法存在兩個重要問題：收斂速度 慢，目標函數(shù)存在局部極小點。慢，目標函數(shù)存在局部極小點。 n改善改善BP算法的一些主要的措施：算法的一些主要的措施： （1） 加入動量項加入動量項 )()() 1()(nvnnwnw ijijij n t ij tn ij tw tE nw 0 )( )( )( 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n本次修正量本次修正量wij (n)是一系列加

30、權指數(shù)序列的和。當是一系列加權指數(shù)序列的和。當 動量常數(shù)滿足動量常數(shù)滿足 ，序列收斂，當，序列收斂，當 上上 式不含動量項。式不含動量項。 n 當本次的當本次的 與前一次同符號時，其加權與前一次同符號時，其加權 求和值增大，使求和值增大，使wij (n)較大，從而在穩(wěn)定調節(jié)時加較大，從而在穩(wěn)定調節(jié)時加 快了快了w的調節(jié)速度。的調節(jié)速度。 n當當 與前次符號相反時，指數(shù)加權求和與前次符號相反時，指數(shù)加權求和 結果使結果使w wij ij ( (n n) )減小了，起到了穩(wěn)定作用。減小了，起到了穩(wěn)定作用。 )()(twtE ij 1|00 )()(twtE ij 合肥工業(yè)大學合肥工業(yè)大學 計算機與

31、信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n(2) 盡可能使用順序方式訓練網(wǎng)絡盡可能使用順序方式訓練網(wǎng)絡。順序方式訓練。順序方式訓練 網(wǎng)絡要比批處理方式更快，特別是在訓練樣本集網(wǎng)絡要比批處理方式更快，特別是在訓練樣本集 很大，而且具有重復樣本時，順序方式的這一優(yōu)很大，而且具有重復樣本時，順序方式的這一優(yōu) 點更為突出。值得一提的是，使用順序方式訓練點更為突出。值得一提的是，使用順序方式訓練 網(wǎng)絡以解決模式分類問題時，要求每一周期的訓網(wǎng)絡以解決模式分類問題時，要求每一周期的訓 練樣本其輸入順序是隨機的，這樣做是為了盡可練樣本

32、其輸入順序是隨機的，這樣做是為了盡可 能使連續(xù)輸入的樣本不屬于同一類。能使連續(xù)輸入的樣本不屬于同一類。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n(3) 選用反對稱函數(shù)作激勵函數(shù)選用反對稱函數(shù)作激勵函數(shù)。當激勵函數(shù)為反對。當激勵函數(shù)為反對 稱函數(shù)（即稱函數(shù)（即f (u) = f (u)）時，時，BP算法的學習速度算法的學習速度 要快些。最常用的反對稱函數(shù)是雙曲正切函數(shù)：要快些。最常用的反對稱函數(shù)是雙曲正切函數(shù)： n一般取，一般取， a bu a bu bu abuauf )exp(1

33、2 )exp(1 )exp(1 )tanh()( 7159. 1a 3 2 b 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n(4) 規(guī)一化輸入信號規(guī)一化輸入信號。當所有訓練樣本的輸入信號。當所有訓練樣本的輸入信號 都為正值時，與第一隱層神經元相連的權值只能同都為正值時，與第一隱層神經元相連的權值只能同 時增加或同時減小，從而導致學習速度很慢

34、。為避時增加或同時減小，從而導致學習速度很慢。為避 免出現(xiàn)這種情況，加快網(wǎng)絡的學習速度，可以對輸免出現(xiàn)這種情況，加快網(wǎng)絡的學習速度，可以對輸 入信號進行歸一化，使得所有樣本的輸入信號其均入信號進行歸一化，使得所有樣本的輸入信號其均 值接近零或與其標準方差相比非常小。值接近零或與其標準方差相比非常小。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 1 x 2 x 1 x 2 x 2 x 2 x 1 x 1 x 均值平移 去 相 關 協(xié)方差均衡 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與

35、信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ (5) 充分利用先驗信息充分利用先驗信息。樣本訓練網(wǎng)絡的目的為了獲得。樣本訓練網(wǎng)絡的目的為了獲得 未知的輸入輸出函數(shù)未知的輸入輸出函數(shù)，學習就是找出樣本中含有的，學習就是找出樣本中含有的 有關的信息，從而推斷出逼近的函數(shù)。在學習過程有關的信息，從而推斷出逼近的函數(shù)。在學習過程 中可以利用的先驗知識例如方差、對稱性等有關的中可以利用的先驗知識例如方差、對稱性等有關的 信息，從而加快學習速度、改善逼近效果。信息，從而加快學習速度、改善逼近效果。 (6) 調整學習步長調整學習步長使網(wǎng)絡中各神經元的學習

36、速度相差使網(wǎng)絡中各神經元的學習速度相差 不多。一般說來輸出單元的局部梯度比輸入端的大，不多。一般說來輸出單元的局部梯度比輸入端的大， 可使前者的步長可使前者的步長小些。還有，有較多輸入端的神小些。還有，有較多輸入端的神 經元其經元其比有較少輸入端的神經元其比有較少輸入端的神經元其小些。小些。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 3.3 徑向基網(wǎng)絡徑向基網(wǎng)絡 n1985年，年，Powell提出了多變量插值的徑向基函數(shù)提出了多變量插值的徑向基函數(shù) （Radial-Basis Funct

37、ion, RBF）方法。方法。1988年，年， Broomhead和和Lowe首先將首先將RBF應用于神經網(wǎng)絡設計，應用于神經網(wǎng)絡設計， 構成了徑向基函數(shù)神經網(wǎng)絡，即構成了徑向基函數(shù)神經網(wǎng)絡，即RBF神經網(wǎng)絡。神經網(wǎng)絡。 n結構上結構上看，看，RBF神經網(wǎng)絡屬于多層前向神經網(wǎng)絡。神經網(wǎng)絡屬于多層前向神經網(wǎng)絡。 它是一種三層前向網(wǎng)絡，輸入層由信號源節(jié)點組成；它是一種三層前向網(wǎng)絡，輸入層由信號源節(jié)點組成； 第二層為隱含層，隱單元的個數(shù)由所描述的問題而第二層為隱含層，隱單元的個數(shù)由所描述的問題而 定，隱單元的變換函數(shù)是對中心點徑向對稱且衰減定，隱單元的變換函數(shù)是對中心點徑向對稱且衰減 的非負非線性函

38、數(shù)；第三層為輸出層，它對輸入模的非負非線性函數(shù)；第三層為輸出層，它對輸入模 式的作用做出響應。式的作用做出響應。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 徑向基網(wǎng)絡徑向基網(wǎng)絡 nRBF神經網(wǎng)絡的基本思想是：用徑向基函數(shù)（神經網(wǎng)絡的基本思想是：用徑向基函數(shù)（RBF） 作為隱單元的作為隱單元的“基基”，構成隱含層空間，隱含層對，構成隱含層空間，隱含層對 輸入矢量進行變換，將低維的模式輸入數(shù)據(jù)變換到輸入矢量進行變換，將低維的模式輸入數(shù)據(jù)變換到 高維空間內，通過對隱單元輸出的加權求和得到輸高維

39、空間內，通過對隱單元輸出的加權求和得到輸 出。出。 nRBF神經網(wǎng)絡結構簡單、訓練簡潔而且學習收斂速神經網(wǎng)絡結構簡單、訓練簡潔而且學習收斂速 度快，能夠逼近任意非線性函數(shù)。因此度快，能夠逼近任意非線性函數(shù)。因此RBF網(wǎng)絡有網(wǎng)絡有 較為廣泛的應用。如時間序列分析，模式識別，非較為廣泛的應用。如時間序列分析，模式識別，非 線性控制和圖像處理等。線性控制和圖像處理等。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 3.3.1 RBF神經網(wǎng)絡模型神經網(wǎng)絡模型 nRBF網(wǎng)絡是單隱層的前向網(wǎng)絡，它由三層

40、構成：第網(wǎng)絡是單隱層的前向網(wǎng)絡，它由三層構成：第 一層是輸入層，第二層是隱含層，第三層是輸出層。一層是輸入層，第二層是隱含層，第三層是輸出層。 根據(jù)隱單元的個數(shù)，根據(jù)隱單元的個數(shù)，RBF網(wǎng)絡有兩種模型：正規(guī)化網(wǎng)絡有兩種模型：正規(guī)化 網(wǎng)絡（網(wǎng)絡（Regularization Network）和廣義網(wǎng)絡和廣義網(wǎng)絡 （Generalized Network）。）。 （1）正規(guī)化網(wǎng)絡）正規(guī)化網(wǎng)絡 正規(guī)化網(wǎng)絡的隱單元就是訓練樣本，所以正規(guī)化正規(guī)化網(wǎng)絡的隱單元就是訓練樣本，所以正規(guī)化 網(wǎng)絡其隠單元的個數(shù)與訓練樣本的個數(shù)相同。網(wǎng)絡其隠單元的個數(shù)與訓練樣本的個數(shù)相同。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學

41、院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 1 x 輸入層 N個基函數(shù) 的隱含層 輸出層 m x M x 1 i N 11 w j w 1 J w 1 1 i w ij w iJ w NJ w Nj w 1N w 1 y j y J y 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n當網(wǎng)絡輸入訓練樣本當網(wǎng)絡輸入訓練樣本Xk時，網(wǎng)絡第時，網(wǎng)絡第j個輸出神經元的個輸出神經元的 實際輸出為：實際輸出為： n一般一般“基函數(shù)基函數(shù)”

42、選為格林函數(shù)記為：選為格林函數(shù)記為： n當格林函數(shù)當格林函數(shù)G(Xk , Xi)為高斯函數(shù)時：為高斯函數(shù)時： ),()( 1 ik N i ijkkj XXwXy ),(),( ikik XXGXX |)(|),( ikik XXGXXG M m imkm i xx 1 2 2 )( 2 1 exp 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ （2）廣義網(wǎng)絡）廣義網(wǎng)絡 n正規(guī)化網(wǎng)絡的訓練樣本正規(guī)化網(wǎng)絡的訓練樣本Xi與與“基函數(shù)基函數(shù)” (Xk , Xi)是是 一一對應的，當一一對應的，當N

43、很大時，網(wǎng)絡的實現(xiàn)復雜，且在很大時，網(wǎng)絡的實現(xiàn)復雜，且在 求 解 網(wǎng) 絡 的 權 值 時 容 易 產 生 病 態(tài) 問 題 （求 解 網(wǎng) 絡 的 權 值 時 容 易 產 生 病 態(tài) 問 題 （ i l l conditioning）。）。解決這一問題的方法是減少隱層神解決這一問題的方法是減少隱層神 經元的個數(shù)。經元的個數(shù)。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 1 x 輸入層隱含層輸出層 m x M x 1 i I 1 0 1 y j y J y 隱層個數(shù)小于訓練樣本數(shù)隱層個數(shù)小于訓練

44、樣本數(shù) 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 當網(wǎng)絡輸入訓練樣本當網(wǎng)絡輸入訓練樣本Xk時，網(wǎng)絡第時，網(wǎng)絡第j個輸出神經元的個輸出神經元的 實際輸出為：實際輸出為： ),()( 1 0ik I i ijjkkj XwwXyt 當當“基函數(shù)基函數(shù)”為高斯函數(shù)時：為高斯函數(shù)時： |)(|),( ikik XGXtt M m imkm i x 1 2 2 )( 2 1 expt 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901

45、393 Email: http:/ 3.3.2 RBF網(wǎng)絡的學習算法網(wǎng)絡的學習算法 nRBF網(wǎng)絡要學習的參數(shù)有三個：網(wǎng)絡要學習的參數(shù)有三個：中心中心、方差方差和和權值權值。 根據(jù)徑向基函數(shù)中心選取方法的不同，根據(jù)徑向基函數(shù)中心選取方法的不同，RBF網(wǎng)絡有網(wǎng)絡有 多種學習方法，其中最常用的多種學習方法，其中最常用的四四種學習方法有：隨種學習方法有：隨 機選取中心法，機選取中心法，自組織選取中心法自組織選取中心法，有監(jiān)督選取中有監(jiān)督選取中 心法心法和和正交最小二乘法正交最小二乘法。 n自組織選取中心法由兩個階段構成：自組織選取中心法由兩個階段構成： 自組織學習階段，即學習隱層基函數(shù)的中心與方差自組

46、織學習階段，即學習隱層基函數(shù)的中心與方差 的階段。的階段。 有監(jiān)督學習階段，即學習輸出層權值的階段。有監(jiān)督學習階段，即學習輸出層權值的階段。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ （1）學習中心）學習中心 n自組織學習過程要用到聚類算法，常用的聚類算法自組織學習過程要用到聚類算法，常用的聚類算法 是是K均值聚類算法。假設聚類中心有均值聚類算法。假設聚類中心有I個（個（I的值由的值由 先驗知識決定），設先驗知識決定），設ti (n)（i=1,2,I）是第是第n次迭代次迭代 時基函數(shù)的中

47、心，時基函數(shù)的中心，K均值聚類算法具體步驟如下：均值聚類算法具體步驟如下： n第一步：第一步：初始化聚類中心初始化聚類中心，即根據(jù)經驗從訓練樣本，即根據(jù)經驗從訓練樣本 集中隨機選取集中隨機選取I個不同的樣本作為初始中心個不同的樣本作為初始中心ti (0) （i=1, ,2, , ,I）。）。 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n第二步：第二步：隨機輸入訓練樣本隨機輸入訓練樣本Xk。 n第三步：第三步：尋找訓練樣本尋找訓練樣本Xk離哪個中心最近，即找到離哪個中心最近，即找到 i (

48、Xk)使其滿足使其滿足 n第四步第四步：調整基函數(shù)的中心。調整基函數(shù)的中心。 n第五步：第五步：n=n+1轉到第二步，直到學完所有的訓練轉到第二步，直到學完所有的訓練 樣本且中心的分布不再變化。樣本且中心的分布不再變化。 |)(|minarg)(nXXi ik i k t 其他)( )()()()( ) 1( n XiinnXn n i kiki i t tt t 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ （2）確定方差）確定方差 n當當RBF選用高斯函數(shù)，即：選用高斯函數(shù)，即： n方差

49、為方差為： nI為隱單元的個數(shù)，為隱單元的個數(shù)，dmax為所選取中心之間的最大距為所選取中心之間的最大距 離。離。 I i i ik ik X XG 1 2 | 2 1 exp|)(| t t I d I 2 max 21 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ （3）學習權值）學習權值 n權值的學習可以用權值的學習可以用LMS方法，也可以直接用偽逆的方法，也可以直接用偽逆的 方法求解，即：方法求解，即： n式中式中D=d1, , dk, , dNT是期望響應，是期望響應，G+是矩陣是

50、矩陣G 的偽逆的偽逆 DGW TT GGGG 1 )( ki gG 2 2 max |exp ikki X d I gt Nk, 2 , 1Ii, 2 , 1 合肥工業(yè)大學合肥工業(yè)大學 計算機與信息學院計算機與信息學院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 需注意幾點：需注意幾點： K均值聚類算法的終止條件是網(wǎng)絡學完所有的訓均值聚類算法的終止條件是網(wǎng)絡學完所有的訓 練樣本且中心的分布不再變化。在實際應用中只要練樣本且中心的分布不再變化。在實際應用中只要 前后兩次中心的變化小于預先設定的前后兩次中心的變化小于預先設定的值值即即|ti (n+1)-ti (n)|（i=1,2,I），），就認為中心的分布不再變化了。就認為中心的分布不再變化了。 “基函數(shù)基函數(shù)” (X , Xi) 除了選用高斯函數(shù)外也可使用除了選用高斯函數(shù)外也可使用 多二次函數(shù)和逆多二次函數(shù)等中心點徑向對稱的函多二次函數(shù)和逆多二次函數(shù)等中心點徑向對稱的函 數(shù)。數(shù)。 2/122 )()(crr) 2 exp()( 2 2 r r 合肥工業(yè)