人工神經(jīng)網(wǎng)絡(luò) 第3章 多層前向網(wǎng)絡(luò)及BP學(xué)習(xí)算法

1、合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ Artificial Neural NetworkArtificial Neural Network 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) 協(xié)協(xié) 同同 形形 成成 結(jié)結(jié) 構(gòu)構(gòu) 競競 爭爭 促促 進(jìn)進(jìn) 發(fā)發(fā) 展展 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 第第3章章 多層前向網(wǎng)絡(luò)及多層前向網(wǎng)絡(luò)及BP學(xué)習(xí)算法學(xué)習(xí)算法 n3.1多層感知器多層感知器 n3.2

2、 BP學(xué)習(xí)算法學(xué)習(xí)算法 n3.3 徑向基網(wǎng)絡(luò)徑向基網(wǎng)絡(luò) n3.4 仿真實(shí)例仿真實(shí)例 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 3.1多層感知器多層感知器 n單層感知器只能解決線性可分的分類問題，單層感知器只能解決線性可分的分類問題， 要增強(qiáng)網(wǎng)絡(luò)的分類能力唯一的方法是采用要增強(qiáng)網(wǎng)絡(luò)的分類能力唯一的方法是采用 多層網(wǎng)絡(luò)，即在輸入與輸出層之間加上隱多層網(wǎng)絡(luò)，即在輸入與輸出層之間加上隱 含層，從而構(gòu)成多層感知器（含層，從而構(gòu)成多層感知器（Multilayer Perceptrons，MLP）。）

3、。這種由輸入層、這種由輸入層、 隱含層（一層或者多層）和輸出層構(gòu)成的隱含層（一層或者多層）和輸出層構(gòu)成的 神經(jīng)網(wǎng)絡(luò)稱為多層前向神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)稱為多層前向神經(jīng)網(wǎng)絡(luò)。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 多層感知器多層感知器 n多層前向神經(jīng)網(wǎng)絡(luò)輸入層中的每個(gè)源節(jié)點(diǎn)的激多層前向神經(jīng)網(wǎng)絡(luò)輸入層中的每個(gè)源節(jié)點(diǎn)的激 勵(lì)模式（輸入向量）單元組成了應(yīng)用于第二層勵(lì)模式（輸入向量）單元組成了應(yīng)用于第二層 （如第一隱層）中神經(jīng)元（計(jì)算節(jié)點(diǎn)）的輸入（如第一隱層）中神經(jīng)元（計(jì)算節(jié)點(diǎn)）的輸入 信號，第二層

4、輸出信號成為第三層的輸入，其信號，第二層輸出信號成為第三層的輸入，其 余層類似。網(wǎng)絡(luò)每一層的神經(jīng)元只含有作為它余層類似。網(wǎng)絡(luò)每一層的神經(jīng)元只含有作為它 們輸入前一層的輸出信號，網(wǎng)絡(luò)輸出層（終止們輸入前一層的輸出信號，網(wǎng)絡(luò)輸出層（終止 層）神經(jīng)元的輸出信號組成了對網(wǎng)絡(luò)中輸入層層）神經(jīng)元的輸出信號組成了對網(wǎng)絡(luò)中輸入層 （起始層）源節(jié)點(diǎn)產(chǎn)生的激勵(lì)模式的全部響應(yīng)。（起始層）源節(jié)點(diǎn)產(chǎn)生的激勵(lì)模式的全部響應(yīng)。 即信號從輸入層輸入，經(jīng)隱層傳給輸出層，由即信號從輸入層輸入，經(jīng)隱層傳給輸出層，由 輸出層得到輸出信號。輸出層得到輸出信號。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研

5、究室圖像信息處理研究室 Tel:2901393 Email: http:/ 多層感知器多層感知器 輸入層 隱層輸出層 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 多層感知器多層感知器 n多層感知器同單層感知器相比具有四個(gè)明顯的特點(diǎn)：多層感知器同單層感知器相比具有四個(gè)明顯的特點(diǎn)： （1）除了輸入輸出層，多層感知器含有一層或多層隱）除了輸入輸出層，多層感知器含有一層或多層隱 單元，隱單元從輸入模式中提取更多有用的信息，單元，隱單元從輸入模式中提取更多有用的信息， 使網(wǎng)絡(luò)可以完成更復(fù)雜的任務(wù)。使

6、網(wǎng)絡(luò)可以完成更復(fù)雜的任務(wù)。 （2）多層感知器中每個(gè)神經(jīng)元的激勵(lì)函數(shù)是可微的）多層感知器中每個(gè)神經(jīng)元的激勵(lì)函數(shù)是可微的 Sigmoid函數(shù)，如：函數(shù)，如： )exp(1 1 i i u v 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 多層感知器多層感知器 （3）多層感知器的多個(gè)突觸使得網(wǎng)絡(luò)更具連通性，）多層感知器的多個(gè)突觸使得網(wǎng)絡(luò)更具連通性， 連接域的變化或連接權(quán)值的變化都會引起連通性的連接域的變化或連接權(quán)值的變化都會引起連通性的 變化。變化。 （4）多層感知器具有獨(dú)特的學(xué)習(xí)算法，該學(xué)習(xí)算法

7、）多層感知器具有獨(dú)特的學(xué)習(xí)算法，該學(xué)習(xí)算法 就是著名的就是著名的BP算法，所以多層感知器也常常被稱之算法，所以多層感知器也常常被稱之 為為BP網(wǎng)絡(luò)。網(wǎng)絡(luò)。 n 多層感知器所具有的這些特點(diǎn)，使得它具有強(qiáng)大多層感知器所具有的這些特點(diǎn)，使得它具有強(qiáng)大 的計(jì)算能力。多層感知器是目前應(yīng)用最為廣泛的一的計(jì)算能力。多層感知器是目前應(yīng)用最為廣泛的一 種神經(jīng)網(wǎng)絡(luò)。種神經(jīng)網(wǎng)絡(luò)。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 3.2 BP學(xué)習(xí)算法學(xué)習(xí)算法 n反向傳播算法反向傳播算法(Back-Propagatio

8、n algorithm, BP) nBP學(xué)習(xí)過程：學(xué)習(xí)過程： n（1）工作信號正向傳播：工作信號正向傳播：輸入信號從輸入層經(jīng)隱單輸入信號從輸入層經(jīng)隱單 元，傳向輸出層，在輸出端產(chǎn)生輸出信號，這是工元，傳向輸出層，在輸出端產(chǎn)生輸出信號，這是工 作信號的正向傳播。在信號的向前傳遞過程中網(wǎng)絡(luò)作信號的正向傳播。在信號的向前傳遞過程中網(wǎng)絡(luò) 的權(quán)值是固定不變的，每一層神經(jīng)元的狀態(tài)只影響的權(quán)值是固定不變的，每一層神經(jīng)元的狀態(tài)只影響 下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望 的輸出，則轉(zhuǎn)入誤差信號反向傳播。的輸出，則轉(zhuǎn)入誤差信號反向傳播。 合肥工業(yè)大學(xué)合肥工業(yè)大

9、學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ BP學(xué)習(xí)算法學(xué)習(xí)算法 （2）誤差信號反向傳播：誤差信號反向傳播：網(wǎng)絡(luò)的實(shí)際輸出與期望輸網(wǎng)絡(luò)的實(shí)際輸出與期望輸 出之間差值即為誤差信號，誤差信號由輸出端開始出之間差值即為誤差信號，誤差信號由輸出端開始 逐層向后傳播，這是誤差信號的反向傳播。在誤差逐層向后傳播，這是誤差信號的反向傳播。在誤差 信號反向傳播的過程中，信號反向傳播的過程中，網(wǎng)絡(luò)的網(wǎng)絡(luò)的權(quán)值由誤差反饋進(jìn)權(quán)值由誤差反饋進(jìn) 行調(diào)節(jié)。通過權(quán)值的不斷修正使網(wǎng)絡(luò)的實(shí)際輸出更行調(diào)節(jié)。通過權(quán)值的不斷修正使網(wǎng)絡(luò)的實(shí)際輸出更 接

10、近期望輸出。接近期望輸出。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 工作信號 誤差信號 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 1 x 2 x m x M x mi w ij w jp w 1 y 2 y p y P y ), 2 , 1 (Ii), 2 , 1 (Jj 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2

11、901393 Email: http:/ 神經(jīng)元的輸入用神經(jīng)元的輸入用u表示，激勵(lì)輸出用表示，激勵(lì)輸出用v表示，表示，u, v的上的上 標(biāo)表示層，下標(biāo)表示層中的某個(gè)神經(jīng)元，如標(biāo)表示層，下標(biāo)表示層中的某個(gè)神經(jīng)元，如 表示表示I 層（即第層（即第1隱層）的第隱層）的第i個(gè)神經(jīng)元的輸入。設(shè)所有的個(gè)神經(jīng)元的輸入。設(shè)所有的 神經(jīng)元的激勵(lì)函數(shù)均用神經(jīng)元的激勵(lì)函數(shù)均用Sigmoid函數(shù)。函數(shù)。設(shè)訓(xùn)練樣本集設(shè)訓(xùn)練樣本集 為為X=X1,X2,Xk，,XN，對應(yīng)任一訓(xùn)練樣本對應(yīng)任一訓(xùn)練樣本: Xk= xk1,xk2, kMT，（，（k=1,2,N）的實(shí)際輸出為的實(shí)際輸出為: Yk= yk1, yk2,ykPT，期

12、望輸出為期望輸出為dk= dk1,dk2, dkPT。 設(shè)設(shè)n為迭代次數(shù)，權(quán)值和實(shí)際輸出是為迭代次數(shù)，權(quán)值和實(shí)際輸出是n的函數(shù)。的函數(shù)。 I i u 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 工作信號的正向傳播過程：工作信號的正向傳播過程： M m kmmi I i xwu 1 )( 1 M m kmmi I i xwfv I i I iij J j vwu 1 )( 1 I i I iij J j vwfv J 1j J jjp P p vwu )( 1 J j J jjp P p v

13、wfv )()( 1 J j J jjp P p P pkp vwfufvy 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 輸出層第輸出層第p個(gè)神經(jīng)元的個(gè)神經(jīng)元的誤差信號誤差信號為：為： )()()(nyndne kpkpkp 定義神經(jīng)元定義神經(jīng)元p的誤差能量為：的誤差能量為： 則輸出層所有神經(jīng)元的誤差能量總和為：則輸出層所有神經(jīng)元的誤差能量總和為： )( 2 1 2 nekp P p kp nenE 1 2 )( 2 1 )( 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖

14、像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 誤差信號的反向傳播過程：誤差信號的反向傳播過程： （1）隱層）隱層J與輸出層與輸出層P之間的權(quán)值修正量之間的權(quán)值修正量 )( )( )( nw nE nw jp jp )( )( )( )( )( )( )( )( )( )( nw nu nu ny ny ne ne nE nw nE jp P p P p kp kp kp kpjp )()()( )( )( nvnufne nw nE J j P pkp jp 因?yàn)椋阂驗(yàn)椋?合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖

15、像信息處理研究室 Tel:2901393 Email: http:/ )( )( )( ne ne nE kp kp 1 )( )( ny ne kp kp )( )( )( nuf nu ny P p P p kp )( )( )( nv nw nu J j jp P p 設(shè)局部梯度設(shè)局部梯度： )( )( )( nu nE n P p P p )()( nenuf kp P p 當(dāng)激勵(lì)函數(shù)為當(dāng)激勵(lì)函數(shù)為S型函數(shù)型函數(shù)時(shí)有：時(shí)有： )(1)()(1)( )( )( )(nynynvnv nu nv nuf kpkp P p P p P p P p P p 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信

16、息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ )()(1)()(nenynyn kpkpkp P p )()()(1)(nyndnyny kppkpkp )( )( )( nw nE nw jp jp )( )( ) )( )( ( nw nu nu nE jp P p P p )()(nvn J j P p )()() 1(nwnwnw jpjpjp 可求得：可求得： 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ （2）隱

17、層）隱層I與隱層與隱層J之間的權(quán)值修正量：之間的權(quán)值修正量： )( )( )( )( )( )( nw nu nu nE nw nE ij J j J jij )( )( )( nv nu nE I i J j 設(shè)局部梯度為：設(shè)局部梯度為： )( )( )( nu nE n J j J j )( )( )( )( nu nv nv nE J j J j J j )( )( )( nuf nu nv J j J j J j P p kp nenE 1 2 )( 2 1 )( P p J j kp kp J j nv ne ne nv nE 1 )( )( )( )( )( P p J j P p

18、 P p kp kp nv nu nu ne ne 1 )( )( )( )( )( 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ )()()()()(nufndnyndne P pkpkpkpkp )( )( )( nuf nu ne P p P p kp )( )( )( nw nv nu jp J j P p )()()( )( )( 1 nwnufne nv nE jp P p P p kp J j P p jp P pkp J j J j nwnufnenufn 1 )()()()

19、()( P p jp P p J j J j nwnnufn 1 )()()()( )()()(nvnnw I i J jij 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ （3）與隱層）與隱層I和隱層和隱層J之間的權(quán)值修正量推導(dǎo)之間的權(quán)值修正量推導(dǎo) 方法相同，輸入層方法相同，輸入層M上任一節(jié)點(diǎn)與隱層上任一節(jié)點(diǎn)與隱層I上任上任 一節(jié)點(diǎn)之間權(quán)值的修正量為：一節(jié)點(diǎn)之間權(quán)值的修正量為： )()()(nxnnw km I imi 其中：其中： J j ij J j I i I i nwnnufn 1

20、 )()()()( 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ BP學(xué)習(xí)算法步驟學(xué)習(xí)算法步驟 n第一步：設(shè)置變量和參量第一步：設(shè)置變量和參量 n第二步：初始化，賦給第二步：初始化，賦給WMI (0), WIJ (0), WJP (0),各一各一 個(gè)較小的隨機(jī)非零值個(gè)較小的隨機(jī)非零值 n第三步：隨機(jī)輸入樣本第三步：隨機(jī)輸入樣本Xk ，n=0。 n第四步：第四步：對輸入樣本對輸入樣本Xk ，前向計(jì)算前向計(jì)算BP網(wǎng)絡(luò)每層神經(jīng)網(wǎng)絡(luò)每層神經(jīng) 元的輸入信號元的輸入信號u和輸出信號和輸出信號v n第五步

21、：由期望輸出第五步：由期望輸出dk和上一步求得的實(shí)際輸出和上一步求得的實(shí)際輸出 Yk (n)計(jì)算誤差計(jì)算誤差E(n)，判斷其是否滿足要求，若滿足判斷其是否滿足要求，若滿足 轉(zhuǎn)至第八步；不滿足轉(zhuǎn)至第六步。轉(zhuǎn)至第八步；不滿足轉(zhuǎn)至第六步。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ BP學(xué)習(xí)算法步驟（續(xù)）學(xué)習(xí)算法步驟（續(xù)） n第六步：判斷第六步：判斷n+1是否大于最大迭代次數(shù)，若大于轉(zhuǎn)是否大于最大迭代次數(shù)，若大于轉(zhuǎn) 至第八步，若不大于，對輸入樣本至第八步，若不大于，對輸入樣本Xk ，反向計(jì)算每反

22、向計(jì)算每 層神經(jīng)元的局部梯度層神經(jīng)元的局部梯度 n第七步：計(jì)算權(quán)值修正量，修正權(quán)值；第七步：計(jì)算權(quán)值修正量，修正權(quán)值；n=n+1，轉(zhuǎn)至轉(zhuǎn)至 第四步第四步 n第八步：判斷是否學(xué)完所有的訓(xùn)練樣本，是則結(jié)束，第八步：判斷是否學(xué)完所有的訓(xùn)練樣本，是則結(jié)束， 否則轉(zhuǎn)至第三步。否則轉(zhuǎn)至第三步。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ BP學(xué)習(xí)，需要注意幾點(diǎn)：學(xué)習(xí)，需要注意幾點(diǎn)： n BP學(xué)習(xí)時(shí)權(quán)值的初始值是很重要的。初始值過大，學(xué)習(xí)時(shí)權(quán)值的初始值是很重要的。初始值過大， 過小都會影響學(xué)習(xí)速度，因此

23、權(quán)值的初始值應(yīng)選為過小都會影響學(xué)習(xí)速度，因此權(quán)值的初始值應(yīng)選為 均勻分布的小數(shù)經(jīng)驗(yàn)值，大概為（均勻分布的小數(shù)經(jīng)驗(yàn)值，大概為（2.4/F，2.4/F） 之間（也有人建議在之間（也有人建議在 之間），其之間），其 中中F為所連單元的輸入端個(gè)數(shù)。另外，為避免每一步為所連單元的輸入端個(gè)數(shù)。另外，為避免每一步 權(quán)值的調(diào)整方向是同向的（即權(quán)值同時(shí)增加或同時(shí)權(quán)值的調(diào)整方向是同向的（即權(quán)值同時(shí)增加或同時(shí) 減少），應(yīng)將初始權(quán)值設(shè)為隨機(jī)數(shù)。減少），應(yīng)將初始權(quán)值設(shè)為隨機(jī)數(shù)。 )/3 ,/3(FF 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393

24、 Email: http:/ n 神經(jīng)元的激勵(lì)函數(shù)是神經(jīng)元的激勵(lì)函數(shù)是Sigmoid函數(shù)，如果函數(shù)，如果Sigmoid 函數(shù)的漸進(jìn)值為函數(shù)的漸進(jìn)值為+和和，則期望輸出只能趨于則期望輸出只能趨于+和和 ，而不能達(dá)到而不能達(dá)到+和和。為避免學(xué)習(xí)算法不收斂，為避免學(xué)習(xí)算法不收斂， 提高學(xué)習(xí)速度，應(yīng)設(shè)提高學(xué)習(xí)速度，應(yīng)設(shè)期望輸出為相應(yīng)的小數(shù)，如期望輸出為相應(yīng)的小數(shù)，如邏邏 輯函數(shù)其漸進(jìn)值為輯函數(shù)其漸進(jìn)值為1和和0，此時(shí)應(yīng)設(shè)，此時(shí)應(yīng)設(shè)相應(yīng)的期望輸出相應(yīng)的期望輸出 為為0.99和和0.01等小數(shù)，而不應(yīng)等小數(shù)，而不應(yīng)設(shè)為設(shè)為1和和0。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理

25、研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n 用用BP算法訓(xùn)練網(wǎng)絡(luò)時(shí)有兩種方式，一種是算法訓(xùn)練網(wǎng)絡(luò)時(shí)有兩種方式，一種是順序方順序方 式式，即每輸入一個(gè)訓(xùn)練樣本修改一次權(quán)值；以上給出，即每輸入一個(gè)訓(xùn)練樣本修改一次權(quán)值；以上給出 的的BP算法步驟就是按順序方式訓(xùn)練網(wǎng)絡(luò)的。另一種是算法步驟就是按順序方式訓(xùn)練網(wǎng)絡(luò)的。另一種是 批處理方式批處理方式，即待組成一個(gè)訓(xùn)練周期的全部樣本都一，即待組成一個(gè)訓(xùn)練周期的全部樣本都一 次輸入網(wǎng)絡(luò)后，以總的平均誤差能量次輸入網(wǎng)絡(luò)后，以總的平均誤差能量Eav為學(xué)習(xí)目標(biāo)函為學(xué)習(xí)目標(biāo)函 數(shù)修正權(quán)值的訓(xùn)練方式。數(shù)修正權(quán)值的訓(xùn)練方式。 nekp

26、為網(wǎng)絡(luò)輸入第為網(wǎng)絡(luò)輸入第k個(gè)訓(xùn)練樣本時(shí)輸出神經(jīng)元個(gè)訓(xùn)練樣本時(shí)輸出神經(jīng)元p的誤差，的誤差， N為訓(xùn)練樣本的個(gè)數(shù)。為訓(xùn)練樣本的個(gè)數(shù)。 N k N k P p kpkav e N E N E 111 2 2 11 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n BP學(xué)習(xí)中，學(xué)習(xí)步長學(xué)習(xí)中，學(xué)習(xí)步長的選擇比較重要。的選擇比較重要。值大權(quán)值大權(quán) 值的變化就大，則值的變化就大，則BP學(xué)習(xí)的收斂速度就快，但是學(xué)習(xí)的收斂速度就快，但是值值 過大會引起振蕩即網(wǎng)絡(luò)不穩(wěn)定；過大會引起振蕩即網(wǎng)絡(luò)不穩(wěn)定；小可以避免

27、網(wǎng)絡(luò)不穩(wěn)小可以避免網(wǎng)絡(luò)不穩(wěn) 定，但是收斂速度就慢了。要解決這一矛盾最簡單的定，但是收斂速度就慢了。要解決這一矛盾最簡單的 方法是加入方法是加入“動量項(xiàng)動量項(xiàng)” 。 n 要計(jì)算多層感知器的局部梯度要計(jì)算多層感知器的局部梯度，需要知道神經(jīng)元需要知道神經(jīng)元 的激勵(lì)函數(shù)的導(dǎo)數(shù)。的激勵(lì)函數(shù)的導(dǎo)數(shù)。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n 在在BP算法第五步需要判斷誤差算法第五步需要判斷誤差E(n)是否滿足要求，是否滿足要求， 這里的要求是：對順序方式，誤差小于我們設(shè)定的這里的要求是：對順序方

28、式，誤差小于我們設(shè)定的 值值，即即|E(n)|； 對批處理方式，每個(gè)訓(xùn)練周期的對批處理方式，每個(gè)訓(xùn)練周期的 平均誤差平均誤差Eav其變化量在其變化量在0.1%到到1%之間，我們就認(rèn)之間，我們就認(rèn) 為誤差滿足要求了。為誤差滿足要求了。 n 在分類問題中，我們會碰到屬于同一類的訓(xùn)練樣在分類問題中，我們會碰到屬于同一類的訓(xùn)練樣 本有幾組，在第一步設(shè)置變量時(shí)，一般使同一類的本有幾組，在第一步設(shè)置變量時(shí)，一般使同一類的 訓(xùn)練樣本其期望輸出相同。訓(xùn)練樣本其期望輸出相同。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email:

29、http:/ BP學(xué)習(xí)算法的改進(jìn)學(xué)習(xí)算法的改進(jìn) n在實(shí)際應(yīng)用中在實(shí)際應(yīng)用中BP算法存在兩個(gè)重要問題：收斂速度算法存在兩個(gè)重要問題：收斂速度 慢，目標(biāo)函數(shù)存在局部極小點(diǎn)。慢，目標(biāo)函數(shù)存在局部極小點(diǎn)。 n改善改善BP算法的一些主要的措施：算法的一些主要的措施： （1） 加入動量項(xiàng)加入動量項(xiàng) )()() 1()(nvnnwnw ijijij n t ij tn ij tw tE nw 0 )( )( )( 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n本次修正量本次修正量wij (n)是一系列加

30、權(quán)指數(shù)序列的和。當(dāng)是一系列加權(quán)指數(shù)序列的和。當(dāng) 動量常數(shù)滿足動量常數(shù)滿足 ，序列收斂，當(dāng)，序列收斂，當(dāng) 上上 式不含動量項(xiàng)。式不含動量項(xiàng)。 n 當(dāng)本次的當(dāng)本次的 與前一次同符號時(shí)，其加權(quán)與前一次同符號時(shí)，其加權(quán) 求和值增大，使求和值增大，使wij (n)較大，從而在穩(wěn)定調(diào)節(jié)時(shí)加較大，從而在穩(wěn)定調(diào)節(jié)時(shí)加 快了快了w的調(diào)節(jié)速度。的調(diào)節(jié)速度。 n當(dāng)當(dāng) 與前次符號相反時(shí)，指數(shù)加權(quán)求和與前次符號相反時(shí)，指數(shù)加權(quán)求和 結(jié)果使結(jié)果使w wij ij ( (n n) )減小了，起到了穩(wěn)定作用。減小了，起到了穩(wěn)定作用。 )()(twtE ij 1|00 )()(twtE ij 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與

31、信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n(2) 盡可能使用順序方式訓(xùn)練網(wǎng)絡(luò)盡可能使用順序方式訓(xùn)練網(wǎng)絡(luò)。順序方式訓(xùn)練。順序方式訓(xùn)練 網(wǎng)絡(luò)要比批處理方式更快，特別是在訓(xùn)練樣本集網(wǎng)絡(luò)要比批處理方式更快，特別是在訓(xùn)練樣本集 很大，而且具有重復(fù)樣本時(shí)，順序方式的這一優(yōu)很大，而且具有重復(fù)樣本時(shí)，順序方式的這一優(yōu) 點(diǎn)更為突出。值得一提的是，使用順序方式訓(xùn)練點(diǎn)更為突出。值得一提的是，使用順序方式訓(xùn)練 網(wǎng)絡(luò)以解決模式分類問題時(shí)，要求每一周期的訓(xùn)網(wǎng)絡(luò)以解決模式分類問題時(shí)，要求每一周期的訓(xùn) 練樣本其輸入順序是隨機(jī)的，這樣做是為了盡可練樣本

32、其輸入順序是隨機(jī)的，這樣做是為了盡可 能使連續(xù)輸入的樣本不屬于同一類。能使連續(xù)輸入的樣本不屬于同一類。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n(3) 選用反對稱函數(shù)作激勵(lì)函數(shù)選用反對稱函數(shù)作激勵(lì)函數(shù)。當(dāng)激勵(lì)函數(shù)為反對。當(dāng)激勵(lì)函數(shù)為反對 稱函數(shù)（即稱函數(shù)（即f (u) = f (u)）時(shí)，時(shí)，BP算法的學(xué)習(xí)速度算法的學(xué)習(xí)速度 要快些。最常用的反對稱函數(shù)是雙曲正切函數(shù)：要快些。最常用的反對稱函數(shù)是雙曲正切函數(shù)： n一般取，一般取， a bu a bu bu abuauf )exp(1

33、2 )exp(1 )exp(1 )tanh()( 7159. 1a 3 2 b 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n(4) 規(guī)一化輸入信號規(guī)一化輸入信號。當(dāng)所有訓(xùn)練樣本的輸入信號。當(dāng)所有訓(xùn)練樣本的輸入信號 都為正值時(shí)，與第一隱層神經(jīng)元相連的權(quán)值只能同都為正值時(shí)，與第一隱層神經(jīng)元相連的權(quán)值只能同 時(shí)增加或同時(shí)減小，從而導(dǎo)致學(xué)習(xí)速度很慢

34、。為避時(shí)增加或同時(shí)減小，從而導(dǎo)致學(xué)習(xí)速度很慢。為避 免出現(xiàn)這種情況，加快網(wǎng)絡(luò)的學(xué)習(xí)速度，可以對輸免出現(xiàn)這種情況，加快網(wǎng)絡(luò)的學(xué)習(xí)速度，可以對輸 入信號進(jìn)行歸一化，使得所有樣本的輸入信號其均入信號進(jìn)行歸一化，使得所有樣本的輸入信號其均 值接近零或與其標(biāo)準(zhǔn)方差相比非常小。值接近零或與其標(biāo)準(zhǔn)方差相比非常小。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 1 x 2 x 1 x 2 x 2 x 2 x 1 x 1 x 均值平移 去 相 關(guān) 協(xié)方差均衡 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與

35、信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ (5) 充分利用先驗(yàn)信息充分利用先驗(yàn)信息。樣本訓(xùn)練網(wǎng)絡(luò)的目的為了獲得。樣本訓(xùn)練網(wǎng)絡(luò)的目的為了獲得 未知的輸入輸出函數(shù)未知的輸入輸出函數(shù)，學(xué)習(xí)就是找出樣本中含有的，學(xué)習(xí)就是找出樣本中含有的 有關(guān)的信息，從而推斷出逼近的函數(shù)。在學(xué)習(xí)過程有關(guān)的信息，從而推斷出逼近的函數(shù)。在學(xué)習(xí)過程 中可以利用的先驗(yàn)知識例如方差、對稱性等有關(guān)的中可以利用的先驗(yàn)知識例如方差、對稱性等有關(guān)的 信息，從而加快學(xué)習(xí)速度、改善逼近效果。信息，從而加快學(xué)習(xí)速度、改善逼近效果。 (6) 調(diào)整學(xué)習(xí)步長調(diào)整學(xué)習(xí)步長使網(wǎng)絡(luò)中各神經(jīng)元的學(xué)習(xí)

36、速度相差使網(wǎng)絡(luò)中各神經(jīng)元的學(xué)習(xí)速度相差 不多。一般說來輸出單元的局部梯度比輸入端的大，不多。一般說來輸出單元的局部梯度比輸入端的大， 可使前者的步長可使前者的步長小些。還有，有較多輸入端的神小些。還有，有較多輸入端的神 經(jīng)元其經(jīng)元其比有較少輸入端的神經(jīng)元其比有較少輸入端的神經(jīng)元其小些。小些。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 3.3 徑向基網(wǎng)絡(luò)徑向基網(wǎng)絡(luò) n1985年，年，Powell提出了多變量插值的徑向基函數(shù)提出了多變量插值的徑向基函數(shù) （Radial-Basis Funct

37、ion, RBF）方法。方法。1988年，年， Broomhead和和Lowe首先將首先將RBF應(yīng)用于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，應(yīng)用于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)， 構(gòu)成了徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，即構(gòu)成了徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，即RBF神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)。 n結(jié)構(gòu)上結(jié)構(gòu)上看，看，RBF神經(jīng)網(wǎng)絡(luò)屬于多層前向神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)屬于多層前向神經(jīng)網(wǎng)絡(luò)。 它是一種三層前向網(wǎng)絡(luò)，輸入層由信號源節(jié)點(diǎn)組成；它是一種三層前向網(wǎng)絡(luò)，輸入層由信號源節(jié)點(diǎn)組成； 第二層為隱含層，隱單元的個(gè)數(shù)由所描述的問題而第二層為隱含層，隱單元的個(gè)數(shù)由所描述的問題而 定，隱單元的變換函數(shù)是對中心點(diǎn)徑向?qū)ΨQ且衰減定，隱單元的變換函數(shù)是對中心點(diǎn)徑向?qū)ΨQ且衰減 的非負(fù)非線性函

38、數(shù)；第三層為輸出層，它對輸入模的非負(fù)非線性函數(shù)；第三層為輸出層，它對輸入模 式的作用做出響應(yīng)。式的作用做出響應(yīng)。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 徑向基網(wǎng)絡(luò)徑向基網(wǎng)絡(luò) nRBF神經(jīng)網(wǎng)絡(luò)的基本思想是：用徑向基函數(shù)（神經(jīng)網(wǎng)絡(luò)的基本思想是：用徑向基函數(shù)（RBF） 作為隱單元的作為隱單元的“基基”，構(gòu)成隱含層空間，隱含層對，構(gòu)成隱含層空間，隱含層對 輸入矢量進(jìn)行變換，將低維的模式輸入數(shù)據(jù)變換到輸入矢量進(jìn)行變換，將低維的模式輸入數(shù)據(jù)變換到 高維空間內(nèi)，通過對隱單元輸出的加權(quán)求和得到輸高維

39、空間內(nèi)，通過對隱單元輸出的加權(quán)求和得到輸 出。出。 nRBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡單、訓(xùn)練簡潔而且學(xué)習(xí)收斂速神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡單、訓(xùn)練簡潔而且學(xué)習(xí)收斂速 度快，能夠逼近任意非線性函數(shù)。因此度快，能夠逼近任意非線性函數(shù)。因此RBF網(wǎng)絡(luò)有網(wǎng)絡(luò)有 較為廣泛的應(yīng)用。如時(shí)間序列分析，模式識別，非較為廣泛的應(yīng)用。如時(shí)間序列分析，模式識別，非 線性控制和圖像處理等。線性控制和圖像處理等。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 3.3.1 RBF神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型 nRBF網(wǎng)絡(luò)是單隱層的前向網(wǎng)絡(luò)，它由三層

40、構(gòu)成：第網(wǎng)絡(luò)是單隱層的前向網(wǎng)絡(luò)，它由三層構(gòu)成：第 一層是輸入層，第二層是隱含層，第三層是輸出層。一層是輸入層，第二層是隱含層，第三層是輸出層。 根據(jù)隱單元的個(gè)數(shù)，根據(jù)隱單元的個(gè)數(shù)，RBF網(wǎng)絡(luò)有兩種模型：正規(guī)化網(wǎng)絡(luò)有兩種模型：正規(guī)化 網(wǎng)絡(luò)（網(wǎng)絡(luò)（Regularization Network）和廣義網(wǎng)絡(luò)和廣義網(wǎng)絡(luò) （Generalized Network）。）。 （1）正規(guī)化網(wǎng)絡(luò)）正規(guī)化網(wǎng)絡(luò) 正規(guī)化網(wǎng)絡(luò)的隱單元就是訓(xùn)練樣本，所以正規(guī)化正規(guī)化網(wǎng)絡(luò)的隱單元就是訓(xùn)練樣本，所以正規(guī)化 網(wǎng)絡(luò)其隠單元的個(gè)數(shù)與訓(xùn)練樣本的個(gè)數(shù)相同。網(wǎng)絡(luò)其隠單元的個(gè)數(shù)與訓(xùn)練樣本的個(gè)數(shù)相同。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)

41、院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 1 x 輸入層 N個(gè)基函數(shù) 的隱含層 輸出層 m x M x 1 i N 11 w j w 1 J w 1 1 i w ij w iJ w NJ w Nj w 1N w 1 y j y J y 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n當(dāng)網(wǎng)絡(luò)輸入訓(xùn)練樣本當(dāng)網(wǎng)絡(luò)輸入訓(xùn)練樣本Xk時(shí)，網(wǎng)絡(luò)第時(shí)，網(wǎng)絡(luò)第j個(gè)輸出神經(jīng)元的個(gè)輸出神經(jīng)元的 實(shí)際輸出為：實(shí)際輸出為： n一般一般“基函數(shù)基函數(shù)”

42、選為格林函數(shù)記為：選為格林函數(shù)記為： n當(dāng)格林函數(shù)當(dāng)格林函數(shù)G(Xk , Xi)為高斯函數(shù)時(shí)：為高斯函數(shù)時(shí)： ),()( 1 ik N i ijkkj XXwXy ),(),( ikik XXGXX |)(|),( ikik XXGXXG M m imkm i xx 1 2 2 )( 2 1 exp 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ （2）廣義網(wǎng)絡(luò)）廣義網(wǎng)絡(luò) n正規(guī)化網(wǎng)絡(luò)的訓(xùn)練樣本正規(guī)化網(wǎng)絡(luò)的訓(xùn)練樣本Xi與與“基函數(shù)基函數(shù)” (Xk , Xi)是是 一一對應(yīng)的，當(dāng)一一對應(yīng)的，當(dāng)N

43、很大時(shí)，網(wǎng)絡(luò)的實(shí)現(xiàn)復(fù)雜，且在很大時(shí)，網(wǎng)絡(luò)的實(shí)現(xiàn)復(fù)雜，且在 求 解 網(wǎng) 絡(luò) 的 權(quán) 值 時(shí) 容 易 產(chǎn) 生 病 態(tài) 問 題 （求 解 網(wǎng) 絡(luò) 的 權(quán) 值 時(shí) 容 易 產(chǎn) 生 病 態(tài) 問 題 （ i l l conditioning）。）。解決這一問題的方法是減少隱層神解決這一問題的方法是減少隱層神 經(jīng)元的個(gè)數(shù)。經(jīng)元的個(gè)數(shù)。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 1 x 輸入層隱含層輸出層 m x M x 1 i I 1 0 1 y j y J y 隱層個(gè)數(shù)小于訓(xùn)練樣本數(shù)隱層個(gè)數(shù)小于訓(xùn)練

44、樣本數(shù) 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 當(dāng)網(wǎng)絡(luò)輸入訓(xùn)練樣本當(dāng)網(wǎng)絡(luò)輸入訓(xùn)練樣本Xk時(shí)，網(wǎng)絡(luò)第時(shí)，網(wǎng)絡(luò)第j個(gè)輸出神經(jīng)元的個(gè)輸出神經(jīng)元的 實(shí)際輸出為：實(shí)際輸出為： ),()( 1 0ik I i ijjkkj XwwXyt 當(dāng)當(dāng)“基函數(shù)基函數(shù)”為高斯函數(shù)時(shí)：為高斯函數(shù)時(shí)： |)(|),( ikik XGXtt M m imkm i x 1 2 2 )( 2 1 expt 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901

45、393 Email: http:/ 3.3.2 RBF網(wǎng)絡(luò)的學(xué)習(xí)算法網(wǎng)絡(luò)的學(xué)習(xí)算法 nRBF網(wǎng)絡(luò)要學(xué)習(xí)的參數(shù)有三個(gè)：網(wǎng)絡(luò)要學(xué)習(xí)的參數(shù)有三個(gè)：中心中心、方差方差和和權(quán)值權(quán)值。 根據(jù)徑向基函數(shù)中心選取方法的不同，根據(jù)徑向基函數(shù)中心選取方法的不同，RBF網(wǎng)絡(luò)有網(wǎng)絡(luò)有 多種學(xué)習(xí)方法，其中最常用的多種學(xué)習(xí)方法，其中最常用的四四種學(xué)習(xí)方法有：隨種學(xué)習(xí)方法有：隨 機(jī)選取中心法，機(jī)選取中心法，自組織選取中心法自組織選取中心法，有監(jiān)督選取中有監(jiān)督選取中 心法心法和和正交最小二乘法正交最小二乘法。 n自組織選取中心法由兩個(gè)階段構(gòu)成：自組織選取中心法由兩個(gè)階段構(gòu)成： 自組織學(xué)習(xí)階段，即學(xué)習(xí)隱層基函數(shù)的中心與方差自組

46、織學(xué)習(xí)階段，即學(xué)習(xí)隱層基函數(shù)的中心與方差 的階段。的階段。 有監(jiān)督學(xué)習(xí)階段，即學(xué)習(xí)輸出層權(quán)值的階段。有監(jiān)督學(xué)習(xí)階段，即學(xué)習(xí)輸出層權(quán)值的階段。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ （1）學(xué)習(xí)中心）學(xué)習(xí)中心 n自組織學(xué)習(xí)過程要用到聚類算法，常用的聚類算法自組織學(xué)習(xí)過程要用到聚類算法，常用的聚類算法 是是K均值聚類算法。假設(shè)聚類中心有均值聚類算法。假設(shè)聚類中心有I個(gè)（個(gè)（I的值由的值由 先驗(yàn)知識決定），設(shè)先驗(yàn)知識決定），設(shè)ti (n)（i=1,2,I）是第是第n次迭代次迭代 時(shí)基函數(shù)的中

47、心，時(shí)基函數(shù)的中心，K均值聚類算法具體步驟如下：均值聚類算法具體步驟如下： n第一步：第一步：初始化聚類中心初始化聚類中心，即根據(jù)經(jīng)驗(yàn)從訓(xùn)練樣本，即根據(jù)經(jīng)驗(yàn)從訓(xùn)練樣本 集中隨機(jī)選取集中隨機(jī)選取I個(gè)不同的樣本作為初始中心個(gè)不同的樣本作為初始中心ti (0) （i=1, ,2, , ,I）。）。 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ n第二步：第二步：隨機(jī)輸入訓(xùn)練樣本隨機(jī)輸入訓(xùn)練樣本Xk。 n第三步：第三步：尋找訓(xùn)練樣本尋找訓(xùn)練樣本Xk離哪個(gè)中心最近，即找到離哪個(gè)中心最近，即找到 i (

48、Xk)使其滿足使其滿足 n第四步第四步：調(diào)整基函數(shù)的中心。調(diào)整基函數(shù)的中心。 n第五步：第五步：n=n+1轉(zhuǎn)到第二步，直到學(xué)完所有的訓(xùn)練轉(zhuǎn)到第二步，直到學(xué)完所有的訓(xùn)練 樣本且中心的分布不再變化。樣本且中心的分布不再變化。 |)(|minarg)(nXXi ik i k t 其他)( )()()()( ) 1( n XiinnXn n i kiki i t tt t 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ （2）確定方差）確定方差 n當(dāng)當(dāng)RBF選用高斯函數(shù)，即：選用高斯函數(shù)，即： n方差

49、為方差為： nI為隱單元的個(gè)數(shù)，為隱單元的個(gè)數(shù)，dmax為所選取中心之間的最大距為所選取中心之間的最大距 離。離。 I i i ik ik X XG 1 2 | 2 1 exp|)(| t t I d I 2 max 21 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ （3）學(xué)習(xí)權(quán)值）學(xué)習(xí)權(quán)值 n權(quán)值的學(xué)習(xí)可以用權(quán)值的學(xué)習(xí)可以用LMS方法，也可以直接用偽逆的方法，也可以直接用偽逆的 方法求解，即：方法求解，即： n式中式中D=d1, , dk, , dNT是期望響應(yīng)，是期望響應(yīng)，G+是矩陣是

50、矩陣G 的偽逆的偽逆 DGW TT GGGG 1 )( ki gG 2 2 max |exp ikki X d I gt Nk, 2 , 1Ii, 2 , 1 合肥工業(yè)大學(xué)合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院計(jì)算機(jī)與信息學(xué)院 圖像信息處理研究室圖像信息處理研究室 Tel:2901393 Email: http:/ 需注意幾點(diǎn)：需注意幾點(diǎn)： K均值聚類算法的終止條件是網(wǎng)絡(luò)學(xué)完所有的訓(xùn)均值聚類算法的終止條件是網(wǎng)絡(luò)學(xué)完所有的訓(xùn) 練樣本且中心的分布不再變化。在實(shí)際應(yīng)用中只要練樣本且中心的分布不再變化。在實(shí)際應(yīng)用中只要 前后兩次中心的變化小于預(yù)先設(shè)定的前后兩次中心的變化小于預(yù)先設(shè)定的值值即即|ti (n+1)-ti (n)|（i=1,2,I），），就認(rèn)為中心的分布不再變化了。就認(rèn)為中心的分布不再變化了。 “基函數(shù)基函數(shù)” (X , Xi) 除了選用高斯函數(shù)外也可使用除了選用高斯函數(shù)外也可使用 多二次函數(shù)和逆多二次函數(shù)等中心點(diǎn)徑向?qū)ΨQ的函多二次函數(shù)和逆多二次函數(shù)等中心點(diǎn)徑向?qū)ΨQ的函 數(shù)。數(shù)。 2/122 )()(crr) 2 exp()( 2 2 r r 合肥工業(yè)