第7章人工神經(jīng)網(wǎng)絡(luò)

1、第第7 7章章 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)bp網(wǎng)絡(luò)及學(xué)習(xí)過程網(wǎng)絡(luò)及學(xué)習(xí)過程bp網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計分類識別舉例分類識別舉例bpbp網(wǎng)絡(luò)及學(xué)習(xí)過程網(wǎng)絡(luò)及學(xué)習(xí)過程 一一. 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) 1. 生物神經(jīng)元與人工神經(jīng)元生物神經(jīng)元與人工神經(jīng)元人腦的結(jié)構(gòu)：人腦的結(jié)構(gòu)：腦主要由大腦腦主要由大腦半球、腦干和半球、腦干和小腦組成。小腦組成。大腦半球由大大腦半球由大腦皮質(zhì)構(gòu)成。腦皮質(zhì)構(gòu)成。 腦的功能：人類大腦皮質(zhì)的不同部分行使不同的腦的功能：人類大腦皮質(zhì)的不同部分行使不同的功能。大腦皮質(zhì)有功能。大腦皮質(zhì)有6層結(jié)構(gòu)，大小及形狀各異的層結(jié)構(gòu)，大小及形狀各異的神經(jīng)細(xì)胞構(gòu)成了復(fù)雜的神經(jīng)網(wǎng)。神經(jīng)細(xì)胞構(gòu)成了復(fù)雜

2、的神經(jīng)網(wǎng)。大腦與腦的高級大腦與腦的高級功能如記憶和學(xué)功能如記憶和學(xué)習(xí)密切相關(guān)。習(xí)密切相關(guān)。小腦主要與運動小腦主要與運動控制及生物功能控制及生物功能有關(guān)，相當(dāng)于有關(guān)，相當(dāng)于3萬萬臺普通計算機(jī)的處臺普通計算機(jī)的處理能力。理能力。 生物神經(jīng)元（神經(jīng)細(xì)胞）：生物神經(jīng)元（神經(jīng)細(xì)胞）： 人的大腦由近人的大腦由近140億個不同種類的神經(jīng)元組成，其主要功能億個不同種類的神經(jīng)元組成，其主要功能是傳輸信息。一個神經(jīng)元的結(jié)構(gòu)如圖示。是傳輸信息。一個神經(jīng)元的結(jié)構(gòu)如圖示。細(xì)胞體：接受和處理信息的單元。細(xì)胞體：接受和處理信息的單元。軸突：向外傳送從細(xì)胞體發(fā)出的信息。軸突：向外傳送從細(xì)胞體發(fā)出的信息。樹突：從周圍收集其他神

3、經(jīng)元發(fā)出的信息。樹突：從周圍收集其他神經(jīng)元發(fā)出的信息。突觸：是一個神經(jīng)元與另一個神經(jīng)元相聯(lián)系的部位。突觸：是一個神經(jīng)元與另一個神經(jīng)元相聯(lián)系的部位。 人工神經(jīng)元模型人工神經(jīng)元模型1x2xnxnetyf1w2wnw()yf net1niiinetw x常用的輸出函數(shù)：常用的輸出函數(shù)：1. 閾值函數(shù)閾值函數(shù)神經(jīng)元輸出為神經(jīng)元輸出為netysgnniiiyw x設(shè)閾值設(shè)閾值該神經(jīng)元的作用相當(dāng)于一個該神經(jīng)元的作用相當(dāng)于一個n-1維超平面對維超平面對n維空間的分割。維空間的分割。如果兩類樣本可以被一個超平面分開，則能夠用一個神經(jīng)元如果兩類樣本可以被一個超平面分開，則能夠用一個神經(jīng)元實現(xiàn)分類。實現(xiàn)分類。上述

4、神經(jīng)元又被成為單層感知器。上述神經(jīng)元又被成為單層感知器。 0w 012(,)tnww w ww12(1,)tnxx xx10sgn()00tttw xyw xw x2. sigmoid 函數(shù)函數(shù) 對于一些重要的學(xué)習(xí)算法，要求輸出函數(shù)可微，對于一些重要的學(xué)習(xí)算法，要求輸出函數(shù)可微，此時通常選用此時通常選用sigmoid函數(shù)。函數(shù)。1( )1xf xe二二. bp神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) 三層前饋網(wǎng)絡(luò)三層前饋網(wǎng)絡(luò) 三層前饋網(wǎng)絡(luò)的學(xué)習(xí)算法的主要困難是中間的隱三層前饋網(wǎng)絡(luò)的學(xué)習(xí)算法的主要困難是中間的隱層不直接與外界連接，無法直接計算其連接權(quán)值。層不直接與外界連接，無法直接計算其連接權(quán)值。 bp網(wǎng)絡(luò)是一種多層前

5、饋網(wǎng)絡(luò)，因使用誤差反向傳網(wǎng)絡(luò)是一種多層前饋網(wǎng)絡(luò)，因使用誤差反向傳播算法（播算法（back-propogation）進(jìn)行學(xué)習(xí)而得名，）進(jìn)行學(xué)習(xí)而得名，簡稱簡稱bp算法。該網(wǎng)絡(luò)神經(jīng)元的作用函數(shù)采用算法。該網(wǎng)絡(luò)神經(jīng)元的作用函數(shù)采用sigmoind函數(shù)。函數(shù)。 bp算法的基本思想：算法的基本思想： 根據(jù)樣本數(shù)據(jù)構(gòu)造一個誤差函數(shù)，通過梯度下降根據(jù)樣本數(shù)據(jù)構(gòu)造一個誤差函數(shù)，通過梯度下降法利用迭代運算求解權(quán)值。法利用迭代運算求解權(quán)值。 算法分為兩個階段：算法分為兩個階段： （1）（正向過程）（正向過程） 輸入信息從輸入層經(jīng)隱層逐輸入信息從輸入層經(jīng)隱層逐層計算個單元的輸出值；層計算個單元的輸出值； （2）（誤

6、差反向傳播過程）誤差由輸出層逐層向）（誤差反向傳播過程）誤差由輸出層逐層向輸入層方向傳播計算出每個單元的誤差，并用此輸入層方向傳播計算出每個單元的誤差，并用此誤差修正輸入層權(quán)值。誤差修正輸入層權(quán)值。三三. bp算法原理算法原理信號前向傳播信號前向傳播誤差反向傳播誤差反向傳播將輸入信號將輸入信號 輸入網(wǎng)絡(luò)，輸入網(wǎng)絡(luò)，經(jīng)過中間層（隱層）傳向輸出層，得到輸出信息經(jīng)過中間層（隱層）傳向輸出層，得到輸出信息輸出層神經(jīng)元的輸出和教師信號的平方誤差定義為輸出層神經(jīng)元的輸出和教師信號的平方誤差定義為 12(,)tlxx xx12( ,)tkoo oo211()2kkkkedo()kkof net1jkkjjj

7、netw y先求輸出層與中間層間的權(quán)值更新量：先求輸出層與中間層間的權(quán)值更新量：式中，式中， 為正的常數(shù)，為正的常數(shù)， 為輸出層神經(jīng)元為輸出層神經(jīng)元 的的 值值 kjkjeww kkkkkjoneteonetw ()()kkkjdofnety okjyokk()()kkkjdofnety 求中間層與輸入層間的權(quán)值更新量：求中間層與輸入層間的權(quán)值更新量： jijievv jjkkkkjjjiynetoneteonetynetv 211() ()2kkkkkjikkkjonetdofnetxonety yjix1ijjiiinetv x()jjyf net1()()()kkkkkjjikdofne

8、tw fnetx1()kokkjjikw fnetx可以看出，可以看出，pb算法的計算思想是算法的計算思想是要計算網(wǎng)絡(luò)連接權(quán)值的修正量，需要首先計算網(wǎng)絡(luò)要計算網(wǎng)絡(luò)連接權(quán)值的修正量，需要首先計算網(wǎng)絡(luò)每一層神經(jīng)元的輸出，然后反向計算各神經(jīng)元的誤每一層神經(jīng)元的輸出，然后反向計算各神經(jīng)元的誤差傳播值差傳播值 。權(quán)值更新量權(quán)值更新量=(學(xué)習(xí)系數(shù)學(xué)習(xí)系數(shù)) x x (輸出函數(shù)微分值輸出函數(shù)微分值) x (神經(jīng)元神經(jīng)元 輸出輸出)輸出函數(shù)為輸出函數(shù)為sigmoid函數(shù)時函數(shù)時 有有 則輸出層神經(jīng)元的則輸出層神經(jīng)元的 值為值為1( )1xf xe(1) ()kkkkoodo( )( )1( )fxf xf x

9、()()okkkkdofnet誤差誤差s函數(shù)函數(shù)f(x)的微分值的微分值中間層神經(jīng)元的中間層神經(jīng)元的 值值1()kyjokkjjkw fnet1(1)kjjokkjkyywbp算法步驟：算法步驟：1. 網(wǎng)絡(luò)初始化網(wǎng)絡(luò)初始化 權(quán)值的初始值用小的隨機(jī)數(shù)設(shè)定，選定權(quán)值的初始值用小的隨機(jī)數(shù)設(shè)定，選定 的的終止值終止值 ，步長控制量，步長控制量2. 輸入向量的輸入輸入向量的輸入(向前向前) 首先，將輸入向量輸入給輸入層。輸入向量向輸出層傳首先，將輸入向量輸入給輸入層。輸入向量向輸出層傳播；對各神經(jīng)元，求來自前層神經(jīng)元的附加權(quán)值和，由播；對各神經(jīng)元，求來自前層神經(jīng)元的附加權(quán)值和，由sigmoid函數(shù)決定輸

10、出值；函數(shù)決定輸出值； (輸出值輸出值) = f (輸入和輸入和) (1) 3. 向輸出層輸入教師信號向輸出層輸入教師信號 將與輸入向量對應(yīng)的教師向量提供給輸出層，計算誤差將與輸入向量對應(yīng)的教師向量提供給輸出層，計算誤差值值 ，若，若 ，則算法結(jié)束；否則，轉(zhuǎn)，則算法結(jié)束；否則，轉(zhuǎn)4，eee4. 誤差逆?zhèn)鞑サ臋?quán)值學(xué)習(xí)（反向）誤差逆?zhèn)鞑サ臋?quán)值學(xué)習(xí)（反向） 根據(jù)根據(jù) (新權(quán)值新權(quán)值) = (舊權(quán)值舊權(quán)值) + (常數(shù)常數(shù))x x(神經(jīng)元輸出神經(jīng)元輸出) (2) 進(jìn)行權(quán)值更新，式中的進(jìn)行權(quán)值更新，式中的(神經(jīng)元輸出神經(jīng)元輸出)是指權(quán)值連接的二個神經(jīng)元中，是指權(quán)值連接的二個神經(jīng)元中，來自前面的神經(jīng)元輸出

11、，來自前面的神經(jīng)元輸出， 按以下求出：按以下求出： 連接輸出層的權(quán)值學(xué)習(xí)時：連接輸出層的權(quán)值學(xué)習(xí)時： = (輸出輸出)1(輸出輸出)x (教師信號教師信號)(神經(jīng)元輸出神經(jīng)元輸出) (3) s函數(shù)的微分值函數(shù)的微分值 誤差誤差 除此以外的權(quán)值學(xué)習(xí)時：除此以外的權(quán)值學(xué)習(xí)時： = (輸出輸出)1(輸出輸出)x (來自緊接其后層的來自緊接其后層的 的附加權(quán)值和的附加權(quán)值和) (4) s函數(shù)的微分值函數(shù)的微分值 誤差誤差5. 返回到返回到2 重復(fù)進(jìn)行重復(fù)進(jìn)行24，進(jìn)行權(quán)值的學(xué)習(xí)。，進(jìn)行權(quán)值的學(xué)習(xí)。人工神經(jīng)網(wǎng)絡(luò)模式識別方法的特點：人工神經(jīng)網(wǎng)絡(luò)模式識別方法的特點：優(yōu)勢：優(yōu)勢：1. 具有較強的容錯性，能夠識

12、別帶有噪聲的輸入模具有較強的容錯性，能夠識別帶有噪聲的輸入模式式2. 具有很強的自適應(yīng)學(xué)習(xí)能力具有很強的自適應(yīng)學(xué)習(xí)能力3. 可以實現(xiàn)特征空間較復(fù)雜的劃分可以實現(xiàn)特征空間較復(fù)雜的劃分4. 能夠適用于高速并行處理系統(tǒng)實現(xiàn)能夠適用于高速并行處理系統(tǒng)實現(xiàn)弱點：弱點：1. 需要較多的訓(xùn)練樣本需要較多的訓(xùn)練樣本2. 學(xué)習(xí)速度較慢學(xué)習(xí)速度較慢 bp網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計所謂網(wǎng)絡(luò)結(jié)構(gòu)，是指輸入層的神經(jīng)元個數(shù)，中間層所謂網(wǎng)絡(luò)結(jié)構(gòu)，是指輸入層的神經(jīng)元個數(shù)，中間層（隱層）的層數(shù)及其神經(jīng)元個數(shù)，輸出層神經(jīng)元個（隱層）的層數(shù)及其神經(jīng)元個數(shù)，輸出層神經(jīng)元個數(shù)，各層神經(jīng)元之間的鏈接權(quán)值大小。數(shù)，各層神經(jīng)元之間的鏈接權(quán)

13、值大小。1.輸入層和輸出層的神經(jīng)元個數(shù)輸入層和輸出層的神經(jīng)元個數(shù) 輸入層的神經(jīng)元個數(shù)由模式的維數(shù)決定，輸出層的輸入層的神經(jīng)元個數(shù)由模式的維數(shù)決定，輸出層的神經(jīng)元個數(shù)由識別問題決定。神經(jīng)元個數(shù)由識別問題決定。2. 隱層的層數(shù)與神經(jīng)元個數(shù)隱層的層數(shù)與神經(jīng)元個數(shù) 理論證明，三層理論證明，三層bp網(wǎng)絡(luò)可以實現(xiàn)任意的非線性映網(wǎng)絡(luò)可以實現(xiàn)任意的非線性映射，因此，常用三層網(wǎng)絡(luò)，即只有一個隱層。射，因此，常用三層網(wǎng)絡(luò)，即只有一個隱層。 隱層神經(jīng)元個數(shù)的確定是隱層神經(jīng)元個數(shù)的確定是bp網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的主要網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的主要任務(wù)之一。任務(wù)之一。隱層神經(jīng)元個數(shù)對網(wǎng)絡(luò)學(xué)習(xí)性能的影響隱層神經(jīng)元個數(shù)對網(wǎng)絡(luò)學(xué)習(xí)性能的影響（1

14、）太少（網(wǎng)絡(luò)規(guī)模太?。┨伲ňW(wǎng)絡(luò)規(guī)模太?。?網(wǎng)絡(luò)實際輸出和期望輸出之間的擬合度不高，其網(wǎng)絡(luò)實際輸出和期望輸出之間的擬合度不高，其處理復(fù)雜問題的能力不足，即網(wǎng)絡(luò)的學(xué)習(xí)能力不處理復(fù)雜問題的能力不足，即網(wǎng)絡(luò)的學(xué)習(xí)能力不足，易產(chǎn)生學(xué)習(xí)不收斂的問題。足，易產(chǎn)生學(xué)習(xí)不收斂的問題。（2）太多（網(wǎng)絡(luò)規(guī)模太大）太多（網(wǎng)絡(luò)規(guī)模太大） 網(wǎng)絡(luò)具有較好的學(xué)習(xí)精度，但易導(dǎo)致其泛化能力網(wǎng)絡(luò)具有較好的學(xué)習(xí)精度，但易導(dǎo)致其泛化能力較差，產(chǎn)生較差，產(chǎn)生過學(xué)習(xí)（過擬合）過學(xué)習(xí)（過擬合）現(xiàn)象，即隨著連續(xù)現(xiàn)象，即隨著連續(xù)學(xué)習(xí)，平方誤差會變小，但對于評價用的識別樣學(xué)習(xí)，平方誤差會變小，但對于評價用的識別樣本，反而出現(xiàn)識別效果變差的現(xiàn)象。

15、本，反而出現(xiàn)識別效果變差的現(xiàn)象。 可以看出，隱層神經(jīng)元個數(shù)的確定是重要的，也可以看出，隱層神經(jīng)元個數(shù)的確定是重要的，也是比較困難的。是比較困難的。 解決的方法：解決的方法： （1）經(jīng)驗公式）經(jīng)驗公式 式中，式中，l為輸入層節(jié)點個數(shù)，為輸入層節(jié)點個數(shù)，m為輸出層節(jié)點個數(shù)，為輸出層節(jié)點個數(shù)， 為（為（110）的整數(shù)）的整數(shù)。 numlmmin(int)()1numlmmax(int)()10numlm （2）優(yōu)化的方法）優(yōu)化的方法 將網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)值看做被優(yōu)化對象，以輸出將網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)值看做被優(yōu)化對象，以輸出神經(jīng)元的誤差函數(shù)為目標(biāo)函數(shù)，采用優(yōu)化方法進(jìn)神經(jīng)元的誤差函數(shù)為目標(biāo)函數(shù)，采用優(yōu)化方法進(jìn)

16、行優(yōu)化。行優(yōu)化。 由于神經(jīng)元數(shù)量和連接權(quán)值的數(shù)量所構(gòu)成的數(shù)據(jù)由于神經(jīng)元數(shù)量和連接權(quán)值的數(shù)量所構(gòu)成的數(shù)據(jù)規(guī)模比較龐大，用傳統(tǒng)的數(shù)學(xué)方法難以解決該優(yōu)規(guī)模比較龐大，用傳統(tǒng)的數(shù)學(xué)方法難以解決該優(yōu)化問題，因此，現(xiàn)代的一些人工智能優(yōu)化方法受化問題，因此，現(xiàn)代的一些人工智能優(yōu)化方法受到關(guān)注，如遺傳算法，粒子群優(yōu)化算法等，并取到關(guān)注，如遺傳算法，粒子群優(yōu)化算法等，并取得了很好的效果。得了很好的效果。分類識別舉例分類識別舉例1. 標(biāo)準(zhǔn)測試數(shù)據(jù)標(biāo)準(zhǔn)測試數(shù)據(jù) uci( university of california irvine)標(biāo)準(zhǔn)數(shù)據(jù)集是測試標(biāo)準(zhǔn)數(shù)據(jù)集是測試模式識別領(lǐng)域分類器設(shè)計性能的一個公開的通用的標(biāo)準(zhǔn)數(shù)據(jù)

17、模式識別領(lǐng)域分類器設(shè)計性能的一個公開的通用的標(biāo)準(zhǔn)數(shù)據(jù)集。其中：集。其中： iris數(shù)據(jù)集共有數(shù)據(jù)集共有150個樣本，總共分為三類，每類有個樣本，總共分為三類，每類有50組數(shù)據(jù)，組數(shù)據(jù)，模式特征數(shù)為模式特征數(shù)為4。 ionosphere數(shù)據(jù)集共有數(shù)據(jù)集共有351個樣本，總共分為兩類，其中個樣本，總共分為兩類，其中a類有類有127組數(shù)據(jù)，組數(shù)據(jù)，b類共類共224組數(shù)據(jù)，模式特征數(shù)為組數(shù)據(jù)，模式特征數(shù)為34。 breast cancer數(shù)據(jù)集共有數(shù)據(jù)集共有569個樣本，總共分為兩類，個樣本，總共分為兩類，a類類有有212組數(shù)據(jù)，組數(shù)據(jù)，b類有類有357組數(shù)據(jù)組數(shù)據(jù)，模式特征數(shù)為，模式特征數(shù)為30. 2. 學(xué)習(xí)樣本和測試樣本學(xué)習(xí)樣本和測試樣本 將測試數(shù)據(jù)集中的數(shù)據(jù)分為兩部分，一部分樣本作為學(xué)將測試數(shù)據(jù)集中的數(shù)據(jù)分為兩部分，一部分樣本作為學(xué)習(xí)樣本，其他的作為識別樣本。一般地，學(xué)習(xí)樣本取習(xí)樣本，其他的作為識別樣本。一般地，學(xué)習(xí)樣本取7080%對于對于iris數(shù)據(jù)集：從三類數(shù)據(jù)中各隨機(jī)選數(shù)據(jù)集：從三類數(shù)據(jù)中各隨機(jī)選40組作為