神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)

1、神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)第五章第五章突觸動力學(xué)突觸動力學(xué)：有監(jiān)督的學(xué)習(xí)：有監(jiān)督的學(xué)習(xí)張文革張文革2006.112006.11突觸動力學(xué)突觸動力學(xué)：有監(jiān)督的學(xué)習(xí)：有監(jiān)督的學(xué)習(xí)本章內(nèi)容：本章內(nèi)容： 一、預(yù)備知識一、預(yù)備知識 二、有監(jiān)督的函數(shù)估計二、有監(jiān)督的函數(shù)估計 三、監(jiān)督學(xué)習(xí)就是有效的訓(xùn)練三、監(jiān)督學(xué)習(xí)就是有效的訓(xùn)練 四、已知類隸屬度的監(jiān)督學(xué)習(xí)四、已知類隸屬度的監(jiān)督學(xué)習(xí) 五、感知器、五、感知器、MLS和和BP算法算法一、預(yù)備知識（一、預(yù)備知識（1）1 1、生物神經(jīng)元模型、生物神經(jīng)元模型 神經(jīng)元是腦組織的基本單元，人神經(jīng)元是腦組織的基本單元，人腦是由大約腦是由大約140140多億個神經(jīng)元

2、組成的巨系多億個神經(jīng)元組成的巨系統(tǒng)。神經(jīng)元的結(jié)構(gòu)如下圖所示：統(tǒng)。神經(jīng)元的結(jié)構(gòu)如下圖所示：一、預(yù)備知識（一、預(yù)備知識（2）2 2、神經(jīng)元的突觸：、神經(jīng)元的突觸： 突觸是兩個細(xì)胞之間連接的基本單元，突觸是兩個細(xì)胞之間連接的基本單元，每個細(xì)胞約有每個細(xì)胞約有 個突觸。突觸主個突觸。突觸主要有兩種連接方式：要有兩種連接方式： 一是一個神經(jīng)細(xì)胞的軸突與另一個神經(jīng)細(xì)一是一個神經(jīng)細(xì)胞的軸突與另一個神經(jīng)細(xì)胞的樹突發(fā)生接觸；胞的樹突發(fā)生接觸； 二是一個神經(jīng)細(xì)胞的軸突與另一個神經(jīng)細(xì)二是一個神經(jīng)細(xì)胞的軸突與另一個神經(jīng)細(xì)胞的胞體接觸。胞的胞體接觸。431010 一、預(yù)備知識（一、預(yù)備知識（3）突觸有兩種類型：突觸有兩

3、種類型： 興奮型和抑制型。興奮型和抑制型。 突觸的界面具有脈沖突觸的界面具有脈沖/ /電位信號轉(zhuǎn)換功電位信號轉(zhuǎn)換功能，它能將沿神經(jīng)纖維傳遞的等幅、恒能，它能將沿神經(jīng)纖維傳遞的等幅、恒寬、編碼的離散脈沖信號，轉(zhuǎn)換為細(xì)胞寬、編碼的離散脈沖信號，轉(zhuǎn)換為細(xì)胞膜可以處理的連續(xù)電位信號。膜可以處理的連續(xù)電位信號。一、預(yù)備知識（一、預(yù)備知識（4）3 3、突觸動力學(xué)：、突觸動力學(xué)： 突觸能夠傳遞神經(jīng)沖動。樹突從四方突觸能夠傳遞神經(jīng)沖動。樹突從四方收集由其它神經(jīng)細(xì)胞傳來的信息，信息收集由其它神經(jīng)細(xì)胞傳來的信息，信息流由樹突出發(fā)，經(jīng)過細(xì)胞體，然后由軸流由樹突出發(fā)，經(jīng)過細(xì)胞體，然后由軸突輸出。信息傳遞在突觸處主要是

4、發(fā)生突輸出。信息傳遞在突觸處主要是發(fā)生化學(xué)和電的變化，從而對神經(jīng)細(xì)胞產(chǎn)生化學(xué)和電的變化，從而對神經(jīng)細(xì)胞產(chǎn)生一個興奮或抑制的動力。一個興奮或抑制的動力。一、預(yù)備知識（一、預(yù)備知識（5）4 4、人工神經(jīng)網(wǎng)絡(luò)的分類：、人工神經(jīng)網(wǎng)絡(luò)的分類： 人工神經(jīng)網(wǎng)絡(luò)的分類有多種方法，但通人工神經(jīng)網(wǎng)絡(luò)的分類有多種方法，但通常采用如下分類：常采用如下分類： 按網(wǎng)絡(luò)結(jié)構(gòu)分為：前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)；按網(wǎng)絡(luò)結(jié)構(gòu)分為：前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)； 按學(xué)習(xí)方式分為：監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)，按學(xué)習(xí)方式分為：監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)，也叫有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)。也叫有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)。 本章主要論述前饋網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)算法。本章主要論述前饋網(wǎng)絡(luò)

5、的監(jiān)督學(xué)習(xí)算法。 一、預(yù)備知識（一、預(yù)備知識（6）5、什么是學(xué)習(xí)？、什么是學(xué)習(xí)？ 學(xué)習(xí)就是對信息進(jìn)行編碼學(xué)習(xí)就是對信息進(jìn)行編碼, ,其目的就是通過向有其目的就是通過向有限個例子（訓(xùn)練樣本）的學(xué)習(xí)來找到隱藏在例子背后限個例子（訓(xùn)練樣本）的學(xué)習(xí)來找到隱藏在例子背后（即產(chǎn)生這些例子）的規(guī)律（如函數(shù)形式）。（即產(chǎn)生這些例子）的規(guī)律（如函數(shù)形式）。 當(dāng)樣本數(shù)據(jù)改變系統(tǒng)參數(shù)時，系統(tǒng)會對這些改當(dāng)樣本數(shù)據(jù)改變系統(tǒng)參數(shù)時，系統(tǒng)會對這些改變進(jìn)行自適應(yīng)或自組織的學(xué)習(xí)，在神經(jīng)網(wǎng)絡(luò)中表現(xiàn)為變進(jìn)行自適應(yīng)或自組織的學(xué)習(xí)，在神經(jīng)網(wǎng)絡(luò)中表現(xiàn)為突觸的改變。突觸的改變。 按突觸修正假說，神經(jīng)網(wǎng)絡(luò)在拓?fù)浣Y(jié)構(gòu)固定時，按突觸修正假說，神

6、經(jīng)網(wǎng)絡(luò)在拓?fù)浣Y(jié)構(gòu)固定時，其學(xué)習(xí)歸結(jié)為連接權(quán)的變化。其學(xué)習(xí)歸結(jié)為連接權(quán)的變化。 所以，對固定拓?fù)涞纳窠?jīng)網(wǎng)絡(luò)，學(xué)習(xí)就是求權(quán)值，所以，對固定拓?fù)涞纳窠?jīng)網(wǎng)絡(luò)，學(xué)習(xí)就是求權(quán)值，即突觸矩陣。即突觸矩陣。一、預(yù)備知識（一、預(yù)備知識（7）6 6、什么是監(jiān)督？、什么是監(jiān)督？ 監(jiān)督就是對每一個輸入監(jiān)督就是對每一個輸入Xi,Xi,都都假定假定我們已經(jīng)知道它的期望輸出我們已經(jīng)知道它的期望輸出Yi,Yi,這個這個YiYi可以理解為監(jiān)督信號，也叫可以理解為監(jiān)督信號，也叫“教師信教師信號號”。 對每一個輸入對每一個輸入XiXi及其對其估計的期及其對其估計的期望輸出望輸出YiYi，就構(gòu)成了一個訓(xùn)練樣本。，就構(gòu)成了一個訓(xùn)練樣本

7、。一、預(yù)備知識（一、預(yù)備知識（8）7 7、學(xué)習(xí)的種類：、學(xué)習(xí)的種類： 學(xué)習(xí)的種類有四種：死記式學(xué)習(xí)，學(xué)習(xí)的種類有四種：死記式學(xué)習(xí)， 學(xué)習(xí)律，自組織的學(xué)習(xí)和學(xué)習(xí)律，自組織的學(xué)習(xí)和HebbianHebbian學(xué)習(xí)律，相學(xué)習(xí)律，相近學(xué)習(xí)。近學(xué)習(xí)。 由于監(jiān)督學(xué)習(xí)主要使用的是由于監(jiān)督學(xué)習(xí)主要使用的是 學(xué)習(xí)律，學(xué)習(xí)律，所以，在此主要介紹所以，在此主要介紹 學(xué)習(xí)律。學(xué)習(xí)律。 一、預(yù)備知識（一、預(yù)備知識（9）8 8、 學(xué)習(xí)律學(xué)習(xí)律 這種方法是用已知例子作為教師對網(wǎng)絡(luò)的這種方法是用已知例子作為教師對網(wǎng)絡(luò)的權(quán)進(jìn)行學(xué)習(xí)。其規(guī)則是通過神經(jīng)網(wǎng)絡(luò)理想輸出權(quán)進(jìn)行學(xué)習(xí)。其規(guī)則是通過神經(jīng)網(wǎng)絡(luò)理想輸出和實際輸出之間的誤差來修正網(wǎng)

8、絡(luò)的權(quán)值。在和實際輸出之間的誤差來修正網(wǎng)絡(luò)的權(quán)值。在很多神經(jīng)網(wǎng)絡(luò)中，都采用了這種學(xué)習(xí)方法，如很多神經(jīng)網(wǎng)絡(luò)中，都采用了這種學(xué)習(xí)方法，如PerceptronPerceptron， AdalineAdaline和和Back-propagationBack-propagation算法等。算法等。 一、預(yù)備知識（一、預(yù)備知識（10）9 9、有監(jiān)督的學(xué)習(xí)、有監(jiān)督的學(xué)習(xí) 有監(jiān)督的學(xué)習(xí)就是根據(jù)這若干組訓(xùn)練樣本有監(jiān)督的學(xué)習(xí)就是根據(jù)這若干組訓(xùn)練樣本，對人工神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，利用學(xué)習(xí)系統(tǒng)的誤差，對人工神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，利用學(xué)習(xí)系統(tǒng)的誤差（ EJEJ ，為期望輸出與實際輸出之差），為期望輸出與實際輸出之差），不斷校正

9、不斷校正學(xué)習(xí)系統(tǒng)的行為（即突觸權(quán)值），使誤差盡可能地小，學(xué)習(xí)系統(tǒng)的行為（即突觸權(quán)值），使誤差盡可能地小，從而從而估計出神經(jīng)元函數(shù)：估計出神經(jīng)元函數(shù)：f : xf : xy y。 所以，監(jiān)督學(xué)習(xí)的最終任務(wù)，就是通過使系統(tǒng)誤所以，監(jiān)督學(xué)習(xí)的最終任務(wù)，就是通過使系統(tǒng)誤差盡可能地小，不斷地調(diào)整突觸權(quán)值，最終求出神經(jīng)差盡可能地小，不斷地調(diào)整突觸權(quán)值，最終求出神經(jīng)元函數(shù)元函數(shù)f f。)y,x(ii一、預(yù)備知識（一、預(yù)備知識（11）1010、監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)的區(qū)別：、監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)的區(qū)別： 在監(jiān)督學(xué)習(xí)中，假定我們知道每一輸在監(jiān)督學(xué)習(xí)中，假定我們知道每一輸入對應(yīng)的期望輸出，并利用學(xué)習(xí)系統(tǒng)的入對應(yīng)的期

10、望輸出，并利用學(xué)習(xí)系統(tǒng)的誤差，不斷校正系統(tǒng)的行為；誤差，不斷校正系統(tǒng)的行為； 在非監(jiān)督學(xué)習(xí)中，我們不知道學(xué)習(xí)在非監(jiān)督學(xué)習(xí)中，我們不知道學(xué)習(xí)系統(tǒng)的期望輸出。系統(tǒng)的期望輸出。11、前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖 特點(diǎn)：各神經(jīng)元接受前一級輸入，并輸出特點(diǎn)：各神經(jīng)元接受前一級輸入，并輸出到下一級，無反饋。輸入、輸出節(jié)點(diǎn)稱為可見到下一級，無反饋。輸入、輸出節(jié)點(diǎn)稱為可見層，其它中間層稱為隱層。層，其它中間層稱為隱層。輸出隱層輸入節(jié)點(diǎn)計算單元1212、監(jiān)督學(xué)習(xí)流圖、監(jiān)督學(xué)習(xí)流圖 其關(guān)鍵之處，就是將教師信號加入到了網(wǎng)絡(luò)中其關(guān)鍵之處，就是將教師信號加入到了網(wǎng)絡(luò)中.環(huán)境教師學(xué)習(xí)系統(tǒng)實際響應(yīng)誤差信

11、號應(yīng)有響應(yīng)描述環(huán)境狀態(tài)的信號+-二、有監(jiān)督的函數(shù)估計二、有監(jiān)督的函數(shù)估計(1) 在學(xué)習(xí)之前，神經(jīng)網(wǎng)絡(luò)猶如一個黑盒子，在學(xué)習(xí)之前，神經(jīng)網(wǎng)絡(luò)猶如一個黑盒子，我們能做的，就是可以給它加一定的輸入我們能做的，就是可以給它加一定的輸入 XiXi，再給每個輸入，再給每個輸入XiXi提供一個期望輸出提供一個期望輸出YiYi，即即“教師信號教師信號”，從而形成了一系列的樣本，從而形成了一系列的樣本對（對（Xi,YiXi,Yi）。）。 有監(jiān)督的函數(shù)估計，就是通過包含有監(jiān)督的函數(shù)估計，就是通過包含“教教師信號師信號”的樣本對（的樣本對（Xi,YiXi,Yi）, ,求出神經(jīng)網(wǎng)絡(luò)求出神經(jīng)網(wǎng)絡(luò)的傳輸函數(shù)的傳輸函數(shù) f

12、f 的近似表達(dá)式。的近似表達(dá)式。二、有監(jiān)督的函數(shù)估計二、有監(jiān)督的函數(shù)估計(2) 采用的方法，就是利用誤差函數(shù)采用的方法，就是利用誤差函數(shù)EJEJ（期望輸出與實際輸出的差值），不斷調(diào)整（期望輸出與實際輸出的差值），不斷調(diào)整ANNANN的突觸權(quán)值，使的突觸權(quán)值，使EJEJ達(dá)到最小，從而達(dá)達(dá)到最小，從而達(dá)到對到對ANNANN函數(shù)的估計。函數(shù)的估計。 二、有監(jiān)督的函數(shù)估計二、有監(jiān)督的函數(shù)估計(3)已知隨機(jī)樣本矢量對已知隨機(jī)樣本矢量對通過實驗可以測出實際輸出通過實驗可以測出實際輸出 求出求出EJ= - EJ= - 然后通過使然后通過使EJEJ最小而修改突觸權(quán)值來求出最小而修改突觸權(quán)值來求出f:f: 其中

13、其中F F是要估計的是要估計的ANNANN函數(shù)；函數(shù)； 是輸入空間；是輸入空間； 是輸出空間是輸出空間。 11,),(,)mmx yxy（yi yi yi:fxynixxRpiyyR三、監(jiān)督學(xué)習(xí)就是有效的訓(xùn)練三、監(jiān)督學(xué)習(xí)就是有效的訓(xùn)練 有效訓(xùn)練是指，對具有記憶功能的系統(tǒng)，有效訓(xùn)練是指，對具有記憶功能的系統(tǒng)，當(dāng)使用訓(xùn)練樣本對其進(jìn)行學(xué)習(xí)之后，系統(tǒng)能夠當(dāng)使用訓(xùn)練樣本對其進(jìn)行學(xué)習(xí)之后，系統(tǒng)能夠記住所學(xué)的方法，并能處理類似的問題。記住所學(xué)的方法，并能處理類似的問題。 對對ANN進(jìn)行有監(jiān)督的學(xué)習(xí)就是有記憶功能進(jìn)行有監(jiān)督的學(xué)習(xí)就是有記憶功能的系統(tǒng)。也就是說，使用期望輸出與實際輸出的系統(tǒng)。也就是說，使用期望輸

14、出與實際輸出的誤差不斷校正其突觸權(quán)值，最終的結(jié)果，就的誤差不斷校正其突觸權(quán)值，最終的結(jié)果，就是系統(tǒng)具備了一定的功能，訓(xùn)練取得了一定的是系統(tǒng)具備了一定的功能，訓(xùn)練取得了一定的成效。就像巴普洛夫條件反射試驗一樣成效。就像巴普洛夫條件反射試驗一樣。四、已知類隸屬度的監(jiān)督學(xué)習(xí)（四、已知類隸屬度的監(jiān)督學(xué)習(xí)（1） 就是用已知的模式類的隸屬度函數(shù)，就是用已知的模式類的隸屬度函數(shù)，來調(diào)整系統(tǒng)的突觸權(quán)值，從而達(dá)到學(xué)習(xí)的來調(diào)整系統(tǒng)的突觸權(quán)值，從而達(dá)到學(xué)習(xí)的目的。目的。 比如，在噪聲隨機(jī)競爭學(xué)習(xí)定律中，比如，在噪聲隨機(jī)競爭學(xué)習(xí)定律中，由于沒有使用類成員信息校正突觸矢量，由于沒有使用類成員信息校正突觸矢量，所以是非監(jiān)

15、督學(xué)習(xí)。所以是非監(jiān)督學(xué)習(xí)。四、已知類隸屬度的監(jiān)督學(xué)習(xí)（四、已知類隸屬度的監(jiān)督學(xué)習(xí)（2）噪聲隨機(jī)競爭學(xué)習(xí)定律為噪聲隨機(jī)競爭學(xué)習(xí)定律為: 它實際上就是在隨機(jī)競爭學(xué)習(xí)中加入了噪聲它實際上就是在隨機(jī)競爭學(xué)習(xí)中加入了噪聲ni。其。其規(guī)律為：若第規(guī)律為：若第j個神經(jīng)元獲勝，則學(xué)新忘舊；若第個神經(jīng)元獲勝，則學(xué)新忘舊；若第j個個神經(jīng)元失敗，則不學(xué)新也不忘舊。神經(jīng)元失敗，則不學(xué)新也不忘舊。 其不足是：未使用已知模式類其不足是：未使用已知模式類X的隸屬度信息。的隸屬度信息。 如果如果使用了類成員信息校正突觸矢量，就成了監(jiān)使用了類成員信息校正突觸矢量，就成了監(jiān)督學(xué)習(xí)。督學(xué)習(xí)。因為是監(jiān)督學(xué)習(xí)，有因為是監(jiān)督學(xué)習(xí)，有“教

16、師教師”信號，我們預(yù)信號，我們預(yù)先就知道其期望分類，所以實行了獎懲機(jī)制：若分對，先就知道其期望分類，所以實行了獎懲機(jī)制：若分對，則獎勵；分錯則懲罰。則獎勵；分錯則懲罰。()()jjijjmSySxmn四、已知類隸屬度的監(jiān)督學(xué)習(xí)（四、已知類隸屬度的監(jiān)督學(xué)習(xí)（3） 而對應(yīng)的監(jiān)督隨機(jī)競爭學(xué)習(xí)定律為：而對應(yīng)的監(jiān)督隨機(jī)競爭學(xué)習(xí)定律為： 增強(qiáng)函數(shù)為：增強(qiáng)函數(shù)為： 若若x x屬于屬于Dj,Dj,上式中第一項為上式中第一項為+1+1，說明是分對了；，說明是分對了；若若x x不屬于不屬于Dj,Dj,上式中第二項為上式中第二項為-1-1，說明是分錯了。獎，說明是分錯了。獎勵正確的模式分類勵正確的模式分類1 1，懲

17、罰錯誤的模式分類為，懲罰錯誤的模式分類為1 1，從而調(diào)整權(quán)值，達(dá)到學(xué)習(xí)的目的。從而調(diào)整權(quán)值，達(dá)到學(xué)習(xí)的目的。( )()jjjjjjmr x SyxmnjijDDijrII五、感知器學(xué)習(xí)算法（五、感知器學(xué)習(xí)算法（1）1 1、感知器拓?fù)浣Y(jié)構(gòu)、感知器拓?fù)浣Y(jié)構(gòu) bpbjb1a1aianak1aknakibk1bkjbkp 11 1n 1i j1 nj npLALBW五、感知器學(xué)習(xí)算法（五、感知器學(xué)習(xí)算法（2）2、感知器學(xué)習(xí)、感知器學(xué)習(xí) 網(wǎng)絡(luò)用誤差修正規(guī)則（網(wǎng)絡(luò)用誤差修正規(guī)則（ 規(guī)則）學(xué)習(xí)，訓(xùn)練樣本對規(guī)則）學(xué)習(xí)，訓(xùn)練樣本對為（為（ ， ）k=1,2,m.第第k個模式對應(yīng)的輸入個模式對應(yīng)的輸入向量向量 =

18、（ , ）為模擬值模式，）為模擬值模式，輸出向量輸出向量 =（ , , ）為二值模式。）為二值模式。網(wǎng)絡(luò)中，網(wǎng)絡(luò)中， 層的層的n個單元對應(yīng)模式個單元對應(yīng)模式 的的n個分量個分量 ， 層的層的p個單元對應(yīng)模式個單元對應(yīng)模式 的的P個分量個分量. 所以，感知器最突出的一個特點(diǎn)便是：輸入是所以，感知器最突出的一個特點(diǎn)便是：輸入是模擬向量，輸出是二值模式。模擬向量，輸出是二值模式。 AkBkAkak1ak2aknBkbk1bk2bkpLAAkLBBk五、感知器學(xué)習(xí)算法（五、感知器學(xué)習(xí)算法（3） 由于由于 層中每個單元只取值層中每個單元只取值+1或或-1，因此可將它視作輸入模式因此可將它視作輸入模式 (

19、k=1,2m)兩個可能的分類。在學(xué)習(xí)開始兩個可能的分類。在學(xué)習(xí)開始 時，由各連時，由各連接權(quán)決定的超平面隨機(jī)地被接權(quán)決定的超平面隨機(jī)地被 放到放到N維空間。維空間。隨著學(xué)習(xí)的進(jìn)行，這個超平面漸漸移動，直隨著學(xué)習(xí)的進(jìn)行，這個超平面漸漸移動，直到它能將兩類模式恰當(dāng)劃分為止。到它能將兩類模式恰當(dāng)劃分為止。AkLB五、感知器學(xué)習(xí)算法（五、感知器學(xué)習(xí)算法（4）3 3、算法過程、算法過程 從隨機(jī)的權(quán)值開始；從隨機(jī)的權(quán)值開始； 反復(fù)應(yīng)用每個訓(xùn)練樣例到感知器，反復(fù)應(yīng)用每個訓(xùn)練樣例到感知器，只要它誤分樣例，就修改感知器的權(quán)值；只要它誤分樣例，就修改感知器的權(quán)值； 重復(fù)這個過程，直到感知器正確分重復(fù)這個過程，直到

20、感知器正確分類所有的訓(xùn)練樣例為止。類所有的訓(xùn)練樣例為止。五、感知器學(xué)習(xí)算法（五、感知器學(xué)習(xí)算法（5）4 4、具體算法：、具體算法：（1 1）初始化連接權(quán)。將）初始化連接權(quán)。將 層到層到 層的連接權(quán)層的連接權(quán) , ,i=1,2,i=1,2,n,jn,j=1,2,=1,2,p,p及及 層單元閾值層單元閾值 j=1,2,j=1,2,p p賦予賦予-1-1，+1+1間的隨機(jī)值。間的隨機(jī)值。 (2)(2)對每一模式對（對每一模式對（ ， ）k=1,k=1,m,m,完成下面操作：完成下面操作： A A、將、將 的值送到的值送到 層單元，層單元， 層單元的輸出之加層單元的輸出之加權(quán)和作為權(quán)和作為 層單元的輸

21、入，計算層單元的輸入，計算 層單元的輸出：層單元的輸出： LALBLB ij jAkBkAkLALALBLB)jin1iij(fjab 五、感知器學(xué)習(xí)算法（五、感知器學(xué)習(xí)算法（6）上式中上式中j=1p，f(x)為雙極階躍函數(shù)為雙極階躍函數(shù) B、計算、計算 層單元希望輸出與實際輸出間誤差層單元希望輸出與實際輸出間誤差 1010( )xxfxLB,1.kjjjjpdbb五、感知器學(xué)習(xí)算法（五、感知器學(xué)習(xí)算法（7）C C、調(diào)整、調(diào)整 層單元與層單元與 層單元之間的連接權(quán)層單元之間的連接權(quán)式中式中i=1i=1n,jn,j=1=1p,0 1p,0 1(3)(3)重復(fù)步驟（重復(fù)步驟（2 2）直到誤差）直到

22、誤差 （j=1j=1p p且且k=1k=1m m）變得足夠小或變?yōu)椋┳兊米銐蛐』蜃優(yōu)? 0為止。為止。ijija dLALBjd五、感知器學(xué)習(xí)算法（五、感知器學(xué)習(xí)算法（8）5 5、說明：、說明： 感知器算法，如果輸入模式是線性感知器算法，如果輸入模式是線性可分的，學(xué)習(xí)后能對輸入模式正確分類；可分的，學(xué)習(xí)后能對輸入模式正確分類； 如果輸入模式本身是線性不可分的，如果輸入模式本身是線性不可分的，那么學(xué)習(xí)后的網(wǎng)絡(luò)不能對輸入模式正確那么學(xué)習(xí)后的網(wǎng)絡(luò)不能對輸入模式正確分類。分類。六、六、LMSLMS算法算法(1)(1) 1 1、LMSLMS就是最小均方誤差算法。它就是最小均方誤差算法。它采用的準(zhǔn)則函數(shù)是

23、均方誤差函數(shù)。采用的準(zhǔn)則函數(shù)是均方誤差函數(shù)。 它通過調(diào)整單個神經(jīng)元的權(quán)值，以它通過調(diào)整單個神經(jīng)元的權(quán)值，以使誤差為最小，其數(shù)學(xué)基礎(chǔ)是誤差曲面使誤差為最小，其數(shù)學(xué)基礎(chǔ)是誤差曲面上的梯度下降。上的梯度下降。 其學(xué)習(xí)過程也是根據(jù)教師信號計算其學(xué)習(xí)過程也是根據(jù)教師信號計算其均方誤差，由均方誤差調(diào)整突觸向量，其均方誤差，由均方誤差調(diào)整突觸向量，如此反復(fù)，最后達(dá)到學(xué)習(xí)的目的。如此反復(fù)，最后達(dá)到學(xué)習(xí)的目的。六、六、LMSLMS算法算法(2)(2)2 2、權(quán)值調(diào)整公式：、權(quán)值調(diào)整公式：其中其中 為下一次權(quán)值向量的取值，為下一次權(quán)值向量的取值， 為現(xiàn)為現(xiàn)在的權(quán)向量，在的權(quán)向量， 為現(xiàn)在的輸入向量，為現(xiàn)在的輸入向

24、量， 為為現(xiàn)在的誤差，現(xiàn)在的誤差， 為系數(shù)，為系數(shù)， 為輸入向量的模為輸入向量的模. .2101KkkKaakXX0KKKyyK1KKXKKX七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（1） 1 1、定義：反向傳播神經(jīng)網(wǎng)絡(luò)、定義：反向傳播神經(jīng)網(wǎng)絡(luò)（Back-Propagation NetworksBack-Propagation Networks）簡稱）簡稱BPBP模型。由于在這一神經(jīng)網(wǎng)絡(luò)模型中引入模型。由于在這一神經(jīng)網(wǎng)絡(luò)模型中引入了中間隱含神經(jīng)元層，所以，標(biāo)準(zhǔn)的了中間隱含神經(jīng)元層，所以，標(biāo)準(zhǔn)的BPBP模型由三個神經(jīng)元層次組成，分別為輸模型由三個神經(jīng)元層次組成，分別為輸入層、隱層和輸出層。各層

25、次之間的神入層、隱層和輸出層。各層次之間的神經(jīng)元形成全互連接，各層次內(nèi)的神經(jīng)元經(jīng)元形成全互連接，各層次內(nèi)的神經(jīng)元之間沒有連接。之間沒有連接。七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（2） 2 2、BPBP算法是通過使代價函數(shù)最小化的過算法是通過使代價函數(shù)最小化的過程來完成輸入到輸出的映射。程來完成輸入到輸出的映射。 代價函數(shù)有多種，但通常在代價函數(shù)有多種，但通常在BPBP算法中，將算法中，將代價函數(shù)定義為期望輸出與實際輸出的誤差平代價函數(shù)定義為期望輸出與實際輸出的誤差平方和。方和。 在本算法中，將代價函數(shù)（期望輸出與實在本算法中，將代價函數(shù)（期望輸出與實際輸出的誤差平方和）用與其等價的一般化

26、誤際輸出的誤差平方和）用與其等價的一般化誤差來代替，從而減小了運(yùn)算量。差來代替，從而減小了運(yùn)算量。七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（3） 3 3、BPBP算法分成兩個階段算法分成兩個階段 第一階段：正向傳播。第一階段：正向傳播。 在正向傳播過程中，輸入信息從輸在正向傳播過程中，輸入信息從輸入層經(jīng)隱層逐層處理，并傳向輸出層，入層經(jīng)隱層逐層處理，并傳向輸出層，獲得各個單元的實際輸出，每一層神經(jīng)獲得各個單元的實際輸出，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（4） 第二階段：反向傳播。第二階段：反向傳播。 如果

27、在輸出層未能得到期望的輸出，如果在輸出層未能得到期望的輸出，則轉(zhuǎn)入反向傳播，計算出輸出層各單元則轉(zhuǎn)入反向傳播，計算出輸出層各單元的一般化誤差，然后將這些誤差信號沿的一般化誤差，然后將這些誤差信號沿原來的連接通路返回，以獲得調(diào)整各連原來的連接通路返回，以獲得調(diào)整各連接權(quán)所需的各單元參考誤差，通過修改接權(quán)所需的各單元參考誤差，通過修改各層神經(jīng)元的權(quán)值，使得誤差信號最小。各層神經(jīng)元的權(quán)值，使得誤差信號最小。七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（5） 4 4、BPBP網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu) bpbib1a1ahanak1aknakibk1bkjbkp 11 1n pqc1c1cqcjv11vn

28、pv1h七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（6）5 5、BPBP算法：算法： （1 1）初始化。將網(wǎng)絡(luò)中所有權(quán)值及閾值賦予（）初始化。將網(wǎng)絡(luò)中所有權(quán)值及閾值賦予（-1-1，+1+1）之間的隨機(jī)值；）之間的隨機(jī)值； （2 2）對于樣本模式對（）對于樣本模式對（ , , ）（）（k=1k=1m m）進(jìn)行如下操作：進(jìn)行如下操作： A A）將）將 的值送到輸入層單元，通過連接權(quán)矩的值送到輸入層單元，通過連接權(quán)矩陣陣V V送到隱層單元，產(chǎn)生隱層單元新的激活值送到隱層單元，產(chǎn)生隱層單元新的激活值 式中式中i=1i=1p,p,f f為為S S型函數(shù)：型函數(shù)：KAKCKA1nih ihihfbva 1

29、1xf xe七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（7） B)B)計算輸出層單元的激活值計算輸出層單元的激活值 C)C)計算輸出層單元的計算輸出層單元的一般化誤差一般化誤差 式中式中j=1j=1q, q, 為輸出層單元為輸出層單元j j的期望的期望輸出；輸出；11.pjjijjifjqCbr1kjjjjjdcccckjc七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（8） D)計算隱含層單元對于每個計算隱含層單元對于每個 的誤差的誤差 式中式中i=1p;上式相當(dāng)于將輸出層單元的誤差反上式相當(dāng)于將輸出層單元的誤差反向傳播到隱含層；向傳播到隱含層； E)調(diào)整隱含層到輸出層的連接權(quán)調(diào)整隱含層到輸出層的連接權(quán) 為學(xué)習(xí)率，為學(xué)習(xí)率，0 1.jd11pjiiijjjebbd1. ,1.ijijipjqb d七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（9） F)F)調(diào)整輸入層到隱含層的連接權(quán)調(diào)整輸入層到隱含層的連接權(quán)