第十九章神經(jīng)網(wǎng)絡(luò)模型

1、第十九章第十九章 神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型一個(gè)引例一個(gè)引例 1981年生物學(xué)家格若根（W.Grogan）和維什（W.Wirth）發(fā)現(xiàn)了兩類(lèi)蚊子(或飛蠓midges)他們測(cè)量了這兩類(lèi)蚊子每個(gè)個(gè)體的翼長(zhǎng)和觸角長(zhǎng)，數(shù)據(jù)如下：翼長(zhǎng) 觸角長(zhǎng) 類(lèi)別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼長(zhǎng) 觸角長(zhǎng) 類(lèi)別1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96

2、1.30 Apf1.74 1.36 Af問(wèn)題：現(xiàn)抓到三只新的蚊子，它們的觸角長(zhǎng)和翼長(zhǎng)分別為(l.24,1.80); (l.28，1.84)；（1.40，2.04）問(wèn)它們應(yīng)分別屬于哪一個(gè)種類(lèi)？方法： 把翼長(zhǎng)作縱坐標(biāo)，觸角長(zhǎng)作橫坐標(biāo)；那么每個(gè)蚊子的翼長(zhǎng)和觸角決定了坐標(biāo)平面的一個(gè)點(diǎn).其中 6個(gè)蚊子屬于 APf類(lèi)；用黑點(diǎn)“”表示；9個(gè)蚊子屬Af類(lèi)；用小圓圈“。”表示，得到的結(jié)果見(jiàn)下圖：圖 飛蠓的觸角長(zhǎng)和翼長(zhǎng) 根據(jù)圖示，可考慮作一直線，就可將兩類(lèi)飛蠓分開(kāi)。 例如；取A（1.44，2.10）和 B(1.10，1.16)，過(guò)A、B兩點(diǎn)作一條直線： y 1.47x - 0.017其中x表示觸角長(zhǎng)； y表示翼長(zhǎng)

3、 分類(lèi)規(guī)則： 設(shè)一個(gè)蚊子的數(shù)據(jù)為（x, y） 如果y1.47x - 0.017，則判斷蚊子屬Apf類(lèi) 如果y1.47x - 0.017；則判斷蚊子屬Af類(lèi) 分類(lèi)直線圖 分類(lèi)結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類(lèi)；(1.40，2.04）屬于 Apf類(lèi)缺陷：根據(jù)什么原則確定分類(lèi)直線？ 若取A=(1.46,2.10), B=(1.1,1.6)不變，則分類(lèi)直線變?yōu)閥=1.39x+0.071分類(lèi)結(jié)果變?yōu)椋?(1.24,1.80)， (1.40,2.04) 屬于Apf類(lèi)； (1.28,1.84)屬于Af類(lèi) 哪一分類(lèi)直線才是正確的呢？ 因此如何來(lái)確定這個(gè)判別直線是一個(gè)值得研究的問(wèn)題

4、一般地講，應(yīng)該充分利用已知的數(shù)據(jù)信息來(lái)確定判別直線再如，如下的情形已經(jīng)不能用分類(lèi)直線的辦法：新思路：將問(wèn)題看作一個(gè)系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類(lèi)型作為輸出，研究輸入與輸出的關(guān)系。神經(jīng)網(wǎng)絡(luò)模型的生物學(xué)背景神經(jīng)網(wǎng)絡(luò)模型的生物學(xué)背景 人類(lèi)大腦大約包含有10111012個(gè)神經(jīng)元，每個(gè)神經(jīng)元與大約103105個(gè)其它神經(jīng)元相連接，構(gòu)成一個(gè)極為龐大而復(fù)雜的網(wǎng)絡(luò)，即生物神經(jīng)網(wǎng)絡(luò)。 神經(jīng)生理學(xué)和神經(jīng)神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，解剖學(xué)的研究結(jié)果表明，神經(jīng)元是腦組織的基本神經(jīng)元是腦組織的基本單元，是神經(jīng)系統(tǒng)結(jié)構(gòu)單元，是神經(jīng)系統(tǒng)結(jié)構(gòu)與功能的單位。與功能的單位。生物神經(jīng)元在結(jié)構(gòu)上由：生物神經(jīng)元在結(jié)構(gòu)上由：

5、 細(xì)胞體細(xì)胞體(Cell body) (Cell body) 樹(shù)突樹(shù)突(Dendrite)(Dendrite) 軸突軸突(Axon) (Axon) 突觸突觸(Synapse)(Synapse)四部分組成。用來(lái)完成神經(jīng)四部分組成。用來(lái)完成神經(jīng)元間信息的接收、傳遞和處元間信息的接收、傳遞和處理。理。生物神經(jīng)元的信息處理機(jī)理：生物神經(jīng)元的信息處理機(jī)理：神經(jīng)元間信息的產(chǎn)生、傳神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動(dòng)。遞和處理是一種電化學(xué)活動(dòng)。信息輸入信息輸入信息傳播與處理信息傳播與處理信息傳播與處理（整合）信息傳播與處理（整合）信息傳播與處理結(jié)果：興奮與抑制信息傳播與處理結(jié)果：興奮與抑制信息輸出

6、信息輸出 突觸是神經(jīng)元之間相互連接的接口部分，即一個(gè)神經(jīng)元的神經(jīng)末梢與另一個(gè)神經(jīng)元的樹(shù)突相接觸的交界面，位于神經(jīng)元的神經(jīng)末梢尾端。突觸是軸突的終端。 神經(jīng)元的功能特性神經(jīng)元的功能特性 （1）時(shí)空整合功能。 （2）神經(jīng)元的動(dòng)態(tài)極化性。 （3）興奮與抑制狀態(tài)。 （4）結(jié)構(gòu)的可塑性。 （5）脈沖與電位信號(hào)的轉(zhuǎn)換。 （6）突觸延期和不應(yīng)期。 （7）學(xué)習(xí)、遺忘和疲勞。生物神經(jīng)網(wǎng)絡(luò)生物神經(jīng)網(wǎng)絡(luò): : 由多個(gè)生物神經(jīng)元以確定方式和拓?fù)浣Y(jié)構(gòu)相互連接由多個(gè)生物神經(jīng)元以確定方式和拓?fù)浣Y(jié)構(gòu)相互連接即形成生物神經(jīng)網(wǎng)絡(luò)。即形成生物神經(jīng)網(wǎng)絡(luò)。 生物神經(jīng)網(wǎng)絡(luò)的功能不是單個(gè)神經(jīng)元信息處理功生物神經(jīng)網(wǎng)絡(luò)的功能不是單個(gè)神經(jīng)元信息

7、處理功能的簡(jiǎn)單疊加能的簡(jiǎn)單疊加, ,而且神經(jīng)元之間的突觸連接方式和連接而且神經(jīng)元之間的突觸連接方式和連接強(qiáng)度也是不同的并且具有可塑性（這點(diǎn)非常重要），強(qiáng)度也是不同的并且具有可塑性（這點(diǎn)非常重要），這使神經(jīng)網(wǎng)絡(luò)在宏觀呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處這使神經(jīng)網(wǎng)絡(luò)在宏觀呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力。理能力。 人工神經(jīng)網(wǎng)絡(luò)是集腦科學(xué)、神經(jīng)心理學(xué)和信息科學(xué)等多學(xué)科的交叉研究領(lǐng)域，屬于仿生學(xué)的一部分，是近年來(lái)高科技領(lǐng)域的一個(gè)研究熱點(diǎn)。 它的研究目標(biāo)是通過(guò)研究人腦的組成機(jī)理和思維方式，探索人類(lèi)智能的奧秘，進(jìn)而通過(guò)模擬人腦的結(jié)構(gòu)和工作模式，使機(jī)器具有類(lèi)似人類(lèi)的智能。已在模式識(shí)別、機(jī)器學(xué)習(xí)、計(jì)算機(jī)圖像處理、專(zhuān)

8、家系統(tǒng)等各個(gè)方面得到廣泛的應(yīng)用，成為人工智能研究中的活躍領(lǐng)域。人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元的人工模型（神經(jīng)元的人工模型（ MP模型模型）人工神經(jīng)網(wǎng)絡(luò)的組成與結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的組成與結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的組成人工神經(jīng)網(wǎng)絡(luò)的組成 人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元經(jīng)廣泛互連而組成的人工網(wǎng)絡(luò)，用來(lái)模擬腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。而這些處理單元我們把它稱(chēng)作人工神經(jīng)元人工神經(jīng)元。 人工神經(jīng)網(wǎng)絡(luò)可看成是以人工神經(jīng)元為節(jié)點(diǎn)，用有向加用有向加權(quán)弧連接起來(lái)的有向圖。權(quán)弧連接起來(lái)的有向圖。在此有向圖中，人工神經(jīng)元就是對(duì)生物神經(jīng)元的模擬，而有向弧則是軸突突觸樹(shù)突對(duì)的模擬。 有向弧的權(quán)值表示相互連接的兩個(gè)人工神經(jīng)元間相互作有向弧

9、的權(quán)值表示相互連接的兩個(gè)人工神經(jīng)元間相互作用的強(qiáng)弱。用的強(qiáng)弱。 x1 x1 w1j o oj j wij o oj j xi xi wnj xn xn (a)多輸入多輸入單輸出單輸出 (b)輸入加權(quán)輸入加權(quán) x1 w1j x1 w1j wij o oj j wij o oj j xI xI f wnj wnj xn xn (c)輸入加權(quán)求和輸入加權(quán)求和 (d)輸入輸入-輸出函數(shù)輸出函數(shù)處理單元（人工神經(jīng)元人工神經(jīng)元）結(jié)構(gòu)示意圖人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)更一般的人工神經(jīng)元更一般的人工神經(jīng)元示意圖（示意圖（MPMP模型）模型）稱(chēng)為作用函數(shù)或激發(fā)函數(shù)稱(chēng)為作用函數(shù)或激發(fā)函數(shù)作用函數(shù)作用函數(shù)求

10、和操作求和操作1( )()niijijijyf xfw uijnjjiiuwx1 對(duì)于第i個(gè)處理單元（神經(jīng)元）來(lái)說(shuō)，假設(shè)來(lái)自其他處理單元（神經(jīng)元）j的信息為uj，它們與本處理單元的互相作用強(qiáng)度即連接權(quán)值為wji, j=1,2,n,處理單元的內(nèi)部閾值為i。那么本處理單元（神經(jīng)元）的輸入為從而處理單元的輸出為)(1ijnjjiiuwfyf函數(shù)決定節(jié)點(diǎn)（神經(jīng)元）的輸出。人工神經(jīng)元的工作過(guò)程人工神經(jīng)元的工作過(guò)程, 處理單元的凈輸入為injjjiuw1njjjiuw1 )(ixf i )(ixf i 信息輸入信息輸入 )(ixf i 信息傳播與處理：加權(quán)求和信息傳播與處理：加權(quán)求和 )(ixf i 信息

11、傳播信息傳播 )(ixf i 信息傳播與處理：非線性信息傳播與處理：非線性 )(ixf i 信息輸出信息輸出(1)(1)閾值型傳遞函數(shù)，如：閾值型傳遞函數(shù)，如： 閾值型函數(shù)又稱(chēng)階躍函數(shù)，它表示激活值x和其輸出f(x)之間的關(guān)系。閾值型函數(shù)為激發(fā)函數(shù)的神經(jīng)元是一種最簡(jiǎn)單的人工神經(jīng)元，采用階躍作用函數(shù)的神經(jīng)元，稱(chēng)為閾值邏輯單元。 1,0( )1,0 xf xx1,0( )0,0 xf xx f (x) 1.0 x0(2) S(2) S型傳遞函數(shù)型傳遞函數(shù) 對(duì)稱(chēng)型對(duì)稱(chēng)型SigmoidSigmoid函數(shù)函數(shù) xxeexf11)(0,11)(xxeexf或或S型函數(shù)是一個(gè)有最大輸出值的非線性函數(shù)，其輸出

12、值是在某個(gè)范圍內(nèi)連續(xù)取值的。以它為傳遞函數(shù)的神經(jīng)元也具有飽和特性，是最常用的一類(lèi)激發(fā)函數(shù)。 非非對(duì)稱(chēng)型對(duì)稱(chēng)型SigmoidSigmoid函數(shù)函數(shù) xexf11)(或或0,11)(xexf(3) (3) 分段線性轉(zhuǎn)移函數(shù)分段線性轉(zhuǎn)移函數(shù)（a a）線性作用函數(shù)：輸出等于輸入，即）線性作用函數(shù)：輸出等于輸入，即 xxfy)(（b b）飽和線性作用函數(shù)）飽和線性作用函數(shù) 110010)(xxxxxfy（c c）對(duì)稱(chēng)飽和線性作用函數(shù)）對(duì)稱(chēng)飽和線性作用函數(shù) 111111)(xxxxxfy 線性分段函數(shù)可以看作是一種最簡(jiǎn)單的非線性函數(shù)，它的特點(diǎn)是將函數(shù)的值域限制在一定的范圍內(nèi)，其輸入、輸出之間在一定范圍內(nèi)滿(mǎn)

13、足線性關(guān)系，一直延續(xù)到輸出為最大域值為止。但當(dāng)達(dá)到最大值后，輸出就不再增大。(4) (4) 高斯函數(shù)高斯函數(shù) 2221( )2xf xe該函數(shù)也是常用的一類(lèi)激發(fā)函數(shù)。由多個(gè)神經(jīng)元組成的單層網(wǎng)絡(luò)結(jié)構(gòu)圖示bi為第i個(gè)（i=1,2, ,s）神經(jīng)元的閾值，即MP模型的閾值量i由多個(gè)單層（2層）網(wǎng)絡(luò)組成的多層網(wǎng)絡(luò)圖示單單純純層層次次型型結(jié)結(jié)構(gòu)構(gòu)神經(jīng)網(wǎng)絡(luò)模型的典型拓?fù)浣Y(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)模型的典型拓?fù)浣Y(jié)構(gòu) u y 神經(jīng)元分層排列，順序連接。由輸入層施加輸入信息，通過(guò)中間各層，加權(quán)后傳遞到輸出層后輸出。每層的神經(jīng)元只接受前一層神經(jīng)元的輸入，各神經(jīng)元之間不存在反饋。 感知器、BP神經(jīng)網(wǎng)絡(luò)和徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)都屬于這種

14、類(lèi)型。層層內(nèi)內(nèi)有有連連接接層層次次型型結(jié)結(jié)構(gòu)構(gòu) 神經(jīng)網(wǎng)絡(luò)中有的在同一層中的各神經(jīng)元相互有連接,通過(guò)層內(nèi)神經(jīng)元的相互結(jié)合，可以實(shí)現(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興奮機(jī)制，這樣可以限制每層內(nèi)能同時(shí)動(dòng)作的神經(jīng)元數(shù)，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每組作為一個(gè)整體來(lái)動(dòng)作。輸輸出出層層到到輸輸入入層層有有連連接接反反饋饋 網(wǎng)絡(luò)結(jié)構(gòu)中，只在輸出層到輸入層存在反饋，即每一個(gè)輸入節(jié)點(diǎn)都有可能接受來(lái)自外部的輸入和來(lái)自輸出神經(jīng)元的反饋。這種模式可用來(lái)存儲(chǔ)某種模式序列，如神經(jīng)認(rèn)知機(jī)即屬于此類(lèi)，也可以用于動(dòng)態(tài)時(shí)間序列過(guò)程的神經(jīng)網(wǎng)絡(luò)建模。全全互互連連型型結(jié)結(jié)構(gòu)構(gòu) 局局部部互互連連型型網(wǎng)網(wǎng)絡(luò)絡(luò)結(jié)結(jié)構(gòu)構(gòu) 網(wǎng)絡(luò)模型中，任意

15、兩個(gè)神經(jīng)元之間都可能有相互連接的關(guān)系。其中，有的神經(jīng)元之間是雙向的，有的是單向的。 Hopfield網(wǎng)絡(luò)、Boltzman機(jī)網(wǎng)絡(luò)屬于這一類(lèi)。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò)能夠通過(guò)對(duì)樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出，這一過(guò)程稱(chēng)為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動(dòng)態(tài)調(diào)整。學(xué)習(xí)是改變各神經(jīng)元連接權(quán)值的有效方法，也是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特性最主要的標(biāo)志。離開(kāi)了學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)就失去了誘人的自適應(yīng)、自組織能力。學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問(wèn)題學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問(wèn)題有監(jiān)督學(xué)習(xí)方式有監(jiān)督學(xué)習(xí)方式 神經(jīng)網(wǎng)絡(luò)根據(jù)實(shí)際輸出

16、與期望輸出的偏差，按照一定的準(zhǔn)則調(diào)整各神經(jīng)元連接的權(quán)系數(shù)，見(jiàn)下圖。期望輸出又稱(chēng)為導(dǎo)師信號(hào)，是評(píng)價(jià)學(xué)習(xí)的標(biāo)準(zhǔn)，故這種學(xué)習(xí)方式又稱(chēng)為有導(dǎo)師學(xué)習(xí)。特點(diǎn)： 不能保證得到全局最優(yōu)解，要求大量訓(xùn)練樣本，收斂速度慢，對(duì)樣本地表示次序變化比較敏感。 無(wú)導(dǎo)師信號(hào)提供給網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)僅僅根據(jù)其輸入調(diào)整連接權(quán)系數(shù)和閾值，此時(shí)，網(wǎng)絡(luò)的學(xué)習(xí)評(píng)價(jià)標(biāo)準(zhǔn)隱含于內(nèi)部。其結(jié)構(gòu)見(jiàn)下圖。這種學(xué)習(xí)方式主要完成聚類(lèi)操作。 無(wú)監(jiān)督學(xué)習(xí)方式無(wú)監(jiān)督學(xué)習(xí)方式 Donall Hebb根據(jù)生理學(xué)中的條件反射機(jī)理，于1949年提出的神經(jīng)元連接強(qiáng)度變化的規(guī)則：如果兩個(gè)神經(jīng)元同時(shí)興奮(即同時(shí)被激活)，則它們之間的突觸連接加強(qiáng) 為學(xué)習(xí)速率，oi、oj為神經(jīng)

17、元 i 和 j 的輸出聯(lián)想式學(xué)習(xí)聯(lián)想式學(xué)習(xí) Hebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則ijijwooHebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則糾錯(cuò)式學(xué)習(xí)糾錯(cuò)式學(xué)習(xí) Delta()學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 首先考慮一個(gè)簡(jiǎn)單的情況：設(shè)某神經(jīng)網(wǎng)絡(luò)的輸出層中只有一個(gè)神經(jīng)元i，給該神經(jīng)網(wǎng)絡(luò)加上輸入，這樣就產(chǎn)生了輸出yi(n)，稱(chēng)該輸出為實(shí)際輸出。 對(duì)于所加上的輸入，我們期望該神經(jīng)網(wǎng)絡(luò)的輸出為d(n),稱(chēng)為期望輸出或目標(biāo)輸出（樣本對(duì)里面包含輸入和期望輸出）。實(shí)際輸出與期望輸出之間存在著誤差，用e(n)表示：( )= ( )- ( )

18、ie nd n y n 現(xiàn)在要調(diào)整權(quán)值，是誤差信號(hào)e(n)減小到一個(gè)范圍。為此，可設(shè)定代價(jià)函數(shù)或性能指數(shù)E(n)：21( )=( )2E ne n 反復(fù)調(diào)整突觸權(quán)值使代價(jià)函數(shù)達(dá)到最小或者使系統(tǒng)達(dá)到一個(gè)穩(wěn)定狀態(tài)（及突觸權(quán)值穩(wěn)定不變），就完成了該學(xué)習(xí)過(guò)程。 該學(xué)習(xí)過(guò)程成為糾錯(cuò)學(xué)習(xí)，或Delta學(xué)習(xí)規(guī)則。 wij 表示神經(jīng)元xj到xj學(xué)的突觸權(quán)值，在學(xué)習(xí)步驟為n時(shí)對(duì)突觸權(quán)值的調(diào)整為：( )=( )( )ijjw ne n x n學(xué)習(xí)速學(xué)習(xí)速率參數(shù)率參數(shù)則(1)=( )+( )ijijijw nw nw n人工神經(jīng)網(wǎng)絡(luò)的仿真人工神經(jīng)網(wǎng)絡(luò)的仿真 人工神經(jīng)網(wǎng)絡(luò)的運(yùn)行一般分為訓(xùn)練和仿真兩個(gè)階段。訓(xùn)練的目的是

19、為了從訓(xùn)練數(shù)據(jù)中提取隱含的知識(shí)和規(guī)律，并存儲(chǔ)于網(wǎng)絡(luò)中供仿真階段使用。 神經(jīng)網(wǎng)絡(luò)的仿真過(guò)程實(shí)質(zhì)上是神經(jīng)網(wǎng)絡(luò)根據(jù)網(wǎng)絡(luò)輸入數(shù)據(jù)，通過(guò)數(shù)值計(jì)算得出相應(yīng)網(wǎng)絡(luò)輸出的過(guò)程。通過(guò)仿真，可以及時(shí)了解當(dāng)前神經(jīng)網(wǎng)絡(luò)的性能從而決定是否對(duì)網(wǎng)絡(luò)進(jìn)行進(jìn)一步的訓(xùn)練。反向傳播模型及其網(wǎng)絡(luò)結(jié)構(gòu)反向傳播模型及其網(wǎng)絡(luò)結(jié)構(gòu)反向傳播模型反向傳播模型也稱(chēng)B-P模型，是一種用于前向多層的反向傳播學(xué)習(xí)算法。之所以稱(chēng)它是一種學(xué)習(xí)方法，是因?yàn)橛盟梢詫?duì)組成前向多層網(wǎng)絡(luò)的各人工神經(jīng)元之間的連接權(quán)值進(jìn)行不斷的修改，從而使該前向多層網(wǎng)絡(luò)能夠?qū)⑤斎胨男畔⒆儞Q成所期望的輸出信息。之所以將其稱(chēng)作為反向?qū)W習(xí)算法，是因?yàn)樵谛薷母魅斯ど窠?jīng)元的連接權(quán)值時(shí)，所依據(jù)的

20、是該網(wǎng)絡(luò)的實(shí)際輸出與其期望的輸出之差，將這一差值反向一層一層的向回傳播，來(lái)決定連接權(quán)值的修改。四、反向傳播模型及其學(xué)習(xí)算法四、反向傳播模型及其學(xué)習(xí)算法B-P算法的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)前向多層網(wǎng)絡(luò)，如圖所示。 四、反向傳播模型及其學(xué)習(xí)算法四、反向傳播模型及其學(xué)習(xí)算法反向傳播網(wǎng)絡(luò)的學(xué)習(xí)算法反向傳播網(wǎng)絡(luò)的學(xué)習(xí)算法B-P算法的學(xué)習(xí)目的是對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行調(diào)整，使得調(diào)整后的算法的學(xué)習(xí)目的是對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行調(diào)整，使得調(diào)整后的網(wǎng)絡(luò)對(duì)任一輸入都能得到所期望的輸出。網(wǎng)絡(luò)對(duì)任一輸入都能得到所期望的輸出。 學(xué)習(xí)過(guò)程由正向傳播和反向傳播組成。 正向傳播用于對(duì)前向網(wǎng)絡(luò)進(jìn)行計(jì)算，即對(duì)某一輸入信息，經(jīng)過(guò)網(wǎng)絡(luò)計(jì)算后求出它的輸

21、出結(jié)果。 反向傳播用于逐層傳遞誤差，修改神經(jīng)元間的連接權(quán)值，以使網(wǎng)絡(luò)對(duì)輸入信息經(jīng)過(guò)計(jì)算后所得到的輸出能達(dá)到期望的誤差要求。四、反向傳播模型及其學(xué)習(xí)算法四、反向傳播模型及其學(xué)習(xí)算法B-P算法的學(xué)習(xí)過(guò)程如下：（1）選擇一組訓(xùn)練樣例，每一個(gè)樣例由輸入信息和期望的輸出結(jié)果兩部分組成。（2）從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。（3）分別計(jì)算經(jīng)神經(jīng)元處理后的各層節(jié)點(diǎn)的輸出。（4）計(jì)算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出的誤差。（5）從輸出層反向計(jì)算到第一個(gè)隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。（6）對(duì)訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)（3）（5）的步驟，直到對(duì)整個(gè)訓(xùn)練樣例集

22、的誤差達(dá)到要求時(shí)為止。四、反向傳播模型及其學(xué)習(xí)算法四、反向傳播模型及其學(xué)習(xí)算法 在以上的學(xué)習(xí)過(guò)程中，第（5）步是最重要的，如何確定一種調(diào)整連接權(quán)值的原則，使誤差沿著減小的方向發(fā)展，是B-P學(xué)習(xí)算法必須解決的問(wèn)題。四、反向傳播模型及其學(xué)習(xí)算法四、反向傳播模型及其學(xué)習(xí)算法B-P算法的優(yōu)缺點(diǎn)： 優(yōu)點(diǎn)：理論基礎(chǔ)牢固，推導(dǎo)過(guò)程嚴(yán)謹(jǐn)，物理概念清晰，通用性好等。所以，它是目前用來(lái)訓(xùn)練前向多層網(wǎng)絡(luò)較好的算法。 缺點(diǎn)： （1）該學(xué)習(xí)算法的收斂速度慢；（2）網(wǎng)絡(luò)中隱節(jié)點(diǎn)個(gè)數(shù)的選取尚無(wú)理論上的指導(dǎo)；（3）從數(shù)學(xué)角度看，B-P算法是一種梯度最速下降法，這就可能出現(xiàn)局部極小的問(wèn)題。當(dāng)出現(xiàn)局部極小時(shí)，從表面上看，誤差符合

23、要求，但這時(shí)所得到的解并不一定是問(wèn)題的真正解。所以B-P算法是不完備的。四、反向傳播模型及其學(xué)習(xí)算法四、反向傳播模型及其學(xué)習(xí)算法簡(jiǎn)單網(wǎng)絡(luò)的簡(jiǎn)單網(wǎng)絡(luò)的B-P算法算法簡(jiǎn)單網(wǎng)絡(luò) 假設(shè)有P個(gè)訓(xùn)練樣本，即有P個(gè)輸入輸出對(duì) （Ip, Tp）,p=1,P, 其中 輸入向量為 , TpmppiiI),.,(1目標(biāo)輸出向量為（實(shí)際上的） TpnppttT),.,(1網(wǎng)絡(luò)輸出向量為 （理論上的） TpnppooO),.,(1簡(jiǎn)單網(wǎng)絡(luò)的簡(jiǎn)單網(wǎng)絡(luò)的B-P算法算法nipipiot12)(min（p=1,P） （2） 記wij為從輸入向量的第j (j=1,m) 個(gè)分量到輸出向量的第i (i=1,n)個(gè)分量的權(quán)重。通常理論

24、值與實(shí)際值有一誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷地把與比較，并根據(jù)極小原則修改參數(shù)wij，使誤差平方和達(dá)最?。河?Delta學(xué)習(xí)規(guī)則: pipipiotPppjpipjPppipiijiiotw11)(（4） ijijijwww （3） ijw表示遞推一次的修改量，則有稱(chēng)為學(xué)習(xí)的速率學(xué)習(xí)的速率 簡(jiǎn)單網(wǎng)絡(luò)的簡(jiǎn)單網(wǎng)絡(luò)的B-P算法算法ipm= -1 , wim= (第i個(gè)神經(jīng)元的閾值) （5）注：由（1） 式，第i個(gè)神經(jīng)元的輸出可表示為mjpjijpiiwfo1)(特別當(dāng)f是線性函數(shù)時(shí) biwaomjpjijpi1)(（6）簡(jiǎn)單網(wǎng)絡(luò)的簡(jiǎn)單網(wǎng)絡(luò)的B-P算法算法多層前饋網(wǎng)絡(luò) 多層前饋網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò) （l）輸入層

25、不計(jì)在層數(shù)之內(nèi)，它有N0個(gè)神經(jīng)元設(shè)網(wǎng)絡(luò) 共有L層；輸出層為第L層；第 k層有Nk個(gè)神經(jīng)元假設(shè)：假設(shè)： (2) 設(shè))( iuk表示第k層第i神經(jīng)元所接收的信息 wk(i,j) 表示從第k-1層第j個(gè)元到第k層第i個(gè)元的權(quán)重， )(iak表第k層第i個(gè)元的輸出 （3）設(shè)層與層間的神經(jīng)元都有信息交換（否則，可設(shè)它們之間的權(quán)重為零）；但同一層的神經(jīng)元之間無(wú)信息傳輸 (4) 設(shè)信息傳輸?shù)姆较蚴菑妮斎雽拥捷敵鰧臃较?；因此稱(chēng)為前向網(wǎng)絡(luò)沒(méi)有反向傳播信息 （5） 表示輸入的第j個(gè)分量 )(0ja假設(shè)：假設(shè)： 在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：,1),()(),()(),()(.,1),()(),()()

26、,()(,1),()(),()(),()(1101112221212211111011LLLNjLLLLNjNjNiiufiaijajiwiuNiiufiaijajiwiuNiiufiaijajiwiuL（7） 其中k(i)表示第k層第i個(gè)元的閾值. 五、應(yīng)用舉例五、應(yīng)用舉例1 問(wèn)題描述問(wèn)題描述 在金屬成形過(guò)程設(shè)計(jì)中，需要知道施于工件與模具之間的潤(rùn)滑劑的摩擦特性以及工件材料的流動(dòng)應(yīng)力，以?xún)?yōu)化成形過(guò)程。金屬環(huán)鍛壓實(shí)驗(yàn)是測(cè)定介面摩擦特性和材料流動(dòng)應(yīng)力的最簡(jiǎn)單的試驗(yàn)方法。 用上界法繪制不同摩擦因素條件下的標(biāo)定曲線族，曲線自變量為環(huán)內(nèi)徑減小的百分比（）和環(huán)高度縮減的百分比（），應(yīng)變量是摩擦因素（m）和

27、流動(dòng)應(yīng)力（）。應(yīng)用舉例應(yīng)用舉例1 用神經(jīng)網(wǎng)絡(luò)測(cè)定 訓(xùn)練樣本1600個(gè)，四層反向傳播網(wǎng)絡(luò)，分別用2、12、12、2個(gè)神經(jīng)元。學(xué)習(xí)規(guī)則用改進(jìn)的規(guī)劃。應(yīng)用舉例應(yīng)用舉例1應(yīng)用舉例應(yīng)用舉例2 已知的兩類(lèi)蚊子的數(shù)據(jù)如表1： 翼長(zhǎng) 觸角長(zhǎng) 類(lèi)別1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af目標(biāo)值目標(biāo)值0.90.1 翼長(zhǎng) 觸角長(zhǎng) 類(lèi)別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.7

28、0 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af目標(biāo)t0.1 輸入數(shù)據(jù)有15個(gè)，即 , p=1,15; j=1, 2; 對(duì)應(yīng)15個(gè)輸出。 建模：（輸入層，中間層，輸出層，每層的元素應(yīng)取多少個(gè)？） 建立神經(jīng)網(wǎng)絡(luò) 規(guī)定目標(biāo)為： 當(dāng)t(1)=0.9 時(shí)表示屬于Apf類(lèi)，t(2)=0.1表示屬于Af類(lèi)。 設(shè)兩個(gè)權(quán)重系數(shù)矩陣為：)3 ,2()2,2()1 ,2()3 , 1()2, 1()1 , 1(1111111wwwwwwW)3 , 1()2, 1()1 , 1(2222wwwW)()3 ,(jjwii為閾值 其中分

29、析如下： 為第一層的輸出，同時(shí)作為第二層的輸入。)2()2()2 , 2() 1 () 1 , 2()2() 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (101011101011awawuawawu)1 () 1 (11ufa)2()2(11ufa其中， 為閾值， 為傳遞函數(shù)if1)3(0a若令 （作為一固定輸入） （閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)） jjw)3,(12,1j3101010101131010101011)(), 2()3()3 , 2()2()2 , 2() 1 () 1 , 2()2()(), 1 ()3()3 , 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (jjjajwawawawujajwawawawu則有： xexf11)(取傳遞函數(shù)為)()(11iufia= )(exp(111iu2 , 1i則同樣，取 , 1) 3(1a)3 , 1 (2w)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj（1）隨機(jī)給出兩個(gè)權(quán)矩陣的初值；例如用MATLAB軟件