第八章人工神經(jīng)網(wǎng)絡(luò)

1、 模糊控制在處理數(shù)值數(shù)據(jù)、自學(xué)習(xí)模糊控制在處理數(shù)值數(shù)據(jù)、自學(xué)習(xí)能力等方面還遠(yuǎn)沒有達(dá)到人腦的境界。能力等方面還遠(yuǎn)沒有達(dá)到人腦的境界。人工神經(jīng)網(wǎng)絡(luò)從另一個角度出發(fā)，即從人工神經(jīng)網(wǎng)絡(luò)從另一個角度出發(fā)，即從人腦的生理學(xué)和心理學(xué)著手，通過人工人腦的生理學(xué)和心理學(xué)著手，通過人工模擬人腦的工作機理來實現(xiàn)機器的部分模擬人腦的工作機理來實現(xiàn)機器的部分智能行為。智能行為。 一、一、 iuijxnj, 1ijwisjx1 iw2iwinw)(iiugy jiijijisxwnet)(iinetfu iiuug)()(iinetfy 0001)(iiinetnetnetfiliiliiiiiinetnetfnetne

2、tnetknetnetnetnetfmax000)(irnetienetf11)( 神經(jīng)網(wǎng)絡(luò)由一些具有自適應(yīng)能力的簡單單元及神經(jīng)網(wǎng)絡(luò)由一些具有自適應(yīng)能力的簡單單元及其層次組織的大規(guī)模并行聯(lián)結(jié)構(gòu)造而成，它模仿生其層次組織的大規(guī)模并行聯(lián)結(jié)構(gòu)造而成，它模仿生物神經(jīng)系統(tǒng)進行信息處理，是對人腦神經(jīng)網(wǎng)絡(luò)的簡物神經(jīng)系統(tǒng)進行信息處理，是對人腦神經(jīng)網(wǎng)絡(luò)的簡化模擬。神經(jīng)網(wǎng)絡(luò)中的基本單元是神經(jīng)元。所謂神化模擬。神經(jīng)網(wǎng)絡(luò)中的基本單元是神經(jīng)元。所謂神經(jīng)元，就是多輸入、單輸出的信息處理單元。經(jīng)元，就是多輸入、單輸出的信息處理單元。 四、神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)四、神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)1x2xnx1kw2kwknwknikkikkxwfy

3、1第第 k 神經(jīng)元的神經(jīng)元的 n 個輸入個輸入神經(jīng)元的權(quán)值，第神經(jīng)元的權(quán)值，第1個神個神經(jīng)元與第經(jīng)元與第 k 個個 神經(jīng)元的神經(jīng)元的 連接強度，正為激活，負(fù)連接強度，正為激活，負(fù)為抑制。為抑制。神經(jīng)單元的閾值（門限神經(jīng)單元的閾值（門限值）值）神經(jīng)元的輸出神經(jīng)元的輸出神經(jīng)元的輸入總和神經(jīng)元的輸入總和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是指神經(jīng)網(wǎng)絡(luò)的聯(lián)結(jié)方式。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是指神經(jīng)網(wǎng)絡(luò)的聯(lián)結(jié)方式。 根據(jù)神經(jīng)元之間連接的拓?fù)浣Y(jié)構(gòu)上的區(qū)別，神根據(jù)神經(jīng)元之間連接的拓?fù)浣Y(jié)構(gòu)上的區(qū)別，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可分分層網(wǎng)絡(luò)和相互連接型網(wǎng)絡(luò)兩大類。經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可分分層網(wǎng)絡(luò)和相互連接型網(wǎng)絡(luò)兩大類。 分層網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)由若干層組

4、成，每層中有分層網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層間的神經(jīng)元單向連接，一定數(shù)量的神經(jīng)元，相鄰層間的神經(jīng)元單向連接，同一層內(nèi)的神經(jīng)元之間不連接；而相互連接型神經(jīng)同一層內(nèi)的神經(jīng)元之間不連接；而相互連接型神經(jīng)網(wǎng)絡(luò)的任何兩個神經(jīng)元之間都可能雙向連接。網(wǎng)絡(luò)的任何兩個神經(jīng)元之間都可能雙向連接。1x2xnx1y2y分層神經(jīng)網(wǎng)絡(luò)分層神經(jīng)網(wǎng)絡(luò) 相互連接型神經(jīng)網(wǎng)絡(luò)中任意兩個單元之間都可相互連接型神經(jīng)網(wǎng)絡(luò)中任意兩個單元之間都可能存在連接路徑，可以認(rèn)為是一種非線性動力學(xué)系能存在連接路徑，可以認(rèn)為是一種非線性動力學(xué)系統(tǒng)，因為對于給定的某一輸入模式，由某一初始網(wǎng)統(tǒng)，因為對于給定的某一輸入模式，由

5、某一初始網(wǎng)絡(luò)參數(shù)出發(fā)，在一段時間內(nèi)，網(wǎng)絡(luò)處于不斷改變輸絡(luò)參數(shù)出發(fā)，在一段時間內(nèi)，網(wǎng)絡(luò)處于不斷改變輸出模式的動態(tài)變化中，最終，網(wǎng)絡(luò)有可能進入周期出模式的動態(tài)變化中，最終，網(wǎng)絡(luò)有可能進入周期性振蕩模式，也有可能得到一個穩(wěn)定的輸出模式。性振蕩模式，也有可能得到一個穩(wěn)定的輸出模式。 nx2x1y2y1x 五、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與記憶五、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與記憶 5.1 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式 神經(jīng)網(wǎng)絡(luò)能夠通過訓(xùn)練，獲取環(huán)境知識，改變神經(jīng)網(wǎng)絡(luò)能夠通過訓(xùn)練，獲取環(huán)境知識，改變自身性能，使輸入自身性能，使輸入-輸出變換朝更好的方向發(fā)展。學(xué)輸出變換朝更好的方向發(fā)展。學(xué)習(xí)功能是神經(jīng)網(wǎng)絡(luò)最顯著的特征。神經(jīng)網(wǎng)

6、絡(luò)的學(xué)習(xí)習(xí)功能是神經(jīng)網(wǎng)絡(luò)最顯著的特征。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是通過調(diào)整連接權(quán)重實現(xiàn)的。是通過調(diào)整連接權(quán)重實現(xiàn)的。 按學(xué)習(xí)方式分，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)可分為有導(dǎo)師按學(xué)習(xí)方式分，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)可分為有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)兩大類。學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)兩大類。 （1）有導(dǎo)師學(xué)習(xí)）有導(dǎo)師學(xué)習(xí) 有導(dǎo)師學(xué)習(xí)方式需要外界有導(dǎo)師學(xué)習(xí)方式需要外界“導(dǎo)師導(dǎo)師”，導(dǎo)師對神，導(dǎo)師對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程進行示教，對每一組給定的輸入經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程進行示教，對每一組給定的輸入提供應(yīng)有的輸出結(jié)果，即提供訓(xùn)練數(shù)據(jù)，組織一批提供應(yīng)有的輸出結(jié)果，即提供訓(xùn)練數(shù)據(jù)，組織一批正確的輸入正確的輸入輸出數(shù)據(jù)對，把網(wǎng)絡(luò)的實際響應(yīng)輸出輸出數(shù)據(jù)對，把網(wǎng)絡(luò)的實際響應(yīng)輸

7、出與應(yīng)有響應(yīng)輸出相比較，得到已知輸出與實際輸出與應(yīng)有響應(yīng)輸出相比較，得到已知輸出與實際輸出之間的差值，并據(jù)此來調(diào)節(jié)系統(tǒng)的參數(shù)（修改各連之間的差值，并據(jù)此來調(diào)節(jié)系統(tǒng)的參數(shù)（修改各連接權(quán)），使神經(jīng)網(wǎng)絡(luò)朝著能正常響應(yīng)的方向不斷變接權(quán)），使神經(jīng)網(wǎng)絡(luò)朝著能正常響應(yīng)的方向不斷變化，直到實際響應(yīng)的輸出與應(yīng)有響應(yīng)輸出的誤差在化，直到實際響應(yīng)的輸出與應(yīng)有響應(yīng)輸出的誤差在允許范圍內(nèi)，網(wǎng)絡(luò)能夠解決實際應(yīng)用中遇到的問題。允許范圍內(nèi)，網(wǎng)絡(luò)能夠解決實際應(yīng)用中遇到的問題。 這種學(xué)習(xí)方式也稱誤差修正方式，訓(xùn)練過程中，這種學(xué)習(xí)方式也稱誤差修正方式，訓(xùn)練過程中，導(dǎo)師還應(yīng)進行監(jiān)督。導(dǎo)師還應(yīng)進行監(jiān)督。 有導(dǎo)師學(xué)習(xí)方式比較簡單，但要求

8、導(dǎo)師對環(huán)境有導(dǎo)師學(xué)習(xí)方式比較簡單，但要求導(dǎo)師對環(huán)境和網(wǎng)絡(luò)的結(jié)構(gòu)要相當(dāng)熟悉，并有豐富的經(jīng)驗知識。和網(wǎng)絡(luò)的結(jié)構(gòu)要相當(dāng)熟悉，并有豐富的經(jīng)驗知識。事實上，如果環(huán)境變化較多，而系統(tǒng)又比較復(fù)雜時，事實上，如果環(huán)境變化較多，而系統(tǒng)又比較復(fù)雜時，環(huán)境變化要求不斷調(diào)整加權(quán)值，有導(dǎo)師學(xué)習(xí)就不太環(huán)境變化要求不斷調(diào)整加權(quán)值，有導(dǎo)師學(xué)習(xí)就不太適宜了。適宜了。 應(yīng)有應(yīng)有響應(yīng)響應(yīng)環(huán)境環(huán)境 教教 師師 學(xué)習(xí)系統(tǒng)學(xué)習(xí)系統(tǒng) 誤差信號誤差信號 環(huán)境狀態(tài)信號環(huán)境狀態(tài)信號 實際響應(yīng)實際響應(yīng) （2）無導(dǎo)師學(xué)習(xí) 無導(dǎo)師學(xué)習(xí)不存在外部導(dǎo)師，學(xué)習(xí)系統(tǒng)完全按無導(dǎo)師學(xué)習(xí)不存在外部導(dǎo)師，學(xué)習(xí)系統(tǒng)完全按照環(huán)境所提供的數(shù)據(jù)的某些統(tǒng)計規(guī)律調(diào)節(jié)自身結(jié)構(gòu)照環(huán)

9、境所提供的數(shù)據(jù)的某些統(tǒng)計規(guī)律調(diào)節(jié)自身結(jié)構(gòu)與參數(shù)。與參數(shù)。 無導(dǎo)師學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集只有輸入，沒有輸出，無導(dǎo)師學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集只有輸入，沒有輸出，訓(xùn)練過程中神經(jīng)網(wǎng)絡(luò)自動地將各輸入數(shù)據(jù)的特征提訓(xùn)練過程中神經(jīng)網(wǎng)絡(luò)自動地將各輸入數(shù)據(jù)的特征提取出來，再分成若干類。訓(xùn)練后的網(wǎng)絡(luò)能夠識別訓(xùn)取出來，再分成若干類。訓(xùn)練后的網(wǎng)絡(luò)能夠識別訓(xùn)練數(shù)據(jù)集以外的新的輸入類別，并獲得相應(yīng)的輸出。練數(shù)據(jù)集以外的新的輸入類別，并獲得相應(yīng)的輸出。這種具有自組織、自學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)具有廣闊這種具有自組織、自學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)具有廣闊的應(yīng)用前景。的應(yīng)用前景。 5.2 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法 學(xué)習(xí)算法也稱學(xué)習(xí)規(guī)則。常用的神

10、經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)算法也稱學(xué)習(xí)規(guī)則。常用的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法主要有算法主要有hebb學(xué)習(xí)法、誤差糾正學(xué)習(xí)法和競爭學(xué)習(xí)法、誤差糾正學(xué)習(xí)法和競爭學(xué)習(xí)法等。學(xué)習(xí)法等。 （1）hebb學(xué)習(xí)法學(xué)習(xí)法 這種由心理學(xué)家基于對生理學(xué)和心理學(xué)的研究這種由心理學(xué)家基于對生理學(xué)和心理學(xué)的研究提出的學(xué)習(xí)行為的突觸聯(lián)系和神經(jīng)群理論，經(jīng)后來提出的學(xué)習(xí)行為的突觸聯(lián)系和神經(jīng)群理論，經(jīng)后來的學(xué)者引用、發(fā)展，成為一種經(jīng)典使用的學(xué)習(xí)算法：的學(xué)者引用、發(fā)展，成為一種經(jīng)典使用的學(xué)習(xí)算法： 當(dāng)某一突觸（連接）兩端的神經(jīng)元同為激活或當(dāng)某一突觸（連接）兩端的神經(jīng)元同為激活或同為抑制（稱為激活同步）時，該連接的強度應(yīng)增同為抑制（稱為激活同步）時，該

11、連接的強度應(yīng)增加；反之，則應(yīng)減弱。這一理論的數(shù)學(xué)描述為加；反之，則應(yīng)減弱。這一理論的數(shù)學(xué)描述為最常用的是最常用的是 nynyfnwjiij, nynynwjiij權(quán)權(quán)重重的的變變化化量量 兩端兩端神經(jīng)元的狀態(tài)神經(jīng)元的狀態(tài) nwij學(xué)習(xí)率常數(shù)，也稱為步學(xué)習(xí)率常數(shù)，也稱為步長，長， 0 （2）誤差糾正學(xué)習(xí)法）誤差糾正學(xué)習(xí)法 nyndnekkk誤差信號誤差信號神經(jīng)元神經(jīng)元 k 在在 n 時刻的實際輸出時刻的實際輸出 神經(jīng)元神經(jīng)元 k 在在 n 時刻的應(yīng)時刻的應(yīng)有輸出有輸出 誤差糾正學(xué)習(xí)法的目的是使某一基于誤差糾正學(xué)習(xí)法的目的是使某一基于 ek(n) 的目的目標(biāo)函數(shù)達(dá)到最小，從而使網(wǎng)絡(luò)中的每一輸出單元

12、的標(biāo)函數(shù)達(dá)到最小，從而使網(wǎng)絡(luò)中的每一輸出單元的實際輸出在一定的統(tǒng)計意義上逼近于應(yīng)有響應(yīng)，即實際輸出在一定的統(tǒng)計意義上逼近于應(yīng)有響應(yīng)，即應(yīng)有輸出。應(yīng)有輸出。 誤差糾正學(xué)習(xí)在選定目標(biāo)函數(shù)形式后，就成為誤差糾正學(xué)習(xí)在選定目標(biāo)函數(shù)形式后，就成為一個典型的最優(yōu)化問題。而最常用的目標(biāo)函數(shù)是均一個典型的最優(yōu)化問題。而最常用的目標(biāo)函數(shù)是均方根誤差判據(jù)：方根誤差判據(jù)： 即求期望算子運算。其前提是學(xué)習(xí)的過程必須是寬即求期望算子運算。其前提是學(xué)習(xí)的過程必須是寬平穩(wěn)的，具體方法可用平穩(wěn)的，具體方法可用 最陡梯度下降法。但直接用最陡梯度下降法。但直接用j 作為目標(biāo)函數(shù)需要知道整個過程的統(tǒng)計特性，這作為目標(biāo)函數(shù)需要知道整

13、個過程的統(tǒng)計特性，這樣較為困難，通常的解決方法是用樣較為困難，通常的解決方法是用 j 在時刻在時刻 n 的瞬的瞬時值時值 (n) 代替：代替： kkneej221 kknen221 利用最陡梯度下降法，可以求出利用最陡梯度下降法，可以求出 (n) 對權(quán)值對權(quán)值 w 的極小值的極小值 nxnenwjkkj學(xué)習(xí)步長學(xué)習(xí)步長 （3）競爭學(xué)習(xí)法）競爭學(xué)習(xí)法 在學(xué)習(xí)過程中，網(wǎng)絡(luò)各輸出單元相互競爭，最在學(xué)習(xí)過程中，網(wǎng)絡(luò)各輸出單元相互競爭，最后達(dá)到只有一個最強者激活。后達(dá)到只有一個最強者激活。 最常見的一種情況是輸出神經(jīng)單元之間有側(cè)向最常見的一種情況是輸出神經(jīng)單元之間有側(cè)向抑制性連接，其中多輸出單元中如果有

14、某一單元較抑制性連接，其中多輸出單元中如果有某一單元較強，它將獲得最終勝利，并處于激活狀態(tài)，而其他強，它將獲得最終勝利，并處于激活狀態(tài)，而其他單元將被抑制。單元將被抑制。 1x2x3x4x輸入層輸入層 輸出層輸出層 最常用的學(xué)習(xí)規(guī)則為最常用的學(xué)習(xí)規(guī)則為 失敗獲勝jjwxnwijiij05.3 神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶 神經(jīng)網(wǎng)絡(luò)的記憶包括信息的存儲與回憶。神經(jīng)神經(jīng)網(wǎng)絡(luò)的記憶包括信息的存儲與回憶。神經(jīng)網(wǎng)絡(luò)可以通過學(xué)習(xí)將獲取的知識信息以分布式方式網(wǎng)絡(luò)可以通過學(xué)習(xí)將獲取的知識信息以分布式方式相對穩(wěn)定地存儲在連接權(quán)的變化上，這種記憶稱為相對穩(wěn)定地存儲在連接權(quán)的變化上，這種記憶稱為長期記憶。而

15、學(xué)習(xí)期間的記憶則屬于短期記憶。長期記憶。而學(xué)習(xí)期間的記憶則屬于短期記憶。 聯(lián)想記憶是指實現(xiàn)模式完善、恢復(fù)相關(guān)模式的聯(lián)想記憶是指實現(xiàn)模式完善、恢復(fù)相關(guān)模式的相互回憶。在人工神經(jīng)網(wǎng)絡(luò)運行時，如對模式進行相互回憶。在人工神經(jīng)網(wǎng)絡(luò)運行時，如對模式進行識別，是在已存貯的識別，是在已存貯的“知識知識”中尋找與該輸入匹配中尋找與該輸入匹配最好的存貯最好的存貯“知識知識”作為其解，是一種回憶過程。作為其解，是一種回憶過程。聯(lián)想記憶是人腦記憶的一種重要形式，可分為自聯(lián)聯(lián)想記憶是人腦記憶的一種重要形式，可分為自聯(lián)想和異聯(lián)想。想和異聯(lián)想。 （1）按內(nèi)容存取記憶，即信息的存取由信息本）按內(nèi)容存取記憶，即信息的存取由信

16、息本身的內(nèi)容來實現(xiàn)。而傳統(tǒng)的計算機信息存取是通過身的內(nèi)容來實現(xiàn)。而傳統(tǒng)的計算機信息存取是通過尋找存儲器的地址實現(xiàn)的。尋找存儲器的地址實現(xiàn)的。 （2）分布式存儲，即模仿人腦將記憶單元與處）分布式存儲，即模仿人腦將記憶單元與處理單元合一。而傳統(tǒng)的計算機信息存儲是集中地存理單元合一。而傳統(tǒng)的計算機信息存儲是集中地存儲在某些單元中的。儲在某些單元中的。 按照作用方式的不同，聯(lián)想可分為線性聯(lián)想和按照作用方式的不同，聯(lián)想可分為線性聯(lián)想和非線性聯(lián)想。線性聯(lián)想可表示為非線性聯(lián)想。線性聯(lián)想可表示為axy 輸出向量輸出向量 存儲矩陣存儲矩陣 輸入向量輸入向量 聯(lián)想記憶有兩個最突出的特點：聯(lián)想記憶有兩個最突出的特點

17、： 非線性聯(lián)想可表示為非線性函數(shù)非線性聯(lián)想可表示為非線性函數(shù) axfy 最簡單的靜態(tài)聯(lián)想存儲可以用前饋網(wǎng)絡(luò)實現(xiàn)。最簡單的靜態(tài)聯(lián)想存儲可以用前饋網(wǎng)絡(luò)實現(xiàn)。5.4 前饋型神經(jīng)網(wǎng)絡(luò)前饋型神經(jīng)網(wǎng)絡(luò) 從結(jié)構(gòu)上來區(qū)分，神經(jīng)網(wǎng)絡(luò)大多屬于前饋型神從結(jié)構(gòu)上來區(qū)分，神經(jīng)網(wǎng)絡(luò)大多屬于前饋型神經(jīng)網(wǎng)絡(luò)（簡稱前饋網(wǎng)絡(luò)，也稱前向網(wǎng)絡(luò)）。經(jīng)網(wǎng)絡(luò)（簡稱前饋網(wǎng)絡(luò)，也稱前向網(wǎng)絡(luò)）。 前饋網(wǎng)絡(luò)是分層結(jié)構(gòu)，信息只能從輸入層單元前饋網(wǎng)絡(luò)是分層結(jié)構(gòu)，信息只能從輸入層單元到其上一層單元，即第一層的單元與第二層的所有到其上一層單元，即第一層的單元與第二層的所有單元連接單元連接。感知器網(wǎng)絡(luò)、。感知器網(wǎng)絡(luò)、bp網(wǎng)絡(luò)和競爭學(xué)習(xí)網(wǎng)網(wǎng)絡(luò)和競爭學(xué)習(xí)網(wǎng)絡(luò)是

18、三種典型的前饋網(wǎng)絡(luò)。絡(luò)是三種典型的前饋網(wǎng)絡(luò)。 感知器網(wǎng)絡(luò)感知器網(wǎng)絡(luò) （1）單層感知器網(wǎng)絡(luò)）單層感知器網(wǎng)絡(luò) 單層感知器網(wǎng)絡(luò)是一種最基本的兩層網(wǎng)絡(luò)，兩單層感知器網(wǎng)絡(luò)是一種最基本的兩層網(wǎng)絡(luò)，兩層即輸入層和輸出層，每層由多個處理單元構(gòu)成。層即輸入層和輸出層，每層由多個處理單元構(gòu)成。1x2xnx1y2ymyw11w12 nmw 單層感知器網(wǎng)絡(luò)的學(xué)習(xí)是典型的有導(dǎo)師學(xué)習(xí)，單層感知器網(wǎng)絡(luò)的學(xué)習(xí)是典型的有導(dǎo)師學(xué)習(xí)，其訓(xùn)練要素包括訓(xùn)練樣本和訓(xùn)練規(guī)則。給定一個訓(xùn)其訓(xùn)練要素包括訓(xùn)練樣本和訓(xùn)練規(guī)則。給定一個訓(xùn)練模式，輸出單元就會有一個相應(yīng)的輸出向量，可練模式，輸出單元就會有一個相應(yīng)的輸出向量，可以用期望輸出與實際輸出的

19、誤差來修正網(wǎng)絡(luò)的權(quán)值。以用期望輸出與實際輸出的誤差來修正網(wǎng)絡(luò)的權(quán)值。修正算法如下：修正算法如下： kxkydkwkwijjjiji1 nijijijxkwfky1取值區(qū)間為取值區(qū)間為( 0,1 權(quán)值取決于輸入狀態(tài)、輸出誤差以及學(xué)習(xí)因子。權(quán)值取決于輸入狀態(tài)、輸出誤差以及學(xué)習(xí)因子。由于輸入狀態(tài)為由于輸入狀態(tài)為 10或kxi期望輸出與實際輸出之差為期望輸出與實際輸出之差為 0, 1101, 01jjjjjjjjjdkydkydkykyde 則僅當(dāng)輸出單元則僅當(dāng)輸出單元 j 有輸出誤差，且相連輸入狀有輸出誤差，且相連輸入狀態(tài)為態(tài)為 1 時，修正權(quán)值應(yīng)增加或減少一個量，修正量時，修正權(quán)值應(yīng)增加或減少一個

20、量，修正量由學(xué)習(xí)因子由學(xué)習(xí)因子 控制，控制， 的取值應(yīng)恰當(dāng)，的取值應(yīng)恰當(dāng)， 過大，影過大，影響學(xué)習(xí)的收斂性；響學(xué)習(xí)的收斂性； 過小，延長訓(xùn)練時間，影響權(quán)過小，延長訓(xùn)練時間，影響權(quán)值的收斂速度。值的收斂速度。 單層感知器網(wǎng)絡(luò)是一個前饋（正向傳輸）網(wǎng)絡(luò)，單層感知器網(wǎng)絡(luò)是一個前饋（正向傳輸）網(wǎng)絡(luò)，所有節(jié)點都是線性的。單層感知器網(wǎng)絡(luò)可以用來求所有節(jié)點都是線性的。單層感知器網(wǎng)絡(luò)可以用來求解線性決策函數(shù)，解決一階謂詞邏輯（如邏輯與、解線性決策函數(shù)，解決一階謂詞邏輯（如邏輯與、邏輯或等）問題。邏輯或等）問題。 （2）多層感知器網(wǎng)絡(luò)）多層感知器網(wǎng)絡(luò) 兩層感知器網(wǎng)絡(luò)兩層感知器網(wǎng)絡(luò) 1x2x3x1y2yh1h2h

21、3bp網(wǎng)絡(luò)網(wǎng)絡(luò)（1）bp網(wǎng)絡(luò)模型網(wǎng)絡(luò)模型 bp（back-propagation）網(wǎng)絡(luò)即誤差向后傳播）網(wǎng)絡(luò)即誤差向后傳播神經(jīng)網(wǎng)絡(luò)，是神經(jīng)網(wǎng)絡(luò)模型中使用最廣泛的一種模神經(jīng)網(wǎng)絡(luò)，是神經(jīng)網(wǎng)絡(luò)模型中使用最廣泛的一種模型。型。bp網(wǎng)絡(luò)與感知器網(wǎng)絡(luò)的區(qū)別在于網(wǎng)絡(luò)節(jié)點具有網(wǎng)絡(luò)與感知器網(wǎng)絡(luò)的區(qū)別在于網(wǎng)絡(luò)節(jié)點具有非線性單元，采用了廣義非線性單元，采用了廣義 學(xué)習(xí)規(guī)則。學(xué)習(xí)規(guī)則。 bp網(wǎng)絡(luò)屬典型的多層網(wǎng)絡(luò)，包括一個輸入層、網(wǎng)絡(luò)屬典型的多層網(wǎng)絡(luò)，包括一個輸入層、一個或多個隱層和一個輸出層，每層都有多個節(jié)點。一個或多個隱層和一個輸出層，每層都有多個節(jié)點。bp網(wǎng)絡(luò)是正向網(wǎng)絡(luò)，層與層之間多采用全連接方式，網(wǎng)絡(luò)是正向網(wǎng)絡(luò)，

22、層與層之間多采用全連接方式，但同一層的單元之間不存在相互連接。但同一層的單元之間不存在相互連接。 1y2ymy1x2xnx輸入層輸入層 隱隱 層層 輸出層輸出層 對于輸入信號，要經(jīng)過輸入層，向前傳遞到隱對于輸入信號，要經(jīng)過輸入層，向前傳遞到隱層節(jié)點，經(jīng)過轉(zhuǎn)移函數(shù)作用后，從隱層節(jié)點輸出到層節(jié)點，經(jīng)過轉(zhuǎn)移函數(shù)作用后，從隱層節(jié)點輸出到輸出層節(jié)點輸出最終結(jié)果。輸出層節(jié)點輸出最終結(jié)果。 如果輸出響應(yīng)與期望值有誤差，且不滿足要求，如果輸出響應(yīng)與期望值有誤差，且不滿足要求，就轉(zhuǎn)入誤差后向傳播，將誤差值沿連接通路逐層向就轉(zhuǎn)入誤差后向傳播，將誤差值沿連接通路逐層向后傳送，同時修正連接權(quán)值。后傳送，同時修正連接權(quán)

23、值。 bp網(wǎng)絡(luò)的輸入、輸出可連續(xù)變化，隱層、輸出網(wǎng)絡(luò)的輸入、輸出可連續(xù)變化，隱層、輸出層的基本處理單元一般采用層的基本處理單元一般采用 s 型作用函數(shù)為輸入型作用函數(shù)為輸入輸出的非線性關(guān)系，即輸出的非線性關(guān)系，即 rxekxf1iiijjxwxjxjxjjexfx11)()1 (jjjjxxxx則輸出層神經(jīng)元的輸出：輸出層神經(jīng)元的輸出：jjjllxwx 。0lxlllxxe0nllpee1221l（2）jlwjljllljlpjlxewxewewjljljlwkwkw)() 1(其中 ijwnlijllijpijwxewew1ijjjlijjjlijjjjjlijlxxxwxxxwwxxxxx

24、wx)1 (ijijijwkwkw)() 1( 11kwkwwkwkwjljljljljl)1()()() 1(kwkwwkwkwijijijijij其中其中 為學(xué)習(xí)速率，為學(xué)習(xí)速率， 為動量因子。為動量因子。 1 , 01 , 05.5 反饋型神經(jīng)網(wǎng)絡(luò)反饋型神經(jīng)網(wǎng)絡(luò) 前饋型神經(jīng)網(wǎng)絡(luò)是單向連接的沒有反饋的靜態(tài)前饋型神經(jīng)網(wǎng)絡(luò)是單向連接的沒有反饋的靜態(tài)網(wǎng)絡(luò)，缺乏動態(tài)性能。網(wǎng)絡(luò)，缺乏動態(tài)性能。1982年，美國物理學(xué)家年，美國物理學(xué)家hopfield提出了一種由非線性元件構(gòu)成的單層反饋提出了一種由非線性元件構(gòu)成的單層反饋神經(jīng)網(wǎng)絡(luò)系統(tǒng)，后人稱為神經(jīng)網(wǎng)絡(luò)系統(tǒng)，后人稱為hopfield網(wǎng)絡(luò)。這種反饋網(wǎng)絡(luò)。這

25、種反饋型神經(jīng)網(wǎng)絡(luò)是一個反饋動力學(xué)系統(tǒng)，通過神經(jīng)元的型神經(jīng)網(wǎng)絡(luò)是一個反饋動力學(xué)系統(tǒng)，通過神經(jīng)元的狀態(tài)變遷，系統(tǒng)最終可穩(wěn)定在某一狀態(tài)。狀態(tài)變遷，系統(tǒng)最終可穩(wěn)定在某一狀態(tài)。 hopfield網(wǎng)絡(luò)是最常用的反饋式人工神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)是最常用的反饋式人工神經(jīng)網(wǎng)絡(luò)。 反饋神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)的的輸出輸出信號信號反饋到其輸入端反饋到其輸入端，因，因此此，在輸入的激勵下，會產(chǎn)生不斷的狀態(tài)變化。當(dāng)，在輸入的激勵下，會產(chǎn)生不斷的狀態(tài)變化。當(dāng)有輸入之后，可以求取有輸入之后，可以求取hopfield的輸出，這個輸出的輸出，這個輸出反饋到輸入從而產(chǎn)生新的輸出，反饋到輸入從而產(chǎn)生新的輸出，如此往復(fù)如此往復(fù)。 如果如果hop

26、field網(wǎng)絡(luò)是能收斂的穩(wěn)定網(wǎng)絡(luò)，這個網(wǎng)絡(luò)是能收斂的穩(wěn)定網(wǎng)絡(luò)，這個反饋與迭代的計算過程所產(chǎn)生的變化反饋與迭代的計算過程所產(chǎn)生的變化將將越來越小，越來越小，hopfield網(wǎng)絡(luò)會輸出一個穩(wěn)定的恒值。對于網(wǎng)絡(luò)會輸出一個穩(wěn)定的恒值。對于hopfield網(wǎng)絡(luò)，關(guān)鍵網(wǎng)絡(luò)，關(guān)鍵在于在于穩(wěn)定條件下的權(quán)系數(shù)。穩(wěn)定條件下的權(quán)系數(shù)。 反饋網(wǎng)絡(luò)有穩(wěn)定的，也有不穩(wěn)定的。對于反饋網(wǎng)絡(luò)有穩(wěn)定的，也有不穩(wěn)定的。對于hopfield網(wǎng)絡(luò)來說，如何判別它是穩(wěn)定網(wǎng)絡(luò)網(wǎng)絡(luò)來說，如何判別它是穩(wěn)定網(wǎng)絡(luò)？判別判別的的依據(jù)是什么依據(jù)是什么？ 反饋型神經(jīng)網(wǎng)絡(luò)的所有節(jié)點之間都可互相連接，反饋型神經(jīng)網(wǎng)絡(luò)的所有節(jié)點之間都可互相連接，一個節(jié)點在接受

27、其它節(jié)點的輸入的同時，也向其它一個節(jié)點在接受其它節(jié)點的輸入的同時，也向其它節(jié)點輸出。節(jié)點輸出。 hopfield網(wǎng)絡(luò)是一種網(wǎng)狀網(wǎng)絡(luò)，可分為離散型網(wǎng)絡(luò)是一種網(wǎng)狀網(wǎng)絡(luò)，可分為離散型與連續(xù)型兩種，兩種網(wǎng)絡(luò)的結(jié)構(gòu)相同。與連續(xù)型兩種，兩種網(wǎng)絡(luò)的結(jié)構(gòu)相同。離散型離散型hopfield網(wǎng)絡(luò)網(wǎng)絡(luò) hopfield最早提出的網(wǎng)絡(luò)是二值神經(jīng)網(wǎng)絡(luò)，神最早提出的網(wǎng)絡(luò)是二值神經(jīng)網(wǎng)絡(luò)，神經(jīng)元的輸出只取經(jīng)元的輸出只取1和和0這兩個值，也稱離散這兩個值，也稱離散hopfield神經(jīng)網(wǎng)絡(luò)。在離散神經(jīng)網(wǎng)絡(luò)。在離散hopfield網(wǎng)絡(luò)中，采用的神經(jīng)元網(wǎng)絡(luò)中，采用的神經(jīng)元是二值神經(jīng)元是二值神經(jīng)元，1和和0分別表示神經(jīng)元處于激活和抑分

28、別表示神經(jīng)元處于激活和抑制狀態(tài)。制狀態(tài)。 由三個神經(jīng)元組成的離散由三個神經(jīng)元組成的離散hopfield神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)如圖所示。其結(jié)構(gòu)如圖所示。第第0層層第第1層層第第0層僅僅是作為網(wǎng)絡(luò)的輸入，它層僅僅是作為網(wǎng)絡(luò)的輸入，它不是實際神經(jīng)元，所以無計算功能不是實際神經(jīng)元，所以無計算功能第一層是實際神經(jīng)元，執(zhí)行對輸入第一層是實際神經(jīng)元，執(zhí)行對輸入信息和權(quán)系數(shù)乘積求累加和，并由信息和權(quán)系數(shù)乘積求累加和，并由非線性函數(shù)非線性函數(shù)f處理后產(chǎn)生輸出信息處理后產(chǎn)生輸出信息 f 是一個簡單的閥值函效，如果神經(jīng)元的輸出是一個簡單的閥值函效，如果神經(jīng)元的輸出信息大于閥值信息大于閥值，那么，神經(jīng)元的輸出就取

29、值為，那么，神經(jīng)元的輸出就取值為1；小于閥值小于閥值，則神經(jīng)元的輸出就取值為，則神經(jīng)元的輸出就取值為0。 對于二值神經(jīng)元，它的計算公式如下：對于二值神經(jīng)元，它的計算公式如下： 其中：其中： 為外部輸入。并且有：為外部輸入。并且有： yi=1,當(dāng)當(dāng)uii時時 yi=0,當(dāng)當(dāng)ui0，經(jīng)過有限時刻，經(jīng)過有限時刻 t，有：，有：y(t+t)=y(t)則稱網(wǎng)絡(luò)是穩(wěn)定的。則稱網(wǎng)絡(luò)是穩(wěn)定的。 三個神經(jīng)元的離散三個神經(jīng)元的離散hopfield網(wǎng)絡(luò)的輸出層就是三網(wǎng)絡(luò)的輸出層就是三位二進制數(shù)；每一個三位二進制數(shù)就是一種網(wǎng)絡(luò)狀位二進制數(shù)；每一個三位二進制數(shù)就是一種網(wǎng)絡(luò)狀態(tài)，從而共有態(tài)，從而共有8個網(wǎng)絡(luò)狀態(tài)。這些網(wǎng)絡(luò)

30、狀態(tài)如圖所個網(wǎng)絡(luò)狀態(tài)。這些網(wǎng)絡(luò)狀態(tài)如圖所示。在圖中，立方體的每一個頂角表示一種網(wǎng)絡(luò)狀示。在圖中，立方體的每一個頂角表示一種網(wǎng)絡(luò)狀態(tài)。態(tài)。 同理，對于同理，對于n個神經(jīng)元的輸出層，它有個神經(jīng)元的輸出層，它有2n個網(wǎng)絡(luò)個網(wǎng)絡(luò)狀態(tài)，也和一個狀態(tài)，也和一個n維超立方體的頂角相對應(yīng)。維超立方體的頂角相對應(yīng)。 如果如果hopfield網(wǎng)絡(luò)是一個穩(wěn)定網(wǎng)絡(luò)，那么在網(wǎng)絡(luò)網(wǎng)絡(luò)是一個穩(wěn)定網(wǎng)絡(luò)，那么在網(wǎng)絡(luò)的輸入端加入一個輸入向量，則網(wǎng)絡(luò)的狀態(tài)會產(chǎn)生的輸入端加入一個輸入向量，則網(wǎng)絡(luò)的狀態(tài)會產(chǎn)生變化，也就是從超立方體的一個頂角轉(zhuǎn)移向另一個變化，也就是從超立方體的一個頂角轉(zhuǎn)移向另一個頂角，并且最終穩(wěn)定于一個特定的頂角。頂角

31、，并且最終穩(wěn)定于一個特定的頂角。 對于一個由對于一個由n個神經(jīng)元組成的離散個神經(jīng)元組成的離散hopfield網(wǎng)絡(luò)，網(wǎng)絡(luò)，則有則有 n * n 權(quán)系數(shù)矩陣權(quán)系數(shù)矩陣 w ：w=wij i=1,2,.,n j=1,2,.,n同時，有同時，有n維閥值向量維閥值向量：=1,2,.nt 一船一船而言，而言，w和和可以確定一個唯一的離散可以確定一個唯一的離散hopfield網(wǎng)絡(luò)。網(wǎng)絡(luò)。 考慮離散考慮離散hopfield網(wǎng)絡(luò)的一般節(jié)點狀態(tài)，用網(wǎng)絡(luò)的一般節(jié)點狀態(tài)，用yj(t)表示第表示第j個神經(jīng)元，即節(jié)點個神經(jīng)元，即節(jié)點j在時刻在時刻t的狀態(tài)，則節(jié)點的狀態(tài)，則節(jié)點的下一個時刻的下一個時刻(t+1)的狀態(tài)可以求

32、出如下：的狀態(tài)可以求出如下： 通過狀態(tài)不斷變化，最后狀態(tài)會穩(wěn)定下來最通過狀態(tài)不斷變化，最后狀態(tài)會穩(wěn)定下來最終的狀態(tài)是和給定向量終的狀態(tài)是和給定向量x最接近的樣本向量。所以，最接近的樣本向量。所以，hopfield網(wǎng)絡(luò)的最終輸出也就是給定向量聯(lián)想檢索網(wǎng)絡(luò)的最終輸出也就是給定向量聯(lián)想檢索結(jié)果。這個過程說明，即使給定向量并不完全或部結(jié)果。這個過程說明，即使給定向量并不完全或部分不正確，也能找到正確的分不正確，也能找到正確的結(jié)果。結(jié)果。 在本質(zhì)上，它也有濾波功能。在本質(zhì)上，它也有濾波功能。 連續(xù)連續(xù)hopfield網(wǎng)絡(luò)網(wǎng)絡(luò) 連續(xù)連續(xù)hopfield網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)和離散網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)和離散hopfield網(wǎng)網(wǎng)絡(luò)相同。連續(xù)絡(luò)相同。連續(xù)hopfield網(wǎng)絡(luò)和離散網(wǎng)絡(luò)和離散hopfield網(wǎng)絡(luò)一網(wǎng)絡(luò)一樣，其穩(wěn)定條件為樣，其穩(wěn)定條件為wij=wji。不同之處在于函數(shù)。不同之處在于函數(shù)g不不是階躍函數(shù)