第五章霍普菲爾德(Hopfield)神經(jīng)網(wǎng)絡(luò)

1、第五章第五章霍普菲爾德（霍普菲爾德（Hopfield）神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) 前面介紹的網(wǎng)絡(luò)模型屬于前向前面介紹的網(wǎng)絡(luò)模型屬于前向NNNN，從學(xué)習(xí)的角，從學(xué)習(xí)的角度看，具有較強(qiáng)的學(xué)習(xí)能力，結(jié)構(gòu)簡(jiǎn)單，易于編程。度看，具有較強(qiáng)的學(xué)習(xí)能力，結(jié)構(gòu)簡(jiǎn)單，易于編程。從系統(tǒng)角度看，屬于靜態(tài)的非線性映射，通過(guò)簡(jiǎn)單從系統(tǒng)角度看，屬于靜態(tài)的非線性映射，通過(guò)簡(jiǎn)單的非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性的非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理能力。但他們因此缺乏反饋，所以并不是強(qiáng)有處理能力。但他們因此缺乏反饋，所以并不是強(qiáng)有力的動(dòng)力學(xué)系統(tǒng)。力的動(dòng)力學(xué)系統(tǒng)。 聯(lián)想特性是聯(lián)想特性是ANNANN的一個(gè)重要特性，主要包

2、括聯(lián)的一個(gè)重要特性，主要包括聯(lián)想映射和聯(lián)想記憶。想映射和聯(lián)想記憶。前饋網(wǎng)絡(luò)具有誘人的聯(lián)想映射前饋網(wǎng)絡(luò)具有誘人的聯(lián)想映射能力，而不具備聯(lián)想記憶能力。在反饋能力，而不具備聯(lián)想記憶能力。在反饋NNNN中，我們中，我們將著重介紹將著重介紹NNNN的聯(lián)想記憶和優(yōu)化計(jì)算的能力。的聯(lián)想記憶和優(yōu)化計(jì)算的能力。5.1 5.1 概述概述 聯(lián)想記憶是指當(dāng)網(wǎng)絡(luò)輸入某個(gè)矢量后，網(wǎng)絡(luò)聯(lián)想記憶是指當(dāng)網(wǎng)絡(luò)輸入某個(gè)矢量后，網(wǎng)絡(luò)經(jīng)過(guò)反饋演化，從網(wǎng)絡(luò)輸出端得到另一個(gè)矢量，經(jīng)過(guò)反饋演化，從網(wǎng)絡(luò)輸出端得到另一個(gè)矢量，這樣輸出矢量就稱作網(wǎng)絡(luò)從初始輸入矢量聯(lián)想得這樣輸出矢量就稱作網(wǎng)絡(luò)從初始輸入矢量聯(lián)想得到的一個(gè)穩(wěn)定記憶，即網(wǎng)絡(luò)的一個(gè)平衡點(diǎn)

3、。到的一個(gè)穩(wěn)定記憶，即網(wǎng)絡(luò)的一個(gè)平衡點(diǎn)。 優(yōu)化計(jì)算是指當(dāng)某一問(wèn)題存在多種解法時(shí)，優(yōu)化計(jì)算是指當(dāng)某一問(wèn)題存在多種解法時(shí)，可以設(shè)計(jì)一個(gè)目標(biāo)函數(shù)，然后尋求滿足這一目標(biāo)可以設(shè)計(jì)一個(gè)目標(biāo)函數(shù)，然后尋求滿足這一目標(biāo)函數(shù)的最優(yōu)解法。例如，在很多情況下可以把能函數(shù)的最優(yōu)解法。例如，在很多情況下可以把能量函數(shù)作為目標(biāo)函數(shù)，得到的最優(yōu)解法需要使能量函數(shù)作為目標(biāo)函數(shù)，得到的最優(yōu)解法需要使能量函數(shù)達(dá)到極小點(diǎn)，即能量函數(shù)的穩(wěn)定平衡點(diǎn)。量函數(shù)達(dá)到極小點(diǎn)，即能量函數(shù)的穩(wěn)定平衡點(diǎn)。 總之，反饋網(wǎng)絡(luò)的設(shè)計(jì)思想就是在初始輸入總之，反饋網(wǎng)絡(luò)的設(shè)計(jì)思想就是在初始輸入下，使網(wǎng)絡(luò)經(jīng)過(guò)反饋計(jì)算最后到達(dá)穩(wěn)定狀態(tài)，這下，使網(wǎng)絡(luò)經(jīng)過(guò)反饋計(jì)算最后

4、到達(dá)穩(wěn)定狀態(tài)，這時(shí)的輸出即是用戶需要的平衡點(diǎn)。時(shí)的輸出即是用戶需要的平衡點(diǎn)。19821982年年, ,美國(guó)加州工學(xué)院美國(guó)加州工學(xué)院J.HopfieldJ.Hopfield提出了可用作聯(lián)想存儲(chǔ)提出了可用作聯(lián)想存儲(chǔ)器和優(yōu)化計(jì)算的反饋網(wǎng)絡(luò)器和優(yōu)化計(jì)算的反饋網(wǎng)絡(luò), ,這個(gè)網(wǎng)絡(luò)稱為這個(gè)網(wǎng)絡(luò)稱為HopfieldHopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)(HNN)(HNN)模型模型, ,也稱也稱HopfieldHopfield模型模型. .并用它成功地探討了旅行商并用它成功地探討了旅行商問(wèn)題問(wèn)題(TSP)(TSP)的求解方法。的求解方法。HNNHNN是一種循環(huán)是一種循環(huán)NN,NN,從輸從輸出到輸入有反饋連接出到輸入有

5、反饋連接. .HNNHNN有離散型和連續(xù)型有離散型和連續(xù)型兩種兩種. .Hopfield模型屬于反饋型神經(jīng)網(wǎng)絡(luò)，從計(jì)算的角度上講，它模型屬于反饋型神經(jīng)網(wǎng)絡(luò)，從計(jì)算的角度上講，它具有很強(qiáng)的計(jì)算能力。具有很強(qiáng)的計(jì)算能力。這樣的系統(tǒng)著重關(guān)心的是系統(tǒng)的穩(wěn)定這樣的系統(tǒng)著重關(guān)心的是系統(tǒng)的穩(wěn)定性問(wèn)題。性問(wèn)題。穩(wěn)定性是這類具有聯(lián)想記憶功能神經(jīng)網(wǎng)絡(luò)模型的核穩(wěn)定性是這類具有聯(lián)想記憶功能神經(jīng)網(wǎng)絡(luò)模型的核心，學(xué)習(xí)記憶的過(guò)程就是系統(tǒng)向穩(wěn)定狀態(tài)發(fā)展的過(guò)程。心，學(xué)習(xí)記憶的過(guò)程就是系統(tǒng)向穩(wěn)定狀態(tài)發(fā)展的過(guò)程。Hopfield網(wǎng)絡(luò)可用于解決聯(lián)想記憶和約束優(yōu)化問(wèn)題的求解。網(wǎng)絡(luò)可用于解決聯(lián)想記憶和約束優(yōu)化問(wèn)題的求解。 反饋網(wǎng)絡(luò)反饋網(wǎng)

6、絡(luò)(Recurrent Network),(Recurrent Network),又稱自聯(lián)又稱自聯(lián)想記憶網(wǎng)絡(luò)想記憶網(wǎng)絡(luò), ,如下圖所示如下圖所示: : 反饋網(wǎng)絡(luò)的目的是反饋網(wǎng)絡(luò)的目的是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)通過(guò)組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)通過(guò)自行運(yùn)行而最終收斂到這個(gè)設(shè)計(jì)的平衡點(diǎn)上。自行運(yùn)行而最終收斂到這個(gè)設(shè)計(jì)的平衡點(diǎn)上。 反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)的動(dòng)態(tài)反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)的動(dòng)態(tài)特性。特性。它所具有的主要特性為以下兩點(diǎn)：它所具有的主要特性為以下兩點(diǎn)： 第一、第一、網(wǎng)絡(luò)系統(tǒng)具有若干個(gè)穩(wěn)定狀態(tài)。當(dāng)網(wǎng)

7、絡(luò)網(wǎng)絡(luò)系統(tǒng)具有若干個(gè)穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂從某一初始狀態(tài)開始運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個(gè)穩(wěn)定的平衡狀態(tài)；到某一個(gè)穩(wěn)定的平衡狀態(tài)； 第二、第二、系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過(guò)設(shè)計(jì)網(wǎng)絡(luò)系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過(guò)設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值而被存儲(chǔ)到網(wǎng)絡(luò)中。的權(quán)值而被存儲(chǔ)到網(wǎng)絡(luò)中。 由于由于HNNHNN為動(dòng)力學(xué)系統(tǒng)為動(dòng)力學(xué)系統(tǒng), ,且其平衡態(tài)關(guān)系到信且其平衡態(tài)關(guān)系到信息的存儲(chǔ)與聯(lián)想記憶息的存儲(chǔ)與聯(lián)想記憶, ,其平衡態(tài)與穩(wěn)定性是非其平衡態(tài)與穩(wěn)定性是非常關(guān)鍵的問(wèn)題。常關(guān)鍵的問(wèn)題。 反饋網(wǎng)絡(luò)根據(jù)信號(hào)的時(shí)間域的性質(zhì)的分類為反饋網(wǎng)絡(luò)根據(jù)信號(hào)的時(shí)間域的性質(zhì)的分類為 如果激活函數(shù)如果激活函數(shù)

8、f(f() )是一個(gè)是一個(gè)二值型的階躍函數(shù)二值型的階躍函數(shù), ,則則稱此網(wǎng)絡(luò)為稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò)離散型反饋網(wǎng)絡(luò), ,主要用于聯(lián)想記憶主要用于聯(lián)想記憶; ; 如果如果f(f() )為一個(gè)為一個(gè)連續(xù)單調(diào)上升的有界函數(shù)連續(xù)單調(diào)上升的有界函數(shù), ,這類這類網(wǎng)絡(luò)被稱為網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò)連續(xù)型反饋網(wǎng)絡(luò), ,主要用于優(yōu)化計(jì)算。主要用于優(yōu)化計(jì)算。 反饋反饋NNNN由于其輸出端有反饋到其輸入端由于其輸出端有反饋到其輸入端, ,所以所以,HNN,HNN在在輸入的激勵(lì)下輸入的激勵(lì)下, ,會(huì)產(chǎn)生不斷的狀態(tài)變化會(huì)產(chǎn)生不斷的狀態(tài)變化. . 當(dāng)有輸入之后當(dāng)有輸入之后, ,可以求取出可以求取出HNNHNN的輸出的

9、輸出, ,這個(gè)輸出反饋到輸這個(gè)輸出反饋到輸入從而產(chǎn)生新的輸出入從而產(chǎn)生新的輸出, ,這個(gè)反饋過(guò)程一直進(jìn)行下去這個(gè)反饋過(guò)程一直進(jìn)行下去. . 如果如果HNNHNN是一個(gè)能穩(wěn)定的網(wǎng)絡(luò)是一個(gè)能穩(wěn)定的網(wǎng)絡(luò), ,則這個(gè)反饋與迭代的計(jì)算則這個(gè)反饋與迭代的計(jì)算過(guò)程所產(chǎn)生的變化越來(lái)越小過(guò)程所產(chǎn)生的變化越來(lái)越小, ,一旦到達(dá)了穩(wěn)定平衡狀態(tài)一旦到達(dá)了穩(wěn)定平衡狀態(tài), ,那么那么HNNHNN就會(huì)輸出一個(gè)穩(wěn)定的恒值就會(huì)輸出一個(gè)穩(wěn)定的恒值. . 對(duì)于對(duì)于HNNHNN來(lái)說(shuō)來(lái)說(shuō), ,關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù)關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù). . 應(yīng)該指出應(yīng)該指出, ,反饋網(wǎng)絡(luò)有穩(wěn)定的反饋網(wǎng)絡(luò)有穩(wěn)定的, ,也有

10、不穩(wěn)定的也有不穩(wěn)定的. .對(duì)于對(duì)于HNNHNN來(lái)說(shuō)來(lái)說(shuō), ,還存在如何判別它是穩(wěn)定網(wǎng)絡(luò)還存在如何判別它是穩(wěn)定網(wǎng)絡(luò), ,亦或是亦或是不穩(wěn)定的問(wèn)題不穩(wěn)定的問(wèn)題. .而判別依據(jù)是什么而判別依據(jù)是什么, ,也是需要確定的也是需要確定的. .反饋網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的區(qū)別反饋網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的區(qū)別 結(jié)構(gòu)不同結(jié)構(gòu)不同 前向神經(jīng)網(wǎng)絡(luò)：沒有反饋環(huán)節(jié)。前向神經(jīng)網(wǎng)絡(luò)：沒有反饋環(huán)節(jié)。 反饋神經(jīng)網(wǎng)絡(luò)：一個(gè)動(dòng)態(tài)系統(tǒng)，存在穩(wěn)定性反饋神經(jīng)網(wǎng)絡(luò)：一個(gè)動(dòng)態(tài)系統(tǒng)，存在穩(wěn)定性問(wèn)題。（關(guān)鍵問(wèn)題）問(wèn)題。（關(guān)鍵問(wèn)題） 模型不同模型不同 前向網(wǎng)絡(luò)：從輸入到輸出的映射關(guān)系，不考前向網(wǎng)絡(luò)：從輸入到輸出的映射關(guān)系，不考慮延時(shí)。慮延時(shí)。 反饋網(wǎng)絡(luò)：考慮延

11、時(shí)，是一個(gè)動(dòng)態(tài)系統(tǒng)，模反饋網(wǎng)絡(luò)：考慮延時(shí)，是一個(gè)動(dòng)態(tài)系統(tǒng)，模型是動(dòng)態(tài)方程（微分方程）。型是動(dòng)態(tài)方程（微分方程）。網(wǎng)絡(luò)的演變過(guò)程不同網(wǎng)絡(luò)的演變過(guò)程不同 前向網(wǎng)絡(luò)：通過(guò)學(xué)習(xí)得到連接權(quán)然后完成指定任前向網(wǎng)絡(luò)：通過(guò)學(xué)習(xí)得到連接權(quán)然后完成指定任務(wù)。務(wù)。 反饋網(wǎng)絡(luò)：反饋網(wǎng)絡(luò)：( (優(yōu)化計(jì)算時(shí)優(yōu)化計(jì)算時(shí)) )首先確定首先確定w w（不是通過(guò)（不是通過(guò)學(xué)習(xí)而來(lái)的，而是通過(guò)目標(biāo)函數(shù)用解析算法得到學(xué)習(xí)而來(lái)的，而是通過(guò)目標(biāo)函數(shù)用解析算法得到的），設(shè)定網(wǎng)絡(luò)的初始狀態(tài)，然后系統(tǒng)運(yùn)動(dòng)，若穩(wěn)的），設(shè)定網(wǎng)絡(luò)的初始狀態(tài)，然后系統(tǒng)運(yùn)動(dòng)，若穩(wěn)定，則最后達(dá)到一個(gè)穩(wěn)定狀態(tài)，對(duì)應(yīng)的輸出就是優(yōu)定，則最后達(dá)到一個(gè)穩(wěn)定狀態(tài)，對(duì)應(yīng)的輸出就是優(yōu)化

12、問(wèn)題的解?；瘑?wèn)題的解。學(xué)習(xí)方法不同學(xué)習(xí)方法不同 前向網(wǎng)絡(luò)：誤差修正算法（前向網(wǎng)絡(luò)：誤差修正算法（BPBP算法）。算法）。 反向網(wǎng)絡(luò)：海布反向網(wǎng)絡(luò)：海布(Hebb(Hebb) )算法算法( (用于聯(lián)想、分用于聯(lián)想、分類的時(shí)候類的時(shí)候) )運(yùn)行學(xué)習(xí)算法wHebb 應(yīng)用范圍不同應(yīng)用范圍不同 前向網(wǎng)絡(luò)：只能用于聯(lián)想映射及其分類。前向網(wǎng)絡(luò)：只能用于聯(lián)想映射及其分類。 反饋網(wǎng)絡(luò)：同時(shí)也可以用于聯(lián)想記憶和約反饋網(wǎng)絡(luò)：同時(shí)也可以用于聯(lián)想記憶和約束優(yōu)化問(wèn)題的求解。束優(yōu)化問(wèn)題的求解。 對(duì)于如對(duì)于如HNNHNN類似的反饋網(wǎng)絡(luò)類似的反饋網(wǎng)絡(luò), ,研究的重點(diǎn)為研究的重點(diǎn)為: : 如何通過(guò)網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于

13、如何通過(guò)網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于平衡狀態(tài)平衡狀態(tài), ,得到聯(lián)想存儲(chǔ)或優(yōu)化計(jì)算的結(jié)果得到聯(lián)想存儲(chǔ)或優(yōu)化計(jì)算的結(jié)果 網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題 怎樣設(shè)計(jì)和利用穩(wěn)定的反饋網(wǎng)絡(luò)怎樣設(shè)計(jì)和利用穩(wěn)定的反饋網(wǎng)絡(luò)網(wǎng)絡(luò)系統(tǒng)能夠達(dá)到穩(wěn)定收斂網(wǎng)絡(luò)系統(tǒng)能夠達(dá)到穩(wěn)定收斂 網(wǎng)絡(luò)的穩(wěn)定點(diǎn)網(wǎng)絡(luò)的穩(wěn)定點(diǎn) 吸引域的設(shè)計(jì)吸引域的設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)形式網(wǎng)絡(luò)結(jié)構(gòu)形式 HopfieldHopfield網(wǎng)絡(luò)是單層對(duì)稱全反饋網(wǎng)絡(luò)，根據(jù)激勵(lì)函網(wǎng)絡(luò)是單層對(duì)稱全反饋網(wǎng)絡(luò)，根據(jù)激勵(lì)函數(shù)選取的不同，可分為離散型和連續(xù)性兩種數(shù)選取的不同，可分為離散型和連續(xù)性兩種（ DHNN,CHNNDHNN,CHNN）。）。 DHNNDHNN：作用函數(shù)為：作用

14、函數(shù)為函數(shù)，主要用于聯(lián)想記憶。函數(shù)，主要用于聯(lián)想記憶。 CHNNCHNN：作用函數(shù)為：作用函數(shù)為S S型函數(shù)，主要用于優(yōu)化計(jì)算型函數(shù)，主要用于優(yōu)化計(jì)算 非線性系統(tǒng)狀態(tài)演變的形式非線性系統(tǒng)狀態(tài)演變的形式 在在Hopfield網(wǎng)絡(luò)中，由于反饋的存在，其加權(quán)網(wǎng)絡(luò)中，由于反饋的存在，其加權(quán) 輸輸入和入和ui，i=1n為網(wǎng)絡(luò)狀態(tài)，網(wǎng)絡(luò)的輸出為為網(wǎng)絡(luò)狀態(tài)，網(wǎng)絡(luò)的輸出為y1yn， 則則u,y的變化過(guò)程為一個(gè)非線性動(dòng)力學(xué)系統(tǒng)。可用非線的變化過(guò)程為一個(gè)非線性動(dòng)力學(xué)系統(tǒng)?？捎梅蔷€性差（微）分方程來(lái)描述。一般有如下的幾種狀態(tài)性差（微）分方程來(lái)描述。一般有如下的幾種狀態(tài)演變形式：演變形式： （1）漸進(jìn)穩(wěn)定）漸進(jìn)穩(wěn)定

15、（2）極限環(huán)）極限環(huán) （3）混沌現(xiàn)象）混沌現(xiàn)象 （4）狀態(tài)軌跡發(fā)散）狀態(tài)軌跡發(fā)散網(wǎng)絡(luò)結(jié)構(gòu)及網(wǎng)絡(luò)結(jié)構(gòu)及I/O關(guān)系關(guān)系對(duì)于以符號(hào)函數(shù)為激勵(lì)函數(shù)的網(wǎng)絡(luò)，網(wǎng)絡(luò)的方程可對(duì)于以符號(hào)函數(shù)為激勵(lì)函數(shù)的網(wǎng)絡(luò)，網(wǎng)絡(luò)的方程可寫為：寫為： 圖2.8.2 nitutxtxwtuiinjijiji, 2 , 1 ) 1(sgn) 1() 1(1離散型 Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)為對(duì)稱網(wǎng)絡(luò)，網(wǎng)絡(luò)為對(duì)稱網(wǎng)絡(luò)，wij=wji。當(dāng)。當(dāng)wii0時(shí)為無(wú)時(shí)為無(wú)自反饋型，反之為全自反饋型自反饋型，反之為全自反饋型5.2 5.2 離散離散HopfieldHopfield網(wǎng)絡(luò)網(wǎng)絡(luò) HopfieldHopfield最早提出的

16、網(wǎng)絡(luò)是神經(jīng)元的輸出為最早提出的網(wǎng)絡(luò)是神經(jīng)元的輸出為0-10-1二值的二值的NN,NN,所以所以, ,也稱離散的也稱離散的HNN (HNN (簡(jiǎn)稱為簡(jiǎn)稱為DHNN).DHNN). 下面分別討論下面分別討論DHNNDHNN的的結(jié)構(gòu)結(jié)構(gòu)動(dòng)力學(xué)穩(wěn)定性動(dòng)力學(xué)穩(wěn)定性( (網(wǎng)絡(luò)收斂性網(wǎng)絡(luò)收斂性) )聯(lián)想存儲(chǔ)中的應(yīng)用聯(lián)想存儲(chǔ)中的應(yīng)用記憶容量問(wèn)題記憶容量問(wèn)題 在在DHNNDHNN網(wǎng)絡(luò)中網(wǎng)絡(luò)中, ,神經(jīng)元所輸出的離散值神經(jīng)元所輸出的離散值1 1和和0 0分分別表示神經(jīng)元處于興奮和抑制狀態(tài)別表示神經(jīng)元處于興奮和抑制狀態(tài). . 各神經(jīng)元通過(guò)賦有權(quán)重的連接來(lái)互聯(lián)各神經(jīng)元通過(guò)賦有權(quán)重的連接來(lái)互聯(lián). . 下面下面, ,首先

17、考慮由三個(gè)神經(jīng)元組成的首先考慮由三個(gè)神經(jīng)元組成的DHNN,DHNN,其結(jié)其結(jié)構(gòu)如構(gòu)如圖圖1 1所示所示. ..1離散離散HopfieldHopfield網(wǎng)絡(luò)的結(jié)構(gòu)網(wǎng)絡(luò)的結(jié)構(gòu) x1 x3 x2 y1 y3 y2 圖 三神經(jīng)元組成的 HNN w11 w12 w13 w21 w23 w31 w22 w33 w32 在圖中在圖中, ,第第0 0層僅僅是作為網(wǎng)絡(luò)的輸入層僅僅是作為網(wǎng)絡(luò)的輸入, ,它不是它不是實(shí)際神經(jīng)元實(shí)際神經(jīng)元, ,所以無(wú)計(jì)算功能所以無(wú)計(jì)算功能; ; 而第一層是實(shí)際神經(jīng)元而第一層是實(shí)際神經(jīng)元, ,故而執(zhí)行對(duì)輸入信息和故而執(zhí)行對(duì)輸入信息和權(quán)系數(shù)乘積求累加和權(quán)系數(shù)乘積求累加和

18、, ,并由非線性函數(shù)并由非線性函數(shù)f f處理后處理后產(chǎn)生輸出信息產(chǎn)生輸出信息. . f f是一個(gè)簡(jiǎn)單的閾值函效是一個(gè)簡(jiǎn)單的閾值函效, ,如果如果神經(jīng)元的輸入信息的綜合大于閾值神經(jīng)元的輸入信息的綜合大于閾值 , ,那么那么, ,神經(jīng)元的神經(jīng)元的輸出就取值為輸出就取值為1;1;小于閾值小于閾值 , ,則神經(jīng)元的輸出就取值為則神經(jīng)元的輸出就取值為0.0. 對(duì)于二值神經(jīng)元對(duì)于二值神經(jīng)元, ,它的計(jì)算公式如下它的計(jì)算公式如下jn1iiji,jxywu其中其中xj為外部輸入為外部輸入,并且有并且有yj=1,當(dāng)當(dāng)ujj時(shí)時(shí)yj=0,當(dāng)當(dāng)uj0,有有:y(t+ t)=y(t)則稱網(wǎng)絡(luò)是則稱網(wǎng)絡(luò)是穩(wěn)定穩(wěn)定的的.

19、吸引子：吸引子：若若y(t)是網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，則稱是網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，則稱y(t)是網(wǎng)絡(luò)的穩(wěn)定吸引是網(wǎng)絡(luò)的穩(wěn)定吸引子。子。吸引域：吸引域：能夠穩(wěn)定在吸引子能夠穩(wěn)定在吸引子y(t)的所有初始狀態(tài)的所有初始狀態(tài)y(0)的集合，稱的集合，稱為吸引子為吸引子y(t)的吸引域。的吸引域。DHNN的能量函數(shù)的能量函數(shù)上例的狀態(tài)轉(zhuǎn)移關(guān)系有這樣的規(guī)律：任意一個(gè)狀態(tài)要么在同一上例的狀態(tài)轉(zhuǎn)移關(guān)系有這樣的規(guī)律：任意一個(gè)狀態(tài)要么在同一“高度高度”變化，要么從上向下轉(zhuǎn)移。變化，要么從上向下轉(zhuǎn)移。Hopfield網(wǎng)絡(luò)模型是一個(gè)多輸入、多輸出、帶閾值的二態(tài)非線網(wǎng)絡(luò)模型是一個(gè)多輸入、多輸出、帶閾值的二態(tài)非線性動(dòng)力學(xué)系統(tǒng)。在滿足

20、一定的參數(shù)條件下，能量函數(shù)在網(wǎng)絡(luò)運(yùn)性動(dòng)力學(xué)系統(tǒng)。在滿足一定的參數(shù)條件下，能量函數(shù)在網(wǎng)絡(luò)運(yùn)行過(guò)程中是不斷降低、最后趨于穩(wěn)定平衡狀態(tài)的。行過(guò)程中是不斷降低、最后趨于穩(wěn)定平衡狀態(tài)的。這種以能量函數(shù)作為網(wǎng)絡(luò)計(jì)算的求解工具，被稱為計(jì)算能量函這種以能量函數(shù)作為網(wǎng)絡(luò)計(jì)算的求解工具，被稱為計(jì)算能量函數(shù)。數(shù)。Hopfield網(wǎng)絡(luò)狀態(tài)變化分析的核心是對(duì)每個(gè)網(wǎng)絡(luò)的狀態(tài)定網(wǎng)絡(luò)狀態(tài)變化分析的核心是對(duì)每個(gè)網(wǎng)絡(luò)的狀態(tài)定義一個(gè)能量義一個(gè)能量E，任意一個(gè)神經(jīng)元節(jié)點(diǎn)狀態(tài)發(fā)生變化時(shí)，能量值，任意一個(gè)神經(jīng)元節(jié)點(diǎn)狀態(tài)發(fā)生變化時(shí)，能量值都將減小。都將減小。 假設(shè)第假設(shè)第i個(gè)神經(jīng)元節(jié)點(diǎn)狀態(tài)個(gè)神經(jīng)元節(jié)點(diǎn)狀態(tài)vi的變化量記為的變化量記為vi相

21、應(yīng)的能量變化相應(yīng)的能量變化量記為量記為Ei。所謂能量。所謂能量Ei隨狀態(tài)變化而減小意味著隨狀態(tài)變化而減小意味著Ei總是負(fù)值?？偸秦?fù)值。考察兩種情況：考察兩種情況：(1)當(dāng)狀態(tài)當(dāng)狀態(tài)vi由由0變?yōu)樽優(yōu)?時(shí)，時(shí)， vi 0。(2)當(dāng)狀態(tài)當(dāng)狀態(tài)vi由由1變?yōu)樽優(yōu)?時(shí)，時(shí)， vi 0。按照能量變化量為負(fù)的思路，可將能量的變化量按照能量變化量為負(fù)的思路，可將能量的變化量Ei表示為表示為故節(jié)點(diǎn)故節(jié)點(diǎn)i的能量可定義為：的能量可定義為：1()niijjiijEw vv 1111()12niijjiijj innnijijiiijij iEw vvEw v vv 顯然顯然E是對(duì)所有的是對(duì)所有的Ei按照某種方式求

22、和而得到，即式中出現(xiàn)的按照某種方式求和而得到，即式中出現(xiàn)的12因子。其原因在于離散因子。其原因在于離散Hopfield網(wǎng)絡(luò)模型中，網(wǎng)絡(luò)模型中，wij=wji，如直，如直接計(jì)算接計(jì)算E，將會(huì)對(duì)，將會(huì)對(duì)Ei中的每一項(xiàng)計(jì)算兩次。如上例中對(duì)于中的每一項(xiàng)計(jì)算兩次。如上例中對(duì)于3個(gè)節(jié)個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)，其節(jié)點(diǎn)能量為：點(diǎn)的網(wǎng)絡(luò)，其節(jié)點(diǎn)能量為：由上面給出由上面給出E定義，顯然有：定義，顯然有：（1）在離散）在離散Hopfield模型狀態(tài)更新過(guò)程中，能量函數(shù)模型狀態(tài)更新過(guò)程中，能量函數(shù)E隨狀態(tài)隨狀態(tài)變化而嚴(yán)格單調(diào)遞減。變化而嚴(yán)格單調(diào)遞減。（2）離散）離散Hopfield模型的穩(wěn)定狀態(tài)與能量函數(shù)模型的穩(wěn)定狀態(tài)與能量函數(shù)

23、E在狀態(tài)空間的在狀態(tài)空間的局部極小點(diǎn)是一一對(duì)應(yīng)的。局部極小點(diǎn)是一一對(duì)應(yīng)的。q 從從DHNN可以看出可以看出: 它是一種多輸入它是一種多輸入,含有閾值的二值非線性動(dòng)力系統(tǒng)含有閾值的二值非線性動(dòng)力系統(tǒng). 在動(dòng)力系統(tǒng)中在動(dòng)力系統(tǒng)中,平衡穩(wěn)定狀態(tài)可以理解為系統(tǒng)的某種形式平衡穩(wěn)定狀態(tài)可以理解為系統(tǒng)的某種形式的能量函數(shù)在系統(tǒng)運(yùn)動(dòng)過(guò)程中的能量函數(shù)在系統(tǒng)運(yùn)動(dòng)過(guò)程中,其能量值不斷減小其能量值不斷減小,最后最后處于最小值處于最小值. 因此因此,對(duì)對(duì)HNN可引入一個(gè)可引入一個(gè)Lyapunov函數(shù)函數(shù),即所謂能量函數(shù)即所謂能量函數(shù): 即有即有) 1 (t)y(t)yx-(t)(t)yyw21E1n1ijjjjjiji

24、,njn1jjjn1jjjn1in1jjiji,(t)y(t)yx-(t)(t)yyw21-E 對(duì)對(duì)HNNHNN的能量函數(shù)有幾點(diǎn)說(shuō)明的能量函數(shù)有幾點(diǎn)說(shuō)明: : 當(dāng)對(duì)反饋網(wǎng)絡(luò)應(yīng)用能量函數(shù)后當(dāng)對(duì)反饋網(wǎng)絡(luò)應(yīng)用能量函數(shù)后, ,從任一初始狀態(tài)開從任一初始狀態(tài)開始始, ,因?yàn)樵诿看蔚蠖寄軡M足因?yàn)樵诿看蔚蠖寄軡M足 E E 0,0,所以網(wǎng)絡(luò)的所以網(wǎng)絡(luò)的能量將會(huì)越來(lái)越小能量將會(huì)越來(lái)越小. . 由于能量函數(shù)存在下界由于能量函數(shù)存在下界, ,因此其最后趨于穩(wěn)定點(diǎn)因此其最后趨于穩(wěn)定點(diǎn) E=0.E=0. HopfieldHopfield能量函數(shù)的物理意義是能量函數(shù)的物理意義是: : 在那些漸進(jìn)穩(wěn)定點(diǎn)的吸引域內(nèi)在

25、那些漸進(jìn)穩(wěn)定點(diǎn)的吸引域內(nèi), ,離吸引點(diǎn)越遠(yuǎn)的狀態(tài)離吸引點(diǎn)越遠(yuǎn)的狀態(tài), ,所所具有的能量越大具有的能量越大. . 由于能量函數(shù)的單調(diào)下降特性由于能量函數(shù)的單調(diào)下降特性, ,保證狀態(tài)的運(yùn)動(dòng)方向能保證狀態(tài)的運(yùn)動(dòng)方向能從遠(yuǎn)離吸引點(diǎn)處從遠(yuǎn)離吸引點(diǎn)處, ,不斷地趨于吸引點(diǎn)不斷地趨于吸引點(diǎn), ,直到達(dá)到穩(wěn)定點(diǎn)直到達(dá)到穩(wěn)定點(diǎn). . 能量函數(shù)是反饋網(wǎng)絡(luò)中的重要概念能量函數(shù)是反饋網(wǎng)絡(luò)中的重要概念. .根據(jù)能量函數(shù)根據(jù)能量函數(shù)可以方便的判斷系統(tǒng)的穩(wěn)定性可以方便的判斷系統(tǒng)的穩(wěn)定性; ; HopfieldHopfield選擇的能量函數(shù)選擇的能量函數(shù), ,只是保證系統(tǒng)穩(wěn)定和漸只是保證系統(tǒng)穩(wěn)定和漸進(jìn)穩(wěn)定的充分條件進(jìn)穩(wěn)定的充

26、分條件, ,而不是必要條件而不是必要條件, ,其能量函數(shù)其能量函數(shù)也不是唯一的也不是唯一的. . 在狀態(tài)更新過(guò)程中，包括三種情況：由在狀態(tài)更新過(guò)程中，包括三種情況：由0 0變?yōu)樽優(yōu)? 1；由由1 1變?yōu)樽優(yōu)? 0及狀態(tài)保持不變。及狀態(tài)保持不變。q 類似于研究動(dòng)力學(xué)系統(tǒng)穩(wěn)定性的類似于研究動(dòng)力學(xué)系統(tǒng)穩(wěn)定性的Lyapunov穩(wěn)定性理論穩(wěn)定性理論,上述上述DHNN的穩(wěn)定性可由分析上述定義的的穩(wěn)定性可由分析上述定義的Lyapunov函數(shù)函數(shù)E的變化的變化規(guī)律而揭示規(guī)律而揭示. 因此因此,由神經(jīng)元由神經(jīng)元j的狀態(tài)變化量的狀態(tài)變化量 yj(t)所引起的所引起的的能量變化的能量變化量量 Ej為為:)2(t)y

27、x-(t)yw(w21-(t)y(t)yEEjn1ijjiij,ji,jjj 若所討論的若所討論的HNN是對(duì)稱網(wǎng)絡(luò)是對(duì)稱網(wǎng)絡(luò),即有即有wi,j=wj,i,i,j=1,2,.,n,則有則有) 3(t)yx-(t)ywEjn1ijjiji,j則yj(t+1)=fuj(t)-j式(3)則可記為:Ej(t)=-uj(t)+jyj(t) (3A)q 下面分別對(duì) 串行異步方式串行異步方式和 并行同步方式并行同步方式,證明對(duì)稱二值型HNN是穩(wěn)定的.q 如果,令jn1iiji,jx(t)yw(t)uA.串行異步方式串行異步方式q 對(duì)串行異步和對(duì)稱權(quán)值型的HNN,基于式(3A)Ej(t)=-uj(t)+jyj(

28、t) (3A)考慮如下兩種情況: 如果如果ujj,即神經(jīng)元j的輸入綜合大于閾值,則從二值神經(jīng)元的計(jì)算公式知道: yj的值保持為1,或者從0變到1. 這說(shuō)明yj的變化yj只能是0或正值.這時(shí)很明顯有Ej:Ej0這說(shuō)明HNN神經(jīng)元的能量減少或不變. 如果如果ujj,即神經(jīng)元j的輸入綜合小于閾值,則知yj的值保持為0,或者從1變到0,而yj小于等于零.這時(shí)則有Ej:Ej0這也說(shuō)明HNN神經(jīng)元的能量減少.q 上面兩點(diǎn)說(shuō)明了DHNN在權(quán)系數(shù)矩陣W的對(duì)角線元素為0,而且W矩陣元素對(duì)稱時(shí),串行異步方式的DHNN是穩(wěn)定的.B. 并行同步方式并行同步方式q 由上述對(duì)串行異步和對(duì)稱權(quán)值型的DHNN的穩(wěn)定性分析過(guò)程

29、知,單個(gè)神經(jīng)元的狀態(tài)變化引起的Lyapunov函數(shù)的變化量Ej(t)0 因此, 并行同步且權(quán)值對(duì)稱的并行同步且權(quán)值對(duì)稱的DHNN的所有神經(jīng)元引起的Lyapunov函數(shù)的變化量為:0(t)E(t)y(t)yEE1j1jjnjnj 故上面兩點(diǎn)說(shuō)明了DHNN在權(quán)系數(shù)矩陣W的對(duì)角線元素為0,而且W矩陣元素對(duì)稱時(shí),并行同步方式的DHNN是穩(wěn)定的.q 基于上述分析,Coben和Grossberg在1983年給出了關(guān)于HNN穩(wěn)定的充分條件,他們指出: 如果權(quán)系數(shù)矩陣如果權(quán)系數(shù)矩陣W是一個(gè)對(duì)稱矩陣是一個(gè)對(duì)稱矩陣,并且并且,對(duì)角線元素為對(duì)角線元素為0.則這個(gè)網(wǎng)絡(luò)是穩(wěn)定的則這個(gè)網(wǎng)絡(luò)是穩(wěn)定的. 即是說(shuō)在權(quán)系數(shù)矩陣W

30、中,若i=j時(shí), Wij=0ij時(shí),Wij=Wji則HNN是穩(wěn)定的. 應(yīng)該指出: 這只是HNN穩(wěn)定的充分條件,而不是必要條件. 在實(shí)際中有很多穩(wěn)定的HNN,但是它們并不滿足權(quán)系數(shù)矩陣w是對(duì)稱矩陣這一條件. x1 x3 x2 y1 y3 y2 圖 4 對(duì)角線權(quán)系數(shù)為 0 的對(duì)稱網(wǎng)另一圖示 w12 w13 w23 w21 w32 w31 q 由上面的分析可知: 無(wú)自反饋的權(quán)系數(shù)對(duì)稱HNN是穩(wěn)定. 它如圖4所示. 例例2 2：計(jì)算例：計(jì)算例1 1中中3 3節(jié)點(diǎn)模型的個(gè)狀態(tài)的能量。節(jié)點(diǎn)模型的個(gè)狀態(tài)的能量。首先選擇狀態(tài)首先選擇狀態(tài)y y1 1y y2 2y y3 3= =（011011），此時(shí)，網(wǎng)絡(luò)的能

31、量為：），此時(shí)，網(wǎng)絡(luò)的能量為：再選擇狀態(tài)再選擇狀態(tài)y y1 1y y2 2y y3 3= =（110110），同理，網(wǎng)絡(luò)的能量為：），同理，網(wǎng)絡(luò)的能量為：61*31*00*) 5(1*1*) 3(1*0*21*0*1332211322331132112yyyyywyywyywE60*31*01*) 5(0*1*) 3(0*1*21*1*1332211322331132112yyyyywyywyywE 其余狀態(tài)能量如表其余狀態(tài)能量如表2 2所示：所示： y1y2y3E0000001301000116100-5101-4110-6111-2 顯然，狀態(tài)顯然，狀態(tài)y y1 1y y2 2y y3 3

32、= =（110110）處的能量最小。從任意狀態(tài)開始，）處的能量最小。從任意狀態(tài)開始，網(wǎng)絡(luò)沿能量減?。òㄍ患?jí)能量）方向更新狀態(tài)，最終能網(wǎng)絡(luò)沿能量減?。òㄍ患?jí)能量）方向更新狀態(tài)，最終能達(dá)到對(duì)應(yīng)能量極小的穩(wěn)態(tài)。達(dá)到對(duì)應(yīng)能量極小的穩(wěn)態(tài)。例：運(yùn)行圖所示例：運(yùn)行圖所示4節(jié)點(diǎn)模型，并計(jì)算其各狀態(tài)的能量。節(jié)點(diǎn)模型，并計(jì)算其各狀態(tài)的能量。任意給定一個(gè)初始狀態(tài)為：任意給定一個(gè)初始狀態(tài)為：v(0)1,0,1,0，先計(jì)算先計(jì)算E(0)得得 E(0)1.0第一輪迭代：第一輪迭代：v1(1)sgn(2.8-6.3)=sgn (-3.5)=0v2(1) sgn(3.4+4.7-(-4.3)=sgn (12.4)=

33、1v3(1) sgn(2.8-(-2.5)=sgn (5.3)= 1v4(1) sgn(-3.1-5.9-(-9.6)=sgn (0.6)= 1E(1)-14.0v1(2)sgn(3.4+2.8-3.1-6.3)=sgn (-3.2)=0v2(2) sgn(4.7-1.2-(-4.3)=sgn (7.8)= 1v3(2) sgn(4.7-5.9-(-2.5)=sgn (1.3)= 1v4(2) sgn(-1.2-5.9-(-9.6)=sgn (2.5)= 1E(2)-14.0DHNN的能量函數(shù)的能量函數(shù) 因此，因此，v0,1,1,1是網(wǎng)絡(luò)的一個(gè)穩(wěn)定狀態(tài)。實(shí)際上此例中有是網(wǎng)絡(luò)的一個(gè)穩(wěn)定狀態(tài)。實(shí)際

34、上此例中有4個(gè)神經(jīng)元其可能的狀態(tài)有個(gè)神經(jīng)元其可能的狀態(tài)有16個(gè)，為便于驗(yàn)算，將其各狀態(tài)的個(gè)，為便于驗(yàn)算，將其各狀態(tài)的能量列表如下：能量列表如下：顯然，網(wǎng)絡(luò)穩(wěn)定狀態(tài)下的能量為最小值顯然，網(wǎng)絡(luò)穩(wěn)定狀態(tài)下的能量為最小值-14。網(wǎng)絡(luò)能量極小狀態(tài)即為網(wǎng)絡(luò)的一個(gè)穩(wěn)定平衡狀態(tài)。能量極小點(diǎn)的網(wǎng)絡(luò)能量極小狀態(tài)即為網(wǎng)絡(luò)的一個(gè)穩(wěn)定平衡狀態(tài)。能量極小點(diǎn)的存在為信息的分布式存儲(chǔ)記憶、優(yōu)化計(jì)算提供了基礎(chǔ)。如果將記存在為信息的分布式存儲(chǔ)記憶、優(yōu)化計(jì)算提供了基礎(chǔ)。如果將記憶的樣本信息存貯于不同的能量極小點(diǎn)，當(dāng)輸入某一模式時(shí)，網(wǎng)憶的樣本信息存貯于不同的能量極小點(diǎn)，當(dāng)輸入某一模式時(shí)，網(wǎng)絡(luò)就能絡(luò)就能“聯(lián)想記憶聯(lián)想記憶”與其相關(guān)的存

35、儲(chǔ)樣本，實(shí)現(xiàn)聯(lián)想記憶。與其相關(guān)的存儲(chǔ)樣本，實(shí)現(xiàn)聯(lián)想記憶。DHNN能量極小點(diǎn)的設(shè)計(jì)能量極小點(diǎn)的設(shè)計(jì)只有當(dāng)網(wǎng)絡(luò)的能量極小點(diǎn)可被選擇和設(shè)定時(shí)，網(wǎng)絡(luò)所只有當(dāng)網(wǎng)絡(luò)的能量極小點(diǎn)可被選擇和設(shè)定時(shí)，網(wǎng)絡(luò)所具有的能力才能發(fā)揮作用。具有的能力才能發(fā)揮作用。能量極小點(diǎn)的分布是由網(wǎng)絡(luò)的連接權(quán)值和閾值所決定能量極小點(diǎn)的分布是由網(wǎng)絡(luò)的連接權(quán)值和閾值所決定的。因此設(shè)計(jì)能量極小點(diǎn)的核心就是如何獲取一組合的。因此設(shè)計(jì)能量極小點(diǎn)的核心就是如何獲取一組合適的參數(shù)值。適的參數(shù)值。有兩種方法供選擇：有兩種方法供選擇：(1)根據(jù)求解問(wèn)題的要求直接設(shè)計(jì)出所需要的連接枚值根據(jù)求解問(wèn)題的要求直接設(shè)計(jì)出所需要的連接枚值(2)通過(guò)提供的附加機(jī)制來(lái)

36、訓(xùn)練網(wǎng)絡(luò)，使其自動(dòng)調(diào)整連通過(guò)提供的附加機(jī)制來(lái)訓(xùn)練網(wǎng)絡(luò)，使其自動(dòng)調(diào)整連接權(quán)值，產(chǎn)生期望的能量極小點(diǎn)。接權(quán)值，產(chǎn)生期望的能量極小點(diǎn)。前者為靜態(tài)學(xué)習(xí)方法，對(duì)于一個(gè)具體應(yīng)用而言，權(quán)矩前者為靜態(tài)學(xué)習(xí)方法，對(duì)于一個(gè)具體應(yīng)用而言，權(quán)矩陣為定常矩陣、如陣為定常矩陣、如TSP求解等。后者為動(dòng)態(tài)學(xué)習(xí)方法，求解等。后者為動(dòng)態(tài)學(xué)習(xí)方法，如聯(lián)想記憶等。如聯(lián)想記憶等。 例例 以以3節(jié)點(diǎn)節(jié)點(diǎn)Hopfield網(wǎng)絡(luò)為例，假定要求設(shè)計(jì)的能量網(wǎng)絡(luò)為例，假定要求設(shè)計(jì)的能量極小點(diǎn)為狀態(tài)極小點(diǎn)為狀態(tài)v1v2v3(010)和和v1v2v3(111)，且網(wǎng)絡(luò)，且網(wǎng)絡(luò)參數(shù)參數(shù)(權(quán)值、閡值權(quán)值、閡值)的取值范圍為的取值范圍為-1,1試確定滿足條

37、件試確定滿足條件的網(wǎng)絡(luò)參數(shù)。的網(wǎng)絡(luò)參數(shù)。記記v1v2v3(010)為狀態(tài)為狀態(tài)A，v1v2v3(111)為狀態(tài)為狀態(tài)B對(duì)于狀態(tài)對(duì)于狀態(tài)A，節(jié)點(diǎn)激勵(lì)函數(shù)必須滿足下列不等式：，節(jié)點(diǎn)激勵(lì)函數(shù)必須滿足下列不等式：對(duì)于狀態(tài)對(duì)于狀態(tài)B，節(jié)點(diǎn)激勵(lì)函數(shù)必須滿足下列不等式：，節(jié)點(diǎn)激勵(lì)函數(shù)必須滿足下列不等式： 1212233( )0( )0( )0awbcw 121311223223133( )0( )0()0dwwewwfww 用上面的不等式組，可以求解出用上面的不等式組，可以求解出6個(gè)未知量的允許取個(gè)未知量的允許取值范圍。值范圍。假設(shè)取假設(shè)取w120.5，則：，則：由由(a)式，式，0.511，取，取10.7

38、由由(d)式，式，0.2w13 1，取，取W130.4由由(b)式，式，-120，取，取2-0.2由由(e)式，式，-0.7w231，取，取w230.1由由(c)式，式，0.13 1，取，取30.4；3也滿足也滿足(f)式。式。于是，確定了一組權(quán)值和閾值：于是，確定了一組權(quán)值和閾值：w120.5，w130.4，w230.110.7，2-0.2，30.4可以驗(yàn)證，利用這組參數(shù)構(gòu)成的可以驗(yàn)證，利用這組參數(shù)構(gòu)成的Hopfield網(wǎng)絡(luò)對(duì)于任網(wǎng)絡(luò)對(duì)于任何起始狀態(tài)，始終都將達(dá)到所期望的穩(wěn)態(tài)何起始狀態(tài)，始終都將達(dá)到所期望的穩(wěn)態(tài)A和穩(wěn)態(tài)和穩(wěn)態(tài)BDHNN能量極小點(diǎn)的設(shè)計(jì)能量極小點(diǎn)的設(shè)計(jì)5.2.3 HNN5.2.

39、3 HNN的聯(lián)想記憶的聯(lián)想記憶 所謂聯(lián)想可以理解為從一種事物聯(lián)系到與其所謂聯(lián)想可以理解為從一種事物聯(lián)系到與其相關(guān)的事物的過(guò)程相關(guān)的事物的過(guò)程. . 日常生活中日常生活中, ,從一種事物出發(fā)從一種事物出發(fā), ,人們會(huì)非常自然地人們會(huì)非常自然地聯(lián)想到與該事物密切相關(guān)或有因果關(guān)系的種種事聯(lián)想到與該事物密切相關(guān)或有因果關(guān)系的種種事務(wù)務(wù). . 兩種聯(lián)想形式兩種聯(lián)想形式 自聯(lián)想自聯(lián)想(Auto-association) :(Auto-association) : 由某種代表事物由某種代表事物( (或該事物的主要特征或該事物的主要特征, ,或部分主或部分主要特征要特征) )聯(lián)想到其所標(biāo)示的實(shí)際事物。聯(lián)想到其

40、所標(biāo)示的實(shí)際事物。 從英文字頭從英文字頭“Newt”Newt”聯(lián)想到聯(lián)想到“Newton”Newton”。 聽到歌曲的一部分可以聯(lián)想起整個(gè)曲子。聽到歌曲的一部分可以聯(lián)想起整個(gè)曲子。 異聯(lián)想異聯(lián)想( (他聯(lián)想他聯(lián)想)(Hetero -association) :)(Hetero -association) : 由一種事物由一種事物( (或該事物的主要特征或該事物的主要特征, ,或部分主要特或部分主要特征征) )聯(lián)想到與其密切相關(guān)的另一事物。聯(lián)想到與其密切相關(guān)的另一事物。 從質(zhì)能關(guān)系式從質(zhì)能關(guān)系式E=mcE=mc2 2聯(lián)想到其發(fā)明者愛因斯坦。聯(lián)想到其發(fā)明者愛因斯坦。 看到某人的名字會(huì)聯(lián)想起他的相貌

41、和特點(diǎn)。看到某人的名字會(huì)聯(lián)想起他的相貌和特點(diǎn)。 人腦從一種事物得到對(duì)應(yīng)事物的兩種途徑人腦從一種事物得到對(duì)應(yīng)事物的兩種途徑 按時(shí)間順序?qū)ο嚓P(guān)事物進(jìn)行思考按時(shí)間順序?qū)ο嚓P(guān)事物進(jìn)行思考 可通過(guò)時(shí)間表來(lái)回憶某一階段所做的工作可通過(guò)時(shí)間表來(lái)回憶某一階段所做的工作. . 通過(guò)事物本質(zhì)特征的對(duì)比來(lái)確定事物的屬性通過(guò)事物本質(zhì)特征的對(duì)比來(lái)確定事物的屬性 由提示信息或局部信息對(duì)事物進(jìn)行回憶或確認(rèn)由提示信息或局部信息對(duì)事物進(jìn)行回憶或確認(rèn). .qHNNHNN的一個(gè)功能是可用于聯(lián)想記憶的一個(gè)功能是可用于聯(lián)想記憶, ,也即是聯(lián)想存儲(chǔ)也即是聯(lián)想存儲(chǔ)器器. .這是人類的智能特點(diǎn)之一這是人類的智能特點(diǎn)之一. . 人類的所謂人類

42、的所謂“觸景生情觸景生情”就是見到一些類同過(guò)去接觸的就是見到一些類同過(guò)去接觸的景物景物, ,容易產(chǎn)生對(duì)過(guò)去情景的回昧和思憶容易產(chǎn)生對(duì)過(guò)去情景的回昧和思憶. . 對(duì)于對(duì)于HNN,HNN,用它作聯(lián)想記憶時(shí)用它作聯(lián)想記憶時(shí), ,首先通過(guò)一個(gè)學(xué)習(xí)訓(xùn)練過(guò)首先通過(guò)一個(gè)學(xué)習(xí)訓(xùn)練過(guò)程確定網(wǎng)絡(luò)中的權(quán)系數(shù)程確定網(wǎng)絡(luò)中的權(quán)系數(shù), ,使所記憶的信息在網(wǎng)絡(luò)的使所記憶的信息在網(wǎng)絡(luò)的n n維超維超立方體的某一個(gè)頂角的能量最小立方體的某一個(gè)頂角的能量最小. . 當(dāng)網(wǎng)絡(luò)的權(quán)系數(shù)確定之后當(dāng)網(wǎng)絡(luò)的權(quán)系數(shù)確定之后, ,只要向網(wǎng)絡(luò)給出輸入向量只要向網(wǎng)絡(luò)給出輸入向量, ,這這個(gè)向量可能是局部數(shù)據(jù)個(gè)向量可能是局部數(shù)據(jù). . 即不完全或部分

43、不正確的數(shù)據(jù)即不完全或部分不正確的數(shù)據(jù), ,但是網(wǎng)絡(luò)仍然產(chǎn)生所但是網(wǎng)絡(luò)仍然產(chǎn)生所記憶的信息的完整輸出記憶的信息的完整輸出. .q19841984年年HopfieldHopfield提出一種用提出一種用n n維維HNNHNN作聯(lián)想存儲(chǔ)器的作聯(lián)想存儲(chǔ)器的結(jié)構(gòu)結(jié)構(gòu). . HNNHNN聯(lián)想存儲(chǔ)器的主要思想為聯(lián)想存儲(chǔ)器的主要思想為: : 根據(jù)欲存儲(chǔ)的信息的表示形式和維數(shù)根據(jù)欲存儲(chǔ)的信息的表示形式和維數(shù), ,設(shè)計(jì)相應(yīng)的設(shè)計(jì)相應(yīng)的HNNHNN結(jié)構(gòu)結(jié)構(gòu) 將欲存儲(chǔ)的信息設(shè)計(jì)為將欲存儲(chǔ)的信息設(shè)計(jì)為HNNHNN的動(dòng)力學(xué)過(guò)程的已知的漸的動(dòng)力學(xué)過(guò)程的已知的漸近穩(wěn)定平衡點(diǎn)近穩(wěn)定平衡點(diǎn) 通過(guò)學(xué)習(xí)和設(shè)計(jì)算法尋求合適的權(quán)值矩陣

44、將穩(wěn)定狀態(tài)通過(guò)學(xué)習(xí)和設(shè)計(jì)算法尋求合適的權(quán)值矩陣將穩(wěn)定狀態(tài)存儲(chǔ)到網(wǎng)絡(luò)中存儲(chǔ)到網(wǎng)絡(luò)中q 在在HNNHNN聯(lián)想存儲(chǔ)器中聯(lián)想存儲(chǔ)器中, ,權(quán)系數(shù)的賦值規(guī)則權(quán)系數(shù)的賦值規(guī)則HebbHebb規(guī)則規(guī)則, ,即為存儲(chǔ)即為存儲(chǔ)向量的外積存儲(chǔ)規(guī)則向量的外積存儲(chǔ)規(guī)則, ,其原理如下其原理如下: : 設(shè)有m個(gè)樣本存儲(chǔ)向量X1,X2,Xm,其中Xi=Xi1,Xi2,.,Xi,n把這m個(gè)樣本向量存儲(chǔ)入HNN中,則在網(wǎng)絡(luò)中第i,j兩個(gè)節(jié)點(diǎn)之間權(quán)系數(shù)的值為(權(quán)值學(xué)習(xí)規(guī)則):mjijijiXXWjkikij,.,2 , 1,0,時(shí)當(dāng)時(shí)當(dāng)其中k為樣本向量Xk的下標(biāo),k=1,2,m;i,j分別是樣本向量Xk的第i,j分量Xk,i,

45、Xk,j的下標(biāo). 如果把系統(tǒng)的穩(wěn)定點(diǎn)視做一個(gè)記憶的話，那如果把系統(tǒng)的穩(wěn)定點(diǎn)視做一個(gè)記憶的話，那么從初始狀態(tài)朝這個(gè)穩(wěn)定點(diǎn)移動(dòng)的過(guò)程就是么從初始狀態(tài)朝這個(gè)穩(wěn)定點(diǎn)移動(dòng)的過(guò)程就是尋找該記憶的過(guò)程。尋找該記憶的過(guò)程。 用用 DHNN實(shí)現(xiàn)聯(lián)想記憶需要考慮兩個(gè)重要的問(wèn)題：實(shí)現(xiàn)聯(lián)想記憶需要考慮兩個(gè)重要的問(wèn)題：怎樣按記憶確定網(wǎng)絡(luò)的怎樣按記憶確定網(wǎng)絡(luò)的W和和 ；網(wǎng)絡(luò)給定之后如何分析它的記憶容量。下面將分別網(wǎng)絡(luò)給定之后如何分析它的記憶容量。下面將分別討論：討論：1、權(quán)值的設(shè)計(jì)方法權(quán)值的設(shè)計(jì)方法2、記憶容量分析記憶容量分析3、權(quán)值修正的其它方法權(quán)值修正的其它方法權(quán)值的設(shè)計(jì)方法權(quán)值的設(shè)計(jì)方法 權(quán)值設(shè)計(jì)的方法有外積法、偽

46、逆法、正交設(shè)計(jì)法等。權(quán)值設(shè)計(jì)的方法有外積法、偽逆法、正交設(shè)計(jì)法等。 外積法（外積法（Hebb學(xué)習(xí)規(guī)則）學(xué)習(xí)規(guī)則）：是一種比較簡(jiǎn)單，在一定條件：是一種比較簡(jiǎn)單，在一定條件下行之有效的方法。下行之有效的方法。niwxxwIXXWnnIRXmKXiimkkjkiijmkTKKnK1 0 ,1,11單位陣，則為給定輸入按上述規(guī)則求出權(quán)矩陣后，網(wǎng)絡(luò)已經(jīng)將模式存入網(wǎng)絡(luò)的按上述規(guī)則求出權(quán)矩陣后，網(wǎng)絡(luò)已經(jīng)將模式存入網(wǎng)絡(luò)的連接權(quán)中。在聯(lián)想過(guò)程中，先給出一個(gè)原始模式，使網(wǎng)連接權(quán)中。在聯(lián)想過(guò)程中，先給出一個(gè)原始模式，使網(wǎng)絡(luò)處于某種初始狀態(tài)下，用網(wǎng)絡(luò)方程動(dòng)態(tài)運(yùn)行，最后達(dá)絡(luò)處于某種初始狀態(tài)下，用網(wǎng)絡(luò)方程動(dòng)態(tài)運(yùn)行，最后達(dá)

47、到一個(gè)穩(wěn)定狀態(tài)。如果此穩(wěn)定狀態(tài)對(duì)應(yīng)于網(wǎng)絡(luò)已存儲(chǔ)的到一個(gè)穩(wěn)定狀態(tài)。如果此穩(wěn)定狀態(tài)對(duì)應(yīng)于網(wǎng)絡(luò)已存儲(chǔ)的某個(gè)模式，則稱模式是由模式聯(lián)想起來(lái)的。某個(gè)模式，則稱模式是由模式聯(lián)想起來(lái)的。記憶容量問(wèn)題記憶容量問(wèn)題 設(shè)計(jì)設(shè)計(jì)DHNNDHNN網(wǎng)絡(luò)的目的網(wǎng)絡(luò)的目的, ,是希望通過(guò)所設(shè)計(jì)的權(quán)是希望通過(guò)所設(shè)計(jì)的權(quán)值矩陣值矩陣W W儲(chǔ)存多個(gè)期望模式儲(chǔ)存多個(gè)期望模式. . 因此因此, ,在在DHNNDHNN用于聯(lián)想記憶問(wèn)題用于聯(lián)想記憶問(wèn)題, ,記憶容量問(wèn)題是記憶容量問(wèn)題是一個(gè)必須回答的基本問(wèn)題一個(gè)必須回答的基本問(wèn)題. . 當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定模式時(shí)當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定模式時(shí), ,該模式肯定被該模式肯定被網(wǎng)絡(luò)準(zhǔn)確無(wú)誤地記憶住

48、網(wǎng)絡(luò)準(zhǔn)確無(wú)誤地記憶住, ,即所設(shè)計(jì)的即所設(shè)計(jì)的W W值一定值一定能夠滿足正比于輸入和輸出矢量的乘積關(guān)系能夠滿足正比于輸入和輸出矢量的乘積關(guān)系. . 但當(dāng)需要記憶的模式增多時(shí)但當(dāng)需要記憶的模式增多時(shí), ,網(wǎng)絡(luò)記憶可能出現(xiàn)網(wǎng)絡(luò)記憶可能出現(xiàn)問(wèn)題問(wèn)題. . 按照按照HebbHebb規(guī)則求出權(quán)矩陣后，可以認(rèn)為已有規(guī)則求出權(quán)矩陣后，可以認(rèn)為已有M M個(gè)模式個(gè)模式存入網(wǎng)絡(luò)的連接權(quán)中。在聯(lián)想過(guò)程中，先給出原始存入網(wǎng)絡(luò)的連接權(quán)中。在聯(lián)想過(guò)程中，先給出原始模式模式m m0 0，使網(wǎng)絡(luò)處于某種初始狀態(tài)下，用網(wǎng)絡(luò)方程，使網(wǎng)絡(luò)處于某種初始狀態(tài)下，用網(wǎng)絡(luò)方程動(dòng)態(tài)運(yùn)行，最后到達(dá)一個(gè)穩(wěn)定狀態(tài)。如果此穩(wěn)定狀動(dòng)態(tài)運(yùn)行，最后到達(dá)一

49、個(gè)穩(wěn)定狀態(tài)。如果此穩(wěn)定狀態(tài)對(duì)應(yīng)于已存儲(chǔ)的態(tài)對(duì)應(yīng)于已存儲(chǔ)的M M個(gè)模式中的某個(gè)模式個(gè)模式中的某個(gè)模式m mk k, ,則稱模則稱模式式m mk k是由模式是由模式m m0 0聯(lián)想起來(lái)的。在這里舉例說(shuō)明。聯(lián)想起來(lái)的。在這里舉例說(shuō)明。 例例3.3.對(duì)于一個(gè)對(duì)于一個(gè)4 4神經(jīng)元的網(wǎng)絡(luò)，取閾值為神經(jīng)元的網(wǎng)絡(luò)，取閾值為0 0。給定兩。給定兩個(gè)模式存儲(chǔ)于網(wǎng)絡(luò)中：個(gè)模式存儲(chǔ)于網(wǎng)絡(luò)中： m m1 1:Y:Y(1)(1)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=1,1,1,1,=1,1,1,1, m m2 2:Y:Y(2)(2)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,-1,

50、-1,-1.=-1,-1,-1,-1.mjijijiXXWjkikij,.,2 , 1,0,時(shí)當(dāng)時(shí)當(dāng) 按照按照HebbHebb規(guī)則規(guī)則可求得權(quán)矩陣：可求得權(quán)矩陣：111213142122232431323334414243440222202222022220wwwwwwwwWwwwwwwwwjn1iiji,j(t)ywf1)(ty 給出用于聯(lián)想的原始模式：給出用于聯(lián)想的原始模式： m mA A:Y:Y=y=y1 1,y,y2 2,y,y3 3,y,y4 4=1,1,-1,1,=1,1,-1,1,運(yùn)用網(wǎng)絡(luò)方程：運(yùn)用網(wǎng)絡(luò)方程： 得到：得到： Y(1)=1,1,1,1,Y(1)=1,1,1,1,再次

51、運(yùn)行，得到再次運(yùn)行，得到 Y(2)=1,1,1,1Y(2)=1,1,1,1。 這時(shí)網(wǎng)絡(luò)已處于穩(wěn)定狀態(tài)：這時(shí)網(wǎng)絡(luò)已處于穩(wěn)定狀態(tài)：Y=1,1,1,1Y=1,1,1,1。而這。而這個(gè)穩(wěn)定狀態(tài)正好是網(wǎng)絡(luò)已記憶的模式個(gè)穩(wěn)定狀態(tài)正好是網(wǎng)絡(luò)已記憶的模式m m1 1，由此可，由此可以認(rèn)為以認(rèn)為m m1 1是由模式是由模式m mA A聯(lián)想起來(lái)的。聯(lián)想起來(lái)的。 若給出用于聯(lián)想的原始模式為：若給出用于聯(lián)想的原始模式為： m mB B:Y:Y=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,-1,-1,1,=-1,-1,-1,1,則得到另一穩(wěn)定狀態(tài)則得到另一穩(wěn)定狀態(tài) Y=-1,-1,-1,-1Y=-1,

52、-1,-1,-1即模式即模式m m2 2。 再看一例。再看一例。例例4.4.存儲(chǔ)如下記憶模式：若給出用于聯(lián)想的原始模式存儲(chǔ)如下記憶模式：若給出用于聯(lián)想的原始模式為：為： m m1 1:Y:Y(1)(1)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,1,1,1,=-1,1,1,1, m m2 2:Y:Y(2)(2)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,-1,1,1,=-1,-1,1,1, m m3 3:Y:Y(3)(3)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,1,1,-1.=-1,1,1,-1.則其權(quán)矩陣為：則其權(quán)矩陣為：111

53、213142122232431323334414243440131101131011110wwwwwwwwWwwwwwwww 給出聯(lián)想模式：給出聯(lián)想模式： m m3 3:Y:Y(3)(3)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,1,1,-1.=-1,1,1,-1.但網(wǎng)絡(luò)運(yùn)行穩(wěn)定在模式但網(wǎng)絡(luò)運(yùn)行穩(wěn)定在模式 m m1 1:Y:Y(1)(1)=-1,1,1,1=-1,1,1,1而不是其自身模式而不是其自身模式m m3 3。 因此，因此，DHNNDHNN用于記憶聯(lián)想時(shí)，是受其記憶容量和用于記憶聯(lián)想時(shí)，是受其記憶容量和樣本差異制約的。當(dāng)記憶模式較少，且模式之間樣本差異制約的。當(dāng)記

54、憶模式較少，且模式之間的差異較大，則聯(lián)想的結(jié)果就比較正確；而當(dāng)需的差異較大，則聯(lián)想的結(jié)果就比較正確；而當(dāng)需記憶的模式較多，容易引起混淆時(shí)，網(wǎng)絡(luò)到達(dá)的記憶的模式較多，容易引起混淆時(shí)，網(wǎng)絡(luò)到達(dá)的穩(wěn)定狀態(tài)往往不是已記憶的模式；再者，當(dāng)需記穩(wěn)定狀態(tài)往往不是已記憶的模式；再者，當(dāng)需記憶的模式之間較為相近時(shí)，網(wǎng)絡(luò)就不能辨別出正憶的模式之間較為相近時(shí)，網(wǎng)絡(luò)就不能辨別出正確的模式，甚至連自身都會(huì)搞錯(cuò)，即使用已記憶確的模式，甚至連自身都會(huì)搞錯(cuò)，即使用已記憶的模式作為聯(lián)想模式（自聯(lián)想），也可能出錯(cuò)，的模式作為聯(lián)想模式（自聯(lián)想），也可能出錯(cuò)，如例如例4 4。 當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定的模式時(shí)，該模式網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定的

55、模式時(shí)，該模式肯定被網(wǎng)絡(luò)準(zhǔn)確無(wú)誤的記憶住。但當(dāng)所要肯定被網(wǎng)絡(luò)準(zhǔn)確無(wú)誤的記憶住。但當(dāng)所要記憶的模式增加時(shí)，情況則發(fā)生了變化，記憶的模式增加時(shí)，情況則發(fā)生了變化，主要表現(xiàn)在下列兩點(diǎn)上：主要表現(xiàn)在下列兩點(diǎn)上：1、權(quán)值移動(dòng)權(quán)值移動(dòng)2、交叉干擾交叉干擾當(dāng)網(wǎng)絡(luò)用于聯(lián)想記憶時(shí)，就涉及到網(wǎng)絡(luò)的記憶容量問(wèn)題。對(duì)當(dāng)網(wǎng)絡(luò)用于聯(lián)想記憶時(shí)，就涉及到網(wǎng)絡(luò)的記憶容量問(wèn)題。對(duì)此不做專門討論，僅給出一些研究結(jié)果。此不做專門討論，僅給出一些研究結(jié)果。權(quán)值移動(dòng)權(quán)值移動(dòng) 在網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程中，網(wǎng)絡(luò)對(duì)權(quán)值的記憶實(shí)在網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程中，網(wǎng)絡(luò)對(duì)權(quán)值的記憶實(shí)際上是逐個(gè)實(shí)現(xiàn)的。即對(duì)權(quán)值際上是逐個(gè)實(shí)現(xiàn)的。即對(duì)權(quán)值W，有程序，有程序: 當(dāng)網(wǎng)絡(luò)當(dāng)網(wǎng)絡(luò)準(zhǔn)

56、確的記憶準(zhǔn)確的記憶X1時(shí)，為了記憶時(shí)，為了記憶X2,需要在記憶樣本需要在記憶樣本X1的權(quán)值上加上對(duì)樣本的權(quán)值上加上對(duì)樣本X2的記憶項(xiàng)的記憶項(xiàng)X2 X2T-I，將權(quán)值在，將權(quán)值在原來(lái)值的基礎(chǔ)上產(chǎn)生了移動(dòng)。這樣網(wǎng)絡(luò)有可能部分地原來(lái)值的基礎(chǔ)上產(chǎn)生了移動(dòng)。這樣網(wǎng)絡(luò)有可能部分地遺忘了以前已記憶的模式。遺忘了以前已記憶的模式。endIXXWWqkforWTKK, 1 0 從動(dòng)力學(xué)的角度來(lái)看，從動(dòng)力學(xué)的角度來(lái)看，k值較小時(shí)，網(wǎng)值較小時(shí)，網(wǎng)絡(luò)絡(luò)Hebb學(xué)習(xí)規(guī)則可以使輸入學(xué)習(xí)樣本成學(xué)習(xí)規(guī)則可以使輸入學(xué)習(xí)樣本成為其吸引子。隨著為其吸引子。隨著k值的增加，不但難以值的增加，不但難以使后來(lái)的樣本成為網(wǎng)絡(luò)的吸引子，而且

57、使后來(lái)的樣本成為網(wǎng)絡(luò)的吸引子，而且有可能使以記憶住的吸引子的吸引域變有可能使以記憶住的吸引子的吸引域變小，使原來(lái)處于吸引子位置上的樣本從小，使原來(lái)處于吸引子位置上的樣本從吸引子的位置移動(dòng)。對(duì)一記憶的樣本發(fā)吸引子的位置移動(dòng)。對(duì)一記憶的樣本發(fā)生遺忘，這種現(xiàn)象稱為生遺忘，這種現(xiàn)象稱為“疲勞疲勞”。交叉干擾交叉干擾 網(wǎng)絡(luò)在學(xué)習(xí)多個(gè)樣本后，在回憶階段，即驗(yàn)證該記網(wǎng)絡(luò)在學(xué)習(xí)多個(gè)樣本后，在回憶階段，即驗(yàn)證該記憶樣本時(shí)所產(chǎn)生的干擾，稱為交叉干擾憶樣本時(shí)所產(chǎn)生的干擾，稱為交叉干擾。 對(duì)外積型設(shè)計(jì)而言，如果輸入樣本是彼此正交的，對(duì)外積型設(shè)計(jì)而言，如果輸入樣本是彼此正交的，n個(gè)神經(jīng)元的網(wǎng)絡(luò)其記憶容量的上界為個(gè)神經(jīng)元

58、的網(wǎng)絡(luò)其記憶容量的上界為n。但是在大。但是在大多數(shù)情況下，學(xué)習(xí)樣本不可能是正交的，因而網(wǎng)絡(luò)多數(shù)情況下，學(xué)習(xí)樣本不可能是正交的，因而網(wǎng)絡(luò)的記憶容量要比的記憶容量要比n小得多，一般為小得多，一般為(0.130.15)n。權(quán)值修正的其它方法權(quán)值修正的其它方法1、學(xué)習(xí)規(guī)則2、偽逆法3、正交化權(quán)值設(shè)計(jì) 學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 學(xué)習(xí)規(guī)則基本公式是學(xué)習(xí)規(guī)則基本公式是： 即通過(guò)計(jì)算該神經(jīng)元節(jié)點(diǎn)的實(shí)際激勵(lì)值即通過(guò)計(jì)算該神經(jīng)元節(jié)點(diǎn)的實(shí)際激勵(lì)值A(chǔ)(t)，與期望狀態(tài)，與期望狀態(tài)T(t)進(jìn)行比較，若不滿進(jìn)行比較，若不滿足要求，將兩者的誤差的一部分作為調(diào)足要求，將兩者的誤差的一部分作為調(diào)整量，若滿足要求，則相應(yīng)的權(quán)值保持整量，

59、若滿足要求，則相應(yīng)的權(quán)值保持不變。不變。 tPtAtTtwtwPWijij1偽逆法偽逆法 求出權(quán)矩陣滿秩，其逆存在，則可線性無(wú)關(guān)的，則如果樣本之間是為偽逆，有其中由此可得輸入輸出之間用權(quán)值W來(lái)映射，則有設(shè)輸入樣本W(wǎng)XXXXXXXNWNYXWNXXXXTTTN, sgn, 121*X用用偽逆法求出的權(quán)偽逆法求出的權(quán)W可以保證在自己輸入時(shí)仍能收可以保證在自己輸入時(shí)仍能收斂到樣本自己。如果斂到樣本自己。如果N與輸入與輸入X完全相同，則完全相同，則W也也可以是對(duì)稱的，因而滿足穩(wěn)定工作的條件。其實(shí)只可以是對(duì)稱的，因而滿足穩(wěn)定工作的條件。其實(shí)只要滿足要滿足Y矩陣中每一個(gè)元與矩陣中每一個(gè)元與WX矩陣中的每個(gè)

60、元有相矩陣中的每個(gè)元有相同的符號(hào)就可以滿足收斂到本身。同的符號(hào)就可以滿足收斂到本身。正交化權(quán)值設(shè)計(jì)正交化權(quán)值設(shè)計(jì) 這一方法是由這一方法是由Li和和Mechel提出來(lái)的，其出發(fā)點(diǎn)為：提出來(lái)的，其出發(fā)點(diǎn)為： (1)要保證系統(tǒng)在異步工作時(shí)的穩(wěn)定性，則它的權(quán)是對(duì)要保證系統(tǒng)在異步工作時(shí)的穩(wěn)定性，則它的權(quán)是對(duì)稱的稱的 (2 )要保證所有的要求的記憶樣本都能收斂到自己，不要保證所有的要求的記憶樣本都能收斂到自己，不會(huì)出現(xiàn)錯(cuò)誤的其他收斂值會(huì)出現(xiàn)錯(cuò)誤的其他收斂值 (3)要求偽穩(wěn)定點(diǎn)的數(shù)目盡可能地少。要求偽穩(wěn)定點(diǎn)的數(shù)目盡可能地少。 (4)要求穩(wěn)定點(diǎn)吸引域盡可能地大。要求穩(wěn)定點(diǎn)吸引域盡可能地大。其狀態(tài)轉(zhuǎn)換公式為其狀