第七章Hopfield網(wǎng)絡(luò)

1、 62334967 Hopfield Hopfield網(wǎng)絡(luò)結(jié)構(gòu)和模型網(wǎng)絡(luò)結(jié)構(gòu)和模型 HopfieldHopfield網(wǎng)絡(luò)輸出的計(jì)算過程網(wǎng)絡(luò)輸出的計(jì)算過程( (離散離散) ) Hopfield Hopfield網(wǎng)絡(luò)的穩(wěn)定性網(wǎng)絡(luò)的穩(wěn)定性 HopfieldHopfield網(wǎng)絡(luò)的學(xué)習(xí)算法網(wǎng)絡(luò)的學(xué)習(xí)算法 HopfieldHopfield網(wǎng)絡(luò)的幾個問題網(wǎng)絡(luò)的幾個問題 HopfieldHopfield網(wǎng)絡(luò)的網(wǎng)絡(luò)的MATLABMATLAB實(shí)現(xiàn)示例實(shí)現(xiàn)示例概述 Hopfield Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個重要的里網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個重要的里程碑。由美國加州理工學(xué)院物理學(xué)家程碑。由美

2、國加州理工學(xué)院物理學(xué)家J.J.HopfieldJ.J.Hopfield教授于教授于19821982年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。HopfieldHopfield網(wǎng)絡(luò)是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)網(wǎng)絡(luò)是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)定狀態(tài)的分析比前向神經(jīng)網(wǎng)絡(luò)要復(fù)雜得多。定狀態(tài)的分析比前向神經(jīng)網(wǎng)絡(luò)要復(fù)雜得多。19841984年，年，HopfieldHopfield設(shè)計(jì)并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了設(shè)計(jì)并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了旅行商旅行商(TSP)(TSP)計(jì)算難題計(jì)算難題( (優(yōu)化問題優(yōu)化問題) )。 Hopfield Hopf

3、ield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作別記作DHNN (Discrete Hopfield Neural Network) DHNN (Discrete Hopfield Neural Network) 和和CHNN (Continues Hopfield Neural Network) CHNN (Continues Hopfield Neural Network) 。 Hello,Im John Hopfield7-1 Hopfield網(wǎng)絡(luò)結(jié)構(gòu)和模型網(wǎng)絡(luò)結(jié)構(gòu)和模型 HopfieldHopfield網(wǎng)絡(luò)有網(wǎng)絡(luò)有離散離散與與連續(xù)連續(xù)兩種類型。

4、兩種類型。 HopfieldHopfield網(wǎng)絡(luò)是得到最充分研究和應(yīng)用的神經(jīng)網(wǎng)絡(luò)是得到最充分研究和應(yīng)用的神經(jīng)網(wǎng)絡(luò)模型之一，在眾多的研究者之中，美國科學(xué)家網(wǎng)絡(luò)模型之一，在眾多的研究者之中，美國科學(xué)家J.J HopfieldJ.J Hopfield的工作具有特別重要的意義，他為這的工作具有特別重要的意義，他為這一網(wǎng)絡(luò)引入了一種穩(wěn)定過程，即提出了人工神經(jīng)網(wǎng)一網(wǎng)絡(luò)引入了一種穩(wěn)定過程，即提出了人工神經(jīng)網(wǎng)絡(luò)能量函數(shù)（也稱李雅普諾夫函數(shù)）的概念，使網(wǎng)絡(luò)能量函數(shù)（也稱李雅普諾夫函數(shù)）的概念，使網(wǎng)絡(luò)的運(yùn)行穩(wěn)定性判斷有了可靠而簡便的依據(jù)。絡(luò)的運(yùn)行穩(wěn)定性判斷有了可靠而簡便的依據(jù)。 HopfieldHopfield網(wǎng)

5、絡(luò)在聯(lián)想存取及優(yōu)化計(jì)算等領(lǐng)域得網(wǎng)絡(luò)在聯(lián)想存取及優(yōu)化計(jì)算等領(lǐng)域得到了成功的應(yīng)用，拓寬了神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍。到了成功的應(yīng)用，拓寬了神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍。7-1-1 7-1-1 離散型離散型HopfieldHopfield網(wǎng)絡(luò)網(wǎng)絡(luò) 離散離散HopfieldHopfield網(wǎng)結(jié)構(gòu)見圖網(wǎng)結(jié)構(gòu)見圖(a)(a)，是單層反饋非線性網(wǎng)，是單層反饋非線性網(wǎng)，每一節(jié)點(diǎn)的輸出反饋至輸入。每一節(jié)點(diǎn)的輸出反饋至輸入。 HopfieldHopfield用模擬電路用模擬電路( (電阻、電容和運(yùn)算放大器電阻、電容和運(yùn)算放大器) )實(shí)現(xiàn)網(wǎng)實(shí)現(xiàn)網(wǎng)絡(luò)的神經(jīng)元絡(luò)的神經(jīng)元( (節(jié)點(diǎn)節(jié)點(diǎn)) )，見圖，見圖(b)(b)。 (a) 結(jié)構(gòu)示意圖

6、圖圖9-1 離散型離散型Hopfeld網(wǎng)絡(luò)網(wǎng)絡(luò) 網(wǎng)絡(luò)為一層結(jié)構(gòu)的反饋網(wǎng)絡(luò)，能處理雙極型離散數(shù)據(jù)網(wǎng)絡(luò)為一層結(jié)構(gòu)的反饋網(wǎng)絡(luò)，能處理雙極型離散數(shù)據(jù) ( (即輸入即輸入 1,+1)1,+1)，及二進(jìn)制數(shù)據(jù)及二進(jìn)制數(shù)據(jù)(0,1)(0,1)。 給定初始輸入時，網(wǎng)絡(luò)處于特定的初始狀態(tài)。網(wǎng)絡(luò)從初始狀態(tài)開始運(yùn)行，給定初始輸入時，網(wǎng)絡(luò)處于特定的初始狀態(tài)。網(wǎng)絡(luò)從初始狀態(tài)開始運(yùn)行，可得到網(wǎng)絡(luò)下一狀態(tài)的輸出。這個輸出狀態(tài)通過反饋連接送到網(wǎng)絡(luò)的輸入可得到網(wǎng)絡(luò)下一狀態(tài)的輸出。這個輸出狀態(tài)通過反饋連接送到網(wǎng)絡(luò)的輸入端，作為下一階段運(yùn)行的輸入信號，它可能與初始輸入信號不同。如此下端，作為下一階段運(yùn)行的輸入信號，它可能與初始輸入

7、信號不同。如此下去，網(wǎng)絡(luò)的整個運(yùn)行過程就是上述反饋過程的重復(fù)。如果網(wǎng)絡(luò)穩(wěn)定，那么去，網(wǎng)絡(luò)的整個運(yùn)行過程就是上述反饋過程的重復(fù)。如果網(wǎng)絡(luò)穩(wěn)定，那么隨著多次反饋運(yùn)行，網(wǎng)絡(luò)狀態(tài)最后將達(dá)到穩(wěn)態(tài)。用公式表達(dá)為：隨著多次反饋運(yùn)行，網(wǎng)絡(luò)狀態(tài)最后將達(dá)到穩(wěn)態(tài)。用公式表達(dá)為：niiiijjjjjtvWftvxv1)() 1()0(其中其中 已被定義，為方便起見，已被定義，為方便起見， 常取常取0 0值。若有某個時刻值。若有某個時刻t t，從此以后，從此以后網(wǎng)絡(luò)狀態(tài)下不再變遷，即有網(wǎng)絡(luò)狀態(tài)下不再變遷，即有 ，則有輸出，則有輸出 。jfi)() 1(tvtv)(tvy 7-1-1 7-1-1 離散型離散型Hopfie

8、ldHopfield網(wǎng)絡(luò)網(wǎng)絡(luò)7-1-1 7-1-1 離散型離散型HopfieldHopfield網(wǎng)絡(luò)網(wǎng)絡(luò)n相關(guān)參數(shù)說明相關(guān)參數(shù)說明q任意神經(jīng)元任意神經(jīng)元 與與 間的突觸權(quán)值為間的突觸權(quán)值為 ，神經(jīng)元之間，神經(jīng)元之間連接是對稱的，神經(jīng)元自身無連接連接是對稱的，神經(jīng)元自身無連接. q每個神經(jīng)元都同其他的神經(jīng)元相連每個神經(jīng)元都同其他的神經(jīng)元相連,其輸出信號經(jīng)過其輸出信號經(jīng)過其他神經(jīng)元又有可能反饋給自己其他神經(jīng)元又有可能反饋給自己 q設(shè)設(shè)Hopfield網(wǎng)絡(luò)中有網(wǎng)絡(luò)中有n個神經(jīng)元，其中任意神經(jīng)元的個神經(jīng)元，其中任意神經(jīng)元的輸入用輸入用 表示，輸出表示，輸出 用表示，它們都是時間的函用表示，它們都是時間

9、的函數(shù)，其中數(shù)，其中 也稱為神經(jīng)元在時刻也稱為神經(jīng)元在時刻 的狀態(tài)。的狀態(tài)。 n1( )( )iijjijjivtw utb(1)( ( )iiv tf v tijijwiuivt( )iv t激勵函數(shù)激勵函數(shù)n1n11( )0(1)1( )0,ijjijj iiijjijj iw v tbv tw v tb7-1-1 7-1-1 離散型離散型HopfieldHopfield網(wǎng)絡(luò)網(wǎng)絡(luò)7-1-2 7-1-2 連續(xù)型連續(xù)型HopfieldHopfield網(wǎng)絡(luò)網(wǎng)絡(luò) 連續(xù)連續(xù)HopfieldHopfield網(wǎng)結(jié)構(gòu)見圖網(wǎng)結(jié)構(gòu)見圖(a)(a)，是單層反饋非線性網(wǎng)，是單層反饋非線性網(wǎng)，每一節(jié)點(diǎn)的輸出反饋至輸

10、入。每一節(jié)點(diǎn)的輸出反饋至輸入。 HopfieldHopfield用模擬電路用模擬電路( (電阻、電容和運(yùn)算放大器電阻、電容和運(yùn)算放大器) )實(shí)實(shí)現(xiàn)網(wǎng)絡(luò)的神經(jīng)元現(xiàn)網(wǎng)絡(luò)的神經(jīng)元( (節(jié)點(diǎn)節(jié)點(diǎn)) )，見圖，見圖(b)(b)。 (a) 結(jié)構(gòu)示意圖 圖圖9-2 連續(xù)型連續(xù)型Hopfeld網(wǎng)絡(luò)網(wǎng)絡(luò) (b) ijR jV iV iC iR iu iI)(f )(f 圖圖9-2 連續(xù)型連續(xù)型Hopfeld網(wǎng)絡(luò)網(wǎng)絡(luò) (a) 結(jié)構(gòu)示意圖 (b) ijR jV iV iC iR iu iI)(f )(f 網(wǎng)絡(luò)模型網(wǎng)絡(luò)模型 設(shè)網(wǎng)絡(luò)由n個節(jié)點(diǎn)組成,第 i個節(jié)點(diǎn)的方程： )(1iinjiiiijijiiufVIRuRuV

11、dtduC 設(shè) 1111RRRwRiiijjijij 則 CdudtRuw VIVf uiiiiijjjiii 1() Hopfield網(wǎng)絡(luò)模型網(wǎng)絡(luò)模型圖圖9-1 連續(xù)型連續(xù)型Hopfeld網(wǎng)絡(luò)網(wǎng)絡(luò) (a) 結(jié)構(gòu)示意圖 (b) ijR jV iV iC iR iu iI)(f )(f 運(yùn)算放大器模擬了神經(jīng)元的非線性特性；運(yùn)算放大器模擬了神經(jīng)元的非線性特性；設(shè)設(shè) xuVyRCICii=,tq 則則 dxdtxCw yyf xiiiijjiii=-+=11tq( )式中式中 f xeexx( )=-+-11, 且且jiijww=。 可見：可見： （1）Ri與與Ci的并聯(lián)模擬了生物的并聯(lián)模擬了生物（

12、2）1Rij模擬了神經(jīng)元間突觸特性；模擬了神經(jīng)元間突觸特性； （3） （4）偏置電流偏置電流Ii相當(dāng)于閾值。相當(dāng)于閾值。 神經(jīng)元的時間常數(shù)；神經(jīng)元的時間常數(shù)；7-2 Hopfield網(wǎng)絡(luò)的計(jì)算過程網(wǎng)絡(luò)的計(jì)算過程(離散離散) 在網(wǎng)絡(luò)運(yùn)行過程中，網(wǎng)絡(luò)神經(jīng)元狀態(tài)的演變有兩種形式。在網(wǎng)絡(luò)運(yùn)行過程中，網(wǎng)絡(luò)神經(jīng)元狀態(tài)的演變有兩種形式。1 1、異步更新、異步更新 在任一時刻在任一時刻t t，只有某一神經(jīng)元，只有某一神經(jīng)元 的狀態(tài)已更新，而其的狀態(tài)已更新，而其余神經(jīng)元保持不變，即余神經(jīng)元保持不變，即 對應(yīng)某個特定的對應(yīng)某個特定的 。jNnjjijitvWsigntv1)()1(i11,1 2niijjjv (

13、t)signW v (t)i, ,n2 2、全并行工作方式、全并行工作方式 即即 這時也可以把狀態(tài)轉(zhuǎn)移方程寫成向量形式：這時也可以把狀態(tài)轉(zhuǎn)移方程寫成向量形式： )() 1(tWvsigntv 下面給出幾個基本概念的定義，這些基本概念與網(wǎng)絡(luò)運(yùn)下面給出幾個基本概念的定義，這些基本概念與網(wǎng)絡(luò)運(yùn)行過程中狀態(tài)的變遷有關(guān)。行過程中狀態(tài)的變遷有關(guān)。 若網(wǎng)絡(luò)從初始狀態(tài)若網(wǎng)絡(luò)從初始狀態(tài)v(0)v(0)開始，經(jīng)過有限開始，經(jīng)過有限時間時間t t后，網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即后，網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即則稱網(wǎng)絡(luò)是穩(wěn)定的。則稱網(wǎng)絡(luò)是穩(wěn)定的。 ()( ),0v ttv tt 設(shè)設(shè)t=0t=0時時, ,對輸入模式對輸入

14、模式x x，網(wǎng)絡(luò)處于狀態(tài)，網(wǎng)絡(luò)處于狀態(tài)v(0),v(0),而在時刻而在時刻t t，網(wǎng)絡(luò)到達(dá)狀態(tài)，網(wǎng)絡(luò)到達(dá)狀態(tài)v(t)v(t)。若。若v(t)v(t)穩(wěn)定，則稱穩(wěn)定，則稱v(t)v(t)為網(wǎng)絡(luò)的穩(wěn)定吸引子為網(wǎng)絡(luò)的穩(wěn)定吸引子; ;若網(wǎng)絡(luò)狀態(tài)有規(guī)律的在某些狀態(tài)若網(wǎng)絡(luò)狀態(tài)有規(guī)律的在某些狀態(tài)之間振蕩，則稱網(wǎng)絡(luò)處于有限環(huán)之間振蕩，則稱網(wǎng)絡(luò)處于有限環(huán)( (limited circle) )狀態(tài)。若網(wǎng)狀態(tài)。若網(wǎng)絡(luò)無規(guī)律的在某些狀態(tài)之間振蕩，則稱網(wǎng)絡(luò)處于混沌絡(luò)無規(guī)律的在某些狀態(tài)之間振蕩，則稱網(wǎng)絡(luò)處于混沌( (chaos) )狀態(tài)。狀態(tài)。對于某些特定的初始狀態(tài)，網(wǎng)絡(luò)按對于某些特定的初始狀態(tài)，網(wǎng)絡(luò)按一定的運(yùn)行規(guī)則最

15、后可能穩(wěn)定在同一吸引子上。稱能夠穩(wěn)一定的運(yùn)行規(guī)則最后可能穩(wěn)定在同一吸引子上。稱能夠穩(wěn)定在吸引子定在吸引子v(t)v(t)的所有初始狀態(tài)集合稱為的所有初始狀態(tài)集合稱為v(t)v(t)的吸引域。的吸引域。例例7-1 7-1 計(jì)算下列離散計(jì)算下列離散Hopfield網(wǎng)絡(luò)的運(yùn)行過程，設(shè)初始狀態(tài)網(wǎng)絡(luò)的運(yùn)行過程，設(shè)初始狀態(tài) X(0)=(1 0 1)T，找出其吸引子和對應(yīng)的吸引域。，找出其吸引子和對應(yīng)的吸引域。 設(shè)：設(shè)： 0 1 -2 W= 1 0 -1 -2 -1 0 設(shè)網(wǎng)絡(luò)狀態(tài)為設(shè)網(wǎng)絡(luò)狀態(tài)為 HopfieldHopfield網(wǎng)絡(luò)的能量函網(wǎng)絡(luò)的能量函數(shù)可定義為數(shù)可定義為: : 7-3 Hopfield網(wǎng)絡(luò)

16、的穩(wěn)定性網(wǎng)絡(luò)的穩(wěn)定性 由于由于Hopfield Hopfield 網(wǎng)絡(luò)為反饋網(wǎng)絡(luò)，所以需要討網(wǎng)絡(luò)為反饋網(wǎng)絡(luò)，所以需要討論網(wǎng)絡(luò)運(yùn)行的收斂性問題。自然這和網(wǎng)絡(luò)的拓?fù)湔摼W(wǎng)絡(luò)運(yùn)行的收斂性問題。自然這和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)以及運(yùn)行方式有關(guān)。如果網(wǎng)絡(luò)權(quán)值對稱，則結(jié)構(gòu)以及運(yùn)行方式有關(guān)。如果網(wǎng)絡(luò)權(quán)值對稱，則可以定義網(wǎng)絡(luò)運(yùn)行的能量函數(shù)?？梢远x網(wǎng)絡(luò)運(yùn)行的能量函數(shù)。 能量函數(shù)的定義：能量函數(shù)的定義：ijiijiijvvvWE21jiijijWWW , 0),(21nvvv證明證明：假設(shè)網(wǎng)絡(luò)中第：假設(shè)網(wǎng)絡(luò)中第k k個神經(jīng)元個神經(jīng)元 的狀態(tài)發(fā)生變化，由原狀的狀態(tài)發(fā)生變化，由原狀態(tài)態(tài) 變?yōu)樾聽顟B(tài)變?yōu)樾聽顟B(tài) ， 的狀態(tài)變化后網(wǎng)

17、絡(luò)能量為：的狀態(tài)變化后網(wǎng)絡(luò)能量為： kNkv1kvkNiijiijiijvvvWE111121其中其中 ，有，有 ，所以，所以 kji,jjiivvvv11,11122ikkikjkjkki kj kEEEWv vWv vv 由于網(wǎng)絡(luò)的對稱性，有由于網(wǎng)絡(luò)的對稱性，有()kikiki kEvW v 若狀態(tài)變化時，則：若狀態(tài)變化時，則：112kkkkvvvv上式由網(wǎng)絡(luò)的雙極性上式由網(wǎng)絡(luò)的雙極性 就可推得。進(jìn)一步改寫為就可推得。進(jìn)一步改寫為1,1, 1kkv v ikkkiiknsvvWvE112)(2若網(wǎng)絡(luò)的狀態(tài)演變按方程若網(wǎng)絡(luò)的狀態(tài)演變按方程進(jìn)行，由進(jìn)行，由sgnsgn函數(shù)性質(zhì)立即可推得函數(shù)性質(zhì)

18、立即可推得 ，或，或 )sgn(1kksv 10kkv s 120kkEv s 即網(wǎng)絡(luò)能量隨網(wǎng)絡(luò)狀態(tài)的變化單調(diào)下降。另外，由于網(wǎng)絡(luò)的即網(wǎng)絡(luò)能量隨網(wǎng)絡(luò)狀態(tài)的變化單調(diào)下降。另外，由于網(wǎng)絡(luò)的能量函數(shù)有下界，因此網(wǎng)絡(luò)必在有限步后收斂。證畢能量函數(shù)有下界，因此網(wǎng)絡(luò)必在有限步后收斂。證畢 證明證明：可把能量函數(shù)定義寫成下面的矩陣乘積形式：可把能量函數(shù)定義寫成下面的矩陣乘積形式：1( )( )( )( )2TTE tv t Wvtvt 定義：定義： ，注意到，注意到 ，整理可得到網(wǎng)絡(luò)狀態(tài)由，整理可得到網(wǎng)絡(luò)狀態(tài)由v(t)v(t)變?yōu)樽優(yōu)関(t+1)v(t+1)時的能量變化為：時的能量變化為：TTvWvvtsE

19、)()(21)(其中其中 , ,而而 Wtvts)()()() 1(tvtvv( )0,i iv s t故故( )()0Ts tv因?yàn)橐驗(yàn)閃 W為非負(fù)定的，所以有為非負(fù)定的，所以有 ，從而可以知道：當(dāng)，從而可以知道：當(dāng) 時，必有時，必有 ，即網(wǎng)絡(luò)能量單調(diào)下降。，即網(wǎng)絡(luò)能量單調(diào)下降。1()()02Tv Wv0v(1)( )0EE tE t即網(wǎng)絡(luò)狀態(tài)的同步更新時是穩(wěn)定的。證畢即網(wǎng)絡(luò)狀態(tài)的同步更新時是穩(wěn)定的。證畢(1)( )EE tE t1122( )( )( )( )TTt W vtt Wvt(i). (i). 權(quán)值矩陣權(quán)值矩陣 為對稱矩陣且對角元素為為對稱矩陣且對角元素為0, 0, 即即 一般地

20、說來一般地說來, , 在進(jìn)行在進(jìn)行 Hopfield Hopfield 聯(lián)想記憶編碼時聯(lián)想記憶編碼時, ,要求要求: : w;, 0jiwwwjiijii(ii). (ii). 能夠記憶預(yù)先給定的能夠記憶預(yù)先給定的K K個模式個模式 Kxxx,21，即，即 ., 2 , 1, 2 , 1),(Kknixwsignxiijkjijki今后為了方便起見今后為了方便起見, , 我們記我們記 iiiw(1)(1)開始賦于權(quán)值矩陣開始賦于權(quán)值矩陣 W(0) W(0) 以一個較小不為以一個較小不為 0 0 的隨機(jī)數(shù)的隨機(jī)數(shù), , t=0 t=0 并且要求并且要求: : ;, 2 , 1,),0()0(nj

21、iWwjiij7-4 Hopfield網(wǎng)絡(luò)的學(xué)習(xí)算法網(wǎng)絡(luò)的學(xué)習(xí)算法(2) (2) 隨機(jī)輸入模式隨機(jī)輸入模式 , ,以以 作為當(dāng)前的輸入模式作為當(dāng)前的輸入模式x(t),x(t),Kkxk1 ,kx即即 nixtxkii, 2 , 1,)(計(jì)算計(jì)算 nitxtwtxtwtrijiiijiji, 2 , 1,)()()()(若網(wǎng)絡(luò)對模式若網(wǎng)絡(luò)對模式 穩(wěn)定穩(wěn)定, ,轉(zhuǎn)到轉(zhuǎn)到(4);(4);否則進(jìn)行否則進(jìn)行 (3); (3); kx(3)(3)更新網(wǎng)絡(luò)權(quán)值更新網(wǎng)絡(luò)權(quán)值: :1(1)( )( ( ( )( ( ) ( )( ),2ijijijijw tw tr tr tx t x t ij(4) (4)

22、若網(wǎng)絡(luò)權(quán)值對所有的模式穩(wěn)定若網(wǎng)絡(luò)權(quán)值對所有的模式穩(wěn)定, , 則停機(jī)則停機(jī); ; 否則轉(zhuǎn)到否則轉(zhuǎn)到 (2).(2).其中其中000 ,( )0( ( )2( ( )0,( )0ifr tr trr tnifr tn通?？扇?1,1nKxxx,21W0()0,1, ,1,kkkiijjiij ixw xwin kK( )r t表示網(wǎng)絡(luò)的綜合輸入表示網(wǎng)絡(luò)的綜合輸入( ( )r t表示網(wǎng)絡(luò)的非線性作用函數(shù)表示網(wǎng)絡(luò)的非線性作用函數(shù) 若不考慮網(wǎng)絡(luò)的容錯性能若不考慮網(wǎng)絡(luò)的容錯性能, , 僅僅考慮網(wǎng)絡(luò)的容量意義僅僅考慮網(wǎng)絡(luò)的容量意義不大不大. . 用上述編碼方法所給出的編碼有時容錯性能較差用上述編碼方法所給出

23、的編碼有時容錯性能較差. .為了使所得的權(quán)值矩陣對記憶樣本的吸引域盡可能地大為了使所得的權(quán)值矩陣對記憶樣本的吸引域盡可能地大, ,利用前面的算法利用前面的算法, ,求出一些滿足條件的權(quán)值矩陣求出一些滿足條件的權(quán)值矩陣 MWWW,21每一個矩陣每一個矩陣 除以它的絕對值最大的元素的絕對值，使得除以它的絕對值最大的元素的絕對值，使得它的絕對值最大的元素的絕對值為它的絕對值最大的元素的絕對值為1 1。設(shè)新求得矩陣為：。設(shè)新求得矩陣為： iW12,MW WW然后求出這些矩陣的平均值矩陣：然后求出這些矩陣的平均值矩陣： )(121MWWWMW 我們涉及到我們涉及到Hopfield Hopfield 網(wǎng)絡(luò)

24、的兩種運(yùn)行形式，相應(yīng)的有網(wǎng)絡(luò)的兩種運(yùn)行形式，相應(yīng)的有兩種不同的應(yīng)用方向：兩種不同的應(yīng)用方向：l 聯(lián)想記憶聯(lián)想記憶 因網(wǎng)絡(luò)能收斂于穩(wěn)態(tài)，故可用于聯(lián)想記憶。若將穩(wěn)態(tài)視因網(wǎng)絡(luò)能收斂于穩(wěn)態(tài)，故可用于聯(lián)想記憶。若將穩(wěn)態(tài)視為一個記憶，則由初態(tài)向穩(wěn)態(tài)收斂的過程就是尋找記憶的過為一個記憶，則由初態(tài)向穩(wěn)態(tài)收斂的過程就是尋找記憶的過程，初態(tài)認(rèn)為是給定的部分信息，收斂過程可認(rèn)為是從部分程，初態(tài)認(rèn)為是給定的部分信息，收斂過程可認(rèn)為是從部分信息找到了全部信息，實(shí)現(xiàn)了聯(lián)想記憶的功能。聯(lián)想記憶模信息找到了全部信息，實(shí)現(xiàn)了聯(lián)想記憶的功能。聯(lián)想記憶模型的一個重要特性：由噪聲輸入模式，反映出訓(xùn)練模式。型的一個重要特性：由噪聲輸入

25、模式，反映出訓(xùn)練模式。 優(yōu)化計(jì)算優(yōu)化計(jì)算 若將穩(wěn)態(tài)視為某一優(yōu)化計(jì)算問題目標(biāo)函數(shù)的極小點(diǎn)，則若將穩(wěn)態(tài)視為某一優(yōu)化計(jì)算問題目標(biāo)函數(shù)的極小點(diǎn)，則由初態(tài)向穩(wěn)態(tài)收斂的過程就是優(yōu)化計(jì)算過程。先把問題表述由初態(tài)向穩(wěn)態(tài)收斂的過程就是優(yōu)化計(jì)算過程。先把問題表述成能量函數(shù)，進(jìn)一步由能量函數(shù)推出網(wǎng)絡(luò)權(quán)結(jié)構(gòu)，然后在某成能量函數(shù)，進(jìn)一步由能量函數(shù)推出網(wǎng)絡(luò)權(quán)結(jié)構(gòu)，然后在某種條件下讓網(wǎng)絡(luò)運(yùn)行，網(wǎng)絡(luò)的穩(wěn)定狀態(tài)一般來說就對應(yīng)與問種條件下讓網(wǎng)絡(luò)運(yùn)行，網(wǎng)絡(luò)的穩(wěn)定狀態(tài)一般來說就對應(yīng)與問題的解答。題的解答。7-5 Hopfield網(wǎng)絡(luò)的幾個問題網(wǎng)絡(luò)的幾個問題l 聯(lián)想記憶與優(yōu)化計(jì)算的關(guān)系聯(lián)想記憶與優(yōu)化計(jì)算的關(guān)系網(wǎng)絡(luò)用于計(jì)算時網(wǎng)絡(luò)用于計(jì)算

26、時W W已知，目的是為了尋找穩(wěn)態(tài)；用于聯(lián)想記憶已知，目的是為了尋找穩(wěn)態(tài)；用于聯(lián)想記憶時穩(wěn)態(tài)是給定的，由學(xué)習(xí)求得權(quán)系值。因此，二者是對偶的。時穩(wěn)態(tài)是給定的，由學(xué)習(xí)求得權(quán)系值。因此，二者是對偶的。7-5 Hopfield網(wǎng)絡(luò)的幾個問題網(wǎng)絡(luò)的幾個問題 l 網(wǎng)絡(luò)漸近穩(wěn)定的前提網(wǎng)絡(luò)漸近穩(wěn)定的前提前提是前提是 ，否則，系統(tǒng)的運(yùn)動無準(zhǔn)則。，否則，系統(tǒng)的運(yùn)動無準(zhǔn)則。wwijji Hopfield Hopfield反饋神經(jīng)網(wǎng)絡(luò)應(yīng)用于聯(lián)想與優(yōu)化計(jì)算是相對偶反饋神經(jīng)網(wǎng)絡(luò)應(yīng)用于聯(lián)想與優(yōu)化計(jì)算是相對偶的。應(yīng)用于優(yōu)化計(jì)算時，網(wǎng)絡(luò)權(quán)矩陣的。應(yīng)用于優(yōu)化計(jì)算時，網(wǎng)絡(luò)權(quán)矩陣W W為已知，目的是尋找為已知，目的是尋找具有最小能量值

27、的穩(wěn)定狀態(tài)。用作聯(lián)想時，穩(wěn)定狀態(tài)時給定具有最小能量值的穩(wěn)定狀態(tài)。用作聯(lián)想時，穩(wěn)定狀態(tài)時給定的，目的是通過學(xué)習(xí)過程來得到合適的權(quán)矩陣的，目的是通過學(xué)習(xí)過程來得到合適的權(quán)矩陣W W。 7-6 Hopfield網(wǎng)絡(luò)的網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)示例實(shí)現(xiàn)示例函函 數(shù)數(shù) 名名功功 能能satlin( )飽和線性傳遞函數(shù)飽和線性傳遞函數(shù)satlins( )對稱飽和線性傳遞函數(shù)對稱飽和線性傳遞函數(shù)newhop( )生成一個生成一個Hopfield回歸網(wǎng)絡(luò)回歸網(wǎng)絡(luò)nnt2hop( )更新更新NNT 2.0 Hopfield回歸網(wǎng)絡(luò)回歸網(wǎng)絡(luò)nMATLAB中中Hopfield網(wǎng)絡(luò)的重要函數(shù)和功能網(wǎng)絡(luò)的重要函數(shù)和功能 n MATLAB中與中與Hopfield網(wǎng)絡(luò)有關(guān)的重要函數(shù)和功能網(wǎng)絡(luò)有關(guān)的重要函數(shù)和功能 newhop( )q功能功能 生成一個Hopfield回歸網(wǎng)絡(luò)。q格式格式 net = newhop(T)q說明說明 net為生成的神經(jīng)網(wǎng)絡(luò)，具有在T中的向量上穩(wěn)定的點(diǎn)；T是具有Q個目標(biāo)向量的R*Q矩陣（元素必須為-1