第5講-Hopfield

1、第第5 5講講 霍普菲爾德網(wǎng)絡(luò)霍普菲爾德網(wǎng)絡(luò) (Hopfield Network)智能控制理論及應(yīng)用智能控制理論及應(yīng)用第一部分第一部分 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)反饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)(Recurrent Network)u 反饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)，又稱自聯(lián)想記憶網(wǎng)絡(luò)，其，又稱自聯(lián)想記憶網(wǎng)絡(luò)，其目的是為了目的是為了設(shè)計一個網(wǎng)絡(luò)，儲存一組平衡點設(shè)計一個網(wǎng)絡(luò)，儲存一組平衡點，使得當(dāng)給網(wǎng)絡(luò)一組，使得當(dāng)給網(wǎng)絡(luò)一組初始值時，網(wǎng)絡(luò)通過自行運行而最終收斂到這個設(shè)計初始值時，網(wǎng)絡(luò)通過自行運行而最終收斂到這個設(shè)計的的平衡點平衡點上。上。u反饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動力學(xué)系統(tǒng)的動態(tài)特性能夠表現(xiàn)出非線性動力學(xué)系統(tǒng)的動態(tài)特性。它所具

2、有的主要特性為以下兩點：它所具有的主要特性為以下兩點：第一、網(wǎng)絡(luò)系統(tǒng)具有第一、網(wǎng)絡(luò)系統(tǒng)具有若干個穩(wěn)定狀態(tài)若干個穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運動，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個穩(wěn)初始狀態(tài)開始運動，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個穩(wěn)定的平衡狀態(tài)；定的平衡狀態(tài)；第二、系統(tǒng)穩(wěn)定的平衡狀態(tài)可以第二、系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計網(wǎng)絡(luò)的權(quán)值通過設(shè)計網(wǎng)絡(luò)的權(quán)值而被存儲到網(wǎng)絡(luò)中。而被存儲到網(wǎng)絡(luò)中。常用反饋網(wǎng)絡(luò)常用反饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)(Recurrent Network)u Elman網(wǎng)絡(luò)網(wǎng)絡(luò)u Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)美國物理學(xué)家美國物理學(xué)家J.Hopfield于于1982年首先提出的。年首先提

3、出的。它模擬生物神經(jīng)網(wǎng)絡(luò)的記憶機理。它模擬生物神經(jīng)網(wǎng)絡(luò)的記憶機理。第第5 5講講 霍普菲爾德網(wǎng)絡(luò)霍普菲爾德網(wǎng)絡(luò)(Hopfield Network)u離散離散Hopfield網(wǎng)絡(luò)與聯(lián)想記憶網(wǎng)絡(luò)與聯(lián)想記憶u連續(xù)連續(xù)Hopfield網(wǎng)絡(luò)與優(yōu)化計算網(wǎng)絡(luò)與優(yōu)化計算uHopfield網(wǎng)絡(luò)的網(wǎng)絡(luò)的Matlab仿真仿真(Discrete Hopfield Neural Network，DHNN)(Continuous Hopfield Neural Network，CHNN)5.1 DHNN與聯(lián)想記憶與聯(lián)想記憶一、一、DHNN網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu) z-1z-1z-1一、一、DHNN網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu) 1）單層反饋網(wǎng)

4、絡(luò)）單層反饋網(wǎng)絡(luò)2）所有神經(jīng)元的輸）所有神經(jīng)元的輸出延時一個單位時出延時一個單位時間作為輸入。間作為輸入。3）網(wǎng)絡(luò)的外部輸入）網(wǎng)絡(luò)的外部輸入為作為初始狀態(tài)，為作為初始狀態(tài)，對外輸出為穩(wěn)定狀對外輸出為穩(wěn)定狀態(tài)。態(tài)。)(11)()()()(knfkxbkxwkniinjijiji0, 10, 1)(nnnf0, 00, 1)(nnnf神經(jīng)元的模型為神經(jīng)元的模型為或或一、一、DHNN網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu) DHNN神經(jīng)元的狀態(tài)是離散的。神經(jīng)元的狀態(tài)是離散的。二、二、DHNN的工作方式的工作方式（1）異步方式或串行工作方式）異步方式或串行工作方式 在在某一時刻只有一個神經(jīng)元改變狀態(tài)某一時刻只有一個神經(jīng)元改變

5、狀態(tài)，而其余神，而其余神經(jīng)元的輸出保持不變，這一變化的神經(jīng)元可以按照經(jīng)元的輸出保持不變，這一變化的神經(jīng)元可以按照隨機方式或預(yù)定的順序來選擇。隨機方式或預(yù)定的順序來選擇。例如，若選定的神經(jīng)元為第例如，若選定的神經(jīng)元為第i個，則有個，則有ijkxkxbkxwfkxjjnjijiji),() 1()() 1(1二、二、DHNN的工作方式的工作方式（2）同步方式或并行工作方式）同步方式或并行工作方式 在在某一時刻所有神經(jīng)元同時改變狀態(tài)某一時刻所有神經(jīng)元同時改變狀態(tài)。), 2 , 1( )() 1(1nibkxwfkxnjijiji三、三、DHNN的穩(wěn)定性定理的穩(wěn)定性定理 如果網(wǎng)絡(luò)從任一初始狀態(tài)開始變化

6、，存在某如果網(wǎng)絡(luò)從任一初始狀態(tài)開始變化，存在某一有限時刻，從此以后一有限時刻，從此以后網(wǎng)絡(luò)狀態(tài)不再變化網(wǎng)絡(luò)狀態(tài)不再變化，即，即)() 1(kkxx則稱網(wǎng)絡(luò)是則稱網(wǎng)絡(luò)是穩(wěn)定穩(wěn)定的。的。若網(wǎng)絡(luò)的狀態(tài)若網(wǎng)絡(luò)的狀態(tài)x滿足滿足則稱為網(wǎng)絡(luò)的則稱為網(wǎng)絡(luò)的穩(wěn)定點或吸引子穩(wěn)定點或吸引子。)(bWxx f三、三、DHNN的穩(wěn)定性定理的穩(wěn)定性定理定理定理1 對于對于DHNN，若按異步方式調(diào)整狀態(tài)，且，若按異步方式調(diào)整狀態(tài)，且連接權(quán)矩陣連接權(quán)矩陣W對稱且對角線元素非負對稱且對角線元素非負，即，即wij=wji ，wii=0,則對于任意初態(tài)，網(wǎng)絡(luò)都最終收斂到一個吸則對于任意初態(tài)，網(wǎng)絡(luò)都最終收斂到一個吸引子。引子。定理定

7、理2 對于對于DHNN ，若按同步方式調(diào)整狀態(tài)，且，若按同步方式調(diào)整狀態(tài)，且連接權(quán)矩陣連接權(quán)矩陣W為為非負定對稱陣非負定對稱陣，則對于任意初態(tài)，則對于任意初態(tài)，網(wǎng)絡(luò)都最終收斂到一個吸引子。網(wǎng)絡(luò)都最終收斂到一個吸引子。三、三、DHNN的穩(wěn)定性定理的穩(wěn)定性定理 可見對于可見對于同步方式同步方式，它對連接權(quán)矩陣，它對連接權(quán)矩陣W的要求的要求更高了，若不滿足更高了，若不滿足W為非負定對稱陣的要求，則網(wǎng)為非負定對稱陣的要求，則網(wǎng)絡(luò)可能出現(xiàn)自持震蕩，即極限環(huán)。絡(luò)可能出現(xiàn)自持震蕩，即極限環(huán)。 由于異步工作方式比同步工作方式有更好的穩(wěn)由于異步工作方式比同步工作方式有更好的穩(wěn)定性能，定性能，實現(xiàn)時較多采用異步工

8、作方式實現(xiàn)時較多采用異步工作方式。異步工作。異步工作方式的主要缺點是失去了神經(jīng)網(wǎng)絡(luò)并行處理的優(yōu)點。方式的主要缺點是失去了神經(jīng)網(wǎng)絡(luò)并行處理的優(yōu)點。 聯(lián)想記憶（聯(lián)想記憶（Associative Memory，AM）功能）功能是是DHNN的一個重要應(yīng)用。的一個重要應(yīng)用。 四、四、DHNN的聯(lián)想記憶功能與權(quán)值設(shè)計的聯(lián)想記憶功能與權(quán)值設(shè)計 在在Hopfield網(wǎng)絡(luò)的拓撲結(jié)構(gòu)及權(quán)值矩陣均一定的網(wǎng)絡(luò)的拓撲結(jié)構(gòu)及權(quán)值矩陣均一定的情況下，網(wǎng)絡(luò)的情況下，網(wǎng)絡(luò)的穩(wěn)定狀態(tài)將與其初始狀態(tài)穩(wěn)定狀態(tài)將與其初始狀態(tài)有關(guān)。有關(guān)。 也就是說，也就是說，Hopfield網(wǎng)絡(luò)是一種能儲存若干個預(yù)網(wǎng)絡(luò)是一種能儲存若干個預(yù)先設(shè)置的穩(wěn)定狀

9、態(tài)的網(wǎng)絡(luò)。先設(shè)置的穩(wěn)定狀態(tài)的網(wǎng)絡(luò)。若將穩(wěn)態(tài)視為一個記憶樣若將穩(wěn)態(tài)視為一個記憶樣本，那么初態(tài)朝穩(wěn)態(tài)的收斂過程便是尋找記憶樣本的本，那么初態(tài)朝穩(wěn)態(tài)的收斂過程便是尋找記憶樣本的過程。過程。初態(tài)可認為是給定樣本的部分信息，網(wǎng)絡(luò)改變初態(tài)可認為是給定樣本的部分信息，網(wǎng)絡(luò)改變的過程可認為是從部分信息找到全部信息，從而實現(xiàn)的過程可認為是從部分信息找到全部信息，從而實現(xiàn)了聯(lián)想記憶的功能。了聯(lián)想記憶的功能。 Hopfield網(wǎng)絡(luò)沒有與之相關(guān)的學(xué)習(xí)規(guī)則。它的網(wǎng)絡(luò)沒有與之相關(guān)的學(xué)習(xí)規(guī)則。它的權(quán)值不被訓(xùn)練，也不會自己學(xué)習(xí)。它的權(quán)值不被訓(xùn)練，也不會自己學(xué)習(xí)。它的權(quán)值矩陣是事權(quán)值矩陣是事前計算出來的。前計算出來的。 在這種

10、網(wǎng)絡(luò)中，在這種網(wǎng)絡(luò)中，不斷更新的不是權(quán)值，而是網(wǎng)絡(luò)不斷更新的不是權(quán)值，而是網(wǎng)絡(luò)中各神經(jīng)元的狀態(tài)，中各神經(jīng)元的狀態(tài)，網(wǎng)絡(luò)演變到穩(wěn)定時各神經(jīng)元的狀網(wǎng)絡(luò)演變到穩(wěn)定時各神經(jīng)元的狀態(tài)便是問題的解。態(tài)便是問題的解。 權(quán)值設(shè)計的目的：權(quán)值設(shè)計的目的：使任意輸入矢量經(jīng)過網(wǎng)絡(luò)循環(huán)使任意輸入矢量經(jīng)過網(wǎng)絡(luò)循環(huán)最終收斂到網(wǎng)絡(luò)所記憶的某個樣本上。最終收斂到網(wǎng)絡(luò)所記憶的某個樣本上。四、四、DHNN的聯(lián)想記憶功能與權(quán)值設(shè)計的聯(lián)想記憶功能與權(quán)值設(shè)計1. 海布海布(Hebb)學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則向量形式：向量形式： 當(dāng)當(dāng) 時：時：m m為樣本數(shù)；為樣本數(shù)； 為學(xué)習(xí)速為學(xué)習(xí)速率；率；I I為單為單位 對 角 矩位 對 角 矩陣。陣。

11、 jijixxwmkkikjij01mkTkk1)(IxxWmkTkkm1)(IxxW1假設(shè)需要存儲的記憶樣本有假設(shè)需要存儲的記憶樣本有nim1, 1,21xxxx四、四、DHNN的聯(lián)想記憶功能與權(quán)值設(shè)計的聯(lián)想記憶功能與權(quán)值設(shè)計1. 海布海布(Hebb)學(xué)習(xí)規(guī)則（外積和法）學(xué)習(xí)規(guī)則（外積和法）采用采用Hebb規(guī)則設(shè)計的權(quán)值，可以滿足規(guī)則設(shè)計的權(quán)值，可以滿足jiijww 0iiw從而可以保證網(wǎng)絡(luò)在從而可以保證網(wǎng)絡(luò)在異步工作異步工作時收斂。時收斂。 若按同步工作時，網(wǎng)絡(luò)或收斂或出現(xiàn)極限環(huán)。若按同步工作時，網(wǎng)絡(luò)或收斂或出現(xiàn)極限環(huán)。缺點：給定樣本不一定是網(wǎng)絡(luò)的吸引子，需要樣缺點：給定樣本不一定是網(wǎng)絡(luò)的

12、吸引子，需要樣本滿足一定的條件。本滿足一定的條件。四、四、DHNN的聯(lián)想記憶功能與權(quán)值設(shè)計的聯(lián)想記憶功能與權(quán)值設(shè)計設(shè)樣本維數(shù)為設(shè)樣本維數(shù)為n，樣本個數(shù)為，樣本個數(shù)為m，則根據(jù)，則根據(jù)Hebb規(guī)則規(guī)則設(shè)計的設(shè)計的DHNN，實現(xiàn)，實現(xiàn)樣本均為吸引子的充分條件樣本均為吸引子的充分條件（樣本應(yīng)滿足的條件）（樣本應(yīng)滿足的條件）為：為：（1）若）若m個樣本兩兩正交，則充分條件為個樣本兩兩正交，則充分條件為nxxjixxiTijTi)()()()()(0mn （2）若）若m個樣本不是兩兩正交，則為個樣本不是兩兩正交，則為mmnm1ijjTixx)()(maxikm四、四、DHNN的聯(lián)想記憶功能與權(quán)值設(shè)計的聯(lián)

13、想記憶功能與權(quán)值設(shè)計2. 正交化的權(quán)值設(shè)計正交化的權(quán)值設(shè)計1)保證系統(tǒng)在異步工作時的穩(wěn)定性；保證系統(tǒng)在異步工作時的穩(wěn)定性；2)保證所有要求記憶的穩(wěn)定平衡點都能收斂到自保證所有要求記憶的穩(wěn)定平衡點都能收斂到自己；己；3)使偽穩(wěn)定點使偽穩(wěn)定點（網(wǎng)絡(luò)最終穩(wěn)定到一個漸近穩(wěn)定點（網(wǎng)絡(luò)最終穩(wěn)定到一個漸近穩(wěn)定點上，但這個穩(wěn)定點不是網(wǎng)絡(luò)設(shè)計所要求的解）上，但這個穩(wěn)定點不是網(wǎng)絡(luò)設(shè)計所要求的解）的的數(shù)目盡可能的少；數(shù)目盡可能的少；4)使穩(wěn)定點的吸引域盡可能的大。使穩(wěn)定點的吸引域盡可能的大。四、四、DHNN的聯(lián)想記憶功能與權(quán)值設(shè)計的聯(lián)想記憶功能與權(quán)值設(shè)計 設(shè)給定設(shè)給定m個樣本向量個樣本向量 x(k)=(k=1,2,

14、m) ，首先組，首先組成如下的成如下的n (m-1) 階矩陣階矩陣,)() 1()()2()() 1 (mmmmxxxxxxATVUA),(,00021rdiagSS對對A進行奇異值分解進行奇異值分解U是是n n正交陣，正交陣，V是是(m-1) (m-1) 正交陣。正交陣。2. 正交化的權(quán)值設(shè)計正交化的權(quán)值設(shè)計則則 u1,u2,ur 是對應(yīng)于非零奇異值是對應(yīng)于非零奇異值1, 2, r 的的左奇異向量，且組成了左奇異向量，且組成了A的值域空間的正交基；的值域空間的正交基；ur+1,un 是是 A的值域的正交補空間的正交基。的值域的正交補空間的正交基。 按如下方法組成連接權(quán)矩陣按如下方法組成連接權(quán)

15、矩陣W和閾值向量和閾值向量b。)()(1mmrkTkkWxxbuuWU可表示成可表示成,121nrruuuuuU2. 正交化的權(quán)值設(shè)計正交化的權(quán)值設(shè)計2. 正交化的權(quán)值設(shè)計正交化的權(quán)值設(shè)計 雖然正交化設(shè)計方法的數(shù)學(xué)設(shè)計較為復(fù)雜，但與雖然正交化設(shè)計方法的數(shù)學(xué)設(shè)計較為復(fù)雜，但與外積和法相比較，所設(shè)計出的平衡穩(wěn)定點能夠保證外積和法相比較，所設(shè)計出的平衡穩(wěn)定點能夠保證收斂到自己并且有較大的穩(wěn)定域。收斂到自己并且有較大的穩(wěn)定域。在在MATLAB工具箱中已將此設(shè)計方法寫進了函數(shù)。工具箱中已將此設(shè)計方法寫進了函數(shù)。五、五、DHNN的權(quán)值設(shè)計及網(wǎng)絡(luò)工作過程示例的權(quán)值設(shè)計及網(wǎng)絡(luò)工作過程示例例例1 采用采用Heb

16、b規(guī)則，設(shè)計離散規(guī)則，設(shè)計離散Hopfield網(wǎng)絡(luò)，判網(wǎng)絡(luò)，判斷樣本是否均為吸引子，并考察這兩個吸引子的吸斷樣本是否均為吸引子，并考察這兩個吸引子的吸引能力。引能力。 兩個樣本為兩個樣本為1111,1111)2()1(xx02222022220222202)2()2()1()1(IxxxxWTT解解 1）求連接權(quán)矩陣）求連接權(quán)矩陣五、五、 DHNN的權(quán)值設(shè)計及網(wǎng)絡(luò)工作過程示例的權(quán)值設(shè)計及網(wǎng)絡(luò)工作過程示例)2()2()1()1(11116666)(,11116666)(xfWxfxfWxf可見，兩個樣本可見，兩個樣本 均為網(wǎng)絡(luò)的吸引子。均為網(wǎng)絡(luò)的吸引子。不滿足前面給出的充分條件，是否為吸引子需具

17、體不滿足前面給出的充分條件，是否為吸引子需具體加以檢驗：加以檢驗：2）判斷樣本是否為吸引子）判斷樣本是否為吸引子 兩個樣本不正交，根據(jù)第二種情況判斷兩個樣本不正交，根據(jù)第二種情況判斷4maxikm5812mmnm3）考察兩個吸引子的吸引能力（聯(lián)想記憶的功能）考察兩個吸引子的吸引能力（聯(lián)想記憶的功能) ) 顯然它比較接近顯然它比較接近x(1),用異步方式按用異步方式按1,2,3,4的調(diào)整的調(diào)整次序來演變網(wǎng)絡(luò)：次序來演變網(wǎng)絡(luò)：Txx1111)0()3(1)0() 1 (1)0() 1 (1)0() 1 (1)6()0() 1 (443322111xxxxxxfxwfxnjjj)1(1111) 1

18、(xxT(1)可見，只需異步方式調(diào)整一步既收斂到可見，只需異步方式調(diào)整一步既收斂到 x(1) 。即即3）考察兩個吸引子的吸引能力（聯(lián)想記憶的功能）考察兩個吸引子的吸引能力（聯(lián)想記憶的功能) ) 顯然它比較接近顯然它比較接近x(2),用異步方式按用異步方式按1,2,3,4的調(diào)整的調(diào)整次序來演變網(wǎng)絡(luò)：次序來演變網(wǎng)絡(luò)：(2)可見，只需異步方式調(diào)整一步既收斂到可見，只需異步方式調(diào)整一步既收斂到 x(2) 。即即)2(1111) 1 (xxTTxx1111)0()4(1)0() 1 (1)0() 1 (1)0() 1 (1)6()0() 1 (443322111xxxxxxfxwfxnjjj(3)可見，

19、此時可見，此時x(5)收斂到收斂到 x(2) 。即即Txx1111)0()5( 它與它與 x(1) 和和x(2) 的海明距離（兩個向量不相同元素的個數(shù)）的海明距離（兩個向量不相同元素的個數(shù)）均為均為2。若按。若按1,2,3,4的調(diào)整次序調(diào)整網(wǎng)絡(luò)可得的調(diào)整次序調(diào)整網(wǎng)絡(luò)可得4 , 3 , 2)0() 1 (1)2()0() 1 (111ixxfxwfxiinjjjTx1111) 1 (4 , 3 , 1) 1 ()2(1)6() 1 ()2(122ixxfxwfxiinjjj)2(1111)2(xxT即即4 , 2 , 1)0() 1 (1)2()0() 1 (133ixxfxwfxiinjjjT

20、x1111) 1 (3 , 2 , 1) 1 ()2(1)6() 1 ()2(144ixxfxwfxiinjjj)1(1111)2(xxT若按若按3,4,1,2的調(diào)整次序調(diào)整網(wǎng)絡(luò)可得的調(diào)整次序調(diào)整網(wǎng)絡(luò)可得即即即即可見，此時可見，此時x(5)收斂到收斂到 x(1) 。11112226)()0() 1 ()3(fWxfWxfx下面對該例應(yīng)用同步方式進行計算，仍下面對該例應(yīng)用同步方式進行計算，仍取取x(0)為為x(3)， x(4)， x(5) 三種情況。三種情況。Txx1111)0()3(1)可見，可見， x(3)收斂到收斂到 x(1) 。11112226)0() 1 (fWxfx(2)Txx111

21、1)0()4(可見，可見， x(4)收斂到收斂到 x(2) 。11116666)1 ()2(fWxfx(3)Txx1111)0()5(11112222)0() 1 (fWxfx)0(11112222)1 ()2(xfWxfx 可見，它將在兩個狀態(tài)間跳躍，產(chǎn)生極限環(huán)為可見，它將在兩個狀態(tài)間跳躍，產(chǎn)生極限環(huán)為2的的自持振蕩。若根據(jù)前面的穩(wěn)定性分析，由于此時連接自持振蕩。若根據(jù)前面的穩(wěn)定性分析，由于此時連接權(quán)矩陣權(quán)矩陣W不是非負定陣，所以出現(xiàn)了振蕩。不是非負定陣，所以出現(xiàn)了振蕩。 因為網(wǎng)絡(luò)有四個節(jié)點，所以有因為網(wǎng)絡(luò)有四個節(jié)點，所以有24=16個狀態(tài)（閾值取個狀態(tài)（閾值取0），其中只有以上兩個狀態(tài)），

22、其中只有以上兩個狀態(tài) x(1) 和和x(2)是穩(wěn)定的，其余是穩(wěn)定的，其余狀態(tài)都會收斂到與之鄰近的穩(wěn)定狀態(tài)上，所以說這種狀態(tài)都會收斂到與之鄰近的穩(wěn)定狀態(tài)上，所以說這種網(wǎng)絡(luò)具有一定的糾錯能力。網(wǎng)絡(luò)具有一定的糾錯能力。 為了能實現(xiàn)聯(lián)想記憶，對于每一個吸引子應(yīng)該為了能實現(xiàn)聯(lián)想記憶，對于每一個吸引子應(yīng)該有一定的吸引范圍，這個吸引范圍便稱為吸引域。有一定的吸引范圍，這個吸引范圍便稱為吸引域。 對于異步方式，對同一個狀態(tài)，若采用不同的對于異步方式，對同一個狀態(tài)，若采用不同的調(diào)整次序，有可能弱吸引到不同的吸引子。若存在調(diào)整次序，有可能弱吸引到不同的吸引子。若存在一個調(diào)整次序可以從一個調(diào)整次序可以從x x演變到

23、吸引子演變到吸引子x x(a(a) )，則稱，則稱x x弱吸弱吸引到引到x(a) ；若對于所有的調(diào)整次序，都可以；若對于所有的調(diào)整次序，都可以從從x演變演變到吸引子到吸引子x(a)，則稱，則稱x強吸引到強吸引到x(a) 。 對于同步方式，由于無調(diào)整次序問題，所以相應(yīng)對于同步方式，由于無調(diào)整次序問題，所以相應(yīng)的吸引域也無強弱之分。的吸引域也無強弱之分。1. 吸引域吸引域六、若干相關(guān)概念六、若干相關(guān)概念 所謂所謂記憶容量記憶容量是指：在網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)一定的條件是指：在網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)一定的條件下，要保證聯(lián)想功能的正確實現(xiàn)，網(wǎng)絡(luò)所能存儲的最下，要保證聯(lián)想功能的正確實現(xiàn)，網(wǎng)絡(luò)所能存儲的最大的樣本數(shù)。大的樣本

24、數(shù)。 也就是說，給定網(wǎng)絡(luò)節(jié)點數(shù)也就是說，給定網(wǎng)絡(luò)節(jié)點數(shù)n，樣本數(shù)，樣本數(shù)m最大可最大可為多少，這些樣本向量不僅本身應(yīng)為網(wǎng)絡(luò)的吸引子，為多少，這些樣本向量不僅本身應(yīng)為網(wǎng)絡(luò)的吸引子，而且應(yīng)有一定的吸引域，這樣才能實現(xiàn)聯(lián)想記憶的功而且應(yīng)有一定的吸引域，這樣才能實現(xiàn)聯(lián)想記憶的功能。能。 2. DHNN的記憶容量（的記憶容量（Memory Capacity）五、若干相關(guān)概念五、若干相關(guān)概念五、若干相關(guān)概念五、若干相關(guān)概念3. 偽狀態(tài)（偽狀態(tài)（Spurious States） 偽狀態(tài)是指除記憶狀態(tài)之外網(wǎng)絡(luò)多余的穩(wěn)定偽狀態(tài)是指除記憶狀態(tài)之外網(wǎng)絡(luò)多余的穩(wěn)定狀態(tài)。狀態(tài)。5.2 Hopfield 網(wǎng)絡(luò)的網(wǎng)絡(luò)的Ma

25、tlab仿真仿真Net=Newhop（T）Matlab工具箱函數(shù)工具箱函數(shù)T為目標(biāo)向量，即存儲在網(wǎng)絡(luò)中的目標(biāo)平衡點。為目標(biāo)向量，即存儲在網(wǎng)絡(luò)中的目標(biāo)平衡點。1 設(shè)計一個具有兩個神經(jīng)元的設(shè)計一個具有兩個神經(jīng)元的DHNN2 設(shè)計一個具有三個神經(jīng)元的設(shè)計一個具有三個神經(jīng)元的DHNNT=1 -1;-1 1T=1 1;-1 1;-1 -15.2 Hopfield 網(wǎng)絡(luò)的網(wǎng)絡(luò)的Matlab仿真仿真5.3 CHNN與優(yōu)化計算與優(yōu)化計算 CHNN主要用于優(yōu)化計算。主要用于優(yōu)化計算。 若將穩(wěn)態(tài)與某種優(yōu)化計算的目標(biāo)函數(shù)相對應(yīng)，若將穩(wěn)態(tài)與某種優(yōu)化計算的目標(biāo)函數(shù)相對應(yīng)，并作為目標(biāo)函數(shù)的極小點。那么初態(tài)朝穩(wěn)態(tài)的收斂并作

26、為目標(biāo)函數(shù)的極小點。那么初態(tài)朝穩(wěn)態(tài)的收斂過程便是優(yōu)化計算過程。該優(yōu)化計算是在網(wǎng)絡(luò)演變過程便是優(yōu)化計算過程。該優(yōu)化計算是在網(wǎng)絡(luò)演變過程中自動完成的。過程中自動完成的。一、一、CHNN網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)一、一、CHNN網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu) 1niijjjjsw x1()iiiiidyysdtxf y 這里，假定這里，假定wij=wji ，它與離散的，它與離散的Hopfield網(wǎng)絡(luò)相網(wǎng)絡(luò)相比，這里多了中間一個式子，該式是一階微分方比，這里多了中間一個式子，該式是一階微分方程，相當(dāng)于一階慣性環(huán)節(jié)，程，相當(dāng)于一階慣性環(huán)節(jié)，si是該環(huán)節(jié)的輸入，是該環(huán)節(jié)的輸入，yi是該環(huán)節(jié)的輸出。是該環(huán)節(jié)的輸出。 神經(jīng)元模型為神

27、經(jīng)元模型為f()函數(shù)一般取函數(shù)一般取S形函數(shù)形函數(shù)) 1 , 1(ixiiyyiieeyfx11)() 1 , 0(ixiyiieyfx11)( 它們都是連續(xù)的單調(diào)上升的函數(shù)。它們都是連續(xù)的單調(diào)上升的函數(shù)。連續(xù)連續(xù)Hopfield網(wǎng)絡(luò)的電路模型網(wǎng)絡(luò)的電路模型Hopfield利用模擬電路設(shè)計了一個連續(xù)利用模擬電路設(shè)計了一個連續(xù)Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)的電路模型。下圖表示了其中由運算放大器電路實現(xiàn)的電路模型。下圖表示了其中由運算放大器電路實現(xiàn)的一個節(jié)點的模型。的一個節(jié)點的模型。)(1iinjijijiiiiiufVRuVIRudtduC)(111iiiijnjiijiiiiufVCIVCRuCRd

28、tdunjijiiRRR1111其中其中經(jīng)整理得經(jīng)整理得可以列出如下的電路方程：可以列出如下的電路方程：iiiiijijiiiiiiCICRwCRuyVx,1,若令若令可以看出，連續(xù)可以看出，連續(xù)Hopfield網(wǎng)絡(luò)實質(zhì)上是一個連續(xù)的非網(wǎng)絡(luò)實質(zhì)上是一個連續(xù)的非線性動力學(xué)系統(tǒng)，它可用一組非線性微分方程來描線性動力學(xué)系統(tǒng)，它可用一組非線性微分方程來描述。當(dāng)給定初始狀態(tài)述。當(dāng)給定初始狀態(tài) ，通過求解非線，通過求解非線性微分方程組可求的網(wǎng)絡(luò)狀態(tài)的運動軌跡。若系統(tǒng)性微分方程組可求的網(wǎng)絡(luò)狀態(tài)的運動軌跡。若系統(tǒng)是穩(wěn)定的，則它可最終可收斂到一個穩(wěn)定狀態(tài)。是穩(wěn)定的，則它可最終可收斂到一個穩(wěn)定狀態(tài)。)(11iin

29、jijijiiyfxxwydtdy), 2 , 1)(0(nixi則上式化為則上式化為式中式中 f(.)常用常用Sigmoid函數(shù)：函數(shù)：iyiieyfx11)( 若用圖示的硬件來實現(xiàn)，則這個求解非線性微分若用圖示的硬件來實現(xiàn)，則這個求解非線性微分方程的過程將由該電路自動完成，其求解速度是非常方程的過程將由該電路自動完成，其求解速度是非常快的?？斓摹?用運算放大器構(gòu)造的連續(xù)型用運算放大器構(gòu)造的連續(xù)型Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)nixiTTninjnixiniiijiijiidfdfxxxwE101111011)(121)(121xWxx二、二、 穩(wěn)定性分析穩(wěn)定性分析定義連續(xù)定義連續(xù)Hopfield

30、網(wǎng)絡(luò)能量函數(shù)為網(wǎng)絡(luò)能量函數(shù)為由于由于 或或 ，因此上述定義的能量函，因此上述定義的能量函數(shù)數(shù)E是有界的，因此只需證得是有界的，因此只需證得 ，即可說，即可說明系統(tǒng)是穩(wěn)定的。明系統(tǒng)是穩(wěn)定的。) 1 , 1(ix) 1 , 0(ix0/dtdEdtdxxEdtdEinii1)1()(21)(1212111111injjijiinjjjiijiiinjnjjjijijixwyxwwxfxwxwxE)()()(2111dtdxdxdydtdxdtdxdxdydtdxdtdydtdEiniiiiiniiiiniiiixEdtdyjiijww dtdyxEii當(dāng)當(dāng)前面已假設(shè)前面已假設(shè) 是單調(diào)上升函數(shù)，顯然

31、它的是單調(diào)上升函數(shù)，顯然它的反函數(shù)反函數(shù) 為單調(diào)上升函數(shù)，即有為單調(diào)上升函數(shù)，即有)(iiyfx )(1iixfy0/iidxdy0dtdE根據(jù)李雅普諾夫穩(wěn)定性理論，該網(wǎng)絡(luò)一定是漸近根據(jù)李雅普諾夫穩(wěn)定性理論，該網(wǎng)絡(luò)一定是漸近穩(wěn)定的。即隨著時間的演變，網(wǎng)絡(luò)狀態(tài)總是朝穩(wěn)定的。即隨著時間的演變，網(wǎng)絡(luò)狀態(tài)總是朝E減減小的方向運動，一直到小的方向運動，一直到E取得極小值，這時所有的取得極小值，這時所有的xi變?yōu)槌?shù)，也即網(wǎng)絡(luò)收斂到穩(wěn)定狀態(tài)。變?yōu)槌?shù)，也即網(wǎng)絡(luò)收斂到穩(wěn)定狀態(tài)。因而有因而有（所有（所有xi均為常數(shù)時才取等號）均為常數(shù)時才取等號）穩(wěn)定性定理穩(wěn)定性定理對于連續(xù)對于連續(xù)Hopfield網(wǎng)絡(luò)，若網(wǎng)絡(luò)

32、對稱（網(wǎng)絡(luò)，若網(wǎng)絡(luò)對稱（wij=wji），），且神經(jīng)元功能函數(shù)為連續(xù)單調(diào)遞增函數(shù)，則有且神經(jīng)元功能函數(shù)為連續(xù)單調(diào)遞增函數(shù)，則有0)(dttdxi且上式等號成立的充要條件為且上式等號成立的充要條件為0dtdE, 2 , 1ni 在應(yīng)用連續(xù)型在應(yīng)用連續(xù)型Hopfield網(wǎng)絡(luò)解決實際問題時，如網(wǎng)絡(luò)解決實際問題時，如果能將某個待研究解決的問題，化為一個計算能量函果能將某個待研究解決的問題，化為一個計算能量函數(shù)，且使這個能量函數(shù)的最小值正好對應(yīng)于一定約束數(shù)，且使這個能量函數(shù)的最小值正好對應(yīng)于一定約束條件下問題的解答時，則此問題就可以用連續(xù)型條件下問題的解答時，則此問題就可以用連續(xù)型Hopfield網(wǎng)絡(luò)來

33、求解了。網(wǎng)絡(luò)來求解了。 如何設(shè)計連接權(quán)系數(shù)及其它參數(shù)需根據(jù)具體問題如何設(shè)計連接權(quán)系數(shù)及其它參數(shù)需根據(jù)具體問題來加以確定。下面以連續(xù)型來加以確定。下面以連續(xù)型HopfleldHopfleld神經(jīng)網(wǎng)絡(luò)應(yīng)用神經(jīng)網(wǎng)絡(luò)應(yīng)用于于TSP(TravellingTSP(Travelling Salesman Problem) Salesman Problem)為例加以說為例加以說明。明。TSPTSP問題是人工智能中的一個難題。問題是人工智能中的一個難題。三、三、CHNN用于優(yōu)化計算用于優(yōu)化計算 推銷員要到推銷員要到n個城市去推銷產(chǎn)品，要求推銷員每個城市去推銷產(chǎn)品，要求推銷員每個城市都要去到，且只能去一次，如何規(guī)

34、劃路線才個城市都要去到，且只能去一次，如何規(guī)劃路線才能使所走的路程最短。利用連續(xù)能使所走的路程最短。利用連續(xù)Hopfield網(wǎng)絡(luò)來進網(wǎng)絡(luò)來進行優(yōu)化計算。行優(yōu)化計算。解解 這是一個典型的組合優(yōu)化問題。下面要解決的這是一個典型的組合優(yōu)化問題。下面要解決的問題是如何恰當(dāng)?shù)孛枋鲈搯栴}，使其適合于用問題是如何恰當(dāng)?shù)孛枋鲈搯栴}，使其適合于用 Hopfield網(wǎng)絡(luò)來求解。正是由于網(wǎng)絡(luò)來求解。正是由于 Hopfeld成功地求成功地求解了解了 TSP問題，才使得人們對神經(jīng)網(wǎng)絡(luò)再次引起問題，才使得人們對神經(jīng)網(wǎng)絡(luò)再次引起了廣泛的興趣。了廣泛的興趣。CHNN應(yīng)用于應(yīng)用于TSP問題問題對于對于n個城市的個城市的TSP問

35、題，可以使用問題，可以使用n2個神經(jīng)元，個神經(jīng)元，用神經(jīng)元的狀態(tài)表示某一城市在某條路徑中被訪問用神經(jīng)元的狀態(tài)表示某一城市在某條路徑中被訪問的順序。的順序。第第i個神經(jīng)元的狀態(tài)用個神經(jīng)元的狀態(tài)用xi表示，其中，表示表示，其中，表示城市名城市名稱，稱，i表示訪問順序。表示訪問順序。xi =1表示城市表示城市在該路徑中第在該路徑中第i個被訪問，個被訪問， xi =0表示城市表示城市在該路徑中第在該路徑中第i個沒有被訪問。個沒有被訪問。這里取較大的這里取較大的，以使，以使S形函數(shù)比較陡峭，從而穩(wěn)形函數(shù)比較陡峭，從而穩(wěn)態(tài)時態(tài)時 能夠趨于能夠趨于1或趨于或趨于0 。iyiex115 , 4 , 3 , 2

36、 , 1,iEDCBAA、B、C、D、E表示城市名稱；表示城市名稱；l、2、3、4、5表示路徑順序。表示路徑順序。神經(jīng)元采用如下的神經(jīng)元采用如下的S形變換函數(shù)形變換函數(shù)這里以這里以n=5的的TSP問題為例。問題為例。 12345A01000B00010C10000D00001E00100訪問順序訪問順序訪訪問問城城市市5城市城市TSP問題的一條有效路徑的關(guān)聯(lián)矩陣問題的一條有效路徑的關(guān)聯(lián)矩陣其相應(yīng)的路徑順序為：其相應(yīng)的路徑順序為：DBEACBDEBAECAddddd所走路徑的總長度為：所走路徑的總長度為：為了保證每個城市只去一次，方陣每行只能有一個為了保證每個城市只去一次，方陣每行只能有一個元素為元素為1，其余為零。為了保證在某一時刻只能經(jīng)，其余為零。為了保證在某一時刻只能經(jīng)一個城市，方陣中每列也只能有一個元