人工神經(jīng)網(wǎng)絡(luò)6HOPFIELD神經(jīng)網(wǎng)絡(luò)ppt課件

1、1人工神經(jīng)網(wǎng)絡(luò)(Artifical Neural Network)張凱 副教授武漢科技大學(xué) 計(jì)算機(jī)學(xué)院2要點(diǎn)簡(jiǎn)介1. 研究背景2. 離散Hopfield神經(jīng)網(wǎng)絡(luò)3. 連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)4. Hopfield網(wǎng)絡(luò)求解TSP問(wèn)題研究背景前幾章介紹的神經(jīng)網(wǎng)絡(luò)模型屬于前向神經(jīng)網(wǎng)絡(luò)，從學(xué)習(xí)的觀點(diǎn)上看，它們是強(qiáng)有力的學(xué)習(xí)系統(tǒng)，結(jié)構(gòu)簡(jiǎn)單，易于編程。從系統(tǒng)的觀點(diǎn)看，它們屬于一種靜態(tài)的非線性映射，通過(guò)簡(jiǎn)單非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理能力，但它們因缺乏反饋，所以并不是一個(gè)強(qiáng)有力的動(dòng)力學(xué)系統(tǒng)。2022/7/223研究背景Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個(gè)重要的里程碑。由美國(guó)加

2、州理工學(xué)院物理學(xué)家J.Hopfield教授于1982年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。2022/7/224研究背景1985年，J.J.Hopfield和D.W.Tank建立了相互連接型的神經(jīng)網(wǎng)絡(luò)模型，并用它成功地探討了旅行商問(wèn)題(TSP)的求解方法。2022/7/225研究背景Hopfield模型屬于反饋型神經(jīng)網(wǎng)絡(luò)，從計(jì)算的角度上講，它具有很強(qiáng)的計(jì)算能力。這樣的系統(tǒng)著重關(guān)心的是系統(tǒng)的穩(wěn)定性問(wèn)題。穩(wěn)定性是這類(lèi)具有聯(lián)想記憶功能神經(jīng)網(wǎng)絡(luò)模型的核心，學(xué)習(xí)記憶的過(guò)程就是系統(tǒng)向穩(wěn)定狀態(tài)發(fā)展的過(guò)程。Hopfield網(wǎng)絡(luò)可用于解決聯(lián)想記憶和約束優(yōu)化問(wèn)題的求解。2022/7/226研究背景反饋型神經(jīng)網(wǎng)絡(luò)作為非線性

3、動(dòng)力學(xué)系統(tǒng)，可表現(xiàn)出豐富多樣的動(dòng)態(tài)特性，如穩(wěn)定性、極限環(huán)、奇怪吸引子(混沌)等。這些特性是神經(jīng)網(wǎng)絡(luò)引起研究人員極大興趣的原因之一。研究表明，由簡(jiǎn)單非線性神經(jīng)元互連而成的反饋動(dòng)力學(xué)神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有兩個(gè)重要特征：1. 系統(tǒng)有若干個(gè)穩(wěn)定狀態(tài)，如果從某一個(gè)初始狀態(tài)開(kāi)始運(yùn)動(dòng)，系統(tǒng)總可以進(jìn)入其中某一個(gè)穩(wěn)定狀態(tài)；2. 系統(tǒng)的穩(wěn)定狀態(tài)可以通過(guò)改變各個(gè)神經(jīng)元間的連接權(quán)值而得到。 研究背景Hopfield神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)與應(yīng)用的關(guān)鍵是對(duì)其動(dòng)力學(xué)特性的正確理解：網(wǎng)絡(luò)的穩(wěn)定性是其重要性質(zhì)，而能量函數(shù)是判定網(wǎng)絡(luò)穩(wěn)定性的基本概念。Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN (

4、Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network) 。 2022/7/2292022/7/2210網(wǎng)絡(luò)模型表示法一離散Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖12(狀態(tài)）(閾值）（連接權(quán)值）離散Hopfield 神經(jīng)網(wǎng)絡(luò)2022/7/2211網(wǎng)絡(luò)模型表示法二離散Hopfield 神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)中每個(gè)神經(jīng)元的輸出都與其它神經(jīng)元的輸入相連2022/7/2212反饋網(wǎng)絡(luò)結(jié)構(gòu)(單層全反饋網(wǎng))反饋網(wǎng)絡(luò)的特性網(wǎng)絡(luò)輸出不僅依賴網(wǎng)絡(luò)參數(shù)和輸入，還是時(shí)間的函數(shù)。對(duì)不同的輸入和參數(shù)，網(wǎng)絡(luò)的輸出（或狀態(tài)）可能 出現(xiàn)如下幾種情況：

5、發(fā)散：網(wǎng)絡(luò)狀態(tài)的軌跡隨時(shí)間一直延伸到無(wú)窮遠(yuǎn)；混沌：網(wǎng)絡(luò)狀態(tài)隨時(shí)間推移不能穩(wěn)定，但又不發(fā)散， 而是在某個(gè)確定范圍內(nèi)變化，狀態(tài)有無(wú)窮多個(gè)；振蕩：網(wǎng)絡(luò)狀態(tài)隨時(shí)間呈現(xiàn)周期（環(huán)狀）變化，永遠(yuǎn)不 會(huì)停止；收斂：經(jīng)過(guò)一段時(shí)間后，網(wǎng)絡(luò)狀態(tài)停止在一點(diǎn)上，不再 變化，稱該點(diǎn)為網(wǎng)絡(luò)的平衡點(diǎn)反饋網(wǎng)絡(luò)的特性平衡點(diǎn)可分為：漸近穩(wěn)定平衡點(diǎn)：在該平衡點(diǎn)周?chē)鷧^(qū)域內(nèi)，從任意一初始點(diǎn)出發(fā)，當(dāng)時(shí)間趨向無(wú)窮時(shí)都收斂到這個(gè)點(diǎn)。不穩(wěn)定平衡點(diǎn)：在某些特定的軌跡演化過(guò)程中，能夠使網(wǎng)絡(luò)達(dá)到該穩(wěn)定點(diǎn)，但對(duì)該點(diǎn)其它方向上任一個(gè)無(wú)論多么小的區(qū)域，其軌跡在某個(gè)時(shí)刻以后總是偏離該點(diǎn)。網(wǎng)絡(luò)的穩(wěn)定點(diǎn)解：網(wǎng)絡(luò)最后是穩(wěn)定到設(shè)計(jì)所要求的平衡點(diǎn)上，而且平衡點(diǎn)又是漸近

6、穩(wěn)定平衡點(diǎn)。網(wǎng)絡(luò)的偽穩(wěn)定點(diǎn)：網(wǎng)絡(luò)最后是穩(wěn)定到一個(gè)穩(wěn)定平衡點(diǎn)上，但這個(gè)穩(wěn)定平衡點(diǎn)不是設(shè)計(jì)所要求的解。反饋網(wǎng)絡(luò)的作用反饋網(wǎng)絡(luò)是利用漸近穩(wěn)定平衡點(diǎn)來(lái)解決某些問(wèn)題聯(lián)想記憶：把漸近穩(wěn)定平衡點(diǎn)視為一個(gè)記憶，從初始點(diǎn)朝這個(gè)漸近穩(wěn)定平衡點(diǎn)流動(dòng)的過(guò)程就是尋找該記憶的過(guò)程。初始點(diǎn)可認(rèn)為是給定的有關(guān)記憶的部分信息，這時(shí)就是從部分信息去尋找全部信息的聯(lián)想記憶過(guò)程。優(yōu)化計(jì)算：把漸近穩(wěn)定平衡點(diǎn)視為某能量函數(shù)的極小點(diǎn)，從初始點(diǎn)到達(dá)穩(wěn)定點(diǎn)，可看作是穩(wěn)定點(diǎn)把初始點(diǎn)吸引了過(guò)來(lái)，在初始點(diǎn)時(shí)，能量比較大，而吸引到穩(wěn)定點(diǎn)時(shí)能量比較小，漸近穩(wěn)定平衡點(diǎn)就可以作為一個(gè)優(yōu)化目標(biāo)函數(shù)的極小點(diǎn)。反饋網(wǎng)絡(luò)研究的內(nèi)容網(wǎng)絡(luò)穩(wěn)定性：即研究在什么條件下，網(wǎng)

7、絡(luò)不會(huì)出現(xiàn)發(fā)散、振蕩和混沌現(xiàn)象。網(wǎng)絡(luò)穩(wěn)定點(diǎn)：非線性的網(wǎng)絡(luò)可能有很多個(gè)穩(wěn)定點(diǎn)，如何設(shè)計(jì)權(quán)使其中的某些穩(wěn)定點(diǎn)是所要求的解。對(duì)于用作聯(lián)想記憶的網(wǎng)絡(luò)，希望穩(wěn)定點(diǎn)都是一個(gè)記憶，那么記憶容量就與穩(wěn)定點(diǎn)的數(shù)目有關(guān)，若要求記憶容量大，穩(wěn)定點(diǎn)的數(shù)目也就要大。但穩(wěn)定點(diǎn)的數(shù)目增加可能會(huì)引起吸引域的減少，從而使其聯(lián)想功能減弱。對(duì)于用作優(yōu)化計(jì)算的網(wǎng)絡(luò)，由于目標(biāo)函數(shù)往往要求只有一個(gè)全局最小，因而希望穩(wěn)定點(diǎn)(局部極小點(diǎn))越少越好。反饋網(wǎng)絡(luò)研究的內(nèi)容吸引域的設(shè)計(jì)：希望解的穩(wěn)定點(diǎn)有盡可能大吸引域2022/7/2218網(wǎng)絡(luò)模型表示法一離散Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖12(狀態(tài)）(閾值）（連接權(quán)值）離散Hopfield 神經(jīng)網(wǎng)絡(luò)

8、2022/7/2219 注：或連接權(quán)閾值-1輸入輸出關(guān)系：離散Hopfield 神經(jīng)網(wǎng)絡(luò)離散Hopfield 神經(jīng)網(wǎng)絡(luò)激勵(lì)函數(shù)2022/7/2220離散Hopfield 神經(jīng)網(wǎng)絡(luò)相關(guān)參數(shù)說(shuō)明任意神經(jīng)元i與j間的突觸權(quán)值wij為，神經(jīng)元之間連接是對(duì)稱的，神經(jīng)元自身無(wú)連接. 每個(gè)神經(jīng)元都同其他的神經(jīng)元相連,其輸出信號(hào)經(jīng)過(guò)其他神經(jīng)元又有可能反饋給自己 設(shè)Hopfield網(wǎng)絡(luò)中有n個(gè)神經(jīng)元，其中任意神經(jīng)元的輸入用xi(t)表示，輸出xi(t+1)用表示，它們都是時(shí)間的函數(shù)，其中 xi(t)也稱為神經(jīng)元在時(shí)刻 t的狀態(tài)。 離散Hopfield 神經(jīng)網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)的狀態(tài)離散型Hopfield

9、網(wǎng)絡(luò)的狀態(tài)由n個(gè)神經(jīng)元的狀態(tài)集合構(gòu)成。因此，在任何一個(gè)給定的時(shí)刻 t，離散型Hopfield網(wǎng)絡(luò)的的狀態(tài)可以表示為2022/7/2222離散Hopfield 神經(jīng)網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)的運(yùn)行規(guī)則(1)串行(異步)工作方式 在任時(shí)刻，只有某神經(jīng)元 (隨機(jī)的或確定的選擇)依上式變化，而其他神經(jīng)元的狀態(tài)不變。(2)并行(同步)工作方式 在任一時(shí)刻，部分神經(jīng)元或全部神經(jīng)元的狀態(tài)同時(shí)改變。2022/7/2223工作方式異步（串行）方式:同步（并行）方式:離散Hopfield 神經(jīng)網(wǎng)絡(luò)串行(異步)工作方式運(yùn)行步驟第一步 對(duì)網(wǎng)絡(luò)進(jìn)行初始化；第二步 從網(wǎng)絡(luò)中隨機(jī)選取一個(gè)神經(jīng)元 i ；第三步 求出該神經(jīng)元

10、 i 的輸出；第四步 求出該神經(jīng)元經(jīng)激活函數(shù)處理后的輸出，此時(shí)網(wǎng)絡(luò)中的其他神經(jīng)元的輸出保持不變；第五步 判斷網(wǎng)絡(luò)是否達(dá)到穩(wěn)定狀態(tài)，若達(dá)到穩(wěn)定狀態(tài)或滿足給定條件則結(jié)束；否則轉(zhuǎn)到第二步繼續(xù)運(yùn)行。 2022/7/2225離散Hopfield 神經(jīng)網(wǎng)絡(luò)例：一個(gè)3個(gè)節(jié)點(diǎn)離散型Hopfield神經(jīng)網(wǎng)絡(luò)的初始狀態(tài)X(0)=(-1, -1, -1)，網(wǎng)絡(luò)連接權(quán)值w和各個(gè)節(jié)點(diǎn)的閾值分別如下，試求解網(wǎng)絡(luò)穩(wěn)定狀態(tài)。2022/7/2226離散Hopfield 神經(jīng)網(wǎng)絡(luò)2022/7/2227異步（串行）方式:離散Hopfield 神經(jīng)網(wǎng)絡(luò)X(0)=(x1, x2, x3)X(0)=(-1, -1, -1)x1(1)=s

11、gn1(-1)+2(-1)-(-5)=sgn2=1X(1)=(1, -1, -1)離散Hopfield 神經(jīng)網(wǎng)絡(luò)X(1)=(x1, x2, x3)X(1)=(1, -1, -1)x2(2)=sgn11+(-3)(-1)-(0)=sgn4=1X(2)=(1, 1, -1)離散Hopfield 神經(jīng)網(wǎng)絡(luò)X(2)=(x1, x2, x3)X(2)=(1, 1, -1)x3(3)=sgn21+(-3)1-3=sgn-4=-1X(3)=(1, 1, -1)離散Hopfield 神經(jīng)網(wǎng)絡(luò)X(3)=(x1, x2, x3)X(3)=(1, 1, -1)x1(4)=sgn11+2(-1) -5=sgn4=1X

12、(4)=(1, 1, -1)離散Hopfield 神經(jīng)網(wǎng)絡(luò)X(4)=(x1, x2, x3)X(4)=(1, 1, -1)x2(5)=sgn11+2(-1) -5=sgn4=1X(5)=(1, 1, -1)離散Hopfield 神經(jīng)網(wǎng)絡(luò)X(5)=(x1, x2, x3)X(5)=(1, 1, -1)x3(6)=sgn21+(-3)1 -3=sgn-4=-1X(6)=(1, 1, -1)離散Hopfield 神經(jīng)網(wǎng)絡(luò)能量函數(shù)(Lyapunov function)因Hopfield并無(wú)訓(xùn)練目標(biāo)值，因此無(wú)法以MSE、RMSE或誤判率來(lái)衡量網(wǎng)絡(luò)誤差大小因此，以能量函數(shù)進(jìn)行誤差的衡量2022/7/223

13、4離散Hopfield 網(wǎng)絡(luò)的能量函數(shù)能量函數(shù)(Lyapunov function)用以判斷是否會(huì)收斂能量函數(shù)趨近于0，表示會(huì)收斂2022/7/2235離散Hopfield 網(wǎng)絡(luò)的能量函數(shù)簡(jiǎn)化能量函數(shù)當(dāng)各處理單元的狀態(tài)變量值所構(gòu)成向量與訓(xùn)練范例特征向量之一相似或相同時(shí)，能量函數(shù)傾向較低的值2022/7/2236離散Hopfield 網(wǎng)絡(luò)的能量函數(shù)離散型Hopfield網(wǎng)絡(luò)的能量函數(shù)網(wǎng)絡(luò)中任意一個(gè)神經(jīng)元 的能量為2022/7/2237離散Hopfield 網(wǎng)絡(luò)的能量函數(shù)穩(wěn)定狀態(tài)若網(wǎng)絡(luò)從某一時(shí)刻以后，狀態(tài)不再發(fā)生變化，則稱網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)網(wǎng)絡(luò)為對(duì)稱連接，即；神經(jīng)元自身無(wú)連接能量函數(shù)在網(wǎng)絡(luò)運(yùn)行中不斷

14、降低，最后達(dá)到穩(wěn)定2022/7/2238離散Hopfield 網(wǎng)絡(luò)的能量函數(shù)網(wǎng)絡(luò)中神經(jīng)元能量函數(shù)變化量2022/7/2239 Hopfield網(wǎng)絡(luò)狀態(tài)向著能量函數(shù)減小的方向演化。由于能量函數(shù)有界，所以系統(tǒng)必然會(huì)趨于穩(wěn)定狀態(tài) 。離散Hopfield 網(wǎng)絡(luò)的能量函數(shù)離散型Hopfield網(wǎng)絡(luò)權(quán)值設(shè)計(jì)設(shè)計(jì)原則： 為保證異步方式工作時(shí)網(wǎng)絡(luò)收斂，權(quán)矩陣應(yīng)為對(duì)稱陣； 為保證同步方式工作時(shí)網(wǎng)絡(luò)收斂，權(quán)矩陣應(yīng)為非負(fù)定對(duì)稱陣； 保證給定的樣本是網(wǎng)絡(luò)的吸引子，并且要有盡可能大的吸引域。 離散型Hopfield網(wǎng)絡(luò)權(quán)值設(shè)計(jì)外積法當(dāng)所需要的吸引子較多時(shí)，可采用Hebb規(guī)則的外積法。 設(shè)給定m個(gè)要記憶樣本 設(shè)樣本兩兩正

15、交，且nm，則權(quán)值矩陣 為記憶樣本的外積和為例：一個(gè)3個(gè)節(jié)點(diǎn)離散型Hopfield神經(jīng)網(wǎng)絡(luò)的3個(gè)學(xué)習(xí)模式為X 1=(-1, -1, -1)，X 2=(-1, -1, -1)， X 3=(-1, -1, -1)，試計(jì)算其連接矩陣并驗(yàn)證其聯(lián)想記憶能力 。離散型Hopfield網(wǎng)絡(luò)權(quán)值設(shè)計(jì)2022/7/2243離散型Hopfield網(wǎng)絡(luò)權(quán)值設(shè)計(jì)2022/7/22441-1-3離散型Hopfield網(wǎng)絡(luò)權(quán)值設(shè)計(jì)定理：若DHNN網(wǎng)絡(luò)的規(guī)模為n，且權(quán)矩陣對(duì)角元素為0，則該網(wǎng)絡(luò)的信息容量上界為n。 定理：若m個(gè)記憶模式aj=(a1,an), j =1,m， 兩兩正交，nm，且權(quán)矩陣W由外積法得到，則m個(gè)模式

16、都是網(wǎng)絡(luò)(W,0)的吸引子。 Hopfield的統(tǒng)計(jì)實(shí)驗(yàn)結(jié)論：DHNN的記憶容量為0.13n0.15n。DHNN的存儲(chǔ)容量 DHNN的存儲(chǔ)容量 連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)CHNN是在DHNN的基礎(chǔ)上提出的，它的原理和DHNN相似。由于CHNN是以模擬量作為網(wǎng)絡(luò)的輸入輸出量，各神經(jīng)元采用并行方式工作，所以它在信息處理的并行性、聯(lián)想性、實(shí)時(shí)性、分布存儲(chǔ)、協(xié)同性等方面比DHNN更接近于生物神經(jīng)網(wǎng)絡(luò)。連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)模型連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)連續(xù)Hopfield 網(wǎng)絡(luò)能量函數(shù)令整理得連續(xù)Hopfield 網(wǎng)絡(luò)能量函數(shù)若令電導(dǎo)(electrical co

17、nductance) 是表示一個(gè)物體或電路，從某一點(diǎn)到另外一點(diǎn)，傳輸電流能力強(qiáng)弱的一種測(cè)量值，與物體的電導(dǎo)率和幾何形狀和尺寸有關(guān)。連續(xù)Hopfield 網(wǎng)絡(luò)能量函數(shù)若令則連續(xù)Hopfield 網(wǎng)絡(luò)能量函數(shù)連續(xù)Hopfield 網(wǎng)絡(luò)能量函數(shù)連續(xù)Hopfield 網(wǎng)絡(luò)能量函數(shù)穩(wěn)定性分析連續(xù)Hopfield 網(wǎng)絡(luò)能量函數(shù)穩(wěn)定性分析連續(xù)Hopfield 網(wǎng)絡(luò)能量函數(shù)穩(wěn)定性分析E是李雅譜諾夫函數(shù)(Lyapunov)，f(x)為sigmoid函數(shù).我們對(duì)sigmoid函數(shù)做個(gè)小的修改，函數(shù)特性不變連續(xù)Hopfield 網(wǎng)絡(luò)能量函數(shù) 的反函數(shù)可以寫(xiě)作 能量函數(shù)的最后一項(xiàng)可以寫(xiě)為連續(xù)Hopfield 網(wǎng)絡(luò)能量

18、函數(shù)當(dāng) 很大時(shí)，最后一項(xiàng)可以忽略不計(jì) 因此能量函數(shù)可以寫(xiě)作 連續(xù)Hopfield 網(wǎng)絡(luò)能量函數(shù)連續(xù)Hopfield 網(wǎng)絡(luò)能量函數(shù)CHNN的能量函數(shù)不是物理意義上的能量函數(shù)，而是在表達(dá)形式上與物理意義的能量函數(shù)一致，表征網(wǎng)絡(luò)狀態(tài)的變化趨勢(shì)。定理：若作用函數(shù) 是單調(diào)遞增且連續(xù)的，則能量函數(shù)E是單調(diào)遞減 且有界的。連續(xù)Hopfield 網(wǎng)絡(luò)能量函數(shù)CHNN用非線性微分方程描述，網(wǎng)絡(luò)的穩(wěn)定性通過(guò)構(gòu)造其能量函數(shù)（又稱李雅譜諾夫函數(shù)），并用李雅譜諾夫第二穩(wěn)定性定理進(jìn)行判斷。(1)李雅譜諾夫函數(shù)并不唯一；(2)若找不到網(wǎng)絡(luò)的李雅譜諾夫函數(shù)，不能證明網(wǎng)絡(luò)不穩(wěn)定；(3)目前沒(méi)有統(tǒng)一的找李雅譜諾夫函數(shù)的方法 (4

19、)用能量函數(shù)的方法研究網(wǎng)絡(luò)的穩(wěn)定性，在數(shù)學(xué)上欠嚴(yán)謹(jǐn)。 連續(xù)Hopfield 網(wǎng)絡(luò)能量函數(shù)如果把一個(gè)最優(yōu)化問(wèn)題的目標(biāo)函數(shù)轉(zhuǎn)換成網(wǎng)絡(luò)的能量函數(shù)，把問(wèn)題的變量對(duì)應(yīng)于網(wǎng)絡(luò)的狀態(tài)，那么Hopfield神經(jīng)網(wǎng)絡(luò)就能夠用于解決優(yōu)化組合問(wèn)題。應(yīng)用Hopfield神經(jīng)網(wǎng)絡(luò)來(lái)解決優(yōu)化計(jì)算問(wèn)題的一般步驟為：(1) 分析問(wèn)題：網(wǎng)絡(luò)輸出與問(wèn)題的解相對(duì)應(yīng)；(2) 構(gòu)造網(wǎng)絡(luò)能量函數(shù)：使其最小值對(duì)應(yīng)問(wèn)題最佳解(3) 設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)：由能量函數(shù)和網(wǎng)絡(luò)穩(wěn)定條件設(shè)計(jì)網(wǎng)絡(luò)參數(shù)，得到動(dòng)力學(xué)方程；(4) 硬件實(shí)現(xiàn)或軟件模擬。連續(xù)Hopfield 網(wǎng)絡(luò)應(yīng)用Traveling Salesman Problem一個(gè)旅行推銷(xiāo)員要到N個(gè)城市做生意，

20、試找出一條從某城市出發(fā)，連貫這些城市，又回到原出發(fā)城市的最短路徑（每個(gè)城市只能走一次）ABCDEFABCDEFABCDEFTraveling Salesman Problem不考慮方向性和周期性，在給定n的條件下，可能存在的閉合路徑數(shù)目為1/2(n-1)!。隨著n的增大，計(jì)算量急劇增大，會(huì)發(fā)生所謂的“組合爆炸”問(wèn)題。連續(xù)Hopfield 網(wǎng)絡(luò)應(yīng)用城市數(shù)路徑數(shù)城市數(shù)路徑數(shù)31121.995810743132.3950108512143.1135109660154.358910107360166.5384101182520171.04611013920160181.7784101410181440

21、193.20121015111814400206.08231016連續(xù)Hopfield 網(wǎng)絡(luò)應(yīng)用vxiv：狀態(tài)變量x：城市i：拜訪的順序 次序城市1234A0100B1000C0001D0010表示城市x是推銷(xiāo)員所到的第 i 站表示城市x不是推銷(xiāo)員所到的第 i 站 狀態(tài)矩陣連續(xù)Hopfield 網(wǎng)絡(luò)應(yīng)用狀態(tài)要求設(shè)計(jì)限制每個(gè)城市只去一次每次只去一個(gè)城市N個(gè)城市都要到ABCDEF起始點(diǎn)終點(diǎn)找出一條從某城市出發(fā)，連貫 這些城市，又回到原出發(fā)點(diǎn)的 最短路徑連續(xù)Hopfield 網(wǎng)絡(luò)應(yīng)用狀態(tài)表現(xiàn)對(duì)于n個(gè)城市的旅行推銷(xiāo)員的一個(gè)解答可用n2個(gè)神經(jīng)元的狀態(tài)變量來(lái)代表狀態(tài)變量的排列矩陣元素假設(shè)有四個(gè)城市 (其神

22、經(jīng)元連結(jié) 方式，舉右上角 神經(jīng)元為例)0100100000010010連續(xù)Hopfield 網(wǎng)絡(luò)應(yīng)用狀態(tài)函數(shù)(限制函數(shù))(1)每個(gè)城市只能經(jīng)過(guò)一次，因此不會(huì)有第 i 站等于第 j 站的情形(2)每個(gè)城市只能經(jīng)過(guò)一次，因此第 i 站的城市不可能會(huì)重復(fù)(3)每個(gè)城市都要到過(guò)一次(4)城市最短總距離設(shè)計(jì)連續(xù)Hopfield 網(wǎng)絡(luò)應(yīng)用綜合上述四式，設(shè)計(jì)以下能量函數(shù)連續(xù)Hopfield 網(wǎng)絡(luò)應(yīng)用每個(gè)狀態(tài)的微分方程為輸入輸出函數(shù)為連續(xù)Hopfield 網(wǎng)絡(luò)應(yīng)用網(wǎng)絡(luò)初始連接權(quán)值為連續(xù)Hopfield 網(wǎng)絡(luò)應(yīng)用權(quán)重值矩陣連續(xù)Hopfield 網(wǎng)絡(luò)應(yīng)用連續(xù)Hopfield 網(wǎng)絡(luò)應(yīng)用連續(xù)Hopfield 網(wǎng)絡(luò)應(yīng)用

23、 （1）網(wǎng)絡(luò)參數(shù)的選擇網(wǎng)絡(luò)參數(shù)A，B，C，D，u0等對(duì)網(wǎng)絡(luò)的變化相當(dāng)敏感，原則上不能隨意改變，Hopfield和Tank給出的參數(shù)值為：ABD500，C200，u00.02。 這種選擇是考慮了以下兩點(diǎn)后的折中： D值較小時(shí)，容易獲得合法路徑；D值較大時(shí)，可增加路徑長(zhǎng)度的權(quán)重，從而使合法路徑趨于最優(yōu)； u0是放大器的增益，太小時(shí)閾值函數(shù)接近于符號(hào)函數(shù)，不能獲得較好的解；太大時(shí)，S型閾值函數(shù)過(guò)于平坦，神經(jīng)元狀態(tài)不易于收斂到0和1，從而使獲得合法路徑的概率下降。連續(xù)Hopfield 網(wǎng)絡(luò)應(yīng)用除了以上兩點(diǎn)外，考慮網(wǎng)絡(luò)參數(shù)對(duì)收斂速度的影響。實(shí)際上選擇為ABD0.5C0.2，u00.02。這樣的選擇使能量

24、函數(shù)數(shù)量級(jí)差異減小，從而使能量的數(shù)值也減小。程序中是以E為收斂判據(jù)，因而這種選擇加快了程序收斂的速度。 （2）網(wǎng)絡(luò)初始狀態(tài)的選擇 對(duì)于網(wǎng)絡(luò)初始狀態(tài)u0的選擇問(wèn)題，常采用隨機(jī)擾動(dòng)的方法。即給初始值u0增加一個(gè)小的擾動(dòng)連續(xù)Hopfield 網(wǎng)絡(luò)應(yīng)用 (3)閾值函數(shù)的處理雙曲正切函數(shù)閾值函數(shù)的計(jì)算包括二次指數(shù)計(jì)算、二次除法計(jì)算、三次加法計(jì)算，運(yùn)算量很大，并且在每次迭代中都要調(diào)用N2次，這祥的運(yùn)算嚴(yán)重彤響了網(wǎng)絡(luò)的收斂速度。為此把該函數(shù)離散化，即在函數(shù)值變化敏感區(qū)域預(yù)先計(jì)算好足夠多的離散函數(shù)值，形成表格存入計(jì)算機(jī)。這樣在迭代過(guò)程中就無(wú)需經(jīng)常計(jì)算函數(shù)值，而代之以查表值(只需一次乘法和一次加法)，可大大提高計(jì)算速度。連續(xù)Hopfield 網(wǎng)絡(luò)應(yīng)用 (4)神經(jīng)元的狀態(tài)值需取為模擬量 由于在迭代過(guò)程中，城市位置的選取可能有很多種選擇，采用模擬值來(lái)處理單元的狀態(tài)是必然的。利用連續(xù)網(wǎng)絡(luò)的模擬特性進(jìn)行中間處理，可以在一次處理中同時(shí)考慮多條路徑。這樣可大量減少迭代次數(shù)，使計(jì)算具有一定的并行特征。連續(xù)Hopfield 網(wǎng)絡(luò)應(yīng)用用上述方法對(duì)10個(gè)城市的TSP做100次仿真試驗(yàn)，發(fā)現(xiàn)在10