人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第1頁(yè)2關(guān)鍵點(diǎn)介紹1.研究背景2.離散Hopfield神經(jīng)網(wǎng)絡(luò)3.連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)4.Hopfield網(wǎng)絡(luò)求解TSP問(wèn)題人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第2頁(yè)研究背景前幾章介紹神經(jīng)網(wǎng)絡(luò)模型屬于前向神經(jīng)網(wǎng)絡(luò)，從學(xué)習(xí)觀點(diǎn)上看，它們是強(qiáng)有力學(xué)習(xí)系統(tǒng)，結(jié)構(gòu)簡(jiǎn)單，易于編程。從系統(tǒng)觀點(diǎn)看，它們屬于一個(gè)靜態(tài)非線性映射，經(jīng)過(guò)簡(jiǎn)單非線性處理單元復(fù)合映射可取得復(fù)雜非線性處理能力，但它們因缺乏反饋，所以并不是一個(gè)強(qiáng)有力動(dòng)力學(xué)系統(tǒng)。2023/4/273人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第3頁(yè)研究背景Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上一個(gè)主要里程碑。由美國(guó)加州理工學(xué)院物理學(xué)家J.Hopfield教授于1982年提出，是一個(gè)單層反饋神經(jīng)網(wǎng)絡(luò)。2023/4/274人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第4頁(yè)研究背景1985年，J.J.Hopfield和D.W.Tank建立了相互連接型神經(jīng)網(wǎng)絡(luò)模型，并用它成功地探討了旅行商問(wèn)題(TSP)求解方法。2023/4/275人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第5頁(yè)研究背景Hopfield模型屬于反饋型神經(jīng)網(wǎng)絡(luò)，從計(jì)算角度上講，它含有很強(qiáng)計(jì)算能力。這么系統(tǒng)著重關(guān)心是系統(tǒng)穩(wěn)定性問(wèn)題。穩(wěn)定性是這類含有聯(lián)想記憶功效神經(jīng)網(wǎng)絡(luò)模型關(guān)鍵，學(xué)習(xí)記憶過(guò)程就是系統(tǒng)向穩(wěn)定狀態(tài)發(fā)展過(guò)程。Hopfield網(wǎng)絡(luò)可用于處理聯(lián)想記憶和約束優(yōu)化問(wèn)題求解。2023/4/276人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第6頁(yè)研究背景反饋型神經(jīng)網(wǎng)絡(luò)作為非線性動(dòng)力學(xué)系統(tǒng)，可表現(xiàn)出豐富多樣動(dòng)態(tài)特征，如穩(wěn)定性、極限環(huán)、奇怪吸引子(混沌)等。這些特征是神經(jīng)網(wǎng)絡(luò)引發(fā)研究人員極大興趣原因之一。研究表明，由簡(jiǎn)單非線性神經(jīng)元互連而成反饋動(dòng)力學(xué)神經(jīng)網(wǎng)絡(luò)系統(tǒng)含有兩個(gè)主要特征：1.系統(tǒng)有若干個(gè)穩(wěn)定狀態(tài)，假如從某一個(gè)初始狀態(tài)開始運(yùn)動(dòng)，系統(tǒng)總能夠進(jìn)入其中某一個(gè)穩(wěn)定狀態(tài)；2.系統(tǒng)穩(wěn)定狀態(tài)能夠經(jīng)過(guò)改變各個(gè)神經(jīng)元間連接權(quán)值而得到。人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第7頁(yè)研究背景Hopfield神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)與應(yīng)用關(guān)鍵是對(duì)其動(dòng)力學(xué)特征正確了解：網(wǎng)絡(luò)穩(wěn)定性是其主要性質(zhì)，而能量函數(shù)是判定網(wǎng)絡(luò)穩(wěn)定性基礎(chǔ)概念。人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第8頁(yè)Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)。2023/4/279人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第9頁(yè)2023/4/2710網(wǎng)絡(luò)模型表示法一離散Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖……12(狀態(tài)）(閾值）（連接權(quán)值）離散Hopfield神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第10頁(yè)2023/4/2711網(wǎng)絡(luò)模型表示法二離散Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)中每個(gè)神經(jīng)元輸出都與其它神經(jīng)元輸入相連人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第11頁(yè)2023/4/2712反饋網(wǎng)絡(luò)結(jié)構(gòu)(單層全反饋網(wǎng))人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第12頁(yè)反饋網(wǎng)絡(luò)特征網(wǎng)絡(luò)輸出不但依賴網(wǎng)絡(luò)參數(shù)和輸入，還是時(shí)間函數(shù)。對(duì)不一樣輸入和參數(shù)，網(wǎng)絡(luò)輸出（或狀態(tài)）可能出現(xiàn)以下幾個(gè)情況：發(fā)散：網(wǎng)絡(luò)狀態(tài)軌跡隨時(shí)間一直延伸到無(wú)窮遠(yuǎn)；混沌：網(wǎng)絡(luò)狀態(tài)隨時(shí)間推移不能穩(wěn)定，但又不發(fā)散，而是在某個(gè)確定范圍內(nèi)改變，狀態(tài)有沒(méi)有窮多個(gè)；振蕩：網(wǎng)絡(luò)狀態(tài)隨時(shí)間展現(xiàn)周期（環(huán)狀）改變，永遠(yuǎn)不會(huì)停頓；收斂：經(jīng)過(guò)一段時(shí)間后，網(wǎng)絡(luò)狀態(tài)停頓在一點(diǎn)上，不再改變，稱該點(diǎn)為網(wǎng)絡(luò)平衡點(diǎn)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第13頁(yè)反饋網(wǎng)絡(luò)特征平衡點(diǎn)可分為：漸近穩(wěn)定平衡點(diǎn)：在該平衡點(diǎn)周圍區(qū)域內(nèi)，從任意一初始點(diǎn)出發(fā)，當(dāng)初間趨向無(wú)窮時(shí)都收斂到這個(gè)點(diǎn)。不穩(wěn)定平衡點(diǎn)：在一些特定軌跡演化過(guò)程中，能夠使網(wǎng)絡(luò)到達(dá)該穩(wěn)定點(diǎn)，但對(duì)該點(diǎn)其它方向上任一個(gè)不論多么小區(qū)域，其軌跡在某個(gè)時(shí)刻以后總是偏離該點(diǎn)。網(wǎng)絡(luò)穩(wěn)定點(diǎn)解：網(wǎng)絡(luò)最終是穩(wěn)定到設(shè)計(jì)所要求平衡點(diǎn)上，而且平衡點(diǎn)又是漸近穩(wěn)定平衡點(diǎn)。網(wǎng)絡(luò)偽穩(wěn)定點(diǎn)：網(wǎng)絡(luò)最終是穩(wěn)定到一個(gè)穩(wěn)定平衡點(diǎn)上，但這個(gè)穩(wěn)定平衡點(diǎn)不是設(shè)計(jì)所要求解。人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第14頁(yè)反饋網(wǎng)絡(luò)作用反饋網(wǎng)絡(luò)是利用漸近穩(wěn)定平衡點(diǎn)來(lái)處理一些問(wèn)題聯(lián)想記憶：把漸近穩(wěn)定平衡點(diǎn)視為一個(gè)記憶，從初始點(diǎn)朝這個(gè)漸近穩(wěn)定平衡點(diǎn)流動(dòng)過(guò)程就是尋找該記憶過(guò)程。初始點(diǎn)可認(rèn)為是給定相關(guān)記憶個(gè)別信息，這時(shí)就是從個(gè)別信息去尋找全部信息聯(lián)想記憶過(guò)程。優(yōu)化計(jì)算：把漸近穩(wěn)定平衡點(diǎn)視為某能量函數(shù)極小點(diǎn)，從初始點(diǎn)抵達(dá)穩(wěn)定點(diǎn)，可看作是穩(wěn)定點(diǎn)把初始點(diǎn)吸引了過(guò)來(lái)，在初始點(diǎn)時(shí)，能量比較大，而吸引到穩(wěn)定點(diǎn)時(shí)能量比較小，漸近穩(wěn)定平衡點(diǎn)就能夠作為一個(gè)優(yōu)化目標(biāo)函數(shù)極小點(diǎn)。人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第15頁(yè)反饋網(wǎng)絡(luò)研究?jī)?nèi)容網(wǎng)絡(luò)穩(wěn)定性：即研究在什么條件下，網(wǎng)絡(luò)不會(huì)出現(xiàn)發(fā)散、振蕩和混沌現(xiàn)象。網(wǎng)絡(luò)穩(wěn)定點(diǎn)：非線性網(wǎng)絡(luò)可能有很多個(gè)穩(wěn)定點(diǎn)，怎樣設(shè)計(jì)權(quán)使其中一些穩(wěn)定點(diǎn)是所要求解。對(duì)于用作聯(lián)想記憶網(wǎng)絡(luò)，希望穩(wěn)定點(diǎn)都是一個(gè)記憶，那么記憶容量就與穩(wěn)定點(diǎn)數(shù)目相關(guān)，若要求記憶容量大，穩(wěn)定點(diǎn)數(shù)目也就要大。但穩(wěn)定點(diǎn)數(shù)目增加可能會(huì)引發(fā)吸引域降低，從而使其聯(lián)想功效減弱。對(duì)于用作優(yōu)化計(jì)算網(wǎng)絡(luò)，因?yàn)槟繕?biāo)函數(shù)往往要求只有一個(gè)全局最小，因而希望穩(wěn)定點(diǎn)(局部極小點(diǎn))越少越好。人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第16頁(yè)反饋網(wǎng)絡(luò)研究?jī)?nèi)容吸引域設(shè)計(jì)：希望解穩(wěn)定點(diǎn)有盡可能大吸引域人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第17頁(yè)2023/4/2718網(wǎng)絡(luò)模型表示法一離散Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖……12(狀態(tài)）(閾值）（連接權(quán)值）離散Hopfield神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第18頁(yè)2023/4/2719…

注：…或連接權(quán)閾值-1輸入輸出關(guān)系：離散Hopfield神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第19頁(yè)離散Hopfield神經(jīng)網(wǎng)絡(luò)激勵(lì)函數(shù)2023/4/2720人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第20頁(yè)離散Hopfield神經(jīng)網(wǎng)絡(luò)相關(guān)參數(shù)說(shuō)明任意神經(jīng)元i與j間突觸權(quán)值wij為，神經(jīng)元之間連接是對(duì)稱，神經(jīng)元本身無(wú)連接.每個(gè)神經(jīng)元都同其它神經(jīng)元相連,其輸出信號(hào)經(jīng)過(guò)其它神經(jīng)元又有可能反饋給自己設(shè)Hopfield網(wǎng)絡(luò)中有n個(gè)神經(jīng)元，其中任意神經(jīng)元輸入用xi(t)表示，輸出xi(t+1)用表示，它們都是時(shí)間函數(shù)，其中xi(t)也稱為神經(jīng)元在時(shí)刻t狀態(tài)。人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第21頁(yè)離散Hopfield神經(jīng)網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)狀態(tài)離散型Hopfield網(wǎng)絡(luò)狀態(tài)由n個(gè)神經(jīng)元狀態(tài)集合組成。所以，在任何一個(gè)給定時(shí)刻t，離散型Hopfield網(wǎng)絡(luò)狀態(tài)能夠表示為

2023/4/2722人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第22頁(yè)離散Hopfield神經(jīng)網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)運(yùn)行規(guī)則(1)串行(異步)工作方式

在任—時(shí)刻，只有某—神經(jīng)元(隨機(jī)或確定選擇)依上式改變，而其它神經(jīng)元狀態(tài)不變。(2)并行(同時(shí))工作方式

在任一時(shí)刻，個(gè)別神經(jīng)元或全部神經(jīng)元狀態(tài)同時(shí)改變。2023/4/2723人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第23頁(yè)工作方式異步（串行）方式:同時(shí)（并行）方式:離散Hopfield神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第24頁(yè)串行(異步)工作方式運(yùn)行步驟第一步對(duì)網(wǎng)絡(luò)進(jìn)行初始化；第二步從網(wǎng)絡(luò)中隨機(jī)選取一個(gè)神經(jīng)元i；第三步求出該神經(jīng)元i輸出；第四步求出該神經(jīng)元經(jīng)激活函數(shù)處理后輸出，此時(shí)網(wǎng)絡(luò)中其它神經(jīng)元輸出保持不變；第五步判斷網(wǎng)絡(luò)是否到達(dá)穩(wěn)定狀態(tài)，若到達(dá)穩(wěn)定狀態(tài)或滿足給定條件則結(jié)束；不然轉(zhuǎn)到第二步繼續(xù)運(yùn)行。2023/4/2725離散Hopfield神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第25頁(yè)例：一個(gè)3個(gè)節(jié)點(diǎn)離散型Hopfield神經(jīng)網(wǎng)絡(luò)初始狀態(tài)X(0)=(-1,-1,-1)，網(wǎng)絡(luò)連接權(quán)值w和各個(gè)節(jié)點(diǎn)閾值θ分別以下，試求解網(wǎng)絡(luò)穩(wěn)定狀態(tài)。2023/4/2726離散Hopfield神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第26頁(yè)2023/4/2727異步（串行）方式:離散Hopfield神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第27頁(yè)X(0)=(x1,x2,x3)X(0)=(-1,-1,-1)x1(1)=sgn[1×(-1)+2×(-1)-(-5)]=sgn[2]=1X(1)=(1,-1,-1)離散Hopfield神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第28頁(yè)X(1)=(x1,x2,x3)X(1)=(1,-1,-1)x2(2)=sgn[1×1+(-3)×(-1)-(0)]=sgn[4]=1X(2)=(1,1,-1)離散Hopfield神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第29頁(yè)X(2)=(x1,x2,x3)X(2)=(1,1,-1)x3(3)=sgn[2×1+(-3)×1-3]=sgn[-4]=-1X(3)=(1,1,-1)離散Hopfield神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第30頁(yè)X(3)=(x1,x2,x3)X(3)=(1,1,-1)x1(4)=sgn[1×1+2×(-1)-5]=sgn[4]=1X(4)=(1,1,-1)離散Hopfield神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第31頁(yè)X(4)=(x1,x2,x3)X(4)=(1,1,-1)x2(5)=sgn[1×1+2×(-1)-5]=sgn[4]=1X(5)=(1,1,-1)離散Hopfield神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第32頁(yè)X(5)=(x1,x2,x3)X(5)=(1,1,-1)x3(6)=sgn[2×1+(-3)×1-3]=sgn[-4]=-1X(6)=(1,1,-1)離散Hopfield神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第33頁(yè)能量函數(shù)(Lyapunovfunction)因Hopfield并無(wú)訓(xùn)練目標(biāo)值，所以無(wú)法以MSE、RMSE或誤判率來(lái)衡量網(wǎng)絡(luò)誤差大小所以，以能量函數(shù)進(jìn)行誤差衡量2023/4/2734離散Hopfield網(wǎng)絡(luò)能量函數(shù)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第34頁(yè)能量函數(shù)(Lyapunovfunction)用以判斷是否會(huì)收斂能量函數(shù)趨近于0，表示會(huì)收斂2023/4/2735離散Hopfield網(wǎng)絡(luò)能量函數(shù)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第35頁(yè)簡(jiǎn)化能量函數(shù)當(dāng)各處理單元狀態(tài)變量值所組成向量與訓(xùn)練范例特征向量之一相同或相同時(shí)，能量函數(shù)傾向較低值2023/4/2736離散Hopfield網(wǎng)絡(luò)能量函數(shù)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第36頁(yè)離散型Hopfield網(wǎng)絡(luò)能量函數(shù)網(wǎng)絡(luò)中任意一個(gè)神經(jīng)元能量為2023/4/2737離散Hopfield網(wǎng)絡(luò)能量函數(shù)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第37頁(yè)穩(wěn)定狀態(tài)若網(wǎng)絡(luò)從某一時(shí)刻以后，狀態(tài)不再發(fā)生改變，則稱網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)網(wǎng)絡(luò)為對(duì)稱連接，即；神經(jīng)元本身無(wú)連接能量函數(shù)在網(wǎng)絡(luò)運(yùn)行中不停降低，

最終到達(dá)穩(wěn)定2023/4/2738離散Hopfield網(wǎng)絡(luò)能量函數(shù)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第38頁(yè)網(wǎng)絡(luò)中神經(jīng)元能量函數(shù)改變量2023/4/2739Hopfield網(wǎng)絡(luò)狀態(tài)向著能量函數(shù)減小方向演化。因?yàn)槟芰亢瘮?shù)有界，所以系統(tǒng)必定會(huì)趨于穩(wěn)定狀態(tài)。離散Hopfield網(wǎng)絡(luò)能量函數(shù)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第39頁(yè)離散型Hopfield網(wǎng)絡(luò)權(quán)值設(shè)計(jì)設(shè)計(jì)標(biāo)準(zhǔn)：為確保異步方式工作時(shí)網(wǎng)絡(luò)收斂，權(quán)矩陣應(yīng)為對(duì)稱陣；為確保同時(shí)方式工作時(shí)網(wǎng)絡(luò)收斂，權(quán)矩陣應(yīng)為非負(fù)定對(duì)稱陣；確保給定樣本是網(wǎng)絡(luò)吸引子，而且要有盡可能大吸引域。人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第40頁(yè)離散型Hopfield網(wǎng)絡(luò)權(quán)值設(shè)計(jì)外積法當(dāng)所需要吸引子較多時(shí)，可采取Hebb規(guī)則外積法。設(shè)給定m個(gè)要記憶樣本

設(shè)樣本兩兩正交，且n>m，則權(quán)值矩陣為記憶樣本外積和為人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第41頁(yè)例：一個(gè)3個(gè)節(jié)點(diǎn)離散型Hopfield神經(jīng)網(wǎng)絡(luò)3個(gè)學(xué)習(xí)模式為X1=(-1,-1,-1)，X2=(-1,-1,-1)，X3=(-1,-1,-1)，試計(jì)算其連接矩陣并驗(yàn)證其聯(lián)想記憶能力。離散型Hopfield網(wǎng)絡(luò)權(quán)值設(shè)計(jì)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第42頁(yè)2023/4/2743離散型Hopfield網(wǎng)絡(luò)權(quán)值設(shè)計(jì)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第43頁(yè)2023/4/27441-1-3離散型Hopfield網(wǎng)絡(luò)權(quán)值設(shè)計(jì)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第44頁(yè)定理：若DHNN網(wǎng)絡(luò)規(guī)模為n，且權(quán)矩陣對(duì)角元素為0，則該網(wǎng)絡(luò)信息容量上界為n。定理：若m個(gè)記憶模式aj=(a1,…,an),j=1,…,m，兩兩正交，n>m，且權(quán)矩陣W由外積法得到，則m個(gè)模式都是網(wǎng)絡(luò)(W,0)吸引子。Hopfield統(tǒng)計(jì)試驗(yàn)結(jié)論：

DHNN記憶容量為0.13n～0.15n。DHNN存放容量人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第45頁(yè)DHNN存放容量人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第46頁(yè)連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)CHNN是在DHNN基礎(chǔ)上提出，它原理和DHNN相同。因?yàn)镃HNN是以模擬量作為網(wǎng)絡(luò)輸入輸出量，各神經(jīng)元采取并行方式工作，所以它在信息處理并行性、聯(lián)想性、實(shí)時(shí)性、分布存放、協(xié)同性等方面比DHNN更靠近于生物神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第47頁(yè)連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第48頁(yè)連續(xù)Hopfield網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第49頁(yè)連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第50頁(yè)連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)令整理得人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第51頁(yè)連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)若令電導(dǎo)

(electricalconductance)是表示一個(gè)物體或電路，從某一點(diǎn)到另外一點(diǎn)，傳輸電流能力強(qiáng)弱一個(gè)測(cè)量值，與物體電導(dǎo)率和幾何形狀和尺寸相關(guān)。人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第52頁(yè)連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)若令則人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第53頁(yè)連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第54頁(yè)連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第55頁(yè)連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)穩(wěn)定性分析

人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第56頁(yè)連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)穩(wěn)定性分析

人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第57頁(yè)連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)穩(wěn)定性分析

人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第58頁(yè)E是李雅譜諾夫函數(shù)(Lyapunov)，f(x)為sigmoid函數(shù).咱們對(duì)sigmoid函數(shù)做個(gè)小修改，函數(shù)特征不變連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第59頁(yè)反函數(shù)能夠?qū)懽髂芰亢瘮?shù)最終一項(xiàng)能夠?qū)憺檫B續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)當(dāng)很大時(shí)，最終一項(xiàng)能夠忽略不計(jì)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第60頁(yè)所以能量函數(shù)能夠?qū)懽?/p>

連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第61頁(yè)連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)CHNN能量函數(shù)不是物理意義上能量函數(shù)，而是在表示形式上與物理意義能量函數(shù)一致，表征網(wǎng)絡(luò)狀態(tài)改變趨勢(shì)。定理：若作用函數(shù)是單調(diào)遞增且連續(xù)，則能量函數(shù)E是單調(diào)遞減且有界。人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第62頁(yè)連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)CHNN用非線性微分方程描述，網(wǎng)絡(luò)穩(wěn)定性經(jīng)過(guò)結(jié)構(gòu)其能量函數(shù)（又稱李雅譜諾夫函數(shù)），并用李雅譜諾夫第二穩(wěn)定性定理進(jìn)行判斷。(1)李雅譜諾夫函數(shù)并不唯一；(2)若找不到網(wǎng)絡(luò)李雅譜諾夫函數(shù)，不能證實(shí)網(wǎng)絡(luò)不穩(wěn)定；(3)當(dāng)前沒(méi)有統(tǒng)一找李雅譜諾夫函數(shù)方法(4)用能量函數(shù)方法研究網(wǎng)絡(luò)穩(wěn)定性，在數(shù)學(xué)上欠嚴(yán)謹(jǐn)。

人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第63頁(yè)連續(xù)Hopfield網(wǎng)絡(luò)能量函數(shù)假如把一個(gè)最優(yōu)化問(wèn)題目標(biāo)函數(shù)轉(zhuǎn)換成網(wǎng)絡(luò)能量函數(shù)，把問(wèn)題變量對(duì)應(yīng)于網(wǎng)絡(luò)狀態(tài)，那么Hopfield神經(jīng)網(wǎng)絡(luò)就能夠用于處理優(yōu)化組合問(wèn)題。應(yīng)用Hopfield神經(jīng)網(wǎng)絡(luò)來(lái)處理優(yōu)化計(jì)算問(wèn)題普通步驟為：(1)分析問(wèn)題：網(wǎng)絡(luò)輸出與問(wèn)題解相對(duì)應(yīng)；(2)結(jié)構(gòu)網(wǎng)絡(luò)能量函數(shù)：使其最小值對(duì)應(yīng)問(wèn)題最正確解(3)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)：由能量函數(shù)和網(wǎng)絡(luò)穩(wěn)定條件設(shè)計(jì)網(wǎng)絡(luò)參數(shù)，得到動(dòng)力學(xué)方程；(4)硬件實(shí)現(xiàn)或軟件模擬。人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第64頁(yè)連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用TravelingSalesmanProblem一個(gè)旅行推銷員要到N個(gè)城市做生意，試找出一條從某城市出發(fā)，連貫這些城市，又回到原出發(fā)城市最短路徑（每個(gè)城市只能走一次）ABCDEFABCDEFABCDEF人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第65頁(yè)TravelingSalesmanProblem不考慮方向性和周期性，在給定n條件下，可能存在閉合路徑數(shù)目為1/2(n-1)!。伴隨n增大，計(jì)算量急劇增大，會(huì)發(fā)生所謂“組合爆炸”問(wèn)題。連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第66頁(yè)城市數(shù)路徑數(shù)城市數(shù)路徑數(shù)31121.9958×10743132.3950×108512143.1135×109660154.3589×10107360166.5384×101182520171.0461×101390181.7784×101410181440193.×1015111814400206.0823×1016連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第67頁(yè)vxiv：狀態(tài)變量x：城市i：造訪次序

次序城市1234A0100B1000C0001D0010表示城市x是推銷員所到第i站表示城市x不是推銷員所到第i站狀態(tài)矩陣連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第68頁(yè)狀態(tài)要求設(shè)計(jì)限制每個(gè)城市只去一次每次只去一個(gè)城市N個(gè)城市都要到ABCDEF起始點(diǎn)終點(diǎn)※找出一條從某城市出發(fā)，連貫這些城市，又回到原出發(fā)點(diǎn)最短路徑連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第69頁(yè)狀態(tài)表現(xiàn)對(duì)于n個(gè)城市旅行推銷員一個(gè)解答可用n2個(gè)神經(jīng)元狀態(tài)變量來(lái)代表狀態(tài)變量排列矩陣元素※假設(shè)有四個(gè)城市

(其神經(jīng)元連結(jié)方式，舉右上角神經(jīng)元為例)0100100000010010連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第70頁(yè)狀態(tài)函數(shù)(限制函數(shù))(1)每個(gè)城市只能經(jīng)過(guò)一次，所以不會(huì)有第i站等于第j站情形(2)每個(gè)城市只能經(jīng)過(guò)一次，所以第i

站城市不可能會(huì)重復(fù)(3)每個(gè)城市都要到過(guò)一次(4)城市最短總距離設(shè)計(jì)連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第71頁(yè)綜合上述四式，設(shè)計(jì)以下能量函數(shù)連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第72頁(yè)每個(gè)狀態(tài)微分方程為輸入輸出函數(shù)為連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第73頁(yè)網(wǎng)絡(luò)初始連接權(quán)值為連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第74頁(yè)權(quán)重值矩陣連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第75頁(yè)連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第76頁(yè)連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第77頁(yè)

（1）網(wǎng)絡(luò)參數(shù)選擇網(wǎng)絡(luò)參數(shù)A，B，C，D，u0等對(duì)網(wǎng)絡(luò)改變相當(dāng)敏感，標(biāo)準(zhǔn)上不能隨意改變，Hopfield和Tank給出參數(shù)值為：A＝B＝D＝500，C＝200，u0＝0.02。這種選擇是考慮了以下兩點(diǎn)后折中：①D值較小時(shí)，輕易取得正當(dāng)路徑；D值較大時(shí)，可增加路徑長(zhǎng)度權(quán)重，從而使正當(dāng)路徑趨于最優(yōu)；②u0是放大器增益，太小時(shí)閾值函數(shù)靠近于符號(hào)函數(shù)，不能取得很好解；太大時(shí)，S型閾值函數(shù)過(guò)于平坦，神經(jīng)元狀態(tài)不易于收斂到0和1，從而使取得正當(dāng)路徑概率下降。連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第78頁(yè)除了以上兩點(diǎn)外，考慮網(wǎng)絡(luò)參數(shù)對(duì)收斂速度影響。實(shí)際上選擇為A＝B＝D＝0.5．C＝0.2，u0＝0.02。這么選擇使能量函數(shù)數(shù)量級(jí)差異減小，從而使能量數(shù)值也減小。程序中是以?E為收斂判據(jù)，因而這種選擇加緊了程序收斂速度。（2）網(wǎng)絡(luò)初始狀態(tài)選擇對(duì)于網(wǎng)絡(luò)初始狀態(tài)u0選擇問(wèn)題，常采取隨機(jī)擾動(dòng)方法。即給初始值u0增加一個(gè)小擾動(dòng)δ連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第79頁(yè)(3)閾值函數(shù)處理雙曲正切函數(shù)閾值函數(shù)計(jì)算包含二次指數(shù)計(jì)算、二次除法計(jì)算、三次加法計(jì)算，運(yùn)算量很大，而且在每次迭代中都要調(diào)用N2次，這祥運(yùn)算嚴(yán)重彤響了網(wǎng)絡(luò)收斂速度。為此把該函數(shù)離散化，即在函數(shù)值改變敏感區(qū)域預(yù)先計(jì)算好足夠多離散函數(shù)值，形成表格存入計(jì)算機(jī)。這么在迭代過(guò)程中就無(wú)需經(jīng)常計(jì)算函數(shù)值，而代之以查表值(只需一次乘法和一次加法)，可大大提升計(jì)算速度。連續(xù)Hopfield網(wǎng)絡(luò)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)hopfield神經(jīng)網(wǎng)絡(luò)第80頁(yè)

(4)神經(jīng)元狀態(tài)值需取為模擬量因?yàn)樵诘^(guò)程中，城市位置選取可能有很各種選擇，采取模擬值來(lái)處理單元狀態(tài)是必定。利用連續(xù)網(wǎng)絡(luò)模擬特征進(jìn)行中間處理，能夠在一次處理中同時(shí)