hopfield神經(jīng)網(wǎng)絡(luò)及其應用教學課件PPT.ppt

Hopfield網(wǎng)絡(luò)及其應用,鄭洪英重慶大學信息安全系,2020/5/18,2,一、反饋網(wǎng)絡(luò)二、Hopfield網(wǎng)絡(luò)簡介三、DHNN網(wǎng)絡(luò)四、TSP問題求解五、內(nèi)容小結(jié),內(nèi)容安排,2020/5/18,3,1.1反饋網(wǎng)絡(luò)簡介1.2網(wǎng)絡(luò)穩(wěn)定性,一、反饋網(wǎng)絡(luò),2020/5/18,4,1.1反饋網(wǎng)絡(luò)簡介,反饋網(wǎng)絡(luò)(RecurrentNetwork)，又稱自聯(lián)想記憶網(wǎng)絡(luò)其目的是為了設(shè)計一個網(wǎng)絡(luò)，儲存一組平衡點，使得當給網(wǎng)絡(luò)一組初始值時，網(wǎng)絡(luò)通過自行運行而最終收斂到這個設(shè)計的平衡點上。反饋網(wǎng)絡(luò)能表現(xiàn)出非線性動力學系統(tǒng)動態(tài)特性網(wǎng)絡(luò)系統(tǒng)具有若干個穩(wěn)定狀態(tài)。當網(wǎng)絡(luò)從某一初始狀態(tài)開始運動，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個穩(wěn)定的平衡狀態(tài)；系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計網(wǎng)絡(luò)的權(quán)值而被存儲到網(wǎng)絡(luò)中,2020/5/18,5,前饋型與反饋型神經(jīng)網(wǎng)絡(luò)的比較,(1)前饋型神經(jīng)網(wǎng)絡(luò)只表達輸入輸出之間的映射關(guān)系，實現(xiàn)非線性映射；反饋型神經(jīng)網(wǎng)絡(luò)考慮輸入輸出之間在時間上的延遲，需要用動態(tài)方程來描述，反饋型神經(jīng)網(wǎng)絡(luò)是一個非線性動力學系統(tǒng)。(2)前饋型神經(jīng)網(wǎng)絡(luò)學習訓練的目的是快速收斂，一般用誤差函數(shù)來判定其收斂程度；反饋型神經(jīng)網(wǎng)絡(luò)的學習目的是快速尋找到穩(wěn)定點，一般用能量函數(shù)來判別是否趨于穩(wěn)定點。(3)兩者都有局部極小問題。,2020/5/18,6,1.1反饋網(wǎng)絡(luò)簡介,反饋網(wǎng)絡(luò)分類如果激活函數(shù)f()是一個二值型的函數(shù)，即aisgn(ni)，il,2,r，則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò)；如果f()為一個連續(xù)單調(diào)上升的有界函數(shù)，這類網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò),2020/5/18,7,該網(wǎng)絡(luò)為單層全反饋網(wǎng)絡(luò)，其中的每個神經(jīng)元的輸出都是與其他神經(jīng)元的輸入相連的。所以其輸入數(shù)目與輸出層神經(jīng)元的數(shù)目是相等的，有rs。,2020/5/18,8,2020/5/18,9,2020/5/18,10,1.2網(wǎng)絡(luò)穩(wěn)定性,狀態(tài)軌跡對于一個由r個神經(jīng)元組成的反饋網(wǎng)絡(luò)，在某一時刻t，分別用N(t)和A(t)來表示加權(quán)和矢量和輸出矢量。在下一時刻t+1，可得到N(t+1)，而N(t+1)又引起A(t+1)的變化，這種反饋演化的過程，使網(wǎng)絡(luò)狀態(tài)隨時間發(fā)生變化。在一個r維狀態(tài)空間上，可以用一條軌跡來描述狀態(tài)變化情況。從初始值A(chǔ)(t0)出發(fā)，A(t0+t)A(t0+2t)A(t0+mt)，這些在空間上的點組成的確定軌跡，是演化過程中所有可能狀態(tài)的集合，我們稱這個狀態(tài)空間為相空間,2020/5/18,11,1.2網(wǎng)絡(luò)穩(wěn)定性,狀態(tài)軌跡離散與連續(xù)軌跡在一個r維狀態(tài)空間上，可以用一條軌跡來描述狀態(tài)變化情況.,2020/5/18,12,1.2網(wǎng)絡(luò)穩(wěn)定性,狀態(tài)軌跡分類：對于不同的連接權(quán)值wij和輸入Pj(i,j=1,2,r)，反饋網(wǎng)絡(luò)可能出現(xiàn)不同性質(zhì)的狀態(tài)軌跡軌跡為穩(wěn)定點軌跡為極限環(huán)軌跡為混沌現(xiàn)象軌跡發(fā)散,2020/5/18,13,1.2網(wǎng)絡(luò)穩(wěn)定性,穩(wěn)定軌跡反饋網(wǎng)絡(luò)從任一初始態(tài)P(0)開始運動，若存在某一有限時刻t，從t以后的網(wǎng)絡(luò)狀態(tài)不再發(fā)生變化（P(t+t)=P(t)，t0）則稱網(wǎng)絡(luò)是穩(wěn)定的處于穩(wěn)定時的網(wǎng)絡(luò)狀態(tài)叫做穩(wěn)定狀態(tài)，又稱為定吸引子,2020/5/18,14,1.2網(wǎng)絡(luò)穩(wěn)定性,穩(wěn)定點分類在一個反饋網(wǎng)絡(luò)中，存在很多穩(wěn)定點穩(wěn)定點收斂域漸近穩(wěn)定點：在穩(wěn)定點Ae周圍的A()區(qū)域內(nèi)，從任一個初始狀態(tài)A(t0)出發(fā)，當t時都收斂于Ae，則稱Ae為漸近穩(wěn)定點不穩(wěn)定平衡點Aen：在某些特定的軌跡演化過程中，網(wǎng)絡(luò)能夠到達穩(wěn)定點Aen，但對其它方向上任意小的區(qū)域A()，不管A()取多么小，其軌跡在時間t以后總是偏離Aen；期望解網(wǎng)絡(luò)的解：如果網(wǎng)絡(luò)最后穩(wěn)定到設(shè)計人員期望的穩(wěn)定點，且該穩(wěn)定點又是漸近穩(wěn)定點，那么這個點稱為網(wǎng)絡(luò)的解；網(wǎng)絡(luò)的偽穩(wěn)定點：網(wǎng)絡(luò)最終穩(wěn)定到一個漸近穩(wěn)定點上，但這個穩(wěn)定點不是網(wǎng)絡(luò)設(shè)計所要求的解,2020/5/18,15,1.2網(wǎng)絡(luò)穩(wěn)定性,狀態(tài)軌跡為極限環(huán)在某些參數(shù)的情況下，狀態(tài)A(t)的軌跡是一個圓，或一個環(huán)狀態(tài)A(t)沿著環(huán)重復旋轉(zhuǎn)，永不停止，此時的輸出A(t)也出現(xiàn)周期變化（即出現(xiàn)振蕩）如果在r種狀態(tài)下循環(huán)變化，稱其極限環(huán)為r對于離散反饋網(wǎng)絡(luò)，軌跡變化可能在兩種狀態(tài)下來回跳動，其極限環(huán)為2,2020/5/18,16,1.2網(wǎng)絡(luò)穩(wěn)定性,狀態(tài)軌跡為混沌如果狀態(tài)A(t)的軌跡在某個確定的范圍內(nèi)運動，但既不重復，又不能停下來狀態(tài)變化為無窮多個，而軌跡也不能發(fā)散到無窮遠，這種現(xiàn)象稱為混沌(chaos)出現(xiàn)混沌的情況下，系統(tǒng)輸出變化為無窮多個，并且隨時間推移不能趨向穩(wěn)定，但又不發(fā)散,2020/5/18,17,1.2網(wǎng)絡(luò)穩(wěn)定性,狀態(tài)軌跡發(fā)散狀態(tài)A(t)的軌跡隨時間一直延伸到無窮遠。此時狀態(tài)發(fā)散，系統(tǒng)的輸出也發(fā)散一般非線性人工神經(jīng)網(wǎng)絡(luò)中發(fā)散現(xiàn)象是不會發(fā)生的.,2020/5/18,18,1.2網(wǎng)絡(luò)穩(wěn)定性,目前的反饋神經(jīng)網(wǎng)絡(luò)是利用穩(wěn)定的特定軌跡來解決某些問題如果視系統(tǒng)的穩(wěn)定點為一個記憶，則從初始狀態(tài)朝此穩(wěn)定點移動的過程即為尋找該記憶的過程狀態(tài)的初始值可以認為是給定的有關(guān)該記憶的部分信息，狀態(tài)A(t)移動的過程，是從部分信息去尋找全部信息，這就是聯(lián)想記憶的過程將系統(tǒng)的穩(wěn)定點考慮為一個能量函數(shù)的極小點。在狀態(tài)空間中，從初始狀態(tài)A(t0)，最后到達A*。若A*為穩(wěn)定點，則可以看作是A*把A(t0)吸引了過去，在A(t0)時能量比較大，而吸引到A*時能量已為極小了,2020/5/18,19,1.2網(wǎng)絡(luò)穩(wěn)定性,考慮具體應用，可以將能量的極小點作為一個優(yōu)化目標函數(shù)的極小點，把狀態(tài)變化的過程看成是優(yōu)化某一個目標函數(shù)的過程因此反饋網(wǎng)絡(luò)的狀態(tài)移動的過程實際上是一種計算聯(lián)想記憶或優(yōu)化的過程。它的解并不需要真的去計算，只需要形成一類反饋神經(jīng)網(wǎng)絡(luò)，適當?shù)卦O(shè)計網(wǎng)絡(luò)權(quán)值wij，使其初始輸入A(t0)向穩(wěn)定吸引子狀態(tài)移動就可以達到目的,2020/5/18,20,二、Hopfield網(wǎng)絡(luò)簡介,2.1網(wǎng)絡(luò)模型2.2DHNN2.3CHNN2.4聯(lián)想記憶與優(yōu)化計算,2020/5/18,21,概述,Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個重要的里程碑。由美國加州理工學院物理學家J.J.Hopfield教授于1982年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。,Hopfield網(wǎng)絡(luò)是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)定狀態(tài)的分析比前向神經(jīng)網(wǎng)絡(luò)要復雜得多。1984年，Hopfield設(shè)計并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了旅行商(TSP)計算難題(優(yōu)化問題)。,Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)。,Hello,ImJohnHopfield,2020/5/18,22,反饋神經(jīng)網(wǎng)絡(luò)由于其輸出端有反饋到其輸入端；所以，Hopfield網(wǎng)絡(luò)在輸入的激勵下，會產(chǎn)生不斷的狀態(tài)變化。當有輸入之后，可以求出Hopfield的輸出，這個輸出反饋到輸入從而產(chǎn)生新的輸出，這個反饋過程一直進行下去。如果Hopfield網(wǎng)絡(luò)是一個能收斂的穩(wěn)定網(wǎng)絡(luò)，則這個反饋與迭代的計算過程所產(chǎn)生的變化越來越小，一旦到達了穩(wěn)定平衡狀態(tài)；那么Hopfield網(wǎng)絡(luò)就會輸出一個穩(wěn)定的恒值。,2020/5/18,23,2.1網(wǎng)絡(luò)模型,分類離散Hopfield網(wǎng)絡(luò)（DHNN）連續(xù)Hopfield網(wǎng)絡(luò)（CHNN）,DHNN中的激活函數(shù)CHNN中的激活函數(shù),2020/5/18,24,2.1網(wǎng)絡(luò)模型,2020/5/18,25,2.2DHNN,Hopfield最早提出的網(wǎng)絡(luò)是二值神經(jīng)網(wǎng)絡(luò)，神經(jīng)元的輸出只取1和0這兩個值，所以，也稱離散Hopfield神經(jīng)網(wǎng)絡(luò)。在離散Hopfield網(wǎng)絡(luò)中，所采用的神經(jīng)元是二值神經(jīng)元；故而，所輸出的離散值1和0分別表示神經(jīng)元處于激活和抑制狀態(tài)。,2020/5/18,26,2.2DHNN,對于一個離散的Hopfield網(wǎng)絡(luò)，其網(wǎng)絡(luò)狀態(tài)是輸出神經(jīng)元信息的集合。對于一個輸出層是n個神經(jīng)元的網(wǎng)絡(luò)，則其t時刻的狀態(tài)為一個n維向量：Aa1，a2，anT故而，網(wǎng)絡(luò)狀態(tài)有2n個狀態(tài)；因為Aj(t)(j1n)可以取值為1或0；故n維向量A(t)有2n種狀態(tài)，即是網(wǎng)絡(luò)狀態(tài)。,2020/5/18,27,2.2DHNN,對于三個神經(jīng)元的離散Hopfield網(wǎng)絡(luò)，它的輸出層就是三位二進制數(shù)；每一個三位二進制數(shù)就是一種網(wǎng)絡(luò)狀態(tài)，從而共有8個網(wǎng)絡(luò)狀態(tài)。這些網(wǎng)絡(luò)狀態(tài)如圖所示。在圖中，立方體的每一個頂角表示一種網(wǎng)絡(luò)狀態(tài)。同理，對于n個神經(jīng)元的輸出層，它有2n個網(wǎng)絡(luò)狀態(tài)，也和一個n維超立方體的頂角相對應。,2020/5/18,28,2.2DHNN,如果Hopfield網(wǎng)絡(luò)是一個穩(wěn)定網(wǎng)絡(luò)，那么在網(wǎng)絡(luò)的輸入端加入一個輸入向量，則網(wǎng)絡(luò)的狀態(tài)會產(chǎn)生變化，也就是從超立方體的一個頂角轉(zhuǎn)移向另一個頂角，并且最終穩(wěn)定于一個特定的頂角。,2020/5/18,29,2.2DHNN,DHNN取b0，wii0權(quán)矩陣中有wijwji,2020/5/18,30,2.2DHNN,DHNN網(wǎng)絡(luò)結(jié)構(gòu)可以用一個加權(quán)向量圖表示,2020/5/18,31,穩(wěn)定狀態(tài)若網(wǎng)絡(luò)從某一時刻以后，狀態(tài)不再發(fā)生變化，則稱網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)網(wǎng)絡(luò)為對稱連接，即；神經(jīng)元自身無連接能量函數(shù)在網(wǎng)絡(luò)運行中不斷降低，最后達到穩(wěn)定,2020/5/18,32,網(wǎng)絡(luò)中神經(jīng)元能量函數(shù)變化量,Hopfield網(wǎng)絡(luò)狀態(tài)向著能量函數(shù)減小的方向演化。由于能量函數(shù)有界，所以系統(tǒng)必然會趨于穩(wěn)定狀態(tài)。,2020/5/18,33,2.3CHNN,將霍普菲爾德網(wǎng)絡(luò)推廣到輸入和輸出都取連續(xù)數(shù)值的情形網(wǎng)絡(luò)的基本結(jié)構(gòu)不變，狀態(tài)輸出方程形式上也相同。則網(wǎng)絡(luò)的狀態(tài)轉(zhuǎn)移方程可寫為,2020/5/18,34,2.3CHNN,神經(jīng)元的激活函數(shù)f為S型的函數(shù)(或線性飽和函數(shù)）,2020/5/18,35,2.3CHNN,神經(jīng)元的激活函數(shù)f為S型的函數(shù)(或線性飽和函數(shù)）,2020/5/18,36,2.4聯(lián)想記憶與優(yōu)化計算,聯(lián)想記憶問題穩(wěn)定狀態(tài)已知并且通過學習和設(shè)計算法尋求合適的權(quán)值矩陣將穩(wěn)定狀態(tài)存儲到網(wǎng)絡(luò)中優(yōu)化計算權(quán)值矩陣W已知，目的為尋找具有最小能量E的穩(wěn)定狀態(tài)主要工作為設(shè)計相應的W和能量函數(shù)公式,2020/5/18,37,三、DHNN,3.1神經(jīng)元狀態(tài)更新方式3.2網(wǎng)絡(luò)學習3.3網(wǎng)絡(luò)記憶容量3.4權(quán)值設(shè)計,2020/5/18,38,3.1狀態(tài)更新,由-1變?yōu)?；由1變?yōu)?1；狀態(tài)保持不變串行異步方式任意時刻隨機地或確定性地選擇網(wǎng)絡(luò)中的一個神經(jīng)元進行狀態(tài)更新，而其余神經(jīng)元的狀態(tài)保持不變,2020/5/18,39,3.1狀態(tài)更新,串行異步方式任一時刻，網(wǎng)絡(luò)中只有一個神經(jīng)元被選擇進行狀態(tài)更新或保持，所以異步狀態(tài)更新的網(wǎng)絡(luò)從某一初態(tài)開始需經(jīng)過多次更新狀態(tài)后才可以達到某種穩(wěn)態(tài)。實現(xiàn)上容易，每個神經(jīng)元有自己的狀態(tài)更新時刻，不需要同步機制；異步狀態(tài)更新更接近實際的生物神經(jīng)系統(tǒng)的表現(xiàn)并行同步方式任意時刻網(wǎng)絡(luò)中部分神經(jīng)元(比如同一層的神經(jīng)元)的狀態(tài)同時更新。如果任意時刻網(wǎng)絡(luò)中全部神經(jīng)元同時進行狀態(tài)更新，那么稱之為全并行同步方式,2020/5/18,40,3.2網(wǎng)絡(luò)學習,聯(lián)想記憶聯(lián)想記憶功能是DHNN的一個重要應用范圍。反饋網(wǎng)絡(luò)實現(xiàn)聯(lián)想記憶必須具備的兩個基本條件網(wǎng)絡(luò)能收斂到穩(wěn)定的平衡狀態(tài)，并以其作為樣本的記憶信息；具有回憶能力，能夠從某一殘缺的信息回憶起所屬的完整的記憶信息學習目的具有q個不同的輸入樣本組PrqP1,P2Pq通過學習方式調(diào)節(jié)計算有限的權(quán)值矩陣W以每一組輸入樣本Pk，k=1，2，q作為系統(tǒng)的初始值經(jīng)過網(wǎng)絡(luò)工作運行后，系統(tǒng)能收斂到各自輸入樣本矢量本身,2020/5/18,41,3.2網(wǎng)絡(luò)學習,DHNN中運用海布調(diào)節(jié)規(guī)則(hebb)海布法則是一種無指導的死記式學習算法當神經(jīng)元輸入與輸出節(jié)點的狀態(tài)相同(即同時興奮或抑制)時，從第j個到第i個神經(jīng)元之間的連接強度則增強，否則減弱當k1時，對于第i個神經(jīng)元，由海布學習規(guī)則可得網(wǎng)絡(luò)權(quán)值對輸入矢量的學習關(guān)系式為其中，0，i1，2，r；j=1，2，r。在實際學習規(guī)則的運用中，一般取1或1/r,2020/5/18,42,3.2網(wǎng)絡(luò)學習,當k由1增加到2，直至q時，是在原有己設(shè)計出的權(quán)值的基礎(chǔ)上，增加一個新量pjkpik，k2,q對網(wǎng)絡(luò)所有輸入樣本記憶權(quán)值的設(shè)計公式為其中，0，i1，2，r；j=1，2，r。在實際學習規(guī)則的運用中，一般取1或1/r,2020/5/18,43,3.2網(wǎng)絡(luò)學習,向量形式表示1時神經(jīng)網(wǎng)絡(luò)工具箱中采用海布公式求解網(wǎng)絡(luò)權(quán)矩陣變化的函數(shù)為learnh.m和learnhd.m。后者為帶有衰減學習速率的函數(shù)dW1earnh(P，A，lr)dWlearnhd(W，P，A，lr，dr)；對于簡單的情況，lr可以選擇1；對于復雜的應用，可取lr0.10.5，drlr3,2020/5/18,44,3.2網(wǎng)絡(luò)學習,簡單驗證q1，l求出的權(quán)值wij是否能夠保證aipi？對于第i個輸出節(jié)點，有,2020/5/18,45,3.3記憶容量,設(shè)計DHNN網(wǎng)絡(luò)的目的，是希望通過所設(shè)計的權(quán)值矩陣W儲存多個期望模式當網(wǎng)絡(luò)只記憶一個穩(wěn)定模式時，該模式肯定被網(wǎng)絡(luò)準確無誤地記憶住，即所設(shè)計的W值一定能夠滿足正比于輸入和輸出矢量的乘積關(guān)系但當需要記憶的模式增多時，網(wǎng)絡(luò)記憶可能出現(xiàn)問題權(quán)值移動交叉干擾,2020/5/18,46,3.3記憶容量,在網(wǎng)絡(luò)的學習過程中，網(wǎng)絡(luò)對記憶樣本輸入T1，T2，Tq的權(quán)值學習記憶實際上是逐個實現(xiàn)的。即對權(quán)值W，有程序：W=0fork=lqW=W+Tk(Tk)T-Iend,2020/5/18,47,3.3記憶容量,由此過程可知：當k=1時，有此時，網(wǎng)絡(luò)準確的記住了樣本T1,2020/5/18,48,3.3記憶容量,權(quán)值移動當k2時，為了記憶樣本T2，需要在記憶了樣本Tl的權(quán)值上加上對樣本T2的記憶項T2(T2)T-I，將權(quán)值在原來值的基礎(chǔ)上產(chǎn)生了移動由于在學習樣本T2時，權(quán)矩陣W是在已學習了T1的基礎(chǔ)上進行修正的，W起始值不再為零，所以由此調(diào)整得出的新的W值，對記憶樣本T2來說，也未必對所有的s個輸出同時滿足符號函數(shù)的條件，即難以保證網(wǎng)絡(luò)對T2的精確的記憶,2020/5/18,49,3.3記憶容量,權(quán)值移動隨著學習樣本數(shù)k的增加，權(quán)值移動現(xiàn)象將進一步發(fā)生，當學習了第q個樣本Tq后，權(quán)值又在前q-1個樣本修正的基礎(chǔ)上產(chǎn)生了移動，這也是網(wǎng)絡(luò)在精確的學習了第一個樣本后的第q-1次移動對已記憶的樣本發(fā)生遺忘，這種現(xiàn)象被稱為“疲勞”,2020/5/18,50,3.3記憶容量,在此情況下，所求出的新的W為：wij=tj1ti1+tj2ti2，對于樣本T1來說，網(wǎng)絡(luò)的輸出為：此輸出有可能不再對所有的s個輸出均滿足加權(quán)輸入和與輸出符號一致的條件。網(wǎng)絡(luò)有可能部分地遺忘了以前已記憶住的模式。,2020/5/18,51,3.3記憶容量,交叉干擾設(shè)輸入矢量P維數(shù)為rq，取=1/r。Pk-1，1，所以pjk*pjk1。當網(wǎng)絡(luò)某個矢量Pl，l1,q，作為網(wǎng)絡(luò)的輸入矢量時，可得網(wǎng)絡(luò)的加權(quán)輸入和nil為上式右邊中第一項為期望記憶的樣本，而第二項則是當網(wǎng)絡(luò)學習多個樣本時，在回憶階段即驗證該記憶樣本時，所產(chǎn)生的相互干擾，稱為交叉干擾項,2020/5/18,52,3.3記憶容量,有效容量從對網(wǎng)絡(luò)的記憶容量產(chǎn)生影響的權(quán)值移動和交叉干擾上看，采用海布學習法則對網(wǎng)絡(luò)記憶樣本的數(shù)量是有限制的通過上面的分析已經(jīng)很清楚地得知，當交叉干擾項值大于正確記憶值時，將產(chǎn)生錯誤輸出在什么情況下，能夠保證記憶住所有樣本?當所期望記憶的樣本是兩兩正交時，能夠準確得到一個可記憶數(shù)量的上限值,2020/5/18,53,3.3記憶容量,有效容量的上界正交特性神經(jīng)元為二值輸出的情況下，即Pj-1，1，當兩個r維樣本矢量的各個分量中，有r/2是相同，r/2是相反。對于任意一個數(shù)l，l1，q，有Pl(Pk)T0，lk；而有Pl(Pl)Tr，lk,2020/5/18,54,3.3記憶容量,用外積和公式所得到的權(quán)矩陣進行迭代計算，在輸入樣本Pk，k=1，2,q中任取Pl為初始輸入，求網(wǎng)絡(luò)加權(quán)輸出和Nl,只要滿足，rq，則有sgn(Nl)Pl保證Pl為網(wǎng)絡(luò)的穩(wěn)定解,2020/5/18,55,3.4權(quán)值設(shè)計的其它方法,學習規(guī)則：通過計算每個神經(jīng)元節(jié)點的實際激活值A(chǔ)(t)，與期望狀態(tài)T(t)進行比較，若不滿足要求，則將二者的誤差的一部分作為調(diào)整量，若滿足要求，則相應的權(quán)值保持不變,2020/5/18,56,3.4權(quán)值設(shè)計的其它方法,偽逆法對于輸入樣本PP1P2Pq，設(shè)網(wǎng)絡(luò)輸出可以寫成一個與輸入樣本相對應的矩陣A，輸入和輸出之間可用一個權(quán)矩陣W來映射，即有：W*PN，Asgn(N)，由此可得WN*P*其中P*為P的偽逆，有P*(PTP)-1PT如果樣本之間是線性無關(guān)的，則PTP滿秩，其逆存在，則可求出權(quán)矩陣W但當記憶樣本之間是線性相關(guān)的，由海布法所設(shè)計出的網(wǎng)絡(luò)存在的問題，偽逆法也解決不了，甚至無法求解，相比之下，由于存在求逆等運算，偽逆法較為繁瑣，而海布法則要容易求得多,2020/5/18,57,四、TSP問題求解,所謂TSP(TravelingSalesmanProblem)問題，即“旅行商問題”是一個十分有名的難以求解的優(yōu)化問題，其要求很簡單：在n個城市的集合中，找出一條經(jīng)過每個城市各一次，最終回到起點的最短路徑問題描述如果已知城市A，B，C，D，之間的距離為dAB，dBC，dCD；那么總的距離ddAB+dBC+d