人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第5講Hopfield網(wǎng)絡(luò)ppt課件

1、人工神經(jīng)網(wǎng)絡(luò)及其運(yùn)用第5講 Hopfield網(wǎng)絡(luò)何建華電信系，華中科技大學(xué)2019年3月3日一、反響網(wǎng)絡(luò)二、Hopfield網(wǎng)絡(luò)簡(jiǎn)介三、DHNN網(wǎng)絡(luò)四、穩(wěn)定性與運(yùn)用五、內(nèi)容小結(jié)內(nèi)容安排反響網(wǎng)絡(luò)如何經(jīng)過(guò)網(wǎng)絡(luò)神經(jīng)元形狀的變化而最終穩(wěn)定于平衡形狀，得到聯(lián)想存儲(chǔ)或優(yōu)化計(jì)算的結(jié)果關(guān)懷網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題研討重點(diǎn)為怎樣得到和利用穩(wěn)定的反響網(wǎng)絡(luò)要點(diǎn)1.1 反響網(wǎng)絡(luò)簡(jiǎn)介1.2 網(wǎng)絡(luò)穩(wěn)定性一、反響網(wǎng)絡(luò)1.1 反響網(wǎng)絡(luò)簡(jiǎn)介反響網(wǎng)絡(luò)(Recurrent Network)，又稱自聯(lián)想記憶網(wǎng)絡(luò)其目的是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)經(jīng)過(guò)自行運(yùn)轉(zhuǎn)而最終收斂到這個(gè)設(shè)計(jì)的平衡點(diǎn)上。 反響網(wǎng)絡(luò)能表現(xiàn)

2、出非線性動(dòng)力學(xué)系統(tǒng)動(dòng)態(tài)特性網(wǎng)絡(luò)系統(tǒng)具有假設(shè)干個(gè)穩(wěn)定形狀。當(dāng)網(wǎng)絡(luò)從某一初始形狀開(kāi)場(chǎng)運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個(gè)穩(wěn)定的平衡形狀；系統(tǒng)穩(wěn)定的平衡形狀可以經(jīng)過(guò)設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值而被存儲(chǔ)到網(wǎng)絡(luò)中1.1 反響網(wǎng)絡(luò)簡(jiǎn)介反響網(wǎng)絡(luò)分類假設(shè)激活函數(shù)f()是一個(gè)二值型的硬函數(shù)，即aisgn(ni)，il, 2, r，那么稱此網(wǎng)絡(luò)為離散型反響網(wǎng)絡(luò)；假設(shè)f()為一個(gè)延續(xù)單調(diào)上升的有界函數(shù)，這類網(wǎng)絡(luò)被稱為延續(xù)型反響網(wǎng)絡(luò)1.2 網(wǎng)絡(luò)穩(wěn)定性形狀軌跡設(shè)形狀矢量N=n1, n2, ，nr，網(wǎng)絡(luò)的輸出矢量為Aa1，a2，asT 在一個(gè)r維形狀空間上，可以用一條軌跡來(lái)描畫(huà)形狀變化情況從初始值N(t0)出發(fā)，N(t0+t)N(t0+2

3、t)N(t0+mt)，這些在空間上的點(diǎn)組成確實(shí)定軌跡，是演化過(guò)程中一切能夠形狀的集合，我們稱這個(gè)形狀空間為相空間1.2 網(wǎng)絡(luò)穩(wěn)定性形狀軌跡離散與延續(xù)軌跡1.2 網(wǎng)絡(luò)穩(wěn)定性形狀軌跡分類：對(duì)于不同的銜接權(quán)值wij和輸入Pj(i, j=1, 2, r)，反響網(wǎng)絡(luò)能夠出現(xiàn)不同性質(zhì)的形狀軌跡軌跡為穩(wěn)定點(diǎn)軌跡為極限環(huán)軌跡為混沌景象軌跡發(fā)散1.2 網(wǎng)絡(luò)穩(wěn)定性穩(wěn)定軌跡形狀軌跡從系統(tǒng)在t0時(shí)形狀的初值N(t0)開(kāi)場(chǎng)，經(jīng)過(guò)一定的時(shí)間t(t0)后，到達(dá)N(t0+t)。假設(shè)N(t0+t+t)=N(t0+t)，t0，那么形狀N(t0+t)稱為網(wǎng)絡(luò)的穩(wěn)定點(diǎn)，或平衡點(diǎn)反響網(wǎng)絡(luò)從任一初始態(tài)P(0)開(kāi)場(chǎng)運(yùn)動(dòng)，假設(shè)存在某一有限時(shí)

4、辰t，從t以后的網(wǎng)絡(luò)形狀不再發(fā)生變化P(t+t)= P(t)，t0那么稱網(wǎng)絡(luò)是穩(wěn)定的 處于穩(wěn)定時(shí)的網(wǎng)絡(luò)形狀叫做穩(wěn)定形狀，又稱為定吸引子1.2 網(wǎng)絡(luò)穩(wěn)定性穩(wěn)定點(diǎn)分類在一個(gè)反響網(wǎng)絡(luò)中，存在很多穩(wěn)定點(diǎn)穩(wěn)定點(diǎn)收斂域漸近穩(wěn)定點(diǎn)：在穩(wěn)定點(diǎn)Ne周圍的N()區(qū)域內(nèi)，從任一個(gè)初始形狀N(t0)出發(fā)，當(dāng)t時(shí)都收斂于Ne，那么稱Ne為漸近穩(wěn)定點(diǎn)不穩(wěn)定平衡點(diǎn)Nen：在某些特定的軌跡演化過(guò)程中，網(wǎng)絡(luò)可以到達(dá)穩(wěn)定點(diǎn)Nen，但對(duì)其它方向上恣意小的區(qū)域N()，不論N()取多么小，其軌跡在時(shí)間t以后總是偏離Nen； 期望解網(wǎng)絡(luò)的解：假設(shè)網(wǎng)絡(luò)最后穩(wěn)定到設(shè)計(jì)人員期望的穩(wěn)定點(diǎn)，且該穩(wěn)定點(diǎn)又是漸近穩(wěn)定點(diǎn)，那么這個(gè)點(diǎn)稱為網(wǎng)絡(luò)的解； 網(wǎng)絡(luò)

5、的偽穩(wěn)定點(diǎn)：網(wǎng)絡(luò)最終穩(wěn)定到一個(gè)漸近穩(wěn)定點(diǎn)上，但這個(gè)穩(wěn)定點(diǎn)不是網(wǎng)絡(luò)設(shè)計(jì)所要求的解1.2 網(wǎng)絡(luò)穩(wěn)定性形狀軌跡為極限環(huán)在某些參數(shù)的情況下，形狀N(t)的軌跡是一個(gè)圓，或一個(gè)環(huán)形狀N(t)沿著環(huán)反復(fù)旋轉(zhuǎn)，永不停頓，此時(shí)的輸出A(t)也出現(xiàn)周期變化即出現(xiàn)振蕩假設(shè)在r種形狀下循環(huán)變化，稱其極限環(huán)為r對(duì)于離散反響網(wǎng)絡(luò)，軌跡變化能夠在兩種形狀下來(lái)回跳動(dòng)，其極限環(huán)為21.2 網(wǎng)絡(luò)穩(wěn)定性形狀軌跡為混沌假設(shè)形狀N(t)的軌跡在某個(gè)確定的范圍內(nèi)運(yùn)動(dòng)，但既不反復(fù)，又不能停下來(lái)形狀變化為無(wú)窮多個(gè)，而軌跡也不能發(fā)散到無(wú)窮遠(yuǎn)，這種景象稱為混沌(chaos)出現(xiàn)混沌的情況下，系統(tǒng)輸出變化為無(wú)窮多個(gè)，并且隨時(shí)間推移不能趨向穩(wěn)定，

6、但又不發(fā)散1.2 網(wǎng)絡(luò)穩(wěn)定性形狀軌跡發(fā)散形狀N(t)的軌跡隨時(shí)間不斷延伸到無(wú)窮遠(yuǎn)。此時(shí)形狀發(fā)散，系統(tǒng)的輸出也發(fā)散在人工神經(jīng)網(wǎng)絡(luò)中，由于輸入、輸出激活函數(shù)上一個(gè)有界函數(shù)，雖然形狀N(t)是發(fā)散的，但其輸出A(t)還是穩(wěn)定的，而At的穩(wěn)定反過(guò)來(lái)又限制了形狀的發(fā)散。普通非線性人工神經(jīng)網(wǎng)絡(luò)中發(fā)散景象是不會(huì)發(fā)生的，除非神經(jīng)元的輸入輸出激活函數(shù)是線性的1.3 網(wǎng)絡(luò)任務(wù)方式目前的反響神經(jīng)網(wǎng)絡(luò)是利用穩(wěn)定的特定軌跡來(lái)處理某些問(wèn)題假設(shè)視系統(tǒng)的穩(wěn)定點(diǎn)為一個(gè)記憶，那么從初始形狀朝此穩(wěn)定點(diǎn)挪動(dòng)的過(guò)程即為尋覓該記憶的過(guò)程形狀的初始值可以以為是給定的有關(guān)該記憶的部分信息，形狀N(t)挪動(dòng)的過(guò)程，是從部分信息去尋覓全部信息，

7、這就是聯(lián)想記憶的過(guò)程將系統(tǒng)的穩(wěn)定點(diǎn)思索為一個(gè)能量函數(shù)的極小點(diǎn)。在形狀空間中，從初始形狀N(t0)N(t0+t)，最后到達(dá)N*。假設(shè)N*為穩(wěn)定點(diǎn)，那么可以看作是N*把N(t0)吸引了過(guò)去，在N(t0)時(shí)能量比較大，而吸引到N*時(shí)能量已為極小了1.3 網(wǎng)絡(luò)任務(wù)方式思索詳細(xì)運(yùn)用，可以將能量的極小點(diǎn)作為一個(gè)優(yōu)化目的函數(shù)的極小點(diǎn)，把形狀變化的過(guò)程看成是優(yōu)化某一個(gè)目的函數(shù)的過(guò)程因此反響網(wǎng)絡(luò)的形狀挪動(dòng)的過(guò)程實(shí)踐上是一種計(jì)算聯(lián)想記憶或優(yōu)化的過(guò)程。它的解并不需求真的去計(jì)算，只需求構(gòu)成一類反響神經(jīng)網(wǎng)絡(luò)，適當(dāng)?shù)卦O(shè)計(jì)網(wǎng)絡(luò)權(quán)值wij，使其初始輸入A(t0)向穩(wěn)定吸引子形狀挪動(dòng)就可以到達(dá)目的1.3 網(wǎng)絡(luò)任務(wù)方式權(quán)值設(shè)計(jì)目

8、的網(wǎng)絡(luò)系統(tǒng)可以到達(dá)穩(wěn)定收斂設(shè)計(jì)網(wǎng)絡(luò)的穩(wěn)定點(diǎn) 設(shè)計(jì)吸引域 二、Hopfield網(wǎng)絡(luò)簡(jiǎn)介2.1 網(wǎng)絡(luò)模型2.2 DHNN2.3 CHNN2.4 聯(lián)想記憶與優(yōu)化計(jì)算2.1 網(wǎng)絡(luò)模型2.1 網(wǎng)絡(luò)模型分類離散Hopfield網(wǎng)絡(luò)DHNN延續(xù)Hopfield網(wǎng)絡(luò)CHNN DHNN中的激活函數(shù) CHNN中的激活函數(shù) 2.2 DHNNDHNN取b0，wii0權(quán)矩陣中有wijwji2.2 DHNN DHNN網(wǎng)絡(luò)構(gòu)造可以用一個(gè)加權(quán)元向量圖表示2.3 CHNN將霍普菲爾德網(wǎng)絡(luò)推行到輸入和輸出都取延續(xù)數(shù)值的情形網(wǎng)絡(luò)的根本構(gòu)造不變，形狀輸出方程方式上也一樣。那么網(wǎng)絡(luò)的形狀轉(zhuǎn)移方程可寫(xiě)為2.3 CHNN神經(jīng)元的激活函數(shù)f

9、為S型的函數(shù)(或線性飽和函數(shù)2.3 CHNN神經(jīng)元的激活函數(shù)f為S型的函數(shù)(或線性飽和函數(shù)2.3 CHNN電路實(shí)現(xiàn)神經(jīng)元模型見(jiàn)參見(jiàn)教材電阻Ri和電容Ci并聯(lián)，模擬生物神經(jīng)元輸出的時(shí)間常數(shù)跨導(dǎo)Tij模擬神經(jīng)元之間互連的突觸特性運(yùn)算放大器模擬神經(jīng)元的非線性特性u(píng)i為第i個(gè)神經(jīng)元的輸入，Vi為輸出網(wǎng)絡(luò)模型2.3 CHNN定義系統(tǒng)計(jì)算能量定理推論 系統(tǒng)的穩(wěn)定平衡點(diǎn)就是能量函數(shù)E的極小點(diǎn)，反之亦然2.3 CHNN定理系統(tǒng)在形狀空間中正交穩(wěn)定平衡點(diǎn)的恣意放置可以經(jīng)過(guò)Tij的學(xué)習(xí)來(lái)實(shí)現(xiàn)添加存儲(chǔ)與消除記憶假設(shè)在已設(shè)計(jì)的系統(tǒng)中參與一個(gè)新的存儲(chǔ)，只需修正Tij，新的存儲(chǔ)的參與并不改動(dòng)原有的存儲(chǔ)，且與原存儲(chǔ)無(wú)關(guān)2.

10、4 聯(lián)想記憶與優(yōu)化計(jì)算聯(lián)想記憶問(wèn)題穩(wěn)定形狀知并且經(jīng)過(guò)學(xué)習(xí)和設(shè)計(jì)算法尋求適宜的權(quán)值矩陣將穩(wěn)定形狀存儲(chǔ)到網(wǎng)絡(luò)中優(yōu)化計(jì)算權(quán)值矩陣W知，目的為尋覓具有最小能量E的穩(wěn)定形狀主要任務(wù)為設(shè)計(jì)相應(yīng)的W和能量函數(shù)公式三、DHNN3.1 神經(jīng)元形狀更新方式3.2 網(wǎng)絡(luò)學(xué)習(xí)3.3 網(wǎng)絡(luò)記憶容量3.4 權(quán)值設(shè)計(jì)3.1 形狀更新由-1變?yōu)?；由1變?yōu)?1；形狀堅(jiān)持不變串行異步方式恣意時(shí)辰隨機(jī)地或確定性地選擇網(wǎng)絡(luò)中的一個(gè)神經(jīng)元進(jìn)展形狀更新，而其他神經(jīng)元的形狀堅(jiān)持不變 并行同步方式恣意時(shí)辰網(wǎng)絡(luò)中部分神經(jīng)元(比好像一層的神經(jīng)元)的形狀同時(shí)更新。假設(shè)恣意時(shí)辰網(wǎng)絡(luò)中全部神經(jīng)元同時(shí)進(jìn)展形狀更新，那么稱之為全并行同步方式 3.1 形

11、狀更新串行異步方式任一時(shí)辰，網(wǎng)絡(luò)中只需一個(gè)神經(jīng)元被選擇進(jìn)展形狀更新或堅(jiān)持，所以異步形狀更新的網(wǎng)絡(luò)從某一初態(tài)開(kāi)場(chǎng)需經(jīng)過(guò)多次更新形狀后才可以到達(dá)某種穩(wěn)態(tài)。實(shí)現(xiàn)上容易，每個(gè)神經(jīng)元有本人的形狀更新時(shí)辰，不需求同步機(jī)制；異步形狀更新更接近實(shí)踐的生物神經(jīng)系統(tǒng)的表現(xiàn)并行同步方式3.2 網(wǎng)絡(luò)學(xué)習(xí)聯(lián)想記憶聯(lián)想記憶功能是DHNN的一個(gè)重要運(yùn)用范圍。DHNN用于聯(lián)想記憶有兩個(gè)突出的特點(diǎn)，即記憶是分布式的，而聯(lián)想是動(dòng)態(tài)的反響網(wǎng)絡(luò)實(shí)現(xiàn)聯(lián)想記憶必需具備的兩個(gè)根本條件網(wǎng)絡(luò)能收斂到穩(wěn)定的平衡形狀，并以其作為樣本的記憶信息；具有回想才干，可以從某一殘缺的信息回想起所屬的完好的記憶信息學(xué)習(xí)目的具有q個(gè)不同的輸入樣本組PrqP1,

12、 P2 Pq經(jīng)過(guò)學(xué)習(xí)方式調(diào)理計(jì)算有限的權(quán)值矩陣W以每一組輸入樣本Pk，k=1，2，q 作為系統(tǒng)的初始值經(jīng)過(guò)網(wǎng)絡(luò)任務(wù)運(yùn)轉(zhuǎn)后，系統(tǒng)能收斂到各自輸入樣本矢量本身3.2 網(wǎng)絡(luò)學(xué)習(xí)DHNN中運(yùn)用海布調(diào)理規(guī)那么海布法那么是一種無(wú)指點(diǎn)的死記式學(xué)習(xí)算法當(dāng)神經(jīng)元輸入與輸出節(jié)點(diǎn)的形狀一樣(即同時(shí)興奮或抑制)時(shí)，從第j個(gè)到第i個(gè)神經(jīng)元之間的銜接強(qiáng)度那么加強(qiáng)，否那么減弱當(dāng)k1時(shí)，對(duì)于第i個(gè)神經(jīng)元，由海布學(xué)習(xí)規(guī)那么可得網(wǎng)絡(luò)權(quán)值對(duì)輸入矢量的學(xué)習(xí)關(guān)系式為其中，0，i1，2，r；j=1，2，r。在實(shí)踐學(xué)習(xí)規(guī)那么的運(yùn)用中，普通取1或1/r3.2 網(wǎng)絡(luò)學(xué)習(xí)當(dāng)k由1添加到2，直至q時(shí)，是在原有己設(shè)計(jì)出的權(quán)值的根底上，添加一個(gè)新量p

13、jkpik，k2, q對(duì)網(wǎng)絡(luò)一切輸入樣本記憶權(quán)值的設(shè)計(jì)公式為其中，0，i1，2，r；j=1，2，r。在實(shí)踐學(xué)習(xí)規(guī)那么的運(yùn)用中，普通取1或1/r3.2 網(wǎng)絡(luò)學(xué)習(xí)向量方式表示1時(shí)神經(jīng)網(wǎng)絡(luò)工具箱中采用海布公式求解網(wǎng)絡(luò)權(quán)矩陣變化的函數(shù)為learnh.m和learnhd.m。后者為帶有衰減學(xué)習(xí)速率的函數(shù)dW1earnh(P，A，lr)dWlearnhd(W，P，A，lr，dr)；對(duì)于簡(jiǎn)單的情況，lr可以選擇1；對(duì)于復(fù)雜的運(yùn)用，可取lr0.10.5，drlr33.2 網(wǎng)絡(luò)學(xué)習(xí)簡(jiǎn)單驗(yàn)證q1， l求出的權(quán)值wij能否可以保證aipi？ 對(duì)于第i個(gè)輸出節(jié)點(diǎn)，有3.3 記憶容量設(shè)計(jì)DHNN網(wǎng)絡(luò)的目的，是希望經(jīng)過(guò)所

14、設(shè)計(jì)的權(quán)值矩陣W儲(chǔ)存多個(gè)期望方式當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定方式時(shí)，該方式一定被網(wǎng)絡(luò)準(zhǔn)確無(wú)誤地記憶住，即所設(shè)計(jì)的W值一定可以滿足正比于輸入和輸出矢量的乘積關(guān)系但當(dāng)需求記憶的方式增多時(shí)，網(wǎng)絡(luò)記憶能夠出現(xiàn)問(wèn)題權(quán)值挪動(dòng)交叉干擾3.3 記憶容量權(quán)值挪動(dòng)當(dāng)k2時(shí)，為了記憶樣本T2，需求在記憶了樣本Tl的權(quán)值上加上對(duì)樣本T2的記憶項(xiàng)T2T2T-I，將權(quán)值在原來(lái)值的根底上產(chǎn)生了挪動(dòng)由于在學(xué)習(xí)樣本T2時(shí)，權(quán)矩陣W是在已學(xué)習(xí)了T1的根底上進(jìn)展修正的，W起始值不再為零，所以由此調(diào)整得出的新的W值，對(duì)記憶樣本T2來(lái)說(shuō)，也未必對(duì)一切的s個(gè)輸出同時(shí)滿足符號(hào)函數(shù)的條件，即難以保證網(wǎng)絡(luò)對(duì)T2的準(zhǔn)確的記憶隨著學(xué)習(xí)樣本數(shù)k的添加，權(quán)值

15、挪動(dòng)景象將進(jìn)一步發(fā)生，當(dāng)學(xué)習(xí)了第q個(gè)樣本Tq后，權(quán)值又在前q-1個(gè)樣本修正的根底上產(chǎn)生了挪動(dòng)，這也是網(wǎng)絡(luò)在準(zhǔn)確的學(xué)習(xí)了第一個(gè)樣本后的第q-1次挪動(dòng)對(duì)已記憶的樣本發(fā)生遺忘，這種景象被稱為“疲勞3.3 記憶容量交叉干擾設(shè)輸入矢量P維數(shù)為rq，取=1/r。Pk-1，1，所以pik*pjkpjk*pjk1。當(dāng)網(wǎng)絡(luò)某個(gè)矢量Pl，l1,q，作為網(wǎng)絡(luò)的輸入矢量時(shí)，可得網(wǎng)絡(luò)的加權(quán)輸入和nil為上式右邊中第一項(xiàng)為期望記憶的樣本，而第二項(xiàng)那么是當(dāng)網(wǎng)絡(luò)學(xué)習(xí)多個(gè)樣本時(shí)，在回想階段即驗(yàn)證該記憶樣本時(shí)，所產(chǎn)生的相互關(guān)擾，稱為交叉干擾項(xiàng)3.3 記憶容量有效容量從對(duì)網(wǎng)絡(luò)的記憶容量產(chǎn)生影響的權(quán)值挪動(dòng)和交叉干擾上看，采用海布學(xué)習(xí)

16、法那么對(duì)網(wǎng)絡(luò)記憶樣本的數(shù)量是有限制的經(jīng)過(guò)上面的分析曾經(jīng)很清楚地得知，當(dāng)交叉干擾項(xiàng)幅值大于正確記憶值時(shí)，將產(chǎn)生錯(cuò)誤輸出在什么情況下，可以保證記憶住一切樣本?當(dāng)所期望記憶的樣本是兩兩正交時(shí)，可以準(zhǔn)確得到一個(gè)可記憶數(shù)量的上限值 3.3 記憶容量有效容量的上界正交特性神經(jīng)元為二值輸出的情況下，即Pj-1，1，當(dāng)兩個(gè)r維樣本矢量的各個(gè)分量中，有r/2是一樣，r/2是相反。對(duì)于恣意一個(gè)數(shù)l，l1，r，有Pl(Pk)T0，lk；而有Pl(Pl)Tr，lk 用外積和公式所得到的權(quán)矩陣進(jìn)展迭代計(jì)算，在輸入樣本Pk，k=1，2, q中任取Pl為初始輸入，求網(wǎng)絡(luò)加權(quán)輸入和Nl 只需滿足，rq，那么有sgn(Nl)P

17、l保證Pl為網(wǎng)絡(luò)的穩(wěn)定解 3.4 權(quán)值設(shè)計(jì)學(xué)習(xí)規(guī)那么：經(jīng)過(guò)計(jì)算每個(gè)神經(jīng)元節(jié)點(diǎn)的實(shí)踐激活值A(chǔ)(t)，與期望形狀T(t)進(jìn)展比較，假設(shè)不滿足要求，那么將二者的誤差的一部分作為調(diào)整量，假設(shè)滿足要求，那么相應(yīng)的權(quán)值堅(jiān)持不變 3.4 權(quán)值設(shè)計(jì)偽逆法對(duì)于輸入樣本PP1 P2 Pq，設(shè)網(wǎng)絡(luò)輸出可以寫(xiě)成一個(gè)與輸入樣本相對(duì)應(yīng)的矩陣A，輸入和輸出之間可用一個(gè)權(quán)矩陣W來(lái)映射，即有：W*PN，Asgn(N)，由此可得WN*P* 其中P*為P的偽逆，有P*(PTP)-1PT假設(shè)樣本之間是線性無(wú)關(guān)的，那么PTP滿秩，其逆存在，那么可求出權(quán)矩陣W但當(dāng)記憶樣本之間是線性相關(guān)的，由海布法所設(shè)計(jì)出的網(wǎng)絡(luò)存在的問(wèn)題，偽逆法也處理不

18、了，甚至無(wú)法求解，相比之下，由于存在求逆等運(yùn)算，偽逆法較為繁瑣，而海布法那么要容易求得多3.4 權(quán)值設(shè)計(jì)正交化的權(quán)值設(shè)計(jì)這一方法的根本思想和出發(fā)點(diǎn) 1)保證系統(tǒng)在異步任務(wù)時(shí)的穩(wěn)定性；2)保證一切要求記憶的穩(wěn)定平衡點(diǎn)都能收斂到本人；3)使偽穩(wěn)定點(diǎn)的數(shù)目盡能夠的少；4)使穩(wěn)定點(diǎn)的吸引域盡能夠的大。 正交化設(shè)計(jì)方法的數(shù)學(xué)設(shè)計(jì)較為復(fù)雜，類似于Gram-Schmidt正交化過(guò)程與外積和法相比較，所設(shè)計(jì)出的平衡穩(wěn)定點(diǎn)可以保證收斂到本人并且有較大的穩(wěn)定域在MATLAB工具箱中已將此設(shè)計(jì)方法寫(xiě)進(jìn)了函數(shù)solvehop.m中： W，bsolvehop(T)四、穩(wěn)定性與運(yùn)用3.1 聯(lián)想存儲(chǔ)器特性3.2 穩(wěn)定平衡點(diǎn)

19、斷定3.3 TSP問(wèn)題求解4.1 聯(lián)想存儲(chǔ)器特性性質(zhì)假設(shè)X是一個(gè)系統(tǒng)的穩(wěn)定形狀，那么X也一定是一個(gè)穩(wěn)定形狀假設(shè)X1，X2，Xk為系統(tǒng)的穩(wěn)定形狀，Y是它們的線性組合而得到的向量，那么Y為穩(wěn)定形狀對(duì)于恣意X1，X2，Xk，k=n-1，那么總可以找到W,并且rank(W)n，使得X1，X2，Xk是網(wǎng)絡(luò)的穩(wěn)定形狀4.2 穩(wěn)定平衡點(diǎn)斷定定理穩(wěn)定平衡點(diǎn)斷定對(duì)于CHNN，Us為一個(gè)n維向量。Us為系統(tǒng)的一個(gè)穩(wěn)定平衡點(diǎn)的充分條件如下，4.3 TSP問(wèn)題求解所謂TSP(Traveling Salesman Problem)問(wèn)題，即“游覽商問(wèn)題是一個(gè)非常有名的難以求解的優(yōu)化問(wèn)題，其要求很簡(jiǎn)單：在n個(gè)城市的集合中，

20、找出一條經(jīng)過(guò)每個(gè)城市各一次，最終回到起點(diǎn)的最短途徑問(wèn)題描畫(huà)假設(shè)知城市A，B，C，D，之間的間隔為dAB，dBC，dCD；那么總的間隔ddAB+dBC+dCD+，對(duì)于這種動(dòng)態(tài)規(guī)化問(wèn)題，要去求其min(d)的解對(duì)于n個(gè)城市的全陳列共有n!種，而TSP并沒(méi)有限定途徑的方向，即為全組合，所以對(duì)于固定的城市數(shù)n的條件下，其途徑總數(shù)Sn為Snn!2n (n4)在n個(gè)城市根底上，每添加一個(gè)城市，途徑總數(shù)要添加n倍4.3 TSP問(wèn)題TSP的解是假設(shè)干城市的有序陳列，任何一個(gè)城市在最終途徑上的位置可用一個(gè)n維的0、1矢量表示，對(duì)于一切n個(gè)城市，那么需求一個(gè)nn維矩陣。以5個(gè)城市為例，一種能夠的陳列矩陣為4.3 TSP問(wèn)題假設(shè)用dxy表示從城市x到城市y的間隔，那么上面途徑的總長(zhǎng)度為： dxydCA+dAD+dDB+dBE+dCETSP的