計(jì)算智能與深度學(xué)習(xí) 課件 2神經(jīng)網(wǎng)絡(luò)－6hopfield網(wǎng)絡(luò)

Hopfield網(wǎng)絡(luò)--（全)反饋網(wǎng)絡(luò)

1982年，美國加州工學(xué)院物理學(xué)家霍普菲爾德(J．Hopfield)發(fā)表了一篇對人工神經(jīng)網(wǎng)絡(luò)研究頗有影響的論文。2反饋網(wǎng)絡(luò)(RecurrentNetwork)，又稱自聯(lián)想記憶網(wǎng)絡(luò)其目的是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一組平衡點(diǎn)使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)通過自行運(yùn)行而最終收斂到這個(gè)設(shè)計(jì)的平衡點(diǎn)上。3反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)的動(dòng)態(tài)特性。它所具有的主要特性為以下兩點(diǎn)：

第一、網(wǎng)絡(luò)系統(tǒng)具有若干個(gè)穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個(gè)穩(wěn)定的平衡狀態(tài)；

第二、系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值而被存儲(chǔ)到網(wǎng)絡(luò)中。

4反饋網(wǎng)絡(luò)通過網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于平衡狀態(tài)，得到聯(lián)想存儲(chǔ)或優(yōu)化計(jì)算的結(jié)果。在這里，著重關(guān)心的是網(wǎng)絡(luò)的穩(wěn)定性問題，研究的重點(diǎn)是怎樣得到和利用穩(wěn)定的反饋網(wǎng)絡(luò)。霍普菲爾德網(wǎng)絡(luò)是單層對稱全反饋網(wǎng)絡(luò).5根據(jù)其激活函數(shù)的選取不同，可分:

離散型的霍普菲爾德網(wǎng)絡(luò)

(DiscreteHopfieldNeuralNetwork,DHNN)連續(xù)型的霍普菲爾德網(wǎng)絡(luò)

(ContinuousHopfieldNeuralNetwork,CHNN)6DHNN的激活函數(shù)為二值型的，其輸入、輸出為{0，1}或{-1，1}的反饋網(wǎng)絡(luò)，主要用于聯(lián)想記憶。CHNN的激活函數(shù)的輸入與輸出之間的關(guān)系為連續(xù)可微的單調(diào)上升函數(shù)，主要用于優(yōu)化計(jì)算。

77．1霍普菲爾德網(wǎng)絡(luò)模型

圖7．1反饋網(wǎng)絡(luò)結(jié)構(gòu)圖

wsrr=s=n,可簡化8910如果，并且是一個(gè)二值的硬函數(shù)，，那么它稱為帶閾值的DHNN。11在反饋網(wǎng)絡(luò)中如果其激活函數(shù)f(·)是一個(gè)二值型的硬函數(shù)，如圖7．2所示，即ai＝sgn(ni)，i＝l,2,…r，則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò)；如果ai=f(ni)中的f(·)為一個(gè)連續(xù)單調(diào)上升的有界函數(shù)，這類網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò)。圖7．3中所示為一個(gè)具有飽和線性激活函數(shù)，它滿足連續(xù)單調(diào)上升的有界函數(shù)的條件，常作為連續(xù)型的激活函數(shù)。

圖7．2DHNN中的激活函數(shù)

圖7．3CHNN中的激活函數(shù)

127．2狀態(tài)軌跡

設(shè)狀態(tài)矢量X=[x1,x2,…，xn]T，網(wǎng)絡(luò)的輸出矢量為A＝[a1，a2…，an]T.(r=s=n)在一個(gè)n維狀態(tài)空間上，可以用一條軌跡來描述狀態(tài)變化情況。從初始值X(t0)出發(fā)，X(t0+Δt)→X(t0+2Δt)→…→X(t0+mΔt).這些在空間上的點(diǎn)組成的確定軌跡，是演化過程中所有可能狀態(tài)的集合.我們稱這個(gè)狀態(tài)空間為相空間。

13圖7．4三維空間中的狀態(tài)軌跡

對于DHNN，因?yàn)閄(t)中每個(gè)值只可能為±1，或{0，1}，對于確定的權(quán)值wij，其軌跡是跳躍的階梯式，如圖中A所示。對于CHNN，因?yàn)閒(·)是連續(xù)的，因而，其軌跡也是連續(xù)的。如圖中B、C所示。

N(t)=x(t)X(t0)X(t)X(t0)X(t)X(t)x1x3x214對于不同的連接權(quán)值wij和輸入Pj(j=1,2,…q)，反饋網(wǎng)絡(luò)狀態(tài)軌跡可能出現(xiàn)以下幾種情況。

7．2．1狀態(tài)軌跡為穩(wěn)定點(diǎn)

狀態(tài)軌跡從系統(tǒng)在t0時(shí)狀態(tài)的初值X(t0)開始，經(jīng)過一定的時(shí)間t(t＞0)后，到達(dá)X(t0+t).如果X(t0+t+Δt)=X(t0+t)，Δt＞0，則狀態(tài)X(t0+t)稱為網(wǎng)絡(luò)的穩(wěn)定點(diǎn)或平衡點(diǎn)。即反饋網(wǎng)絡(luò)從任一初始態(tài)X(0)開始運(yùn)動(dòng)，若存在某一有限時(shí)刻t，從t以后的網(wǎng)絡(luò)狀態(tài)不再發(fā)生變化：X(t+Δt)=X(t)，Δt＞0，則稱該網(wǎng)絡(luò)是穩(wěn)定的。處于穩(wěn)定時(shí)的網(wǎng)絡(luò)狀態(tài)叫做穩(wěn)定狀態(tài)，又稱為定吸引子。

15在一個(gè)反饋網(wǎng)絡(luò)中，存在很多穩(wěn)定點(diǎn)，根據(jù)不同情況，這些穩(wěn)定點(diǎn)可以分為：1)漸近穩(wěn)定點(diǎn)：如果在穩(wěn)定點(diǎn)Xe周圍的X(σ)區(qū)域內(nèi)，從任一個(gè)初始狀態(tài)X(t0)出發(fā)的每個(gè)運(yùn)動(dòng)，當(dāng)t→∞時(shí)都收斂于Xe，則稱Xe為漸近穩(wěn)定點(diǎn)。

2)不穩(wěn)定平衡點(diǎn)Xen：在某些特定的軌跡演化過程中，網(wǎng)絡(luò)能夠到達(dá)穩(wěn)定點(diǎn)Xen，但對于其它方向上的任意一個(gè)小的區(qū)域X(σ)，不管X(σ)取多么小，其軌跡在時(shí)間t以后總是偏離Xen；

163)網(wǎng)絡(luò)的解：如果網(wǎng)絡(luò)最后穩(wěn)定到設(shè)計(jì)人員期望的穩(wěn)定點(diǎn)，且該穩(wěn)定點(diǎn)又是漸近穩(wěn)定點(diǎn)，那么這個(gè)點(diǎn)稱為網(wǎng)絡(luò)的解；

4)網(wǎng)絡(luò)的偽穩(wěn)定點(diǎn)：網(wǎng)絡(luò)最終穩(wěn)定到一個(gè)漸近穩(wěn)定點(diǎn)上，但這個(gè)穩(wěn)定點(diǎn)不是網(wǎng)絡(luò)設(shè)計(jì)所要求的解，這個(gè)穩(wěn)定點(diǎn)為偽穩(wěn)定點(diǎn)。177．2．2狀態(tài)軌跡為極限環(huán)如果在某些參數(shù)的情況下，狀態(tài)X(t)的軌跡是一個(gè)圓，或一個(gè)環(huán)，狀態(tài)X(t)沿著環(huán)重復(fù)旋轉(zhuǎn)，永不停止，此時(shí)的輸出A(t)也出現(xiàn)周期變化，即出現(xiàn)振蕩，如圖7．4中C的軌跡即是極限環(huán)(limitedcircle)出現(xiàn)的情形。對于DHNN，軌跡變化可能在兩種狀態(tài)下來回跳動(dòng)，其極限環(huán)為2。如果在m種狀態(tài)下循環(huán)變化，稱其極限環(huán)為m。

187．2．3混沌現(xiàn)象如果狀態(tài)X(t)的軌跡在某個(gè)確定的范圍內(nèi)運(yùn)動(dòng)，但既不重復(fù)，又不能停下來，狀態(tài)變化為無窮多個(gè)，而軌跡也不能發(fā)散到無窮遠(yuǎn)，這種現(xiàn)象稱為混沌(chaos).在出現(xiàn)混沌的情況下，系統(tǒng)輸出變化為無窮多個(gè)，并且隨時(shí)間推移不能趨向穩(wěn)定，但又不發(fā)散。

197．2．4狀態(tài)軌跡發(fā)散如果狀態(tài)X(t)的軌跡隨時(shí)間一直延伸到無窮遠(yuǎn)，此時(shí)狀態(tài)發(fā)散，系統(tǒng)的輸出也發(fā)散。在人工神經(jīng)網(wǎng)絡(luò)中，由于輸入、輸出激活函數(shù)是一個(gè)有界函數(shù)，雖然狀態(tài)X(t)是發(fā)散的，但其輸出A(t)還是穩(wěn)定的，而A（t）的穩(wěn)定反過來又限制了狀態(tài)的發(fā)散。一般非線性人工神經(jīng)網(wǎng)絡(luò)中發(fā)散現(xiàn)象是不會(huì)發(fā)生的，除非神經(jīng)元的輸入輸出激活函數(shù)是線性的。

20目前的人工神經(jīng)網(wǎng)絡(luò)是利用第一種情況即穩(wěn)定的專門軌跡來解決某些問題的。如果把系統(tǒng)的穩(wěn)定點(diǎn)視做一個(gè)記憶的話，那么從初始狀態(tài)朝這個(gè)穩(wěn)定點(diǎn)移動(dòng)的過程就是尋找該記憶的過程。狀態(tài)的初始值可以認(rèn)為是給定的有關(guān)該記憶的部分信息，狀態(tài)X(t)移動(dòng)的過程，是從部分信息去尋找全部信息，這就是聯(lián)想記憶的過程。21如果把系統(tǒng)的穩(wěn)定點(diǎn)考慮為一個(gè)能量函數(shù)的極小點(diǎn)，在狀態(tài)空間中，從初始狀態(tài)X(t0)＝X(t0+t)，最后到達(dá)X*。若X*為穩(wěn)定點(diǎn)，則可以看作是X*把X(t0)吸引了過去，在X(t0)時(shí)能量比較大，而吸引到X*時(shí)能量已為極小了。根據(jù)這個(gè)道理，可以把這個(gè)能量的極小點(diǎn)作為一個(gè)優(yōu)化目標(biāo)函數(shù)的極小點(diǎn)，把狀態(tài)變化的過程看成是優(yōu)化某一個(gè)目標(biāo)函數(shù)的過程。

22因此反饋網(wǎng)絡(luò)的狀態(tài)移動(dòng)的過程實(shí)際上是一種計(jì)算聯(lián)想記憶或優(yōu)化的過程。它的解并不需要真的去計(jì)算，只需要去形成一類反饋神經(jīng)網(wǎng)絡(luò)，適當(dāng)?shù)赜懻撈錂?quán)重值wij，使其初始輸入A(t0)向穩(wěn)定吸引子狀態(tài)的移動(dòng)就可以達(dá)到這個(gè)目的。霍普菲爾德網(wǎng)絡(luò)是利用穩(wěn)定吸引子來對信息進(jìn)行儲(chǔ)存的，利用從初始狀態(tài)到穩(wěn)定吸引子的運(yùn)行過程來實(shí)現(xiàn)對信息的聯(lián)想存取的。

23通過對神經(jīng)元之間的權(quán)和閾值的設(shè)計(jì)，要求單層的反饋網(wǎng)絡(luò)達(dá)到下列目標(biāo)：(1)網(wǎng)絡(luò)系統(tǒng)能夠達(dá)到穩(wěn)定收斂

(2)網(wǎng)絡(luò)的穩(wěn)定點(diǎn)

(3)吸引域的設(shè)計(jì)

247．3離散型霍普菲爾德網(wǎng)絡(luò)（DHNN）

7．3．1DHNN模型結(jié)構(gòu)

每個(gè)神經(jīng)元的輸出為1或-1，類似于MP神經(jīng)元，可表示為(這里不考慮閾殖)

在上式中，取b＝0，權(quán)矩陣中有wij＝wji，且取wii＝0。即DHNN采用對稱聯(lián)接。因此，其網(wǎng)絡(luò)結(jié)構(gòu)可以用一個(gè)加權(quán)元向量圖表示。

這里的用法25圖7．5霍普菲爾德網(wǎng)絡(luò)圖

圖7．5(a):一個(gè)二層前饋網(wǎng)絡(luò),其輸出層與輸入層的神經(jīng)元數(shù)相同,每一個(gè)輸出都直接連接(反饋(到相對應(yīng)的一個(gè)輸入上.等價(jià)于一個(gè)反饋網(wǎng)絡(luò).圖7．5(b):簡化的反饋網(wǎng)絡(luò)圖.

DHNN中wij＝wji.網(wǎng)絡(luò)各節(jié)點(diǎn)加權(quán)輸入和分別為：

26對于以符號(hào)函數(shù)為激活函數(shù)的網(wǎng)絡(luò)，網(wǎng)絡(luò)的方程可寫為：

或?qū)憺椋?7反饋網(wǎng)絡(luò)有兩種基本的工作方式：串行異步和并行同步方式。

1)串行異步方式：

2)并行同步方式：

282)并行同步方式：若N（1<N<=n）個(gè)神經(jīng)元輸出改變，其余輸出不變。若N=n，則為全并行方式。1)串行異步方式:在某一時(shí)刻只有一個(gè)神經(jīng)元改變狀態(tài)，其余輸出不變。由隨機(jī)或預(yù)定順序來選擇該神經(jīng)元。29網(wǎng)絡(luò)的穩(wěn)定性分析DHNN的能量函數(shù)(Liyapnov)：由于xi,xj只能為+1，-1，θi有界，所以，能量函數(shù)有界。30定理1

當(dāng)網(wǎng)絡(luò)工作在串行方式下，滿足wij=wji，wii=0，i、j=1,2,…,n，則能量函數(shù)單調(diào)下降，且網(wǎng)絡(luò)必定穩(wěn)定。31若每次迭代能滿足ΔE=E(t+1)-E(t)≤0，即網(wǎng)絡(luò)的能量單調(diào)下降，則網(wǎng)絡(luò)的狀態(tài)最后將趨于一個(gè)穩(wěn)定點(diǎn)。簡化情況下,即若不考慮閾值,則32

考慮在串行異步方式下,wii=0,一次運(yùn)算只有xi發(fā)生變化時(shí)能量函數(shù)的變化.結(jié)合轉(zhuǎn)移方程可得,由于x只能取+1,-1,故只需考慮以下三種情況:33

三種情況:

時(shí),時(shí),最右方括號(hào)中,故

時(shí),最右方括號(hào)中,

故可見,系統(tǒng)如果發(fā)生變化,其勢函數(shù)只可能減少.系統(tǒng)只有有限個(gè)狀態(tài)(2n),最終一定會(huì)到達(dá)勢函數(shù)的某個(gè)極小點(diǎn).34定理2

當(dāng)網(wǎng)絡(luò)工作在串行方式下，滿足wij=wji，wii>0，i、j=1,2,…,n，則能量函數(shù)單調(diào)下降，且網(wǎng)絡(luò)必定穩(wěn)定。

證明：對于DHNN網(wǎng)絡(luò)的第i個(gè)節(jié)點(diǎn)發(fā)生變化，因?yàn)閣ij=wji，且wii>0則35由于wii>0，且△xi與xi(t+1)是同號(hào)的，即能保證△E≤0，這樣就保證了網(wǎng)絡(luò)的穩(wěn)定性和收斂性。并行方式定理3

當(dāng)網(wǎng)絡(luò)工作在并行方式下，滿足wij=wji，則網(wǎng)絡(luò)或者收斂于一個(gè)穩(wěn)定點(diǎn)，或者收斂于極限環(huán)為2的一個(gè)周期解。36證明：在并行工作方式時(shí)，其能量函數(shù)可以用下式表示：可以寫成矩陣的形式3738由于在H(t)中的每個(gè)分量Hi(t)與在X(t+1)中每個(gè)分量Xi(t+1)同號(hào)，因而 成立。所以△E≤0?，F(xiàn)在考慮在穩(wěn)定點(diǎn)情況，即△E=0的情況：若

X(t)=X(t+1)=X(t-1)，則△E=0，且網(wǎng)絡(luò)達(dá)到穩(wěn)定。若X(t)≠X(t+1)=X(t-1)，則△E=0，且網(wǎng)絡(luò)到達(dá)周期為2的極限環(huán)。證畢。39推論：

(1)如果W為一個(gè)正定矩陣，Ii=0、對所有的i成立，則：

網(wǎng)絡(luò)必定達(dá)到穩(wěn)定收斂。(2)如果W為一個(gè)負(fù)定矩陣，Ii=0、對所有的i成立，則：

網(wǎng)絡(luò)周期振蕩，極限環(huán)為2。

40

對于n個(gè)結(jié)點(diǎn),有n2個(gè)可能狀態(tài)(每個(gè)點(diǎn)輸出-1或1).即網(wǎng)絡(luò)狀態(tài)可以用一個(gè)由-1和1的矢量表示.

41例:計(jì)算如圖所示HNN的狀態(tài)轉(zhuǎn)移關(guān)系.

1v1

2v2

3v3v23w13w12w12=w21=1,w13=w31=2,w23=w32=-3

1=-5,

2=0,

3=342假定初態(tài)(x1,x2,x3)=(-1-1-1)首先選結(jié)點(diǎn)x1,則其輸入net1=w12*x2+w13*x3-1=1*(-1)+2*(-1)-(-5)=2>0x1的輸出由-1改為1.網(wǎng)絡(luò)狀態(tài)(-1-1-1)=>(1,-1,-1)若選結(jié)點(diǎn)x2,則其輸入net2=w21*x1+w23*x3-2=1*(-1)+(-3)*(-1)-0=2>0x2的輸出由-1改為1.網(wǎng)絡(luò)狀態(tài)(-1-1-1)=>(-1,1,-1)若選結(jié)點(diǎn)x3,則其輸入net3=w31*x1+w32*x2-3=2*(-1)+(-3)*(-1)-3=-2<0x3的輸出不變,為-1.網(wǎng)絡(luò)狀態(tài)(-1-1-1)=>(-1,-1,-1)

1x1

2x2

3x3v23w13w12w12=w21=1,w13=w31=2,w23=w32=-3.

1=-5,

2=0,

3=343DHNN實(shí)現(xiàn)聯(lián)想記憶的過程分為兩個(gè)階段：

(1)學(xué)習(xí)記憶階段

(2）聯(lián)想回憶階段

(1)學(xué)習(xí)記憶階段在學(xué)習(xí)記憶階段中，設(shè)計(jì)者通過某一設(shè)計(jì)方法，確定一組合適的權(quán)值，使網(wǎng)絡(luò)記憶期望的穩(wěn)定平衡點(diǎn)。(2）聯(lián)想回憶階段聯(lián)想回憶階段則是網(wǎng)絡(luò)的工作過程。44聯(lián)想記憶功能是DHNN的一個(gè)重要應(yīng)用范圍。要想實(shí)現(xiàn)聯(lián)想記憶，反饋網(wǎng)絡(luò)必須具有兩個(gè)基本條件：①網(wǎng)絡(luò)能收斂到穩(wěn)定的平衡狀態(tài)，并以其作為樣本的記憶信息；②具有回憶能力，能夠從某一殘缺的信息回憶起所屬的完整的記憶信息。

7．3．2聯(lián)想記憶

45在狀態(tài)更新過程中，包括三種情況：由-1變?yōu)?；由1變?yōu)?1;

狀態(tài)保持不變:1->1;-1->-1在任一時(shí)刻，網(wǎng)絡(luò)中只有一個(gè)神經(jīng)元被選擇進(jìn)行狀態(tài)更新或保持，所以異步狀態(tài)更新的網(wǎng)絡(luò)從某一初態(tài)開始需經(jīng)過多次更新狀態(tài)后才可以達(dá)到某種穩(wěn)態(tài)。46這種異步狀態(tài)更新方式的特點(diǎn)是：實(shí)現(xiàn)上容易，每個(gè)神經(jīng)元有自己的狀態(tài)更新時(shí)刻，不需要同步機(jī)制；功能上的串行狀態(tài)更新可以限制網(wǎng)絡(luò)的輸出狀態(tài)，避免不同穩(wěn)態(tài)等概率的出現(xiàn)；

異步狀態(tài)更新更接近實(shí)際的生物神經(jīng)系統(tǒng)的表現(xiàn)。

477．3．3DHNN的海布(Hebb)學(xué)習(xí)規(guī)則在DHNN的網(wǎng)絡(luò)訓(xùn)練過程中，運(yùn)用的是海布調(diào)節(jié)規(guī)則.

當(dāng)神經(jīng)元輸入與輸出節(jié)點(diǎn)的狀態(tài)相同(即同時(shí)興奮或抑制)時(shí)，從第j個(gè)到第i個(gè)神經(jīng)元之間的連接強(qiáng)度則增強(qiáng)，否則則減弱。

海布（Hebb)法則是一種無指導(dǎo)的死記式學(xué)習(xí)算法。

48離散型霍普菲爾德網(wǎng)絡(luò)的學(xué)習(xí)目的：對具有q個(gè)不同的輸入樣本組

Pr×q＝[P1,P2…Pq]，希望通過調(diào)節(jié)計(jì)算有限的權(quán)值矩陣W，使得當(dāng)每一組輸入樣本Pk，k=1，2，…，q，作為系統(tǒng)的初始值，經(jīng)過網(wǎng)絡(luò)的工作運(yùn)行后，系統(tǒng)能夠收斂到各自輸入樣本矢量本身

49當(dāng)k＝1時(shí)，對于第i個(gè)神經(jīng)元，由海布學(xué)習(xí)規(guī)則可得網(wǎng)絡(luò)權(quán)值對輸入矢量的學(xué)習(xí)關(guān)系式為：

其中，α＞0，i＝1，2…，r；j=1，2…，r。在實(shí)際學(xué)習(xí)規(guī)則的運(yùn)用中，一般取α＝1或1/r。（**）50那么由(**)式求出的權(quán)值wij是否能夠保證ali＝pli？取α＝l，我們來驗(yàn)證一下，對于第i個(gè)輸出節(jié)點(diǎn)，有：

51根據(jù)海布規(guī)則的權(quán)值設(shè)計(jì)方法，當(dāng)k由1增加到2，直至q時(shí)，則是在原有已設(shè)計(jì)出的權(quán)值的基礎(chǔ)上，增加一個(gè)新量pjkpik，k＝2,3,…,q.所以,對網(wǎng)絡(luò)所有輸入樣本記憶權(quán)值的設(shè)計(jì)公式為：(***)式中矢量T為記憶樣本。上式稱為推廣的學(xué)習(xí)調(diào)節(jié)規(guī)則。當(dāng)系數(shù)α＝1時(shí)，稱(***)式為T的外積和公式。

i≠j52備注若設(shè)定網(wǎng)絡(luò)神經(jīng)元的輸出為0或1,則可設(shè)定:53DHNN的設(shè)計(jì)目的是使任意輸入矢量經(jīng)過網(wǎng)絡(luò)循環(huán)最終收斂到網(wǎng)絡(luò)所記憶的某個(gè)樣本上。因?yàn)榛羝辗茽柕戮W(wǎng)絡(luò)有wij＝wji，所以完整的霍普菲爾德網(wǎng)絡(luò)權(quán)值設(shè)計(jì)公式應(yīng)當(dāng)為：用向量形式表示為：

當(dāng)α＝1時(shí)有：其中，I為單位對角矩陣。（****）（*****）（******）54wji=?與第i行×第j列有什么關(guān)系？設(shè)i<j55在神經(jīng)網(wǎng)絡(luò)工具箱中有關(guān)采用海布公式求解網(wǎng)絡(luò)權(quán)矩陣變化的函數(shù)為learnh.m和learnhd.m，后者為帶有衰減學(xué)習(xí)速率的函數(shù)：dW＝1earnh(P，A，lr)；或dW＝learnhd(W，P，A，lr，dr)；對于簡單的情況，lr可以選擇1；對于復(fù)雜的應(yīng)用，可取lr＝0.1~0.5，dr＝lr／3。

567．3．4影響記憶容量的因素設(shè)計(jì)DHNN網(wǎng)絡(luò)的目的，是希望通過所設(shè)計(jì)的權(quán)值矩陣W儲(chǔ)存多個(gè)期望模式。從海布學(xué)習(xí)公式的推導(dǎo)過程中可以看出：當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定模式時(shí)，該模式肯定被網(wǎng)絡(luò)準(zhǔn)確無誤地記憶住，即所設(shè)計(jì)的W值一定能夠滿足正比于輸入和輸出矢量的乘積關(guān)系。但當(dāng)需要記憶的模式增多時(shí)，情況則發(fā)生了變化，主要表現(xiàn)在下面兩點(diǎn)上：(1)權(quán)值漂移。發(fā)生遺忘、疲勞

(2)交叉干擾57(1)權(quán)值移動(dòng)

當(dāng)k=1時(shí)，有：此時(shí)，網(wǎng)絡(luò)準(zhǔn)確的記住了樣本T1，當(dāng)k=2時(shí)，為了記憶樣本T2，需要在記憶了樣本Tl的權(quán)值上加上對樣本T2的記憶項(xiàng)T2（T2）T-I，權(quán)值在原來值的基礎(chǔ)上產(chǎn)生了移動(dòng)。58另一方面，由于在學(xué)習(xí)樣本T2時(shí)，權(quán)矩陣W是在已學(xué)習(xí)了T1的基礎(chǔ)上進(jìn)行修正的。此時(shí)，因W起始值不再為零，所以由此調(diào)整得出的新的W值，對記憶樣本T2來說，也未必對所有的n個(gè)輸出同時(shí)滿足符號(hào)函數(shù)的條件，即難以保證網(wǎng)絡(luò)對T2的精確的記憶。59隨著學(xué)習(xí)樣本數(shù)k的增加，權(quán)值移動(dòng)現(xiàn)象將進(jìn)一步發(fā)生，當(dāng)學(xué)習(xí)了第q個(gè)樣本Tq后，權(quán)值又在前q-1個(gè)樣本修正的基礎(chǔ)上產(chǎn)生了移動(dòng)，這也是網(wǎng)絡(luò)在精確學(xué)習(xí)了第一個(gè)樣本后的第q-1次移動(dòng)。對已記憶的樣本發(fā)生遺忘，這種現(xiàn)象成為“疲勞”。60(2)交叉干擾設(shè)輸入矢量P維數(shù)為r×q，取α=1/r，(i≠j),因?yàn)閷τ贒HNN有Pk∈{-1，1}r，k=1，2，…，q，所以有pikpik＝1。當(dāng)網(wǎng)絡(luò)某個(gè)矢量Pl，l=1,2,…,q，作為網(wǎng)絡(luò)的輸入矢量時(shí)，可得網(wǎng)絡(luò)的加權(quán)輸入和nil為：

第一項(xiàng)為期望記憶的樣本，而第二項(xiàng)則是當(dāng)網(wǎng)絡(luò)學(xué)習(xí)多個(gè)樣本時(shí)，在回憶階段即驗(yàn)證該記憶樣本時(shí)，所產(chǎn)生的相互干擾，稱為交叉干擾項(xiàng)。617．3．5網(wǎng)絡(luò)的記憶容量確定只要滿足r=n＞q，則有sgn(Nl)＝Pl，保證Pl為網(wǎng)絡(luò)的穩(wěn)定解。DHNN用于聯(lián)想記憶有兩個(gè)突出的特點(diǎn)：即記憶是分布式的，而聯(lián)想是動(dòng)態(tài)的。62DHNN局限性，主要表現(xiàn)在以下幾點(diǎn)：①記憶容量的有限性；②偽穩(wěn)定點(diǎn)的聯(lián)想與記憶；③當(dāng)記憶樣本較接近時(shí)，網(wǎng)絡(luò)不能始終回憶出正確的記憶等。另外網(wǎng)絡(luò)的平衡穩(wěn)定點(diǎn)并不可以任意設(shè)置的，也沒有一個(gè)通用的方式來事先知道平衡穩(wěn)定點(diǎn)。所以真正想利用好霍普菲爾德網(wǎng)絡(luò)并不是一件容易的事情。63用Hebb規(guī)則設(shè)計(jì)的權(quán)，能在異步工作時(shí)，穩(wěn)定收斂。記憶樣本正交時(shí)，可保證能記住自己。有吸引域。但對不正交的記憶樣本，它不一定收斂到自身。647．3．6DHNN權(quán)值設(shè)計(jì)的其他方法除了前面的用Hebb規(guī)則設(shè)計(jì)的權(quán)這一方法外，還有下列設(shè)計(jì)方法：δ學(xué)習(xí)規(guī)則方法偽逆法外積法正交化的權(quán)值設(shè)計(jì)方法65(2)偽逆法

N=WP=>W＝N×P#

（*******）其中P#為P的偽逆，有P#＝(PTP)-1PT，如果樣本之間是線性無關(guān)的，則PTP滿秩，其逆存在，則可由(*******)式求權(quán)矩陣W來。由于存在求逆等運(yùn)算，偽逆法較為繁瑣，而海布法則要容易求得多。

δ學(xué)習(xí)規(guī)則DHNN權(quán)值設(shè)計(jì)的其他方法介紹66（3）外積法求DHNN算法（聯(lián)想記憶）（1）根據(jù)需要記憶的樣本P1,P2,…,Pq,用外積法設(shè)計(jì)權(quán)

（2）令輸入樣本或測試樣本為網(wǎng)絡(luò)輸出的初值。如Pl（3）迭代演算：直到:此時(shí)，Pl被吸引到已學(xué)習(xí)過的記憶樣本的某個(gè)吸引子上。67外積法求DHNN例：

（聯(lián)想記憶）對n=5的DHNN網(wǎng)絡(luò)，要求記憶的樣本為：P1=(1,1,1,1,1)T,P2=(1,-1,-1,1,-1)T,P3=(-1,1,-1,-1,-1)T并不滿足正交條件，按外積計(jì)算權(quán)矩陣：68計(jì)算可得：sgn(WP1)=P1,sgn(WP2)=P2,sgn(WP3)=P3.網(wǎng)絡(luò)可能的輸出狀態(tài)：25種=32個(gè)矢量。分析一下其穩(wěn)定點(diǎn)的情況：共有4個(gè)穩(wěn)定點(diǎn)：P1,P2,P3,P4=(-1,1,1,-1,1)T

.其中:

P1,P2,P3為要求的穩(wěn)定點(diǎn)，P4為偽穩(wěn)定點(diǎn)。

P4=-P2.把32種可能的輸出矢量作為初值來檢驗(yàn):691)串行工作下：10個(gè)收斂于P1，8個(gè)收斂于P2，8個(gè)收斂于P3，6個(gè)收斂于P4.10+8+8+6=321)并行工作下：8個(gè)收斂于P1，1個(gè)收斂于P2，2個(gè)收斂于P3，1個(gè)收斂于P4.而其他20個(gè)都使網(wǎng)絡(luò)陷入極限環(huán)。P為穩(wěn)定點(diǎn)，-P是否是穩(wěn)定點(diǎn)？(一定也是!!)70偽逆法設(shè)r=s=n,q個(gè)樣本。把樣本按序排列成一個(gè)矩陣：P=（P1,P2,…,Pq)設(shè)網(wǎng)絡(luò)輸出為一個(gè)矩陣N，與P對應(yīng)權(quán)矩陣W，迭代步I=0.WP=N.N′=sgn(N).W=NP*偽逆P*=(PTP)-1PT,當(dāng)樣本間線性無關(guān)時(shí)，PTP滿秩（rank(PTP)=q).可保證自己收斂到自己。如果N與P完全相同，則W對稱。只要N中每個(gè)元素與WP中每個(gè)元符號(hào)相同，就可保證收斂到自身。71偽逆法例設(shè)記憶樣本為：P1=(1,1,1,1,1)T,P2=(1,-1,-1,1,-1)T,P3=(-1,1,1,-1,-1)T.則則W=NP#=N(PTP)-1PT=W可以保證輸入P1,P2,P3時(shí)收斂到自己。？72(4)正交化的權(quán)值設(shè)計(jì)這一方法的基本思想和出發(fā)點(diǎn)是為了滿足下面四個(gè)要求：

1)保證系統(tǒng)在異步工作時(shí)的穩(wěn)定性；2)保證所有要求記憶的穩(wěn)定平衡點(diǎn)都能收斂到自己；3)使偽穩(wěn)定點(diǎn)的數(shù)目盡可能的少；4)使穩(wěn)定點(diǎn)的吸引域盡可能的大。73(4)正交化的權(quán)值設(shè)計(jì)雖然正交化設(shè)計(jì)方法的數(shù)學(xué)設(shè)計(jì)較為復(fù)雜，但與外積法相比較，所設(shè)計(jì)出的平衡穩(wěn)定點(diǎn)能夠保證收斂到自己,并且有較大的穩(wěn)定域。在MATLAB工具箱中已將此設(shè)計(jì)方法寫進(jìn)了函數(shù)solvehop.m中：

[W，b]＝solvehop(T)；

74[例7．1]考慮一個(gè)具有兩個(gè)神經(jīng)元的霍普菲爾德網(wǎng)絡(luò)，每個(gè)神經(jīng)元具有兩個(gè)權(quán)值和一個(gè)偏差。網(wǎng)絡(luò)所要存儲(chǔ)的目標(biāo)平衡點(diǎn)為一個(gè)列矢量T：T＝[1-1；

-11]；[W,b]=solvehop(T);設(shè)計(jì)Hopfield網(wǎng)絡(luò)。用來進(jìn)行測試的函數(shù)為simuhop.m；

這里，s=r=2q=275設(shè)計(jì)聯(lián)想記憶Hopfield網(wǎng)絡(luò)記憶7、5、4、9的8×7=56二值圖像（神經(jīng)元）。%Example92Trclearall%定義各目標(biāo)向量t7=[00000000000000111110011111001111100111001111100111110011]';t5=[00000010000001001111100111111000011111110011111000000011]';t4=[00110010011001001100100110010000001000000111110011111001]';t9=[11100111001100100110010011001100000111110011111001111100]';T=[t7t5t4t9];%設(shè)計(jì)Hopfield網(wǎng)絡(luò)net=newhop(T);%存儲(chǔ)訓(xùn)練后的Hopfield網(wǎng)絡(luò)savenet92net;76%Example92Simclearall%定義各測試向量t7=[00001010100100011110011111001011101011100100110010111001]';subplot(1,2,1);figt(t7);%繪制測試樣本二值化圖像%加載訓(xùn)練后的Hopfield網(wǎng)絡(luò)loadnet92net;%網(wǎng)絡(luò)仿真y=sim(net,1,[],t7);y=y>0.5;%二值化subplot(1,2,2);figt(y);%畫出仿真輸出二值化圖像77functionfigt(t)//函數(shù)figt()holdonaxissquareforj=1:8fori=1:7ift((j-1)*7+i)==0fill([ii+1i+1i],[9-j,9-j,10-j,10-j],'k')elsefill([ii+1i+1i],[9-j,9-j,10-j,10-j],'w')endendendholdoff78797．4連續(xù)型霍普菲爾德網(wǎng)絡(luò)

霍普菲爾德網(wǎng)絡(luò)---輸入和輸出都取連續(xù)數(shù)值的情形。網(wǎng)絡(luò)的基本結(jié)構(gòu)不變，狀態(tài)輸出方程形式上也相同。若定義網(wǎng)絡(luò)中第i個(gè)神經(jīng)元的輸入總和為ni，輸出狀態(tài)為ai，則網(wǎng)絡(luò)的狀態(tài)轉(zhuǎn)移方程可寫為：神經(jīng)元的激活函數(shù)f為S型的函數(shù)：

或或線性飽和函數(shù):80圖7．8連續(xù)霍普菲爾德網(wǎng)絡(luò)激活函數(shù)

81微分方程描述連續(xù)時(shí)間的Hopfield網(wǎng)絡(luò)在時(shí)間上是連續(xù)的,因而各神經(jīng)元處于同步工作方式.82微分方程描述83能量函數(shù)84表明,由狀態(tài)輸入輸出間的動(dòng)態(tài)方程計(jì)算能量函數(shù)不斷減小,并最后穩(wěn)定至其極小值.如果能把某個(gè)問題化為一個(gè)計(jì)算能量函數(shù),且使該能量函數(shù)計(jì)算的最小值對應(yīng)于一定約束條件下的問題的解,那么這個(gè)問題就可以用連續(xù)型Hopfield網(wǎng)絡(luò)求解.85[例7．2]TSP問題。所謂TSP(TravelingSalesmanProblem)問題，即“旅行商問題”是一個(gè)十分有名的難以求解的優(yōu)化問題.TSP問題描述：在n個(gè)城市的集合中，找出一條經(jīng)過每個(gè)城市各一次，最終回到起點(diǎn)的最短路徑。(任意兩點(diǎn)間的距離已知).86任意給定一個(gè)中間無重復(fù)且含所有結(jié)點(diǎn)的回路,就可計(jì)算其路徑長度例如,已知城市A，B，C，D，…，之間的距離為dAB，dBC，dCD,…；那么總的距離d＝dAB+dBC+dCD+…對于這種動(dòng)態(tài)規(guī)劃問題，要去求其min(d)的解。87因?yàn)閷τ趎個(gè)城市的全排列共有n!種,