神經(jīng)網(wǎng)絡(luò)ppt課件

1、第8章 Hopfield反響神經(jīng)網(wǎng)絡(luò) 內(nèi)容安排內(nèi)容安排8.1 8.1 霍普菲爾德網(wǎng)絡(luò)模型霍普菲爾德網(wǎng)絡(luò)模型 8.2 8.2 形狀軌跡形狀軌跡 8.3 8.3 離散型霍普菲爾德網(wǎng)絡(luò)離散型霍普菲爾德網(wǎng)絡(luò)DHNNDHNN 8.4 8.4 延續(xù)型霍普菲爾德網(wǎng)絡(luò)延續(xù)型霍普菲爾德網(wǎng)絡(luò) 反響網(wǎng)絡(luò)反響網(wǎng)絡(luò)(Recurrent Network)(Recurrent Network)，又稱自聯(lián)想記憶，又稱自聯(lián)想記憶網(wǎng)絡(luò)，其目的是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一組平衡點(diǎn)，網(wǎng)絡(luò)，其目的是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)經(jīng)過(guò)自行運(yùn)轉(zhuǎn)而最使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)經(jīng)過(guò)自行運(yùn)轉(zhuǎn)而最終收斂到這個(gè)設(shè)

2、計(jì)的平衡點(diǎn)上。終收斂到這個(gè)設(shè)計(jì)的平衡點(diǎn)上。 19821982年，美國(guó)加州工學(xué)院物理學(xué)家霍普菲年，美國(guó)加州工學(xué)院物理學(xué)家霍普菲爾德爾德(J(JHopfield)Hopfield)發(fā)表了一篇對(duì)人工神經(jīng)網(wǎng)絡(luò)研討頗發(fā)表了一篇對(duì)人工神經(jīng)網(wǎng)絡(luò)研討頗有影響的論文。有影響的論文。 反響網(wǎng)絡(luò)可以表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)的動(dòng)態(tài)特反響網(wǎng)絡(luò)可以表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)的動(dòng)態(tài)特性。它所具有的主要特性為以下兩點(diǎn)：性。它所具有的主要特性為以下兩點(diǎn)： 第一、網(wǎng)絡(luò)系統(tǒng)具有假設(shè)干個(gè)穩(wěn)定形狀。當(dāng)網(wǎng)絡(luò)第一、網(wǎng)絡(luò)系統(tǒng)具有假設(shè)干個(gè)穩(wěn)定形狀。當(dāng)網(wǎng)絡(luò)從某一初始形狀開場(chǎng)運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某從某一初始形狀開場(chǎng)運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個(gè)

3、穩(wěn)定的平衡形狀；一個(gè)穩(wěn)定的平衡形狀； 第二，系統(tǒng)穩(wěn)定的平衡形狀可以經(jīng)過(guò)設(shè)計(jì)網(wǎng)絡(luò)的第二，系統(tǒng)穩(wěn)定的平衡形狀可以經(jīng)過(guò)設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值而被存儲(chǔ)到網(wǎng)絡(luò)中。權(quán)值而被存儲(chǔ)到網(wǎng)絡(luò)中。 霍普菲爾德網(wǎng)絡(luò)是單層對(duì)稱全反響網(wǎng)絡(luò)，根據(jù)其霍普菲爾德網(wǎng)絡(luò)是單層對(duì)稱全反響網(wǎng)絡(luò)，根據(jù)其激活函數(shù)的選取不同，可分為離散型的霍普菲爾德激活函數(shù)的選取不同，可分為離散型的霍普菲爾德網(wǎng)絡(luò)網(wǎng)絡(luò)(Discrete Hopfield Neural Network(Discrete Hopfield Neural Network，簡(jiǎn)稱，簡(jiǎn)稱DHNN)DHNN)和延續(xù)型的霍普菲爾德網(wǎng)絡(luò)和延續(xù)型的霍普菲爾德網(wǎng)絡(luò)(Continuous (Continu

4、ous Hopfield Neural NetworkHopfield Neural Network，簡(jiǎn)稱，簡(jiǎn)稱CHNN)CHNN)。 DHNNDHNN的激活函數(shù)為二值型的，其輸入、輸?shù)募せ詈瘮?shù)為二值型的，其輸入、輸出為出為00，11的反響網(wǎng)絡(luò)，主要用于聯(lián)想記憶。的反響網(wǎng)絡(luò)，主要用于聯(lián)想記憶。 CHNNCHNN的激活函數(shù)的輸入與輸出之間的關(guān)系的激活函數(shù)的輸入與輸出之間的關(guān)系為延續(xù)可微的單調(diào)上升函數(shù)，主要用于優(yōu)化計(jì)算。為延續(xù)可微的單調(diào)上升函數(shù)，主要用于優(yōu)化計(jì)算。 8.1 霍普菲爾德網(wǎng)絡(luò)模型霍普菲爾德網(wǎng)絡(luò)模型 圖圖8.1 8.1 反響網(wǎng)絡(luò)構(gòu)造圖反響網(wǎng)絡(luò)構(gòu)造圖 在反響網(wǎng)絡(luò)中，假設(shè)其激活函數(shù)在反響網(wǎng)絡(luò)

5、中，假設(shè)其激活函數(shù)f()f()是一個(gè)二值是一個(gè)二值型的硬函數(shù)，如圖型的硬函數(shù)，如圖8.28.2所示，即所示，即aiaisgn(ni)sgn(ni)，i il, l, 2, r2, r，那么稱此網(wǎng)絡(luò)為離散型反響網(wǎng)絡(luò)；，那么稱此網(wǎng)絡(luò)為離散型反響網(wǎng)絡(luò)； 假設(shè)假設(shè)ai=f(ni)ai=f(ni)中的中的f()f()為一個(gè)延續(xù)單調(diào)上升的有為一個(gè)延續(xù)單調(diào)上升的有界函數(shù)，這類網(wǎng)絡(luò)被稱為延續(xù)型反響網(wǎng)絡(luò)。圖界函數(shù)，這類網(wǎng)絡(luò)被稱為延續(xù)型反響網(wǎng)絡(luò)。圖8.38.3中所中所示為一個(gè)具有飽和線性激活函數(shù)，它滿足延續(xù)單調(diào)上示為一個(gè)具有飽和線性激活函數(shù)，它滿足延續(xù)單調(diào)上升的有界函數(shù)的條件，常作為延續(xù)型的激活函數(shù)。升的有界函數(shù)

6、的條件，常作為延續(xù)型的激活函數(shù)。 圖圖8.2 DHNN8.2 DHNN中的激活函數(shù)中的激活函數(shù) 圖圖8.3 CHNN8.3 CHNN中的激活函數(shù)中的激活函數(shù) 8.2 形狀軌跡形狀軌跡 設(shè)形狀矢量設(shè)形狀矢量N=n1, n2, N=n1, n2, ，nrnr，網(wǎng)絡(luò)的輸出，網(wǎng)絡(luò)的輸出矢量為矢量為A Aa1a1，a2a2，asT asT ， 在一個(gè)在一個(gè)r r維形狀空間上，可以用一條軌跡來(lái)描畫維形狀空間上，可以用一條軌跡來(lái)描畫形狀變化情況。形狀變化情況。 從初始值從初始值N(t0)N(t0)出發(fā)，出發(fā)，N(t0+t)N(t0+2t)N(t0+mt)N(t0+t)N(t0+2t)N(t0+mt)，這些在

7、，這些在空間上的點(diǎn)組成確實(shí)定軌跡，是演化過(guò)程中一切能空間上的點(diǎn)組成確實(shí)定軌跡，是演化過(guò)程中一切能夠形狀的集合，我們稱這個(gè)形狀空間為相空間。夠形狀的集合，我們稱這個(gè)形狀空間為相空間。 圖圖8.4 8.4 三維空間中的形狀軌跡三維空間中的形狀軌跡 對(duì)于對(duì)于DHNNDHNN，由于，由于N(t)N(t)中每個(gè)值只能夠?yàn)橹忻總€(gè)值只能夠?yàn)? 1，或，或00，11，對(duì)于確定的權(quán)值，對(duì)于確定的權(quán)值wijwij，其軌跡是騰躍的階梯式，其軌跡是騰躍的階梯式，如圖中如圖中A A所示。所示。 對(duì)于對(duì)于CHNNCHNN，由于，由于f()f()是延續(xù)的，因此，其軌跡是延續(xù)的，因此，其軌跡也是延續(xù)的，如圖中也是延續(xù)的，如圖

8、中B B、C C所示。所示。 對(duì)于不同的銜接權(quán)值對(duì)于不同的銜接權(quán)值wijwij和輸入和輸入Pj(i, j=1, Pj(i, j=1, 2, r)2, r)，反響網(wǎng)絡(luò)形狀軌跡能夠出現(xiàn)以下幾種情況。，反響網(wǎng)絡(luò)形狀軌跡能夠出現(xiàn)以下幾種情況。 8.2.1 8.2.1 形狀軌跡為穩(wěn)定點(diǎn)形狀軌跡為穩(wěn)定點(diǎn) 形狀軌跡從系統(tǒng)在形狀軌跡從系統(tǒng)在t0t0時(shí)形狀的初值時(shí)形狀的初值N(t0)N(t0)開場(chǎng)，開場(chǎng)，經(jīng)過(guò)一定的時(shí)間經(jīng)過(guò)一定的時(shí)間t(tt(t0)0)后，到達(dá)后，到達(dá)N(t0+t)N(t0+t)。假設(shè)。假設(shè)N(t0+t+t)=N(t0+t)N(t0+t+t)=N(t0+t)，tt0 0，那么形狀，那么形狀N(t

9、0+t)N(t0+t)稱稱為網(wǎng)絡(luò)的穩(wěn)定點(diǎn)，或平衡點(diǎn)。為網(wǎng)絡(luò)的穩(wěn)定點(diǎn)，或平衡點(diǎn)。 即反響網(wǎng)絡(luò)從任一初始態(tài)即反響網(wǎng)絡(luò)從任一初始態(tài)P(0)P(0)開場(chǎng)運(yùn)動(dòng)，假設(shè)存開場(chǎng)運(yùn)動(dòng)，假設(shè)存在某一有限時(shí)辰在某一有限時(shí)辰t t，從，從t t以后的網(wǎng)絡(luò)形狀不再發(fā)生變化：以后的網(wǎng)絡(luò)形狀不再發(fā)生變化：P(t+t)= P(t)P(t+t)= P(t)，tt0 0，那么稱該網(wǎng)絡(luò)是穩(wěn)定的。，那么稱該網(wǎng)絡(luò)是穩(wěn)定的。 處于穩(wěn)定時(shí)的網(wǎng)絡(luò)形狀叫做穩(wěn)定形狀，又稱為定吸引子。處于穩(wěn)定時(shí)的網(wǎng)絡(luò)形狀叫做穩(wěn)定形狀，又稱為定吸引子。 在一個(gè)反響網(wǎng)絡(luò)中，存在很多穩(wěn)定點(diǎn)，根據(jù)不在一個(gè)反響網(wǎng)絡(luò)中，存在很多穩(wěn)定點(diǎn)，根據(jù)不同情況，這些穩(wěn)定點(diǎn)可以分為：同情

10、況，這些穩(wěn)定點(diǎn)可以分為：1) 1) 漸近穩(wěn)定點(diǎn)：假設(shè)在穩(wěn)定點(diǎn)漸近穩(wěn)定點(diǎn)：假設(shè)在穩(wěn)定點(diǎn)NeNe周圍的周圍的N()N()區(qū)域內(nèi)，區(qū)域內(nèi)，從任一個(gè)初始形狀從任一個(gè)初始形狀N(t0)N(t0)出發(fā)的每個(gè)運(yùn)動(dòng)，當(dāng)出發(fā)的每個(gè)運(yùn)動(dòng)，當(dāng)tt時(shí)都收斂于時(shí)都收斂于NeNe，那么稱，那么稱NeNe為漸近穩(wěn)定點(diǎn)。為漸近穩(wěn)定點(diǎn)。 2) 2) 不穩(wěn)定平衡點(diǎn)不穩(wěn)定平衡點(diǎn)NenNen：在某些特定的軌跡演化過(guò)程中，：在某些特定的軌跡演化過(guò)程中，網(wǎng)絡(luò)可以到達(dá)穩(wěn)定點(diǎn)網(wǎng)絡(luò)可以到達(dá)穩(wěn)定點(diǎn)NenNen，但對(duì)于其它方向上的恣意，但對(duì)于其它方向上的恣意一個(gè)小的區(qū)域一個(gè)小的區(qū)域N()N()，不論，不論N()N()取多么小，其軌跡取多么小，其軌

11、跡在時(shí)間在時(shí)間t t以后總是偏離以后總是偏離NenNen； 3) 網(wǎng)絡(luò)的解：假設(shè)網(wǎng)絡(luò)最后穩(wěn)定到設(shè)計(jì)人員期望的穩(wěn)網(wǎng)絡(luò)的解：假設(shè)網(wǎng)絡(luò)最后穩(wěn)定到設(shè)計(jì)人員期望的穩(wěn)定點(diǎn)，且該穩(wěn)定點(diǎn)又是漸近穩(wěn)定點(diǎn)，那么這個(gè)點(diǎn)稱定點(diǎn)，且該穩(wěn)定點(diǎn)又是漸近穩(wěn)定點(diǎn)，那么這個(gè)點(diǎn)稱為網(wǎng)絡(luò)的解；為網(wǎng)絡(luò)的解； 4) 網(wǎng)絡(luò)的偽穩(wěn)定點(diǎn)：網(wǎng)絡(luò)最終穩(wěn)定到一個(gè)漸近穩(wěn)定點(diǎn)網(wǎng)絡(luò)的偽穩(wěn)定點(diǎn)：網(wǎng)絡(luò)最終穩(wěn)定到一個(gè)漸近穩(wěn)定點(diǎn)上，但這個(gè)穩(wěn)定點(diǎn)不是網(wǎng)絡(luò)設(shè)計(jì)所要求的解，這個(gè)上，但這個(gè)穩(wěn)定點(diǎn)不是網(wǎng)絡(luò)設(shè)計(jì)所要求的解，這個(gè)穩(wěn)定點(diǎn)為偽穩(wěn)定點(diǎn)。穩(wěn)定點(diǎn)為偽穩(wěn)定點(diǎn)。 8.2.2 形狀軌跡為極限環(huán)形狀軌跡為極限環(huán) 假設(shè)在某些參數(shù)的情況下，形狀假設(shè)在某些參數(shù)的情況下，形狀N(t)的

12、軌跡是一個(gè)圓，或一個(gè)環(huán)，形狀的軌跡是一個(gè)圓，或一個(gè)環(huán)，形狀N(t)沿著環(huán)反復(fù)旋轉(zhuǎn)，永不停頓，此時(shí)的輸沿著環(huán)反復(fù)旋轉(zhuǎn)，永不停頓，此時(shí)的輸出出A(t)也出現(xiàn)周期變化，即出現(xiàn)振蕩，也出現(xiàn)周期變化，即出現(xiàn)振蕩，如圖如圖8.4中中C的軌跡即是極限環(huán)出現(xiàn)的情的軌跡即是極限環(huán)出現(xiàn)的情形。形。 對(duì)于對(duì)于DHNN，軌跡變化能夠在兩種形，軌跡變化能夠在兩種形狀下來(lái)回跳動(dòng)，其極限環(huán)為狀下來(lái)回跳動(dòng)，其極限環(huán)為2。假設(shè)在。假設(shè)在r種形狀下循環(huán)變化，稱其極限環(huán)為種形狀下循環(huán)變化，稱其極限環(huán)為r。 8.2.3 混沌景象 假設(shè)形狀N(t)的軌跡在某個(gè)確定的范圍內(nèi)運(yùn)動(dòng)，但既不反復(fù)，又不能停下來(lái)，形狀變化為無(wú)窮多個(gè)，而軌跡也不能

13、發(fā)散到無(wú)窮遠(yuǎn)，這種景象稱為混沌(chaos)。 在出現(xiàn)混沌的情況下，系統(tǒng)輸出變化為無(wú)窮多個(gè)，并且隨時(shí)間推移不能趨向穩(wěn)定，但又不發(fā)散。 8.2.4 形狀軌跡發(fā)散形狀軌跡發(fā)散 假設(shè)形狀假設(shè)形狀N(t)的軌跡隨時(shí)間不斷延伸到的軌跡隨時(shí)間不斷延伸到無(wú)窮遠(yuǎn)，此時(shí)形狀發(fā)散，系統(tǒng)的輸出也無(wú)窮遠(yuǎn)，此時(shí)形狀發(fā)散，系統(tǒng)的輸出也發(fā)散。發(fā)散。 在人工神經(jīng)網(wǎng)絡(luò)中，由于輸入、輸出激在人工神經(jīng)網(wǎng)絡(luò)中，由于輸入、輸出激活函數(shù)是一個(gè)有界函數(shù)，雖然形狀活函數(shù)是一個(gè)有界函數(shù)，雖然形狀N(t)是是發(fā)散的，但其輸出發(fā)散的，但其輸出A(t)還是穩(wěn)定的，而還是穩(wěn)定的，而At的穩(wěn)定反過(guò)來(lái)又限制了形狀的發(fā)散。的穩(wěn)定反過(guò)來(lái)又限制了形狀的發(fā)散。

14、普通非線性人工神經(jīng)網(wǎng)絡(luò)中發(fā)散景象是普通非線性人工神經(jīng)網(wǎng)絡(luò)中發(fā)散景象是不會(huì)發(fā)生的，除非神經(jīng)元的輸入輸出激不會(huì)發(fā)生的，除非神經(jīng)元的輸入輸出激活函數(shù)是線性的?；詈瘮?shù)是線性的。 目前的人工神經(jīng)網(wǎng)絡(luò)是利用第一種情況即穩(wěn)定的專門軌跡來(lái)目前的人工神經(jīng)網(wǎng)絡(luò)是利用第一種情況即穩(wěn)定的專門軌跡來(lái)處理某些問題的。處理某些問題的。 假設(shè)把系統(tǒng)的穩(wěn)定點(diǎn)視做一個(gè)記憶的話，那么從初始形狀朝假設(shè)把系統(tǒng)的穩(wěn)定點(diǎn)視做一個(gè)記憶的話，那么從初始形狀朝這個(gè)穩(wěn)定點(diǎn)挪動(dòng)的過(guò)程就是尋覓該記憶的過(guò)程。這個(gè)穩(wěn)定點(diǎn)挪動(dòng)的過(guò)程就是尋覓該記憶的過(guò)程。 形狀的初始值可以以為是給定的有關(guān)該記憶的部分信息，形形狀的初始值可以以為是給定的有關(guān)該記憶的部分信息，

15、形狀狀N(t)N(t)挪動(dòng)的過(guò)程，是從部分信息去尋覓全部信息，這就是聯(lián)想挪動(dòng)的過(guò)程，是從部分信息去尋覓全部信息，這就是聯(lián)想記憶的過(guò)程。記憶的過(guò)程。 假設(shè)把系統(tǒng)的穩(wěn)定點(diǎn)思索為一個(gè)能量函數(shù)的極小點(diǎn)，在形狀假設(shè)把系統(tǒng)的穩(wěn)定點(diǎn)思索為一個(gè)能量函數(shù)的極小點(diǎn)，在形狀空間中，從初始形狀空間中，從初始形狀N(t0)N(t0)N(t0+t)N(t0+t)，最后到達(dá)，最后到達(dá)N N* *。假設(shè)。假設(shè)N N* *為穩(wěn)為穩(wěn)定點(diǎn)，那么可以看作是定點(diǎn)，那么可以看作是N N* *把把N(t0)N(t0)吸引了過(guò)去，在吸引了過(guò)去，在N(t0)N(t0)時(shí)能量比時(shí)能量比較大，而吸引到較大，而吸引到N N* *時(shí)能量已為極小了。時(shí)

16、能量已為極小了。 根據(jù)這個(gè)道理，可以把這個(gè)能量的極小點(diǎn)作為一個(gè)優(yōu)化目的根據(jù)這個(gè)道理，可以把這個(gè)能量的極小點(diǎn)作為一個(gè)優(yōu)化目的函數(shù)的極小點(diǎn)，把形狀變化的過(guò)程看成是優(yōu)化某一個(gè)目的函數(shù)的函數(shù)的極小點(diǎn)，把形狀變化的過(guò)程看成是優(yōu)化某一個(gè)目的函數(shù)的過(guò)程。過(guò)程。 因此反響網(wǎng)絡(luò)的形狀挪動(dòng)的過(guò)程實(shí)踐上是一種計(jì)因此反響網(wǎng)絡(luò)的形狀挪動(dòng)的過(guò)程實(shí)踐上是一種計(jì)算聯(lián)想記憶或優(yōu)化的過(guò)程。它的解并不需求真的去計(jì)算聯(lián)想記憶或優(yōu)化的過(guò)程。它的解并不需求真的去計(jì)算，只需求去構(gòu)成一類反響神經(jīng)網(wǎng)絡(luò)，適當(dāng)?shù)赜懻撈渌悖恍枨笕?gòu)成一類反響神經(jīng)網(wǎng)絡(luò)，適當(dāng)?shù)赜懻撈錂?quán)重值權(quán)重值wijwij，使其初始輸入，使其初始輸入A(t0)A(t0)向穩(wěn)定吸引子

17、形狀的向穩(wěn)定吸引子形狀的挪動(dòng)就可以到達(dá)這個(gè)目的。挪動(dòng)就可以到達(dá)這個(gè)目的。 霍普菲爾德網(wǎng)絡(luò)是利用穩(wěn)定吸引子來(lái)對(duì)信息進(jìn)展霍普菲爾德網(wǎng)絡(luò)是利用穩(wěn)定吸引子來(lái)對(duì)信息進(jìn)展儲(chǔ)存的，利用從初始形狀到穩(wěn)定吸引子的運(yùn)轉(zhuǎn)過(guò)程來(lái)儲(chǔ)存的，利用從初始形狀到穩(wěn)定吸引子的運(yùn)轉(zhuǎn)過(guò)程來(lái)實(shí)現(xiàn)對(duì)信息的聯(lián)想存取的。實(shí)現(xiàn)對(duì)信息的聯(lián)想存取的。 經(jīng)過(guò)對(duì)神經(jīng)元之間的權(quán)和閾值的設(shè)計(jì)，要求單經(jīng)過(guò)對(duì)神經(jīng)元之間的權(quán)和閾值的設(shè)計(jì)，要求單層的反響網(wǎng)絡(luò)到達(dá)以下目的：層的反響網(wǎng)絡(luò)到達(dá)以下目的： (1) 網(wǎng)絡(luò)系統(tǒng)可以到達(dá)穩(wěn)定收斂；網(wǎng)絡(luò)系統(tǒng)可以到達(dá)穩(wěn)定收斂； (2) 網(wǎng)絡(luò)的穩(wěn)定點(diǎn)網(wǎng)絡(luò)的穩(wěn)定點(diǎn) ； (3) 吸引域的設(shè)計(jì)吸引域的設(shè)計(jì) 。8.3 離散型霍普菲爾德網(wǎng)絡(luò)離

18、散型霍普菲爾德網(wǎng)絡(luò)DHNN 8.3.1 DHNN模型構(gòu)造模型構(gòu)造 其輸出類似于其輸出類似于MP神經(jīng)元，可表示為：神經(jīng)元，可表示為： 在上式中，取在上式中，取b0，權(quán)矩陣中有，權(quán)矩陣中有wijwji，且取，且取wii0，即，即DHNN采用對(duì)稱聯(lián)接。采用對(duì)稱聯(lián)接。 因此，其網(wǎng)絡(luò)構(gòu)造可以用一個(gè)加權(quán)元向量圖表示。因此，其網(wǎng)絡(luò)構(gòu)造可以用一個(gè)加權(quán)元向量圖表示。 圖圖8.5 8.5 霍普菲爾德網(wǎng)絡(luò)圖霍普菲爾德網(wǎng)絡(luò)圖 由圖由圖8.5(a)，思索到，思索到DHNN的權(quán)值特性的權(quán)值特性wijwji，網(wǎng)，網(wǎng)絡(luò)各節(jié)點(diǎn)加權(quán)輸入和分別為：絡(luò)各節(jié)點(diǎn)加權(quán)輸入和分別為： 對(duì)于以符號(hào)函數(shù)為激活函數(shù)的網(wǎng)絡(luò)，網(wǎng)絡(luò)的方程可對(duì)于以符號(hào)函

19、數(shù)為激活函數(shù)的網(wǎng)絡(luò)，網(wǎng)絡(luò)的方程可寫為：寫為： 8.3.2 聯(lián)想記憶聯(lián)想記憶 聯(lián)想記憶功能是聯(lián)想記憶功能是DHNN的一個(gè)重要運(yùn)用范圍。要想的一個(gè)重要運(yùn)用范圍。要想實(shí)現(xiàn)聯(lián)想記憶，反響網(wǎng)絡(luò)必需具有兩個(gè)根本條件：實(shí)現(xiàn)聯(lián)想記憶，反響網(wǎng)絡(luò)必需具有兩個(gè)根本條件： 網(wǎng)絡(luò)能收斂到穩(wěn)定的平衡形狀，并以其作為樣網(wǎng)絡(luò)能收斂到穩(wěn)定的平衡形狀，并以其作為樣本的記憶信息；本的記憶信息； 具有回想才干，可以從某一殘缺的信息回想起具有回想才干，可以從某一殘缺的信息回想起所屬的完好的記憶信息。所屬的完好的記憶信息。 DHNN實(shí)現(xiàn)聯(lián)想記憶的過(guò)程分為兩個(gè)階段：學(xué)習(xí)實(shí)現(xiàn)聯(lián)想記憶的過(guò)程分為兩個(gè)階段：學(xué)習(xí)記憶階段和聯(lián)想回想階段。記憶階段和

20、聯(lián)想回想階段。 在學(xué)習(xí)記憶階段中，設(shè)計(jì)者經(jīng)過(guò)某一設(shè)計(jì)方法確定一在學(xué)習(xí)記憶階段中，設(shè)計(jì)者經(jīng)過(guò)某一設(shè)計(jì)方法確定一組適宜的權(quán)值，使網(wǎng)絡(luò)記憶期望的穩(wěn)定平衡點(diǎn)。聯(lián)想組適宜的權(quán)值，使網(wǎng)絡(luò)記憶期望的穩(wěn)定平衡點(diǎn)。聯(lián)想回想階段那么是網(wǎng)絡(luò)的任務(wù)過(guò)程?；叵腚A段那么是網(wǎng)絡(luò)的任務(wù)過(guò)程。 反響網(wǎng)絡(luò)有兩種根本的任務(wù)方式：串行異步和并行同反響網(wǎng)絡(luò)有兩種根本的任務(wù)方式：串行異步和并行同步方式。步方式。 1) 串行異步方式：串行異步方式： 2) 并行同步方式：并行同步方式： 在形狀更新過(guò)程中，包括三種情況：由在形狀更新過(guò)程中，包括三種情況：由-1-1變?yōu)樽優(yōu)? 1；由由1 1變?yōu)樽優(yōu)?1-1及形狀堅(jiān)持不變。及形狀堅(jiān)持不變。 在任

21、一時(shí)辰，網(wǎng)絡(luò)中只需一個(gè)神經(jīng)元被選擇進(jìn)展在任一時(shí)辰，網(wǎng)絡(luò)中只需一個(gè)神經(jīng)元被選擇進(jìn)展形狀更新或堅(jiān)持，所以異步形狀更新的網(wǎng)絡(luò)從某一初形狀更新或堅(jiān)持，所以異步形狀更新的網(wǎng)絡(luò)從某一初態(tài)開場(chǎng)需經(jīng)過(guò)多次更新形狀后才可以到達(dá)某種穩(wěn)態(tài)。態(tài)開場(chǎng)需經(jīng)過(guò)多次更新形狀后才可以到達(dá)某種穩(wěn)態(tài)。 這種更新方式的特點(diǎn)是：這種更新方式的特點(diǎn)是： 實(shí)現(xiàn)上容易，每個(gè)神經(jīng)元有本人的形狀更新時(shí)辰，實(shí)現(xiàn)上容易，每個(gè)神經(jīng)元有本人的形狀更新時(shí)辰，不需求同步機(jī)制；不需求同步機(jī)制； 功能上的串行形狀更新可以限制網(wǎng)絡(luò)的輸出形狀，功能上的串行形狀更新可以限制網(wǎng)絡(luò)的輸出形狀，防止不同穩(wěn)態(tài)等概率的出現(xiàn)；防止不同穩(wěn)態(tài)等概率的出現(xiàn)； 異步形狀更新更接近實(shí)踐的

22、生物神經(jīng)系統(tǒng)的表現(xiàn)。異步形狀更新更接近實(shí)踐的生物神經(jīng)系統(tǒng)的表現(xiàn)。 8.3.3 DHNN的海布的海布(Hebb)學(xué)習(xí)規(guī)那么學(xué)習(xí)規(guī)那么 在在DHNN的網(wǎng)絡(luò)訓(xùn)練過(guò)程中，運(yùn)用的是的網(wǎng)絡(luò)訓(xùn)練過(guò)程中，運(yùn)用的是海布調(diào)理規(guī)那么：海布調(diào)理規(guī)那么： 當(dāng)神經(jīng)元輸入與輸出節(jié)點(diǎn)的形狀一樣當(dāng)神經(jīng)元輸入與輸出節(jié)點(diǎn)的形狀一樣(即同時(shí)興奮或抑制即同時(shí)興奮或抑制)時(shí)，從第時(shí)，從第j個(gè)到第個(gè)到第i個(gè)個(gè)神經(jīng)元之間的銜接強(qiáng)度那么加強(qiáng)，否那神經(jīng)元之間的銜接強(qiáng)度那么加強(qiáng)，否那么那么減弱。么那么減弱。 海布法那么是一種無(wú)指點(diǎn)的死記式學(xué)習(xí)海布法那么是一種無(wú)指點(diǎn)的死記式學(xué)習(xí)算法。算法。 離散型霍普菲爾德網(wǎng)絡(luò)的學(xué)習(xí)目的：離散型霍普菲爾德網(wǎng)絡(luò)的學(xué)習(xí)

23、目的： 對(duì)具有對(duì)具有q q個(gè)不同的輸入樣本組個(gè)不同的輸入樣本組PrPrq qP1, P2 PqP1, P2 Pq，希望經(jīng)過(guò)調(diào)理計(jì)算有限的權(quán)值矩陣希望經(jīng)過(guò)調(diào)理計(jì)算有限的權(quán)值矩陣W W，使得當(dāng)每一組輸，使得當(dāng)每一組輸入樣本入樣本PkPk，k=1k=1，2 2，q q，作為系統(tǒng)的初始值，經(jīng)過(guò)，作為系統(tǒng)的初始值，經(jīng)過(guò)網(wǎng)絡(luò)的任務(wù)運(yùn)轉(zhuǎn)后，系統(tǒng)可以收斂到各自輸入樣本矢量網(wǎng)絡(luò)的任務(wù)運(yùn)轉(zhuǎn)后，系統(tǒng)可以收斂到各自輸入樣本矢量本身。本身。 當(dāng)當(dāng)k k1 1時(shí)，對(duì)于第時(shí)，對(duì)于第i i個(gè)神經(jīng)元，由海布學(xué)習(xí)規(guī)那么個(gè)神經(jīng)元，由海布學(xué)習(xí)規(guī)那么可得網(wǎng)絡(luò)權(quán)值對(duì)輸入矢量的學(xué)習(xí)關(guān)系式為：可得網(wǎng)絡(luò)權(quán)值對(duì)輸入矢量的學(xué)習(xí)關(guān)系式為： 其中，其

24、中，0，i1，2，r；j=1，2，r。在實(shí)踐學(xué)。在實(shí)踐學(xué)習(xí)規(guī)那么的運(yùn)用中，普通取習(xí)規(guī)那么的運(yùn)用中，普通取1或或1/r。 那么由上式求出的權(quán)值那么由上式求出的權(quán)值wij能否可以保證能否可以保證aipi？ 取取l，我們來(lái)驗(yàn)證一下，對(duì)于第，我們來(lái)驗(yàn)證一下，對(duì)于第i個(gè)輸出節(jié)點(diǎn)，有：個(gè)輸出節(jié)點(diǎn)，有： 根據(jù)海布規(guī)那么的權(quán)值設(shè)計(jì)方法，當(dāng)根據(jù)海布規(guī)那么的權(quán)值設(shè)計(jì)方法，當(dāng)k由由1添加到添加到2，直至直至q時(shí)，那么是在原有己設(shè)計(jì)出的權(quán)值的根底上，添時(shí)，那么是在原有己設(shè)計(jì)出的權(quán)值的根底上，添加一個(gè)新量加一個(gè)新量pjkpik，k2, q，所以對(duì)網(wǎng)絡(luò)一切輸入樣，所以對(duì)網(wǎng)絡(luò)一切輸入樣本記憶權(quán)值的設(shè)計(jì)公式為：本記憶權(quán)值的設(shè)

25、計(jì)公式為： 式中矢量式中矢量T為記憶樣本，為記憶樣本，TP。上式稱為推行的學(xué)習(xí)。上式稱為推行的學(xué)習(xí)調(diào)理規(guī)那么。當(dāng)系數(shù)調(diào)理規(guī)那么。當(dāng)系數(shù)1時(shí)，稱上式為時(shí)，稱上式為T的外積和公的外積和公式。式。 DHNN的設(shè)計(jì)目的是使恣意輸入矢量經(jīng)過(guò)網(wǎng)絡(luò)循的設(shè)計(jì)目的是使恣意輸入矢量經(jīng)過(guò)網(wǎng)絡(luò)循環(huán)最終收斂到網(wǎng)絡(luò)所記憶的某個(gè)樣本上。環(huán)最終收斂到網(wǎng)絡(luò)所記憶的某個(gè)樣本上。 由于霍普菲爾德網(wǎng)絡(luò)有由于霍普菲爾德網(wǎng)絡(luò)有wijwji，所以完好的霍普，所以完好的霍普菲爾德網(wǎng)絡(luò)權(quán)值設(shè)計(jì)公式該當(dāng)為：菲爾德網(wǎng)絡(luò)權(quán)值設(shè)計(jì)公式該當(dāng)為：用向量方式表示為：用向量方式表示為： 當(dāng)當(dāng)1 1時(shí)有：時(shí)有：其中，其中，I I為單位對(duì)角矩陣。為單位對(duì)角矩陣。

26、 在神經(jīng)網(wǎng)絡(luò)工具箱中有關(guān)采用海布公式求解網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)工具箱中有關(guān)采用海布公式求解網(wǎng)絡(luò)權(quán)矩陣變化的函數(shù)為權(quán)矩陣變化的函數(shù)為learnh.m和和learnhd.m，后者為帶，后者為帶有衰減學(xué)習(xí)速率的函數(shù)：有衰減學(xué)習(xí)速率的函數(shù)： dW1earnh(P，A，lr)； 或或 dWlearnhd(W，P，A，lr，dr)； 對(duì)于簡(jiǎn)單的情況，對(duì)于簡(jiǎn)單的情況，lr可以選擇可以選擇1；對(duì)于復(fù)雜的運(yùn)用，可；對(duì)于復(fù)雜的運(yùn)用，可取取lr0.10.5，drlr3。 8.3.4 影響記憶容量的要素影響記憶容量的要素 設(shè)計(jì)設(shè)計(jì)DHNN網(wǎng)絡(luò)的目的，是希望經(jīng)過(guò)網(wǎng)絡(luò)的目的，是希望經(jīng)過(guò)所設(shè)計(jì)的權(quán)值矩陣所設(shè)計(jì)的權(quán)值矩陣W儲(chǔ)存多個(gè)期

27、望方式。儲(chǔ)存多個(gè)期望方式。 從海布學(xué)習(xí)公式的推導(dǎo)過(guò)程中可以從海布學(xué)習(xí)公式的推導(dǎo)過(guò)程中可以看出：當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定方式時(shí)，該看出：當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定方式時(shí)，該方式一定被網(wǎng)絡(luò)準(zhǔn)確無(wú)誤地記憶住，即所方式一定被網(wǎng)絡(luò)準(zhǔn)確無(wú)誤地記憶住，即所設(shè)計(jì)的設(shè)計(jì)的W值一定可以滿足正比于輸入和輸值一定可以滿足正比于輸入和輸出矢量的乘積關(guān)系。出矢量的乘積關(guān)系。 但當(dāng)需求記憶的方式增多時(shí)，情況但當(dāng)需求記憶的方式增多時(shí)，情況那么發(fā)生了變化，主要表如今下面兩點(diǎn)上：那么發(fā)生了變化，主要表如今下面兩點(diǎn)上：(1) 權(quán)值挪動(dòng)權(quán)值挪動(dòng) 當(dāng)當(dāng)k=1時(shí)，有：時(shí)，有： 此時(shí)，網(wǎng)絡(luò)準(zhǔn)確的記住了樣本此時(shí)，網(wǎng)絡(luò)準(zhǔn)確的記住了樣本T1T1，當(dāng)，當(dāng)k

28、=2k=2時(shí)，為了時(shí)，為了記憶樣本記憶樣本T2T2，需求在記憶了樣本，需求在記憶了樣本TlTl的權(quán)值上加上對(duì)樣本的權(quán)值上加上對(duì)樣本T2T2的記憶項(xiàng)的記憶項(xiàng)T2T2T-IT2T2T-I，將權(quán)值在原來(lái)值根底上產(chǎn)生了挪，將權(quán)值在原來(lái)值根底上產(chǎn)生了挪動(dòng)。動(dòng)。 隨著學(xué)習(xí)樣本數(shù)隨著學(xué)習(xí)樣本數(shù)k k的添加，權(quán)值挪動(dòng)景象將進(jìn)一步的添加，權(quán)值挪動(dòng)景象將進(jìn)一步發(fā)生，當(dāng)學(xué)習(xí)了第發(fā)生，當(dāng)學(xué)習(xí)了第q q個(gè)樣本個(gè)樣本TqTq后，權(quán)值又在前后，權(quán)值又在前q-1q-1個(gè)樣個(gè)樣本修正的根底上產(chǎn)生了挪動(dòng)，這也是網(wǎng)絡(luò)在準(zhǔn)確的學(xué)本修正的根底上產(chǎn)生了挪動(dòng)，這也是網(wǎng)絡(luò)在準(zhǔn)確的學(xué)習(xí)了第一個(gè)樣本后的第習(xí)了第一個(gè)樣本后的第q-1q-1次挪動(dòng)。

29、次挪動(dòng)。 對(duì)已記憶的樣本發(fā)生遺忘，這種景象成為對(duì)已記憶的樣本發(fā)生遺忘，這種景象成為“疲勞。疲勞。 另一方面，由于在學(xué)習(xí)樣本另一方面，由于在學(xué)習(xí)樣本T2T2時(shí)，權(quán)矩陣時(shí)，權(quán)矩陣W W是在已是在已學(xué)習(xí)了學(xué)習(xí)了T1T1的根底上進(jìn)展修正的。此時(shí)，因的根底上進(jìn)展修正的。此時(shí)，因W W起始值不再起始值不再為零，所以由此調(diào)整得出的新的為零，所以由此調(diào)整得出的新的W W值，對(duì)記憶樣本值，對(duì)記憶樣本T2T2來(lái)來(lái)說(shuō)，也未必對(duì)一切的說(shuō)，也未必對(duì)一切的s s個(gè)輸出同時(shí)滿足符號(hào)函數(shù)的條件，個(gè)輸出同時(shí)滿足符號(hào)函數(shù)的條件，即難以保證網(wǎng)絡(luò)對(duì)即難以保證網(wǎng)絡(luò)對(duì)T2T2的準(zhǔn)確的記憶。的準(zhǔn)確的記憶。 (2) 交叉干擾交叉干擾 設(shè)輸入

30、矢量設(shè)輸入矢量P維數(shù)為維數(shù)為rq，取，取=1/r，由于對(duì)于，由于對(duì)于DHNN有有Pk-1，1，k=1，2，q，所以有，所以有pik*pjkpjk*pjk1。當(dāng)網(wǎng)絡(luò)某個(gè)矢量。當(dāng)網(wǎng)絡(luò)某個(gè)矢量Pl，l1,q，作為網(wǎng)，作為網(wǎng)絡(luò)的輸入矢量時(shí)，可得網(wǎng)絡(luò)的加權(quán)輸入和絡(luò)的輸入矢量時(shí)，可得網(wǎng)絡(luò)的加權(quán)輸入和nil為：為： 上式右邊中第一項(xiàng)為期望記憶的樣本，而第二項(xiàng)那么上式右邊中第一項(xiàng)為期望記憶的樣本，而第二項(xiàng)那么是當(dāng)網(wǎng)絡(luò)學(xué)習(xí)多個(gè)樣本時(shí)，在回想階段即驗(yàn)證該記憶是當(dāng)網(wǎng)絡(luò)學(xué)習(xí)多個(gè)樣本時(shí)，在回想階段即驗(yàn)證該記憶樣本時(shí)，所產(chǎn)生的相互關(guān)擾，稱為交叉干擾項(xiàng)。樣本時(shí)，所產(chǎn)生的相互關(guān)擾，稱為交叉干擾項(xiàng)。 8.3.5 網(wǎng)絡(luò)的記憶容量

31、確定網(wǎng)絡(luò)的記憶容量確定 只需滿足只需滿足rq，那么有，那么有sgn(Nl)Pl，保證保證Pl為網(wǎng)絡(luò)的穩(wěn)定解。為網(wǎng)絡(luò)的穩(wěn)定解。 DHNN用于聯(lián)想記憶有兩個(gè)突用于聯(lián)想記憶有兩個(gè)突出的特點(diǎn)：即記憶是分布式的，而出的特點(diǎn)：即記憶是分布式的，而聯(lián)想是動(dòng)態(tài)的。聯(lián)想是動(dòng)態(tài)的。 DHNN局限性，主要表如今以局限性，主要表如今以下幾點(diǎn)：記憶容量的有限性；下幾點(diǎn)：記憶容量的有限性；偽穩(wěn)定點(diǎn)的聯(lián)想與記憶；當(dāng)記憶偽穩(wěn)定點(diǎn)的聯(lián)想與記憶；當(dāng)記憶樣本較接近時(shí)，網(wǎng)絡(luò)不能一直回想樣本較接近時(shí)，網(wǎng)絡(luò)不能一直回想出正確的記憶等。出正確的記憶等。 另外網(wǎng)絡(luò)的平衡穩(wěn)定點(diǎn)并不可以恣另外網(wǎng)絡(luò)的平衡穩(wěn)定點(diǎn)并不可以恣意設(shè)置的，也沒有一個(gè)通用的

32、方式意設(shè)置的，也沒有一個(gè)通用的方式來(lái)事先知道平衡穩(wěn)定點(diǎn)。來(lái)事先知道平衡穩(wěn)定點(diǎn)。 所以真正想利用好霍普菲爾德網(wǎng)絡(luò)所以真正想利用好霍普菲爾德網(wǎng)絡(luò)并不是一件容易的事情。并不是一件容易的事情。 8.3.6 DHNN權(quán)值設(shè)計(jì)的其他方法(1)學(xué)習(xí)規(guī)那么：(2) (2) 偽逆法偽逆法 W WN NP P* * 其中其中P P* *為為P P的偽逆，有的偽逆，有P P* *(PTP)-1PT(PTP)-1PT，假設(shè)樣本之，假設(shè)樣本之間是線性無(wú)關(guān)的，那么間是線性無(wú)關(guān)的，那么PTPPTP滿秩，其逆存在，那么可求滿秩，其逆存在，那么可求出權(quán)矩陣出權(quán)矩陣W W來(lái)。由于存在求逆等運(yùn)算，偽逆法較為繁瑣，來(lái)。由于存在求逆等

33、運(yùn)算，偽逆法較為繁瑣，而海布法那么要容易求得多。而海布法那么要容易求得多。 (3) 正交化的權(quán)值設(shè)計(jì)正交化的權(quán)值設(shè)計(jì) 這一方法的根本思想和出發(fā)點(diǎn)是為了滿足下面四個(gè)這一方法的根本思想和出發(fā)點(diǎn)是為了滿足下面四個(gè)要求：要求： 1) 保證系統(tǒng)在異步任務(wù)時(shí)的穩(wěn)定性；保證系統(tǒng)在異步任務(wù)時(shí)的穩(wěn)定性； 2) 保證一切要求記憶的穩(wěn)定平衡點(diǎn)都能收斂到本人；保證一切要求記憶的穩(wěn)定平衡點(diǎn)都能收斂到本人； 3) 使偽穩(wěn)定點(diǎn)的數(shù)目盡能夠的少；使偽穩(wěn)定點(diǎn)的數(shù)目盡能夠的少； 4) 使穩(wěn)定點(diǎn)的吸引域盡能夠的大。使穩(wěn)定點(diǎn)的吸引域盡能夠的大。 雖然正交化設(shè)計(jì)方法的數(shù)學(xué)設(shè)計(jì)較為復(fù)雜，但與外雖然正交化設(shè)計(jì)方法的數(shù)學(xué)設(shè)計(jì)較為復(fù)雜，但與外

34、積和法相比較，所設(shè)計(jì)出的平衡穩(wěn)定點(diǎn)可以保證收斂積和法相比較，所設(shè)計(jì)出的平衡穩(wěn)定點(diǎn)可以保證收斂到本人并且有較大的穩(wěn)定域。更主要的是在到本人并且有較大的穩(wěn)定域。更主要的是在MATLAB工具箱中已將此設(shè)計(jì)方法寫進(jìn)了函數(shù)工具箱中已將此設(shè)計(jì)方法寫進(jìn)了函數(shù) solvehop.m中：中： W，bsolvehop(T)； 例例8.1思索一個(gè)具有兩個(gè)神經(jīng)元的霍普菲爾德網(wǎng)思索一個(gè)具有兩個(gè)神經(jīng)元的霍普菲爾德網(wǎng)絡(luò)，每個(gè)神經(jīng)元具有兩個(gè)權(quán)值和一個(gè)偏向。絡(luò)，每個(gè)神經(jīng)元具有兩個(gè)權(quán)值和一個(gè)偏向。網(wǎng)絡(luò)所要存儲(chǔ)的目的平衡點(diǎn)為一個(gè)列矢量網(wǎng)絡(luò)所要存儲(chǔ)的目的平衡點(diǎn)為一個(gè)列矢量T： T1 -1； -1 1；W,b=solvehop(T);

35、 設(shè)計(jì)設(shè)計(jì)Hopfield網(wǎng)絡(luò)。網(wǎng)絡(luò)。用來(lái)進(jìn)展測(cè)試的函數(shù)為用來(lái)進(jìn)展測(cè)試的函數(shù)為simuhop.m； 8.4 延續(xù)型霍普菲爾德網(wǎng)絡(luò)延續(xù)型霍普菲爾德網(wǎng)絡(luò) 霍普菲爾德網(wǎng)絡(luò)可以推行到輸入和輸出都取延續(xù)霍普菲爾德網(wǎng)絡(luò)可以推行到輸入和輸出都取延續(xù)數(shù)值的情形。這時(shí)網(wǎng)絡(luò)的根本構(gòu)造不變，形狀輸出方數(shù)值的情形。這時(shí)網(wǎng)絡(luò)的根本構(gòu)造不變，形狀輸出方程方式上也一樣。假設(shè)定義網(wǎng)絡(luò)中第程方式上也一樣。假設(shè)定義網(wǎng)絡(luò)中第i個(gè)神經(jīng)元的輸入個(gè)神經(jīng)元的輸入總和為總和為ni，輸出形狀為，輸出形狀為ai，那么網(wǎng)絡(luò)的形狀轉(zhuǎn)移方程可，那么網(wǎng)絡(luò)的形狀轉(zhuǎn)移方程可寫為：寫為：其中神經(jīng)元的激活函數(shù)其中神經(jīng)元的激活函數(shù)f f為為S S型的函數(shù)型的函數(shù)

36、( (或線性飽和函數(shù)或線性飽和函數(shù)) )： 或或 圖圖8.8 8.8 延續(xù)霍普菲爾德網(wǎng)絡(luò)激活函數(shù)延續(xù)霍普菲爾德網(wǎng)絡(luò)激活函數(shù) 例例8.2TSP問題。問題。 所謂所謂TSP(Traveling Salesman Problem)問題，即問題，即“游游覽商問題是一個(gè)非常有名的難以求解的優(yōu)化問題，覽商問題是一個(gè)非常有名的難以求解的優(yōu)化問題，其要求很簡(jiǎn)單：在其要求很簡(jiǎn)單：在n個(gè)城市的集合中，找出一條經(jīng)過(guò)每個(gè)城市的集合中，找出一條經(jīng)過(guò)每個(gè)城市各一次，最終回到起點(diǎn)的最短途徑。個(gè)城市各一次，最終回到起點(diǎn)的最短途徑。 假設(shè)知城市假設(shè)知城市A，B，C，D，之間的間隔為，之間的間隔為dAB，dBC，dCD；那么總的

37、間隔；那么總的間隔ddAB+dBC+dCD+，對(duì)于這種動(dòng)態(tài)規(guī)化問題，要去求其對(duì)于這種動(dòng)態(tài)規(guī)化問題，要去求其min(d)的解。的解。 由于對(duì)于由于對(duì)于n個(gè)城市的全陳列共有個(gè)城市的全陳列共有n!種，而種，而TSP并沒有并沒有限定途徑的方向，即為全組合，所以對(duì)于固定的城市限定途徑的方向，即為全組合，所以對(duì)于固定的城市數(shù)數(shù)n的條件下，其途徑總數(shù)的條件下，其途徑總數(shù)Sn為為Snn!2n (n4) 圖圖8. 9 n4時(shí)的時(shí)的TSP途徑圖途徑圖 表表8. 2 城市數(shù)和對(duì)應(yīng)的城市數(shù)和對(duì)應(yīng)的游覽方案數(shù)游覽方案數(shù) 采用延續(xù)時(shí)間的霍普菲爾德網(wǎng)絡(luò)模型來(lái)求解采用延續(xù)時(shí)間的霍普菲爾德網(wǎng)絡(luò)模型來(lái)求解TSP，開辟了一條處理這一問題的新途徑。其根本思想是把開辟了一條處理這一問題的新途徑。其根本思想是把TSP映射到映射到CHNN上，經(jīng)過(guò)網(wǎng)絡(luò)形狀的動(dòng)態(tài)演化逐漸趨上，經(jīng)過(guò)網(wǎng)絡(luò)形狀的動(dòng)態(tài)演化逐漸趨向穩(wěn)態(tài)而自動(dòng)地搜索出優(yōu)化解。向穩(wěn)態(tài)而自動(dòng)地搜索出優(yōu)化解。 TSP的解是假設(shè)干城市的有序陳列，任何一個(gè)城市的解是假設(shè)干