Hopfield神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)教案

Hopfield神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)教案第1頁/共52頁網(wǎng)絡(luò)結(jié)構(gòu)形式Hopfield網(wǎng)絡(luò)是單層對稱全反饋網(wǎng)絡(luò)，根據(jù)激活函數(shù)選取的不同，可分為離散型和連續(xù)性兩種（DHNN,CHNN）。DHNN：作用函數(shù)為hadlim，主要用于聯(lián)想記憶。CHNN：作用函數(shù)為S型函數(shù)，主要用于優(yōu)化計算。反饋網(wǎng)絡(luò)的結(jié)構(gòu)如圖2.8.1所示。第2頁/共52頁

圖2.8.1Hopfield網(wǎng)絡(luò)結(jié)構(gòu)第3頁/共52頁非線性系統(tǒng)狀態(tài)演變的形式

在Hopfield網(wǎng)絡(luò)中，由于反饋的存在，其加權(quán)輸入和ui，i=1~n為網(wǎng)絡(luò)狀態(tài)，網(wǎng)絡(luò)的輸出為y1~yn，則u,y的變化過程為一個非線性動力學(xué)系統(tǒng)?？捎梅蔷€性差（微）分方程來描述。一般有如下的幾種狀態(tài)演變形式：（1）漸進(jìn)穩(wěn)定（2）極限環(huán)（3）混沌現(xiàn)象（4）狀態(tài)軌跡發(fā)散第4頁/共52頁Hopfield網(wǎng)絡(luò)的穩(wěn)定性可用能量函數(shù)進(jìn)行分析。目前，人工神經(jīng)網(wǎng)絡(luò)常利用漸進(jìn)穩(wěn)定點來解決某些問題。例如，如果把系統(tǒng)的穩(wěn)定點視為一個記憶的話，那么從初態(tài)朝這個穩(wěn)定點的演變過程就是尋找記憶的過程。初態(tài)可以認(rèn)為是給定的有關(guān)記憶的部分信息。如果把系統(tǒng)的穩(wěn)定點視為一個能量函數(shù)的極小點，把能量函數(shù)視為一個優(yōu)化問題的目標(biāo)函數(shù)，那么從初態(tài)朝這個穩(wěn)定點的演變過程就是一個求該優(yōu)化問題的過程。這樣的優(yōu)點在于它的解并不需要真的去計算，而只要構(gòu)成這種反饋網(wǎng)絡(luò)，適當(dāng)?shù)脑O(shè)計其連接值和輸入就可達(dá)到目的。第5頁/共52頁離散型的Hopfield神經(jīng)網(wǎng)絡(luò)1、I/O關(guān)系2、兩種工作方式3、網(wǎng)絡(luò)的穩(wěn)定性分析4、DHNN網(wǎng)絡(luò)設(shè)計第6頁/共52頁網(wǎng)絡(luò)結(jié)構(gòu)及I/O關(guān)系

圖2.8.2是一個有三個節(jié)點的DHNN結(jié)構(gòu)。對于以符號函數(shù)為激活函數(shù)的網(wǎng)絡(luò)，網(wǎng)絡(luò)的方程可寫為：圖2.8.2第7頁/共52頁兩種工作方式DHNN主要有以下兩種工作方式：（1）串行工作方式在某一時刻只有一個神經(jīng)元按照上式改變狀態(tài)，而其它神經(jīng)元的輸出不變。這一變化的神經(jīng)元可以按照隨機的方式或預(yù)定的順序來選擇。（2）并行工作方式在某一時刻有N個神經(jīng)元按照上式改變狀態(tài)，而其它的神經(jīng)元的輸出不變。變化的這一組神經(jīng)元可以按照隨機方式或某種規(guī)則來選擇。當(dāng)N=n時，稱為全并行方式。第8頁/共52頁DHNN的穩(wěn)定工作點Xi(t+1)=Xi(t)=sgn(∑j=1nWijXi(t)-θi) i=1,2,…,n第9頁/共52頁網(wǎng)絡(luò)的穩(wěn)定性分析DHNN的能量函數(shù)定義為：第10頁/共52頁

關(guān)于DHNN的穩(wěn)定性有如下的定理：

當(dāng)網(wǎng)絡(luò)工作在串行方式下時，若W為對稱陣，且其對角元素非負(fù)，則其能量函數(shù)單調(diào)下降，網(wǎng)絡(luò)總能收斂到一個穩(wěn)定點。第11頁/共52頁

全并行方式下也有同樣的結(jié)論。第12頁/共52頁DHNN網(wǎng)絡(luò)設(shè)計

用DHNN實現(xiàn)聯(lián)想記憶需要考慮兩個重要的問題：①怎樣按記憶確定網(wǎng)絡(luò)的W和；②網(wǎng)絡(luò)給定之后如何分析它的記憶容量。下面將分別討論。1、權(quán)值設(shè)計的方法2、記憶容量分析3、權(quán)值修正的其它方法在MATLAB中，用函數(shù)newhop.m來設(shè)計一個Hopfield網(wǎng)絡(luò)：

net=newhop(T)第13頁/共52頁權(quán)值設(shè)計的方法

權(quán)值設(shè)計的方法有外積法、偽逆法、正交設(shè)計法等。下面僅介紹外積法，它是一種比較簡單，在一定條件下行之有效的方法。第14頁/共52頁例設(shè)計DHNN，并考察其聯(lián)想性能。說明所設(shè)計的網(wǎng)絡(luò)沒有準(zhǔn)確的記憶所有期望的模式。第15頁/共52頁記憶容量分析

當(dāng)網(wǎng)絡(luò)只記憶一個穩(wěn)定的模式時，該模式肯定被網(wǎng)絡(luò)準(zhǔn)確無誤的記憶住。但當(dāng)所要記憶的模式增加時，情況則發(fā)生了變化，主要表現(xiàn)在下列兩點上：1、權(quán)值移動2、交叉干擾第16頁/共52頁權(quán)值移動

在網(wǎng)絡(luò)的學(xué)習(xí)過程中，網(wǎng)絡(luò)對權(quán)值的記憶實際上是逐個實現(xiàn)的。即對權(quán)值W，有程序:當(dāng)網(wǎng)絡(luò)準(zhǔn)確的X1時，為了記憶X2,需要在記憶樣本X1的權(quán)值上加上對樣本X2的記憶項X2X2T-I，將權(quán)值在原來值的基礎(chǔ)上產(chǎn)生了移動。這樣網(wǎng)絡(luò)有可能部分得遺忘了以前以記憶住的模式。()endIXXWWqkforWTKK-+===,1

0第17頁/共52頁

從動力學(xué)的角度來看，k值較小時，網(wǎng)絡(luò)Hebb學(xué)習(xí)規(guī)則，可以使輸入學(xué)習(xí)樣本成為其吸引子。隨著k值的增加，不但難以使后來的樣本成為網(wǎng)絡(luò)的吸引子，而且有可能使已記憶住的吸引子的吸引域變小，使原來處于吸引子位置上的樣本從吸引子的位置移動。對一記憶的樣本發(fā)生遺忘，這種現(xiàn)象稱為“疲勞”。第18頁/共52頁交叉干擾

網(wǎng)絡(luò)在學(xué)習(xí)多個樣本后，在回憶階段即驗證該記憶樣本時，所產(chǎn)生的干擾，稱為交叉干擾。對外積型設(shè)計而言，如果輸入樣本是彼此正交的，n個神經(jīng)元的網(wǎng)絡(luò)其記憶容量的上界為n。但是在大多數(shù)情況下，學(xué)習(xí)樣本不可能是正交的，因而網(wǎng)絡(luò)的記憶容量要比n小得多，一般為(0.13~0.15)n，n為神經(jīng)元數(shù)。第19頁/共52頁權(quán)值修正的其它方法1、學(xué)習(xí)規(guī)則2、偽逆法3、正交化權(quán)值設(shè)計第20頁/共52頁

學(xué)習(xí)規(guī)則

學(xué)習(xí)規(guī)則基本公式是：

即通過計算該神經(jīng)元節(jié)點的實際激活值A(chǔ)(t)，與期望狀態(tài)T(t)進(jìn)行比較，若不滿足要求，將兩者的誤差的一部分作為調(diào)整量，若滿足要求，則相應(yīng)的權(quán)值保持不變。第21頁/共52頁偽逆法第22頁/共52頁正交化權(quán)值設(shè)計

這一方法的基本思想和出發(fā)點是為了滿足下面四個要求：

1）保證系統(tǒng)在異步工作時的穩(wěn)定性，即它的權(quán)值是對稱的；

2）保證所有要求記憶的穩(wěn)定平衡點都能收斂到自己；

3）使偽穩(wěn)定點的數(shù)目盡可能的少；

4）使穩(wěn)定點的吸引域盡可能的大。MATLAB函數(shù)[w,b]=solvehop(T);第23頁/共52頁連續(xù)性的Hopfield網(wǎng)絡(luò)CHNN是在DHNN的基礎(chǔ)上提出的，它的原理和DHNN相似。由于CHNN是以模擬量作為網(wǎng)絡(luò)的輸入輸出量，各神經(jīng)元采用并行方式工作，所以它在信息處理的并行性、聯(lián)想性、實時性、分布存儲、協(xié)同性等方面比DHNN更接近于生物神經(jīng)網(wǎng)絡(luò)。我們將從以下幾點來討論CHNN。1、網(wǎng)絡(luò)模型2、CHNN方程的解及穩(wěn)定性分析3、關(guān)于Hopfield能量函數(shù)的幾點說明4、關(guān)于CHNN的幾點結(jié)論第24頁/共52頁CHNN的網(wǎng)絡(luò)模型

圖2.8.3是Hopfield動態(tài)神經(jīng)元模型。對于神經(jīng)元，放大器的I/O關(guān)系可用如下的方程來描述：

圖2.8.4是CHNN的結(jié)構(gòu)圖。

第25頁/共52頁Hopfield動態(tài)神經(jīng)元模型第26頁/共52頁圖2.8.4u1第27頁/共52頁對上述方程變形得：第28頁/共52頁CHNN方程的解及穩(wěn)定性分析

對于CHNN來說，關(guān)心的同樣是穩(wěn)定性問題。在所有影響電路系統(tǒng)穩(wěn)定的所有參數(shù)種，一個比較特殊的參數(shù)值是放大器的放大倍數(shù)。從前面的分析中可以看出，當(dāng)放大器的放大倍數(shù)足夠大時，網(wǎng)絡(luò)由連續(xù)性轉(zhuǎn)化成離散型，狀態(tài)與輸出之間的關(guān)系表現(xiàn)了激活函數(shù)的形狀，而正是激活函數(shù)代表了一個網(wǎng)絡(luò)的特點，所以，下面著重分析不同激活函數(shù)關(guān)系對系統(tǒng)的穩(wěn)定性的影響。1、激活函數(shù)為線性函數(shù)時2、激活函數(shù)為非線性函數(shù)時第29頁/共52頁

當(dāng)激活函數(shù)為線性函數(shù)時，即第30頁/共52頁

對于非線性系統(tǒng)進(jìn)行穩(wěn)定性分析，方法之一就是在系統(tǒng)的平衡點附近對系統(tǒng)進(jìn)行線性化處理。也可以基于網(wǎng)絡(luò)的能量函數(shù)。下面介紹Hopfield能量函數(shù)法。第31頁/共52頁第32頁/共52頁

此定理表明，隨著時間的演化，網(wǎng)絡(luò)的狀態(tài)總是朝能量減少的方向運動。網(wǎng)絡(luò)的平衡點就是E的極小點。第33頁/共52頁關(guān)于Hopfield能量函數(shù)的

幾點說明

當(dāng)對反饋網(wǎng)絡(luò)應(yīng)用能量函數(shù)后，從任一初始狀態(tài)開始，因為在每次迭代后都能滿足E≤0，所以網(wǎng)絡(luò)的能量將會越來越小，最后趨于穩(wěn)定點E=0。

Hopfield能量函數(shù)的物理意義是：在那些漸進(jìn)穩(wěn)定點的吸引域內(nèi)，離吸引點越遠(yuǎn)的狀態(tài)，所具有的能量越大，由于能量函數(shù)的單調(diào)下降特性，保證狀態(tài)的運動方向能從遠(yuǎn)離吸引點處，不斷地趨于吸引點，直到達(dá)到穩(wěn)定點。第34頁/共52頁

幾點說明：

1）能量函數(shù)為反饋網(wǎng)絡(luò)的重要概念。根據(jù)能量函數(shù)可以方便的判斷系統(tǒng)的穩(wěn)定性；

2）能量函數(shù)與李雅普諾夫函數(shù)的區(qū)別在于：李氏被限定在大于零的范圍內(nèi)，且要求在零點值為零；

3）Hopfield選擇的能量函數(shù)，只是保證系統(tǒng)穩(wěn)定和漸進(jìn)穩(wěn)定的充分條件，而不是必要條件，其能量函數(shù)也不是唯一的。第35頁/共52頁關(guān)于CHNN的幾點結(jié)論1）具有良好的收斂性；

2）具有有限個平衡點；

3）如果平衡點是穩(wěn)定的，那么它也一定是漸進(jìn)穩(wěn)定的；

4）漸進(jìn)穩(wěn)定平衡點為其能量函數(shù)的局部極小點；

5）能將任意一組希望存儲的正交化矢量綜合為網(wǎng)絡(luò)的漸進(jìn)平衡點；

6）網(wǎng)絡(luò)的存儲信息表現(xiàn)為神經(jīng)元之間互連的分布式動態(tài)存儲；

7）網(wǎng)絡(luò)以大規(guī)模、非線性、連續(xù)時間并行方式處理信息，其計算時間就是網(wǎng)絡(luò)趨于平衡點的時間。第36頁/共52頁Hopfield網(wǎng)絡(luò)

在組合優(yōu)化中的應(yīng)用

組合優(yōu)化問題，就是在給定約束條件下，求出使目標(biāo)函數(shù)極?。ɑ驑O大）的變量組合問題。

將Hopfield網(wǎng)絡(luò)應(yīng)用于求解組合優(yōu)化問題，就是把目標(biāo)函數(shù)轉(zhuǎn)化為網(wǎng)絡(luò)的能量函數(shù)，把問題的變量對應(yīng)于網(wǎng)絡(luò)的狀態(tài)。這樣當(dāng)網(wǎng)絡(luò)的能量函數(shù)收斂于極小值時，問題的最優(yōu)解也隨之求出。

第37頁/共52頁旅行商問題，簡稱TSP（TravelingSalesmanProblem）。問題的提法是：設(shè)有N個城市， ,記為： ,用dij表示ci和cj之間的距離，dij>0,(i,j=1,2,…n)。有一旅行商從某一城市出發(fā)，訪問各城市一次且僅一次后再回到原出發(fā)城市。要求找出一條最短的巡回路線。第38頁/共52頁N=5TSPProbelmN=5，并用字母A、B、C、D、E、分別代表這5個城市。當(dāng)任選一條路徑如B->D->E->A->C,，則其總路徑長度可表示為第一步就是將問題映照到一個神經(jīng)網(wǎng)絡(luò)。假定每個神經(jīng)元的放大器有很高的放大倍數(shù)，神經(jīng)元的輸出限制在二值0和1上，則映照問題可以用一個換位矩陣（PermutationMatrix）來進(jìn)行，換位矩陣可如下圖所示。

第39頁/共52頁換位矩陣次序城市12345A00010B10000C00001D01000E00100第40頁/共52頁約束條件和最優(yōu)條件

矩陣的每個元素對應(yīng)于神經(jīng)網(wǎng)絡(luò)中的每個神經(jīng)元，則這個問題可