第三章神經(jīng)網(wǎng)絡(luò)2-hopfield網(wǎng)絡(luò)

1、晁 第5章單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口晁 第5章單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口晁 第5章單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口智能控制技術(shù)西安工業(yè)大學(xué)晁 第5章單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口晁 第5章單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口電信學(xué)院宋曉茹占和第5章單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口7.4反饋神經(jīng)網(wǎng)絡(luò)模型Hopfield 網(wǎng)絡(luò)第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口7.4反饋神經(jīng)網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)1982年，J. Hopfield提出了可用作聯(lián)想存儲(chǔ)器的互連 網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)稱(chēng)為Hopfield網(wǎng)絡(luò)模型，也稱(chēng)Hopfield 模型。Hopfield神經(jīng)網(wǎng)絡(luò)模型是一種循環(huán)神經(jīng)網(wǎng)絡(luò)，從 輸出到輸入

2、有反饋連接。Hopfield網(wǎng)絡(luò)屬于無(wú)監(jiān)督學(xué)習(xí)神經(jīng)元網(wǎng)絡(luò)。 Hopfield網(wǎng)絡(luò)是單層反饋網(wǎng)絡(luò)，是一種全連接加權(quán)無(wú) 向圖，可分為連續(xù)型和離散型二種形式。第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口圖 726 Hopfield 網(wǎng)絡(luò)-0第5章單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口Hopfield網(wǎng)絡(luò)是單層反饋網(wǎng)絡(luò)，有n個(gè)神經(jīng)元節(jié)點(diǎn), 每個(gè)神經(jīng)元的輸出連按到其它神經(jīng)元的輸入。各個(gè)節(jié) 點(diǎn)自己沒(méi)有反饋，圖中的每個(gè)節(jié)點(diǎn)都附有一個(gè)閾值和 權(quán)系數(shù)。每個(gè)節(jié)點(diǎn)都可處于一種可能的狀態(tài)（1或一 1）,即當(dāng)該神經(jīng)元所受的刺激越過(guò)其閾值時(shí)，神經(jīng) 元處于一種狀態(tài)（比如1）。否則神經(jīng)元就始終處于 另一狀態(tài)（比如一1）,圖中頂點(diǎn)的個(gè)數(shù)就是

3、該神經(jīng) 網(wǎng)絡(luò)的階數(shù)。第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口從時(shí)域上來(lái)看，Hopfield網(wǎng)可以用一組耦合的非 線(xiàn)性微分方程來(lái)表示。在一定條件下，Hopfield網(wǎng)絡(luò) 可以用作聯(lián)想存儲(chǔ)器。Hopfield網(wǎng)絡(luò)得到廣泛應(yīng)用的 另一個(gè)特點(diǎn)是它具備快速優(yōu)化能力。C1F4離散型的Hopfield網(wǎng)絡(luò)即二值型的Hopfield網(wǎng)絡(luò)，只 有一個(gè)神經(jīng)元層次。每個(gè)處理單元均有一個(gè)活躍值 (狀態(tài))取兩個(gè)可能的狀態(tài)值之一，通常用0和1或一1 和1來(lái)表示神經(jīng)元的兩個(gè)狀態(tài)，即抑制或興奮。整個(gè)網(wǎng) 絡(luò)的狀態(tài)由單一神經(jīng)元的狀態(tài)組成。網(wǎng)絡(luò)的狀態(tài)可用 一個(gè)由0(1)/1組成的矢量來(lái)表示，其中每一元素對(duì)應(yīng) 于某個(gè)神經(jīng)元的狀態(tài)。第5

4、章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口HopfieldQ網(wǎng)絡(luò)的基本單元第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口圖727 Hopfield基本單元第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口匕0V, <0工忖+0J=1+1S,=保持以前狀態(tài)-1第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口如果Hopfield網(wǎng)絡(luò)是一個(gè)能收斂的穩(wěn)定網(wǎng)絡(luò)，則反饋 與迭代過(guò)程所產(chǎn)生的變化越來(lái)越小，一旦到達(dá)了穩(wěn)定平 衡狀態(tài)；那么Hopfield網(wǎng)絡(luò)就會(huì)輸出一個(gè)穩(wěn)定的恒值。 對(duì)于一個(gè)Hopfield網(wǎng)絡(luò)來(lái)說(shuō)，關(guān)鍵是在于確定它在穩(wěn)定 條件下的權(quán)系數(shù)。應(yīng)該指出：反

5、饋網(wǎng)絡(luò)有穩(wěn)定的，也有不穩(wěn)定的。對(duì)于 Hopfield網(wǎng)絡(luò)來(lái)說(shuō)，還存在如何判別它是穩(wěn)定網(wǎng)絡(luò)，亦 或是不穩(wěn)定的問(wèn)題；而判別依據(jù)是什么，也是需要確定 的。融 第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口1離散Hop五e(cuò)ld網(wǎng)絡(luò)Hopfield最早提出的網(wǎng)絡(luò)是二值神經(jīng)網(wǎng)絡(luò)，神經(jīng)元的 輸出只取1和0這兩個(gè)值，所以，也稱(chēng)離散Hopfield神經(jīng) 網(wǎng)絡(luò)。在離散Hopfield網(wǎng)絡(luò)中，所采用的神經(jīng)元是二值 神經(jīng)元；故而，所輸出的離散值1和0分別表示神經(jīng)元處 于激活和抑制狀態(tài)。先考慮由三個(gè)神經(jīng)元組成的離散Hopfield神經(jīng)網(wǎng)絡(luò)，其 結(jié)構(gòu)如圖713中所示。第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口第5章 單片機(jī)的定時(shí)/計(jì)

6、數(shù)器與串行接口XLK?XJ0713離散Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口第一層是實(shí)際神經(jīng)元，故而執(zhí)行對(duì)輸人信息和權(quán)系數(shù) 乘積求累加和，并由非線(xiàn)性函數(shù)f處理后產(chǎn)生輸出信息。 f是一個(gè)簡(jiǎn)單的閾值函效，如果神經(jīng)元的輸出信息大于閾 值e,那么，神經(jīng)元的輸出就取值為1；小于閾值e,則神 經(jīng)元的輸出就取值為e。對(duì)于二值神經(jīng)元，它的計(jì)算公式如下口 二耳 WijE + 旳其中：xi為外部輸入。并且有:Yi=l,當(dāng) UiHi 時(shí)Yi=O,當(dāng) UivGi 時(shí)第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口-cOo對(duì)于一個(gè)離散的Hopfield網(wǎng)絡(luò)，其網(wǎng)絡(luò)狀態(tài)是輸出神 經(jīng)元信息的集合。對(duì)于一

7、個(gè)輸出層是n個(gè)神經(jīng)元的網(wǎng)絡(luò)， 則其t時(shí)刻的狀態(tài)為一個(gè)n維向量：Y(t)二Yl(t),Y2(t),Yn(t)T故而，網(wǎng)絡(luò)狀態(tài)有2"個(gè)狀態(tài);因?yàn)閅j(t)(j = ln)可以 取值為1或0；故n維向量Y(t)有2"種狀態(tài)，即是網(wǎng)絡(luò)狀態(tài)。 1!角相對(duì)應(yīng)。對(duì)于三個(gè)神經(jīng)元的離散Hopfield網(wǎng)絡(luò)，它的輸出層就是 三位二進(jìn)制數(shù)；每一個(gè)三位二進(jìn)制數(shù)就是一種網(wǎng)絡(luò)狀態(tài), 從而共有8個(gè)網(wǎng)絡(luò)狀態(tài)。網(wǎng)絡(luò)狀態(tài)如圖714中所示。立 方體的每個(gè)頂角表示一種網(wǎng)絡(luò)狀態(tài)。同理，對(duì)于n個(gè)神 經(jīng)元的輸出層，它有2"個(gè)網(wǎng)絡(luò)狀態(tài)，也和一個(gè)n維超立 方體第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口第5章 單片機(jī)的

8、定時(shí)/計(jì)數(shù)器與串行接口00111111000001(1結(jié)構(gòu)如圖713第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口如果Hopfield網(wǎng)絡(luò)是一個(gè)穩(wěn)定網(wǎng)絡(luò)，那么在網(wǎng)絡(luò)的輸入 端加入一個(gè)輸入向量，則網(wǎng)絡(luò)的狀態(tài)會(huì)產(chǎn)生變化，也就是從超立方體的一個(gè)頂角轉(zhuǎn)移向另一個(gè)頂角，并且最終穩(wěn)定于一個(gè)特定的頂角。對(duì)于一個(gè)由n個(gè)神經(jīng)元組成的離散Hopfield網(wǎng)絡(luò)，則有 n*n權(quán)系數(shù)矩陣W：W=Wij i=l,2,n j=l,2,n同時(shí)，有n維閾值向量B： 9=91,92,.9nT 一般而言，w和6可以確定一個(gè)唯一的離散Hopfield網(wǎng)絡(luò)。第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口對(duì)于一個(gè)網(wǎng)絡(luò)來(lái)說(shuō)，穩(wěn)定性是一個(gè)重大的性能指標(biāo)!對(duì)

9、于離散Hopfield網(wǎng)絡(luò)，其狀態(tài)為Y(t)：Y(t)=Yl(t),Y2(t)v.,Yn(t)T如果，對(duì)于任何/kt。.當(dāng)神經(jīng)網(wǎng)絡(luò)從t=0開(kāi)始，有初始 狀態(tài)Y(0)；經(jīng)過(guò)有限時(shí)刻t,有：Y(t+At)=Y(t) 則稱(chēng)網(wǎng)絡(luò)是穩(wěn)定的。即所謂能量對(duì)Hopfield網(wǎng)絡(luò)引入一個(gè)Lyapunov函數(shù), 函數(shù)E=(-孕 XjYj + 孕jYj第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口日n 耳1 口wn即 E語(yǔ)(一 +略Wij阿一希硒+豁Yj= ?(-* )$Wij 乙 丫訂-若均 + 科 | J IL = 1u對(duì)于神經(jīng)元j,其能量函數(shù)

10、可表示為：即:-cM第5章單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口神經(jīng)元j的能量變化量表示為AEj:Rs-cM第5章單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口1 Y YY-zrLR郭 WijYi 誌 + Wij 爲(wèi) Yj) - Xj 芯 + 險(xiǎn) a Yj如果存在條件Wii=O, i=l,2,.,nWij=Wji i=l,2,nj=l,2,n則肴：= -SWLjY;-Xj + 陽(yáng)7J li二-SWijYi + Xj-ejjAYj=I第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口1=1|=|式中：Ej為神經(jīng)元j的能量； Ej為神經(jīng)元j的能量變化；Wij為神經(jīng)元倒神經(jīng)元j的權(quán)系數(shù):Yi為神經(jīng)元j的輸出；Xj為神經(jīng)元j的外部輸入；

11、 可為神經(jīng)元j的閥值； Yj為神經(jīng)元j的輸出變化。 如果，令Uj=EWijYi+Xj則AEj可表示為： 考慮如下兩種情況：第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口1.如果Uj>0j,即神經(jīng)元j的輸入結(jié)果的值大于閥值， 則Uj-0j>o,則從二值神經(jīng)元的計(jì)算公式知道：Yj的值保 持為1,或者從0變到1。這說(shuō)明Yj的變化AYj只能是0或 正值。這時(shí)很明顯有AEj： AEj<0這說(shuō)明Hopfield網(wǎng)絡(luò)神經(jīng)元的能量減少或不變。MUj-0j>O,則從二值神經(jīng)元的計(jì)算公式可知：Yj的值保持為0,或者從1變到0。這說(shuō)明Yj的變化AYj只能是零 或負(fù)位。這時(shí)則有ZEj： AEj<

12、0這也說(shuō)明Hopfield網(wǎng)絡(luò)神經(jīng)元的能量減少。o第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口上面兩點(diǎn)說(shuō)明了 Hopfield網(wǎng)絡(luò)在權(quán)系數(shù)矩陣W的對(duì) 角線(xiàn)元素為0,而且W矩陣元素對(duì)稱(chēng)時(shí)，Hopfield網(wǎng)絡(luò)是 穩(wěn)定的。hopfield網(wǎng)絡(luò)的一個(gè)功能是可用于聯(lián)想記憶，也即是 聯(lián)想存儲(chǔ)器。這是人類(lèi)的智能特點(diǎn)之一。對(duì)于Hopfield 網(wǎng)絡(luò)，用它作聯(lián)想記憶時(shí)，首先通過(guò)一個(gè)學(xué)習(xí)訓(xùn)練過(guò)程 確定網(wǎng)絡(luò)中的權(quán)系數(shù)，使所記憶的信息在網(wǎng)絡(luò)的n維超 立方體的某一個(gè)頂角的能量最小。當(dāng)網(wǎng)絡(luò)的權(quán)系數(shù)確定 之后，只要向網(wǎng)絡(luò)給出輸入向量，這個(gè)向量可能是局部 數(shù)據(jù).即不完全或部分不正確的數(shù)據(jù)，但是網(wǎng)絡(luò)仍然產(chǎn) 生所記憶的信息的完整輸出

13、。第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口1984年Hopfield開(kāi)發(fā)了 一種用n維Hopfield網(wǎng)絡(luò)作聯(lián)想 存儲(chǔ)器的結(jié)構(gòu)。在這個(gè)網(wǎng)絡(luò)中，權(quán)系數(shù)的賦值規(guī)則為存 儲(chǔ)向量的外積存儲(chǔ)規(guī)貝!l(out product storage prescription) 其原理省略。2連續(xù)Hopfield網(wǎng)絡(luò) b P 一3!連續(xù)Hopfield網(wǎng)絡(luò)的拓樸結(jié)構(gòu)和離散Hopfield網(wǎng)絡(luò)的結(jié) 構(gòu)相同。這種拓樸結(jié)構(gòu)和生物的神經(jīng)系統(tǒng)中大量存在的 神經(jīng)反饋回路是相一致的。在連續(xù)Hopfield網(wǎng)絡(luò)中，和 離散Hopfield網(wǎng)絡(luò)一樣，其穩(wěn)定條件也要求Wij二Wji。第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口連續(xù)Hopfie

14、ld網(wǎng)絡(luò)和離散Hopfield網(wǎng)絡(luò)不同的地方在于 其函數(shù)g不是階躍函數(shù)，而是S形的連續(xù)函數(shù)。一般取 g(u)=l/(l+e-u)當(dāng)網(wǎng)絡(luò)神經(jīng)元的傳遞函數(shù)是S函數(shù)，并且網(wǎng)絡(luò)權(quán)系數(shù)矩 陣對(duì)稱(chēng)；則隨時(shí)間的變化網(wǎng)絡(luò)的能量會(huì)下降或不變；且 僅當(dāng)輸出電位隨時(shí)間變化不變時(shí).網(wǎng)絡(luò)的能量才會(huì)不變。 換而言之，在上述條件下的網(wǎng)絡(luò)是能量不變或下降 的。定理的證明省略可以證明，如果Hopfield網(wǎng)絡(luò)的傳遞函數(shù)g是連續(xù)而且 有界的，那么，能量函數(shù)E(t)是有界的。第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口最后結(jié)論：當(dāng)Hopfield網(wǎng)絡(luò)的神經(jīng)元傳遞函數(shù)g是連續(xù) 且有界的，eg： Sigmoid函數(shù)，并且網(wǎng)絡(luò)的權(quán)系數(shù)矩陣 對(duì)

15、稱(chēng)，則這個(gè)連續(xù)Hopfield網(wǎng)絡(luò)是穩(wěn)定的。在實(shí)際應(yīng)用中任一系統(tǒng)，如果其優(yōu)化問(wèn)題可以用能量函 數(shù)E(t)作為目標(biāo)函數(shù)，則總可以用連續(xù)Hopfield網(wǎng)絡(luò)對(duì)其 進(jìn)行求解。由于引入能量函數(shù)E(t), Hopfield使神經(jīng)網(wǎng)絡(luò)和問(wèn)題優(yōu)化直接對(duì)應(yīng)；這種工作是具開(kāi)拓性的。利用神 經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化計(jì)算，就是在神經(jīng)網(wǎng)絡(luò)這一動(dòng)力系統(tǒng)給 出初始的估計(jì)點(diǎn)，即初始條件；然后隨網(wǎng)絡(luò)的運(yùn)動(dòng)傳遞 而找到相應(yīng)極小點(diǎn)。這樣，大量的優(yōu)化問(wèn)題都可以用連 續(xù)的Hopfield網(wǎng)來(lái)求解。這也是Hopfield網(wǎng)絡(luò)用于神經(jīng) 計(jì)算的基本原因。第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口1, 4,設(shè)例2：由3個(gè)神經(jīng)元組成的Hopfield網(wǎng)絡(luò)，

16、有2個(gè)基 本存貯器，存貯2個(gè)向*1, -b 1和卜1,計(jì)權(quán)連接矩陣。第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口解析：按公式:0 -22-202 -2第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口相應(yīng)的連接圖形如7-28：第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口滿(mǎn)足匹配條件的固定點(diǎn)或向量計(jì)算如下:第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口WY=-0-22-20-232-20WY=- 0-22 _-20-232-201_ 141-1-4-13141-11_ 1-4-

17、T141=y3丿2-1-4-1第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口昭弘 第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口其它點(diǎn)都是不穩(wěn)定的點(diǎn)，例如，對(duì)1, 1, 1,和1, 1,-1,迭代結(jié)果都移向穩(wěn)定點(diǎn)。對(duì)1, b 11_ 0 -2 2 _T1 0 WY=-2 0 -211-4T-13-32-2 0101第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口-11-1對(duì)1，1,10 -2WY = - -2032 -2第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口此過(guò)程可用圖表示如7-29：一1丄11丄1Hopf

18、ield網(wǎng)絡(luò)的工作過(guò)程有4個(gè)步驟:1）存貯（學(xué)習(xí)），異步、隨機(jī)。2）初始化，加入初始試樣，然后移走。第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口3)迭代直至收斂第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口4）輸出，得到穩(wěn)定點(diǎn)©第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口例7-3假設(shè)一個(gè)3節(jié)點(diǎn)的離散Hopfield神經(jīng)網(wǎng)絡(luò),已知網(wǎng)絡(luò)權(quán)值與閾值如下圖7-30所示，已知網(wǎng)絡(luò)權(quán)值初值圈內(nèi)為閾值，線(xiàn)上為連接函數(shù)。計(jì)算狀態(tài)轉(zhuǎn)移關(guān)系。0.6圖 7_30離散Hopfleld神經(jīng)網(wǎng)絡(luò)第5章 單片機(jī)的定時(shí)/計(jì)數(shù)器與串行接口解析：以初始狀態(tài) 兒匕兒=00 0為例，我們 可以依次選擇節(jié)點(diǎn)X,匕，匕，確定其節(jié)點(diǎn)興奮的條 件及狀態(tài)的轉(zhuǎn)移。假設(shè)首先選擇節(jié)點(diǎn)嶺，激勵(lì)函數(shù) 為W1(0) = 6?,.y.(0) + 6>1 =7=1(-0.5)x0+(0.2)x 0 + 0.1 = 0.1 >0可見(jiàn)，節(jié)點(diǎn)匕 處于興奮狀態(tài)并且狀態(tài)yl由01。網(wǎng)絡(luò)狀態(tài)由000-100,轉(zhuǎn)移概率為1/3。同樣其它兩個(gè)節(jié)點(diǎn)也可以以等概率發(fā)生狀