第5章-典型人工神經(jīng)網(wǎng)絡(luò)(Hopfield)

第五章典型人工神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)3感知器1徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)21第5.3節(jié)Hopfield神經(jīng)網(wǎng)絡(luò)5.3.1Hopfield網(wǎng)絡(luò)結(jié)構(gòu)5.3.2Hopfield網(wǎng)絡(luò)的穩(wěn)定性5.3.3Hopfield網(wǎng)絡(luò)的學(xué)習(xí)5.3.4Hopfield網(wǎng)絡(luò)的記憶2提出：1982年由Hopfield提出的，它揭開(kāi)了反饋神經(jīng)網(wǎng)絡(luò)研究的新篇章，成功地實(shí)現(xiàn)了聯(lián)想記憶和快速優(yōu)化計(jì)算。引入了“能量函數(shù)”概念，給出了網(wǎng)絡(luò)的穩(wěn)定性判據(jù)。分類:二值型Hopfield網(wǎng)絡(luò)(DHNN)連續(xù)型Hopfield網(wǎng)絡(luò)(CHNN)

5.3.1Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)3結(jié)構(gòu)特點(diǎn)：僅有一個(gè)神經(jīng)元層次；每個(gè)神經(jīng)元之間實(shí)現(xiàn)全連接；每個(gè)神經(jīng)元有一個(gè)活躍值，取兩種可能的狀態(tài)之一，0（抑制）或1（興奮），-1或1。神經(jīng)網(wǎng)絡(luò)的狀態(tài)決定于每個(gè)神經(jīng)元的狀態(tài)，可用一個(gè)矢量表示。二值型Hopfield網(wǎng)絡(luò)…w1Nw13w11w21w22w33wNNw12w23y1y2y3yN4若wii=0，稱網(wǎng)絡(luò)為無(wú)自反饋。否則，為有自反饋。對(duì)稱矩陣數(shù)學(xué)描述：…w1Nw13w11w21w22w33wNNw12w23y1y2y3yN5在某一時(shí)刻只有一個(gè)神經(jīng)元按照上式改變狀態(tài)，其余神經(jīng)元的輸出保持不變。這一變化的神經(jīng)元可以按照隨機(jī)方式或預(yù)定的順序來(lái)選擇。異步狀態(tài)更新的網(wǎng)絡(luò)從某一初態(tài)開(kāi)始需經(jīng)過(guò)多次更新?tīng)顟B(tài)后才可以達(dá)到某種穩(wěn)態(tài)。DHNN串行異步工作方式6容易實(shí)現(xiàn)，每個(gè)神經(jīng)元有自己的狀態(tài)更新時(shí)刻，不需要同步機(jī)制；功能上的串行狀態(tài)更新可以限制網(wǎng)絡(luò)的輸出狀態(tài)，避免不同穩(wěn)態(tài)等概率的出現(xiàn)；異步狀態(tài)更新更接近實(shí)際的生物神經(jīng)系統(tǒng)的表現(xiàn)。

DHNN串行異步工作優(yōu)點(diǎn)7在某一時(shí)刻有n（）個(gè)神經(jīng)元按照上式改變狀態(tài)，而其余神經(jīng)元的輸出保持不變。變化的這一組神經(jīng)元可以按照隨機(jī)方式或某種規(guī)則來(lái)選擇。DHNN并行同步工作方式8n個(gè)節(jié)點(diǎn)的離散Hopfield網(wǎng)絡(luò)有2n個(gè)可能的狀態(tài)。狀態(tài)的變化采用串行異步更新策略。例5.3.1P134網(wǎng)絡(luò)狀態(tài)轉(zhuǎn)移

0.1

0.0

0.0-0.50.60.2V1V3V2DHNN狀態(tài)的變化9隨機(jī)選擇節(jié)點(diǎn)，假設(shè)首先選擇V1節(jié)點(diǎn)：V1由0→1，則網(wǎng)絡(luò)狀態(tài)由000→100選擇節(jié)點(diǎn)V3：V3由0→1，則網(wǎng)絡(luò)狀態(tài)由100→101V2由0→1，則網(wǎng)絡(luò)狀態(tài)由101→111選擇節(jié)點(diǎn)V2：DHNN狀態(tài)的變化（續(xù)）

0.1

0.0

0.0-0.50.60.2V1V3V210V1為0P135圖5.3.2，知為一穩(wěn)定狀態(tài)。如再分析：V2為1V3為1網(wǎng)絡(luò)狀態(tài)（011）隨著時(shí)間推移不再改變，為穩(wěn)定狀態(tài)。DHNN狀態(tài)的變化（續(xù)）11能量函數(shù)與網(wǎng)絡(luò)狀態(tài)的變化關(guān)系：網(wǎng)絡(luò)狀態(tài)的變化導(dǎo)致能量函數(shù)E下降。網(wǎng)絡(luò)的穩(wěn)定狀態(tài)對(duì)應(yīng)于能量函數(shù)E的極小值點(diǎn)。能量函數(shù)——由于：只能為，有界，，所以，能量函數(shù)E有界。5.3.2DHNN網(wǎng)絡(luò)的穩(wěn)定性能量井例5.3.2P13512定義：神經(jīng)網(wǎng)絡(luò)的能量極小狀態(tài)。應(yīng)用：用于信息的分布存儲(chǔ)記憶，神經(jīng)優(yōu)化計(jì)算。分布：由連接權(quán)值決定。能量井（權(quán)值）設(shè)計(jì)方法：靜態(tài)產(chǎn)生方法：根據(jù)求解問(wèn)題的要求直接計(jì)算出所需要