第5章-典型人工神經(jīng)網(wǎng)絡(luò)(Hopfield)

第五章典型人工神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)3感知器1徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)21第5.3節(jié)Hopfield神經(jīng)網(wǎng)絡(luò)5.3.1Hopfield網(wǎng)絡(luò)結(jié)構(gòu)5.3.2Hopfield網(wǎng)絡(luò)的穩(wěn)定性5.3.3Hopfield網(wǎng)絡(luò)的學(xué)習(xí)5.3.4Hopfield網(wǎng)絡(luò)的記憶2提出：1982年由Hopfield提出的，它揭開了反饋神經(jīng)網(wǎng)絡(luò)研究的新篇章，成功地實現(xiàn)了聯(lián)想記憶和快速優(yōu)化計算。引入了“能量函數(shù)”概念，給出了網(wǎng)絡(luò)的穩(wěn)定性判據(jù)。分類:二值型Hopfield網(wǎng)絡(luò)(DHNN)連續(xù)型Hopfield網(wǎng)絡(luò)(CHNN)

5.3.1Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)3結(jié)構(gòu)特點：僅有一個神經(jīng)元層次；每個神經(jīng)元之間實現(xiàn)全連接；每個神經(jīng)元有一個活躍值，取兩種可能的狀態(tài)之一，0（抑制）或1（興奮），-1或1。神經(jīng)網(wǎng)絡(luò)的狀態(tài)決定于每個神經(jīng)元的狀態(tài)，可用一個矢量表示。二值型Hopfield網(wǎng)絡(luò)…w1Nw13w11w21w22w33wNNw12w23y1y2y3yN4若wii=0，稱網(wǎng)絡(luò)為無自反饋。否則，為有自反饋。對稱矩陣數(shù)學(xué)描述：…w1Nw13w11w21w22w33wNNw12w23y1y2y3yN5在某一時刻只有一個神經(jīng)元按照上式改變狀態(tài)，其余神經(jīng)元的輸出保持不變。這一變化的神經(jīng)元可以按照隨機方式或預(yù)定的順序來選擇。異步狀態(tài)更新的網(wǎng)絡(luò)從某一初態(tài)開始需經(jīng)過多次更新狀態(tài)后才可以達到某種穩(wěn)態(tài)。DHNN串行異步工作方式6容易實現(xiàn)，每個神經(jīng)元有自己的狀態(tài)更新時刻，不需要同步機制；功能上的串行狀態(tài)更新可以限制網(wǎng)絡(luò)的輸出狀態(tài)，避免不同穩(wěn)態(tài)等概率的出現(xiàn)；異步狀態(tài)更新更接近實際的生物神經(jīng)系統(tǒng)的表現(xiàn)。

DHNN串行異步工作優(yōu)點7在某一時刻有n（）個神經(jīng)元按照上式改變狀態(tài)，而其余神經(jīng)元的輸出保持不變。變化的這一組神經(jīng)元可以按照隨機方式或某種規(guī)則來選擇。DHNN并行同步工作方式8n個節(jié)點的離散Hopfield網(wǎng)絡(luò)有2n個可能的狀態(tài)。狀態(tài)的變化采用串行異步更新策略。例5.3.1P134網(wǎng)絡(luò)狀態(tài)轉(zhuǎn)移

0.1

0.0

0.0-0.50.60.2V1V3V2DHNN狀態(tài)的變化9隨機選擇節(jié)點，假設(shè)首先選擇V1節(jié)點：V1由0→1，則網(wǎng)絡(luò)狀態(tài)由000→100選擇節(jié)點V3：V3由0→1，則網(wǎng)絡(luò)狀態(tài)由100→101V2由0→1，則網(wǎng)絡(luò)狀態(tài)由101→111選擇節(jié)點V2：DHNN狀態(tài)的變化（續(xù)）

0.1

0.0

0.0-0.50.60.2V1V3V210V1為0P135圖5.3.2，知為一穩(wěn)定狀態(tài)。如再分析：V2為1V3為1網(wǎng)絡(luò)狀態(tài)（011）隨著時間推移不再改變，為穩(wěn)定狀態(tài)。DHNN狀態(tài)的變化（續(xù)）11能量函數(shù)與網(wǎng)絡(luò)狀態(tài)的變化關(guān)系：網(wǎng)絡(luò)狀態(tài)的變化導(dǎo)致能量函數(shù)E下降。網(wǎng)絡(luò)的穩(wěn)定狀態(tài)對應(yīng)于能量函數(shù)E的極小值點。能量函數(shù)——由于：只能為，有界，，所以，能量函數(shù)E有界。5.3.2DHNN網(wǎng)絡(luò)的穩(wěn)定性能量井例5.3.2P13512定義：神經(jīng)網(wǎng)絡(luò)的能量極小狀態(tài)。應(yīng)用：用于信息的分布存儲記憶，神經(jīng)優(yōu)化計算。分布：由連接權(quán)值決定。能量井（權(quán)值）設(shè)計方法：靜態(tài)產(chǎn)生方法：根據(jù)求解問題的要求直接計算出所需要