hopfield神經(jīng)網(wǎng)絡(luò)及其應(yīng)用教學(xué)學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1hopfield神經(jīng)網(wǎng)絡(luò)及其應(yīng)用教學(xué)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用教學(xué)2第1頁/共64頁31.1 反饋網(wǎng)絡(luò)簡介1.2 網(wǎng)絡(luò)穩(wěn)定性第2頁/共64頁4n系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值而被存儲(chǔ)到網(wǎng)絡(luò)中第3頁/共64頁5第4頁/共64頁6第5頁/共64頁7該網(wǎng)絡(luò)為單層全反饋網(wǎng)絡(luò)，其中的每個(gè)神經(jīng)元的輸出都是與其他神經(jīng)元的輸入相連的。所以其輸入數(shù)目與輸出層神經(jīng)元的數(shù)目是相等的，有rs。 第6頁/共64頁8第7頁/共64頁9第8頁/共64頁10第9頁/共64頁11第10頁/共64頁12第11頁/共64頁13第12頁/共64頁14第13頁/共64頁15第14頁/共64頁16第15頁/共64頁17第16頁/

2、共64頁18第17頁/共64頁19其初始輸入A(t0)向穩(wěn)定吸引子狀態(tài)移動(dòng)就可以達(dá)到目的第18頁/共64頁20第19頁/共64頁21 Hopfield Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個(gè)重要的里程碑。由美國加州理工學(xué)院物理學(xué)家教授于網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個(gè)重要的里程碑。由美國加州理工學(xué)院物理學(xué)家教授于19821982年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。HopfieldHopfield網(wǎng)絡(luò)是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)定狀態(tài)的分析比前向神經(jīng)網(wǎng)絡(luò)要復(fù)雜得多。網(wǎng)絡(luò)是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)定狀態(tài)的分析比前向神經(jīng)網(wǎng)絡(luò)要復(fù)雜得多。1984

3、1984年，年，HopfieldHopfield設(shè)計(jì)并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了旅行商設(shè)計(jì)并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了旅行商(TSP)(TSP)計(jì)算難題計(jì)算難題( (優(yōu)化問題優(yōu)化問題) )。 Hopfield Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN (Discrete Hopfield Neural Network) DHNN (Discrete Hopfield Neural Network) 和和CHNN (Continues Hopfield Neural Network) CHNN (Cont

4、inues Hopfield Neural Network) 。 Hello,Im John Hopfield第20頁/共64頁22第21頁/共64頁23 DHNN中的激活函數(shù) CHNN中的激活函數(shù) 第22頁/共64頁24第23頁/共64頁25第24頁/共64頁26第25頁/共64頁27第26頁/共64頁28第27頁/共64頁29第28頁/共64頁30第29頁/共64頁31nnn1111E2ijijiiijiijjiwv vb v ()( )0v ttv tt 第30頁/共64頁32n11E2iijijiiiijw vvbv nn11n1EE (1)E ( )11(1)(1)( )( )221

5、(1)( )2iiiijijiiijijiiiiijijiiijjiiijttw v tvbv tw v t vbv tv tv tw vb E0iHopfield網(wǎng)絡(luò)狀態(tài)向著能量函數(shù)減網(wǎng)絡(luò)狀態(tài)向著能量函數(shù)減小的方向演化。由于能量函數(shù)有界小的方向演化。由于能量函數(shù)有界，所以系統(tǒng)必然會(huì)趨于穩(wěn)定狀態(tài)，所以系統(tǒng)必然會(huì)趨于穩(wěn)定狀態(tài) 。第31頁/共64頁33第32頁/共64頁34第33頁/共64頁35第34頁/共64頁36第35頁/共64頁37第36頁/共64頁38第37頁/共64頁39第38頁/共64頁40第39頁/共64頁41第40頁/共64頁42第41頁/共64頁43第42頁/共64頁44第43頁/共64頁45第44頁/共64頁46第45頁/共64頁47第46頁/共64頁48的精確的記憶第47頁/共64頁49第48頁/共64頁50第49頁/共64頁51第50頁/共64頁52第51頁/共64頁53第52頁/共64頁54只要滿足，只要滿足，r rq q，則，則有有sgn(Nsgn(Nl l) )P Pl l保證保證P Pl l為網(wǎng)絡(luò)的穩(wěn)定為網(wǎng)絡(luò)的穩(wěn)定解解 第53頁/共64頁55第54頁/共64頁56第55頁/共64頁57第56頁/共64頁58第57頁/共64頁59第58頁/共6