《反饋神經(jīng)網(wǎng)絡(luò)》最新ppt

1、反饋神經(jīng)網(wǎng)絡(luò) 5 反饋神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network)，本章重點(diǎn)討論前一種類型。 根據(jù)神經(jīng)網(wǎng)絡(luò)運(yùn)行過程中的信息流向，可分為前饋式和反饋式兩種基本類型。前饋網(wǎng)絡(luò)的輸出僅由當(dāng)前輸入和權(quán)矩陣決定，而與網(wǎng)絡(luò)先前的輸出狀態(tài)無關(guān)。 美國加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出一種單層反饋神經(jīng)網(wǎng)絡(luò)，后來人們將這種反饋網(wǎng)絡(luò)稱作Hopfield 網(wǎng)。 5.1.1 網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式 離散型

2、反饋網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 5.1離散型Hopfield神經(jīng)網(wǎng)絡(luò)(1)網(wǎng)絡(luò)的狀態(tài) DHNN網(wǎng)中的每個神經(jīng)元都有相同的功能，其輸出稱為狀態(tài)，用 xj 表示。j=1,2,n 所有神經(jīng)元狀態(tài)的集合就構(gòu)成反饋網(wǎng)絡(luò)的狀態(tài)X=x1,x2,xnT 反饋網(wǎng)絡(luò)的輸入就是網(wǎng)絡(luò)的狀態(tài)初始值，表示為X(0)=x1(0),x2(0),xn(0)T 反饋網(wǎng)絡(luò)在外界輸入激發(fā)下，從初始狀態(tài)進(jìn)入動態(tài)演變過程，變化規(guī)律為j=1,2,n (5.1) DHNN網(wǎng)的轉(zhuǎn)移函數(shù)常采用符號函數(shù) 式中凈輸入為 j=1,2,n (5.2) 對于DHNN網(wǎng)，一般有wii=0 ，wij=wji。 反饋網(wǎng)絡(luò)穩(wěn)定時每個神經(jīng)元的狀態(tài)都不再改變，此時的穩(wěn)定狀態(tài)就是

3、網(wǎng)絡(luò)的輸出，表示為 (2)網(wǎng)絡(luò)的異步工作方式 (5.3) (3)網(wǎng)絡(luò)的同步工作方式 網(wǎng)絡(luò)的同步工作方式是一種并行方式，所有神經(jīng)元同時調(diào)整狀態(tài)，即 j=1,2,n (5.4) 網(wǎng)絡(luò)運(yùn)行時每次只有一個神經(jīng)元 j 進(jìn)行狀態(tài)的調(diào)整計算，其它神經(jīng)元的狀態(tài)均保持不變，即5.1.2.1 網(wǎng)絡(luò)的穩(wěn)定性 DHNN網(wǎng)實(shí)質(zhì)上是一個離散的非線性動力學(xué)系統(tǒng)。網(wǎng)絡(luò)從初態(tài)X(0)開始，若能經(jīng)有限次遞歸后，其狀態(tài)不再發(fā)生變化，即X(t+1)X(t)，則稱該網(wǎng)絡(luò)是穩(wěn)定的。 如果網(wǎng)絡(luò)是穩(wěn)定的，它可以從任一初態(tài)收斂到一個穩(wěn)態(tài)： 5.1.2 網(wǎng)絡(luò)的穩(wěn)定性與吸引子 若網(wǎng)絡(luò)是不穩(wěn)定的，由于DHNN網(wǎng)每個節(jié)點(diǎn)的狀態(tài)只有1和-1兩種情況，網(wǎng)

4、絡(luò)不可能出現(xiàn)無限發(fā)散的情況，而只可能出現(xiàn)限幅的自持振蕩，這種網(wǎng)絡(luò)稱為有限環(huán)網(wǎng)絡(luò)。 如果網(wǎng)絡(luò)狀態(tài)的軌跡在某個確定的范圍內(nèi)變遷，但既不重復(fù)也不停止，狀態(tài)變化為無窮多個，軌跡也不發(fā)散到無窮遠(yuǎn)，這種現(xiàn)象稱為混沌。 網(wǎng)絡(luò)達(dá)到穩(wěn)定時的狀態(tài)X，稱為網(wǎng)絡(luò)的 吸引子。 如果把問題的解編碼為網(wǎng)絡(luò)的吸引子，從初態(tài)向吸引子演變的過程便是求解計算的過程。 若把需記憶的樣本信息存儲于網(wǎng)絡(luò)不同的吸引子，當(dāng)輸入含有部分記憶信息的樣本時，網(wǎng)絡(luò)的演變過程便是從部分信息尋找全部信息，即聯(lián)想回憶的過程。 定義5.1 若網(wǎng)絡(luò)的狀態(tài)X 滿足X=f(WX-T) 則稱X為網(wǎng)絡(luò)的吸引子。 5.1.2.2 吸引子與能量函數(shù) 定理5.1 對于DH

5、NN 網(wǎng)，若按異步方式調(diào)整網(wǎng)絡(luò)狀態(tài)，且連接權(quán)矩陣W 為對稱陣，則對于任意初態(tài)，網(wǎng)絡(luò)都最終收斂到一個吸引子。 定理5.1證明： 定義網(wǎng)絡(luò)的能量函數(shù)為： (5.5) 令網(wǎng)絡(luò)的能量改變量為E，狀態(tài)改變量為X，有 (5.6) (5.7) 5.1.2.2 吸引子與能量函數(shù) 將式(5.4)、(5.6)代入(5.5)，則網(wǎng)絡(luò)能量可進(jìn)一步展開為 (5.8) 將 代入上式 ，并考慮到W為對稱矩陣，有 (5.9) 上式中可能出現(xiàn)的情況： 情況a ：xj(t)=-1, xj(t+1)=1, 由式(5.7)得xj(t)=2, 由式(5.1)知，netj(t)0，代入式(5.9)，得E(t)0。情況b ：xj(t)=1, xj(t+1)=-1, 所以xj(t)=-2, 由式(5.1)知，netj(t)0，代入式(5.9)，得E(t)P，則權(quán)值矩陣為記憶樣本的外積和 (5.16) 5.1.3 網(wǎng)絡(luò)的權(quán)值設(shè)計 若取wjj=0，上式應(yīng)寫為 (5.17) 式中I為單位矩陣。上式寫成分量元素形式，有 (5.1