反饋神經(jīng)網(wǎng)絡(luò)原理

一、反饋神經(jīng)網(wǎng)絡(luò)原理.簡述反饋網(wǎng)絡(luò)的特點是處理單元之間除前饋連接外還有反饋連接的情況。同前向神經(jīng)網(wǎng)絡(luò)相比有更強的計算能力，其最突出的優(yōu)點是具有很強的聯(lián)想記憶和優(yōu)化計算功能。根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)的特點，將它們分為兩類:全反饋網(wǎng)絡(luò)結(jié)構(gòu)和部分反饋網(wǎng)絡(luò)結(jié)構(gòu)。.全反饋網(wǎng)絡(luò)結(jié)構(gòu)全反饋網(wǎng)絡(luò)的突出代表就是由美國加州理工學(xué)院的J.Hopfield教授在1982年提出的Hopfield網(wǎng)絡(luò)，一種單層反饋神經(jīng)網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)也是一種循環(huán)的神經(jīng)網(wǎng)絡(luò)，從輸出到輸入有反饋連接。Hopfield網(wǎng)絡(luò)可以作為聯(lián)想儲存器，又稱為聯(lián)想記憶網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型。離散型Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)DHNN的特點是任一神經(jīng)元的輸出xi均通過鏈接權(quán)wij反饋至所有神經(jīng)元xj作為輸入，目的是為了讓輸出能夠受到所有神經(jīng)元的輸出的控制，從而使得各個神經(jīng)元的輸出相互制約。每個神經(jīng)元均設(shè)有一個閾值Tj，以反映對輸入噪聲的控制。DHNN可簡記為N=（W,T）。輸出神經(jīng)元的取值為0/1或-1/1。對于中間層，任意兩個神經(jīng)元間的連接權(quán)值為%jMj廣，〃神經(jīng)元的連接是對稱的。如果/廣0，則稱為無自反饋的Hopfield網(wǎng)絡(luò)，反之則稱為有自反饋的Hopfield網(wǎng)絡(luò)。利用閾值函數(shù)對計算結(jié)果二值化。9-1感曲II卬Iktd阿維 圖9-2Uopikld網(wǎng)結(jié)的網(wǎng)狀結(jié)構(gòu)T時刻神經(jīng)元的輸入為:>=ib.（t）為第i個神經(jīng)元的閾值。t+1時刻的輸出為網(wǎng)絡(luò)的穩(wěn)定性與吸引子(1)穩(wěn)定性反饋網(wǎng)絡(luò)是一種能夠存儲若干預(yù)先設(shè)置的穩(wěn)定點的網(wǎng)絡(luò)，作為非線性動力學(xué)系統(tǒng)，具有豐富的動態(tài)特性，如穩(wěn)定性、有限環(huán)狀態(tài)和混沌狀態(tài)等；穩(wěn)定性指的是經(jīng)過有限次的遞歸后，狀態(tài)不再發(fā)生改變；有限環(huán)狀態(tài)指的是限幅的自持震蕩;■1 05 0 05圖93有限環(huán)同空混沌狀態(tài)指的是網(wǎng)絡(luò)狀態(tài)的軌跡在某個確定的范圍內(nèi)變遷，既不重復(fù)也不停止，狀態(tài)變化無窮多個，軌跡也不發(fā)散到無窮遠(yuǎn)。ft!5-3泡噸對于DHNN,由于網(wǎng)絡(luò)狀態(tài)是有限的，不可能出現(xiàn)混沌狀態(tài)。利用Hopfield網(wǎng)絡(luò)可實現(xiàn)聯(lián)想記憶功能：用網(wǎng)絡(luò)的穩(wěn)態(tài)表示一種記憶模式，初始狀態(tài)朝著穩(wěn)態(tài)收斂的過程便是網(wǎng)絡(luò)尋找記憶模式的過程，初態(tài)可視為記憶模式的部分信息，網(wǎng)絡(luò)演變可視為從部分信息回憶起全部信息的過程，從而實現(xiàn)聯(lián)想記憶。可實現(xiàn)優(yōu)化求解問題：將帶求解問的目標(biāo)函數(shù)設(shè)置為網(wǎng)絡(luò)能量函數(shù)，當(dāng)能量函數(shù)趨于最小時，網(wǎng)絡(luò)狀態(tài)的輸出就是問題的最優(yōu)解。網(wǎng)絡(luò)的初態(tài)視為問題的初始解，而網(wǎng)絡(luò)從初始狀態(tài)向穩(wěn)態(tài)的收斂過程便是優(yōu)化計算過程，這種尋優(yōu)搜索是在網(wǎng)絡(luò)演變過程中自動完成的。(2)吸引子網(wǎng)絡(luò)的穩(wěn)定狀態(tài)X就是網(wǎng)絡(luò)的吸引子，用于存儲記憶信息。網(wǎng)絡(luò)的演變過程就是從部分信息尋找全部信息，即聯(lián)想回憶過程。吸引子有以下的性質(zhì)：X=f(WX-T)，則X為網(wǎng)絡(luò)的吸引子；對于DHNN，若按異步方式調(diào)整，且權(quán)矩陣W為對稱，則對于任意初態(tài)，網(wǎng)絡(luò)都最終收斂到一個吸引子；對于DHNN，若按同步方式調(diào)整，且權(quán)矩陣W為非負(fù)定對稱，則對于任意初態(tài)，網(wǎng)絡(luò)都最終收斂到一個吸引子；X為網(wǎng)絡(luò)吸引子，且閾值T=0，在sign(0)處，xj(t+1)=xj(t)，則-X也一定是該網(wǎng)絡(luò)的吸引子；吸引子的線性組合，也是吸引子；能使網(wǎng)絡(luò)穩(wěn)定在同一吸引子的所有初態(tài)的集合，稱為該吸引子的吸引域；若使反饋網(wǎng)絡(luò)具有聯(lián)想能力，每個吸引子都應(yīng)該具有一定的吸引域，只有這樣，對于帶有一定噪聲或缺損的初始樣本，網(wǎng)絡(luò)才能經(jīng)過動態(tài)演變而穩(wěn)定到某一個吸引子狀態(tài)，從而實現(xiàn)正確聯(lián)想。反饋網(wǎng)絡(luò)設(shè)計的目的就是要使網(wǎng)絡(luò)能落到期望的穩(wěn)定點上，并且還要具有盡可能大的吸引域，以增強聯(lián)想功能。Lyapunov函數(shù)引入Lyapunov函數(shù)作為能量函數(shù)：E=fZZ4乂月-￡瓦天/j=i]±i f=i(4)運行方式A.異步工作方式串行，網(wǎng)絡(luò)每次只對一個神經(jīng)元的狀態(tài)進行調(diào)整計算，其他均不變。這樣調(diào)整的順序就有一定的影響了?？梢噪S機選定或者按照固定的順序。本次調(diào)整的結(jié)果會在下一個神經(jīng)元的凈輸入中發(fā)揮作用。公式推導(dǎo)：=比=-^fr(r+ +1)—尸u+1)8十;FT?加F(。十YT(t\B=_2[F(f)+AF(0]：&h[F(O+1^(0]-[y(0Ay<0]1B 4=-AY\t)[wY(f｝i-S]-^M'JOwAKt(f)ATM)=-%3￡翊41+禺-=一夕*)二叫比十%1Z網(wǎng)H+4a小*4】｝=? ：-I工幽*十%如果內(nèi)?+】)=為8，則修了口)二。.故A￡")=Q.如果M。)=l，M(F*l) ,則￡嗎片?吃父0,又勺二山Q+I)—乂⑴=一2右0,故1=1阻一WK。+耳<0-0Lr-i 」iV如果與『產(chǎn)一】，M?十】｝=1?則工與H+與急機又與以分=巧(￡+1)一門(。=2>?故■al.AE?二-幼⑴[皆吁大馬<Qn對于異步方式，若存在一個調(diào)整次序，使網(wǎng)絡(luò)可以從狀態(tài)X演變?yōu)閄a，則稱X弱吸引到Xa；若對于任意調(diào)整次序，網(wǎng)絡(luò)都可以從X演變?yōu)閄a，則稱X強吸引到Xa。則對應(yīng)弱吸引域和強吸引域。

B.同步工作方式并行，所有神經(jīng)元同時進行狀態(tài)調(diào)整計算。公式推導(dǎo)：這里沿用上交的變量定義，有+自算川丁圖,⑴斗△打用一任⑶+ - ⑴十戶⑺田=-ArT（/）w/（^-yArT（/）rtiAyr（/）-^yTG）ff二可必力/用?與”P3”。一再 "1在上文關(guān)于用打運行方式的時輪中，已穌證明年㈤二-3?⑺24乂+與WQ.因此_r=l .- 根據(jù)線性4匕數(shù)中短睥的原理，—：3了1。附AV］，1工0的條平上尾連接收值蜂陣回為非斷定對稱矩陣.2.1.3. 設(shè)計離散型Hopfield網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)實現(xiàn)聯(lián)想記憶需要兩個階段記憶階段和聯(lián)系階段。得到網(wǎng)絡(luò)的權(quán)值有幾種算法，分別是外積法、偽逆法、投影學(xué)習(xí)法和特征結(jié)構(gòu)法。外積法：在Hopfield網(wǎng)絡(luò)中公式改為:在Hopfield網(wǎng)絡(luò)中公式改為:J，%*…,1口北=1［。， i=Ja用于調(diào)節(jié)比例，一般取2=此寫為矩陣的形式;偽逆法:8=*（四）C.Elman神經(jīng)網(wǎng)絡(luò)1990年J.L.Elman針對語音處理問題提出了Elman神經(jīng)網(wǎng)絡(luò)。與Hopfield網(wǎng)絡(luò)不同，它是一種典型的局部回歸網(wǎng)絡(luò)。

輸入層數(shù)據(jù)反映了信號的空域信息，而連接層延遲則反映了信號的時域信息，這就是Elman神經(jīng)網(wǎng)絡(luò)可以用于時域和空域模式識別的原因。.盒中腦模型盒中腦狀態(tài)（BrainStateinBox,簡稱BSB）模型是由J.Anderson發(fā)展起來的，由大腦結(jié)構(gòu)引出的。它和簡單的線性聯(lián)想器有密切的關(guān)系。在BSB模型中，各單元的激活值被限制在一個最小值和一個最大值之間，典型的取值范圍是[-1，1]區(qū)間。激活函數(shù)是一個作用在X（n）上的分段函數(shù)：+1 yi+I『G」（目）=，打（耳）一1€為仃）441-1 打（口）七一1二、引申問題.連續(xù)Hopfield網(wǎng)絡(luò)書中沒有詳細(xì)講，我們找了一篇國內(nèi)的經(jīng)典論文《淺析連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)》。瓦, 八YO——E±J—— 0 ——E1連續(xù)14卬加Id神經(jīng)網(wǎng)絡(luò)第i個神經(jīng)元的結(jié)構(gòu)模型連續(xù)型Hopfield網(wǎng)絡(luò)由r個如圖1所示的神經(jīng)元模型并聯(lián)組成，每個神經(jīng)元都與其他所有神經(jīng)元相連，并聯(lián)的電阻可以調(diào)整各神經(jīng)元之間的連接強度，所有其他神經(jīng)元的輸出可以反饋到該神經(jīng)元作為輸入之一，同樣，該神經(jīng)元的輸出也會作為所有其他神經(jīng)元的輸入，這樣，所有神經(jīng)元都隨時間并行更新，網(wǎng)絡(luò)狀態(tài)隨時間連續(xù)變化。輸出電源—-+C,-7^-h用tz-.-由基爾霍犬電流定律得到等式:整理匕式旬輸出電源—-+C,-7^-h用tz-.-由基爾霍犬電流定律得到等式:整理匕式旬刊:以上推導(dǎo)反映了連續(xù)型Hopfield網(wǎng)絡(luò)的輸入、狀態(tài)、輸出三者的連續(xù)更新，以上推導(dǎo)反映了連續(xù)型Hopfield網(wǎng)絡(luò)的輸入、狀態(tài)、輸出三者的連續(xù)更新，表示為運動方程組:Hopfield能量函數(shù)的定義Hopfield提出的對單層反饋動態(tài)網(wǎng)絡(luò)的穩(wěn)定性進行判別的函數(shù)是建立在能量基礎(chǔ)上的，具有明確的物理意義：在系統(tǒng)的運動過程中，內(nèi)部儲存的能量隨著時間的增加而逐漸減少，當(dāng)運動到平衡狀態(tài)時，系統(tǒng)的能量耗盡或變得最小，那么系統(tǒng)自然將在此平衡狀態(tài)處漸近穩(wěn)定，即有：lim(t)=Up，為此，當(dāng)系統(tǒng)t78達(dá)到穩(wěn)定狀態(tài)時，可對Hopfield達(dá)到穩(wěn)定狀態(tài)時，可對Hopfield網(wǎng)絡(luò)定義Hopfield能量函數(shù)如下：分析能量函數(shù)的單調(diào)性1時九尤j］期1時九尤j］期■二y心￥期1?爐5)如此dj/j小曲有單調(diào)遞增的性有單調(diào)遞增的性也=0。綜上可dt該式中Ci為輸入電容，Ci>0；vi="(ui)為Sigmoid函數(shù)，質(zhì)，其導(dǎo)數(shù)①，(%)>0；(詈)2>0,當(dāng)網(wǎng)絡(luò)趨于穩(wěn)定狀態(tài)時有:得：m40，能量函數(shù)是單調(diào)遞減的。分析能量函數(shù)的有界性E- 中wvv,+ —fv?-'vJ.第一項：因為嗎,=，是由電子元器件的有界數(shù)組成的，而Sigmoid的JRij函數(shù)值是有界的，所以能量函數(shù)第一項有界。第二項：假設(shè)放大器的增益為 B,則.二 ，將第二項改寫為JTXT.。若B->8,則放大器為理想放