神經(jīng)網(wǎng)絡(luò)導(dǎo)論雙向聯(lián)想記憶

1、?神經(jīng)網(wǎng)絡(luò)導(dǎo)論?實(shí)驗(yàn)二雙向聯(lián)想記憶專業(yè)：信息與通信工程班級：5030班學(xué)號：3115091011姓名：王靜一、實(shí)驗(yàn)?zāi)康氖煜osko型雙向聯(lián)想記憶網(wǎng)絡(luò)的原理與結(jié)構(gòu),通過仿真實(shí)驗(yàn)掌握具體的實(shí)現(xiàn)方法,了解該網(wǎng)絡(luò)的功能及性能,加深對該類網(wǎng)絡(luò)的穩(wěn)定狀態(tài)和能量函數(shù)等概念的理解.二、實(shí)驗(yàn)原理我們知道,聯(lián)想記憶功能分為自聯(lián)想和異聯(lián)想,異聯(lián)想也稱為雙向聯(lián)想記憶,簡寫為BAM,BAM存儲器可存儲兩組矢量,假設(shè)有如下N維矢量與P維矢量B：A=a.,QniFGB=瓦,瓦,.,bp_iF-1,1P構(gòu)成M對矢量4,及,s=0,1,.7M-1,將它們存入bam存儲器即可進(jìn)行由a到b或由B到A的雙向聯(lián)想,即給定A或B可經(jīng)聯(lián)

2、想得到對應(yīng)的標(biāo)準(zhǔn)樣本B或A,當(dāng)有噪聲或缺損時(shí),聯(lián)想功能可使樣本對復(fù)原.其實(shí),人腦就具有根據(jù)相關(guān)線索回憶和恢復(fù)信息的水平.例如,片斷曲調(diào)往往可以喚起人們對整個(gè)樂曲的回憶；在人群中某人的背影就足以使我們想起一位老朋友.人工神經(jīng)網(wǎng)絡(luò)力圖實(shí)現(xiàn)這種功能.Kosko的BAM網(wǎng)絡(luò)就是其中的一種.如圖1所示,與矢量A相應(yīng)的一層有N個(gè)節(jié)點(diǎn),另一層對應(yīng)矢量B,有P個(gè)節(jié)點(diǎn),兩層間雙向連接.假定B到A的傳輸為正向,正向的權(quán)矩陣為W,反之,A至IJB為反向傳輸,權(quán)矩陣為“7.如果輸入矢量由上層參加,且相應(yīng)于網(wǎng)絡(luò)中B的穩(wěn)定狀態(tài),那么經(jīng)W之作用產(chǎn)生A穩(wěn)定狀態(tài).同理,如果輸入矢量在下層,且相應(yīng)于網(wǎng)絡(luò)中A的穩(wěn)定狀態(tài),經(jīng)之作用產(chǎn)

3、生B穩(wěn)定狀態(tài),圖1:雙向底想記憶網(wǎng)絡(luò)當(dāng)輸入任意矢量時(shí),網(wǎng)絡(luò)要經(jīng)假設(shè)干次迭代計(jì)算演變至穩(wěn)定狀態(tài),過程可示意為:WB(t)-4(t+l)1)tBQ+2)WB(t+2)T7l(t+3)直至A、B為穩(wěn)態(tài),演變過程結(jié)束.網(wǎng)絡(luò)學(xué)習(xí)遵從Hebb規(guī)那么,假設(shè)給定M個(gè)雙極性矢量對：(4.,%),那么正、反向權(quán)矩陣為：M-1W=W4s風(fēng)s=0MTW7=W及用s=0如果BAM網(wǎng)絡(luò)神經(jīng)元函數(shù)閾值為0,那么稱為齊次BAM網(wǎng)絡(luò),其能量函數(shù)為：11E(AfB)=-AtWB-BtWtA=-AtWB假設(shè)神經(jīng)元非線性函數(shù)為f,那么描述齊次BAM動態(tài)特性的差分方程為：正向聯(lián)想(B=A)4(+1)=f：=i卬海反向聯(lián)想(A=B)(t

4、+2)%.?(+1)(2)三、實(shí)驗(yàn)內(nèi)容IS1 .連接權(quán)矩陣對于給定的4對學(xué)習(xí)樣本根據(jù)Hebb規(guī)那么計(jì)算網(wǎng)絡(luò)的連接權(quán)矩陣,這里只計(jì)算正向傳輸(即從B到A)的權(quán)重連接矩陣,反向權(quán)矩陣為正向權(quán)矩陣的轉(zhuǎn)置.下面為四對學(xué)習(xí)樣本Al=l,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1:A2=l,1,-1,-1,1,1,-1,-1,1,1,-1,-1,I,1,；A3=l,1,1,-1,-1,-1,1,1,1,-1,-1,-1,1,1,1Y；A4=l,1,1,1,-1,-1,-1,-1,1,1,1,1,-1,-1,-H,；Bl=l,1,1,1,-1,-1,-1,-1,1,1；B2=l,1

5、,1,-1,-1,-1,1,1,1,-1；B3=l,1,-1,-1,1,1,-1,-1,1,1；B4=l,-1,1,-1,1,-1,1,-1,1,T；連接權(quán)矩陣的計(jì)算公式W=即w為15*10的矩陣,那么帶入四對樣本可得連接權(quán)矩陣W為：表一：連接權(quán)矩陣422-20-20-240200-420202-2200020-2-422-2-4002020-2-20222-4-20200-2000-2024-2-202-2202-4-204-20-4024-20-22422-20-20-2400-22-20-2420-40-2220-20-200-2-4002020-2-22400-20-202202-2-

6、202020002-2202-4-2042.能量值由實(shí)驗(yàn)原理可知,對于輸入的一對樣本A、B,其能量值計(jì)算公式為:E(AfB)=-AtWB將四對樣本分別帶入得能量值分別為：表二：能量值樣本(Al,B1)(A2,B2)(A3,B3)(A4,B4)能量值E1E2E3E4-158-142-158-1463.2 驗(yàn)證網(wǎng)絡(luò)的聯(lián)想水平驗(yàn)證網(wǎng)絡(luò)的聯(lián)想水平即任選標(biāo)準(zhǔn)樣本4輸入網(wǎng)絡(luò)進(jìn)行迭代運(yùn)算直至網(wǎng)絡(luò)穩(wěn)定,觀察上下兩層的狀態(tài)是否為(4,4),同樣,任選區(qū)輸入,觀察穩(wěn)定后的狀態(tài).過程可按如下所示框圖描述：雙向聯(lián)想網(wǎng)絡(luò)實(shí)臉框圖根據(jù)輸入矢量的長度確定輸入的是哪個(gè)矢量,進(jìn)而確定進(jìn)入哪個(gè)循環(huán),判斷結(jié)束的條件為網(wǎng)絡(luò)穩(wěn)定,即兩

7、次得到的所求矢量相等.例如,當(dāng)輸入為矢量B時(shí),前一次通過正向聯(lián)想和反向聯(lián)想得到4,后一次再經(jīng)過正向聯(lián)想和反向聯(lián)想得到4+1,假設(shè)兩次得到的相等,那么認(rèn)為網(wǎng)絡(luò)穩(wěn)定那么輸出穩(wěn)定矢量A,否那么,繼續(xù)迭代.以下為網(wǎng)絡(luò)聯(lián)想得到的幾組實(shí)驗(yàn)數(shù)據(jù)輸入A1A3B2A2B4輸出B1B3A2B2A4可以看出,該網(wǎng)絡(luò)具有聯(lián)想水平,對于給定的輸入能正確的得到輸出,沒有錯誤.3.3 驗(yàn)證網(wǎng)絡(luò)的抗噪水平1 .實(shí)驗(yàn)過程隨機(jī)選取某一保準(zhǔn)矢量的假設(shè)干位取反形成畸變矢量,將其輸入網(wǎng)絡(luò)迭代至穩(wěn)態(tài),觀察對應(yīng)的輸出是否依然正確.實(shí)驗(yàn)中取了如下五組數(shù)據(jù)：圖中所示為輸出的能量值實(shí)驗(yàn)一：表三：輸入A1且有一位取反標(biāo)準(zhǔn)輸入矢量Al=l,-1,1

8、,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1標(biāo)準(zhǔn)輸出矢量Bl=l,1,1,1,-1,-1,-1,-1,1,1一位取反的畸變矢量AV=1,1,1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1實(shí)際輸出BV=1,1,1,1,-1,-1,-1,-1,1,=圖一：輸入A1一位取反的能最變化曲線可以看出,當(dāng)輸入A1并且有一位取反時(shí),網(wǎng)絡(luò)通過聯(lián)想仍能得到正確的輸出B1.因此網(wǎng)絡(luò)此時(shí)的能量與輸入標(biāo)準(zhǔn)矢量Al,B1時(shí)能量相等.實(shí)驗(yàn)二：表四：輸入A1且有兩位取反標(biāo)準(zhǔn)輸入矢量Al=l,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1標(biāo)準(zhǔn)輸出矢量Bl=1,1,1,1,

9、-1,-1,-1,-1,1,1兩位取反的畸變矢量Al*=l,1,1,_1,1,-1,-1,1,-1,1,-1,1,-1,1,實(shí)際輸出Blz=l,1,1,1,-1,-1,-1,-1,1,=可以看出,當(dāng)4因此網(wǎng)絡(luò)此時(shí)三確的輸出B1.圖二：輸入A1兩位取反的能最變化曲線圖三：輸入B2一位取反的能量變化曲線可以看出,當(dāng)輸入B2并且有一位取反時(shí),網(wǎng)絡(luò)通過聯(lián)想仍能得到正確的輸出A2.因此網(wǎng)絡(luò)此時(shí)的能量與輸入標(biāo)準(zhǔn)欠量B2,A2時(shí)能量相等.實(shí)驗(yàn)四：表六：輸入B3且有兩位取反標(biāo)準(zhǔn)輸入矢量B3=l,1,-1,-1,1,1,-1,-1,1,1,標(biāo)準(zhǔn)輸出矢量A3=l,1,1,-1,-1,-1,1,1,1,-1,-1,

10、-1,1,1,1Y一位取反的畸變矢量B3Z=-1,1,-1,-1,1,-1,-1,-1,1,1實(shí)際輸出A3Z=1,1,1,-1,-1,-1,1,1,1,-1,-1,-1,1,1,1=A3-9C-102110.122132圖四：輸入B3兩位取反的能量變化曲線可以看出,當(dāng)輸入B3TTJZLBPlI2L2人“J,叱得到正確的輸出A3.因此網(wǎng)絡(luò)此時(shí)的能量與輸入標(biāo)準(zhǔn)矢量B3,A3時(shí)能量相等.實(shí)驗(yàn)五：表七：輸入B3且有兩位取反標(biāo)準(zhǔn)輸入矢量B3=l,1,-1,-1,1,1,-1,-1,1,1標(biāo)準(zhǔn)輸出矢量A3=l,1,1,-1,-1,-1,1,1,1,-1,-1,-1,1,1,1一位取反的畸變矢量B3Z=-1

11、,1,-1,-1,1,1,T,-1,-1,1實(shí)際輸出A3#=-l,-L1,-1,1,-1,-1,-1,-1,1,1,1圖五：輸入B3兩位位取反的能量變化曲線可以看出,當(dāng)輸入B3并且有兩位取反時(shí),網(wǎng)絡(luò)聯(lián)想此時(shí)出現(xiàn)錯誤,故此時(shí)網(wǎng)絡(luò)的能量與輸入標(biāo)準(zhǔn)矢量B3,A3時(shí)能量不同.2 .實(shí)驗(yàn)分析從實(shí)驗(yàn)中可以看出,當(dāng)輸入矢量有一位取反時(shí),由于網(wǎng)絡(luò)的聯(lián)想功能,根本可以輸出正確的結(jié)果,但是當(dāng)輸入有多位取反時(shí),那么會出現(xiàn)錯誤,即偽穩(wěn)定狀態(tài).當(dāng)然,這只是幾個(gè)簡單的實(shí)驗(yàn),并不能說明當(dāng)輸入有一位取反時(shí)就完全不會出現(xiàn)錯誤輸出,也不能從此說明網(wǎng)絡(luò)的聯(lián)想水平.下面會從統(tǒng)計(jì)的角度對網(wǎng)絡(luò)的聯(lián)想水平做出評估.3.4噪聲大小對聯(lián)想水平

12、的影響本實(shí)驗(yàn)針對不同的輸入以及不同的取反位數(shù)計(jì)算網(wǎng)絡(luò)聯(lián)想的正確率,用其表示網(wǎng)絡(luò)的聯(lián)想水平.每次實(shí)驗(yàn)采取1000次輸入,每次輸入通過迭代得到其對應(yīng)的輸出,再將輸出與對應(yīng)的標(biāo)準(zhǔn)輸出矢量比擬,判斷此次輸出是否正確.進(jìn)而得到本次實(shí)驗(yàn)的正確率.1 .輸入為A反位數(shù)輸入取反1位取反2位取反3位A110.99200.9660A210.99100.9000A310.94900.9190A410.89900.76302 .輸入為B取反位數(shù)輸入取反1位取反2位取反3位B110.90400.G710B20.89100.76700.6000B30.91000.77600.4080B40.89400.74100.633

13、03.實(shí)驗(yàn)分析從實(shí)驗(yàn)結(jié)果中可以看出,在一行中即輸入相同時(shí),噪聲越大,正確率越低.同時(shí)可以看出,由于矢量A的維數(shù)較多,所以當(dāng)矢量B與矢量A取相同的取反位數(shù)時(shí),可認(rèn)為B矢量上的信噪比衰落更大,所以正確率下降.而且還可以看出一個(gè)大致上的規(guī)律,當(dāng)輸入矢量內(nèi)部變化較快例Al,B4時(shí),隨著噪聲增加,其正確率比那些內(nèi)部變化較慢例A4的矢量大.3 .5偽穩(wěn)定狀態(tài)偽穩(wěn)定狀態(tài),即當(dāng)帶噪聲的樣本輸入到網(wǎng)絡(luò)后,網(wǎng)絡(luò)仍然迭代至一“穩(wěn)定狀態(tài),但不是標(biāo)準(zhǔn)的輸出矢量.所以稱為偽穩(wěn)定狀態(tài).標(biāo)準(zhǔn)輸入Al=l,-1,1,-1,1,-1,1,-1,1,1,-1,1,-1,1了標(biāo)準(zhǔn)輸出B1=1,1,1,1,-1,-1,-1,-1,1,

14、1Y實(shí)際輸入Al#=l,1,1,-1,-1,-1,1,1,-1,-1,1,-1,1,-1,1實(shí)際輸出BV=1,1,-1,1,1,1,-1,-1,1,1E-146該偽穩(wěn)定狀a及是Al加噪聲輸入,輸入有四位取反,輸出有三位錯誤.標(biāo)準(zhǔn)輸入B2=i,1,1,-1,-1,-1,1,1,i,-ir標(biāo)準(zhǔn)輸出A2=l,1,-1,-1,1,1,-1,-1,1,1,-1,-1,1,1,T實(shí)際輸入B2*=l,1,-1,-1,1,-1,-1,1,1,-1,實(shí)際輸出A2Z=1,1,1,-1,-1,-1,-1,-1,1,1,1,-1,1,-1,-l1E-118該偽穩(wěn)定狀X片是B2加噪聲輸入,輸入有三位取反,輸出有五位錯誤

15、.四、實(shí)驗(yàn)思考題1、在實(shí)驗(yàn)步驟4中觀察網(wǎng)絡(luò)能量E是如何變化的根據(jù)網(wǎng)絡(luò)機(jī)理說明原因.通過實(shí)驗(yàn)可以看出,在實(shí)驗(yàn)過程中網(wǎng)絡(luò)能量趨于減小,最終穩(wěn)定.這是由于雙向聯(lián)想網(wǎng)絡(luò)仍是Hopfield網(wǎng)絡(luò),因此它仍具有Hopfield神經(jīng)網(wǎng)絡(luò)的特點(diǎn),即網(wǎng)絡(luò)能量向能量減小的方向走,直至到達(dá)極小值的穩(wěn)定狀態(tài).2、如果我們想要“擦除存儲矢量對中的某對4,4,應(yīng)如何調(diào)整網(wǎng)絡(luò)考慮運(yùn)算量雙向聯(lián)想記憶網(wǎng)絡(luò)中,要想去除某對輸入的影響,只要在連接權(quán)矩陣中減去這對輸入的影響即可.即W*=W-3、通過總結(jié)第5步和第6步實(shí)驗(yàn)結(jié)果,能得出什么結(jié)論簡要解釋其中的原因.從實(shí)驗(yàn)結(jié)果可以看出：1噪聲越大,正確率越低2輸入矢量維數(shù)越大,網(wǎng)絡(luò)對噪聲的

16、承受水平越好,正確率越高3輸入矢量中元素符號變化較快,在一定程度上對網(wǎng)絡(luò)正確率有所提升五、實(shí)驗(yàn)總結(jié)在這次實(shí)驗(yàn)中,我在進(jìn)行實(shí)驗(yàn)時(shí),主要的難點(diǎn)在于判斷迭代停止的條件,剛開始是想每對輸入的能量值已經(jīng)求得,那么穩(wěn)定的輸出結(jié)果就應(yīng)該是對應(yīng)的輸入與輸出應(yīng)該計(jì)算得出這一對矢量對應(yīng)的能量值.因此在實(shí)現(xiàn)時(shí)判斷結(jié)束語句是c=-a*W*b=El,-a*W*b=E2,-a*W*b=E3,-af*W*b=E4,;其中C為邏輯數(shù)組,然后根據(jù)C中是否有1來判斷迭代是否停止,有1,那么說明到達(dá)穩(wěn)定狀態(tài),否那么迭代繼續(xù).但是后來通過對實(shí)驗(yàn)的分析得出,如果輸入有噪聲的話,仍然能到達(dá)一個(gè)偽穩(wěn)定狀態(tài),但是此時(shí)的能量值發(fā)生改變,所以不

17、能用這個(gè)條件作為判斷迭代結(jié)束的條件,后來我的判斷條件為連續(xù)兩次得到的輸出是否相等,假設(shè)相等那么到達(dá)“穩(wěn)定狀態(tài).六、源代碼cicclear1,-1,1,-1,1,-1,1;a4=(ijjj廠b2=u,ijb3wij/i廣8411廠1,1廠1,1廠1,1廠1,1,-1.；W=zeros(15/10);fors=l:4W=WMseBs；endEl=-Al,eWBl;E2=-A2,WB2;E3=-A3,eWB3；E4二A4*WB4;Aa=zeros(15,2)；Bb=zeros(10/2);a=zeros(154);b=zeros(10/l);c=n,L-i,-u；%邏輯數(shù)組,判斷結(jié)果是否穩(wěn)定,即網(wǎng)絡(luò)

18、的能量函數(shù)p=l%輸入的為哪個(gè)變量in=Bp%輸入向量l=length(in);%根據(jù)輸入向量的長度判斷輸入的是A還是Bif(l=10)testa=0;b=(inT(l-2,randerr(l,10,1),;隨機(jī)取100個(gè)假設(shè)干位取反的輸入%墉人為B時(shí)cha=2eros(15,l)；cha(14)=l;whilesum(cha)=0%第一次計(jì)算afori=l:15origina=a(i,l);%先將原始的a存起來,當(dāng)求和為0時(shí),神經(jīng)元的輸出維持不變forj=L:10enda(i,l);origina;elsea(U)=sign(a(i4);endend%A=WBforj=l:10originb

19、=b(j,l);%先將原始的b存起來,當(dāng)求和為0時(shí),神經(jīng)元的輸出維持不變fori=l:15endif(b0,l)=O)b(j,l)=originb;elseb(j,l)=sign(b(jj);endend%B=W*AAa(:,l)=a;%將前一次迭代得到的a存入第一列%第二次計(jì)算afori=l:15origina=a(i,l);%先將原始的a存起來,當(dāng)求和為.時(shí),神經(jīng)元的描出維持不變forj=l:10endif(a(i,l)=0)a(i,l)二origina;elsea(i,l)=sign(a(i,l);endend%A=WBforj=l:10originb=先將原始的b存起來,當(dāng)求和為0時(shí),

20、神經(jīng)元的飾出維持不變fori=l:15endif(bO,l)=0)b(j,l)=originb;elseb(j,l)=sign(b(j,l);endendAa(:,2)=a;%將后一次迭代得到的a存入第二列cha=Aa(:J)Aa(:,2);end%testa(:;n)=a.*Ap;m=a-Ap;if(sum(mf=0)testa=testafl;elsetesta=testa+0;endend%errora=find(testa=-l);%cittesta中-1的個(gè)數(shù),即輸入為B時(shí)聯(lián)想錯誤的元素acca=ltesta/1000;%準(zhǔn)確率%榆入為A時(shí)elsetestb=0;forn=l:1000Einr(l-2ynder15J)7%隨機(jī)取100個(gè)假設(shè)干位取反的輸入chb二zeros(10,l);chb(l,l)=l;whilesum(chb廣