神經(jīng)網(wǎng)絡(luò)導(dǎo)論雙向聯(lián)想記憶

1、神經(jīng)網(wǎng)絡(luò)導(dǎo)論實驗二雙向聯(lián)想記憶專業(yè)：信息與通信工程班級：5030班學(xué)號：3115091011姓名：王靜一、實驗?zāi)康氖煜osko型雙向聯(lián)想記憶網(wǎng)絡(luò)的原理與結(jié)構(gòu)，通過仿真實驗掌握具體的實現(xiàn)方法，了解該網(wǎng)絡(luò)的功能及性能，加深對該類網(wǎng)絡(luò)的穩(wěn)定狀態(tài)和能量函數(shù)等概念的理解。二、實驗原理我們知道，聯(lián)想記憶功能分為自聯(lián)想和異聯(lián)想，異聯(lián)想也稱為雙向聯(lián)想記憶,簡寫為BAM,BAM存儲器可存儲兩組矢量，若有如下N維矢量與P維矢量B：A=a。,QniFGB=瓦,瓦,.,bp_iF£-1,1P構(gòu)成M對矢量（4,及），s=0,1,.7M-1,將它們存入bam存儲器即可進行由a到b或由B到A的雙向聯(lián)想，即給定A

2、（或B）可經(jīng)聯(lián)想得到對應(yīng)的標(biāo)準(zhǔn)樣本B（或A）,當(dāng)有噪聲或缺損時，聯(lián)想功能可使樣本對復(fù)原。其實，人腦就具有根據(jù)相關(guān)線索回憶和恢復(fù)信息的能力。例如，片斷曲調(diào)往往可以喚起人們對整個樂曲的回憶；在人群中某人的背影就足以使我們想起一位老朋友。人工神經(jīng)網(wǎng)絡(luò)力圖實現(xiàn)這種功能。Kosko的BAM網(wǎng)絡(luò)就是其中的一種。如圖1所示,與矢量A相應(yīng)的一層有N個節(jié)點，另一層對應(yīng)矢量B,有P個節(jié)點，兩層間雙向連接。假定B到A的傳輸為正向，正向的權(quán)矩陣為W,反之，A至IJB為反向傳輸，權(quán)矩陣為“7。如果輸入矢量由上層加入，且相應(yīng)于網(wǎng)絡(luò)中B的穩(wěn)定狀態(tài)，則經(jīng)W之作用產(chǎn)生A穩(wěn)定狀態(tài)。同理，如果輸入矢量在下層，且相應(yīng)于網(wǎng)絡(luò)中A的穩(wěn)定

3、狀態(tài),經(jīng)之作用產(chǎn)生B穩(wěn)定狀態(tài)，圖1:雙向底想記憶網(wǎng)絡(luò)當(dāng)輸入任意矢量時，網(wǎng)絡(luò)要經(jīng)若干次迭代計算演變至穩(wěn)定狀態(tài)，過程可示意為:WB(t)->4(t+l)1)tBQ+2)WB(t+2)T7l(t+3)直至A、B為穩(wěn)態(tài)，演變過程結(jié)束。網(wǎng)絡(luò)學(xué)習(xí)遵從Hebb規(guī)則，若給定M個雙極性矢量對：(4。，%),則正、反向權(quán)矩陣為：M-1W=W4s風(fēng)s=0MTW7=W及用s=0如果BAM網(wǎng)絡(luò)神經(jīng)元函數(shù)閾值為0,則稱為齊次BAM網(wǎng)絡(luò)，其能量函數(shù)為：11E(AfB)=-AtWB-BtWtA=-AtWB若神經(jīng)元非線性函數(shù)為f,則描述齊次BAM動態(tài)特性的差分方程為：正向聯(lián)想(B=A)4(£+1)=f£

4、;：=i卬海反向聯(lián)想(A=B)»(t+2)%.(£+1)(2)三、實驗內(nèi)容IS1 .連接權(quán)矩陣對于給定的4對學(xué)習(xí)樣本根據(jù)Hebb規(guī)則計算網(wǎng)絡(luò)的連接權(quán)矩陣，這里只計算正向傳輸(即從B到A)的權(quán)重連接矩陣，反向權(quán)矩陣為正向權(quán)矩陣的轉(zhuǎn)置。下面為四對學(xué)習(xí)樣本Al=l,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1':A2=l,1,-1,-1,1,1,-1,-1,1,1,-1,-1,I,1，；A3=l,1,1,-1,-1,-1,1,1,1,-1,-1,-1,1,1,1Y；A4=l,1,1,1,-1,-1,-1,-1,1,1,1,1,-1,-1,-H，；B

5、l=l,1,1,1,-1,-1,-1,-1,1,1；B2=l,1,1,-1,-1,-1,1,1,1,-1'；B3=l,1,-1,-1,1,1,-1,-1,1,1'；B4=l,-1,1,-1,1,-1,1,-1,1,T'；已知連接權(quán)矩陣的計算公式W=即w為15*10的矩陣，則帶入四對樣本可得連接權(quán)矩陣W為：表一：連接權(quán)矩陣422-20-20-240200-420202-2200020-2-422-2-4002020-2-20222-4-20200-2000-2024-2-202-2202-4-204-20-4024-20-22422-20-20-2400-22-20-24

6、20-40-2220-20-200-2-4002020-2-22400-20-202202-2-202020002-2202-4-2042.能量值由實驗原理可知，對于輸入的一對樣本A、B,其能量值計算公式為:E(AfB)=-AtWB將四對樣本分別帶入得能量值分別為：表二：能量值樣本(Al,B1)(A2,B2)(A3,B3)(A4,B4)能量值E1E2E3E4-158-142-158-1463.2 驗證網(wǎng)絡(luò)的聯(lián)想能力驗證網(wǎng)絡(luò)的聯(lián)想能力即任選標(biāo)準(zhǔn)樣本4輸入網(wǎng)絡(luò)進行迭代運算直至網(wǎng)絡(luò)穩(wěn)定，觀察上下兩層的狀態(tài)是否為(4,4)，同樣，任選區(qū)輸入，觀察穩(wěn)定后的狀態(tài)。過程可按如下所示框圖描述：雙向聯(lián)想網(wǎng)絡(luò)實臉

7、框圖根據(jù)輸入矢量的長度確定輸入的是哪個矢量，進而確定進入哪個循環(huán)，判斷結(jié)束的條件為網(wǎng)絡(luò)穩(wěn)定，即兩次得到的所求矢量相等。例如，當(dāng)輸入為矢量B時，前一次通過正向聯(lián)想和反向聯(lián)想得到4,后一次再經(jīng)過正向聯(lián)想和反向聯(lián)想得到4+1，若兩次得到的相等，則認(rèn)為網(wǎng)絡(luò)穩(wěn)定則輸出穩(wěn)定矢量A,否則，繼續(xù)迭代。以下為網(wǎng)絡(luò)聯(lián)想得到的幾組實驗數(shù)據(jù)輸入A1A3B2A2B4輸出B1B3A2B2A4可以看出，該網(wǎng)絡(luò)具有聯(lián)想能力，對于給定的輸入能正確的得到輸出，沒有錯誤。3.3 驗證網(wǎng)絡(luò)的抗噪能力1 .實驗過程隨機選取某一保準(zhǔn)矢量的若干位取反形成畸變矢量，將其輸入網(wǎng)絡(luò)迭代至穩(wěn)態(tài)，觀察對應(yīng)的輸出是否依然正確。實驗中取了如下五組數(shù)據(jù)：

8、圖中所示為輸出的能量值實驗一：表三：輸入A1且有一位取反標(biāo)準(zhǔn)輸入矢量Al=l,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1'標(biāo)準(zhǔn)輸出矢量Bl=l,1,1,1,-1,-1,-1,-1,1,1'一位取反的畸變矢量AV=1,1,1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1'實際輸出BV=1,1,1,1,-1,-1,-1,-1,1,=圖一：輸入A1一位取反的能最變化曲線可以看出，當(dāng)輸入A1并且有一位取反時，網(wǎng)絡(luò)通過聯(lián)想仍能得到正確的輸出B1.因此網(wǎng)絡(luò)此時的能量與輸入標(biāo)準(zhǔn)矢量（Al,B1）時能量相等。實驗二：表四：輸入A1且有兩位取反標(biāo)準(zhǔn)

9、輸入矢量Al=l,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1,-1,1'標(biāo)準(zhǔn)輸出矢量Bl=1,1,1,1,-1,-1,-1,-1,1,1'兩位取反的畸變矢量Al*=l,1,1,_1,1,-1,-1,1,-1,1,-1,1,-1,1，實際輸出Blz=l,1,1,1,-1,-1,-1,-1,1,=可以看出，當(dāng)4因此網(wǎng)絡(luò)此時三確的輸出B1.圖二：輸入A1兩位取反的能最變化曲線圖三：輸入B2一位取反的能量變化曲線可以看出，當(dāng)輸入B2并且有一位取反時，網(wǎng)絡(luò)通過聯(lián)想仍能得到正確的輸出A2.因此網(wǎng)絡(luò)此時的能量與輸入標(biāo)準(zhǔn)欠量（B2,A2）時能量相等。實驗四：表六：輸入B3且有兩

10、位取反標(biāo)準(zhǔn)輸入矢量B3=l,1,-1,-1,1,1,-1,-1,1,1,標(biāo)準(zhǔn)輸出矢量A3=l,1,1,-1,-1,-1,1,1,1,-1,-1,-1,1,1,1Y一位取反的畸變矢量B3Z=-1,1,-1,-1,1,-1,-1,-1,1,1'實際輸出A3Z=1,1,1,-1,-1,-1,1,1,1,-1,-1,-1,1,1,1'=A3-9C-102110.122132圖四：輸入B3兩位取反的能量變化曲線可以看出，當(dāng)輸入B3TTJZLBPlI2L2人“J，叱得到正確的輸出A3.因此網(wǎng)絡(luò)此時的能量與輸入標(biāo)準(zhǔn)矢量（B3,A3）時能量相等。實驗五：表七：輸入B3且有兩位取反標(biāo)準(zhǔn)輸入矢量B

11、3=l,1,-1,-1,1,1,-1,-1,1,1'標(biāo)準(zhǔn)輸出矢量A3=l,1,1,-1,-1,-1,1,1,1,-1,-1,-1,1,1,1'一位取反的畸變矢量B3Z=-1,1,-1,-1,1,1,T,-1,-1,1'實際輸出A3#=-l,-L1,-1,1,-1,-1,-1,-1,1,1,1'圖五：輸入B3兩位位取反的能量變化曲線可以看出，當(dāng)輸入B3并且有兩位取反時，網(wǎng)絡(luò)聯(lián)想此時出現(xiàn)錯誤，故此時網(wǎng)絡(luò)的能量與輸入標(biāo)準(zhǔn)矢量（B3,A3）時能量不同。2 .實驗分析從實驗中可以看出，當(dāng)輸入矢量有一位取反時，由于網(wǎng)絡(luò)的聯(lián)想功能，基本可以輸出正確的結(jié)果，但是當(dāng)輸入有多位取反

12、時，則會出現(xiàn)錯誤，即偽穩(wěn)定狀態(tài)。當(dāng)然，這只是幾個簡單的實驗，并不能說明當(dāng)輸入有一位取反時就完全不會出現(xiàn)錯誤輸出，也不能從此說明網(wǎng)絡(luò)的聯(lián)想能力。下面會從統(tǒng)計的角度對網(wǎng)絡(luò)的聯(lián)想能力做出評估。3.4噪聲大小對聯(lián)想能力的影響本實驗針對不同的輸入以及不同的取反位數(shù)計算網(wǎng)絡(luò)聯(lián)想的正確率，用其表示網(wǎng)絡(luò)的聯(lián)想能力。每次實驗采取1000次輸入，每次輸入通過迭代得到其對應(yīng)的輸出，再將輸出與對應(yīng)的標(biāo)準(zhǔn)輸出矢量比較，判斷此次輸出是否正確。進而得到本次實驗的正確率。1 .輸入為A反位數(shù)輸入取反1位取反2位取反3位A110.99200.9660A210.99100.9000A310.94900.9190A410.8990

13、0.76302 .輸入為B取反位數(shù)輸入取反1位取反2位取反3位B110.90400.G710B20.89100.76700.6000B30.91000.77600.4080B40.89400.74100.63303.實驗分析從實驗結(jié)果中可以看出，在一行中（即輸入相同時），噪聲越大，正確率越低。同時可以看出，由于矢量A的維數(shù)較多，所以當(dāng)矢量B與矢量A取相同的取反位數(shù)時，可認(rèn)為B矢量上的信噪比衰落更大，所以正確率下降。而且還可以看出一個大致上的規(guī)律，當(dāng)輸入矢量內(nèi)部變化較快（例Al,B4）時，隨著噪聲增加，其正確率比那些內(nèi)部變化較慢（例A4）的矢量大。3 .5偽穩(wěn)定狀態(tài)偽穩(wěn)定狀態(tài)，即當(dāng)帶噪聲的樣本輸

14、入到網(wǎng)絡(luò)后，網(wǎng)絡(luò)仍然迭代至一“穩(wěn)定狀態(tài)”，但不是標(biāo)準(zhǔn)的輸出矢量。所以稱為偽穩(wěn)定狀態(tài)。標(biāo)準(zhǔn)輸入Al=l,-1,1,-1,1,-1,1,-1,1,1,-1,1,-1,1了標(biāo)準(zhǔn)輸出B1=1,1,1,1,-1,-1,-1,-1,1,1Y實際輸入Al#=l,1,1,-1,-1,-1,1,1,-1,-1,1,-1,1,-1,1'實際輸出BV=1,1,-1,1,1,1,-1,-1,1,1'E-146該偽穩(wěn)定狀a及是Al加噪聲輸入，輸入有四位取反，輸出有三位錯誤。標(biāo)準(zhǔn)輸入B2=i,1,1,-1,-1,-1,1,1,i,-ir標(biāo)準(zhǔn)輸出A2=l,1,-1,-1,1,1,-1,-1,1,1,-1,-

15、1,1,1,T'實際輸入B2*=l,1,-1,-1,1,-1,-1,1,1,-1,實際輸出A2Z=1,1,1,-1,-1,-1,-1,-1,1,1,1,-1,1,-1,-l1E-118該偽穩(wěn)定狀X片是B2加噪聲輸入，輸入有三位取反，輸出有五位錯誤。四、實驗思考題1、在實驗步驟4中觀察網(wǎng)絡(luò)能量E是如何變化的？根據(jù)網(wǎng)絡(luò)機理說明原因。通過實驗可以看出，在實驗過程中網(wǎng)絡(luò)能量趨于減小，最終穩(wěn)定。這是由于雙向聯(lián)想網(wǎng)絡(luò)仍是Hopfield網(wǎng)絡(luò)，因此它仍具有Hopfield神經(jīng)網(wǎng)絡(luò)的特點，即網(wǎng)絡(luò)能量向能量減小的方向走，直至達(dá)到極小值的穩(wěn)定狀態(tài)。2、如果我們想要“擦除”存儲矢量對中的某對（4,4），應(yīng)如

16、何調(diào)整網(wǎng)絡(luò)？（考慮運算量）雙向聯(lián)想記憶網(wǎng)絡(luò)中，要想去除某對輸入的影響，只要在連接權(quán)矩陣中減去這對輸入的影響即可。即W*=W-3、通過總結(jié)第5步和第6步實驗結(jié)果，能得出什么結(jié)論？簡要解釋其中的原因。從實驗結(jié)果可以看出：1）噪聲越大，正確率越低2）輸入矢量維數(shù)越大，網(wǎng)絡(luò)對噪聲的承受能力越好，正確率越高3）輸入矢量中元素符號變化較快，在一定程度上對網(wǎng)絡(luò)正確率有所提高五、實驗總結(jié)在這次實驗中，我在進行實驗時，主要的難點在于判斷迭代停止的條件，剛開始是想每對輸入的能量值已經(jīng)求得，那么穩(wěn)定的輸出結(jié)果就應(yīng)該是對應(yīng)的輸入與輸出應(yīng)該計算得出這一對矢量對應(yīng)的能量值。因此在實現(xiàn)時判斷結(jié)束語句是c=-a*W*b=El

17、,-a*W*b=E2,-a*W*b=E3,-af*W*b=E4,;其中C為邏輯數(shù)組，然后根據(jù)C中是否有1來判斷迭代是否停止，有1,則說明達(dá)到穩(wěn)定狀態(tài)，否則迭代繼續(xù)。但是后來通過對實驗的分析得出，如果輸入有噪聲的話，仍然能達(dá)到一個偽穩(wěn)定狀態(tài)，但是此時的能量值發(fā)生改變，所以不能用這個條件作為判斷迭代結(jié)束的條件，后來我的判斷條件為連續(xù)兩次得到的輸出是否相等，若相等則達(dá)到“穩(wěn)定狀態(tài)”。六、源代碼cicclear1,-1,1,-1,1,-1,1'a4=(ijjj廠b2=u,ijb3wij/i廣8411廠1,1廠1,1廠1,1廠1,1,-1.；W=zeros(15/10);fors=l:4W=WM

18、seBs'；endEl=-Al，eWBl;E2=-A2,>WB2;E3=-A3，eWB3；E4二A4'*WB4;Aa=zeros(15,2)；Bb=zeros(10/2);a=zeros(154);b=zeros(10/l);c=n,L-i,-u；%邏輯數(shù)組，判斷結(jié)果是否穩(wěn)定,即網(wǎng)絡(luò)的能量函數(shù)p=l%輸入的為哪個變量in=Bp%輸入向量l=length(in);%根據(jù)輸入向量的長度判斷輸入的是A還是Bif(l=10)testa=0;b=(inT(l-2，randerr(l,10,1)，;隨機取100個若干位取反的輸入%墉人為B時cha=2eros(15,l)；cha(14

19、)=l;whilesum(cha)=0%第一次計算afori=l:15origina=a(i,l);%先將原始的a存起來，當(dāng)求和為0時，神經(jīng)元的輸出維持不變forj=L:10enda(i,l);origina;elsea(U)=sign(a(i4);endend%A=WBforj=l:10originb=b(j,l);%先將原始的b存起來，當(dāng)求和為0時，神經(jīng)元的輸出維持不變fori=l:15endif(b0,l)=O)b(j,l)=originb;elseb(j,l)=sign(b(jj);endend%B=W'*AAa(:,l)=a;%將前一次迭代得到的a存入第一列%第二次計算afo

20、ri=l:15origina=a(i,l);%先將原始的a存起來，當(dāng)求和為。時，神經(jīng)元的描出維持不變forj=l:10endif(a(i,l)=0)a(i,l)二origina;elsea(i,l)=sign(a(i,l);endend%A=WBforj=l:10originb=先將原始的b存起來，當(dāng)求和為0時，神經(jīng)元的飾出維持不變fori=l:15endif(bO，l)=0)b(j,l)=originb;elseb(j,l)=sign(b(j,l);endendAa(:,2)=a;%將后一次迭代得到的a存入第二列cha=Aa(:J)Aa(:,2);end%testa(:;n)=a.*Ap;m=a-Ap;if(sum(mf=0)testa=testafl;elsetesta=testa+0;endend%errora=find(testa=-l);%cittesta中-1的個數(shù),即輸入為B時聯(lián)想錯誤的元素acca=ltesta/1000;%準(zhǔn)確率%榆入為A時elsetestb=0;forn=l:1000Einr(l-2ynder15J)7%隨機取100個若干位取反的輸入chb二zeros(10,l);chb(l,l)=l;w