《神經網絡導論》實驗二-雙向聯想記憶

《神經網絡導論》實驗二雙向聯想記憶專業(yè)班級碩2081學號3112313038姓名李海玥完成時間2013年1月《神經網絡導論》試驗二雙向聯想記憶李海玥2013年1月一、實驗目的熟悉Kosko型雙向聯想記憶網絡的原理與結構，通過仿真實驗掌握具體的實現方法，了解該網絡的功能及性能，加深對該類網絡的穩(wěn)定狀態(tài)和能量函數等概念的理解。二、實驗原理聯想記憶功能分為自聯想和異聯想，異聯想也稱為雙向聯想記憶，簡寫為BAM。BAM存儲器可存儲兩組矢量，若有如下N維矢量A和P維矢量B：A=B=構成M對矢量As,Bs,s=0,1,?,M-1如圖1所示，與矢量A相應的一層有N個節(jié)點，另一層對應矢量B，有P個節(jié)點，兩層間雙向連接。假定B到A的傳輸為正向，正向的權矩陣為W。如果輸入矢量由上層加入，且相應于網絡中B的穩(wěn)定狀態(tài)，則經W之作用產生A穩(wěn)定狀態(tài)。圖1：雙向聯想記憶網絡當任意矢量輸入時，網絡要經若干次次迭代計算演變至穩(wěn)態(tài)，過程可示意為：WBWWB?直至A、B為穩(wěn)態(tài)，演變過程結束。網絡學習遵從Hebb規(guī)則，若給定M個雙極性矢量對：A則正，反向權矩陣為：W=W如果BAM網絡神經元函數值為0，則稱為齊次BAM網絡，其能量函數為：E若神經元的非線性函數為f，則描述齊次BAM動態(tài)特性的差分方程為：正向聯想(B?A)a反向聯想(A?B)b三、實驗內容及步驟1、選擇齊次Kosko型BAM網絡編制程序實現聯想記憶。設神經元非線性函數f為硬限幅函數，即f(x)=san(x)；當x=0時，神經元的輸出維持不變。2、根據Hebb規(guī)則算出網絡的連接權矩陣并記錄；算出四對矢量所對應的穩(wěn)定狀態(tài)的能量值。連接權值W=4 2 2 -2 0 -2 0 -2 4 02 0 0 -4 2 0 2 0 2 -22 0 0 0 2 0 -2 -4 2 2-2 -4 0 0 2 0 2 0 -2 -20 2 2 2 -4 -2 0 2 0 0-2 0 0 0 -2 0 2 4 -2 -20 2 -2 2 0 2 -4 -2 0 4-2 0 -4 0 2 4 -2 0 -2 24 2 2 -2 0 -2 0 -2 4 00 -2 2 -2 0 -2 4 2 0 -40 -2 2 2 0 -2 0 -2 0 0-2 -4 0 0 2 0 2 0 -2 -22 4 0 0 -2 0 -2 0 2 20 2 -2 -2 0 2 0 2 0 00 2 -2 2 0 2 -4 -2 0 4穩(wěn)定狀態(tài)能量值：E=[3、驗證網絡的聯想能力經過Matlab編程驗證，經過以上計算出的權值W和對稱硬限幅函數的非線性作用，選擇標準樣本Ai進行迭代，觀察上下兩層的狀態(tài)是否為(Ai,Bi)。同樣任選Bi輸入觀察穩(wěn)定后的結果。經過前面計算出的權值W和符號函數非線性作用，進行一次迭代，聯想成功沒有偏差。即AB4、驗證網絡抗噪能力以標準矢量A1隨機兩位取反形成畸變矢量A帶入網絡中迭代至穩(wěn)定。得到結果A過程經過兩次迭代期間能量變化為：E5、噪聲大小對聯想能力的影響統計4個矢量分別在1~3位上取反時的聯想正確率。對于每種情況取2000次運算得到平均性能。表1噪聲對網絡聯想力的影響標準矢量取反位數迭代次數平均值聯想正確率A112.0000100%22.000098.97%32.097595.58%A212.0000100%22.016098.49%32.176591.68%A311.920099.52%21.990598.51%32.063695.21%A412.0000100%22.013099.61%32.097589.71%6、正反向聯想抗噪能力統計4個B矢量分別在1~3位取反時的聯想正確率，記錄結果并與第5步結果比較。表2反向聯想抗噪能力標準矢量取反位數迭代次數平均值聯想正確率B112.0000100%22.216091.75%32.336077.03%B211.870597.80%22.068594.52%32.339580.03%B311.902099.02%22.027091.43%32.203074.40%B411.795597.95%22.016592.17%32.181576.89%四、實驗思考題1、在實驗步驟4中觀察網絡能量E是如何變化的？根據網絡機理說明原因。從步驟4中可以看出，網絡能量E隨著跌代的次數而減小。這是因為雙向聯想網絡是Hopfield網絡的一種，所以也具有Hopfield網絡特性。而對于標準Hopfield網絡，其能量函數E對時間的導數為負值，dE也就是說網絡總是朝著能量函數E減小的方向運動，且達到穩(wěn)態(tài)時，E取極小值。2、如果我們想要“擦除”存儲矢量中的某對(Ai,Bi)，應如何調整網絡？雙向聯想記憶網絡特性主要體現在權值W上，如果想要“擦除”存儲矢量中的某對(Ai,Bi)，只需要對權值進行調整：W或者更新權值為：W3、通過總結第5步和第6步的實驗結果，能得出什么結論？簡要解釋其中的原因。隨著矢量位取反的位數增多，即噪聲的增大，網絡達到穩(wěn)態(tài)所需迭代次數增加。隨著網絡噪聲的增大，網絡聯想正確率下降，說明網絡恢復的記憶力是有限的。網絡對各組矢量的聯想記憶力是有限的，如果對其中一組矢量的記憶力增強，則另一組必定減弱。對不同樣本組記憶力大體相同，差異不大。五、實驗結論雙向聯想記憶網絡是一種特殊的Hopfield神經網絡，具有信息記憶和信息記憶的功能。Hopfield神經網絡的特點是每個神經元的輸出要反饋給除自身以外的其他所有神經元。那么設網絡上共有L個神經預案，使得W成為一個L×L的矩陣，我們將L個神經元分成N、P兩組。如果每組內任一個神經元的輸出都反饋給另一組的神經元輸入，而不反饋給本組神經元輸入端，這樣可以將不反饋的部分的權值視為0。所以Kosko型BAM網絡就可以視為一種特殊的Hopfield網絡。對于雙向聯想記憶網絡，它具有Hopfield網絡所具有的一般特性，在實驗中可以看到，隨著時間的推移，網絡在狀態(tài)空間中總是朝著能量函數減小的方向移動，當網絡達到穩(wěn)定時，能量取得極小值。隨著網絡噪聲的增大，網絡達到穩(wěn)態(tài)所需迭代次數增加，網絡聯想正確率下降，同時說明網絡恢復的記憶力是有限的。Matlab主要源代碼1、Hebb規(guī)則A(:,1)=[1-11-11-11-11-11-11-11];A(:,2)=[11-1-111-1-111-1-111-1];A(:,3)=[111-1-1-1111-1-1-1111];A(:,4)=[1111-1-1-1-11111-1-1-1];B(:,1)=[1111-1-1-1-111];B(:,2)=[111-1-1-1111-1];B(:,3)=[11-1-111-1-111];B(:,4)=[1-11-11-11-11-1];w(1:15,1:10)=0;e(1:4)=0;fori=1:4w=w+A(:,i)*B(:,i)';endforj=1:4e(j)=-(A(:,j))'*w*B(:,j);endA1=A(:,1);B1=B(:,1);temp(15,1)=0;TimeNum=0;%isequal判斷數組容量是否相等;%hardlims對稱硬限幅功能傳輸函數；%%驗證網絡聯想能力；whileisequal(A1,temp)temp=A1;A1=hardlims(w*B1);B1=hardlims(w*A1);TimeNum=TimeNum+1;End2、網絡迭代算法%A1任兩位取反A1=A(:,1).*(1-2*randerr(1,15,2)');e(1:k)=0;temp(15,1)=0;k=0;ifA1~=A(:,1)temp=A1(0);B1(k+1)=hardlims(w'*A1(k));k=k+1;A1(k+1)=hardlims(w*B1(k));endforj=1:ke(j)=-(A(:,j))'*w*B(:,j);endChangeNum=length(find(