雙向聯(lián)想記憶

雙向聯(lián)想記憶第一頁，共十四頁，編輯于2023年，星期二雙向聯(lián)想記憶網(wǎng)絡是一種異聯(lián)想(hetero-association)的雙層神經(jīng)網(wǎng)絡記憶存儲的樣本是二元數(shù)據(jù)對{},A,B分屬不同維量的向量空間輸入或，經(jīng)過雙向反饋不斷提高回憶聯(lián)向精度，網(wǎng)絡穩(wěn)定輸出{}或足夠逼近{}。概述第二頁，共十四頁，編輯于2023年，星期二網(wǎng)絡結構AB

兩層結構，A層是m維，B層是p維。兩者都可以作為輸入層或輸出層每個神經(jīng)元與本層其他神經(jīng)元無連接，而和另一層全部神經(jīng)元連接。欲被聯(lián)想的模式從某一層輸入，經(jīng)過雙向反饋聯(lián)想計算，最終趨于穩(wěn)定，得到輸出。神經(jīng)元對輸入加權和進行非線性處理。第三頁，共十四頁，編輯于2023年，星期二雙向反饋聯(lián)想計算

在t時刻，A層輸入，經(jīng)計算可得B層的輸出其中，單元j的輸出為：也可以用階躍函數(shù)φ第四頁，共十四頁，編輯于2023年，星期二記憶--權重學習

設有N個樣本，采用基于Hebb規(guī)則的外積法得：正向聯(lián)想存儲器：矩陣

反向聯(lián)想存儲器：矩陣第五頁，共十四頁，編輯于2023年，星期二記憶--權重學習例樣本：→輸入聯(lián)想：第六頁，共十四頁，編輯于2023年，星期二BAM穩(wěn)定性與Hopfield網(wǎng)絡類似，BAM的樣本存儲在能量極小處Kosko定義了系統(tǒng)的能量函數(shù)：（標量轉(zhuǎn)置為其本身）類似Hopfield可以證明：沿著狀態(tài)空間

中的離散軌跡，總有而對所有的A和B，E總是有界，即(令θ=0)

第七頁，共十四頁，編輯于2023年，星期二BAM穩(wěn)定性如果將離散BAM的差分狀態(tài)改成下列的微分方程式，就會得到連續(xù)BAM(continuousbidirectionalassociativememory)：

其中，Ii

以及

I’j

為正值常數(shù)。

第八頁，共十四頁，編輯于2023年，星期二BAM穩(wěn)定性根據(jù)

Kosko的研究，BAM的最大記憶容量為：

，更保守的估計應該不會超過BAM的狀態(tài)改變，不管是用同步

(synchronization)

或異步

(asynchronization)

的方式，都會收斂至雙向穩(wěn)定狀態(tài)。聯(lián)想記憶的性能取決于吸引子的尺寸、存儲容量和收斂時間。所存模式的正交性或統(tǒng)計可分離性影響網(wǎng)絡的記憶和回憶能力。第九頁，共十四頁，編輯于2023年，星期二BAM穩(wěn)定性Kosko(1987)：基本的雙聯(lián)存儲器無條件穩(wěn)定——聯(lián)接權矩陣是互為轉(zhuǎn)置矩陣。當輸入向量的維數(shù)與輸出向量的維數(shù)相同時，W為方陣，此時如果聯(lián)接矩陣W是對稱的，則基本的雙聯(lián)存儲器退化成一個Hopfield網(wǎng)第十頁，共十四頁，編輯于2023年，星期二序列模式記憶與聯(lián)想BAM除了可被用于記憶靜態(tài)

(static)的向量對之外，亦可用來存儲動態(tài)的狀態(tài)變化

(dynamicstatetransitions)，譬如說，想要存儲以下的一連串狀態(tài)向量：我們可以將此問題視為異聯(lián)想的記憶問題，亦即要BAM記得以下之向量對：

第十一頁，共十四頁，編輯于2023年，星期二序列模式記憶與聯(lián)想第十二頁，共十四頁，編輯于2