雙向聯(lián)想記憶

雙向聯(lián)想記憶第一頁(yè)，共十四頁(yè)，2022年，8月28日雙向聯(lián)想記憶網(wǎng)絡(luò)是一種異聯(lián)想(hetero-association)的雙層神經(jīng)網(wǎng)絡(luò)記憶存儲(chǔ)的樣本是二元數(shù)據(jù)對(duì){},A,B分屬不同維量的向量空間輸入或，經(jīng)過雙向反饋不斷提高回憶聯(lián)向精度，網(wǎng)絡(luò)穩(wěn)定輸出{}或足夠逼近{}。概述第二頁(yè)，共十四頁(yè)，2022年，8月28日網(wǎng)絡(luò)結(jié)構(gòu)AB

兩層結(jié)構(gòu)，A層是m維，B層是p維。兩者都可以作為輸入層或輸出層每個(gè)神經(jīng)元與本層其他神經(jīng)元無連接，而和另一層全部神經(jīng)元連接。欲被聯(lián)想的模式從某一層輸入，經(jīng)過雙向反饋聯(lián)想計(jì)算，最終趨于穩(wěn)定，得到輸出。神經(jīng)元對(duì)輸入加權(quán)和進(jìn)行非線性處理。第三頁(yè)，共十四頁(yè)，2022年，8月28日雙向反饋聯(lián)想計(jì)算

在t時(shí)刻，A層輸入，經(jīng)計(jì)算可得B層的輸出其中，單元j的輸出為：也可以用階躍函數(shù)φ第四頁(yè)，共十四頁(yè)，2022年，8月28日記憶--權(quán)重學(xué)習(xí)

設(shè)有N個(gè)樣本，采用基于Hebb規(guī)則的外積法得：正向聯(lián)想存儲(chǔ)器：矩陣

反向聯(lián)想存儲(chǔ)器：矩陣第五頁(yè)，共十四頁(yè)，2022年，8月28日記憶--權(quán)重學(xué)習(xí)例樣本：→輸入聯(lián)想：第六頁(yè)，共十四頁(yè)，2022年，8月28日BAM穩(wěn)定性與Hopfield網(wǎng)絡(luò)類似，BAM的樣本存儲(chǔ)在能量極小處Kosko定義了系統(tǒng)的能量函數(shù)：（標(biāo)量轉(zhuǎn)置為其本身）類似Hopfield可以證明：沿著狀態(tài)空間

中的離散軌跡，總有而對(duì)所有的A和B，E總是有界，即(令θ=0)

第七頁(yè)，共十四頁(yè)，2022年，8月28日BAM穩(wěn)定性如果將離散BAM的差分狀態(tài)改成下列的微分方程式，就會(huì)得到連續(xù)BAM(continuousbidirectionalassociativememory)：

其中，Ii

以及

I’j

為正值常數(shù)。

第八頁(yè)，共十四頁(yè)，2022年，8月28日BAM穩(wěn)定性根據(jù)

Kosko的研究，BAM的最大記憶容量為：

，更保守的估計(jì)應(yīng)該不會(huì)超過BAM的狀態(tài)改變，不管是用同步

(synchronization)

或異步

(asynchronization)

的方式，都會(huì)收斂至雙向穩(wěn)定狀態(tài)。聯(lián)想記憶的性能取決于吸引子的尺寸、存儲(chǔ)容量和收斂時(shí)間。所存模式的正交性或統(tǒng)計(jì)可分離性影響網(wǎng)絡(luò)的記憶和回憶能力。第九頁(yè)，共十四頁(yè)，2022年，8月28日BAM穩(wěn)定性Kosko(1987)：基本的雙聯(lián)存儲(chǔ)器無條件穩(wěn)定——聯(lián)接權(quán)矩陣是互為轉(zhuǎn)置矩陣。當(dāng)輸入向量的維數(shù)與輸出向量的維數(shù)相同時(shí)，W為方陣，此時(shí)如果聯(lián)接矩陣W是對(duì)稱的，則基本的雙聯(lián)存儲(chǔ)器退化成一個(gè)Hopfield網(wǎng)第十頁(yè)，共十四頁(yè)，2022年，8月28日序列模式記憶與聯(lián)想BAM除了可被用于記憶靜態(tài)

(static)的向量對(duì)之外，亦可用來存儲(chǔ)動(dòng)態(tài)的狀態(tài)變化

(dynamicstatetransitions)，譬如說，想要存儲(chǔ)以下的一連串狀態(tài)向量：我們可以將此問題視為異聯(lián)想的記憶問題，亦即要BAM記得以下之向量對(duì)：

第十一頁(yè)，共十四頁(yè)，2022年，8月28日序列模式記憶與聯(lián)想第十二頁(yè)，共十四頁(yè)，2