《反饋神經(jīng)網(wǎng)絡(luò)》 (2)ppt課件

1、第三講第三講 反響神經(jīng)網(wǎng)絡(luò)反響神經(jīng)網(wǎng)絡(luò)本章知識構(gòu)造本章知識構(gòu)造 概述概述 離散離散HopfieldHopfield網(wǎng)絡(luò)網(wǎng)絡(luò) 延續(xù)延續(xù)HopfieldHopfield網(wǎng)絡(luò)網(wǎng)絡(luò) 延續(xù)延續(xù)HopfieldHopfield網(wǎng)絡(luò)的運(yùn)用網(wǎng)絡(luò)的運(yùn)用優(yōu)化計算優(yōu)化計算3.1 3.1 概述概述 聯(lián)想特性是聯(lián)想特性是ANNANN的一個重要特性。前面引見的的一個重要特性。前面引見的網(wǎng)絡(luò)模型屬于前向網(wǎng)絡(luò)模型屬于前向NNNN，從學(xué)習(xí)的角度看，具有，從學(xué)習(xí)的角度看，具有較強(qiáng)的學(xué)習(xí)才干，構(gòu)造簡單，易于編程。從系較強(qiáng)的學(xué)習(xí)才干，構(gòu)造簡單，易于編程。從系統(tǒng)角度看，屬于靜態(tài)的非線性映射，經(jīng)過簡單統(tǒng)角度看，屬于靜態(tài)的非線性映射，經(jīng)過

2、簡單的非線性處置單元的復(fù)合映射可獲得復(fù)雜的非的非線性處置單元的復(fù)合映射可獲得復(fù)雜的非線性處置才干。但他們因此缺乏反響，所以并線性處置才干。但他們因此缺乏反響，所以并不是強(qiáng)有力的動力學(xué)系統(tǒng)。聯(lián)想特性是不是強(qiáng)有力的動力學(xué)系統(tǒng)。聯(lián)想特性是ANNANN的一的一個重要特性，主要包括聯(lián)想映射和聯(lián)想記憶。個重要特性，主要包括聯(lián)想映射和聯(lián)想記憶。前饋網(wǎng)絡(luò)具有誘人的聯(lián)想映射才干，而不具備前饋網(wǎng)絡(luò)具有誘人的聯(lián)想映射才干，而不具備聯(lián)想記憶才干。在反響聯(lián)想記憶才干。在反響NNNN中，我們將著重引見中，我們將著重引見NNNN的聯(lián)想記憶和優(yōu)化計算的才干。的聯(lián)想記憶和優(yōu)化計算的才干。3.1 3.1 概述概述 聯(lián)想記憶是指當(dāng)

3、網(wǎng)絡(luò)輸入某個矢量后，網(wǎng)絡(luò)聯(lián)想記憶是指當(dāng)網(wǎng)絡(luò)輸入某個矢量后，網(wǎng)絡(luò)經(jīng)過反響演化，從網(wǎng)絡(luò)輸出端得到另一個矢量，經(jīng)過反響演化，從網(wǎng)絡(luò)輸出端得到另一個矢量，這樣輸出矢量就稱作網(wǎng)絡(luò)從初始輸入矢量聯(lián)想得這樣輸出矢量就稱作網(wǎng)絡(luò)從初始輸入矢量聯(lián)想得到的一個穩(wěn)定記憶，即網(wǎng)絡(luò)的一個平衡點(diǎn)。優(yōu)化到的一個穩(wěn)定記憶，即網(wǎng)絡(luò)的一個平衡點(diǎn)。優(yōu)化計算是指當(dāng)某一問題存在多種解法時，可以設(shè)計計算是指當(dāng)某一問題存在多種解法時，可以設(shè)計一個目的函數(shù)，然后尋求滿足這一目的函數(shù)的最一個目的函數(shù)，然后尋求滿足這一目的函數(shù)的最優(yōu)解法。例如，在很多情況下可以把能量函數(shù)作優(yōu)解法。例如，在很多情況下可以把能量函數(shù)作為目的函數(shù)，得到的最優(yōu)解法需求使能

4、量函數(shù)到為目的函數(shù)，得到的最優(yōu)解法需求使能量函數(shù)到達(dá)極小點(diǎn)，即能量函數(shù)的穩(wěn)定平衡點(diǎn)。總之，反達(dá)極小點(diǎn)，即能量函數(shù)的穩(wěn)定平衡點(diǎn)。總之，反響網(wǎng)絡(luò)的設(shè)計思想就是在初始輸入下，使網(wǎng)絡(luò)經(jīng)響網(wǎng)絡(luò)的設(shè)計思想就是在初始輸入下，使網(wǎng)絡(luò)經(jīng)過反響計算最后到達(dá)穩(wěn)定形狀，這時的輸出即是過反響計算最后到達(dá)穩(wěn)定形狀，這時的輸出即是用戶需求的平衡點(diǎn)。用戶需求的平衡點(diǎn)。 19821982年年, ,美國加州工學(xué)院美國加州工學(xué)院J.HopfieldJ.Hopfield提出了可用作聯(lián)提出了可用作聯(lián)想存儲器和優(yōu)化計算的反響網(wǎng)絡(luò)想存儲器和優(yōu)化計算的反響網(wǎng)絡(luò), ,這個網(wǎng)絡(luò)稱為這個網(wǎng)絡(luò)稱為HopfieldHopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)(H

5、NN)(HNN)模型模型, ,也稱也稱HopfieldHopfield模型模型. .HNNHNN是一種循環(huán)是一種循環(huán)NN,NN,從輸出到輸從輸出到輸入有反響銜接入有反響銜接. .HNNHNN有有離散型和離散型和延續(xù)型延續(xù)型兩種兩種. .3.1 3.1 概述概述 反響網(wǎng)絡(luò)反響網(wǎng)絡(luò)(Recurrent Network),(Recurrent Network),又稱自聯(lián)又稱自聯(lián)想記憶網(wǎng)絡(luò)想記憶網(wǎng)絡(luò), ,如以下圖所示如以下圖所示: :3.1 3.1 概述概述 反響網(wǎng)絡(luò)的目的是為了設(shè)計一個網(wǎng)絡(luò)，儲存一反響網(wǎng)絡(luò)的目的是為了設(shè)計一個網(wǎng)絡(luò)，儲存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時，網(wǎng)絡(luò)經(jīng)過組平衡點(diǎn)，使得當(dāng)給網(wǎng)

6、絡(luò)一組初始值時，網(wǎng)絡(luò)經(jīng)過自行運(yùn)轉(zhuǎn)而最終收斂到這個設(shè)計的平衡點(diǎn)上。自行運(yùn)轉(zhuǎn)而最終收斂到這個設(shè)計的平衡點(diǎn)上。 反響網(wǎng)絡(luò)可以表現(xiàn)出非線性動力學(xué)系統(tǒng)的動態(tài)反響網(wǎng)絡(luò)可以表現(xiàn)出非線性動力學(xué)系統(tǒng)的動態(tài)特性。它所具有的主要特性為以下兩點(diǎn)：特性。它所具有的主要特性為以下兩點(diǎn)：第一、網(wǎng)絡(luò)系統(tǒng)具有假設(shè)干個穩(wěn)定形狀。當(dāng)網(wǎng)絡(luò)從第一、網(wǎng)絡(luò)系統(tǒng)具有假設(shè)干個穩(wěn)定形狀。當(dāng)網(wǎng)絡(luò)從某某一初始形狀開場運(yùn)動，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一一初始形狀開場運(yùn)動，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個穩(wěn)定的平衡形狀；個穩(wěn)定的平衡形狀；第二、系統(tǒng)穩(wěn)定的平衡形狀可以經(jīng)過設(shè)計網(wǎng)絡(luò)的權(quán)第二、系統(tǒng)穩(wěn)定的平衡形狀可以經(jīng)過設(shè)計網(wǎng)絡(luò)的權(quán)值而被存儲到網(wǎng)絡(luò)中。值而被存儲到網(wǎng)絡(luò)中

7、。 3.1 3.1 概述概述 由于由于HNNHNN為動力學(xué)系統(tǒng)為動力學(xué)系統(tǒng), ,且其平衡態(tài)關(guān)系到信且其平衡態(tài)關(guān)系到信息的存儲與聯(lián)想記憶息的存儲與聯(lián)想記憶, ,其平衡態(tài)與穩(wěn)定性是非其平衡態(tài)與穩(wěn)定性是非常關(guān)鍵的問題。常關(guān)鍵的問題。 反響網(wǎng)絡(luò)根據(jù)信號的時間域的性質(zhì)的分類為反響網(wǎng)絡(luò)根據(jù)信號的時間域的性質(zhì)的分類為 假設(shè)激活函數(shù)假設(shè)激活函數(shù)f()f()是一個二值型的階躍函數(shù)是一個二值型的階躍函數(shù), ,那么稱此網(wǎng)絡(luò)為離散型反響網(wǎng)絡(luò)那么稱此網(wǎng)絡(luò)為離散型反響網(wǎng)絡(luò), ,主要用于聯(lián)主要用于聯(lián)想記憶想記憶; ; 假設(shè)假設(shè)f()f()為一個延續(xù)單調(diào)上升的有界函數(shù)為一個延續(xù)單調(diào)上升的有界函數(shù), ,這類網(wǎng)絡(luò)被稱為延續(xù)型反響

8、網(wǎng)絡(luò)這類網(wǎng)絡(luò)被稱為延續(xù)型反響網(wǎng)絡(luò), ,主要用于優(yōu)主要用于優(yōu)化計算?；嬎恪?.1 3.1 概述概述 反響反響NNNN由于其輸出端有反響到其輸入端由于其輸出端有反響到其輸入端, ,所以所以,HNN,HNN在在輸入的鼓勵下輸入的鼓勵下, ,會產(chǎn)生不斷的形狀變化會產(chǎn)生不斷的形狀變化. . 當(dāng)有輸入之后當(dāng)有輸入之后, ,可以求取出可以求取出HNNHNN的輸出的輸出, ,這個輸出反響這個輸出反響到輸入從而產(chǎn)生新的輸出到輸入從而產(chǎn)生新的輸出, ,這個反響過程不斷進(jìn)展下這個反響過程不斷進(jìn)展下去去. . 假設(shè)假設(shè)HNNHNN是一個能穩(wěn)定的網(wǎng)絡(luò)是一個能穩(wěn)定的網(wǎng)絡(luò), ,那么這個反響與迭代那么這個反響與迭代的計算過

9、程所產(chǎn)生的變化越來越小的計算過程所產(chǎn)生的變化越來越小, ,一旦到達(dá)了穩(wěn)定一旦到達(dá)了穩(wěn)定平衡形狀平衡形狀, ,那么那么HNNHNN就會輸出一個穩(wěn)定的恒值就會輸出一個穩(wěn)定的恒值. . 對于對于HNNHNN來說來說, ,關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù)系數(shù). . 應(yīng)該指出應(yīng)該指出, ,反響網(wǎng)絡(luò)有穩(wěn)定的反響網(wǎng)絡(luò)有穩(wěn)定的, ,也有不穩(wěn)定的也有不穩(wěn)定的. . 對于對于HNNHNN來說來說, ,還存在如何判別它是穩(wěn)定網(wǎng)絡(luò)還存在如何判別它是穩(wěn)定網(wǎng)絡(luò), ,亦或是亦或是不穩(wěn)定的問題不穩(wěn)定的問題. .而判別根據(jù)是什么而判別根據(jù)是什么, ,也是需求確定的也是需求確定的. .3.1

10、3.1 概述概述3.1 3.1 概述概述反響網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的區(qū)別反響網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的區(qū)別構(gòu)造不同構(gòu)造不同 前向神經(jīng)網(wǎng)絡(luò)：沒有反響環(huán)節(jié)。前向神經(jīng)網(wǎng)絡(luò)：沒有反響環(huán)節(jié)。 反響神經(jīng)網(wǎng)絡(luò)：一個動態(tài)系統(tǒng)，存在穩(wěn)反響神經(jīng)網(wǎng)絡(luò)：一個動態(tài)系統(tǒng)，存在穩(wěn)定性問題。關(guān)鍵問題定性問題。關(guān)鍵問題模型不同模型不同 前向網(wǎng)絡(luò)：從輸入到輸出的映射關(guān)系，前向網(wǎng)絡(luò)：從輸入到輸出的映射關(guān)系，不思索延時。不思索延時。 反響網(wǎng)絡(luò)：思索延時，是一個動態(tài)系反響網(wǎng)絡(luò)：思索延時，是一個動態(tài)系統(tǒng)，模型是動態(tài)方程微分方程。統(tǒng)，模型是動態(tài)方程微分方程。3.1 3.1 概述概述網(wǎng)絡(luò)的演化過程不同網(wǎng)絡(luò)的演化過程不同 前向網(wǎng)絡(luò)：經(jīng)過學(xué)習(xí)得到銜接權(quán)然后前向網(wǎng)

11、絡(luò)：經(jīng)過學(xué)習(xí)得到銜接權(quán)然后完成指定義務(wù)。完成指定義務(wù)。 反響網(wǎng)絡(luò)：反響網(wǎng)絡(luò)：( (優(yōu)化計算時優(yōu)化計算時) )首先確定首先確定w w不是經(jīng)過學(xué)習(xí)而來的，而是經(jīng)過目的不是經(jīng)過學(xué)習(xí)而來的，而是經(jīng)過目的函數(shù)用解析算法得到的，設(shè)定網(wǎng)絡(luò)的函數(shù)用解析算法得到的，設(shè)定網(wǎng)絡(luò)的初始形狀，然后系統(tǒng)運(yùn)動，假設(shè)穩(wěn)定，初始形狀，然后系統(tǒng)運(yùn)動，假設(shè)穩(wěn)定，那么最后到達(dá)一個穩(wěn)定形狀，對應(yīng)的輸那么最后到達(dá)一個穩(wěn)定形狀，對應(yīng)的輸出就是優(yōu)化問題的解。出就是優(yōu)化問題的解。3.1 3.1 概述概述學(xué)習(xí)方法不同學(xué)習(xí)方法不同 前向網(wǎng)絡(luò)：誤差修正算法前向網(wǎng)絡(luò)：誤差修正算法BPBP算法。算法。 反向網(wǎng)絡(luò)：海布反向網(wǎng)絡(luò)：海布(Hebb)(Hebb

12、)算法算法( (用于聯(lián)想、分用于聯(lián)想、分類的時候類的時候) )運(yùn)行學(xué)習(xí)算法wHebb3.1 3.1 概述概述 運(yùn)用范圍不同運(yùn)用范圍不同 前向網(wǎng)絡(luò)：只能用于聯(lián)想映射及其分前向網(wǎng)絡(luò)：只能用于聯(lián)想映射及其分類。類。 反響網(wǎng)絡(luò)：同時也可以用于聯(lián)想記憶反響網(wǎng)絡(luò)：同時也可以用于聯(lián)想記憶和約束優(yōu)化問題的求解。和約束優(yōu)化問題的求解。 對于如對于如HNNHNN類似的反響網(wǎng)絡(luò)類似的反響網(wǎng)絡(luò), ,研討的重點(diǎn)為研討的重點(diǎn)為: : 如何經(jīng)過網(wǎng)絡(luò)神經(jīng)元形狀的變化而最終穩(wěn)定如何經(jīng)過網(wǎng)絡(luò)神經(jīng)元形狀的變化而最終穩(wěn)定于平衡形狀于平衡形狀, ,得到聯(lián)想存儲或優(yōu)化計算的結(jié)果得到聯(lián)想存儲或優(yōu)化計算的結(jié)果 網(wǎng)絡(luò)的穩(wěn)定性問題網(wǎng)絡(luò)的穩(wěn)定性問

13、題 怎樣設(shè)計和利用穩(wěn)定的反響網(wǎng)絡(luò)怎樣設(shè)計和利用穩(wěn)定的反響網(wǎng)絡(luò) 網(wǎng)絡(luò)系統(tǒng)可以到達(dá)穩(wěn)定收斂網(wǎng)絡(luò)系統(tǒng)可以到達(dá)穩(wěn)定收斂 網(wǎng)絡(luò)的穩(wěn)定點(diǎn)網(wǎng)絡(luò)的穩(wěn)定點(diǎn) 吸引域的設(shè)計吸引域的設(shè)計 下面開場引見下面開場引見HNN,HNN,分別引見兩種主要的分別引見兩種主要的HNN:HNN: 離散離散HopfieldHopfield網(wǎng)絡(luò)網(wǎng)絡(luò) 延續(xù)延續(xù)HopfieldHopfield網(wǎng)絡(luò)網(wǎng)絡(luò)3.1 3.1 概述概述3.2 3.2 離散離散HopfieldHopfield網(wǎng)絡(luò)網(wǎng)絡(luò)Hopfield最早提出的網(wǎng)絡(luò)是神經(jīng)元的輸出為0-1二值的NN,所以,也稱離散的HNN (簡稱為DHNN).下面分別討論DHNN的構(gòu)造動力學(xué)穩(wěn)定性(網(wǎng)絡(luò)收斂

14、性)聯(lián)想存儲中的運(yùn)用記憶容量問題在在DHNNDHNN網(wǎng)絡(luò)中網(wǎng)絡(luò)中, ,神經(jīng)元所輸出的離散值神經(jīng)元所輸出的離散值1 1和和0 0分別表示神經(jīng)元處分別表示神經(jīng)元處于興奮和抑制形狀于興奮和抑制形狀. .各神經(jīng)元經(jīng)過賦有權(quán)重的銜接來互聯(lián)各神經(jīng)元經(jīng)過賦有權(quán)重的銜接來互聯(lián). .下面下面, ,首先思索由三個神經(jīng)元組成的首先思索由三個神經(jīng)元組成的DHNN,DHNN,其構(gòu)造如圖其構(gòu)造如圖3.13.1所示所示. ..1離散離散HopfieldHopfield網(wǎng)絡(luò)的構(gòu)造網(wǎng)絡(luò)的構(gòu)造 x1 x3 x2 y1 y3 y2 圖 3.1 三神經(jīng)元組成的 HNN w11 w12 w13 w21 w23 w31

15、w22 w33 w32 .1離散離散HopfieldHopfield網(wǎng)絡(luò)的構(gòu)造網(wǎng)絡(luò)的構(gòu)造 在圖中在圖中, ,第第0 0層僅僅是作為網(wǎng)絡(luò)的輸入層僅僅是作為網(wǎng)絡(luò)的輸入, ,它不是它不是實(shí)踐神經(jīng)元實(shí)踐神經(jīng)元, ,所以無計算功能所以無計算功能; ; 而第一層是實(shí)踐神經(jīng)元而第一層是實(shí)踐神經(jīng)元, ,故而執(zhí)行對輸入信息故而執(zhí)行對輸入信息和權(quán)系數(shù)乘積求累加和和權(quán)系數(shù)乘積求累加和, ,并由非線性函數(shù)并由非線性函數(shù)f f處處置后產(chǎn)生輸出信息置后產(chǎn)生輸出信息. . f f是一個簡單的閾值函效是一個簡單的閾值函效, ,假設(shè)假設(shè) 神經(jīng)元的輸入信息的綜合大于閾值神經(jīng)元的輸入信息的綜合大于閾值, ,那么那么

16、, ,神經(jīng)元的輸出就取值為神經(jīng)元的輸出就取值為1;1; 小于閾值小于閾值, ,那么神經(jīng)元的輸出就取值為那么神經(jīng)元的輸出就取值為0.0. 對于二值神經(jīng)元對于二值神經(jīng)元, ,它的計算公式如下它的計算公式如下jn1iiji,jxywu.1離散離散HopfieldHopfield網(wǎng)絡(luò)的構(gòu)造網(wǎng)絡(luò)的構(gòu)造其中xj為外部輸入,并且有yj=1,當(dāng)ujj時yj=0,當(dāng)uj0,有有: y(t+ t)=y(t) 那么稱網(wǎng)絡(luò)是穩(wěn)定的那么稱網(wǎng)絡(luò)是穩(wěn)定的. 吸引子：假設(shè)吸引子：假設(shè)y(t)是網(wǎng)絡(luò)的穩(wěn)定形狀，那么稱是網(wǎng)絡(luò)的穩(wěn)定形狀，那么稱y(t)是網(wǎng)絡(luò)的穩(wěn)是網(wǎng)絡(luò)的穩(wěn)定吸引子。定吸引子。 吸引域：可以穩(wěn)定在吸引

17、子吸引域：可以穩(wěn)定在吸引子y(t)的一切初始形狀的一切初始形狀y(0)的集合，的集合，稱為吸引子稱為吸引子y(t)的吸引域。的吸引域。 從DHNN可以看出: 它是一種多輸入,含有閾值的二值非線性動力系統(tǒng). 在動力系統(tǒng)中,平衡穩(wěn)定形狀可以了解為系統(tǒng)的某種方式的能量函數(shù)在系統(tǒng)運(yùn)動過程中,其能量值不斷減小,最后處于最小值. 因此,對HNN可引入一個Lyapunov函數(shù),即所謂能量函數(shù):3.2.2 DHNN3.2.2 DHNN的動力學(xué)穩(wěn)定性的動力學(xué)穩(wěn)定性 即有) 1 (t)y(t)yx-(t)(t)yyw21E1n1ijjjjjiji,njn1jjjn1jjjn1in1jjiji,(t)y(t)yx-

18、(t)(t)yyw21-E3.2.2 DHNN3.2.2 DHNN的動力學(xué)穩(wěn)定性的動力學(xué)穩(wěn)定性 對對HNNHNN的能量函數(shù)有幾點(diǎn)闡明的能量函數(shù)有幾點(diǎn)闡明: : 當(dāng)對反響網(wǎng)絡(luò)運(yùn)用能量函數(shù)后當(dāng)對反響網(wǎng)絡(luò)運(yùn)用能量函數(shù)后, ,從任一初始形從任一初始形狀開場狀開場, ,由于在每次迭代后都能滿足由于在每次迭代后都能滿足E E0,0,所以網(wǎng)絡(luò)的能量將會越來越小所以網(wǎng)絡(luò)的能量將會越來越小. . 由于能量函數(shù)存在下界由于能量函數(shù)存在下界, ,因此其最后趨于穩(wěn)定因此其最后趨于穩(wěn)定點(diǎn)點(diǎn)E=0. E=0. HopfieldHopfield能量函數(shù)的物理意義是能量函數(shù)的物理意義是: : 在那些漸進(jìn)穩(wěn)定點(diǎn)的吸引域內(nèi)在那些

19、漸進(jìn)穩(wěn)定點(diǎn)的吸引域內(nèi), ,離吸引點(diǎn)越遠(yuǎn)離吸引點(diǎn)越遠(yuǎn)的形狀的形狀, ,所具有的能量越大所具有的能量越大. . 由于能量函數(shù)的單調(diào)下降特性由于能量函數(shù)的單調(diào)下降特性, ,保證形狀的運(yùn)保證形狀的運(yùn)動方向能從遠(yuǎn)離吸引點(diǎn)處動方向能從遠(yuǎn)離吸引點(diǎn)處, ,不斷地趨于吸引點(diǎn)不斷地趨于吸引點(diǎn), ,直到到達(dá)穩(wěn)定點(diǎn)直到到達(dá)穩(wěn)定點(diǎn). .3.2.2 DHNN3.2.2 DHNN的動力學(xué)穩(wěn)定性的動力學(xué)穩(wěn)定性能量函數(shù)是反響網(wǎng)絡(luò)中的重要概念能量函數(shù)是反響網(wǎng)絡(luò)中的重要概念. .根據(jù)能量函數(shù)根據(jù)能量函數(shù)可以方便的判別系統(tǒng)的穩(wěn)定性可以方便的判別系統(tǒng)的穩(wěn)定性; ;HopfieldHopfield選擇的能量函數(shù)選擇的能量函數(shù), ,只是保

20、證系統(tǒng)穩(wěn)定和漸只是保證系統(tǒng)穩(wěn)定和漸進(jìn)穩(wěn)定的充分條件進(jìn)穩(wěn)定的充分條件, ,而不是必要條件而不是必要條件, ,其能量函數(shù)其能量函數(shù)也不是獨(dú)一的也不是獨(dú)一的. .在形狀更新過程中，包括三種情況：由在形狀更新過程中，包括三種情況：由0 0變?yōu)樽優(yōu)? 1；由由1 1變?yōu)樽優(yōu)? 0及形狀堅持不變。及形狀堅持不變。3.2.2 DHNN3.2.2 DHNN的動力學(xué)穩(wěn)定性的動力學(xué)穩(wěn)定性 類似于研討動力學(xué)系統(tǒng)穩(wěn)定性的Lyapunov穩(wěn)定性實(shí)際,上述DHNN的穩(wěn)定性可由分析上述定義的Lyapunov函數(shù)E的變化規(guī)律而提示. 因此,由神經(jīng)元j的形狀變化量yj(t)所引起的的能量變化量Ej為:)2(t)yx-(t)yw

21、(w21-(t)y(t)yEEjn1ijjiij,ji,jjj 假設(shè)所討論的HNN是對稱網(wǎng)絡(luò),即有wi,j=wj,i,i,j=1,2,.,n,那么有)3(t)yx-(t)ywEjn1ijjiji,j那么yj(t+1)=fuj(t)-j式(3)那么可記為:Ej(t)=-uj(t)+jyj(t) (3A)下面分別對串行異步方式和并行同步方式,證明對稱二值型HNN是穩(wěn)定的.3.2.2 DHNN3.2.2 DHNN的動力學(xué)穩(wěn)定性的動力學(xué)穩(wěn)定性 假設(shè),令jn1iiji,jx(t)yw(t)uA.串行異步方式串行異步方式對串行異步和對稱權(quán)值型的對串行異步和對稱權(quán)值型的HNN,基于式基于式(3A) Ej(t

22、)=-uj(t)+j yj(t) (3A)思索如下兩種情況思索如下兩種情況:假設(shè)假設(shè)ujj,即神經(jīng)元即神經(jīng)元j的輸入綜合大于閾值的輸入綜合大于閾值,那么從二值神經(jīng)元那么從二值神經(jīng)元的計算公式知道的計算公式知道:yj的值堅持為的值堅持為1,或者從或者從0變到變到1.這闡明這闡明yj的變化的變化 yj只能是只能是0或正值或正值.這時很明顯有這時很明顯有 Ej: Ej0這闡明這闡明HNN神經(jīng)元的能量減少或不變神經(jīng)元的能量減少或不變.3.2.2 DHNN3.2.2 DHNN的動力學(xué)穩(wěn)定性的動力學(xué)穩(wěn)定性 假設(shè)假設(shè)ujj,即神經(jīng)元即神經(jīng)元j的輸入綜合小于閾值的輸入綜合小于閾值,那么知那么知yj的的值堅持為

23、值堅持為0,或者從或者從1變到變到0,而而 yj小于等于零小于等于零.這時那么有這時那么有 Ej: Ej0 這也闡明這也闡明HNN神經(jīng)元的能量減少神經(jīng)元的能量減少. 上面兩點(diǎn)闡明了上面兩點(diǎn)闡明了DHNN在權(quán)系數(shù)矩陣在權(quán)系數(shù)矩陣W的對角線元素為的對角線元素為0,而且而且W矩陣元素對稱時矩陣元素對稱時,串行異步方式的串行異步方式的DHNN是穩(wěn)定是穩(wěn)定的的.3.2.2 DHNN3.2.2 DHNN的動力學(xué)穩(wěn)定性的動力學(xué)穩(wěn)定性B. 并行同步方式并行同步方式由上述對串行異步和對稱權(quán)值型的由上述對串行異步和對稱權(quán)值型的DHNN的穩(wěn)定性分析過程知的穩(wěn)定性分析過程知,單個神經(jīng)元的形狀變化引起的單個神經(jīng)元的形狀

24、變化引起的Lyapunov函數(shù)的變化量函數(shù)的變化量 Ej(t)0 因此因此, 并行同步且權(quán)值對稱的并行同步且權(quán)值對稱的DHNN的一切神經(jīng)元引起的的一切神經(jīng)元引起的Lyapunov函數(shù)的變化量為函數(shù)的變化量為:3.2.2 DHNN3.2.2 DHNN的動力學(xué)穩(wěn)定性的動力學(xué)穩(wěn)定性0(t)E(t)y(t)yEE1j1jjnjnj 故上面兩點(diǎn)闡明了DHNN在權(quán)系數(shù)矩陣W的對角線元素為0,而且W矩陣元素對稱時,并行同步方式的DHNN是穩(wěn)定的. 基于上述分析,Coben和Grossberg在1983年給出了關(guān)于HNN穩(wěn)定的充分條件,他們指出: 假設(shè)權(quán)系數(shù)矩陣W是一個對稱矩陣,并且,對角線元素為0.那么這個

25、網(wǎng)絡(luò)是穩(wěn)定的. 即是說在權(quán)系數(shù)矩陣W中,假設(shè) i=j時, Wij=0 ij時,Wij=Wji 那么HNN是穩(wěn)定的. 應(yīng)該指出: 這只是HNN穩(wěn)定的充分條件,而不是必要條件. 在實(shí)踐中有很多穩(wěn)定的HNN,但是它們并不滿足權(quán)系數(shù)矩陣w是對稱矩陣這一條件.3.2.2 DHNN3.2.2 DHNN的動力學(xué)穩(wěn)定性的動力學(xué)穩(wěn)定性3.2.2 DHNN3.2.2 DHNN的動力學(xué)穩(wěn)定性的動力學(xué)穩(wěn)定性 x1 x3 x2 y1 y3 y2 圖 3.4 對角線權(quán)系數(shù)為 0的對稱網(wǎng)另一圖示 w12 w13 w23 w21 w32 w31 由上面的分析可知: 無自反響的權(quán)系數(shù)對稱HNN是穩(wěn)定. 它如圖3.4所示.2.2

26、.3 HNN2.2.3 HNN的聯(lián)想記憶的聯(lián)想記憶 所謂聯(lián)想可以了解為從一種事物聯(lián)絡(luò)到與其所謂聯(lián)想可以了解為從一種事物聯(lián)絡(luò)到與其相關(guān)的事物的過程相關(guān)的事物的過程. . 日常生活中日常生活中, ,從一種事物出發(fā)從一種事物出發(fā), ,人們會非常自人們會非常自然地聯(lián)想到與該事物親密相關(guān)或有因果關(guān)系然地聯(lián)想到與該事物親密相關(guān)或有因果關(guān)系的種種事務(wù)的種種事務(wù). . 兩種聯(lián)想方式兩種聯(lián)想方式 自聯(lián)想自聯(lián)想(Auto-association) :(Auto-association) : 由某種代表事物由某種代表事物( (或該事物的主要特征或該事物的主要特征, ,或部或部分主要特征分主要特征) )聯(lián)想到其所標(biāo)示

27、的實(shí)踐事物。聯(lián)想到其所標(biāo)示的實(shí)踐事物。 從英文字頭從英文字頭“NewtNewt聯(lián)想到聯(lián)想到“NewtonNewton。 聽到歌曲的一部分可以聯(lián)想起整個曲子。聽到歌曲的一部分可以聯(lián)想起整個曲子。2.2.3 HNN2.2.3 HNN的聯(lián)想記憶的聯(lián)想記憶異聯(lián)想異聯(lián)想( (他聯(lián)想他聯(lián)想)(Hetero -association) :)(Hetero -association) :由一種事物由一種事物( (或該事物的主要特征或該事物的主要特征, ,或部分主要特征或部分主要特征) )聯(lián)想到與其親密相關(guān)的另一事物。聯(lián)想到與其親密相關(guān)的另一事物。從質(zhì)能關(guān)系式從質(zhì)能關(guān)系式E=mc2E=mc2聯(lián)想到其發(fā)明者愛因斯

28、坦。聯(lián)想到其發(fā)明者愛因斯坦?？吹侥橙说拿謺?lián)想起他的容顏和特點(diǎn)?？吹侥橙说拿謺?lián)想起他的容顏和特點(diǎn)。人腦從一種事物得到對應(yīng)事物的兩種途徑人腦從一種事物得到對應(yīng)事物的兩種途徑按時間順序?qū)ο嚓P(guān)事物進(jìn)展思索按時間順序?qū)ο嚓P(guān)事物進(jìn)展思索可經(jīng)過時間表來回想某一階段所做的任務(wù)可經(jīng)過時間表來回想某一階段所做的任務(wù). .經(jīng)過事物本質(zhì)特征的對比來確定事物的屬性經(jīng)過事物本質(zhì)特征的對比來確定事物的屬性由提示信息或部分信息對事物進(jìn)展回想或確認(rèn)由提示信息或部分信息對事物進(jìn)展回想或確認(rèn). .2.2.3 HNN2.2.3 HNN的聯(lián)想記憶的聯(lián)想記憶HNNHNN的一個功能是可用于聯(lián)想記憶的一個功能是可用于聯(lián)想記憶, ,也

29、即是聯(lián)想存儲也即是聯(lián)想存儲器器. .這是人類的智能特點(diǎn)之一這是人類的智能特點(diǎn)之一. .人類的所謂人類的所謂“觸景生情就是見到一些類同過去接觸景生情就是見到一些類同過去接觸的景物觸的景物, ,容易產(chǎn)生對過去情景的回昧和思憶容易產(chǎn)生對過去情景的回昧和思憶. .對于對于HNN,HNN,用它作聯(lián)想記憶時用它作聯(lián)想記憶時, ,首先經(jīng)過一個學(xué)習(xí)訓(xùn)練首先經(jīng)過一個學(xué)習(xí)訓(xùn)練過程確定網(wǎng)絡(luò)中的權(quán)系數(shù)過程確定網(wǎng)絡(luò)中的權(quán)系數(shù), ,使所記憶的信息在網(wǎng)絡(luò)的使所記憶的信息在網(wǎng)絡(luò)的n n維超立方體的某一個頂角的能量最小維超立方體的某一個頂角的能量最小. .當(dāng)網(wǎng)絡(luò)的權(quán)系數(shù)確定之后當(dāng)網(wǎng)絡(luò)的權(quán)系數(shù)確定之后, ,只需向網(wǎng)絡(luò)給出輸入向量

30、只需向網(wǎng)絡(luò)給出輸入向量, ,這個向量能夠是部分?jǐn)?shù)據(jù)這個向量能夠是部分?jǐn)?shù)據(jù). .即不完全或部分不正確的數(shù)據(jù)即不完全或部分不正確的數(shù)據(jù), ,但是網(wǎng)絡(luò)依然產(chǎn)生所但是網(wǎng)絡(luò)依然產(chǎn)生所記憶的信息的完好輸出記憶的信息的完好輸出. .2.2.3 HNN2.2.3 HNN的聯(lián)想記憶的聯(lián)想記憶19841984年年HopfieldHopfield提出一種用提出一種用n n維維HNNHNN作聯(lián)想存儲器的作聯(lián)想存儲器的構(gòu)造構(gòu)造. .HNNHNN聯(lián)想存儲器的主要思想為聯(lián)想存儲器的主要思想為: :根據(jù)欲存儲的信息的表示方式和維數(shù)根據(jù)欲存儲的信息的表示方式和維數(shù), ,設(shè)計相應(yīng)的設(shè)計相應(yīng)的HNNHNN構(gòu)造構(gòu)造將欲存儲的信息設(shè)計

31、為將欲存儲的信息設(shè)計為HNNHNN的動力學(xué)過程的知的漸近的動力學(xué)過程的知的漸近穩(wěn)定平衡點(diǎn)穩(wěn)定平衡點(diǎn)經(jīng)過學(xué)習(xí)和設(shè)計算法尋求適宜的權(quán)值矩陣將穩(wěn)定形經(jīng)過學(xué)習(xí)和設(shè)計算法尋求適宜的權(quán)值矩陣將穩(wěn)定形狀存儲到網(wǎng)絡(luò)中狀存儲到網(wǎng)絡(luò)中2.2.3 HNN2.2.3 HNN的聯(lián)想記憶的聯(lián)想記憶 在HNN聯(lián)想存儲器中,權(quán)系數(shù)的賦值規(guī)那么Hebb規(guī)那么,即為存儲向量的外積存儲規(guī)那么,其原理如下: 設(shè)有m個樣本存儲向量X1,X2,Xm,其中 Xi=Xi1,Xi2,.,Xi,n 把這m個樣本向量存儲入HNN中,那么在網(wǎng)絡(luò)中第i,j兩個節(jié)點(diǎn) 之間權(quán)系數(shù)的值為(權(quán)值學(xué)習(xí)規(guī)那么):mjijijiXXWjkikij,.,2 , 1,

32、0,時當(dāng)時當(dāng)其中k為樣本向量Xk的下標(biāo),k=1,2,m;i,j分別是樣本向量Xk的第i,j分量Xk,i,Xk,j的下標(biāo).2.2.3 HNN2.2.3 HNN的聯(lián)想記憶的聯(lián)想記憶 假設(shè)把系統(tǒng)的穩(wěn)定點(diǎn)視做一個記憶的話，那么從假設(shè)把系統(tǒng)的穩(wěn)定點(diǎn)視做一個記憶的話，那么從初始形狀朝這個穩(wěn)定點(diǎn)挪動的過程就是尋覓該記初始形狀朝這個穩(wěn)定點(diǎn)挪動的過程就是尋覓該記憶的過程。憶的過程。 例例1 1：計算如圖：計算如圖3.53.5所示所示3 3節(jié)點(diǎn)節(jié)點(diǎn)DHNNDHNN的形狀轉(zhuǎn)移關(guān)系。的形狀轉(zhuǎn)移關(guān)系。思索到思索到DHNNDHNN的權(quán)值特性的權(quán)值特性wijwijwjiwji，可簡化為圖，可簡化為圖3.63.6右邊的等價圖

33、。右邊的等價圖。 x1 x3 x2 y1 y3 y2 w12 w13 w23 w21 w32 w31 2.2.3 HNN2.2.3 HNN的聯(lián)想記憶的聯(lián)想記憶 圖圖3.6 3.6 一個一個3 3節(jié)點(diǎn)的節(jié)點(diǎn)的DHNNDHNN構(gòu)造圖構(gòu)造圖2.2.3 HNN2.2.3 HNN的聯(lián)想記憶的聯(lián)想記憶 設(shè)網(wǎng)絡(luò)參數(shù)為：設(shè)網(wǎng)絡(luò)參數(shù)為：. 3, 0, 5, 3, 2, 1321322331132112wwwwww 如今以初始形狀可恣意選定如今以初始形狀可恣意選定y1y2y3=(000)y1y2y3=(000)為例為例, ,以異步以異步運(yùn)轉(zhuǎn)網(wǎng)絡(luò)，調(diào)查各個節(jié)點(diǎn)的形狀轉(zhuǎn)移情況。如今思索每個節(jié)運(yùn)轉(zhuǎn)網(wǎng)絡(luò)，調(diào)查各個節(jié)點(diǎn)的形

34、狀轉(zhuǎn)移情況。如今思索每個節(jié)點(diǎn)點(diǎn)y1y2y3y1y2y3以等概率以等概率1/n1/n被選擇。被選擇。 假定首先選擇節(jié)點(diǎn)假定首先選擇節(jié)點(diǎn)y1y1，那么節(jié)點(diǎn)形狀為：，那么節(jié)點(diǎn)形狀為： Net1=1Net1=1* *0+20+2* *0-(-5)=500-(-5)=50 節(jié)點(diǎn)節(jié)點(diǎn)1 1輸出為：輸出為： y1=1y1=1 即，網(wǎng)絡(luò)形狀由即，網(wǎng)絡(luò)形狀由000000變化到變化到100100，轉(zhuǎn)移概率為，轉(zhuǎn)移概率為1/31/3。2.2.3 HNN2.2.3 HNN的聯(lián)想記憶的聯(lián)想記憶 如選擇節(jié)點(diǎn)如選擇節(jié)點(diǎn)y2 y2 ，那么節(jié)點(diǎn)形狀為：，那么節(jié)點(diǎn)形狀為： Net2=1Net2=1* *0+0+-3-3* *0-

35、0=00-0=0 節(jié)點(diǎn)節(jié)點(diǎn)2 2輸出為：輸出為： y1=0y1=0 即，網(wǎng)絡(luò)形狀由即，網(wǎng)絡(luò)形狀由000000變化到變化到000000，轉(zhuǎn)移概率為，轉(zhuǎn)移概率為1/31/3。 如選擇節(jié)點(diǎn)如選擇節(jié)點(diǎn)y3 y3 ，那么節(jié)點(diǎn)形狀為：，那么節(jié)點(diǎn)形狀為： Net3=2Net3=2* *0+0+-3-3* *0-3=-300-3=-30 節(jié)點(diǎn)節(jié)點(diǎn)3 3輸出為：輸出為： y3=0y3=0 即，網(wǎng)絡(luò)形狀由即，網(wǎng)絡(luò)形狀由000000變化到變化到000000，同樣，轉(zhuǎn)移概率，同樣，轉(zhuǎn)移概率為為1/31/3。 從上面的網(wǎng)絡(luò)運(yùn)轉(zhuǎn)可以看出，在網(wǎng)絡(luò)參數(shù)給定的情況下，從上面的網(wǎng)絡(luò)運(yùn)轉(zhuǎn)可以看出，在網(wǎng)絡(luò)參數(shù)給定的情況下，網(wǎng)絡(luò)形狀以

36、網(wǎng)絡(luò)形狀以1/31/3的概率轉(zhuǎn)移到的概率轉(zhuǎn)移到100100，以，以2/32/3的概率轉(zhuǎn)移到的概率轉(zhuǎn)移到000000，即堅持不變，而不會轉(zhuǎn)移到，即堅持不變，而不會轉(zhuǎn)移到010010等其它形狀。等其它形狀。2.2.3 HNN2.2.3 HNN的聯(lián)想記憶的聯(lián)想記憶 同理，還可以計算出其它形狀之間的轉(zhuǎn)移關(guān)系。同理，還可以計算出其它形狀之間的轉(zhuǎn)移關(guān)系。 從這個例子可以看出：從這個例子可以看出： 1 1形狀形狀110110是一個滿足前面穩(wěn)定定義的形狀，即為是一個滿足前面穩(wěn)定定義的形狀，即為穩(wěn)定形狀；穩(wěn)定形狀； 2 2從恣意初始形狀開場，網(wǎng)絡(luò)經(jīng)過有限次形狀更新后，從恣意初始形狀開場，網(wǎng)絡(luò)經(jīng)過有限次形狀更新后

37、，都將到達(dá)該穩(wěn)定形狀。都將到達(dá)該穩(wěn)定形狀。2.2.3 HNN2.2.3 HNN的聯(lián)想記憶的聯(lián)想記憶 例例2 2：計算例：計算例1 1中中3 3節(jié)點(diǎn)模型的個形狀的能量。節(jié)點(diǎn)模型的個形狀的能量。 首先選擇形狀首先選擇形狀y1y2y3=y1y2y3=011011，此時，網(wǎng)絡(luò)的能量為：，此時，網(wǎng)絡(luò)的能量為： 再選擇形狀再選擇形狀y1y2y3=y1y2y3=110110，同理，網(wǎng)絡(luò)的能量為：，同理，網(wǎng)絡(luò)的能量為：61*31*00*) 5(1*1*) 3(1*0*21*0*1332211322331132112yyyyywyywyywE60*31*01*) 5(0*1*) 3(0*1*21*1*13322

38、11322331132112yyyyywyywyywE2.2.3 HNN2.2.3 HNN的聯(lián)想記憶的聯(lián)想記憶 其他形狀能量如表其他形狀能量如表2 2所示：所示： 表表2.2.模型各形狀能量表模型各形狀能量表y1y2y3E0000001301000116100-5101-4110-6111-2 顯然，形狀顯然，形狀y1y2y3=y1y2y3=110110處的能量最小。從恣意形狀開場，處的能量最小。從恣意形狀開場，網(wǎng)絡(luò)沿能量減小包括同一級能量方向更新形狀，最終能網(wǎng)絡(luò)沿能量減小包括同一級能量方向更新形狀，最終能到達(dá)對應(yīng)能量極小的穩(wěn)態(tài)。到達(dá)對應(yīng)能量極小的穩(wěn)態(tài)。2.2.4 2.2.4 記憶容量問題記憶

39、容量問題 設(shè)計設(shè)計DHNNDHNN網(wǎng)絡(luò)的目的網(wǎng)絡(luò)的目的, ,是希望經(jīng)過所設(shè)計的權(quán)是希望經(jīng)過所設(shè)計的權(quán)值矩陣值矩陣W W儲存多個期望方式儲存多個期望方式. . 因此因此, ,在在DHNNDHNN用于聯(lián)想記憶問題用于聯(lián)想記憶問題, ,記憶容量問記憶容量問題是一個必需回答的根本問題題是一個必需回答的根本問題. . 當(dāng)網(wǎng)絡(luò)只記憶一個穩(wěn)定方式時當(dāng)網(wǎng)絡(luò)只記憶一個穩(wěn)定方式時, ,該方式一定被該方式一定被網(wǎng)絡(luò)準(zhǔn)確無誤地記憶住網(wǎng)絡(luò)準(zhǔn)確無誤地記憶住, ,即所設(shè)計的即所設(shè)計的W W值一定值一定可以滿足正比于輸入和輸出矢量的乘積關(guān)系可以滿足正比于輸入和輸出矢量的乘積關(guān)系. . 但當(dāng)需求記憶的方式增多時但當(dāng)需求記憶的方

40、式增多時, ,網(wǎng)絡(luò)記憶能夠出網(wǎng)絡(luò)記憶能夠出現(xiàn)問題現(xiàn)問題. .2.2.4 2.2.4 記憶容量問題記憶容量問題 按照按照HebbHebb規(guī)那么求出權(quán)矩陣后，可以以為已有規(guī)那么求出權(quán)矩陣后，可以以為已有M M個方個方式存入網(wǎng)絡(luò)的銜接權(quán)中。在聯(lián)想過程中，先給出原式存入網(wǎng)絡(luò)的銜接權(quán)中。在聯(lián)想過程中，先給出原始方式始方式m0m0，使網(wǎng)絡(luò)處于某種初始形狀下，用網(wǎng)絡(luò)方，使網(wǎng)絡(luò)處于某種初始形狀下，用網(wǎng)絡(luò)方程動態(tài)運(yùn)轉(zhuǎn)，最后到達(dá)一個穩(wěn)定形狀。假設(shè)此穩(wěn)定程動態(tài)運(yùn)轉(zhuǎn)，最后到達(dá)一個穩(wěn)定形狀。假設(shè)此穩(wěn)定形狀對應(yīng)于已存儲的形狀對應(yīng)于已存儲的M M個方式中的某個方式個方式中的某個方式mk,mk,那么那么稱方式稱方式mkmk是

41、由方式是由方式m0m0聯(lián)想起來的。在這里舉例闡明。聯(lián)想起來的。在這里舉例闡明。 例例3.3.對于一個對于一個4 4神經(jīng)元的網(wǎng)絡(luò)，取閾值為神經(jīng)元的網(wǎng)絡(luò)，取閾值為0 0。給定兩。給定兩個方式存儲于網(wǎng)絡(luò)中：個方式存儲于網(wǎng)絡(luò)中： m1:Y(1)=y1,y2,y3,y4=1,1,1,1,m1:Y(1)=y1,y2,y3,y4=1,1,1,1, m2:Y(2)=y1,y2,y3,y4=-1,-1,-1,-1. m2:Y(2)=y1,y2,y3,y4=-1,-1,-1,- 2.2.4 記憶容量問題記憶容量問題mjijijiXXWjkikij,.,2 , 1,0,時當(dāng)時當(dāng) 按照按照HebbHeb

42、b規(guī)那么規(guī)那么 可求得權(quán)矩陣：可求得權(quán)矩陣：111213142122232431323334414243440222202222022220wwwwwwwwWwwwwwwww2.2.4 2.2.4 記憶容量問題記憶容量問題jn1iiji,j(t)ywf1)(ty 給出用于聯(lián)想的原始方式：給出用于聯(lián)想的原始方式： mA:Y=y1,y2,y3,y4=1,1,-1,1,mA:Y=y1,y2,y3,y4=1,1,-1,1, 運(yùn)用網(wǎng)絡(luò)方程：運(yùn)用網(wǎng)絡(luò)方程： 得到：得到： Y(1)=1,1,1,1,Y(1)=1,1,1,1, 再次運(yùn)轉(zhuǎn)，得到再次運(yùn)轉(zhuǎn)，得到 Y(2)=1,1,1,1Y(2)=1,1,1,1。 這時網(wǎng)絡(luò)已處于穩(wěn)定形狀：這時網(wǎng)絡(luò)已處于穩(wěn)定形狀：Y=1,1,1,1Y=1,1,1,1。而。而這個穩(wěn)定形狀正好是網(wǎng)絡(luò)已記憶的方式這個穩(wěn)定形狀正好是網(wǎng)絡(luò)已記憶的方式m1m1，由此，由此可以以為可以以為m1m1是由方式是由方式mAmA聯(lián)想起來的。聯(lián)想起來的。2.2.4 2.2.4 記憶容量問題記憶容量問題 假設(shè)給出用于聯(lián)想的原始方式為：假設(shè)給出用于聯(lián)想的原始方式為： mB:Y=y1,y2