反饋神經(jīng)網(wǎng)絡(luò)2課件

1、1第三講第三講 反饋神經(jīng)網(wǎng)反饋神經(jīng)網(wǎng)絡(luò)絡(luò)2本章知識(shí)結(jié)構(gòu)本章知識(shí)結(jié)構(gòu) 概述概述 離散離散hopfieldhopfield網(wǎng)絡(luò)網(wǎng)絡(luò) 連續(xù)連續(xù)hopfieldhopfield網(wǎng)絡(luò)網(wǎng)絡(luò) 連續(xù)連續(xù)hopfieldhopfield網(wǎng)絡(luò)的應(yīng)用網(wǎng)絡(luò)的應(yīng)用優(yōu)化計(jì)算優(yōu)化計(jì)算33.1 3.1 概述概述 聯(lián)想特性是聯(lián)想特性是annann的一個(gè)重要特性。前面介紹的的一個(gè)重要特性。前面介紹的網(wǎng)絡(luò)模型屬于前向網(wǎng)絡(luò)模型屬于前向nnnn，從學(xué)習(xí)的角度看，具有，從學(xué)習(xí)的角度看，具有較強(qiáng)的學(xué)習(xí)能力，結(jié)構(gòu)簡(jiǎn)單，易于編程。從系較強(qiáng)的學(xué)習(xí)能力，結(jié)構(gòu)簡(jiǎn)單，易于編程。從系統(tǒng)角度看，屬于靜態(tài)的非線性映射，通過(guò)簡(jiǎn)單統(tǒng)角度看，屬于靜態(tài)的非線性映射

2、，通過(guò)簡(jiǎn)單的非線性處理單元的復(fù)合映射可獲得復(fù)雜的非的非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理能力。但他們因此缺乏反饋，所以并線性處理能力。但他們因此缺乏反饋，所以并不是強(qiáng)有力的動(dòng)力學(xué)系統(tǒng)。聯(lián)想特性是不是強(qiáng)有力的動(dòng)力學(xué)系統(tǒng)。聯(lián)想特性是annann的一的一個(gè)重要特性，主要包括聯(lián)想映射和聯(lián)想記憶。個(gè)重要特性，主要包括聯(lián)想映射和聯(lián)想記憶。前饋網(wǎng)絡(luò)具有誘人的聯(lián)想映射能力，而不具備前饋網(wǎng)絡(luò)具有誘人的聯(lián)想映射能力，而不具備聯(lián)想記憶能力。在反饋聯(lián)想記憶能力。在反饋nnnn中，我們將著重介紹中，我們將著重介紹nnnn的聯(lián)想記憶和優(yōu)化計(jì)算的能力。的聯(lián)想記憶和優(yōu)化計(jì)算的能力。43.1 3.1 概述概述 聯(lián)想記

3、憶是指當(dāng)網(wǎng)絡(luò)輸入某個(gè)矢量后，網(wǎng)絡(luò)聯(lián)想記憶是指當(dāng)網(wǎng)絡(luò)輸入某個(gè)矢量后，網(wǎng)絡(luò)經(jīng)過(guò)反饋演化，從網(wǎng)絡(luò)輸出端得到另一個(gè)矢量，經(jīng)過(guò)反饋演化，從網(wǎng)絡(luò)輸出端得到另一個(gè)矢量，這樣輸出矢量就稱作網(wǎng)絡(luò)從初始輸入矢量聯(lián)想得這樣輸出矢量就稱作網(wǎng)絡(luò)從初始輸入矢量聯(lián)想得到的一個(gè)穩(wěn)定記憶，即網(wǎng)絡(luò)的一個(gè)平衡點(diǎn)。優(yōu)化到的一個(gè)穩(wěn)定記憶，即網(wǎng)絡(luò)的一個(gè)平衡點(diǎn)。優(yōu)化計(jì)算是指當(dāng)某一問(wèn)題存在多種解法時(shí)，可以設(shè)計(jì)計(jì)算是指當(dāng)某一問(wèn)題存在多種解法時(shí)，可以設(shè)計(jì)一個(gè)目標(biāo)函數(shù)，然后尋求滿足這一目標(biāo)函數(shù)的最一個(gè)目標(biāo)函數(shù)，然后尋求滿足這一目標(biāo)函數(shù)的最優(yōu)解法。例如，在很多情況下可以把能量函數(shù)作優(yōu)解法。例如，在很多情況下可以把能量函數(shù)作為目標(biāo)函數(shù)，得到的最優(yōu)解法

4、需要使能量函數(shù)達(dá)為目標(biāo)函數(shù)，得到的最優(yōu)解法需要使能量函數(shù)達(dá)到極小點(diǎn)，即能量函數(shù)的穩(wěn)定平衡點(diǎn)。總之，反到極小點(diǎn)，即能量函數(shù)的穩(wěn)定平衡點(diǎn)?？傊?，反饋網(wǎng)絡(luò)的設(shè)計(jì)思想就是在初始輸入下，使網(wǎng)絡(luò)經(jīng)饋網(wǎng)絡(luò)的設(shè)計(jì)思想就是在初始輸入下，使網(wǎng)絡(luò)經(jīng)過(guò)反饋計(jì)算最后到達(dá)穩(wěn)定狀態(tài)，這時(shí)的輸出即是過(guò)反饋計(jì)算最后到達(dá)穩(wěn)定狀態(tài)，這時(shí)的輸出即是用戶需要的平衡點(diǎn)。用戶需要的平衡點(diǎn)。5 19821982年年, ,美國(guó)加州工學(xué)院美國(guó)加州工學(xué)院j.hopfieldj.hopfield提出了可用作聯(lián)提出了可用作聯(lián)想存儲(chǔ)器和優(yōu)化計(jì)算的反饋網(wǎng)絡(luò)想存儲(chǔ)器和優(yōu)化計(jì)算的反饋網(wǎng)絡(luò), ,這個(gè)網(wǎng)絡(luò)稱為這個(gè)網(wǎng)絡(luò)稱為hopfieldhopfield神經(jīng)網(wǎng)絡(luò)神

5、經(jīng)網(wǎng)絡(luò)(hnn)(hnn)模型模型, ,也稱也稱hopfieldhopfield模型模型. .hnnhnn是一種循環(huán)是一種循環(huán)nn,nn,從輸出到輸從輸出到輸入有反饋連接入有反饋連接. .hnnhnn有有離散型和離散型和連續(xù)型連續(xù)型兩種兩種. .3.1 3.1 概述概述6 反饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)(recurrent network),(recurrent network),又稱自聯(lián)又稱自聯(lián)想記憶網(wǎng)絡(luò)想記憶網(wǎng)絡(luò), ,如下圖所示如下圖所示: :3.1 3.1 概述概述7 反饋網(wǎng)絡(luò)的目的是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一反饋網(wǎng)絡(luò)的目的是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)通過(guò)組平衡點(diǎn)，

6、使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)通過(guò)自行運(yùn)行而最終收斂到這個(gè)設(shè)計(jì)的平衡點(diǎn)上。自行運(yùn)行而最終收斂到這個(gè)設(shè)計(jì)的平衡點(diǎn)上。 反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)的動(dòng)態(tài)反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)的動(dòng)態(tài)特性。它所具有的主要特性為以下兩點(diǎn)：特性。它所具有的主要特性為以下兩點(diǎn)：第一、網(wǎng)絡(luò)系統(tǒng)具有若干個(gè)穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某第一、網(wǎng)絡(luò)系統(tǒng)具有若干個(gè)穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開(kāi)始運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一一初始狀態(tài)開(kāi)始運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個(gè)穩(wěn)定的平衡狀態(tài)；個(gè)穩(wěn)定的平衡狀態(tài)；第二、系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過(guò)設(shè)計(jì)網(wǎng)絡(luò)的權(quán)第二、系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過(guò)設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值而被存儲(chǔ)到網(wǎng)絡(luò)中。值而被存儲(chǔ)到

7、網(wǎng)絡(luò)中。 3.1 3.1 概述概述8 由于由于hnnhnn為動(dòng)力學(xué)系統(tǒng)為動(dòng)力學(xué)系統(tǒng), ,且其平衡態(tài)關(guān)系到信且其平衡態(tài)關(guān)系到信息的存儲(chǔ)與聯(lián)想記憶息的存儲(chǔ)與聯(lián)想記憶, ,其平衡態(tài)與穩(wěn)定性是非其平衡態(tài)與穩(wěn)定性是非常關(guān)鍵的問(wèn)題。常關(guān)鍵的問(wèn)題。 反饋網(wǎng)絡(luò)根據(jù)信號(hào)的時(shí)間域的性質(zhì)的分類為反饋網(wǎng)絡(luò)根據(jù)信號(hào)的時(shí)間域的性質(zhì)的分類為如果激活函數(shù)如果激活函數(shù)f()f()是一個(gè)二值型的階躍函數(shù)是一個(gè)二值型的階躍函數(shù), ,則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò)則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò), ,主要用于聯(lián)想記主要用于聯(lián)想記憶憶; ;如果如果f()f()為一個(gè)連續(xù)單調(diào)上升的有界函數(shù)為一個(gè)連續(xù)單調(diào)上升的有界函數(shù), ,這這類網(wǎng)絡(luò)被稱為連續(xù)型反

8、饋網(wǎng)絡(luò)類網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò), ,主要用于優(yōu)化計(jì)主要用于優(yōu)化計(jì)算。算。3.1 3.1 概述概述9 反饋反饋nnnn由于其輸出端有反饋到其輸入端由于其輸出端有反饋到其輸入端, ,所以所以,hnn,hnn在在輸入的激勵(lì)下輸入的激勵(lì)下, ,會(huì)產(chǎn)生不斷的狀態(tài)變化會(huì)產(chǎn)生不斷的狀態(tài)變化. .當(dāng)有輸入之后當(dāng)有輸入之后, ,可以求取出可以求取出hnnhnn的輸出的輸出, ,這個(gè)輸出反饋到輸這個(gè)輸出反饋到輸入從而產(chǎn)生新的輸出入從而產(chǎn)生新的輸出, ,這個(gè)反饋過(guò)程一直進(jìn)行下去這個(gè)反饋過(guò)程一直進(jìn)行下去. .如果如果hnnhnn是一個(gè)能穩(wěn)定的網(wǎng)絡(luò)是一個(gè)能穩(wěn)定的網(wǎng)絡(luò), ,則這個(gè)反饋與迭代的計(jì)算則這個(gè)反饋與迭代的計(jì)算過(guò)

9、程所產(chǎn)生的變化越來(lái)越小過(guò)程所產(chǎn)生的變化越來(lái)越小, ,一旦到達(dá)了穩(wěn)定平衡狀態(tài)一旦到達(dá)了穩(wěn)定平衡狀態(tài), ,那么那么hnnhnn就會(huì)輸出一個(gè)穩(wěn)定的恒值就會(huì)輸出一個(gè)穩(wěn)定的恒值. .對(duì)于對(duì)于hnnhnn來(lái)說(shuō)來(lái)說(shuō), ,關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù)關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù). .應(yīng)該指出應(yīng)該指出, ,反饋網(wǎng)絡(luò)有穩(wěn)定的反饋網(wǎng)絡(luò)有穩(wěn)定的, ,也有不穩(wěn)定的也有不穩(wěn)定的. .對(duì)于對(duì)于hnnhnn來(lái)說(shuō)來(lái)說(shuō), ,還存在如何判別它是穩(wěn)定網(wǎng)絡(luò)還存在如何判別它是穩(wěn)定網(wǎng)絡(luò), ,亦或是亦或是不穩(wěn)定的問(wèn)題不穩(wěn)定的問(wèn)題. .而判別依據(jù)是什么而判別依據(jù)是什么, ,也是需要確定的也是需要確定的. .3.1 3.1 概述

10、概述103.1 3.1 概述概述反饋網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的區(qū)別反饋網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的區(qū)別 結(jié)構(gòu)不同結(jié)構(gòu)不同 前向神經(jīng)網(wǎng)絡(luò)：沒(méi)有反饋環(huán)節(jié)。前向神經(jīng)網(wǎng)絡(luò)：沒(méi)有反饋環(huán)節(jié)。 反饋神經(jīng)網(wǎng)絡(luò)：一個(gè)動(dòng)態(tài)系統(tǒng)，存在穩(wěn)定性反饋神經(jīng)網(wǎng)絡(luò)：一個(gè)動(dòng)態(tài)系統(tǒng)，存在穩(wěn)定性問(wèn)題。（關(guān)鍵問(wèn)題）問(wèn)題。（關(guān)鍵問(wèn)題） 模型不同模型不同 前向網(wǎng)絡(luò)：從輸入到輸出的映射關(guān)系，不考前向網(wǎng)絡(luò)：從輸入到輸出的映射關(guān)系，不考慮延時(shí)。慮延時(shí)。 反饋網(wǎng)絡(luò)：考慮延時(shí)，是一個(gè)動(dòng)態(tài)系統(tǒng)，模反饋網(wǎng)絡(luò)：考慮延時(shí)，是一個(gè)動(dòng)態(tài)系統(tǒng)，模型是動(dòng)態(tài)方程（微分方程）。型是動(dòng)態(tài)方程（微分方程）。113.1 3.1 概述概述網(wǎng)絡(luò)的演變過(guò)程不同網(wǎng)絡(luò)的演變過(guò)程不同 前向網(wǎng)絡(luò)：通過(guò)學(xué)習(xí)得到

11、連接權(quán)然后完成指前向網(wǎng)絡(luò)：通過(guò)學(xué)習(xí)得到連接權(quán)然后完成指定任務(wù)。定任務(wù)。 反饋網(wǎng)絡(luò)：反饋網(wǎng)絡(luò)：( (優(yōu)化計(jì)算時(shí)優(yōu)化計(jì)算時(shí)) )首先確定首先確定w w（不是（不是通過(guò)學(xué)習(xí)而來(lái)的，而是通過(guò)目標(biāo)函數(shù)用解析算通過(guò)學(xué)習(xí)而來(lái)的，而是通過(guò)目標(biāo)函數(shù)用解析算法得到的），設(shè)定網(wǎng)絡(luò)的初始狀態(tài)，然后系統(tǒng)法得到的），設(shè)定網(wǎng)絡(luò)的初始狀態(tài)，然后系統(tǒng)運(yùn)動(dòng)，若穩(wěn)定，則最后達(dá)到一個(gè)穩(wěn)定狀態(tài)，對(duì)運(yùn)動(dòng)，若穩(wěn)定，則最后達(dá)到一個(gè)穩(wěn)定狀態(tài)，對(duì)應(yīng)的輸出就是優(yōu)化問(wèn)題的解。應(yīng)的輸出就是優(yōu)化問(wèn)題的解。123.1 3.1 概述概述學(xué)習(xí)方法不同學(xué)習(xí)方法不同 前向網(wǎng)絡(luò)：誤差修正算法（前向網(wǎng)絡(luò)：誤差修正算法（bpbp算法）。算法）。 反向網(wǎng)絡(luò)：海布反向網(wǎng)絡(luò)

12、：海布(hebb)(hebb)算法算法( (用于聯(lián)想、分用于聯(lián)想、分類的時(shí)候類的時(shí)候) )運(yùn)行學(xué)習(xí)算法whebb133.1 3.1 概述概述 應(yīng)用范圍不同應(yīng)用范圍不同 前向網(wǎng)絡(luò)：只能用于聯(lián)想映射及其分類。前向網(wǎng)絡(luò)：只能用于聯(lián)想映射及其分類。 反饋網(wǎng)絡(luò)：同時(shí)也可以用于聯(lián)想記憶和反饋網(wǎng)絡(luò)：同時(shí)也可以用于聯(lián)想記憶和約束優(yōu)化問(wèn)題的求解。約束優(yōu)化問(wèn)題的求解。14 對(duì)于如對(duì)于如hnnhnn類似的反饋網(wǎng)絡(luò)類似的反饋網(wǎng)絡(luò), ,研究的重點(diǎn)為研究的重點(diǎn)為: :如何通過(guò)網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于如何通過(guò)網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于平衡狀態(tài)平衡狀態(tài), ,得到聯(lián)想存儲(chǔ)或優(yōu)化計(jì)算的結(jié)果得到聯(lián)想存儲(chǔ)或優(yōu)化計(jì)算的結(jié)

13、果網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題怎樣設(shè)計(jì)和利用穩(wěn)定的反饋網(wǎng)絡(luò)怎樣設(shè)計(jì)和利用穩(wěn)定的反饋網(wǎng)絡(luò)網(wǎng)絡(luò)系統(tǒng)能夠達(dá)到穩(wěn)定收斂網(wǎng)絡(luò)系統(tǒng)能夠達(dá)到穩(wěn)定收斂 網(wǎng)絡(luò)的穩(wěn)定點(diǎn)網(wǎng)絡(luò)的穩(wěn)定點(diǎn) 吸引域的設(shè)計(jì)吸引域的設(shè)計(jì) 下面開(kāi)始介紹下面開(kāi)始介紹hnn,hnn,分別介紹兩種主要的分別介紹兩種主要的hnn:hnn:離散離散hopfieldhopfield網(wǎng)絡(luò)網(wǎng)絡(luò)連續(xù)連續(xù)hopfieldhopfield網(wǎng)絡(luò)網(wǎng)絡(luò)3.1 3.1 概述概述153.2 3.2 離散離散hopfieldhopfield網(wǎng)絡(luò)網(wǎng)絡(luò) hopfieldhopfield最早提出的網(wǎng)絡(luò)是神經(jīng)元的輸出為最早提出的網(wǎng)絡(luò)是神經(jīng)元的輸出為0-10-1二值的二值的nn,nn

14、,所以所以, ,也稱離散的也稱離散的hnn (hnn (簡(jiǎn)稱為簡(jiǎn)稱為dhnn).dhnn).下面分別討論下面分別討論dhnndhnn的的結(jié)構(gòu)結(jié)構(gòu)動(dòng)力學(xué)穩(wěn)定性動(dòng)力學(xué)穩(wěn)定性( (網(wǎng)絡(luò)收斂性網(wǎng)絡(luò)收斂性) )聯(lián)想存儲(chǔ)中的應(yīng)用聯(lián)想存儲(chǔ)中的應(yīng)用記憶容量問(wèn)題記憶容量問(wèn)題16 在在dhnndhnn網(wǎng)絡(luò)中網(wǎng)絡(luò)中, ,神經(jīng)元所輸出的離散值神經(jīng)元所輸出的離散值1 1和和0 0分分別表示神經(jīng)元處于興奮和抑制狀態(tài)別表示神經(jīng)元處于興奮和抑制狀態(tài). .各神經(jīng)元通過(guò)賦有權(quán)重的連接來(lái)互聯(lián)各神經(jīng)元通過(guò)賦有權(quán)重的連接來(lái)互聯(lián). .下面下面, ,首先考慮由三個(gè)神經(jīng)元組成的首先考慮由三個(gè)神經(jīng)元組成的dhnn,dhnn,其結(jié)其結(jié)構(gòu)如構(gòu)如圖

15、圖3.13.1所示所示. ..1離散離散hopfieldhopfield網(wǎng)絡(luò)的結(jié)構(gòu)網(wǎng)絡(luò)的結(jié)構(gòu)17 x1 x3 x2 y1 y3 y2 圖 3.1 三神經(jīng)元組成的 hnn w11 w12 w13 w21 w23 w31 w22 w33 w32 .1離散離散hopfieldhopfield網(wǎng)絡(luò)的結(jié)構(gòu)網(wǎng)絡(luò)的結(jié)構(gòu)18 在圖中在圖中, ,第第0 0層僅僅是作為網(wǎng)絡(luò)的輸入層僅僅是作為網(wǎng)絡(luò)的輸入, ,它不是它不是實(shí)際神經(jīng)元實(shí)際神經(jīng)元, ,所以無(wú)計(jì)算功能所以無(wú)計(jì)算功能; ;而第一層是實(shí)際神經(jīng)元而第一層是實(shí)際神經(jīng)元, ,故而執(zhí)行對(duì)輸入信息和故而執(zhí)行對(duì)輸入信息和權(quán)系數(shù)乘積求累加和權(quán)

16、系數(shù)乘積求累加和, ,并由非線性函數(shù)并由非線性函數(shù)f f處理后處理后產(chǎn)生輸出信息產(chǎn)生輸出信息. .f f是一個(gè)簡(jiǎn)單的閾值函效是一個(gè)簡(jiǎn)單的閾值函效, ,如果如果神經(jīng)元的輸入信息的綜合大于閾值神經(jīng)元的輸入信息的綜合大于閾值 , ,那么那么, ,神經(jīng)元的神經(jīng)元的輸出就取值為輸出就取值為1;1;小于閾值小于閾值 , ,則神經(jīng)元的輸出就取值為則神經(jīng)元的輸出就取值為0.0.對(duì)于二值神經(jīng)元對(duì)于二值神經(jīng)元, ,它的計(jì)算公式如下它的計(jì)算公式如下jn1iiji,jxywu.1離散離散hopfieldhopfield網(wǎng)絡(luò)的結(jié)構(gòu)網(wǎng)絡(luò)的結(jié)構(gòu)19其中xj為外部輸入,并且有yj=1,當(dāng)ujj時(shí)yj=0,當(dāng)u

17、j0,有:y(t+t)=y(t)則稱網(wǎng)絡(luò)是穩(wěn)定的.吸引子：若y(t)是網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，則稱y(t)是網(wǎng)絡(luò)的穩(wěn)定吸引子。吸引域：能夠穩(wěn)定在吸引子y(t)的所有初始狀態(tài)y(0)的集合，稱為吸引子y(t)的吸引域。28q 從dhnn可以看出: 它是一種多輸入,含有閾值的二值非線性動(dòng)力系統(tǒng). 在動(dòng)力系統(tǒng)中,平衡穩(wěn)定狀態(tài)可以理解為系統(tǒng)的某種形式的能量函數(shù)在系統(tǒng)運(yùn)動(dòng)過(guò)程中,其能量值不斷減小,最后處于最小值. 因此,對(duì)hnn可引入一個(gè)lyapunov函數(shù),即所謂能量函數(shù):3.2.2 dhnn3.2.2 dhnn的動(dòng)力學(xué)穩(wěn)定性的動(dòng)力學(xué)穩(wěn)定性 即有) 1 (t)y(t)yx-(t)(t)yyw21e1n1ijj

18、jjjiji,njn1jjjn1jjjn1in1jjiji,(t)y(t)yx-(t)(t)yyw21-e293.2.2 dhnn3.2.2 dhnn的動(dòng)力學(xué)穩(wěn)定性的動(dòng)力學(xué)穩(wěn)定性 對(duì)對(duì)hnnhnn的能量函數(shù)有幾點(diǎn)說(shuō)明的能量函數(shù)有幾點(diǎn)說(shuō)明: :當(dāng)對(duì)反饋網(wǎng)絡(luò)應(yīng)用能量函數(shù)后當(dāng)對(duì)反饋網(wǎng)絡(luò)應(yīng)用能量函數(shù)后, ,從任一初始狀態(tài)開(kāi)從任一初始狀態(tài)開(kāi)始始, ,因?yàn)樵诿看蔚蠖寄軡M足因?yàn)樵诿看蔚蠖寄軡M足 e e 0,0,所以網(wǎng)絡(luò)的所以網(wǎng)絡(luò)的能量將會(huì)越來(lái)越小能量將會(huì)越來(lái)越小. .由于能量函數(shù)存在下界由于能量函數(shù)存在下界, ,因此其最后趨于穩(wěn)定點(diǎn)因此其最后趨于穩(wěn)定點(diǎn) e=0. e=0. hopfieldhopfi

19、eld能量函數(shù)的物理意義是能量函數(shù)的物理意義是: :在那些漸進(jìn)穩(wěn)定點(diǎn)的吸引域內(nèi)在那些漸進(jìn)穩(wěn)定點(diǎn)的吸引域內(nèi), ,離吸引點(diǎn)越遠(yuǎn)的狀態(tài)離吸引點(diǎn)越遠(yuǎn)的狀態(tài), ,所所具有的能量越大具有的能量越大. .由于能量函數(shù)的單調(diào)下降特性由于能量函數(shù)的單調(diào)下降特性, ,保證狀態(tài)的運(yùn)動(dòng)方向能保證狀態(tài)的運(yùn)動(dòng)方向能從遠(yuǎn)離吸引點(diǎn)處從遠(yuǎn)離吸引點(diǎn)處, ,不斷地趨于吸引點(diǎn)不斷地趨于吸引點(diǎn), ,直到達(dá)到穩(wěn)定點(diǎn)直到達(dá)到穩(wěn)定點(diǎn). .303.2.2 dhnn3.2.2 dhnn的動(dòng)力學(xué)穩(wěn)定性的動(dòng)力學(xué)穩(wěn)定性能量函數(shù)是反饋網(wǎng)絡(luò)中的重要概念能量函數(shù)是反饋網(wǎng)絡(luò)中的重要概念. .根據(jù)能量函數(shù)根據(jù)能量函數(shù)可以方便的判斷系統(tǒng)的穩(wěn)定性可以方便的判斷系統(tǒng)

20、的穩(wěn)定性; ;hopfieldhopfield選擇的能量函數(shù)選擇的能量函數(shù), ,只是保證系統(tǒng)穩(wěn)定和漸只是保證系統(tǒng)穩(wěn)定和漸進(jìn)穩(wěn)定的充分條件進(jìn)穩(wěn)定的充分條件, ,而不是必要條件而不是必要條件, ,其能量函數(shù)其能量函數(shù)也不是唯一的也不是唯一的. .在狀態(tài)更新過(guò)程中，包括三種情況：由在狀態(tài)更新過(guò)程中，包括三種情況：由0 0變?yōu)樽優(yōu)? 1；由由1 1變?yōu)樽優(yōu)? 0及狀態(tài)保持不變。及狀態(tài)保持不變。313.2.2 dhnn3.2.2 dhnn的動(dòng)力學(xué)穩(wěn)定性的動(dòng)力學(xué)穩(wěn)定性q 類似于研究動(dòng)力學(xué)系統(tǒng)穩(wěn)定性的lyapunov穩(wěn)定性理論,上述dhnn的穩(wěn)定性可由分析上述定義的lyapunov函數(shù)e的變化規(guī)律而揭示.

21、因此,由神經(jīng)元j的狀態(tài)變化量yj(t)所引起的的能量變化量ej為:)2(t)yx-(t)yw(w21-(t)y(t)yeejn1ijjiij,ji,jjj 若所討論的hnn是對(duì)稱網(wǎng)絡(luò),即有wi,j=wj,i,i,j=1,2,.,n,則有)3(t)yx-(t)ywejn1ijjiji,j32則yj(t+1)=fuj(t)-j式(3)則可記為:ej(t)=-uj(t)+jyj(t) (3a)q 下面分別對(duì) 串行異步方式串行異步方式和 并行同步方式并行同步方式,證明對(duì)稱二值型hnn是穩(wěn)定的.3.2.2 dhnn3.2.2 dhnn的動(dòng)力學(xué)穩(wěn)定性的動(dòng)力學(xué)穩(wěn)定性q 如果,令jn1iiji,jx(t)yw

22、(t)u33a.串行異步方式串行異步方式q 對(duì)串行異步和對(duì)稱權(quán)值型的hnn,基于式(3a)ej(t)=-uj(t)+jyj(t) (3a)考慮如下兩種情況: 如果如果ujj,即神經(jīng)元j的輸入綜合大于閾值,則從二值神經(jīng)元的計(jì)算公式知道: yj的值保持為1,或者從0變到1. 這說(shuō)明yj的變化yj只能是0或正值.這時(shí)很明顯有ej:ej0這說(shuō)明hnn神經(jīng)元的能量減少或不變.3.2.2 dhnn3.2.2 dhnn的動(dòng)力學(xué)穩(wěn)定性的動(dòng)力學(xué)穩(wěn)定性34 如果如果ujj,即神經(jīng)元j的輸入綜合小于閾值,則知yj的值保持為0,或者從1變到0,而yj小于等于零.這時(shí)則有ej:ej0這也說(shuō)明hnn神經(jīng)元的能量減少.q

23、上面兩點(diǎn)說(shuō)明了dhnn在權(quán)系數(shù)矩陣w的對(duì)角線元素為0,而且w矩陣元素對(duì)稱時(shí),串行異步方式的dhnn是穩(wěn)定的.3.2.2 dhnn3.2.2 dhnn的動(dòng)力學(xué)穩(wěn)定性的動(dòng)力學(xué)穩(wěn)定性35b. 并行同步方式并行同步方式q 由上述對(duì)串行異步和對(duì)稱權(quán)值型的dhnn的穩(wěn)定性分析過(guò)程知,單個(gè)神經(jīng)元的狀態(tài)變化引起的lyapunov函數(shù)的變化量ej(t)0 因此, 并行同步且權(quán)值對(duì)稱的并行同步且權(quán)值對(duì)稱的dhnn的所有神經(jīng)元引起的lyapunov函數(shù)的變化量為:3.2.2 dhnn3.2.2 dhnn的動(dòng)力學(xué)穩(wěn)定性的動(dòng)力學(xué)穩(wěn)定性0(t)e(t)y(t)yee1j1jjnjnj 故上面兩點(diǎn)說(shuō)明了dhnn在權(quán)系數(shù)矩陣

24、w的對(duì)角線元素為0,而且w矩陣元素對(duì)稱時(shí),并行同步方式的dhnn是穩(wěn)定的.36q 基于上述分析,coben和grossberg在1983年給出了關(guān)于hnn穩(wěn)定的充分條件,他們指出: 如果權(quán)系數(shù)矩陣如果權(quán)系數(shù)矩陣w是一個(gè)對(duì)稱矩陣是一個(gè)對(duì)稱矩陣,并且并且,對(duì)角線元素為對(duì)角線元素為0.則這個(gè)網(wǎng)絡(luò)是穩(wěn)定的則這個(gè)網(wǎng)絡(luò)是穩(wěn)定的. 即是說(shuō)在權(quán)系數(shù)矩陣w中,若i=j時(shí), wij=0ij時(shí),wij=wji則hnn是穩(wěn)定的. 應(yīng)該指出: 這只是hnn穩(wěn)定的充分條件,而不是必要條件. 在實(shí)際中有很多穩(wěn)定的hnn,但是它們并不滿足權(quán)系數(shù)矩陣w是對(duì)稱矩陣這一條件.3.2.2 dhnn3.2.2 dhnn的動(dòng)力學(xué)穩(wěn)定性的

25、動(dòng)力學(xué)穩(wěn)定性373.2.2 dhnn3.2.2 dhnn的動(dòng)力學(xué)穩(wěn)定性的動(dòng)力學(xué)穩(wěn)定性 x1 x3 x2 y1 y3 y2 圖 3.4 對(duì)角線權(quán)系數(shù)為 0的對(duì)稱網(wǎng)另一圖示 w12 w13 w23 w21 w32 w31 q 由上面的分析可知: 無(wú)自反饋的權(quán)系數(shù)對(duì)稱hnn是穩(wěn)定. 它如圖3.4所示.382.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶 所謂聯(lián)想可以理解為從一種事物聯(lián)系到與其所謂聯(lián)想可以理解為從一種事物聯(lián)系到與其相關(guān)的事物的過(guò)程相關(guān)的事物的過(guò)程. .日常生活中日常生活中, ,從一種事物出發(fā)從一種事物出發(fā), ,人們會(huì)非常自然地人們會(huì)非常自然地聯(lián)想到與該事物密切相關(guān)或有因果關(guān)系的

26、種種事聯(lián)想到與該事物密切相關(guān)或有因果關(guān)系的種種事務(wù)務(wù). .兩種聯(lián)想形式兩種聯(lián)想形式自聯(lián)想自聯(lián)想(auto-association) :(auto-association) :由某種代表事物由某種代表事物( (或該事物的主要特征或該事物的主要特征, ,或部分主或部分主要特征要特征) )聯(lián)想到其所標(biāo)示的實(shí)際事物。聯(lián)想到其所標(biāo)示的實(shí)際事物。從英文字頭從英文字頭“newt”newt”聯(lián)想到聯(lián)想到“newton”newton”。聽(tīng)到歌曲的一部分可以聯(lián)想起整個(gè)曲子。聽(tīng)到歌曲的一部分可以聯(lián)想起整個(gè)曲子。392.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶異聯(lián)想異聯(lián)想( (他聯(lián)想他聯(lián)想)(hetero

27、 -association) :)(hetero -association) :由一種事物由一種事物( (或該事物的主要特征或該事物的主要特征, ,或部分主要特或部分主要特征征) )聯(lián)想到與其密切相關(guān)的另一事物。聯(lián)想到與其密切相關(guān)的另一事物。從質(zhì)能關(guān)系式從質(zhì)能關(guān)系式e=mce=mc2 2聯(lián)想到其發(fā)明者愛(ài)因斯坦。聯(lián)想到其發(fā)明者愛(ài)因斯坦?？吹侥橙说拿謺?huì)聯(lián)想起他的相貌和特點(diǎn)?？吹侥橙说拿謺?huì)聯(lián)想起他的相貌和特點(diǎn)。人腦從一種事物得到對(duì)應(yīng)事物的兩種途徑人腦從一種事物得到對(duì)應(yīng)事物的兩種途徑按時(shí)間順序?qū)ο嚓P(guān)事物進(jìn)行思考按時(shí)間順序?qū)ο嚓P(guān)事物進(jìn)行思考可通過(guò)時(shí)間表來(lái)回憶某一階段所做的工作可通過(guò)時(shí)間表來(lái)回憶某一階

28、段所做的工作. .通過(guò)事物本質(zhì)特征的對(duì)比來(lái)確定事物的屬性通過(guò)事物本質(zhì)特征的對(duì)比來(lái)確定事物的屬性由提示信息或局部信息對(duì)事物進(jìn)行回憶或確認(rèn)由提示信息或局部信息對(duì)事物進(jìn)行回憶或確認(rèn). .402.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶qhnnhnn的一個(gè)功能是可用于聯(lián)想記憶的一個(gè)功能是可用于聯(lián)想記憶, ,也即是聯(lián)想存儲(chǔ)也即是聯(lián)想存儲(chǔ)器器. .這是人類的智能特點(diǎn)之一這是人類的智能特點(diǎn)之一. . 人類的所謂人類的所謂“觸景生情觸景生情”就是見(jiàn)到一些類同過(guò)去接觸的就是見(jiàn)到一些類同過(guò)去接觸的景物景物, ,容易產(chǎn)生對(duì)過(guò)去情景的回昧和思憶容易產(chǎn)生對(duì)過(guò)去情景的回昧和思憶. . 對(duì)于對(duì)于hnn,hnn,

29、用它作聯(lián)想記憶時(shí)用它作聯(lián)想記憶時(shí), ,首先通過(guò)一個(gè)學(xué)習(xí)訓(xùn)練過(guò)首先通過(guò)一個(gè)學(xué)習(xí)訓(xùn)練過(guò)程確定網(wǎng)絡(luò)中的權(quán)系數(shù)程確定網(wǎng)絡(luò)中的權(quán)系數(shù), ,使所記憶的信息在網(wǎng)絡(luò)的使所記憶的信息在網(wǎng)絡(luò)的n n維超維超立方體的某一個(gè)頂角的能量最小立方體的某一個(gè)頂角的能量最小. . 當(dāng)網(wǎng)絡(luò)的權(quán)系數(shù)確定之后當(dāng)網(wǎng)絡(luò)的權(quán)系數(shù)確定之后, ,只要向網(wǎng)絡(luò)給出輸入向量只要向網(wǎng)絡(luò)給出輸入向量, ,這這個(gè)向量可能是局部數(shù)據(jù)個(gè)向量可能是局部數(shù)據(jù). . 即不完全或部分不正確的數(shù)據(jù)即不完全或部分不正確的數(shù)據(jù), ,但是網(wǎng)絡(luò)仍然產(chǎn)生所但是網(wǎng)絡(luò)仍然產(chǎn)生所記憶的信息的完整輸出記憶的信息的完整輸出. .412.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記

30、憶q19841984年年hopfieldhopfield提出一種用提出一種用n n維維hnnhnn作聯(lián)想存儲(chǔ)器的作聯(lián)想存儲(chǔ)器的結(jié)構(gòu)結(jié)構(gòu). . hnnhnn聯(lián)想存儲(chǔ)器的主要思想為聯(lián)想存儲(chǔ)器的主要思想為: : 根據(jù)欲存儲(chǔ)的信息的表示形式和維數(shù)根據(jù)欲存儲(chǔ)的信息的表示形式和維數(shù), ,設(shè)計(jì)相應(yīng)的設(shè)計(jì)相應(yīng)的hnnhnn結(jié)構(gòu)結(jié)構(gòu) 將欲存儲(chǔ)的信息設(shè)計(jì)為將欲存儲(chǔ)的信息設(shè)計(jì)為hnnhnn的動(dòng)力學(xué)過(guò)程的已知的漸的動(dòng)力學(xué)過(guò)程的已知的漸近穩(wěn)定平衡點(diǎn)近穩(wěn)定平衡點(diǎn) 通過(guò)學(xué)習(xí)和設(shè)計(jì)算法尋求合適的權(quán)值矩陣將穩(wěn)定狀態(tài)通過(guò)學(xué)習(xí)和設(shè)計(jì)算法尋求合適的權(quán)值矩陣將穩(wěn)定狀態(tài)存儲(chǔ)到網(wǎng)絡(luò)中存儲(chǔ)到網(wǎng)絡(luò)中422.2.3 hnn2.2.3 hnn的聯(lián)

31、想記憶的聯(lián)想記憶q 在hnn聯(lián)想存儲(chǔ)器中,權(quán)系數(shù)的賦值規(guī)則hebb規(guī)則,即為存儲(chǔ)向量的外積存儲(chǔ)規(guī)則,其原理如下: 設(shè)有m個(gè)樣本存儲(chǔ)向量x1,x2,xm,其中xi=xi1,xi2,.,xi,n把這m個(gè)樣本向量存儲(chǔ)入hnn中,則在網(wǎng)絡(luò)中第i,j兩個(gè)節(jié)點(diǎn)之間權(quán)系數(shù)的值為(權(quán)值學(xué)習(xí)規(guī)則):mjijijixxwjkikij,.,2 , 1,0,時(shí)當(dāng)時(shí)當(dāng)其中k為樣本向量xk的下標(biāo),k=1,2,m;i,j分別是樣本向量xk的第i,j分量xk,i,xk,j的下標(biāo).432.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶 如果把系統(tǒng)的穩(wěn)定點(diǎn)視做一個(gè)記憶的話，那么從如果把系統(tǒng)的穩(wěn)定點(diǎn)視做一個(gè)記憶的話，那么從初

32、始狀態(tài)朝這個(gè)穩(wěn)定點(diǎn)移動(dòng)的過(guò)程就是尋找該記初始狀態(tài)朝這個(gè)穩(wěn)定點(diǎn)移動(dòng)的過(guò)程就是尋找該記憶的過(guò)程。憶的過(guò)程。 例例1 1：計(jì)算如圖：計(jì)算如圖3.53.5所示所示3 3節(jié)點(diǎn)節(jié)點(diǎn)dhnndhnn的狀態(tài)轉(zhuǎn)移關(guān)系。的狀態(tài)轉(zhuǎn)移關(guān)系?？紤]到考慮到dhnndhnn的權(quán)值特性的權(quán)值特性w wijijw wjiji，可簡(jiǎn)化為圖，可簡(jiǎn)化為圖3.63.6右右邊的等價(jià)圖。邊的等價(jià)圖。44 x1 x3 x2 y1 y3 y2 w12 w13 w23 w21 w32 w31 2.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶 圖圖3.6 3.6 一個(gè)一個(gè)3 3節(jié)點(diǎn)的節(jié)點(diǎn)的dhnndhnn結(jié)構(gòu)圖結(jié)構(gòu)圖452.2.3 hnn

33、2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶 設(shè)網(wǎng)絡(luò)參數(shù)為：設(shè)網(wǎng)絡(luò)參數(shù)為：. 3, 0, 5, 3, 2, 1321322331132112wwwwww 現(xiàn)在以初始狀態(tài)（可任意選定）現(xiàn)在以初始狀態(tài)（可任意選定）y y1 1y y2 2y y3 3=(000)=(000)為例為例, ,以異步運(yùn)以異步運(yùn)行網(wǎng)絡(luò)，考察各個(gè)節(jié)點(diǎn)的狀態(tài)轉(zhuǎn)移情況?，F(xiàn)在考慮每個(gè)節(jié)點(diǎn)行網(wǎng)絡(luò)，考察各個(gè)節(jié)點(diǎn)的狀態(tài)轉(zhuǎn)移情況?，F(xiàn)在考慮每個(gè)節(jié)點(diǎn)y y1 1y y2 2y y3 3以等概率（以等概率（1/n1/n）被選擇。）被選擇。 假定首先選擇節(jié)點(diǎn)假定首先選擇節(jié)點(diǎn)y y1 1，則節(jié)點(diǎn)狀態(tài)為：，則節(jié)點(diǎn)狀態(tài)為： net1=1net1=1* *0+

34、20+2* *0-(-5)=500-(-5)=50節(jié)點(diǎn)節(jié)點(diǎn)1 1輸出為：輸出為： y y1 1=1=1即，網(wǎng)絡(luò)狀態(tài)由（即，網(wǎng)絡(luò)狀態(tài)由（000000）變化到（）變化到（100100），轉(zhuǎn)移概率為），轉(zhuǎn)移概率為1/31/3。462.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶 如選擇節(jié)點(diǎn)如選擇節(jié)點(diǎn)y y2 2 ，則節(jié)點(diǎn)狀態(tài)為：，則節(jié)點(diǎn)狀態(tài)為： net2=1net2=1* *0+0+（-3-3）* *0-0=00-0=0節(jié)點(diǎn)節(jié)點(diǎn)2 2輸出為：輸出為： y y1 1=0=0即，網(wǎng)絡(luò)狀態(tài)由（即，網(wǎng)絡(luò)狀態(tài)由（000000）變化到（）變化到（000000），轉(zhuǎn)移概率為），轉(zhuǎn)移概率為1/31/3。 如

35、選擇節(jié)點(diǎn)如選擇節(jié)點(diǎn)y y3 3 ，則節(jié)點(diǎn)狀態(tài)為：，則節(jié)點(diǎn)狀態(tài)為： net3=2net3=2* *0+0+（-3-3）* *0-3=-300-3=-30節(jié)點(diǎn)節(jié)點(diǎn)3 3輸出為：輸出為： y y3 3=0=0即，網(wǎng)絡(luò)狀態(tài)由（即，網(wǎng)絡(luò)狀態(tài)由（000000）變化到（）變化到（000000），同樣，轉(zhuǎn)移概率為），同樣，轉(zhuǎn)移概率為1/31/3。從上面的網(wǎng)絡(luò)運(yùn)行可以看出，在網(wǎng)絡(luò)參數(shù)給定的情況下，網(wǎng)從上面的網(wǎng)絡(luò)運(yùn)行可以看出，在網(wǎng)絡(luò)參數(shù)給定的情況下，網(wǎng)絡(luò)狀態(tài)以絡(luò)狀態(tài)以1/31/3的概率轉(zhuǎn)移到（的概率轉(zhuǎn)移到（100100），以），以2/32/3的概率轉(zhuǎn)移到的概率轉(zhuǎn)移到（000000），即保持不變，而不會(huì)轉(zhuǎn)移到（），

36、即保持不變，而不會(huì)轉(zhuǎn)移到（010010）等其它狀態(tài)。）等其它狀態(tài)。472.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶 同理，還可以計(jì)算出其它狀態(tài)之間的轉(zhuǎn)移關(guān)系。同理，還可以計(jì)算出其它狀態(tài)之間的轉(zhuǎn)移關(guān)系。 從這個(gè)例子可以看出：從這個(gè)例子可以看出：（1 1）狀態(tài)（）狀態(tài)（110110）是一個(gè)滿足前面穩(wěn)定定義的狀態(tài)，即為穩(wěn)）是一個(gè)滿足前面穩(wěn)定定義的狀態(tài)，即為穩(wěn)定狀態(tài)；定狀態(tài)；（2 2）從任意初始狀態(tài)開(kāi)始，網(wǎng)絡(luò)經(jīng)過(guò)有限次狀態(tài)更新后，都）從任意初始狀態(tài)開(kāi)始，網(wǎng)絡(luò)經(jīng)過(guò)有限次狀態(tài)更新后，都將到達(dá)該穩(wěn)定狀態(tài)。將到達(dá)該穩(wěn)定狀態(tài)。482.2.3 hnn2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶 例例2 2：

37、計(jì)算例：計(jì)算例1 1中中3 3節(jié)點(diǎn)模型的個(gè)狀態(tài)的能量。節(jié)點(diǎn)模型的個(gè)狀態(tài)的能量。首先選擇狀態(tài)首先選擇狀態(tài)y y1 1y y2 2y y3 3= =（011011），此時(shí)，網(wǎng)絡(luò)的能量為：），此時(shí)，網(wǎng)絡(luò)的能量為：再選擇狀態(tài)再選擇狀態(tài)y y1 1y y2 2y y3 3= =（110110），同理，網(wǎng)絡(luò)的能量為：），同理，網(wǎng)絡(luò)的能量為：61*31*00*) 5(1*1*) 3(1*0*21*0*1332211322331132112yyyyywyywyywe60*31*01*) 5(0*1*) 3(0*1*21*1*1332211322331132112yyyyywyywyywe492.2.3 hnn

38、2.2.3 hnn的聯(lián)想記憶的聯(lián)想記憶 其余狀態(tài)能量如表其余狀態(tài)能量如表2 2所示：所示： 表表2.2.模型各狀態(tài)能量表模型各狀態(tài)能量表y1y2y3e0000001301000116100-5101-4110-6111-2 顯然，狀態(tài)顯然，狀態(tài)y y1 1y y2 2y y3 3= =（110110）處的能量最小。從任意狀態(tài)開(kāi)始，）處的能量最小。從任意狀態(tài)開(kāi)始，網(wǎng)絡(luò)沿能量減?。òㄍ患?jí)能量）方向更新?tīng)顟B(tài)，最終能網(wǎng)絡(luò)沿能量減?。òㄍ患?jí)能量）方向更新?tīng)顟B(tài)，最終能達(dá)到對(duì)應(yīng)能量極小的穩(wěn)態(tài)。達(dá)到對(duì)應(yīng)能量極小的穩(wěn)態(tài)。502.2.4 2.2.4 記憶容量問(wèn)題記憶容量問(wèn)題 設(shè)計(jì)設(shè)計(jì)dhnndhnn網(wǎng)絡(luò)的

39、目的網(wǎng)絡(luò)的目的, ,是希望通過(guò)所設(shè)計(jì)的權(quán)是希望通過(guò)所設(shè)計(jì)的權(quán)值矩陣值矩陣w w儲(chǔ)存多個(gè)期望模式儲(chǔ)存多個(gè)期望模式. .因此因此, ,在在dhnndhnn用于聯(lián)想記憶問(wèn)題用于聯(lián)想記憶問(wèn)題, ,記憶容量問(wèn)題是記憶容量問(wèn)題是一個(gè)必須回答的基本問(wèn)題一個(gè)必須回答的基本問(wèn)題. . 當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定模式時(shí)當(dāng)網(wǎng)絡(luò)只記憶一個(gè)穩(wěn)定模式時(shí), ,該模式肯定被該模式肯定被網(wǎng)絡(luò)準(zhǔn)確無(wú)誤地記憶住網(wǎng)絡(luò)準(zhǔn)確無(wú)誤地記憶住, ,即所設(shè)計(jì)的即所設(shè)計(jì)的w w值一定值一定能夠滿足正比于輸入和輸出矢量的乘積關(guān)系能夠滿足正比于輸入和輸出矢量的乘積關(guān)系. .但當(dāng)需要記憶的模式增多時(shí)但當(dāng)需要記憶的模式增多時(shí), ,網(wǎng)絡(luò)記憶可能出現(xiàn)網(wǎng)絡(luò)記憶可能出

40、現(xiàn)問(wèn)題問(wèn)題. .512.2.4 2.2.4 記憶容量問(wèn)題記憶容量問(wèn)題 按照按照hebbhebb規(guī)則求出權(quán)矩陣后，可以認(rèn)為已有規(guī)則求出權(quán)矩陣后，可以認(rèn)為已有m m個(gè)模式個(gè)模式存入網(wǎng)絡(luò)的連接權(quán)中。在聯(lián)想過(guò)程中，先給出原始存入網(wǎng)絡(luò)的連接權(quán)中。在聯(lián)想過(guò)程中，先給出原始模式模式m m0 0，使網(wǎng)絡(luò)處于某種初始狀態(tài)下，用網(wǎng)絡(luò)方程，使網(wǎng)絡(luò)處于某種初始狀態(tài)下，用網(wǎng)絡(luò)方程動(dòng)態(tài)運(yùn)行，最后到達(dá)一個(gè)穩(wěn)定狀態(tài)。如果此穩(wěn)定狀動(dòng)態(tài)運(yùn)行，最后到達(dá)一個(gè)穩(wěn)定狀態(tài)。如果此穩(wěn)定狀態(tài)對(duì)應(yīng)于已存儲(chǔ)的態(tài)對(duì)應(yīng)于已存儲(chǔ)的m m個(gè)模式中的某個(gè)模式個(gè)模式中的某個(gè)模式m mk k, ,則稱模則稱模式式m mk k是由模式是由模式m m0 0聯(lián)想起來(lái)

41、的。在這里舉例說(shuō)明。聯(lián)想起來(lái)的。在這里舉例說(shuō)明。 例例3.3.對(duì)于一個(gè)對(duì)于一個(gè)4 4神經(jīng)元的網(wǎng)絡(luò)，取閾值為神經(jīng)元的網(wǎng)絡(luò)，取閾值為0 0。給定兩。給定兩個(gè)模式存儲(chǔ)于網(wǎng)絡(luò)中：個(gè)模式存儲(chǔ)于網(wǎng)絡(luò)中： m m1 1:y:y(1)(1)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=1,1,1,1,=1,1,1,1, m m2 2:y:y(2)(2)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,-1,-1,-1.=-1,-1,-1,-1.522.2.4 2.2.4 記憶容量問(wèn)題記憶容量問(wèn)題mjijijixxwjkikij,.,2 , 1,0,時(shí)當(dāng)時(shí)當(dāng) 按照按照hebbhebb規(guī)

42、則規(guī)則可求得權(quán)矩陣：可求得權(quán)矩陣：111213142122232431323334414243440222202222022220wwwwwwwwwwwwwwwww532.2.4 2.2.4 記憶容量問(wèn)題記憶容量問(wèn)題jn1iiji,j(t)ywf1)(ty 給出用于聯(lián)想的原始模式：給出用于聯(lián)想的原始模式： m ma a:y=y:y=y1 1,y,y2 2,y,y3 3,y,y4 4=1,1,-1,1,=1,1,-1,1,運(yùn)用網(wǎng)絡(luò)方程：運(yùn)用網(wǎng)絡(luò)方程： 得到：得到： y(1)=1,1,1,1,y(1)=1,1,1,1,再次運(yùn)行，得到再次運(yùn)行，得到 y(2)=1,1,1,1y(2)=1,1,1,1。 這時(shí)網(wǎng)絡(luò)已處于穩(wěn)定狀態(tài)：這時(shí)網(wǎng)絡(luò)已處于穩(wěn)定狀態(tài)：y=1,1,1,1y=1,1,1,1。而這。而這個(gè)穩(wěn)定狀態(tài)正好是網(wǎng)絡(luò)已記憶的模式個(gè)穩(wěn)定狀態(tài)正好是網(wǎng)絡(luò)已記憶的模式m m1 1，由此可，由此可以認(rèn)為以認(rèn)為m m1 1是由模式是由模式m ma a聯(lián)想起來(lái)的。聯(lián)想起來(lái)的。542.2.4 2.2.4 記憶容量問(wèn)題記憶容量問(wèn)題 若給出用于聯(lián)想的原始模式為：若給出用于聯(lián)想的原始模式為： m mb b:y=y:y=y1 1,y,y2 2,y,y3 3,y,y4 4