神經(jīng)網(wǎng)絡(luò)課程實(shí)驗(yàn)三hopfield網(wǎng)絡(luò)

1、word實(shí)驗(yàn)三 Hopfield 網(wǎng)絡(luò)學(xué)習(xí)算法的簡(jiǎn)單應(yīng)用1不同印刷版本數(shù)字8的識(shí)別一 實(shí)驗(yàn)?zāi)康?. 加深對(duì)Hopfield 網(wǎng)絡(luò)學(xué)習(xí)算法的理解2. 通過實(shí)驗(yàn)了解Hopfield學(xué)習(xí)算法的工作原理3. 通過上機(jī)實(shí)驗(yàn)掌握具體的實(shí)現(xiàn)方法二 實(shí)驗(yàn)原理Hopfield 網(wǎng)絡(luò)Hopfield 網(wǎng)絡(luò)是一種具有全互聯(lián)結(jié)構(gòu)的遞歸神經(jīng)網(wǎng)絡(luò)，其具有反應(yīng)機(jī)制的非線性動(dòng)力學(xué)系統(tǒng)，反映了生物神經(jīng)系統(tǒng)結(jié)構(gòu)的復(fù)雜性。該網(wǎng)絡(luò)一般分為離散型DHNN和連續(xù)型CHNN兩種，其標(biāo)準(zhǔn)的網(wǎng)絡(luò)能量函數(shù)可以表示為:.式中：是神經(jīng)元i和神經(jīng)元j的連接權(quán)值；是神經(jīng)元i的輸入閾值；和分別是神經(jīng)元i和神經(jīng)元j的輸出值。 在滿足一定條件下，能量函數(shù)的能

2、量在網(wǎng)絡(luò)運(yùn)行過程中不斷減小，最后趨于穩(wěn)定的平衡狀態(tài)。Hopfield 網(wǎng)絡(luò)自提出以來，已成功應(yīng)用于多個(gè)方面。網(wǎng)絡(luò)的定義 一個(gè) n 階的 Hopfield 網(wǎng)絡(luò)是一個(gè)五元組：其中：1GF：規(guī)定 DHN(n) 拓?fù)浣Y(jié)構(gòu)的擴(kuò)展模糊圖：其中，N(GF) = Ni(qi)½1£i£n 是非空神經(jīng)元集合，每一個(gè)神經(jīng)元 Ni 附有閾值 qi；E(GF) = eij½1£i,j£n 是邊的集合，eij 是 Ni®Nj 的邊； A(GF) = (wij)n´n 是聯(lián)系矩陣，wij 是 Ni®Nj 的聯(lián)系效率。2IF 

3、05; N(GF)：輸入域。3OF Í N(GF)：輸出域。4WA：工作算法，令 oi(t) Î -1,1 為 Ni 在 t 時(shí)刻的狀態(tài)，o(t) =(o1(t),o2(t),on(t)T 為 N(GF)在 t 時(shí)刻的狀態(tài)向量 (t=0,1,2,)，那么：其中，oI Î -1,1nI ´1 (nI £n) 和 oO Î -1,1nO ´1 (nO £n) 分別為 IF 和 OF 的狀態(tài)向量。5) OA：自組織算法對(duì) Hopfield 網(wǎng)絡(luò)而言，一般情況下，IF = OF = N(GF)，即： oI = oO = o

4、。實(shí)際上，給定神經(jīng)元的閾值和神經(jīng)元之間的聯(lián)系效率即可唯一地確定一個(gè)Hopfield 網(wǎng)絡(luò)，給定神經(jīng)元的閾值和神經(jīng)元之間的聯(lián)系效率即可唯一地確定一個(gè)Hopfield 網(wǎng)絡(luò)。因此，一個(gè) n 階的 Hopfield 網(wǎng)絡(luò)可簡(jiǎn)記為：。其中：1) W = A(GF) ：DHN(n) 聯(lián)系矩陣。2) Q =(q1,q2,qn)T：DHN(n) 閾值向量N階DHN 拓?fù)浣Y(jié)構(gòu)工作算法Hopfield 網(wǎng)絡(luò)的工作模式：設(shè) N 為 n 階 Hopfield 網(wǎng)絡(luò) DHN(n) 每一時(shí)刻需要調(diào)整其狀態(tài)的神經(jīng)元的數(shù)量，那么按 N 的數(shù)量：a. 串行模式 (Serial Mode)：N = 1b. 并行模式 (Para

5、llel Mode)： N2.(局部并行模式和全并行模式)按每一時(shí)刻選擇 DHN(n) 需要調(diào)整其狀態(tài)的神經(jīng)元的方式的不同，又可分為：c. 確定模式 (Deterministic Mode)d. 隨機(jī)模式 (Random Mode)對(duì)于 Hopfield 網(wǎng)絡(luò)的工作算法 WA： 如果在給定的離散時(shí)刻 tÎ0,1,2,，NSk (kÎ 1,2,m 的選擇那么是隨機(jī)地，那么 WA 為隨機(jī)工作模式，否那么，為確定性工作模式。如果 "kÎ 1,2,m，|Ik| = 1，即每一個(gè)集合 NSk (kÎ 1,2,m 中只有一個(gè)神經(jīng)元，那么 WA 為串行模式；

6、如果 m=1，那么 WA 為全并行模式；如果 $kÎ 1,2,m，1<|Ik|<m，那么 WA 為局部并行模式。Hopfield 網(wǎng)絡(luò)記憶或?qū)W習(xí)Hopfield 網(wǎng)絡(luò)的運(yùn)行過程是將初始狀態(tài)轉(zhuǎn)移至穩(wěn)定狀態(tài)的過程。Hopfield 網(wǎng)絡(luò)由初始狀態(tài)運(yùn)行至穩(wěn)定狀態(tài)的過程可以被理解為神經(jīng)系統(tǒng)的聯(lián)想記憶過程。穩(wěn)定狀態(tài)就是 Hopfield 網(wǎng)絡(luò)記憶的內(nèi)容。外積法 (Outer Product Method) 是 Hopfield 網(wǎng)絡(luò)綜合設(shè)計(jì)方法之一。該方法源于 Hebb 學(xué)習(xí)律。Hebb 學(xué)習(xí)律：設(shè)有一個(gè) n 維的 Hopfield 網(wǎng)絡(luò)DHN(n)，對(duì)任意 i,jÎ1,

7、2,n，假設(shè) DHN(n) 的狀態(tài)值 oi 和 oj 符號(hào)相同，即 DHN(n) 的神經(jīng)元 Ni 和 Nj 同時(shí)處于興奮或抑制，那么它們的聯(lián)系效率 wij 應(yīng)該得以加強(qiáng)，反之， wij 應(yīng)該減弱。外積法 (1)： 向量形式為：。外積法 (2)： 相應(yīng)的向量形式為：三 實(shí)驗(yàn)內(nèi)容以數(shù)字 8 為例，選擇 N 個(gè)不同印刷字體的 8，編碼后對(duì)其進(jìn)行正交化，然后將其作為范例集合 Exemplar = O(s)|s=1,2,N 中的范例。a. 編碼： O(9) = (-1, -1, -1,-1,-1,1,1,)Tb. 構(gòu)造 Hopfield 網(wǎng)絡(luò)：目標(biāo)是識(shí)別 8c. 驗(yàn)證范例的可識(shí)別性以及考察非范例的含噪聲

8、模式的可識(shí)別性本次實(shí)驗(yàn)共準(zhǔn)備了7種不同印刷體的8，并對(duì)他們進(jìn)行了逐一編碼，令1代表白，-1代表黑。從而得到整合后的目標(biāo)向量，并對(duì)他們?cè)O(shè)計(jì)相應(yīng)的hopfield神經(jīng)網(wǎng)絡(luò)。接下來依次讀入待測(cè)試的印刷體8以及含噪聲的印刷體8，如下：利用之前設(shè)計(jì)好的神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行仿真，得到結(jié)果如下所示：通過上圖我們可以看到，仿真結(jié)果1為對(duì)測(cè)試樣本的識(shí)別，可以很好地呈現(xiàn)出數(shù)字8.仿真結(jié)果2為對(duì)含噪樣本的識(shí)別，大體上可以看到8的形狀，相對(duì)于原圖，去除了一些噪點(diǎn)。Hopfield網(wǎng)絡(luò)可以很好地對(duì)范例進(jìn)行識(shí)別，對(duì)含噪圖可以進(jìn)行大體上的識(shí)別。四 附錄clear;clc;% 讀入數(shù)字圖片，為個(gè)人用畫圖板制作的圖片x = imr

9、ead('08.bmp');d=size(x);%彩色轉(zhuǎn)灰度圖if length(d)=3 I = rgb2gray(x);else I=x;endI0 = featureC(I);I00 = I0'x = imread('18.bmp');d=size(x);%彩色轉(zhuǎn)灰度圖if length(d)=3 I = rgb2gray(x);else I=x;endI1 = featureC(I);I11 = I1'x = imread('28.bmp');d=size(x);%彩色轉(zhuǎn)灰度圖if length(d)=3 I = rgb2

10、gray(x);else I=x;endI2 = featureC(I);I22 = I2'x = imread('38.bmp');d=size(x);%彩色轉(zhuǎn)灰度圖if length(d)=3 I = rgb2gray(x);else I=x;endI3 = featureC(I);I33 = I3'x = imread('48.bmp');d=size(x);%彩色轉(zhuǎn)灰度圖if length(d)=3 I = rgb2gray(x);else I=x;endI4 = featureC(I);I44 = I4'x = imread(&

11、#39;58.bmp');d=size(x);%彩色轉(zhuǎn)灰度圖if length(d)=3 I = rgb2gray(x);else I=x;endI5 = featureC(I);I55 = I5'x = imread('68.bmp');d=size(x);%彩色轉(zhuǎn)灰度圖if length(d)=3 I = rgb2gray(x);else I=x;endI6 = featureC(I);I66 = I6'%總的目標(biāo)向量T=I00 I11 I22 I33 I44 I55 I66;%設(shè)計(jì)hopfield網(wǎng)絡(luò)net=newhop(T); %定義測(cè)試樣本x

12、= imread('test8.bmp');d=size(x);%彩色轉(zhuǎn)灰度圖if length(d)=3 I = rgb2gray(x);else I=x;endItest = featureC(I);Itest1 =Itest'x = imread('test188.bmp');d=size(x);%彩色轉(zhuǎn)灰度圖if length(d)=3 I = rgb2gray(x);else I=x;endItest = featureC(I);Itest2 =Itest'%網(wǎng)絡(luò)仿真for i=1:16 T=I00(:,i) I11(:,i) I22(

13、:,i) I33(:,i) I55(:,i) I66(:,i); net=newhop(T); %設(shè)計(jì)hopfield網(wǎng)絡(luò) y1(:,i)=sim(net,1,Itest1(:,i);endfor i=1:8 for j=1:16 if y1(i,j)<=0 y1(i,j)=-1; else y1(i,j)=1; end endendfor i=1:16 T=I00(:,i) I11(:,i) I22(:,i) I33(:,i) I55(:,i) I66(:,i); net=newhop(T); %設(shè)計(jì)hopfield網(wǎng)絡(luò) y2(:,i)=sim(net,1,Itest2(:,i);en

14、dfor i=1:8 for j=1:16 if y2(i,j)<=0 y2(i,j)=-1; else y2(i,j)=1; end endendsubplot(3,4,1);figt(I00);%figure,imshow(I0);title('待試圖片08')subplot(3,4,2);figt(I11);%figure,imshow(I1);title('待試圖片18')subplot(3,4,3);figt(I22);%figure,imshow(I2);title('待試圖片28')subplot(3,4,4);figt(I3

15、3);%figure,imshow(I3);title('待試圖片38')subplot(3,4,5);figt(I44);%figure,imshow(I4);title('待試圖片48')subplot(3,4,6);figt(I55);%figure,imshow(I5);title('待試圖片58')subplot(3,4,7);figt(I66);%figure,imshow(I6);title('待試圖片68')subplot(3,4,8);figt(Itest1);%figure,imshow(Itest); %繪制

16、測(cè)試樣本二值化圖像title('測(cè)試樣本')subplot(3,4,9);%figure,imshow(y); %繪出仿真輸出二值化圖像figt(y1); %繪出仿真輸出二值化圖像title('仿真結(jié)果1')subplot(3,4,10);figt(Itest2);%figure,imshow(Itest); %繪制測(cè)試樣本二值化圖像title('含有噪聲的樣本')subplot(3,4,11);%figure,imshow(y); %繪出仿真輸出二值化圖像figt(y2); %繪出仿真輸出二值化圖像title('仿真結(jié)果2')function