人工神經(jīng)網(wǎng)絡(luò)例題

1、1、什么是BP網(wǎng)絡(luò)的泛化能力？如何保證 BP網(wǎng)絡(luò)具有較好的泛化能力？ （ 5 分） 解：（1）BP網(wǎng)絡(luò)訓(xùn)練后將所提取的樣本對中的非線性映射關(guān)系存儲在權(quán)值矩陣中， 在其后的工作階段，當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見過的非樣本數(shù)據(jù)時(shí)， 網(wǎng)絡(luò)也能完 成由輸入空間向輸出空間的正確映射。這種能力稱為多層感知器的泛化能力，它 是衡量多層感知器性能優(yōu)劣的一個(gè)重要方面。（2）網(wǎng)絡(luò)的性能好壞主要看其是否具有很好的泛化能力，而對泛化能力的測試 不能用訓(xùn)練集的數(shù)據(jù)進(jìn)行，要用訓(xùn)練集以外的測試數(shù)據(jù)來進(jìn)行檢驗(yàn)。在隱節(jié)點(diǎn)數(shù) 一定的情況下，為獲得更好的泛化能力，存在著一個(gè)最佳訓(xùn)練次數(shù)t,訓(xùn)練時(shí)將 訓(xùn)練與測試交替進(jìn)行，每訓(xùn)練一次記錄一

2、訓(xùn)練均方誤差，然后保持網(wǎng)絡(luò)權(quán)值不變， 用測試數(shù)據(jù)正向運(yùn)行網(wǎng)絡(luò)，記錄測試均方誤差，利用兩種誤差數(shù)據(jù)得出兩條均方 誤差隨訓(xùn)練次數(shù)變化的曲線，測試、訓(xùn)練數(shù)據(jù)均方誤差曲線如下圖1所示。訓(xùn)練 次數(shù)to稱為最佳訓(xùn)練次數(shù)，當(dāng)超過這個(gè)訓(xùn)練次數(shù)后，訓(xùn)練誤差次數(shù)減小而測試誤差則開始上升，在此之前停止訓(xùn)練稱為訓(xùn)練不足，在此之后稱為訓(xùn)練過度。圖1.測試、訓(xùn)練數(shù)據(jù)均方誤差曲線2、什么是LVQ網(wǎng)絡(luò)？它與SOM網(wǎng)絡(luò)有什么區(qū)別和聯(lián)系？ （10分）解：（1）學(xué)習(xí)向量量化（learning vector quantization ， LVQ網(wǎng)絡(luò)是在競爭網(wǎng)絡(luò) 結(jié)構(gòu)的基礎(chǔ)上提出的，LVQ將競爭學(xué)習(xí)思想和監(jiān)督學(xué)習(xí)算法相結(jié)合，減少計(jì)算量

3、 和儲存量，其特點(diǎn)是網(wǎng)絡(luò)的輸出層采用監(jiān)督學(xué)習(xí)算法而隱層采用競爭學(xué)習(xí)策略，結(jié)構(gòu)是由輸入層、競爭層、輸出層組成。（2）在LVQ網(wǎng)絡(luò)學(xué)習(xí)過程中通過教師信號對輸入樣本的分配類別進(jìn)行規(guī)定，從而克服了自組織網(wǎng)絡(luò)采用無監(jiān)督學(xué)習(xí)算法帶來的缺乏分類信息的弱點(diǎn)。自組織映射可以起到聚類的作用，但還不能直接分類和識別，因此這只是自適應(yīng)解決模式 分類問題中的第一步，第二步是學(xué)習(xí)向量量化，采用有監(jiān)督方法，在訓(xùn)練中加入 教師信號作為分類信息對權(quán)值進(jìn)行細(xì)調(diào)，并對輸出神經(jīng)元預(yù)先指定其類別。3、設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)對圖一中的三類線性不可分模式進(jìn)行分類，期望輸出向量分別用（1, -1, -1）T、（-1,1, -1） T 、（-1,

4、-1,1） T代表三類，輸入用樣本坐標(biāo)。要求：（1）選擇合適的隱節(jié)點(diǎn)數(shù)；（2）用BP算法訓(xùn)練網(wǎng)絡(luò)，對圖中的9個(gè)樣本進(jìn)行正確分類。（15分）141401 M1/214 J Ji分析：對于一個(gè)BP神經(jīng)網(wǎng)絡(luò)，首先要明確輸入，輸出，隱層節(jié)點(diǎn)個(gè)數(shù)。對于本題，輸入是點(diǎn)坐標(biāo)組成的2*9的矩陣，輸入節(jié)點(diǎn)個(gè)數(shù)為2,期望輸出向量分別用 (1, -1, -1)丁、(-1,1, -1)丁、(-1, -1,1)T表示，至于隱層節(jié)點(diǎn)的個(gè)數(shù)并沒有確切的方法，根據(jù)經(jīng)驗(yàn)公式m . n I(m為隱層節(jié)點(diǎn)數(shù)；n為輸入層節(jié)點(diǎn)數(shù)；I為輸出節(jié)點(diǎn)數(shù)；a為110之間的常數(shù))，首先確定隱層節(jié)點(diǎn)數(shù)為 5，逐漸 增加隱層節(jié)點(diǎn)數(shù)量，然后觀察其對訓(xùn)練

5、誤差的影響，最終選出最合適的隱層節(jié)點(diǎn) 數(shù)量。表1. BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練、分類結(jié)果隱層節(jié)點(diǎn)數(shù)誤差精度訓(xùn)練次數(shù)分類結(jié)果正確率50.366491100%70.331981100%90.325338100%100.320770100%120.314052100%140.311622100%用 matlab 編程，設(shè)定訓(xùn)練誤差精度為 0.3 ，學(xué)習(xí)率 0.2 ，然后進(jìn)行訓(xùn)練， 記錄不同隱層節(jié)點(diǎn)數(shù)的情況下達(dá)到相同的訓(xùn)練精度所需要的訓(xùn)練次數(shù)， 當(dāng)隱層節(jié) 點(diǎn)數(shù)為M=5時(shí)，在訓(xùn)練次數(shù)為66491時(shí)，結(jié)果達(dá)到訓(xùn)練精度； 當(dāng)隱層節(jié)點(diǎn)數(shù)M=7 時(shí)，在訓(xùn)練次數(shù)到達(dá)31981時(shí)，結(jié)果達(dá)到訓(xùn)練精度；當(dāng)隱層節(jié)點(diǎn)數(shù) M=9時(shí)時(shí)，

6、在 訓(xùn)練次數(shù)達(dá)到25338時(shí)，結(jié)果達(dá)到訓(xùn)練精度；當(dāng)隱層節(jié)點(diǎn)數(shù) M=10時(shí)，在訓(xùn)練次 數(shù)達(dá)到20770時(shí)，結(jié)果達(dá)到訓(xùn)練精度；當(dāng)隱層節(jié)點(diǎn)數(shù) M=12時(shí)，在訓(xùn)練次數(shù)達(dá)到 14052時(shí)，結(jié)果達(dá)到訓(xùn)練精度；當(dāng)隱層節(jié)點(diǎn)數(shù) M=14時(shí)，在訓(xùn)練次數(shù)達(dá)到11622 時(shí)，結(jié)果達(dá)到訓(xùn)練精度，由此可見，在一定范圍內(nèi)，隱層節(jié)點(diǎn)數(shù)越多，達(dá)到訓(xùn)練 精度時(shí)所用的訓(xùn)練次數(shù)越少，所用訓(xùn)練時(shí)間則越少。因此選擇隱層節(jié)點(diǎn)數(shù)為14。學(xué)習(xí)率 0.3，誤差精度在 0.1 以下，輸出結(jié)果和導(dǎo)師信號對比，輸出結(jié)果都 為正確，正確率達(dá)到 100%。具體程序見附件一或者 BPclassify.m 。4、試設(shè)計(jì)一個(gè)吸引子為 Xa=(0110) T，

7、Xb=(1001)T 的離散 Hopfield 人工神經(jīng) 網(wǎng)絡(luò)。其權(quán)值和閾值在 -1 ， 1 區(qū)間取值，試求權(quán)值和閾值。( 10 分) 解：吸引子的分布是由網(wǎng)絡(luò)的權(quán)值 (包括閾值) 決定的， 設(shè)計(jì)吸引子的核心就是 如何設(shè)計(jì)一組合適的權(quán)值。 為了使所設(shè)計(jì)的權(quán)值滿足要求， 權(quán)值矩陣應(yīng)符合以下 要求：(a) 為保證異步方式工作時(shí)網(wǎng)絡(luò)收斂，W 應(yīng)為對稱陣。(b) 為保證同步方式工作時(shí)網(wǎng)絡(luò)收斂，W 應(yīng)為非負(fù)定對稱陣。(c) 保證給定的樣本是網(wǎng)絡(luò)的吸引子，并且要有一定的吸引域。 具體設(shè)計(jì)時(shí)，這里采用了聯(lián)立方程法：以4節(jié)點(diǎn)DHNN為例，說明權(quán)值設(shè)計(jì)的聯(lián)立方程法?？紤]到 wij = w ji ， wii =

8、0 ，對穩(wěn)態(tài) x(t +1) = x(t) 。對于狀態(tài) X a = (1001) T ，各節(jié)點(diǎn)凈輸入應(yīng)滿足：net1=W12X 0+W3X 0+W4X 1-T仁 W4-T10(1)net2=W12 x 1+W3 x 0+w4 x 1-T2=W2+W4-T20(2)n et3=W13X 1+W3X 0+W4X 1-T3=W3+W4-T30對于 X b = (0110) T 狀態(tài)，各節(jié)點(diǎn)凈輸入應(yīng)滿足： net1=W12x1+W13x1+W14x0-T1=W12+W13-T10(6)net3=W13x 0+W23x 1+W34x 0-T3=W23-T30(7)net4=wi4 x 0+w4 x 1+

9、w4 x 1 - T4=W4+W4 - T40（8）聯(lián)立以上8項(xiàng)不等式，可求出未知量的允許取值范圍。如取W4=0.7,則由式（1）有-1 Ti0.7 ,取 Ti= 0.6 ;則由式（4）有-1 丁40.7,取 T4= 0.6 ;取 W2=0.4 , 由式（5）,有-1 W3 0.2，取 W3 = 0.1 ;取 w =0.2 由式（2）,有 0.6T2 1,取 T2 = 0.8 ;由式（6）,有 0.8 w 23 1,取 w = 0.9 ;由式（7）,有-1 T3 0.9，取 T3 = 0.4 ;由式（3, 8）,有-1 w 0.3，取 Wn=0.2。可以驗(yàn)證，利用這組參數(shù)構(gòu)成的DHNN網(wǎng)對于任

10、何初態(tài)最終都將演變到兩吸引子Xa= (1001)T和 X 用matlab訓(xùn)練一個(gè)感知器，求解此分類問題。（需附上matlab程序） 用輸入樣本對所訓(xùn)練的感知器進(jìn)行驗(yàn)證。（15分） 分析：對于本題，輸入是樣本組成的2*8的矩陣，輸入節(jié)點(diǎn)個(gè)數(shù)為2,輸出由導(dǎo)師 信號可知分為兩類。兩個(gè)輸入分量在幾何上構(gòu)成一個(gè)二維平面， 輸入樣本可以用 該平面上的一個(gè)點(diǎn)表示，玩具重量和長度在坐標(biāo)中標(biāo)出，可以看出明顯分布在兩 個(gè)區(qū)域，可以用一條線分開分為兩類，在線上方的輸出結(jié)果應(yīng)大于 0,在線下方 的輸出結(jié)果應(yīng)小于0。 權(quán)向量為2*9的矩陣，輸入的第一個(gè)權(quán)向量權(quán)值賦予較小的非零隨機(jī)數(shù)， 每 一個(gè)新的權(quán)向量都由上一個(gè)權(quán)向量

11、調(diào)整，下一次循環(huán)第1個(gè)權(quán)向量由第9個(gè)權(quán)向 量來調(diào)整。對于這樣的樣本線性可分，經(jīng)過幾次調(diào)整后就穩(wěn)定到一個(gè)權(quán)向量， 將 樣本正確分類的權(quán)向量不是唯一的。具體程序見附件二或者 ganzhiqi.m。輸出=(0110)T。整理權(quán)值與閾值為：00.40.10.70.60.400.90.20.8WT0.10.900.30.40.70.20.300.65、下面給出的訓(xùn)練集由玩具兔和玩具熊組成。輸入樣本向量的第一個(gè)分量代表 玩具的重量，第二個(gè)分量代表玩具耳朵的長度，教師信號為-1表示玩具兔,教師信號為1表示玩具熊。分類結(jié)果如下圖所示表2.單層感知器訓(xùn)練、分類結(jié)果訓(xùn)練次數(shù)分類結(jié)果正確率4100%3100%510

12、0%圖2.感知器在二維平面的分類結(jié)果附件一： 第三題程序 clear all ;%B算法初始化D=1,-1,-1;1,-1,-1;1,-1,-1;-1,1,-1;-1,1,-1;-1,1,-1； -1,-1,1； -1,-1,1； -1,-1,1；X=0.75,0.75;0.75,0.125;0.25,0.25;0.25,0.75;0.5,0.125;0.75,0.25;0.25,0.5;0.5,0.5;0.75,0.5;N, n=size(X);L,Pd=size(D);%M=ceil(sqrt(N*L)+7;ceil函數(shù)為正無窮方向取整m=14;%急層節(jié)點(diǎn)數(shù)%初始化權(quán)矩陣% 俞入層到隱層權(quán)

13、矩陣V=ra nd(N,m);%隱層到輸出層權(quán)矩陣W=ran d(m,L);%開始訓(xùn)練，轉(zhuǎn)移函數(shù)選擇雙極性Sigmoid函數(shù)Q=100000%訓(xùn)練次數(shù)計(jì)數(shù)器E=zeros(Q,1); %誤差Emin=0.3; %訓(xùn)練要求精度learnr=0.2;%學(xué)習(xí)率q=1;%訓(xùn)練次數(shù)計(jì)數(shù)，批訓(xùn)練%權(quán)值調(diào)整while qQnetj=V.*X;Y=(1-exp(-netj)./(1+exp(-netj);netk=W.*Y;O=(1-exp(-netk)./(1+exp(-netk);E(q)=sqrt(sum(sum(D-O)42)/2);%計(jì)算總誤差if E(q)Emin break ;endDelta_

14、o=(D-O).*(1-O.A2)./2;W=W+learnr*(Delta_o*Y.).;%隱層和輸出層間的權(quán)矩陣調(diào)整Delta_y=(W*Delta_o).*(1-Y.A2)./2;V=V+learnr*(Delta_y*X.).;%輸入層和隱層間的權(quán)矩陣調(diào)整q=q+1;end%輸出結(jié)果qO=sign(O)%符號函數(shù)取整A=find(O=D);%和計(jì)算輸出和導(dǎo)師信號不同的個(gè)數(shù)length(A)%分類結(jié)果錯(cuò)誤的個(gè)數(shù)附件二： 第五題程序 clc;clear%單層感知器初始化X=1,4;1,5;2,4;2,5;3,1;3,2;4,1;4,2;%輸入信號d=-1;-1;-1;-1;1;1;1;1;%輸入導(dǎo)師信號w=zeros(2,9);w(:,1)=rand(2,1);%第一組權(quán)值賦予較小的非零隨機(jī)數(shù)o=zeros(8,1);%輸出結(jié)果net=zeros(8,1);%凈輸入 netlearnr=0.01;%學(xué)習(xí)率為 0.1n=0;%循環(huán)次數(shù)%調(diào)整權(quán)值 while n100%訓(xùn)練次數(shù)最大設(shè)為 100次for i=1:8net(i)=X(i,:)*w(:,i);%計(jì)算凈輸入 neto(i)=sign(net(i);%計(jì)算輸出，轉(zhuǎn)移函數(shù)為符號函數(shù)w(:,i+1)=w(:,i)+learnr*(d(i)-o(i)*X(i,:);%調(diào)整權(quán)值w(:,1)=w(:,9);%最后一組權(quán)值賦值給第