人工神經(jīng)網(wǎng)絡(luò)例題

1、人工神經(jīng)網(wǎng)絡(luò)例題1、什么是BP網(wǎng)絡(luò)的泛化能力？如何保證 BP網(wǎng)絡(luò)具有較好的泛化能力？ （ 5 分） 解：（1）BP網(wǎng)絡(luò)訓(xùn)練后將所提取的樣本對中的非線性映射關(guān)系存儲在權(quán)值矩陣中， 在其后的工作階段，當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見過的非樣本數(shù)據(jù)時(shí)， 網(wǎng)絡(luò)也能完 成由輸入空間向輸出空間的正確映射。這種能力稱為多層感知器的泛化能力，它 是衡量多層感知器性能優(yōu)劣的一個(gè)重要方面。（2）網(wǎng)絡(luò)的性能好壞主要看其是否具有很好的泛化能力，而對泛化能力的測試 不能用訓(xùn)練集的數(shù)據(jù)進(jìn)行，要用訓(xùn)練集以外的測試數(shù)據(jù)來進(jìn)行檢驗(yàn)。在隱節(jié)點(diǎn)數(shù) 一定的情況下，為獲得更好的泛化能力，存在著一個(gè)最佳訓(xùn)練次數(shù)to,訓(xùn)練時(shí)將 訓(xùn)練與測試交替進(jìn)行

2、，每訓(xùn)練一次記錄一訓(xùn)練均方誤差，然后保持網(wǎng)絡(luò)權(quán)值不變， 用測試數(shù)據(jù)正向運(yùn)行網(wǎng)絡(luò)，記錄測試均方誤差，利用兩種誤差數(shù)據(jù)得出兩條均方 誤差隨訓(xùn)練次數(shù)變化的曲線，測試、訓(xùn)練數(shù)據(jù)均方誤差曲線如下圖1所示。訓(xùn)練 次數(shù)to稱為最佳訓(xùn)練次數(shù)，當(dāng)超過這個(gè)訓(xùn)練次數(shù)后，訓(xùn)練誤差次數(shù)減小而測試誤差則開始上升，在此之前停止訓(xùn)練稱為訓(xùn)練不足，在此之后稱為訓(xùn)練過度。測試、訓(xùn)練數(shù)據(jù)均方誤差曲線SOM網(wǎng)絡(luò)有什么區(qū)別和聯(lián)系？ （10分）圖1.2、什么是LVQ網(wǎng)絡(luò)？它與解：（1）學(xué)習(xí)向量量化（learning vector quantization ，LVQ網(wǎng)絡(luò)是在競爭網(wǎng)絡(luò) 結(jié)構(gòu)的基礎(chǔ)上提出的，LVQ將競爭學(xué)習(xí)思想和監(jiān)督學(xué)習(xí)算法相

3、結(jié)合，減少計(jì)算量 和儲存量，其特點(diǎn)是網(wǎng)絡(luò)的輸出層采用監(jiān)督學(xué)習(xí)算法而隱層采用競爭學(xué)習(xí)策略，結(jié)構(gòu)是由輸入層、競爭層、輸出層組成。（2）在LVQ網(wǎng)絡(luò)學(xué)習(xí)過程中通過教師信號對輸入樣本的分配類別進(jìn)行規(guī)定，從而克服了自組織網(wǎng)絡(luò)采用無監(jiān)督學(xué)習(xí)算法帶來的缺乏分類信息的弱點(diǎn)。自組織映量量射可以起到聚類的作用，但還不能直接分類和識別，因此這只是自適應(yīng)解決模式 分類問題中的第一步，第二步是學(xué)習(xí)向量量化，采用有監(jiān)督方法，在訓(xùn)練中加入 教師信號作為分類信息對權(quán)值進(jìn)行細(xì)調(diào)，并對輸出神經(jīng)元預(yù)先指定其類別。3、設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)對圖一中的三類線性不可分模式進(jìn)行分類，期望輸出向量分別用（1, -1, -1）T、（-1,1, -1

4、） T 、（-1, -1,1） T代表三類，輸入用樣本坐標(biāo)。要求：（1）選擇合適的隱節(jié)點(diǎn)數(shù)；（2） 用BP算法訓(xùn)練網(wǎng)絡(luò)，對圖中的9個(gè)樣本進(jìn)行正確分類。（15分）11莖1 J上10b?*114VJi.V41分析：T表示，至于隱層節(jié)點(diǎn)的個(gè)數(shù)并沒(m為隱層節(jié)點(diǎn)數(shù)；n為輸入層節(jié)點(diǎn) ，首先確定隱層節(jié)點(diǎn)數(shù)為 5，逐漸 增加隱層節(jié)點(diǎn)數(shù)量，然后觀察其對訓(xùn)練誤差的影響，最終選出最合適的隱層節(jié)點(diǎn) 數(shù)量。對于一個(gè)BP神經(jīng)網(wǎng)絡(luò)，首先要明確輸入，輸出， 隱層節(jié)點(diǎn)個(gè)數(shù)。對于本 題，輸入是點(diǎn)坐標(biāo)組成的2*9的矩陣，輸入節(jié)點(diǎn)個(gè)數(shù)為2,期望輸出向量分別用 (1, -1, -1) T、 (-1,1, -1) T、 (-1, -1

5、,1)有確切的方法，根據(jù)經(jīng)驗(yàn)公式m寸數(shù)；l為輸出節(jié)點(diǎn)數(shù)；a為110之間的常數(shù))表1. BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練、分類結(jié)果隱層節(jié)點(diǎn)數(shù)誤差精度訓(xùn)練次數(shù)分類結(jié)果正確率50.366491100%70.331981100%90.325338100%100.320770100%120.314052100%140.311622100%用matlab編程，設(shè)定訓(xùn)練誤差精度為0.3，學(xué)習(xí)率0.2，然后進(jìn)行訓(xùn)練,記錄不同隱層節(jié)點(diǎn)數(shù)的情況下達(dá)到相同的訓(xùn)練精度所需要的訓(xùn)練次數(shù)， 當(dāng)隱層節(jié) 點(diǎn)數(shù)為M=5時(shí)，在訓(xùn)練次數(shù)為66491時(shí)，結(jié)果達(dá)到訓(xùn)練精度；當(dāng)隱層節(jié)點(diǎn)數(shù)M=7 時(shí)，在訓(xùn)練次數(shù)到達(dá)31981時(shí)，結(jié)果達(dá)到訓(xùn)練精度；當(dāng)隱層節(jié)

6、點(diǎn)數(shù) M=9時(shí)時(shí)，在 訓(xùn)練次數(shù)達(dá)到25338時(shí)，結(jié)果達(dá)到訓(xùn)練精度；當(dāng)隱層節(jié)點(diǎn)數(shù)M=10時(shí)，在訓(xùn)練次14。數(shù)達(dá)到20770時(shí)，結(jié)果達(dá)到訓(xùn)練精度；當(dāng)隱層節(jié)點(diǎn)數(shù) M=12時(shí)，在訓(xùn)練次數(shù)達(dá)到 14052時(shí)，結(jié)果達(dá)到訓(xùn)練精度；當(dāng)隱層節(jié)點(diǎn)數(shù) M=14時(shí)，在訓(xùn)練次數(shù)達(dá)到11622 時(shí)，結(jié)果達(dá)到訓(xùn)練精度，由此可見，在一定范圍內(nèi)，隱層節(jié)點(diǎn)數(shù)越多，達(dá)到訓(xùn)練 精度時(shí)所用的訓(xùn)練次數(shù)越少，所用訓(xùn)練時(shí)間則越少。因此選擇隱層節(jié)點(diǎn)數(shù)為學(xué)習(xí)率 0.3 ，誤差精度在 0.1 以下，輸出結(jié)果和導(dǎo)師信號對比，輸出結(jié)果都 為正確，正確率達(dá)到 100%。具體程序見附件一或者 BPclassify.m 。4、試設(shè)計(jì)一個(gè)吸引子為 Xa=(0

7、110) T ， Xb=(1001)T 的離散 Hopfield 人工神經(jīng) 網(wǎng)絡(luò)。其權(quán)值和閾值在 -1 ， 1 區(qū)間取值，試求權(quán)值和閾值。( 10 分) 解：吸引子的分布是由網(wǎng)絡(luò)的權(quán)值 (包括閾值) 決定的， 設(shè)計(jì)吸引子的核心就是 如何設(shè)計(jì)一組合適的權(quán)值。 為了使所設(shè)計(jì)的權(quán)值滿足要求， 權(quán)值矩陣應(yīng)符合以下要求： 有-1 Tiv0.7,取 Ti= 0.6 ;則由式（4）有-1 T4V0.7,取 T4= 0.6 ;取 W2=0.4 , 由式（5）,有-1 W3V 0.2，取 W3 = 0.1 ;取 W =0.2 由式（2）, 有 0.6VT2 1,取 T2 = 0.8 ;由式（6）,有 0.8 w

8、 23 1,取 w = 0.9 ;由式 有-1 T3 0.9，取 T3 = 0.4 ;由式（3, 8）,有-1 w 0(1)net2=wi2X I+W3X 0+W4X 1-T2=W2+W4-T2vO(2)net3=w13X 1+w23X 0+w34X 1-T3=w13+w34-T3O(4)對于 X b = (0110) T 狀態(tài)，各節(jié)點(diǎn)凈輸入應(yīng)滿足：net1=W12X 1+W13X 1+W14X 0-T1=W12+W13-T10(6)net3=W13X 0+W23X 1+W34X 0-T3=W23-T30(7)net4=W14X 0+W24X 1+W34 X 1- T4=W24+W34- T4

9、0(8)聯(lián)立以上 8 項(xiàng)不等式， 可求出未知量的允許取值范圍。 如取 W14 =0.7 ，則由式(1)可以驗(yàn)證，利用這組參數(shù)構(gòu)成的DHNN網(wǎng)對于任何初態(tài)最終都將演變到兩吸引子Xa=( 1001)T和 X=(0110)T。整理權(quán)值與閾值為:00.40.10.70.60.400.90.20.8T0.10.900.30.40.70.20.300.6W5、下面給出的訓(xùn)練集由玩具兔和玩具熊組成。輸入樣本向量的第一個(gè)分量代表 玩具的重量，第二個(gè)分量代表玩具耳朵的長度，教師信號為-1表示玩具兔,教師信號為1表示玩具熊。fpfd = -1 4 aLJ JI4 J1 ” =32_-UI-41衛(wèi)=-1心=4用ma

10、tlab訓(xùn)練一個(gè)感知器，求解此分類問題。(需附上matlab程序)用輸入樣本對所訓(xùn)練的感知器進(jìn)行驗(yàn)證。(15分)(1)(2)分析：對于本題，輸入是樣本組成的2*8的矩陣，輸入節(jié)點(diǎn)個(gè)數(shù)為2,輸出由導(dǎo)師 信號可知分為兩類。兩個(gè)輸入分量在幾何上構(gòu)成一個(gè)二維平面， 輸入樣本可以用 該平面上的一個(gè)點(diǎn)表示，玩具重量和長度在坐標(biāo)中標(biāo)出，可以看出明顯分布在兩 個(gè)區(qū)域，可以用一條線分開分為兩類，在線上方的輸出結(jié)果應(yīng)大于 0,在線下方 的輸出結(jié)果應(yīng)小于0。權(quán)向量為2*9的矩陣，輸入的第一個(gè)權(quán)向量權(quán)值賦予較小的非零隨機(jī)數(shù)， 每 一個(gè)新的權(quán)向量都由上一個(gè)權(quán)向量調(diào)整， 下一次循環(huán)第1個(gè)權(quán)向量由第9個(gè)權(quán)向 量來調(diào)整。對于

11、這樣的樣本線性可分，經(jīng)過幾次調(diào)整后就穩(wěn)定到一個(gè)權(quán)向量， 將 樣本正確分類的權(quán)向量不是唯一的。具體程序見附件二或者 ganzhiqi.m。輸出 分類結(jié)果如下圖所示。表2.單層感知器訓(xùn)練、分類結(jié)果訓(xùn)練次數(shù)分類結(jié)果正確率4100%3100%5100%叩rl門4D4003呂2OO2ou11QO1o00D-11-110121421ft1z1*5圖2.感知器在二維平面的分類結(jié)果附件一： 第三題程序 clear all ;%B算法初始化D=1,-1,-1;1,-1,-1；1,-1,-1； -1,1,-1； -1,1,-1；-1,1,-1； -1,-1,1； -1,-1,1； -1,-1,1；X=0.75,0

12、.75;0.75,0.125;0.25,0.25;0.25,0.75;0.5,0.125;0.75,0.25;0.25,0.5;0.5,0.5;0.75,0.5;N, n=size(X);L,P d=size(D);%M=ceil(sqrt(N*L)+7;ceil函數(shù)為正無窮方向取整m=14;%急層節(jié)點(diǎn)數(shù)%初始化權(quán)矩陣% 俞入層到隱層權(quán)矩陣V=ra nd(N,m);%隱層到輸出層權(quán)矩陣W=ran d(m,L);%開始訓(xùn)練，轉(zhuǎn)移函數(shù)選擇雙極性Sigmoid函數(shù)Q=100000;%訓(xùn)練次數(shù)計(jì)數(shù)器E=zeros(Q,1); %誤差Emin=0.3; %訓(xùn)練要求精度 learnr=0.2;%學(xué)習(xí)率q=

13、1;%訓(xùn)練次數(shù)計(jì)數(shù)，批訓(xùn)練 %權(quán)值調(diào)整 while qQn etj=V.*X;Y=(1-ex p(- netj)./(1+ex p(-n etj);netk=W.*Y;O=(1-ex p(- netk)./(1+ex p(- netk);燉算總誤差E(q)=sqrt(sum(sum(D-O).A2)/2);if E(q)Emin break ;endDelta_o=(D-O).*(1-OA2)./2;W=W+learnr*(Delta_o*Y.).;%隱層和輸出層間的權(quán)矩陣調(diào)整Delta_y=(W*Delta_o).*(1-YA2)./2;V=V+learnr*(Delta_y*X.).;%輸

14、入層和隱層間的權(quán)矩陣調(diào)整q=q+1;end %輸出結(jié)果 qO=sign(O)%符號函數(shù)取整A=find(O=D);%和計(jì)算輸出和導(dǎo)師信號不同的個(gè)數(shù)length(A)%分類結(jié)果錯(cuò)誤的個(gè)數(shù)附件二： 第五題程序 clc;clear %單層感知器初始化X=1,4;1,5;2,4;2,5;3,1;3,2;4,1;4,2;%輸入信號d=-1;-1;-1;-1;1;1;1;1;%輸入導(dǎo)師信號w=zeros(2,9);%第一組權(quán)值賦予較小的非零隨機(jī)數(shù)%輸出結(jié)果%凈輸入 net%學(xué)習(xí)率為 0.1w(:,1)=rand(2,1); o=zeros(8,1); net=zeros(8,1); learnr=0.01;n=0;%循環(huán)次數(shù)%調(diào)整權(quán)值 while n100%訓(xùn)練次數(shù)最大設(shè)為 100次for i=1:8 net(i)=X(i,:)*w(:,i);%計(jì)算凈輸入 neto(i)=sign(net(i);%計(jì)算輸出，轉(zhuǎn)移函數(shù)為符號函數(shù)w(:,i+1)=w(:,i)+learnr*(d(i)-o(i)*X(i,:);%調(diào)整權(quán)值w(:,1)=w(:,9);%最后一組權(quán)值賦值給第一組權(quán)end n=n+1 i