神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)報(bào)告吐血推薦

1、word電氣工程學(xué)院神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)報(bào)告院系：電氣工程學(xué)院專(zhuān)業(yè)：電氣工程及其自動(dòng)化班級(jí)：電sdfasdf姓名：adsdf學(xué)號(hào)：20df實(shí)驗(yàn)二 基于BP網(wǎng)絡(luò)的多層感知器一 實(shí)驗(yàn)?zāi)康模?.理解基于BP網(wǎng)絡(luò)的多層感知器的工作原理2.通過(guò)調(diào)節(jié)算法參數(shù)的了解參數(shù)的變化對(duì)BP多層感知器訓(xùn)練的影響3了解BP多層感知器的局限性二 實(shí)驗(yàn)內(nèi)容：1根據(jù)實(shí)驗(yàn)內(nèi)容推導(dǎo)出輸出的計(jì)算公式以及誤差的計(jì)算公式2使用Matlab編程實(shí)現(xiàn)BP多層感知器3調(diào)節(jié)學(xué)習(xí)率及隱結(jié)點(diǎn)的個(gè)數(shù)，觀察對(duì)于不同的學(xué)習(xí)率、不同的隱結(jié)點(diǎn)個(gè)數(shù)時(shí)算法的收斂速度4改用批處理的方法實(shí)驗(yàn)權(quán)值的收斂，并參加動(dòng)量項(xiàng)來(lái)觀察批處理以及改良的的算法對(duì)結(jié)果和收斂速度的影響。三實(shí)驗(yàn)

2、原理以及過(guò)程的推導(dǎo)1. 根本BP 算法的多層感知器模型下面所示是一個(gè)單輸入單輸出的BP多層感知器的模型，它含有一個(gè)隱層。 輸出O輸出層 W=(w1,w2,.wj) . Y=(y1,y2,.yj ) 隱層 y0 V=(v1,v2,.vj) 輸入層 X0 X 下面對(duì)誤差和權(quán)值的調(diào)整過(guò)程進(jìn)行推導(dǎo)對(duì)于單樣本的輸入Xi那么隱層的輸出：yi=f1(netj);netj=(xi*vi)輸出層的輸出：O=f2(net);net=(wi*yi)變換函數(shù)：f1=f2=x;當(dāng)網(wǎng)絡(luò)輸出與期望輸出不等時(shí)，存在輸出誤差EE=(d-o)2;計(jì)算各層的誤差：把誤差分配到各層以調(diào)整各層的權(quán)值，所以，各層權(quán)值的調(diào)整量等于誤差E對(duì)

3、各權(quán)值的負(fù)偏導(dǎo)與學(xué)習(xí)率的乘積，計(jì)算得到對(duì)權(quán)值W和權(quán)值V的調(diào)整量如下：將上面的式子展開(kāi)到隱層得：E=(d-o)2=d- f2(net)= d-f2( )將上式展開(kāi)到輸入層得：E=(d-o)2=d- f2(net)= d-f2( f1()調(diào)整權(quán)值的原那么是使誤差不斷地減小，因此應(yīng)使權(quán)值的調(diào)整量與誤差的梯度下降成正比，即wj=-vj=-計(jì)算得到對(duì)各權(quán)值的調(diào)整為：wj=*(d(1,p)-o(1,p)*y(1,i)vj= *(d(1,p)-o(1,p)*w(1,i)*y(1,i)*(1-y(1,i)*x(1,p)其中P為第P個(gè)樣本：四 實(shí)驗(yàn)步驟Step 1 初始化對(duì)權(quán)值矩陣W、V 賦隨機(jī)數(shù)，將樣本模式計(jì)

4、數(shù)器p 和訓(xùn)練次數(shù)計(jì)數(shù)器q 置于1，誤差E置0，學(xué)習(xí)率設(shè)為01 內(nèi)的小數(shù)，網(wǎng)絡(luò)訓(xùn)練后的精度Emin 設(shè)為一個(gè)正的小數(shù)；Step 2 輸入訓(xùn)練樣本對(duì)，計(jì)算各層輸出用當(dāng)前樣本Xp、dp 對(duì)向量數(shù)組X、d 賦值，用下式計(jì)算Y 和O 中各分量yi=f1(netj);netj=(xi*vi)O=f2(netj);net=(wi*yi)Step 3 計(jì)算網(wǎng)絡(luò)輸出誤差設(shè)共有P 對(duì)訓(xùn)練樣本，網(wǎng)絡(luò)對(duì)于不同的樣本具有不同的誤差2 åStep 4 計(jì)算各層誤差信號(hào)：各層的誤差信號(hào)為誤差E對(duì)各層權(quán)值的偏導(dǎo)Step 5 調(diào)整各層權(quán)值w=*(d(1,p)-o(1,p)*y(1,i)v= *(d(1,p)-o(1

5、,p)*w(1,i)*y(1,i)*(1-y(1,i)*x(1,p)Step 6 檢查是否對(duì)所有樣本完成一次輪訓(xùn)假設(shè)p<P，計(jì)算器p=p+1，q=q+1，返回Step 2, 否那么轉(zhuǎn)到Step 7Step 7 檢查網(wǎng)絡(luò)總誤差是否到達(dá)精度要求當(dāng)用ERME 作為網(wǎng)絡(luò)的總誤差時(shí)，假設(shè)滿足ERME<Emin，訓(xùn)練結(jié)束，否那么E 置0，p 置1，返回Step 2。單樣本訓(xùn)練：每輸入一個(gè)樣本，都要回傳誤差并調(diào)整權(quán)值，會(huì)導(dǎo)致收斂速度過(guò)慢批處理Batch訓(xùn)練：根據(jù)總誤差，計(jì)算各層的誤差信號(hào)并調(diào)整權(quán)值，在樣本數(shù)較多時(shí)，批訓(xùn)練比單樣本訓(xùn)練時(shí)的收斂速度快五 實(shí)驗(yàn)結(jié)果對(duì)于單本輸入的網(wǎng)絡(luò)程序如下：funct

6、ion limoyan;%建立以limoyan為文件名的m文件clc;clear;x=-4:0.08:4;%產(chǎn)生樣本j=input('j=');%輸入隱結(jié)點(diǎn)的個(gè)數(shù)n=input('n=');%輸入學(xué)習(xí)率w=rand(1,j);%對(duì)權(quán)值w賦較小的初值w0=0.5;%對(duì)權(quán)值w0賦較小的初值v=rand(1,j);%對(duì)權(quán)值V賦較小的初值v1=rand(1,j);%對(duì)權(quán)值V1賦較小的初值x0=-1;%對(duì)閾值x0賦初值y0=-1;%對(duì)閾值y0賦初值err=zeros(1,101);wucha=0;erro=;Erme=0;zong=;Emin=0.1;d=zeros(1,

7、101);%以初值0賦給期望輸出for m=1:101 d(1,m)=1.1*(1.0-x(1,m)+2*x(1,m)*x(1,m)*exp(-x(1,m)*x(1,m)/2);%以Hermit多項(xiàng)式產(chǎn)生期望輸出end;o=zeros(1,101);netj=zeros(1,j);net=zeros(1,j);y=zeros(1,j);p=1;q=1;while q<30000 %設(shè)定最大的迭代交數(shù) for p=1:101 %計(jì)算隱層的輸出 for i=1:j netj(1,i)=v(1,i)*x(1,p)+v1(1,i)*x0; y(1,i)=1/(1+exp(-netj(1,i);

8、end; o(1,p)=w*y'+y0*w0+0.01*randn(1,1);%計(jì)算輸出并給輸出加上上定的擾動(dòng) wucha=1/2*(d(1,p)-o(1,p)*(d(1,p)-o(1,p);%計(jì)算誤差 err(1,p)=wucha; erro=erro,wucha; for m=1:j;%調(diào)整各層的權(quán)值 w0=w0-n*w0; w(1,m)=w(1,m)+n*(d(1,p)-o(1,p)*y(1,m); v(1,m)=v(1,m)+n*(d(1,p)-o(1,p)*w(1,m)*y(1,m)*(1-y(1,m)*x(1,p); v1(1,m)=v1(1,m)+n*(d(1,p)-o(

9、1,p)*w(1,m)*y(1,m)*(1-y(1,m)*x0; end; q=q+1; end; Erme=0; for t=1:101; Erme=Erme+err(1,t); end; err=zeros(1,101); Erme=sqrt(Erme/101); zong=zong,Erme; if Erme<Emin break;%誤差到達(dá)允許值時(shí)停止迭代 end;end;%輸入結(jié)果Ermeplot(x,d,'-r');hold on;plot(x,o,'-.b');xlabel('Hermit多項(xiàng)式曲線與所構(gòu)建BP網(wǎng)絡(luò)輸出曲線')

10、qfigure(2);plot(zong);xlabel('誤差的收斂曲線')命令窗口的輸出如下：j=5n=0.05Erme = 0.0996q = 19999Hermit多項(xiàng)式曲線與所構(gòu)建BP網(wǎng)絡(luò)輸出曲線:誤差的收斂曲線如下:單樣本訓(xùn)練的統(tǒng)計(jì)如下:學(xué)習(xí)率結(jié)點(diǎn)數(shù)0.050.070.10.120.150.1750.093600.086590.097840.093640.087250.0932480.099210.089210.094580.091250.084570.09478100.89250.087940.085270.091450.084120.09147120.09784

11、0.092580.087960.091580.078360.08397對(duì)于批處理的情況:在原程序的根底上改變中間的一段；命令窗口的輸出如下：j=10n=0.1Erme = 0.0997q = 15757Hermit多項(xiàng)式曲線與所構(gòu)建BP網(wǎng)絡(luò)輸出曲線:誤差的收斂曲線如下:單樣本訓(xùn)練的統(tǒng)計(jì)如下:學(xué)習(xí)率結(jié)點(diǎn)數(shù)0.050.070.10.120.150.1750.099060.095870.094570.090960.099140.0987470.092580.091050.092670.091580.094570.09547100.089420.093240.091280.084570.092170.

12、09527120.085960.089250.087590.091540.082470.09457對(duì)于參加動(dòng)量項(xiàng)的網(wǎng)絡(luò)如下: 命令窗口的輸出如下：j=15n=0.1Erme = 0.1000q = 6768Hermit多項(xiàng)式曲線與所構(gòu)建BP網(wǎng)絡(luò)輸出曲線:誤差的收斂曲線如下:單樣本訓(xùn)練的統(tǒng)計(jì)如下:學(xué)習(xí)率結(jié)點(diǎn)數(shù)0.050.070.10.120.150.1750.096570.095780.096540.0983540.098240.0904780.096580.093680.093420.096480.094270.09153100.092570.094570.092310.094260.0954

13、70.08972120.092580.92150.091270.092380.093410.08931六.問(wèn)題答復(fù)1. 比擬單樣本訓(xùn)練和批處理訓(xùn)練的區(qū)別；答:單樣本輸入是每輸入一個(gè)樣本就調(diào)整一次權(quán)值,并計(jì)算誤差的大小,而對(duì)于批處理來(lái)說(shuō),是等所有的樣本都輸入以后再調(diào)整權(quán)值.當(dāng)樣本較多的時(shí)候批處理能獲得較快的收斂速度.2. 根據(jù)結(jié)果分析增加動(dòng)量項(xiàng)后算法的變化答:參加動(dòng)量項(xiàng)后,就等于讓權(quán)值的收斂方向向著一定的方向進(jìn)行,由輸出的數(shù)據(jù)可以看出這一點(diǎn),對(duì)于相同的結(jié)點(diǎn)數(shù),相同的學(xué)習(xí)率,參加動(dòng)量項(xiàng)后,收速度即迭代次數(shù)明顯的降低.2 改變不同參數(shù)的BP網(wǎng)絡(luò)運(yùn)行情況及結(jié)果，并給予相應(yīng)的結(jié)果分析答:改變不同參數(shù),對(duì)網(wǎng)絡(luò)運(yùn)行情況的影響,可以概括為:隨著結(jié)點(diǎn)數(shù)的增多,收斂的概率和速度都會(huì)相應(yīng)的有把增加.相應(yīng)的誤差會(huì)要小一點(diǎn).但誤差的大小除了取決于結(jié)點(diǎn)外,還主要決定于到達(dá)允許誤差時(shí)的值,所以總誤差的值有一定的隨機(jī)性.對(duì)于改變網(wǎng)絡(luò)的學(xué)習(xí)率,對(duì)來(lái)說(shuō)小的學(xué)習(xí)率會(huì)使收斂更穩(wěn)定一點(diǎn),但是速度也會(huì)相對(duì)地慢一點(diǎn),大的學(xué)習(xí)率在一定程度上能加快收斂的速度,但是穩(wěn)定性要比小的學(xué)習(xí)率小的多,換句話說(shuō),大的學(xué)習(xí)率收斂的概率要小得多,很容易發(fā)散,所以說(shuō),隨著學(xué)習(xí)的增大,迭代的次數(shù)會(huì)先減小后增大。大到一定程度進(jìn)，由于波動(dòng)太大。結(jié)果就不在收斂；3 思考