神經(jīng)網(wǎng)絡的MATLAB實現(xiàn)蘇析超ppt課件

1、主要內容主要內容BP神經(jīng)網(wǎng)絡編程神經(jīng)網(wǎng)絡編程BP神經(jīng)網(wǎng)絡工具箱神經(jīng)網(wǎng)絡工具箱RBP網(wǎng)絡工具箱網(wǎng)絡工具箱GRNN網(wǎng)絡工具箱網(wǎng)絡工具箱 BP神經(jīng)網(wǎng)絡通常是指基于誤差反向傳播算法(BP算法)的多層前向神經(jīng)網(wǎng)絡。 該網(wǎng)絡的主要特點是信號向前傳送，誤差反向傳播。向前傳送中，輸入信號從輸入層經(jīng)隱含層逐層處置，直至輸出層。每一層的神經(jīng)元形狀只影響到下一層神經(jīng)元形狀。假設輸出層得不到期望輸出，那么轉入反向傳播，根據(jù)預測誤差調整網(wǎng)絡權值和閾值，從而使BP神經(jīng)網(wǎng)絡預測輸出不斷逼近期望輸出。 1.BP1.BP神經(jīng)網(wǎng)絡原理神經(jīng)網(wǎng)絡原理神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡的MATLABMATLAB實現(xiàn)實現(xiàn)神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡的MATLAB

2、MATLAB實現(xiàn)實現(xiàn)神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡的MATLABMATLAB實現(xiàn)實現(xiàn)神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡的MATLABMATLAB實現(xiàn)實現(xiàn)% 清空環(huán)境變量clcclear% 訓練數(shù)據(jù)預測數(shù)據(jù)提取及歸一化%下載四類語音信號load data1 c1load data2 c2load data3 c3load data4 c4%從1到2000間隨機排序k=rand(1,2000);m,n=sort(k);%輸入輸出數(shù)據(jù)input=data(:,2:25);output1 =data(:,1);%四個特征信號矩陣合成一個矩陣data(1:500,:)=c1(1:500,:);data(501:1000,:)=c2

3、(1:500,:);data(1001:1500,:)=c3(1:500,:);data(1501:2000,:)=c4(1:500,:);神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡的MATLABMATLAB實現(xiàn)實現(xiàn)%隨機提取1500個樣本為訓練樣本，500個樣本為預測樣本input_train=input(n(1:1500),:);output_train=output(n(1:1500),:);input_test=input(n(1501:2000),:);output_test=output(n(1501:2000),:);%輸入數(shù)據(jù)歸一化inputn,inputps=mapminmax(input_trai

4、n);神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡的MATLABMATLAB實現(xiàn)實現(xiàn)% 網(wǎng)絡構造初始化innum=24;midnum=25;outnum=4; %權值初始化w1=rands(midnum,innum);b1=rands(midnum,1);w2=rands(midnum,outnum);b2=rands(outnum,1);w2_1=w2;w2_2=w2_1;w1_1=w1;w1_2=w1_1;b1_1=b1;b1_2=b1_1;b2_1=b2;b2_2=b2_1;%學習率xite=0.1;%alfa=0.01;神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡的MATLABMATLAB實現(xiàn)實現(xiàn)% 網(wǎng)絡訓練for ii=1:10 E(

5、ii)=0; for i=1:1:1500 % 網(wǎng)絡預測輸出 x=inputn(:,i); % 隱含層輸出 for j=1:1:midnum I(j)=inputn(:,i)*w1(j,:)+b1(j); Iout(j)=1/(1+exp(-I(j); end % 輸出層輸出 yn=w2*Iout+b2; 神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡的MATLABMATLAB實現(xiàn)實現(xiàn) % % 權值閥值修正權值閥值修正 % %計算誤差計算誤差 e=output_train(:,i)-yn; e=output_train(:,i)-yn; E(ii)=E(ii)+sum(abs(e); E(ii)=E(ii)+sum(ab

6、s(e); % %計算權值變化率計算權值變化率 dw2=e dw2=e* *Iout;Iout; db2=e; db2=e;神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡的MATLABMATLAB實現(xiàn)實現(xiàn)for j=1:1:midnum S=1/(1+exp(-I(j); FI(j)=S*(1-S); end for k=1:1:innum for j=1:1:midnum dw1(k,j)=FI(j)*x(k)*(e(1)*w2(j,1)+e(2)*w2(j,2)+e(3)*w2(j,3)+e(4)*w2(j,4); db1(j)=FI(j)*(e(1)*w2(j,1)+e(2)*w2(j,2)+e(3)*w2(j,3

7、)+e(4)*w2(j,4); end end神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡的MATLABMATLAB實現(xiàn)實現(xiàn) w1=w1_1+xite*dw1; b1=b1_1+xite*db1; w2=w2_1+xite*dw2; b2=b2_1+xite*db2; w1_2=w1_1;w1_1=w1; w2_2=w2_1;w2_1=w2; b1_2=b1_1;b1_1=b1; b2_2=b2_1;b2_1=b2; endend神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡的MATLABMATLAB實現(xiàn)實現(xiàn)% 語音特征信號分類inputn_test=mapminmax(apply,input_test,inputps);for ii=1:1 f

8、or i=1:500%1500 %隱含層輸出 for j=1:1:midnum I(j)=inputn_test(:,i)*w1(j,:)+b1(j); Iout(j)=1/(1+exp(-I(j); end fore(:,i)=w2*Iout+b2; endend神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡的MATLABMATLAB實現(xiàn)實現(xiàn)% 結果分析 %根據(jù)網(wǎng)絡輸出找出數(shù)據(jù)屬于哪類for i=1:500 output_fore(i)=find(fore(:,i)=max(fore(:,i);end%BP網(wǎng)絡預測誤差error=output_fore-output1(n(1501:2000);%畫出預測語音種類和實踐

9、語音種類的分類圖figure(1)plot(output_fore,r)hold onplot(output1(n(1501:2000),b)legend(預測語音類別,實踐語音類別)神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡的MATLABMATLAB實現(xiàn)實現(xiàn)%畫出誤差圖figure(2)plot(error)title(BP網(wǎng)絡分類誤差,fontsize,12)xlabel(語音信號,fontsize,12)ylabel(分類誤差,fontsize,12)神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡的MATLABMATLAB實現(xiàn)實現(xiàn)k=zeros(1,4); %找出判別錯誤的分類屬于哪一類for i=1:500 if error(i)=0

10、b,c=max(output_test(:,i); switch c case 1 k(1)=k(1)+1; case 2 k(2)=k(2)+1; case 3 k(3)=k(3)+1; case 4 k(4)=k(4)+1; end endend神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡的MATLABMATLAB實現(xiàn)實現(xiàn)%找出每類的個體和kk=zeros(1,4);for i=1:500 b,c=max(output_test(:,i); switch c case 1 kk(1)=kk(1)+1; case 2 kk(2)=kk(2)+1; case 3 kk(3)=kk(3)+1; case 4 kk(4)=

11、kk(4)+1; endend%正確率rightridio=(kk-k)./kknewff函數(shù)newff用來生成一個BP網(wǎng)絡net=newff(PR,S1 S2.SN,TF1 TF2. TFN,BTF,BLF,PF)PR: 一個R2矩陣, 由R維輸入向量的每維最小值和最大值組成Si: 第i層的神經(jīng)元個數(shù)TFi: 第i層的傳送函數(shù), 默以為tansigBTF: 訓練函數(shù), 默以為trainlmBLF: 學習函數(shù), 默以為learngdmPF: 性能函數(shù), 默以為msenet=newff(0,10;-1,2,5,1,tansig,purelin,trainlm); %生成一個兩層BP網(wǎng)絡,隱層和輸

12、出層神經(jīng)的個數(shù)為5和1, 傳送函數(shù)分別為tansig和purelin, 訓練函數(shù)為trainlm, 其他默許BPBP神經(jīng)網(wǎng)絡工具箱神經(jīng)網(wǎng)絡工具箱學習算法適用問題類型收斂性能占用存儲空間其他特點trainlm函數(shù)擬合收斂快,誤差小大性能隨網(wǎng)絡規(guī)模增大而變差trainrp方式分類收斂最快較小性能隨網(wǎng)絡訓練誤差減小而變差trainscg函數(shù)擬合方式分類收斂較快性能穩(wěn)定中等尤其適用于網(wǎng)絡規(guī)模較大的情況trainbfg函數(shù)擬合收斂較快較大計算量歲網(wǎng)絡規(guī)模的增大呈幾何增長traingdx方式分類收斂較慢較小適用于提早停頓的方法 MATLAB神經(jīng)網(wǎng)絡工具箱對常規(guī)BP算法進展改良,提供了一系列快速算法,以滿足

13、不同問題的需求BPBP神經(jīng)網(wǎng)絡工具箱神經(jīng)網(wǎng)絡工具箱 利用知的輸入目的樣本向量數(shù)據(jù)對網(wǎng)絡進展訓練,采用train 函數(shù)來完成. 訓練之前, 對訓練參數(shù)進展設置 訓練參數(shù) 參數(shù)含義 默許值net.trainParam.epochs訓練步數(shù)100net.trainParam.show顯示訓練結果的間隔步數(shù)25net.trainParam.goal訓練目的誤差0net.trainParam.time訓練允許時間INfnet.trainParam.lr學習率0.01net = train(net, P, T)BPBP神經(jīng)網(wǎng)絡工具箱神經(jīng)網(wǎng)絡工具箱網(wǎng)絡層數(shù) 曾經(jīng)證明,單隱層的BP網(wǎng)絡可以實現(xiàn)恣意非線性映射.

14、 BP網(wǎng)絡的隱層數(shù)普通不超越兩層.輸入層的節(jié)點數(shù) 輸入層接納外部的輸入數(shù)據(jù), 節(jié)點數(shù)取決于輸入向量的維數(shù)輸出層的節(jié)點數(shù) 輸出層的節(jié)點數(shù)取決于輸出數(shù)據(jù)類型和該類型所需的數(shù)據(jù)大小.對于方式分類問題,節(jié)點數(shù)為2log mBPBP神經(jīng)網(wǎng)絡工具箱神經(jīng)網(wǎng)絡工具箱隱層的節(jié)點數(shù) 隱層的節(jié)點數(shù)與求解問題的要求,輸入輸出單元數(shù)多少有關. 對于方式識別/分類的節(jié)點數(shù)可按以下公式設計傳送函數(shù) 隱層傳送函數(shù)采用S型函數(shù), 輸出層采用S型函數(shù)或線性函數(shù)訓練方法及其參數(shù)選擇 針對不同運用, BP網(wǎng)絡提供了多種訓練學習方法.0innnan其中為隱層節(jié)點數(shù),in為輸入節(jié)點數(shù),a為110之間的整數(shù)BPBP神經(jīng)網(wǎng)絡工具箱神經(jīng)網(wǎng)絡工具箱采用動量梯度下降算法訓練BP網(wǎng)絡. 訓練樣本%定義訓練樣本p=-1 -1 3 1;-1 1 5 -3; t=-1 -1 1 1;%創(chuàng)建一個新的BP網(wǎng)絡net=newff(minmax(p),3 1,tansig,purelin,traingdm);%設置訓