MATLAB神經(jīng)網(wǎng)絡(luò)工具箱

1、神經(jīng)元模型Neuron Model： 多輸入，單輸出，帶偏置輸入:R維列向量1,TRppp權(quán)值:R維行向量111,Rwwwb閾值:標(biāo)量求和單元11Riiinp wb傳遞函數(shù)f輸出()afbwp常用傳遞函數(shù)(激發(fā)函數(shù))aWp-b1-1u閾值函數(shù)1(0)( )hardlim( )0(0)naf nnnMATLAB函數(shù): hardlim1(0)( )hardlim ( )1(0)naf ns nnMATLAB函數(shù): hardlims雙極形式線性函數(shù)uPurelin Transfer Function ：( )af nnanMATLAB函數(shù): purelinSigmoid函數(shù)uSigmoid Func

2、tion ：u特性： 值域a(0,1) 非線性，單調(diào)性 無限次可微 |n|較小時(shí)可近似線性函數(shù) |n|較大時(shí)可近似閾值函數(shù)1( )1naf neMATLAB函數(shù): logsig(對(duì)數(shù)), tansig(正切)對(duì)數(shù)Sigmoid函數(shù)正切Sigmoid函數(shù)tanh( )nnnneeanee單層神經(jīng)網(wǎng)絡(luò)模型R維輸入, S個(gè)神經(jīng)元的單層神經(jīng)網(wǎng)絡(luò)模型111212121211RRSSSRwwwwwwwwwW12Sbbbb()faWp+b多層神經(jīng)網(wǎng)絡(luò)模型 前饋神經(jīng)網(wǎng)絡(luò)u前饋神經(jīng)網(wǎng)絡(luò)(feed forward NN)：各神經(jīng)元接受前級(jí)輸入，并輸出到下一級(jí)，無反饋，可用一有向無環(huán)圖表示。u前饋網(wǎng)絡(luò)通常分為不同的

3、層(layer)，第i層的輸入只與第i-1層的輸出聯(lián)結(jié)。u可見層：輸入層(input layer)和輸出層(output layer)u隱藏層(hidden layer) ：中間層感知器(perceptron):u 單層前饋網(wǎng)絡(luò)u 傳遞函數(shù)為閾值函數(shù)u主要功能是模式分類感知器的生成函數(shù)newp用來生成一個(gè)感知器神經(jīng)網(wǎng)絡(luò)net = newp( pr, s, tf, lf ) net: 函數(shù)返回參數(shù),表示生成的感知器網(wǎng)絡(luò) pr: 一個(gè)R2矩陣, 由R維輸入向量的每維最小值和最 大值組成 s: 神經(jīng)元的個(gè)數(shù) tf: 感知器的傳遞函數(shù), 默認(rèn)為hardlim, 可選hardlims lf: 感知器的學(xué)

4、習(xí)函數(shù),默認(rèn)為learnp, 可選learnpnnet = newp(-2,+2;-2,+2,2) %生成一個(gè)二維輸入,兩個(gè)神經(jīng)元的感知器newp感知器的權(quán)值和閾值初始化p newp默認(rèn)權(quán)值和閾值為零(零初始化函數(shù)initzero).net = newp(-2,+2;-2,+2,2); W=net.IW1,1 %顯示網(wǎng)絡(luò)的權(quán)值b=net.b1 %顯示網(wǎng)絡(luò)的閾值W =0 00 0b =0 0 p 改變默認(rèn)初始化函數(shù)為隨機(jī)函數(shù)randsnet.inputweights1,1.initFcn = rands;net.biases1.InitFcn = rands;net =init(net); %重

5、新初始化p 直接初始化定義權(quán)值和閾值net.IW1,1=1 2; net.b1=1感知器學(xué)習(xí) 感知器學(xué)習(xí)算法權(quán)值增量: ()TTWta pep閾值增量: btae 權(quán)值更新: newoldWWW閾值更新: newoldbbbu算法改進(jìn)()TTta pepWpp輸入樣本歸一化權(quán)值和閾值訓(xùn)練與學(xué)習(xí)函數(shù)trainnet=train(net, P, T) 設(shè)計(jì)好的感知器并不能馬上投入使用. 通過樣本訓(xùn)練, 確定感知器的權(quán)值和閾值.輸入向量目標(biāo)向量被訓(xùn)練網(wǎng)絡(luò)net.trainParam.epochs=10 ; %預(yù)定的最大訓(xùn)練次數(shù)為10, 感知器經(jīng)過最多訓(xùn)練10次后停止,adaptnet=adapt(n

6、et, P, T)自適應(yīng)訓(xùn)練函數(shù)權(quán)值和閾值學(xué)習(xí)函數(shù)learnpdW=learnp(W,P,Z,N,A,T,E,D,gW,gA,LP,LS)dW:權(quán)值或閾值的增量矩陣W:權(quán)值矩陣或閾值向量P:輸入向量T:目標(biāo)向量E:誤差向量其他可以忽略,設(shè)為 learnpn歸一化學(xué)習(xí)函數(shù)網(wǎng)絡(luò)仿真函數(shù)sima = sim(net, P)輸入向量網(wǎng)絡(luò)輸出分類結(jié)果顯示繪圖函數(shù)plotpvplotpv(P,T)plotpcplotpc(W,b)畫輸入向量的圖像畫分類線 根據(jù)給定的樣本輸入向量P和目標(biāo)向量T, 以及需分類的向量組Q, 創(chuàng)建一個(gè)感知器, 對(duì)其進(jìn)行分類. 例: 創(chuàng)建一個(gè)感知器P=-0.5 -0.6 0.7;0

7、.8 0 0.1; %已知樣本輸入向量T=1 1 0; %已知樣本目標(biāo)向量net=newp(-1 1;-1 1,1); %創(chuàng)建感知器handle=plotpc(net.iw1,net.b1); %返回劃線的句柄net.trainParam.epochs=10; % 設(shè)置訓(xùn)練最大次數(shù)net=train(net,P,T); %訓(xùn)練網(wǎng)絡(luò)Q=0.6 0.9 -0.1;-0.1 -0.5 0.5; %已知待分類向量Y=sim(net,Q); %二元分類仿真結(jié)果 figure; %新建圖形窗口plotpv(Q,Y); %畫輸入向量handle=plotpc(net.iw1,net.b1,handle) %

8、畫分類線BP網(wǎng)絡(luò)l 多層前饋網(wǎng)絡(luò)l 主要功能: 函數(shù)逼近, 模式識(shí)別, 信息分類,數(shù)據(jù)壓縮l 傳遞函數(shù):隱層采用S形函數(shù),輸出層S形函數(shù)或線性函數(shù)BP網(wǎng)絡(luò)的生成newff函數(shù)newff用來生成一個(gè)BP網(wǎng)絡(luò)net=newff(PR,S1 S2.SN,TF1 TF2. TFN,BTF,BLF,PF)PR: 一個(gè)R2矩陣, 由R維輸入向量的每維最小值和最大值組成Si: 第i層的神經(jīng)元個(gè)數(shù)TFi: 第i層的傳遞函數(shù), 默認(rèn)為tansigBTF: 訓(xùn)練函數(shù), 默認(rèn)為trainlmBLF: 學(xué)習(xí)函數(shù), 默認(rèn)為learngdmPF: 性能函數(shù), 默認(rèn)為msenet=newff(0,10;-1,2,5,1,t

9、ansig,purelin,trainlm); %生成一個(gè)兩層BP網(wǎng)絡(luò),隱層和輸出層神經(jīng)的個(gè)數(shù)為5和1, 傳遞函數(shù)分別為tansig和purelin, 訓(xùn)練函數(shù)為trainlm, 其他默認(rèn)BP網(wǎng)絡(luò)的初始化 newff 函數(shù)在建立網(wǎng)絡(luò)對(duì)象的同時(shí), 自動(dòng)調(diào)用初始化函數(shù), 根據(jù)缺省的參數(shù)對(duì)網(wǎng)絡(luò)的連接權(quán)值和閾值. 使用函數(shù)init可以對(duì)網(wǎng)絡(luò)進(jìn)行自定義的初始化. 通過選擇初始化函數(shù), 可對(duì)各層連接權(quán)值和閾值分別進(jìn)行不同的初始化.BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 權(quán)值和閾值的調(diào)節(jié)規(guī)則采用誤差反向傳播算法(back propagation). 反向傳播算法分二步進(jìn)行，即正向傳播和反向傳播。 1正向傳播 輸入的樣本從輸入層

10、經(jīng)過隱單元一層一層進(jìn)行處理，通過所有的隱層之后，則傳向輸出層；在逐層處理的過程中，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過程。2反向傳播 反向傳播時(shí)，把誤差信號(hào)按原來正向傳播的通路反向傳回，并對(duì)每個(gè)隱層的各個(gè)神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號(hào)趨向最小。BP算法實(shí)質(zhì)是求取誤差函數(shù)的最小值問題。這種算法采用非線性規(guī)劃中的最速下降方法，按誤差函數(shù)的負(fù)梯度方向修改權(quán)系數(shù)。BP網(wǎng)絡(luò)的快速學(xué)習(xí)算法與選擇學(xué)習(xí)算法適用問題類型收斂性能占用存儲(chǔ)空間其他特點(diǎn)trainlm函數(shù)擬合收斂快,誤差小大性能隨網(wǎng)絡(luò)規(guī)模增大而變差t

11、rainrp模式分類收斂最快較小性能隨網(wǎng)絡(luò)訓(xùn)練誤差減小而變差trainscg函數(shù)擬合模式分類收斂較快性能穩(wěn)定中等尤其適用于網(wǎng)絡(luò)規(guī)模較大的情況trainbfg函數(shù)擬合收斂較快較大計(jì)算量歲網(wǎng)絡(luò)規(guī)模的增大呈幾何增長(zhǎng)traingdx模式分類收斂較慢較小適用于提前停止的方法 MATLAB神經(jīng)網(wǎng)絡(luò)工具箱對(duì)常規(guī)BP算法進(jìn)行改進(jìn),提供了一系列快速算法,以滿足不同問題的需要BP網(wǎng)絡(luò)的訓(xùn)練 利用已知的”輸入目標(biāo)”樣本向量數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,采用train 函數(shù)來完成. 訓(xùn)練之前, 對(duì)訓(xùn)練參數(shù)進(jìn)行設(shè)置 訓(xùn)練參數(shù) 參數(shù)含義 默認(rèn)值net.trainParam.epochs訓(xùn)練步數(shù)100net.trainParam.s

12、how顯示訓(xùn)練結(jié)果的間隔步數(shù)25net.trainParam.goal訓(xùn)練目標(biāo)誤差0net.trainParam.time訓(xùn)練允許時(shí)間INfnet.trainParam.lr學(xué)習(xí)率0.01net = train(net, P, T)BP網(wǎng)絡(luò)的設(shè)計(jì)(1)網(wǎng)絡(luò)層數(shù) 已經(jīng)證明,單隱層的BP網(wǎng)絡(luò)可以實(shí)現(xiàn)任意非線性映射. BP網(wǎng)絡(luò)的隱層數(shù)一般不超過兩層.輸入層的節(jié)點(diǎn)數(shù) 輸入層接收外部的輸入數(shù)據(jù), 節(jié)點(diǎn)數(shù)取決于輸入向量的維數(shù)輸出層的節(jié)點(diǎn)數(shù) 輸出層的節(jié)點(diǎn)數(shù)取決于輸出數(shù)據(jù)類型和該類型所需的數(shù)據(jù)大小.對(duì)于模式分類問題,節(jié)點(diǎn)數(shù)為2log mBP網(wǎng)絡(luò)的設(shè)計(jì)(2)隱層的節(jié)點(diǎn)數(shù) 隱層的節(jié)點(diǎn)數(shù)與求解問題的要求,輸入輸出單

13、元數(shù)多少有關(guān). 對(duì)于模式識(shí)別/分類的節(jié)點(diǎn)數(shù)可按下列公式設(shè)計(jì)傳遞函數(shù) 隱層傳遞函數(shù)采用S型函數(shù), 輸出層采用S型函數(shù)或線性函數(shù)訓(xùn)練方法及其參數(shù)選擇 針對(duì)不同應(yīng)用, BP網(wǎng)絡(luò)提供了多種訓(xùn)練學(xué)習(xí)方法.0innnan其中為隱層節(jié)點(diǎn)數(shù),in為輸入節(jié)點(diǎn)數(shù),a為110之間的整數(shù)BP網(wǎng)絡(luò)設(shè)計(jì)實(shí)例采用動(dòng)量梯度下降算法訓(xùn)練BP網(wǎng)絡(luò). 訓(xùn)練樣本%定義訓(xùn)練樣本p=-1 -1 3 1;-1 1 5 -3; t=-1 -1 1 1;%創(chuàng)建一個(gè)新的BP網(wǎng)絡(luò)net=newff(minmax(p),3 1,tansig,purelin,traingdm);%設(shè)置訓(xùn)練參數(shù)net.trainParam.epochs=1000;ne

14、t.trainParam.goal=0.001;net.trainParam.show=50;net.trainParam.lr=0.05;net.trainParam.mc=0.9;%動(dòng)量因子，缺省為0.9net=train(net,p,t); % 訓(xùn)練網(wǎng)絡(luò)A=sim(net,p) %網(wǎng)絡(luò)仿真目標(biāo)線訓(xùn)練誤差變化曲線訓(xùn)練誤差變化曲線（每次不同）實(shí)驗(yàn)2: BP網(wǎng)絡(luò)用于曲線擬合 要求設(shè)計(jì)一個(gè)簡(jiǎn)單的BP網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)非線性函數(shù)的逼近。通過改變?cè)摵瘮?shù)的參數(shù)以及BP網(wǎng)絡(luò)隱層神經(jīng)元的數(shù)目，來觀察訓(xùn)練時(shí)間以及訓(xùn)練誤差的變化情況。Step1: 將要逼近的非線性函數(shù)設(shè)為正弦函數(shù)k = 1; p = -1:.05:

15、1;t = sin(k*pi*p);plot(p,t,-)title(要逼近的非線性函數(shù));xlabel(時(shí)間);ylabel(非線性函數(shù)); Step 2: 網(wǎng)絡(luò)建立應(yīng)用函數(shù)newff()建立BP網(wǎng)絡(luò)結(jié)構(gòu)，為二層BP網(wǎng)絡(luò)。隱層神經(jīng)元數(shù)目n可以改變，暫設(shè)為10，輸出層有一個(gè)神經(jīng)元。選擇隱層和輸出層神經(jīng)元傳遞函數(shù)分別為tansig函數(shù)和purelin函數(shù)，網(wǎng)絡(luò)訓(xùn)練算法采用trainlmn = 10;net = newff(minmax(p), n,1, tansig purelin, trainlm);% 對(duì)于該初始網(wǎng)絡(luò)，可以應(yīng)用sim()函數(shù)觀察網(wǎng)絡(luò)輸出y1 = sim(net,p);% 同時(shí)

16、繪制網(wǎng)絡(luò)輸出曲線，并與原函數(shù)相比較figure;plot(p,t,-,p,y1,-)title(未訓(xùn)練網(wǎng)絡(luò)的輸出結(jié)果);xlabel(時(shí)間);ylabel(仿真輸出 原函數(shù) );因?yàn)槭褂胣ewff()函數(shù)建立網(wǎng)絡(luò)時(shí)，權(quán)值和閾值的初始化是隨機(jī)的，所以網(wǎng)絡(luò)輸出的結(jié)果很差，根本達(dá)不到函數(shù)逼近的目的，并且每次運(yùn)行結(jié)果也有所不同。 Step 3: 網(wǎng)絡(luò)訓(xùn)練 應(yīng)用函數(shù)train()對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練之前，要先設(shè)置訓(xùn)練參數(shù)。將訓(xùn)練時(shí)間設(shè)置為50，精度設(shè)置為0.01，其余用缺省值。 訓(xùn)練后得到的誤差變化過程如圖：net.trainParam.epochs = 50;net.trainParam.goal = 0.

17、01;net = train(net,p,t);Stet 4: 網(wǎng)絡(luò)測(cè)試對(duì)于訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行仿真并繪制網(wǎng)絡(luò)輸出曲線，與原始非線性函數(shù)曲線以及未訓(xùn)練網(wǎng)絡(luò)的輸出結(jié)果曲線相比較y2 = sim(net,p);figure;plot(p,t,-,p,y1,-,p,y2,-.)title(訓(xùn)練后網(wǎng)絡(luò)的輸出結(jié)果);xlabel(時(shí)間);ylabel(仿真輸出);從圖中可以看出，得到的曲線和原始的非線性函數(shù)曲線很接近。這說明經(jīng)過訓(xùn)練后，BP網(wǎng)絡(luò)對(duì)非線性函數(shù)的逼近效果相當(dāng)好。討 論 改變非線性函數(shù)的頻率k值，和BP網(wǎng)絡(luò)隱層神經(jīng)元的數(shù)目，對(duì)于函數(shù)逼近的效果有一定的影響。 網(wǎng)絡(luò)非線性程度越高，對(duì)于BP網(wǎng)絡(luò)的要求就

18、越高，則相同的網(wǎng)絡(luò)逼近效果要差一些；隱層神經(jīng)元的數(shù)目對(duì)于網(wǎng)絡(luò)逼近效果出有一定的影響，一般來說，隱層神經(jīng)元數(shù)目越多，則BP網(wǎng)絡(luò)逼近能力越強(qiáng)，而同時(shí)網(wǎng)絡(luò)訓(xùn)練所用的時(shí)間相對(duì)來說也要長(zhǎng)一些。 。常用傳遞函數(shù)(激發(fā)函數(shù))aWp-b1-1u閾值函數(shù)1(0)( )hardlim( )0(0)naf nnnMATLAB函數(shù): hardlim1(0)( )hardlim ( )1(0)naf ns nnMATLAB函數(shù): hardlims雙極形式線性函數(shù)uPurelin Transfer Function ：( )af nnanMATLAB函數(shù): purelin單層神經(jīng)網(wǎng)絡(luò)模型R維輸入, S個(gè)神經(jīng)元的單層神經(jīng)網(wǎng)絡(luò)模型111212121211RRSSSRwwwwwwwwwW12Sbbbb()faWp+bBP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 權(quán)值和閾值的調(diào)節(jié)規(guī)則采用誤差反向傳播算法(back propagation). 反向傳播算法分二步進(jìn)行，