Matlab神經(jīng)網(wǎng)絡工具箱.ppt

1、MATLAB神經(jīng)網(wǎng)絡工具箱,人工神經(jīng)網(wǎng)絡的特點,人工神經(jīng)網(wǎng)絡的應用,ANN本質(zhì)上可以理解為函數(shù)逼近，可以應用到眾多領(lǐng)域。,生物神經(jīng)元,生物神經(jīng)網(wǎng)絡：Biological Neural Network (BNN) 神經(jīng)元：neuron 神經(jīng)元經(jīng)突觸傳遞信號給其他神經(jīng)元（胞體或樹突） 1011個神經(jīng)元/人腦 104個連接/神經(jīng)元,神經(jīng)元,一般而言, ANN與經(jīng)典計算方法相比并非優(yōu)越, 只有當常規(guī)方法解決不了或效果不佳時ANN方法才能顯示出其優(yōu)越性。尤其對問題的機理不甚了解或不能用數(shù)學模型表示的系統(tǒng),如故障診斷、特征提取和預測等問題,ANN往往是最有利的工具。另一方面, ANN對處理大量原始數(shù)據(jù)而不

2、能用規(guī)則或公式描述的問題, 表現(xiàn)出極大的靈活性和自適應性。,生物神經(jīng)元,人工神經(jīng)元,Neuron Model： 多輸入，單輸出，帶偏置,R個輸入piR，即R維輸入矢量p n: net input, n=wp+b。 R個權(quán)值wiR，即R維權(quán)向量w 閾值b 輸出a=f(n), f: transfer function 激勵函數(shù)或傳遞函數(shù),常用激勵函數(shù)(傳遞函數(shù)）,a,Wp,-b,1,-1,閾值函數(shù),線性激勵函數(shù),Purelin Transfer Function ：,Sigmoid函數(shù),Sigmoid Function ： 特性： 值域a(0,1) 非線性，單調(diào)性 無限次可微 |n|較小時可近似線

3、性函數(shù) |n|較大時可近似閾值函數(shù),ANN 結(jié)構(gòu) (連接),單層前向網(wǎng)絡,多層前向網(wǎng)絡,Hidden Layer,單層 反饋網(wǎng)絡,多層反饋網(wǎng)絡,神經(jīng)網(wǎng)絡的學習方法,神經(jīng)網(wǎng)絡的學習(learning) ：從環(huán)境中獲取知識并改進自身性能，主要指調(diào)節(jié)網(wǎng)絡參數(shù)使網(wǎng)絡達到某種度量，又稱為網(wǎng)絡的訓練(training) 學習方式： 監(jiān)督學習(supervised learning)或有導師學習 非監(jiān)督學習(unsupervised learning)或無導師學習 強化學習（reinforcement learning) 學習規(guī)則(learning rule)： Hebb學習算法 誤差糾正學習算法 競爭學習

4、算法,監(jiān)督學習,對訓練樣本集中的每一組輸入能提供一組目標輸出 網(wǎng)絡根據(jù)目標輸出與實際輸出的誤差信號來調(diào)節(jié)網(wǎng)絡參數(shù),導師,神經(jīng)網(wǎng)絡,比較,環(huán)境,實際輸出,輸入,期望輸出,誤差信號,p(n),t(n),a(n),e(n),非監(jiān)督學習與強化學習,非監(jiān)督學習：不存在導師，網(wǎng)絡根據(jù)外部數(shù)據(jù)的統(tǒng)計規(guī)律來調(diào)節(jié)系統(tǒng)參數(shù)，以使網(wǎng)絡輸出能反映數(shù)據(jù)的某種特性 強化學習：外部環(huán)境對網(wǎng)絡輸出只給出評價信息而非正確答案，網(wǎng)絡通過強化受獎勵的動作來改善自身的性能,第八章 人工神經(jīng)網(wǎng)絡,19,誤差糾正學習,對于輸出層第k個神經(jīng)元的實際輸出: ak(n)目標輸出: tk(n) 誤差信號: ek(n) = tk(n) - ak(

5、n)目標函數(shù)為基于誤差信號ek(n)的函數(shù)，如誤差平方和判據(jù)(sum squared error, SSE)，或均方誤差判據(jù)(mean squared error, MSE, 即SSE對所有樣本的期望),誤差糾正學習,梯度下降法：,對于感知器和線性網(wǎng)絡：,delta學習規(guī)則,對于多層感知器網(wǎng)絡：擴展的delta學習規(guī)則，BP算法,前饋神經(jīng)網(wǎng)絡及其主要方法,前饋神經(jīng)網(wǎng)絡(feed forward NN)：各神經(jīng)元接受前級輸入，并輸出到下一級，無反饋，可用一有向無環(huán)圖表示。 前饋網(wǎng)絡通常分為不同的層(layer)，第i層的輸入只與第i-1層的輸出聯(lián)結(jié)。 可見層：輸入層(input layer)和輸

6、出層(output layer) 隱層(hidden layer) ：中間層,前饋網(wǎng)絡,訓練一個單層感知器,Training Set,Goal:,感知器學習規(guī)則,感知器學習規(guī)則,BP神經(jīng)網(wǎng)絡,Rumelhart，McClelland于1985年提出了BP網(wǎng)絡的誤差反向后傳BP(Back Propagation)學習算法 BP算法基本原理 利用輸出后的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。,J. McClelland,David Rumelhart,BP神經(jīng)網(wǎng)絡的特點,非線性映射能力 能學習和存貯大量輸入-輸出

7、模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學方程。只要能提供足夠多的樣本模式對供網(wǎng)絡進行學習訓練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。 泛化能力 當向網(wǎng)絡訓練時輸入未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。 容錯能力 輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡的輸入輸出規(guī)律影響很小。,BP神經(jīng)網(wǎng)絡模型,是一種多層前饋神經(jīng)網(wǎng)絡,BP神經(jīng)網(wǎng)絡模型,激勵函數(shù) 必須處處可導 一般都使用S型函數(shù) 使用S型激勵函數(shù)時BP網(wǎng)絡輸入與輸出關(guān)系 輸入 輸出,BP網(wǎng)絡的標準學習算法,學習的過程： 神經(jīng)網(wǎng)絡在外界輸入樣本的刺激下不斷改變網(wǎng)絡的連接

8、權(quán)值,以使網(wǎng)絡的輸出不斷地接近期望的輸出。 學習的本質(zhì)： 對各連接權(quán)值的動態(tài)調(diào)整 學習規(guī)則： 權(quán)值調(diào)整規(guī)則，即在學習過程中網(wǎng)絡中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。,BP網(wǎng)絡的標準學習算法-算法思想,學習的類型：有導師學習 核心思想： 將輸出誤差以某種形式通過隱層向輸入層逐層反傳 學習的過程： 信號的正向傳播 誤差的反向傳播,將誤差分攤給各層的所有單元各層單元的誤差信號,修正各單元權(quán)值,BP網(wǎng)絡的標準學習算法-學習過程,正向傳播： 輸入樣本輸入層各隱層輸出層 判斷是否轉(zhuǎn)入反向傳播階段： 若輸出層的實際輸出與期望的輸出（導師信號）不符 誤差反傳 誤差以某種形式在各層表示修正各層單元的權(quán)值

9、 網(wǎng)絡輸出的誤差減少到可接受的程度 進行到預先設定的學習次數(shù)為止,徑向基函數(shù)網(wǎng)絡RBF,徑向基函數(shù)網(wǎng)絡：只有一個隱層，隱層單元采用徑向基函數(shù)。隱層把原始的非線性可分的特征空間變換到另一個空間（通常是高維空間），使之可以線性可分。 輸出為隱層的線性加權(quán)求和。采用基函數(shù)的加權(quán)和來實現(xiàn)對函數(shù)的逼近。 徑向基函數(shù)(radial basis function, RBF)：徑向?qū)ΨQ的標量函數(shù)k(|x-xc|)，最常用的RBF是高斯核函數(shù),徑向基函數(shù)網(wǎng)絡結(jié)構(gòu),MATLAB神經(jīng)網(wǎng)絡工具箱,神經(jīng)元模型,Neuron Model： 多輸入，單輸出，帶偏置,輸入:R維列向量,權(quán)值:R維行向量,閾值:標量,求和單元,

10、傳遞函數(shù),輸出,常用傳遞函數(shù),a,Wp,-b,1,-1,閾值函數(shù),MATLAB函數(shù): hardlim,MATLAB函數(shù): hardlims,線性函數(shù),Purelin Transfer Function ：,MATLAB函數(shù): purelin,Sigmoid函數(shù),Sigmoid Function ： 特性： 值域a(0,1) 非線性，單調(diào)性 無限次可微 |n|較小時可近似線性函數(shù) |n|較大時可近似閾值函數(shù),MATLAB函數(shù): logsig(對數(shù)), tansig(正切),對數(shù)Sigmoid函數(shù),正切Sigmoid函數(shù),單層神經(jīng)網(wǎng)絡模型,R維輸入, S個神經(jīng)元的單層神經(jīng)網(wǎng)絡模型,多層神經(jīng)網(wǎng)絡模型

11、,多層神經(jīng)網(wǎng)絡簡化表示,前饋神經(jīng)網(wǎng)絡,前饋神經(jīng)網(wǎng)絡(feed forward NN)：各神經(jīng)元接受前級輸入，并輸出到下一級，無反饋，可用一有向無環(huán)圖表示。 前饋網(wǎng)絡通常分為不同的層(layer)，第i層的輸入只與第i-1層的輸出聯(lián)結(jié)。 可見層：輸入層(input layer)和輸出層(output layer) 隱藏層(hidden layer) ：中間層,感知器(perceptron):,單層前饋網(wǎng)絡 傳遞函數(shù)為閾值函數(shù),主要功能是模式分類,感知器的生成,函數(shù)newp用來生成一個感知器神經(jīng)網(wǎng)絡,net = newp( pr, s, tf, lf ),net: 函數(shù)返回參數(shù),表示生成的感知器網(wǎng)

12、絡 pr: 一個R2矩陣, 由R維輸入向量的每維最小值和最 大值組成 s: 神經(jīng)元的個數(shù) tf: 感知器的傳遞函數(shù), 默認為hardlim, 可選hardlims lf: 感知器的學習函數(shù),默認為learnp, 可選learnpn,net = newp(-2,+2;-2,+2,2) %生成一個二維輸入,兩個神經(jīng)元的感知器,newp,感知器的權(quán)值和閾值初始化,newp默認權(quán)值和閾值為零(零初始化函數(shù)initzero).,net = newp(-2,+2;-2,+2,2);,W=net.IW1,1 %顯示網(wǎng)絡的權(quán)值,b=net.b1 %顯示網(wǎng)絡的閾值,W = 0 0 0 0,b = 0 0,改變默

13、認初始化函數(shù)為隨機函數(shù)rands,net.inputweights1,1.InitFcn = rands;,net.biases1.InitFcn = rands;,net =init(net); %重新初始化,直接初始化定義權(quán)值和閾值,net.IW1,1=1 2; net.b1=1,感知器學習,感知器學習算法,權(quán)值增量:,閾值增量:,權(quán)值更新:,閾值更新:,算法改進,輸入樣本歸一化,權(quán)值和閾值訓練與學習函數(shù),train,net=train(net, P, T),設計好的感知器并不能馬上投入使用. 通過樣本訓練, 確定感知器的權(quán)值和閾值.,輸入向量,目標向量,被訓練網(wǎng)絡,net.trainPa

14、ram.epochs=10 ; %預定的最大訓練次數(shù)為10, 感知器經(jīng)過最多訓練10次后停止,adapt,net=adapt(net, P, T),自適應訓練函數(shù),權(quán)值和閾值學習函數(shù),learnp,dW=learnp(W,P,Z,N,A,T,E,D,gW,gA,LP,LS),dW:權(quán)值或閾值的增量矩陣,W:權(quán)值矩陣或閾值向量,P:輸入向量,T:目標向量,E:誤差向量,其他可以忽略,設為 ,learnpn,歸一化學習函數(shù),網(wǎng)絡仿真函數(shù),sim,a = sim(net, P),輸入向量,網(wǎng)絡輸出,分類結(jié)果顯示繪圖函數(shù),plotpv,plotpv(P,T),plotpc,plotpc(W,b),畫輸

15、入向量的圖像,畫分類線,根據(jù)給定的樣本輸入向量P和目標向量T, 以及需分類的向量組Q, 創(chuàng)建一個感知器, 對其進行分類.,例: 創(chuàng)建一個感知器,P=-0.5 -0.6 0.7;0.8 0 0.1; %已知樣本輸入向量 T=1 1 0; %已知樣本目標向量 net=newp(-1 1;-1 1,1); %創(chuàng)建感知器 handle=plotpc(net.iw1,net.b1); %返回劃線的句柄 net.trainParam.epochs=10; % 設置訓練最大次數(shù) net=train(net,P,T); %訓練網(wǎng)絡 Q=0.6 0.9 -0.1;-0.1 -0.5 0.5; %已知待分類向量

16、Y=sim(net,Q); %二元分類仿真結(jié)果 figure; %新建圖形窗口 plotpv(Q,Y); %畫輸入向量 handle=plotpc(net.iw1,net.b1,handle) %畫分類線,BP網(wǎng)絡,多層前饋網(wǎng)絡,主要功能: 函數(shù)逼近, 模式識別, 信息分類,數(shù)據(jù)壓縮,傳遞函數(shù):隱層采用S形函數(shù),輸出層S形函數(shù)或線性函數(shù),BP網(wǎng)絡的生成,newff,函數(shù)newff用來生成一個BP網(wǎng)絡,net=newff(PR,S1 S2.SN,TF1 TF2. TFN,BTF,BLF,PF),PR: 一個R2矩陣, 由R維輸入向量的每維最小值和最大值組成,Si: 第i層的神經(jīng)元個數(shù),TFi:

17、第i層的傳遞函數(shù), 默認為tansig,BTF: 訓練函數(shù), 默認為trainlm,BlF: 學習函數(shù), 默認為learngdm,PF: 性能函數(shù), 默認為mse,net=newff(0,10;-1,2,5,1,tansig,purelin,trainlm);,%生成一個兩層BP網(wǎng)絡,隱層和輸出層神經(jīng)的個數(shù)為5和1, 傳遞函數(shù)分別為tansig和purelin, 訓練函數(shù)為trainlm, 其他默認,BP網(wǎng)絡的初始化,newff 函數(shù)在建立網(wǎng)絡對象的同時, 自動調(diào)用初始化函數(shù), 根據(jù)缺省的參數(shù)對網(wǎng)絡的連接權(quán)值和閾值.,使用函數(shù)init可以對網(wǎng)絡進行自定義的初始化. 通過選擇初始化函數(shù), 可對各

18、層連接權(quán)值和閾值分別進行不同的初始化.,BP網(wǎng)絡的學習規(guī)則,權(quán)值和閾值的調(diào)節(jié)規(guī)則采用誤差反向傳播算法(back propagation). 反向傳播算法分二步進行，即正向傳播和反向傳播。,1正向傳播 輸入的樣本從輸入層經(jīng)過隱單元一層一層進行處理，通過所有的隱層之后，則傳向輸出層；在逐層處理的過程中，每一層神經(jīng)元的狀態(tài)只對下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進行比較，如果現(xiàn)行輸出不等于期望輸出，則進入反向傳播過程。 2反向傳播 反向傳播時，把誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經(jīng)元的權(quán)系數(shù)進行修改，以望誤差信號趨向最小。 BP算法實質(zhì)是求取誤差函數(shù)的最小值問題。這種算法采用非線性規(guī)劃中的最速下降方法，按誤差函數(shù)的負梯度方向修改權(quán)系數(shù)。,BP網(wǎng)絡的快速學習算法與選擇,MATLAB神經(jīng)網(wǎng)絡工具箱對常規(guī)BP算法進行改進,提供了一系列快速算法,以滿足不同問題的需要,BP網(wǎng)絡的訓練,利用已知的”輸入目標”樣本向量數(shù)據(jù)對網(wǎng)絡進行訓練,采用train 函數(shù)來完成. 訓練之前, 對訓練參數(shù)進行設置,net = train(net, P, T),BP網(wǎng)絡的設計(1),網(wǎng)絡層數(shù),已經(jīng)證明,單隱層的BP