Matlab神經(jīng)網(wǎng)絡(luò)工具箱培訓(xùn)課件

Matlab神經(jīng)網(wǎng)絡(luò)工具箱人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)2Matlab神經(jīng)網(wǎng)絡(luò)工具箱人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用ANN本質(zhì)上可以理解為函數(shù)逼近，可以應(yīng)用到眾多領(lǐng)域。3Matlab神經(jīng)網(wǎng)絡(luò)工具箱生物神經(jīng)元生物神經(jīng)網(wǎng)絡(luò)：BiologicalNeuralNetwork(BNN)神經(jīng)元：neuron神經(jīng)元經(jīng)突觸傳遞信號(hào)給其他神經(jīng)元（胞體或樹突）1011個(gè)神經(jīng)元/人腦104個(gè)連接/神經(jīng)元4Matlab神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)元5Matlab神經(jīng)網(wǎng)絡(luò)工具箱

一般而言,ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越,只有當(dāng)常規(guī)方法解決不了或效果不佳時(shí)ANN方法才能顯示出其優(yōu)越性。尤其對(duì)問題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷、特征提取和預(yù)測(cè)等問題,ANN往往是最有利的工具。另一方面,ANN對(duì)處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問題,表現(xiàn)出極大的靈活性和自適應(yīng)性。黑箱生物神經(jīng)元6Matlab神經(jīng)網(wǎng)絡(luò)工具箱人工神經(jīng)元NeuronModel：多輸入，單輸出，帶偏置R個(gè)輸入pi∈R，即

R維輸入矢量pn:netinput,n=wp+b。R個(gè)權(quán)值wi∈R，即

R維權(quán)向量w閾值b輸出a=f(n),f:transferfunction激勵(lì)函數(shù)或傳遞函數(shù)7Matlab神經(jīng)網(wǎng)絡(luò)工具箱常用激勵(lì)函數(shù)(傳遞函數(shù)）aWp-b1-1閾值函數(shù)8Matlab神經(jīng)網(wǎng)絡(luò)工具箱線性激勵(lì)函數(shù)PurelinTransferFunction

：an9Matlab神經(jīng)網(wǎng)絡(luò)工具箱Sigmoid函數(shù)SigmoidFunction

：特性：值域a∈(0,1)非線性，單調(diào)性無限次可微|n|較小時(shí)可近似線性函數(shù)|n|較大時(shí)可近似閾值函數(shù)10Matlab神經(jīng)網(wǎng)絡(luò)工具箱ANN結(jié)構(gòu)

(連接)11Matlab神經(jīng)網(wǎng)絡(luò)工具箱單層前向網(wǎng)絡(luò)y1y2ynx1x2xmw11w12w1mw21w22w2mwn1wnmwn2...12Matlab神經(jīng)網(wǎng)絡(luò)工具箱多層前向網(wǎng)絡(luò)............x1x2xmy1y2ynHiddenLayerInputLayerOutputLayer13Matlab神經(jīng)網(wǎng)絡(luò)工具箱單層

反饋網(wǎng)絡(luò)...x1x2xmy1y2yn14Matlab神經(jīng)網(wǎng)絡(luò)工具箱多層反饋網(wǎng)絡(luò)x1x2x3y1y2y3......15Matlab神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(learning)

：從環(huán)境中獲取知識(shí)并改進(jìn)自身性能，主要指調(diào)節(jié)網(wǎng)絡(luò)參數(shù)使網(wǎng)絡(luò)達(dá)到某種度量，又稱為網(wǎng)絡(luò)的訓(xùn)練(training)學(xué)習(xí)方式：監(jiān)督學(xué)習(xí)(supervisedlearning)或有導(dǎo)師學(xué)習(xí)非監(jiān)督學(xué)習(xí)(unsupervisedlearning)或無導(dǎo)師學(xué)習(xí)強(qiáng)化學(xué)習(xí)（reinforcementlearning)學(xué)習(xí)規(guī)則(learningrule)：Hebb學(xué)習(xí)算法誤差糾正學(xué)習(xí)算法競(jìng)爭(zhēng)學(xué)習(xí)算法16Matlab神經(jīng)網(wǎng)絡(luò)工具箱監(jiān)督學(xué)習(xí)對(duì)訓(xùn)練樣本集中的每一組輸入能提供一組目標(biāo)輸出網(wǎng)絡(luò)根據(jù)目標(biāo)輸出與實(shí)際輸出的誤差信號(hào)來調(diào)節(jié)網(wǎng)絡(luò)參數(shù)導(dǎo)師神經(jīng)網(wǎng)絡(luò)比較環(huán)境實(shí)際輸出輸入期望輸出誤差信號(hào)p(n)t(n)a(n)e(n)17Matlab神經(jīng)網(wǎng)絡(luò)工具箱非監(jiān)督學(xué)習(xí)與強(qiáng)化學(xué)習(xí)非監(jiān)督學(xué)習(xí)：不存在導(dǎo)師，網(wǎng)絡(luò)根據(jù)外部數(shù)據(jù)的統(tǒng)計(jì)規(guī)律來調(diào)節(jié)系統(tǒng)參數(shù)，以使網(wǎng)絡(luò)輸出能反映數(shù)據(jù)的某種特性強(qiáng)化學(xué)習(xí)：外部環(huán)境對(duì)網(wǎng)絡(luò)輸出只給出評(píng)價(jià)信息而非正確答案，網(wǎng)絡(luò)通過強(qiáng)化受獎(jiǎng)勵(lì)的動(dòng)作來改善自身的性能神經(jīng)網(wǎng)絡(luò)環(huán)境輸入神經(jīng)網(wǎng)絡(luò)環(huán)境輸入輸出評(píng)價(jià)信息18Matlab神經(jīng)網(wǎng)絡(luò)工具箱Matlab神經(jīng)網(wǎng)絡(luò)工具箱19誤差糾正學(xué)習(xí)對(duì)于輸出層第k個(gè)神經(jīng)元的

實(shí)際輸出:ak(n)

目標(biāo)輸出:tk(n)

誤差信號(hào):ek(n)=tk(n)-ak(n)

目標(biāo)函數(shù)為基于誤差信號(hào)ek(n)的函數(shù)，如誤差平方和判據(jù)(sumsquarederror,SSE)，或均方誤差判據(jù)(meansquarederror,MSE,即SSE對(duì)所有樣本的期望)誤差糾正學(xué)習(xí)梯度下降法：對(duì)于感知器和線性網(wǎng)絡(luò)：delta學(xué)習(xí)規(guī)則對(duì)于多層感知器網(wǎng)絡(luò)：擴(kuò)展的delta學(xué)習(xí)規(guī)則，BP算法20Matlab神經(jīng)網(wǎng)絡(luò)工具箱

前饋神經(jīng)網(wǎng)絡(luò)及其主要方法前饋神經(jīng)網(wǎng)絡(luò)(feedforwardNN)：各神經(jīng)元接受前級(jí)輸入，并輸出到下一級(jí)，無反饋，可用一有向無環(huán)圖表示。前饋網(wǎng)絡(luò)通常分為不同的層(layer)，第i層的輸入只與第i-1層的輸出聯(lián)結(jié)。可見層：輸入層(inputlayer)和輸出層(outputlayer)隱層(hiddenlayer)：中間層21Matlab神經(jīng)網(wǎng)絡(luò)工具箱前饋網(wǎng)絡(luò)22Matlab神經(jīng)網(wǎng)絡(luò)工具箱訓(xùn)練一個(gè)單層感知器...x1x2xm=1y1y2ynxm-1......w11w12w1mw21w22w2mwn1wnmwn2d1d2dnTrainingSetGoal:23Matlab神經(jīng)網(wǎng)絡(luò)工具箱感知器學(xué)習(xí)規(guī)則LearningRateError(d

y)Input24Matlab神經(jīng)網(wǎng)絡(luò)工具箱xy......d+感知器學(xué)習(xí)規(guī)則25Matlab神經(jīng)網(wǎng)絡(luò)工具箱BP神經(jīng)網(wǎng)絡(luò)Rumelhart，McClelland于1985年提出了BP網(wǎng)絡(luò)的誤差反向后傳BP(BackPropagation)學(xué)習(xí)算法BP算法基本原理利用輸出后的誤差來估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計(jì)。J.McClellandDavidRumelhart

26Matlab神經(jīng)網(wǎng)絡(luò)工具箱BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)非線性映射能力能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對(duì)供網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當(dāng)向網(wǎng)絡(luò)訓(xùn)練時(shí)輸入未曾見過的非樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。容錯(cuò)能力輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)誤對(duì)網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。

27Matlab神經(jīng)網(wǎng)絡(luò)工具箱BP神經(jīng)網(wǎng)絡(luò)模型是一種多層前饋神經(jīng)網(wǎng)絡(luò)28Matlab神經(jīng)網(wǎng)絡(luò)工具箱BP神經(jīng)網(wǎng)絡(luò)模型激勵(lì)函數(shù)必須處處可導(dǎo)一般都使用S型函數(shù)使用S型激勵(lì)函數(shù)時(shí)BP網(wǎng)絡(luò)輸入與輸出關(guān)系輸入輸出29Matlab神經(jīng)網(wǎng)絡(luò)工具箱BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法學(xué)習(xí)的過程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：對(duì)各連接權(quán)值的動(dòng)態(tài)調(diào)整學(xué)習(xí)規(guī)則：權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。30Matlab神經(jīng)網(wǎng)絡(luò)工具箱BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-算法思想學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學(xué)習(xí)的過程：信號(hào)的正向傳播

誤差的反向傳播將誤差分?jǐn)偨o各層的所有單元－－－各層單元的誤差信號(hào)修正各單元權(quán)值31Matlab神經(jīng)網(wǎng)絡(luò)工具箱BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-學(xué)習(xí)過程正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出（導(dǎo)師信號(hào)）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止32Matlab神經(jīng)網(wǎng)絡(luò)工具箱徑向基函數(shù)網(wǎng)絡(luò)RBF徑向基函數(shù)網(wǎng)絡(luò)：只有一個(gè)隱層，隱層單元采用徑向基函數(shù)。隱層把原始的非線性可分的特征空間變換到另一個(gè)空間（通常是高維空間），使之可以線性可分。輸出為隱層的線性加權(quán)求和。采用基函數(shù)的加權(quán)和來實(shí)現(xiàn)對(duì)函數(shù)的逼近。徑向基函數(shù)(radialbasisfunction,RBF)：徑向?qū)ΨQ的標(biāo)量函數(shù)k(||x-xc||)，最常用的RBF是高斯核函數(shù)33Matlab神經(jīng)網(wǎng)絡(luò)工具箱徑向基函數(shù)網(wǎng)絡(luò)結(jié)構(gòu)34Matlab神經(jīng)網(wǎng)絡(luò)工具箱MATLAB神經(jīng)網(wǎng)絡(luò)工具箱35Matlab神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)元模型NeuronModel：多輸入，單輸出，帶偏置輸入:R維列向量權(quán)值:R維行向量閾值:標(biāo)量求和單元傳遞函數(shù)輸出36Matlab神經(jīng)網(wǎng)絡(luò)工具箱常用傳遞函數(shù)aWp-b1-1閾值函數(shù)MATLAB函數(shù):hardlimMATLAB函數(shù):hardlims37Matlab神經(jīng)網(wǎng)絡(luò)工具箱線性函數(shù)PurelinTransferFunction

：anMATLAB函數(shù):purelin38Matlab神經(jīng)網(wǎng)絡(luò)工具箱Sigmoid函數(shù)SigmoidFunction

：特性：值域a∈(0,1)非線性，單調(diào)性無限次可微|n|較小時(shí)可近似線性函數(shù)|n|較大時(shí)可近似閾值函數(shù)MATLAB函數(shù):logsig(對(duì)數(shù)),tansig(正切)對(duì)數(shù)Sigmoid函數(shù)正切Sigmoid函數(shù)39Matlab神經(jīng)網(wǎng)絡(luò)工具箱單層神經(jīng)網(wǎng)絡(luò)模型R維輸入,S個(gè)神經(jīng)元的單層神經(jīng)網(wǎng)絡(luò)模型40Matlab神經(jīng)網(wǎng)絡(luò)工具箱多層神經(jīng)網(wǎng)絡(luò)模型41Matlab神經(jīng)網(wǎng)絡(luò)工具箱多層神經(jīng)網(wǎng)絡(luò)簡(jiǎn)化表示42Matlab神經(jīng)網(wǎng)絡(luò)工具箱

前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)(feedforwardNN)：各神經(jīng)元接受前級(jí)輸入，并輸出到下一級(jí)，無反饋，可用一有向無環(huán)圖表示。前饋網(wǎng)絡(luò)通常分為不同的層(layer)，第i層的輸入只與第i-1層的輸出聯(lián)結(jié)?？梢妼樱狠斎雽?inputlayer)和輸出層(outputlayer)隱藏層(hiddenlayer)：中間層43Matlab神經(jīng)網(wǎng)絡(luò)工具箱感知器(perceptron):單層前饋網(wǎng)絡(luò)

傳遞函數(shù)為閾值函數(shù)主要功能是模式分類44Matlab神經(jīng)網(wǎng)絡(luò)工具箱感知器的權(quán)值和閾值初始化newp默認(rèn)權(quán)值和閾值為零(零初始化函數(shù)initzero).net=newp([-2,+2;-2,+2],2);W=net.IW{1,1}%顯示網(wǎng)絡(luò)的權(quán)值b=net.b{1}%顯示網(wǎng)絡(luò)的閾值W=0000b=00

改變默認(rèn)初始化函數(shù)為隨機(jī)函數(shù)randsnet.inputweights{1,1}.InitFcn=‘rands’;net.biases{1}.InitFcn=‘rands’;net=init(net);%重新初始化

直接初始化定義權(quán)值和閾值net.IW{1,1}=[12];net.b{1}=146Matlab神經(jīng)網(wǎng)絡(luò)工具箱感知器學(xué)習(xí)感知器學(xué)習(xí)算法權(quán)值增量:閾值增量:權(quán)值更新:閾值更新:算法改進(jìn)輸入樣本歸一化47Matlab神經(jīng)網(wǎng)絡(luò)工具箱權(quán)值和閾值訓(xùn)練與學(xué)習(xí)函數(shù)trainnet=train(net,P,T)設(shè)計(jì)好的感知器并不能馬上投入使用.通過樣本訓(xùn)練,確定感知器的權(quán)值和閾值.輸入向量目標(biāo)向量被訓(xùn)練網(wǎng)絡(luò)net.trainParam.epochs=10;%預(yù)定的最大訓(xùn)練次數(shù)為10,感知器經(jīng)過最多訓(xùn)練10次后停止,adaptnet=adapt(net,P,T)自適應(yīng)訓(xùn)練函數(shù)48Matlab神經(jīng)網(wǎng)絡(luò)工具箱權(quán)值和閾值學(xué)習(xí)函數(shù)learnpdW=learnp(W,P,Z,N,A,T,E,D,gW,gA,LP,LS)dW:權(quán)值或閾值的增量矩陣W:權(quán)值矩陣或閾值向量P:輸入向量T:目標(biāo)向量E:誤差向量其他可以忽略,設(shè)為[]learnpn歸一化學(xué)習(xí)函數(shù)49Matlab神經(jīng)網(wǎng)絡(luò)工具箱網(wǎng)絡(luò)仿真函數(shù)sima=sim(net,P)輸入向量網(wǎng)絡(luò)輸出分類結(jié)果顯示繪圖函數(shù)plotpvplotpv(P,T)plotpcplotpc(W,b)畫輸入向量的圖像畫分類線50Matlab神經(jīng)網(wǎng)絡(luò)工具箱根據(jù)給定的樣本輸入向量P和目標(biāo)向量T,以及需分類的向量組Q,創(chuàng)建一個(gè)感知器,對(duì)其進(jìn)行分類.例:創(chuàng)建一個(gè)感知器P=[-0.5-0.60.7;0.800.1];%已知樣本輸入向量T=[110];%已知樣本目標(biāo)向量net=newp([-11;-11],1);%創(chuàng)建感知器handle=plotpc(net.iw{1},net.b{1});%返回劃線的句柄net.trainParam.epochs=10;%設(shè)置訓(xùn)練最大次數(shù)net=train(net,P,T);%訓(xùn)練網(wǎng)絡(luò)Q=[0.60.9-0.1;-0.1-0.50.5];%已知待分類向量Y=sim(net,Q);%二元分類仿真結(jié)果figure;%新建圖形窗口plotpv(Q,Y);%畫輸入向量handle=plotpc(net.iw{1},net.b{1},handle)%畫分類線51Matlab神經(jīng)網(wǎng)絡(luò)工具箱52Matlab神經(jīng)網(wǎng)絡(luò)工具箱BP網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)主要功能:函數(shù)逼近,模式識(shí)別,信息分類,數(shù)據(jù)壓縮傳遞函數(shù):隱層采用S形函數(shù),輸出層S形函數(shù)或線性函數(shù)53Matlab神經(jīng)網(wǎng)絡(luò)工具箱BP網(wǎng)絡(luò)的生成newff函數(shù)newff用來生成一個(gè)BP網(wǎng)絡(luò)net=newff(PR,[S1S2...SN],{TF1TF2...TFN},BTF,BLF,PF)PR:一個(gè)R×2矩陣,由R維輸入向量的每維最小值和最大值組成Si:第i層的神經(jīng)元個(gè)數(shù)TFi:第i層的傳遞函數(shù),默認(rèn)為tansigBTF:訓(xùn)練函數(shù),默認(rèn)為trainlmBlF:學(xué)習(xí)函數(shù),默認(rèn)為learngdmPF:性能函數(shù),默認(rèn)為msenet=newff([0,10;-1,2],[5,1],{‘tansig’,’purelin’},’trainlm’);

%生成一個(gè)兩層BP網(wǎng)絡(luò),隱層和輸出層神經(jīng)的個(gè)數(shù)為5和1,傳遞函數(shù)分別為tansig和purelin,訓(xùn)練函數(shù)為trainlm,其他默認(rèn)54Matlab神經(jīng)網(wǎng)絡(luò)工具箱BP網(wǎng)絡(luò)的初始化newff函數(shù)在建立網(wǎng)絡(luò)對(duì)象的同時(shí),自動(dòng)調(diào)用初始化函數(shù),根據(jù)缺省的參數(shù)對(duì)網(wǎng)絡(luò)的連接權(quán)值和閾值.使用函數(shù)init可以對(duì)網(wǎng)絡(luò)進(jìn)行自定義的初始化.通過選擇初始化函數(shù),可對(duì)各層連接權(quán)值和閾值分別進(jìn)行不同的初始化.55Matlab神經(jīng)網(wǎng)絡(luò)工具箱BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則

權(quán)值和閾值的調(diào)節(jié)規(guī)則采用誤差反向傳播算法(backpropagation).反向傳播算法分二步進(jìn)行，即正向傳播和反向傳播。1．正向傳播輸入的樣本從輸入層經(jīng)過隱單元一層一層進(jìn)行處理，通過所有的隱層之后，則傳向輸出層；在逐層處理的過程中，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過程。2．反向傳播反向傳播時(shí)，把誤差信號(hào)按原來正向傳播的通路反向傳回，并對(duì)每個(gè)隱層的各個(gè)神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號(hào)趨向最小。BP算法實(shí)質(zhì)是求取誤差函數(shù)的最小值問題。這種算法采用非線性規(guī)劃中的最速下降方法，按誤差函數(shù)的負(fù)梯度方向修改權(quán)系數(shù)。56Matlab神經(jīng)網(wǎng)絡(luò)工具箱BP網(wǎng)絡(luò)的快速學(xué)習(xí)算法與選擇學(xué)習(xí)算法適用問題類型收斂性能占用存儲(chǔ)空間其他特點(diǎn)trainlm函數(shù)擬合收斂快,誤差小大性能隨網(wǎng)絡(luò)規(guī)模增大而變差trainrp模式分類收斂最快較小性能隨網(wǎng)絡(luò)訓(xùn)練誤差減小而變差trainscg函數(shù)擬合模式分類收斂較快性能穩(wěn)定中等尤其適用于網(wǎng)絡(luò)規(guī)模較大的情況trainbfg函數(shù)擬合收斂較快較大計(jì)算量歲網(wǎng)絡(luò)規(guī)模的增大呈幾何增長(zhǎng)traingdx模式分類收斂較慢較小適用于提前停止的方法MATLAB神經(jīng)網(wǎng)絡(luò)工具箱對(duì)常規(guī)BP算法進(jìn)行改進(jìn),提供了一系列快速算法,以滿足不同問題的需要57Matlab神經(jīng)網(wǎng)絡(luò)工具箱BP網(wǎng)絡(luò)的訓(xùn)練利用已知的”輸入—目標(biāo)”樣本向量數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,采用train函數(shù)來完成.訓(xùn)練之前,對(duì)訓(xùn)練參數(shù)進(jìn)行設(shè)置訓(xùn)練參數(shù)參數(shù)含義默認(rèn)值net.trainParam.epochs訓(xùn)練步數(shù)100net.trainParam.show顯示訓(xùn)練結(jié)果的間隔步數(shù)25net.trainParam.goal訓(xùn)練目標(biāo)誤差0net.trainParam.tim