Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座

MATLAB神經(jīng)網(wǎng)絡(luò)工具箱Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第1頁人工神經(jīng)網(wǎng)絡(luò)特點自學習自適應(yīng)并行處理分布表達與計算Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第2頁人工神經(jīng)網(wǎng)絡(luò)應(yīng)用ANN本質(zhì)上能夠了解為函數(shù)迫近，能夠應(yīng)用到眾多領(lǐng)域。優(yōu)化計算信號處理智能控制模式識別機器視覺等Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第3頁生物神經(jīng)元生物神經(jīng)網(wǎng)絡(luò)：BiologicalNeuralNetwork(BNN)神經(jīng)元：neuron神經(jīng)元經(jīng)突觸傳遞信號給其它神經(jīng)元（胞體或樹突）1011個神經(jīng)元/人腦104個連接/神經(jīng)元Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第4頁神經(jīng)元Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第5頁

普通而言,ANN與經(jīng)典計算方法相比并非優(yōu)越,只有當常規(guī)方法處理不了或效果不佳時ANN方法才能顯示出其優(yōu)越性。尤其對問題機理不甚了解或不能用數(shù)學模型表示系統(tǒng),如故障診療、特征提取和預(yù)測等問題,ANN往往是最有利工具。另首先,ANN對處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述問題,表現(xiàn)出極大靈活性和自適應(yīng)性。黑箱生物神經(jīng)元Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第6頁人工神經(jīng)元NeuronModel：多輸入，單輸出，帶偏置R個輸入pi∈R，即

R維輸入矢量pn:netinput,n=wp+b。R個權(quán)值wi∈R，即

R維權(quán)向量w閾值b輸出a=f(n),f:transferfunction激勵函數(shù)或傳遞函數(shù)Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第7頁慣用激勵函數(shù)(傳遞函數(shù)）aWp-b1-1閾值函數(shù)Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第8頁線性激勵函數(shù)PurelinTransferFunction

：anMatlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第9頁Sigmoid函數(shù)SigmoidFunction

：特征：值域a∈(0,1)非線性，單調(diào)性無限次可微|n|較小時可近似線性函數(shù)|n|較大時可近似閾值函數(shù)Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第10頁ANN結(jié)構(gòu)

(連接)Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第11頁單層前向網(wǎng)絡(luò)y1y2ynx1x2xmw11w12w1mw21w22w2mwn1wnmwn2...Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第12頁多層前向網(wǎng)絡(luò)............x1x2xmy1y2ynHiddenLayerInputLayerOutputLayerMatlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第13頁單層

反饋網(wǎng)絡(luò)...x1x2xmy1y2ynMatlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第14頁多層反饋網(wǎng)絡(luò)x1x2x3y1y2y3......Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第15頁神經(jīng)網(wǎng)絡(luò)學習方法神經(jīng)網(wǎng)絡(luò)學習(learning)

：從環(huán)境中獲取知識并改進本身性能，主要指調(diào)整網(wǎng)絡(luò)參數(shù)使網(wǎng)絡(luò)到達某種度量，又稱為網(wǎng)絡(luò)訓(xùn)練(training)學習方式：監(jiān)督學習(supervisedlearning)或有導(dǎo)師學習非監(jiān)督學習(unsupervisedlearning)或無導(dǎo)師學習強化學習（reinforcementlearning)學習規(guī)則(learningrule)：Hebb學習算法誤差糾正學習算法競爭學習算法Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第16頁監(jiān)督學習對訓(xùn)練樣本集中每一組輸入能提供一組目標輸出網(wǎng)絡(luò)依據(jù)目標輸出與實際輸出誤差信號來調(diào)整網(wǎng)絡(luò)參數(shù)導(dǎo)師神經(jīng)網(wǎng)絡(luò)比較環(huán)境實際輸出輸入期望輸出誤差信號p(n)t(n)a(n)e(n)Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第17頁非監(jiān)督學習與強化學習非監(jiān)督學習：不存在導(dǎo)師，網(wǎng)絡(luò)依據(jù)外部數(shù)據(jù)統(tǒng)計規(guī)律來調(diào)整系統(tǒng)參數(shù)，以使網(wǎng)絡(luò)輸出能反應(yīng)數(shù)據(jù)某種特征強化學習：外部環(huán)境對網(wǎng)絡(luò)輸出只給出評價信息而非正確答案，網(wǎng)絡(luò)經(jīng)過強化受獎勵動作來改進本身性能神經(jīng)網(wǎng)絡(luò)環(huán)境輸入神經(jīng)網(wǎng)絡(luò)環(huán)境輸入輸出評價信息Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第18頁第八章人工神經(jīng)網(wǎng)絡(luò)19誤差糾正學習對于輸出層第k個神經(jīng)元

實際輸出:ak(n)

目標輸出:tk(n)

誤差信號:ek(n)=tk(n)-ak(n)

目標函數(shù)為基于誤差信號ek(n)函數(shù)，如誤差平方和判據(jù)(sumsquarederror,SSE)，或均方誤差判據(jù)(meansquarederror,MSE,即SSE對全部樣本期望)Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第19頁誤差糾正學習梯度下降法：對于感知器和線性網(wǎng)絡(luò)：delta學習規(guī)則對于多層感知器網(wǎng)絡(luò)：擴展delta學習規(guī)則，BP算法Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第20頁

前饋神經(jīng)網(wǎng)絡(luò)及其主要方法前饋神經(jīng)網(wǎng)絡(luò)(feedforwardNN)：各神經(jīng)元接收前級輸入，并輸出到下一級，無反饋，可用一有向無環(huán)圖表示。前饋網(wǎng)絡(luò)通常分為不一樣層(layer)，第i層輸入只與第i-1層輸出聯(lián)結(jié)?？梢妼樱狠斎雽?inputlayer)和輸出層(outputlayer)隱層(hiddenlayer)：中間層Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第21頁前饋網(wǎng)絡(luò)Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第22頁訓(xùn)練一個單層感知器...x1x2xm=1y1y2ynxm-1......w11w12w1mw21w22w2mwn1wnmwn2d1d2dnTrainingSetGoal:Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第23頁感知器學習規(guī)則LearningRateError(d

y)InputMatlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第24頁xy

......d+感知器學習規(guī)則Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第25頁BP神經(jīng)網(wǎng)絡(luò)Rumelhart，McClelland于1985年提出了BP網(wǎng)絡(luò)誤差反向后傳BP(BackPropagation)學習算法BP算法基本原理利用輸出后誤差來預(yù)計輸出層直接前導(dǎo)層誤差，再用這個誤差預(yù)計更前一層誤差，如此一層一層反傳下去，就取得了全部其它各層誤差預(yù)計。J.McClellandDavidRumelhart

Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第26頁BP神經(jīng)網(wǎng)絡(luò)特點非線性映射能力能學習和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系數(shù)學方程。只要能提供足夠多樣本模式對供網(wǎng)絡(luò)進行學習訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間非線性映射。泛化能力當向網(wǎng)絡(luò)訓(xùn)練時輸入未曾見過非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間正確映射。這種能力稱為泛化能力。容錯能力輸入樣本中帶有較大誤差甚至個別錯誤對網(wǎng)絡(luò)輸入輸出規(guī)律影響很小。

Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第27頁BP神經(jīng)網(wǎng)絡(luò)模型是一個多層前饋神經(jīng)網(wǎng)絡(luò)Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第28頁BP神經(jīng)網(wǎng)絡(luò)模型激勵函數(shù)必須處處可導(dǎo)普通都使用S型函數(shù)使用S型激勵函數(shù)時BP網(wǎng)絡(luò)輸入與輸出關(guān)系輸入輸出Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第29頁BP網(wǎng)絡(luò)標準學習算法學習過程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本刺激下不停改變網(wǎng)絡(luò)連接權(quán)值,以使網(wǎng)絡(luò)輸出不停地靠近期望輸出。學習本質(zhì)：對各連接權(quán)值動態(tài)調(diào)整學習規(guī)則：權(quán)值調(diào)整規(guī)則，即在學習過程中網(wǎng)絡(luò)中各神經(jīng)元連接權(quán)改變所依據(jù)一定調(diào)整規(guī)則。Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第30頁BP網(wǎng)絡(luò)標準學習算法-算法思想學習類型：有導(dǎo)師學習關(guān)鍵思想：將輸出誤差以某種形式經(jīng)過隱層向輸入層逐層反傳學習過程：信號正向傳輸誤差反向傳輸將誤差分攤給各層全部單元－－－各層單元誤差信號修正各單元權(quán)值Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第31頁BP網(wǎng)絡(luò)標準學習算法-學習過程正向傳輸：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳輸階段：若輸出層實際輸出與期望輸出（導(dǎo)師信號）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元權(quán)值網(wǎng)絡(luò)輸出誤差降低到可接收程度進行到預(yù)先設(shè)定學習次數(shù)為止Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第32頁徑向基函數(shù)網(wǎng)絡(luò)RBF徑向基函數(shù)網(wǎng)絡(luò)：只有一個隱層，隱層單元采取徑向基函數(shù)。隱層把原始非線性可分特征空間變換到另一個空間（通常是高維空間），使之能夠線性可分。輸出為隱層線性加權(quán)求和。采取基函數(shù)加權(quán)和來實現(xiàn)對函數(shù)迫近。徑向基函數(shù)(radialbasisfunction,RBF)：徑向?qū)ΨQ標量函數(shù)k(||x-xc||)，最慣用RBF是高斯核函數(shù)Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第33頁徑向基函數(shù)網(wǎng)絡(luò)結(jié)構(gòu)Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第34頁MATLAB神經(jīng)網(wǎng)絡(luò)工具箱Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第35頁神經(jīng)元模型NeuronModel：多輸入，單輸出，帶偏置輸入:R維列向量權(quán)值:R維行向量閾值:標量求和單元傳遞函數(shù)輸出Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第36頁慣用傳遞函數(shù)aWp-b1-1閾值函數(shù)MATLAB函數(shù):hardlimMATLAB函數(shù):hardlimsMatlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第37頁線性函數(shù)PurelinTransferFunction

：anMATLAB函數(shù):purelinMatlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第38頁Sigmoid函數(shù)SigmoidFunction

：特征：值域a∈(0,1)非線性，單調(diào)性無限次可微|n|較小時可近似線性函數(shù)|n|較大時可近似閾值函數(shù)MATLAB函數(shù):logsig(對數(shù)),tansig(正切)對數(shù)Sigmoid函數(shù)正切Sigmoid函數(shù)Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第39頁單層神經(jīng)網(wǎng)絡(luò)模型R維輸入,S個神經(jīng)元單層神經(jīng)網(wǎng)絡(luò)模型Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第40頁多層神經(jīng)網(wǎng)絡(luò)模型Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第41頁多層神經(jīng)網(wǎng)絡(luò)簡化表示Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第42頁

前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)(feedforwardNN)：各神經(jīng)元接收前級輸入，并輸出到下一級，無反饋，可用一有向無環(huán)圖表示。前饋網(wǎng)絡(luò)通常分為不一樣層(layer)，第i層輸入只與第i-1層輸出聯(lián)結(jié)?？梢妼樱狠斎雽?inputlayer)和輸出層(outputlayer)隱藏層(hiddenlayer)：中間層Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第43頁感知器(perceptron):單層前饋網(wǎng)絡(luò)

傳遞函數(shù)為閾值函數(shù)主要功效是模式分類Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第44頁感知器生成函數(shù)newp用來生成一個感知器神經(jīng)網(wǎng)絡(luò)net=newp(pr,s,tf,lf)net:函數(shù)返回參數(shù),表示生成感知器網(wǎng)絡(luò)

pr:一個R×2矩陣,由R維輸入向量每維最小值和最大值組成

s:神經(jīng)元個數(shù)tf:感知器傳遞函數(shù),默認為hardlim,可選hardlims

lf:感知器學習函數(shù),默認為learnp,可選learnpnnet=newp([-2,+2;-2,+2],2)%生成一個二維輸入,兩個神經(jīng)元感知器newpMatlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第45頁感知器權(quán)值和閾值初始化newp默認權(quán)值和閾值為零(零初始化函數(shù)initzero).net=newp([-2,+2;-2,+2],2);W=net.IW{1,1}%顯示網(wǎng)絡(luò)權(quán)值b=net.b{1}%顯示網(wǎng)絡(luò)閾值W=0000b=00

改變默認初始化函數(shù)為隨機函數(shù)randsnet.inputweights{1,1}.InitFcn=‘rands’;net.biases{1}.InitFcn=‘rands’;net=init(net);%重新初始化

直接初始化定義權(quán)值和閾值net.IW{1,1}=[12];net.b{1}=1Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第46頁感知器學習感知器學習算法權(quán)值增量:閾值增量:權(quán)值更新:閾值更新:算法改進輸入樣本歸一化Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第47頁權(quán)值和閾值訓(xùn)練與學習函數(shù)trainnet=train(net,P,T)設(shè)計好感知器并不能馬上投入使用.經(jīng)過樣本訓(xùn)練,確定感知器權(quán)值和閾值.輸入向量目標向量被訓(xùn)練網(wǎng)絡(luò)net.trainParam.epochs=10;%預(yù)定最大訓(xùn)練次數(shù)為10,感知器經(jīng)過最多訓(xùn)練10次后停頓,adaptnet=adapt(net,P,T)自適應(yīng)訓(xùn)練函數(shù)Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第48頁權(quán)值和閾值學習函數(shù)learnpdW=learnp(W,P,Z,N,A,T,E,D,gW,gA,LP,LS)dW:權(quán)值或閾值增量矩陣W:權(quán)值矩陣或閾值向量P:輸入向量T:目標向量E:誤差向量其它能夠忽略,設(shè)為[]learnpn歸一化學習函數(shù)Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第49頁網(wǎng)絡(luò)仿真函數(shù)sima=sim(net,P)輸入向量網(wǎng)絡(luò)輸出分類結(jié)果顯示繪圖函數(shù)plotpvplotpv(P,T)plotpcplotpc(W,b)畫輸入向量圖像畫分類線Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第50頁依據(jù)給定樣本輸入向量P和目標向量T,以及需分類向量組Q,創(chuàng)建一個感知器,對其進行分類.例:創(chuàng)建一個感知器P=[-0.5-0.60.7;0.800.1];%已知樣本輸入向量T=[110];%已知樣本目標向量net=newp([-11;-11],1);%創(chuàng)建感知器handle=plotpc(net.iw{1},net.b{1});%返回劃線句柄net.trainParam.epochs=10;%設(shè)置訓(xùn)練最大次數(shù)net=train(net,P,T);%訓(xùn)練網(wǎng)絡(luò)Q=[0.60.9-0.1;-0.1-0.50.5];%已知待分類向量Y=sim(net,Q);%二元分類仿真結(jié)果figure;%新建圖形窗口plotpv(Q,Y);%畫輸入向量handle=plotpc(net.iw{1},net.b{1},handle)%畫分類線Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第51頁Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第52頁BP網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)主要功效:函數(shù)迫近,模式識別,信息分類,數(shù)據(jù)壓縮傳遞函數(shù):隱層采取S形函數(shù),輸出層S形函數(shù)或線性函數(shù)Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第53頁BP網(wǎng)絡(luò)生成newff函數(shù)newff用來生成一個BP網(wǎng)絡(luò)net=newff(PR,[S1S2...SN],{TF1TF2...TFN},BTF,BLF,PF)PR:一個R×2矩陣,由R維輸入向量每維最小值和最大值組成Si:第i層神經(jīng)元個數(shù)TFi:第i層傳遞函數(shù),默認為tansigBTF:訓(xùn)練函數(shù),默認為trainlmBlF:學習函數(shù),默認為learngdmPF:性能函數(shù),默認為msenet=newff([0,10;-1,2],[5,1],{‘tansig’,’purelin’},’trainlm’);

%生成一個兩層BP網(wǎng)絡(luò),隱層和輸出層神經(jīng)個數(shù)為5和1,傳遞函數(shù)分別為tansig和purelin,訓(xùn)練函數(shù)為trainlm,其它默認Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第54頁BP網(wǎng)絡(luò)初始化newff函數(shù)在建立網(wǎng)絡(luò)對象同時,自動調(diào)用初始化函數(shù),依據(jù)缺省參數(shù)對網(wǎng)絡(luò)連接權(quán)值和閾值.使用函數(shù)init能夠?qū)W(wǎng)絡(luò)進行自定義初始化.經(jīng)過選擇初始化函數(shù),可對各層連接權(quán)值和閾值分別進行不一樣初始化.Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第55頁BP網(wǎng)絡(luò)學習規(guī)則

權(quán)值和閾值調(diào)整規(guī)則采取誤差反向傳輸算法(backpropagation).反向傳輸算法分二步進行，即正向傳輸和反向傳輸。1．正向傳輸輸入樣本從輸入層經(jīng)過隱單元一層一層進行處理，經(jīng)過全部隱層之后，則傳向輸出層；在逐層處理過程中，每一層神經(jīng)元狀態(tài)只對下一層神經(jīng)元狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進行比較，假如現(xiàn)行輸出不等于期望輸出，則進入反向傳輸過程。2．反向傳輸反向傳輸時，把誤差信號按原來正向傳輸通路反向傳回，并對每個隱層各個神經(jīng)元權(quán)系數(shù)進行修改，以望誤差信號趨向最小。BP算法實質(zhì)是求取誤差函數(shù)最小值問題。這種算法采取非線性規(guī)劃中最速下降方法，按誤差函數(shù)負梯度方向修改權(quán)系數(shù)。Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第56頁BP網(wǎng)絡(luò)快速學習算法與選擇學習算法適用問題類型收斂性能占用存放空間其它特點trainlm函數(shù)擬合收斂快,誤差小大性能隨網(wǎng)絡(luò)規(guī)模增大而變差trainrp模式分類收斂最快較小性能隨網(wǎng)絡(luò)訓(xùn)練誤差減小而變差trainscg函數(shù)擬合模式分類收斂較快性能穩(wěn)定中等尤其適適用于網(wǎng)絡(luò)規(guī)模較大情況trainbfg函數(shù)擬合收斂較快較大計算量歲網(wǎng)絡(luò)規(guī)模增大呈幾何增加traingdx模式分類收斂較慢較小適適用于提前停頓方法MATLAB神經(jīng)網(wǎng)絡(luò)工具箱對常規(guī)BP算法進行改進,提供了一系列快速算法,以滿足不一樣問題需要Matlab神經(jīng)網(wǎng)絡(luò)工具箱專家講座第57頁BP網(wǎng)絡(luò)訓(xùn)練利用已知”輸入—目標”樣本向量數(shù)據(jù)對網(wǎng)絡(luò)進行訓(xùn)練,采取train函數(shù)來完成.訓(xùn)練之前,對訓(xùn)練參數(shù)進行設(shè)置訓(xùn)練參數(shù)參數(shù)含義默認值net.trainParam.epochs訓(xùn)