第5章人工神經(jīng)網(wǎng)絡(luò)matlab工具箱ppt課件

1、xxx嘉應(yīng)學(xué)院 matlab神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)工具箱l0 引例引例:神經(jīng)網(wǎng)絡(luò)函數(shù)擬合神經(jīng)網(wǎng)絡(luò)函數(shù)擬合(預(yù)測預(yù)測)l1 matlab神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)工具箱l2 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)(ANN)簡介簡介l3 前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)(BP網(wǎng)絡(luò)網(wǎng)絡(luò))l4 實(shí)例：多元神經(jīng)網(wǎng)絡(luò)預(yù)測實(shí)例：多元神經(jīng)網(wǎng)絡(luò)預(yù)測l5 實(shí)驗(yàn)：神經(jīng)網(wǎng)絡(luò)分類實(shí)驗(yàn)：神經(jīng)網(wǎng)絡(luò)分類試構(gòu)造適宜的神經(jīng)網(wǎng)絡(luò)模型擬合如下數(shù)據(jù)點(diǎn),并預(yù)測x=10的值:x00.511.522.533.544.5y00.430.690.740.610.360.08-0.17-0.34-0.4x55.566.577.588.599.5y-0.35-0.23-0.

2、080.060.160.210.20.150.07-0.01lx=0:0.5:9.5;ly=0, 0.43, 0.69, 0.74, 0.61, 0.36, 0.08, -0.17, -0.34, -0.4, -0.35, -0.23, -0.08, 0.06, 0.16, 0.21, 0.2, 0.15, 0.07;lnet = newff(0,9.5,5, 1);lnet.trainParam.epochs=100; lnet.trainParam.goad=0.000001;lnet = train(net,x,y);lx1=0:0.1:10;ly1=sim(net,x1);lfigur

3、e; plot(x,y,.);hold on; plot(x1,y1,r);ffffffxyw11w12w13w14w15w21w22w23w24w25b1b2b3b4b5b221( )1xxef xey = f(w21*f(w11*x+b1) + + w25*f(w15*x+b5)+ b ) w1=net.IW1;w2=net.LW2;b1=net.b1;b2=net.b2;a = tansig(w1*x0 + b1);y = tansig(w2*a + b2)Sigmoid函數(shù)函數(shù)net=newff(xm,xM,h1,hk,f1,fk);xm,xM分別為列向量分別為列向量(行數(shù)為變量個(gè)數(shù)行

4、數(shù)為變量個(gè)數(shù))，分別存儲(chǔ)每個(gè)變量的最小值和最大值。分別存儲(chǔ)每個(gè)變量的最小值和最大值。h1,hk表示網(wǎng)絡(luò)各層的節(jié)點(diǎn)數(shù)表示網(wǎng)絡(luò)各層的節(jié)點(diǎn)數(shù), 一共有一共有k層層.f1,fk表示各層運(yùn)用的傳輸函數(shù)，默以表示各層運(yùn)用的傳輸函數(shù)，默以為為tansig，即，即Sigmoid函數(shù)。還可運(yùn)用函函數(shù)。還可運(yùn)用函數(shù)數(shù)purelin，即，即f(x)=x。其它可看其它可看matlab協(xié)助協(xié)助: help newfflnet.IW：來自輸入層的加權(quán)矩陣。：來自輸入層的加權(quán)矩陣。BP網(wǎng)絡(luò)網(wǎng)絡(luò)只用只用net.IW1,表示各個(gè)輸入變量對第表示各個(gè)輸入變量對第1層各層各節(jié)點(diǎn)的加權(quán)矩陣。節(jié)點(diǎn)的加權(quán)矩陣。lnet.LW：來自中間層

5、的加權(quán)向量。：來自中間層的加權(quán)向量。 BP網(wǎng)絡(luò)網(wǎng)絡(luò)用用net.IW2,1表示第表示第1隱層個(gè)節(jié)點(diǎn)向下一層隱層個(gè)節(jié)點(diǎn)向下一層個(gè)節(jié)點(diǎn)的加權(quán)矩陣；個(gè)節(jié)點(diǎn)的加權(quán)矩陣； net.IW3,2表示第表示第2隱隱層向下一層的加權(quán)矩陣層向下一層的加權(quán)矩陣lnet.b：各層的偏移。：各層的偏移。Net.b1表示第表示第1隱層隱層個(gè)節(jié)點(diǎn)的偏移個(gè)節(jié)點(diǎn)的偏移lnet.trainParam.epochs：最大訓(xùn)練步數(shù)。不過：最大訓(xùn)練步數(shù)。不過當(dāng)誤差準(zhǔn)那么滿足時(shí)，即使沒到達(dá)此步數(shù)也當(dāng)誤差準(zhǔn)那么滿足時(shí)，即使沒到達(dá)此步數(shù)也停頓訓(xùn)練。缺省為停頓訓(xùn)練。缺省為100。lnet.trainParam.goad：網(wǎng)絡(luò)誤差準(zhǔn)那么，當(dāng)誤：網(wǎng)

6、絡(luò)誤差準(zhǔn)那么，當(dāng)誤差小于此準(zhǔn)那么時(shí)停頓訓(xùn)練，缺省為差小于此準(zhǔn)那么時(shí)停頓訓(xùn)練，缺省為0。lnet.trainFcn：訓(xùn)練算法。缺省為：訓(xùn)練算法。缺省為 trainlm，即即Levenberg-Marquardt算法。還可運(yùn)用算法。還可運(yùn)用traingdx，即帶動(dòng)量的梯度下降算，即帶動(dòng)量的梯度下降算法；法；traincgf，即共軛梯度法。，即共軛梯度法。l其它可看其它可看matlab協(xié)助協(xié)助:help-contents- Neural Network Toobox- Network Object Reference;lhelp(net.trainFcn)lhelp newfflCaution: t

7、rainlm is the default training function because it is very fast, but it requires a lot of memory to run. If you get an out-of-memory error when training try doing one of these: lSlow trainlm training, but reduce memory requirements by setting net.trainParam.mem_reduc to 2 or more. (See help trainlm.

8、)l Use trainbfg, which is slower but more memory-efficient than trainlm.l Use trainrp, which is slower but more memory-efficient than trainbfg. net,tr,Y1,E=train(net,X,Y);net是函數(shù)是函數(shù)newff建立的數(shù)據(jù)對象。建立的數(shù)據(jù)對象。X為為n*m的矩陣的矩陣, n為輸入變量個(gè)數(shù)為輸入變量個(gè)數(shù), m為樣本數(shù)為樣本數(shù)(即把每個(gè)樣本是一個(gè)即把每個(gè)樣本是一個(gè)列向量列向量)。Y為為k*m的矩陣的矩陣, k為數(shù)出變量個(gè)數(shù)。為數(shù)出變量個(gè)數(shù)。t

9、r前往訓(xùn)練的跟蹤信息前往訓(xùn)練的跟蹤信息, tr.epochs為為訓(xùn)練步數(shù)訓(xùn)練步數(shù), tr.perf為各步目的函數(shù)為各步目的函數(shù)的值。的值。Y1和和E前往網(wǎng)絡(luò)最終的輸出和誤差。前往網(wǎng)絡(luò)最終的輸出和誤差。訓(xùn)練終了后可以用訓(xùn)練終了后可以用plotperf(tr)來繪來繪制目的值隨著訓(xùn)練步數(shù)變化的曲制目的值隨著訓(xùn)練步數(shù)變化的曲線。線。Y=sim(net,X);net是函數(shù)是函數(shù)newff建立的數(shù)據(jù)對象。建立的數(shù)據(jù)對象。X為為n*m的矩陣的矩陣, n為輸入變量個(gè)數(shù)為輸入變量個(gè)數(shù), m為樣本數(shù)為樣本數(shù)(即把每個(gè)樣本是一個(gè)即把每個(gè)樣本是一個(gè)行向量行向量)。Y為為k*m的矩陣的矩陣, k為數(shù)出變量個(gè)數(shù)。為數(shù)出

10、變量個(gè)數(shù)。l1實(shí)際研討：實(shí)際研討：ANN模型及其學(xué)習(xí)算法，試圖從模型及其學(xué)習(xí)算法，試圖從數(shù)學(xué)上描畫數(shù)學(xué)上描畫ANN的動(dòng)力學(xué)過程，建立相應(yīng)的的動(dòng)力學(xué)過程，建立相應(yīng)的ANN模模型，在該模型的根底上，對于給定的學(xué)習(xí)樣本，找型，在該模型的根底上，對于給定的學(xué)習(xí)樣本，找出一種能以較快的速度和較高的精度調(diào)整神經(jīng)元間出一種能以較快的速度和較高的精度調(diào)整神經(jīng)元間互連權(quán)值，使系統(tǒng)到達(dá)穩(wěn)定形狀，滿足學(xué)習(xí)要求的互連權(quán)值，使系統(tǒng)到達(dá)穩(wěn)定形狀，滿足學(xué)習(xí)要求的算法。算法。l2實(shí)現(xiàn)技術(shù)的研討：討論利用電子、光學(xué)、生實(shí)現(xiàn)技術(shù)的研討：討論利用電子、光學(xué)、生物等技術(shù)實(shí)現(xiàn)神經(jīng)計(jì)算機(jī)的途徑。物等技術(shù)實(shí)現(xiàn)神經(jīng)計(jì)算機(jī)的途徑。l3運(yùn)用的研

11、討：討論如何運(yùn)用運(yùn)用的研討：討論如何運(yùn)用ANN處理實(shí)踐問處理實(shí)踐問題，如方式識(shí)別、缺點(diǎn)檢測、智能機(jī)器人等。題，如方式識(shí)別、缺點(diǎn)檢測、智能機(jī)器人等。l(1)(1)經(jīng)過提示物理平面與認(rèn)知平面之間的映射，了解經(jīng)過提示物理平面與認(rèn)知平面之間的映射，了解它們相互聯(lián)絡(luò)和相互作用的機(jī)理，從而提示思想的本它們相互聯(lián)絡(luò)和相互作用的機(jī)理，從而提示思想的本質(zhì)，探求智能的根源。質(zhì)，探求智能的根源。l(2)(2)爭取構(gòu)造出盡能夠與人腦具有類似功能的計(jì)算機(jī)，爭取構(gòu)造出盡能夠與人腦具有類似功能的計(jì)算機(jī)，即即ANNANN計(jì)算機(jī)。計(jì)算機(jī)。l(3)(3)研討仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在方式研討仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，

12、將在方式識(shí)別、組合優(yōu)化和決策判別等方面獲得傳統(tǒng)計(jì)算機(jī)所識(shí)別、組合優(yōu)化和決策判別等方面獲得傳統(tǒng)計(jì)算機(jī)所難以到達(dá)的效果。難以到達(dá)的效果。 l1ANN研討遭到腦科學(xué)研討成果的限制。研討遭到腦科學(xué)研討成果的限制。 l2ANN短少一個(gè)完好、成熟的實(shí)際體系。短少一個(gè)完好、成熟的實(shí)際體系。l3ANN研討帶有濃重的戰(zhàn)略和閱歷顏色。研討帶有濃重的戰(zhàn)略和閱歷顏色。l4ANN與傳統(tǒng)技術(shù)的接口不成熟。與傳統(tǒng)技術(shù)的接口不成熟。 l l 普通而言普通而言, ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越與經(jīng)典計(jì)算方法相比并非優(yōu)越, 只需當(dāng)常規(guī)方法處理不了或效果不佳時(shí)只需當(dāng)常規(guī)方法處理不了或效果不佳時(shí)ANN方法才方法才干顯示出其優(yōu)越性。

13、尤其對問題的機(jī)理不甚了解或干顯示出其優(yōu)越性。尤其對問題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng)不能用數(shù)學(xué)模型表示的系統(tǒng),如缺點(diǎn)診斷、特征提取如缺點(diǎn)診斷、特征提取和預(yù)測等問題和預(yù)測等問題,ANN往往是最有利的工具。另一方面往往是最有利的工具。另一方面, ANN對處置大量原始數(shù)據(jù)而不能用規(guī)那么或公式描對處置大量原始數(shù)據(jù)而不能用規(guī)那么或公式描畫的問題畫的問題, 表現(xiàn)出極大的靈敏性和自順應(yīng)性。表現(xiàn)出極大的靈敏性和自順應(yīng)性。l非線性映照才干：神經(jīng)網(wǎng)絡(luò)能以恣意精度逼非線性映照才干：神經(jīng)網(wǎng)絡(luò)能以恣意精度逼近任何非線性延續(xù)函數(shù)。在建模過程中的許近任何非線性延續(xù)函數(shù)。在建模過程中的許多問題正是具有高度的非線性。

14、多問題正是具有高度的非線性。l并行分布處置方式：在神經(jīng)網(wǎng)絡(luò)中信息是分并行分布處置方式：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲(chǔ)存和并行處置的，這使它具有很強(qiáng)的容布儲(chǔ)存和并行處置的，這使它具有很強(qiáng)的容錯(cuò)性和很快的處置速度。錯(cuò)性和很快的處置速度。l 自學(xué)習(xí)和自順應(yīng)才干：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，能自學(xué)習(xí)和自順應(yīng)才干：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識(shí)，從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識(shí)，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化才干，即將記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化才干，即將這組權(quán)值運(yùn)用于普通情形的才干。神經(jīng)網(wǎng)絡(luò)的這組權(quán)值運(yùn)用于普通情形的才干。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進(jìn)展。學(xué)習(xí)也可以在線進(jìn)展。l 數(shù)據(jù)交

15、融的才干：神經(jīng)網(wǎng)絡(luò)可以同時(shí)處置定量數(shù)據(jù)交融的才干：神經(jīng)網(wǎng)絡(luò)可以同時(shí)處置定量信息和定性信息，因此它可以利用傳統(tǒng)的工程信息和定性信息，因此它可以利用傳統(tǒng)的工程技術(shù)數(shù)值運(yùn)算和人工智能技術(shù)符號處技術(shù)數(shù)值運(yùn)算和人工智能技術(shù)符號處置。置。l 多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是恣意的，對單變量系統(tǒng)與多變量系統(tǒng)提供目是恣意的，對單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描畫方式，不用思索各子系統(tǒng)間了一種通用的描畫方式，不用思索各子系統(tǒng)間的解耦問題。的解耦問題。lBP網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生變量影響因子或自變量數(shù)，普通根據(jù)

16、專變量影響因子或自變量數(shù)，普通根據(jù)專業(yè)知識(shí)確定。假設(shè)輸入變量較多，普通可經(jīng)業(yè)知識(shí)確定。假設(shè)輸入變量較多，普通可經(jīng)過主成份分析方法壓減輸入變量，也可根據(jù)過主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。的比值的大小來壓減輸入變量。l輸出變量即為系統(tǒng)待分析的外生變量系統(tǒng)輸出變量即為系統(tǒng)待分析的外生變量系統(tǒng)性能目的或因變量，可以是一個(gè)，也可以性能目的或因變量，可以是一個(gè)，也可以是多個(gè)。普通將一個(gè)具有多個(gè)輸出的網(wǎng)絡(luò)模是多個(gè)。普通將一個(gè)具有多個(gè)輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個(gè)具有一個(gè)輸出的網(wǎng)絡(luò)模型效果型轉(zhuǎn)化為多個(gè)具有一個(gè)

17、輸出的網(wǎng)絡(luò)模型效果會(huì)更好，訓(xùn)練也更方便。會(huì)更好，訓(xùn)練也更方便。l 由于由于BP神經(jīng)網(wǎng)絡(luò)的隱層普通采用神經(jīng)網(wǎng)絡(luò)的隱層普通采用Sigmoid轉(zhuǎn)換函數(shù)，為提高訓(xùn)練速度和靈敏性以及轉(zhuǎn)換函數(shù)，為提高訓(xùn)練速度和靈敏性以及有效避開有效避開Sigmoid函數(shù)的飽和區(qū)函數(shù)的飽和區(qū)(即輸入值即輸入值假設(shè)大于假設(shè)大于1，那么取為，那么取為1)，普通要求輸入數(shù)，普通要求輸入數(shù)據(jù)的值在據(jù)的值在01之間之間(每個(gè)數(shù)都除于最大值每個(gè)數(shù)都除于最大值)。l假設(shè)輸出層節(jié)點(diǎn)也采用假設(shè)輸出層節(jié)點(diǎn)也采用Sigmoid轉(zhuǎn)換函數(shù)，轉(zhuǎn)換函數(shù)，輸出變量也必需作相應(yīng)的預(yù)處置，為保證輸出變量也必需作相應(yīng)的預(yù)處置，為保證建立的模型具有一定的外推才干

18、，最好使建立的模型具有一定的外推才干，最好使數(shù)據(jù)預(yù)處置后的輸出變量的值在數(shù)據(jù)預(yù)處置后的輸出變量的值在0.20.8之之間。間。l預(yù)處置的數(shù)據(jù)訓(xùn)練完成后，網(wǎng)絡(luò)輸出的結(jié)預(yù)處置的數(shù)據(jù)訓(xùn)練完成后，網(wǎng)絡(luò)輸出的結(jié)果要進(jìn)展反變換才干得到實(shí)踐值。果要進(jìn)展反變換才干得到實(shí)踐值。l 普通以為，添加隱層數(shù)可以降低網(wǎng)絡(luò)誤差也有文普通以為，添加隱層數(shù)可以降低網(wǎng)絡(luò)誤差也有文獻(xiàn)以為不一定能有效降低，提高精度，但也使網(wǎng)獻(xiàn)以為不一定能有效降低，提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而添加了網(wǎng)絡(luò)的訓(xùn)練時(shí)間和出現(xiàn)絡(luò)復(fù)雜化，從而添加了網(wǎng)絡(luò)的訓(xùn)練時(shí)間和出現(xiàn)“過擬過擬合的傾向。合的傾向。l Hornik等早已證明：假設(shè)輸入層和輸出層采用線性等早已

19、證明：假設(shè)輸入層和輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，那么含一個(gè)轉(zhuǎn)換函數(shù)，那么含一個(gè)隱層的隱層的MLP網(wǎng)絡(luò)可以以恣意精度逼近任何有理函數(shù)。網(wǎng)絡(luò)可以以恣意精度逼近任何有理函數(shù)。顯然，這是一個(gè)存在性結(jié)論。在設(shè)計(jì)顯然，這是一個(gè)存在性結(jié)論。在設(shè)計(jì)BP網(wǎng)絡(luò)時(shí)可參網(wǎng)絡(luò)時(shí)可參考這一點(diǎn)，應(yīng)優(yōu)先思索考這一點(diǎn)，應(yīng)優(yōu)先思索3層層BP網(wǎng)絡(luò)網(wǎng)絡(luò)(即有即有1個(gè)隱層個(gè)隱層+輸輸入層輸出層入層輸出層)。普通地，靠添加隱層節(jié)點(diǎn)數(shù)來獲得較。普通地，靠添加隱層節(jié)點(diǎn)數(shù)來獲得較低的誤差，其訓(xùn)練效果要比添加隱層數(shù)更容易實(shí)現(xiàn)。低的誤差，其訓(xùn)練效果要比添加隱層數(shù)更容易實(shí)現(xiàn)。l 對于沒有隱層的神經(jīng)網(wǎng)絡(luò)模型

20、，實(shí)踐上就是一個(gè)線對于沒有隱層的神經(jīng)網(wǎng)絡(luò)模型，實(shí)踐上就是一個(gè)線性或非線性取決于輸出層采用線性或非線性轉(zhuǎn)換性或非線性取決于輸出層采用線性或非線性轉(zhuǎn)換函數(shù)型式回歸模型。函數(shù)型式回歸模型。l在在BP 網(wǎng)絡(luò)中，隱層節(jié)點(diǎn)數(shù)的選擇非常重要，網(wǎng)絡(luò)中，隱層節(jié)點(diǎn)數(shù)的選擇非常重要，它不僅對建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響它不僅對建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時(shí)出現(xiàn)很大，而且是訓(xùn)練時(shí)出現(xiàn)“過擬合的直接過擬合的直接緣由，但是目前實(shí)際上還沒有一種科學(xué)的緣由，但是目前實(shí)際上還沒有一種科學(xué)的和普遍確實(shí)定方法。和普遍確實(shí)定方法。l確定隱層節(jié)點(diǎn)數(shù)的最根本原那么是：在滿確定隱層節(jié)點(diǎn)數(shù)的最根本原那么是：在滿足精度要求的前

21、提下取盡能夠緊湊的構(gòu)造，足精度要求的前提下取盡能夠緊湊的構(gòu)造，即取盡能夠少的隱層節(jié)點(diǎn)數(shù)。即取盡能夠少的隱層節(jié)點(diǎn)數(shù)。l研討闡明，隱層節(jié)點(diǎn)數(shù)不僅與輸入研討闡明，隱層節(jié)點(diǎn)數(shù)不僅與輸入/輸出層輸出層的節(jié)點(diǎn)數(shù)有關(guān)，更與需處理的問題的復(fù)雜的節(jié)點(diǎn)數(shù)有關(guān)，更與需處理的問題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性等要素有關(guān)。性等要素有關(guān)。在確定隱層節(jié)點(diǎn)數(shù)時(shí)必需滿足以下條件：在確定隱層節(jié)點(diǎn)數(shù)時(shí)必需滿足以下條件：(1)隱層節(jié)點(diǎn)數(shù)必需小于隱層節(jié)點(diǎn)數(shù)必需小于N-1其中其中N為訓(xùn)練樣為訓(xùn)練樣本數(shù)，否那么，網(wǎng)絡(luò)模型的系統(tǒng)誤差與訓(xùn)本數(shù)，否那么，網(wǎng)絡(luò)模型的系統(tǒng)誤差與訓(xùn)練樣本的特性無關(guān)而趨

22、于零，即建立的網(wǎng)絡(luò)練樣本的特性無關(guān)而趨于零，即建立的網(wǎng)絡(luò)模型沒有泛化才干，也沒有任何適用價(jià)值。模型沒有泛化才干，也沒有任何適用價(jià)值。同理可推得：輸入層的節(jié)點(diǎn)數(shù)變量數(shù)必同理可推得：輸入層的節(jié)點(diǎn)數(shù)變量數(shù)必需小于需小于N-1。(2) 訓(xùn)練樣本數(shù)必需多于網(wǎng)絡(luò)模型的銜接權(quán)數(shù)，訓(xùn)練樣本數(shù)必需多于網(wǎng)絡(luò)模型的銜接權(quán)數(shù)，普通為普通為210倍，否那么，樣本必需分成幾部倍，否那么，樣本必需分成幾部分并采用分并采用“輪番訓(xùn)練的方法才能夠得到可輪番訓(xùn)練的方法才能夠得到可靠的神經(jīng)網(wǎng)絡(luò)模型。靠的神經(jīng)網(wǎng)絡(luò)模型。 l 由于由于BP網(wǎng)絡(luò)采用誤差反傳算法，其本質(zhì)是一個(gè)無網(wǎng)絡(luò)采用誤差反傳算法，其本質(zhì)是一個(gè)無約束的非線性最優(yōu)化計(jì)算過程

23、，在網(wǎng)絡(luò)構(gòu)造較大時(shí)約束的非線性最優(yōu)化計(jì)算過程，在網(wǎng)絡(luò)構(gòu)造較大時(shí)不僅計(jì)算時(shí)間長，而且很容易限入部分極小點(diǎn)而得不僅計(jì)算時(shí)間長，而且很容易限入部分極小點(diǎn)而得不到最優(yōu)結(jié)果。不到最優(yōu)結(jié)果。l 目前雖已有改良目前雖已有改良BP法、遺傳算法法、遺傳算法GA和模擬退和模擬退火算法等多種優(yōu)化方法用于火算法等多種優(yōu)化方法用于BP網(wǎng)絡(luò)的訓(xùn)練網(wǎng)絡(luò)的訓(xùn)練(這些方這些方法從原理上講可經(jīng)過調(diào)整某些參數(shù)求得全局極小法從原理上講可經(jīng)過調(diào)整某些參數(shù)求得全局極小點(diǎn)點(diǎn))，但在運(yùn)用中，這些參數(shù)的調(diào)整往往因問題不，但在運(yùn)用中，這些參數(shù)的調(diào)整往往因問題不同而異，較難求得全局極小點(diǎn)。同而異，較難求得全局極小點(diǎn)。l 這些方法中運(yùn)用最廣的是添加

24、了沖量動(dòng)量項(xiàng)的這些方法中運(yùn)用最廣的是添加了沖量動(dòng)量項(xiàng)的改良改良BP算法。算法。 l 學(xué)習(xí)率學(xué)習(xí)率影響系統(tǒng)學(xué)習(xí)過程的穩(wěn)定性。大的學(xué)習(xí)率影響系統(tǒng)學(xué)習(xí)過程的穩(wěn)定性。大的學(xué)習(xí)率能夠使網(wǎng)絡(luò)權(quán)值每一次的修正量過大，甚至?xí)?dǎo)能夠使網(wǎng)絡(luò)權(quán)值每一次的修正量過大，甚至?xí)?dǎo)致權(quán)值在修正過程中超出某個(gè)誤差的極小值呈不致權(quán)值在修正過程中超出某個(gè)誤差的極小值呈不規(guī)那么騰躍而不收斂；但過小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)規(guī)那么騰躍而不收斂；但過小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)時(shí)間過長，不過能保證收斂于某個(gè)極小值。所以，時(shí)間過長，不過能保證收斂于某個(gè)極小值。所以，普通傾向選取較小的學(xué)習(xí)率以保證學(xué)習(xí)過程的收普通傾向選取較小的學(xué)習(xí)率以保證學(xué)習(xí)過程的收斂性穩(wěn)定

25、性，通常在斂性穩(wěn)定性，通常在0.010.8之間。之間。l 添加沖量項(xiàng)添加沖量項(xiàng)的目的是為了防止網(wǎng)絡(luò)訓(xùn)練陷于較淺的目的是為了防止網(wǎng)絡(luò)訓(xùn)練陷于較淺的部分極小點(diǎn)。實(shí)際上其值大小應(yīng)與權(quán)值修正量的部分極小點(diǎn)。實(shí)際上其值大小應(yīng)與權(quán)值修正量的大小有關(guān)，但實(shí)踐運(yùn)用中普通取常量。通常在的大小有關(guān)，但實(shí)踐運(yùn)用中普通取常量。通常在01之間，而且普通比學(xué)習(xí)率要大。之間，而且普通比學(xué)習(xí)率要大。 l BP算法決議了誤差函數(shù)普通存在很多個(gè)部分極算法決議了誤差函數(shù)普通存在很多個(gè)部分極小點(diǎn)，不同的網(wǎng)絡(luò)初始權(quán)值直接決議了小點(diǎn)，不同的網(wǎng)絡(luò)初始權(quán)值直接決議了BP算法收斂算法收斂于哪個(gè)部分極小點(diǎn)或是全局極小點(diǎn)。因此，要求計(jì)于哪個(gè)部分極

26、小點(diǎn)或是全局極小點(diǎn)。因此，要求計(jì)算程序算程序(matlab)必需經(jīng)過多次通常是幾十次改動(dòng)必需經(jīng)過多次通常是幾十次改動(dòng)網(wǎng)絡(luò)初始銜接權(quán)值求得相應(yīng)的極小點(diǎn)，才干經(jīng)過比網(wǎng)絡(luò)初始銜接權(quán)值求得相應(yīng)的極小點(diǎn)，才干經(jīng)過比較這些極小點(diǎn)的網(wǎng)絡(luò)誤差的大小，確定全局極小點(diǎn)。較這些極小點(diǎn)的網(wǎng)絡(luò)誤差的大小，確定全局極小點(diǎn)。由于由于Sigmoid轉(zhuǎn)換函數(shù)的特性，普通要求初始權(quán)值分轉(zhuǎn)換函數(shù)的特性，普通要求初始權(quán)值分布在布在-0.50.5之間比較有效。之間比較有效。l 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程本質(zhì)上是求非線性函數(shù)的極小神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程本質(zhì)上是求非線性函數(shù)的極小點(diǎn)問題，因此，即使網(wǎng)絡(luò)誤差一樣，各個(gè)網(wǎng)絡(luò)銜接點(diǎn)問題，因此，即使網(wǎng)絡(luò)誤差一

27、樣，各個(gè)網(wǎng)絡(luò)銜接權(quán)值也能夠有較大的差別，這有時(shí)也會(huì)使各個(gè)輸入權(quán)值也能夠有較大的差別，這有時(shí)也會(huì)使各個(gè)輸入變量的重要性發(fā)生變化，檢驗(yàn)樣本和測試樣本的網(wǎng)變量的重要性發(fā)生變化，檢驗(yàn)樣本和測試樣本的網(wǎng)絡(luò)計(jì)算結(jié)果會(huì)產(chǎn)生很大變化，即多方式景象。絡(luò)計(jì)算結(jié)果會(huì)產(chǎn)生很大變化，即多方式景象。l由于訓(xùn)練樣本的誤差可以到達(dá)很小，因此，由于訓(xùn)練樣本的誤差可以到達(dá)很小，因此，用從總樣本中隨機(jī)抽取的一部分測試樣本用從總樣本中隨機(jī)抽取的一部分測試樣本的誤差表示網(wǎng)絡(luò)模型計(jì)算和預(yù)測所具有的的誤差表示網(wǎng)絡(luò)模型計(jì)算和預(yù)測所具有的精度網(wǎng)絡(luò)性能是合理的和可靠的。精度網(wǎng)絡(luò)性能是合理的和可靠的。l值得留意的是，判別網(wǎng)絡(luò)模型泛化才干的值得留意的是，判別網(wǎng)絡(luò)模型泛化才干的好壞，主要不是看測試樣本誤差大小的本好壞，主要不是看測試樣本誤差大小的本身，而是要看測試樣本的誤差能否接近于身，而是要看測試樣本的誤差能否接近于訓(xùn)練樣本和檢驗(yàn)樣本的誤差。訓(xùn)練樣本和檢驗(yàn)樣本的誤差。實(shí)驗(yàn)號實(shí)驗(yàn)號臭氧濃度臭氧濃度(mg/L)入口入口UV254UV254去除率去除率(%)11.160.11650.221.350.10459.531.720.07858.841.860.10766.251.9