第5章 人工神經(jīng)網(wǎng)絡(luò)matlab工具箱

1、模式識別講義模式識別講義第第5章章 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)xxx嘉應(yīng)學院 matlab神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)工具箱l0 引例引例:神經(jīng)網(wǎng)絡(luò)函數(shù)擬合神經(jīng)網(wǎng)絡(luò)函數(shù)擬合(預測預測)l1 matlab神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)工具箱l2 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)(ann)簡介簡介l3 前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)(bp網(wǎng)絡(luò)網(wǎng)絡(luò))l4 實例：多元神經(jīng)網(wǎng)絡(luò)預測實例：多元神經(jīng)網(wǎng)絡(luò)預測l5 實驗：神經(jīng)網(wǎng)絡(luò)分類實驗：神經(jīng)網(wǎng)絡(luò)分類試構(gòu)造合適的神經(jīng)網(wǎng)絡(luò)模型擬合如下數(shù)據(jù)點試構(gòu)造合適的神經(jīng)網(wǎng)絡(luò)模型擬合如下數(shù)據(jù)點,并預測并預測x=10的值的值:x00.511.522.533.544.5y00.430.690.740.610.3

2、60.08-0.17-0.34-0.4x55.566.577.588.599.5y-0.35-0.23-0.080.060.160.210.20.150.07-0.01lx=0:0.5:9.5;ly=0, 0.43, 0.69, 0.74, 0.61, 0.36, 0.08, -0.17, -0.34, -0.4, -0.35, -0.23, -0.08, 0.06, 0.16, 0.21, 0.2, 0.15, 0.07;lnet = newff(0,9.5,5, 1);lnet.trainparam.epochs=100; lnet.trainparam.goad=0.000001;lne

3、t = train(net,x,y);lx1=0:0.1:10;ly1=sim(net,x1);lfigure; plot(x,y,.);hold on; plot(x1,y1,r);ffffffxyw11w12w13w14w15w21w22w23w24w25b1b2b3b4b5b221( )1xxef xey = f(w21*f(w11*x+b1) + + w25*f(w15*x+b5)+ b ) w1=net.iw1;w2=net.lw2;b1=net.b1;b2=net.b2;a = tansig(w1*x0 + b1);y = tansig(w2*a + b2)sigmoid函數(shù)函數(shù)n

4、et=newff(xm,xm,h1,hk,f1,fk);lxm,xm分別為列向量分別為列向量(行數(shù)為變量個數(shù)行數(shù)為變量個數(shù))，分別，分別存儲每個變量的最小值和最大值。存儲每個變量的最小值和最大值。lh1,hk表示網(wǎng)絡(luò)各層的節(jié)點數(shù)表示網(wǎng)絡(luò)各層的節(jié)點數(shù), 一共有一共有k層層.lf1,fk表示各層使用的傳輸函數(shù)，默認表示各層使用的傳輸函數(shù)，默認為為tansig，即，即sigmoid函數(shù)。還可使用函函數(shù)。還可使用函數(shù)數(shù)purelin，即，即f(x)=x。l其它可看其它可看matlab幫助幫助: help newfflnet.iw：來自輸入層的加權(quán)矩陣。：來自輸入層的加權(quán)矩陣。bp網(wǎng)絡(luò)網(wǎng)絡(luò)只用只用net

5、.iw1,表示各個輸入變量對第表示各個輸入變量對第1層各層各節(jié)點的加權(quán)矩陣。節(jié)點的加權(quán)矩陣。lnet.lw：來自中間層的加權(quán)向量。：來自中間層的加權(quán)向量。 bp網(wǎng)絡(luò)網(wǎng)絡(luò)用用net.iw2,1表示第表示第1隱層個節(jié)點向下一層隱層個節(jié)點向下一層個節(jié)點的加權(quán)矩陣；個節(jié)點的加權(quán)矩陣； net.iw3,2表示第表示第2隱隱層向下一層的加權(quán)矩陣層向下一層的加權(quán)矩陣lnet.b：各層的偏移。：各層的偏移。net.b1表示第表示第1隱層隱層個節(jié)點的偏移個節(jié)點的偏移lnet.trainparam.epochs：最大訓練步數(shù)。不過：最大訓練步數(shù)。不過當誤差準則滿足時，即使沒達到此步數(shù)也停當誤差準則滿足時，即使沒達

6、到此步數(shù)也停止訓練。缺省為止訓練。缺省為100。lnet.trainparam.goad：網(wǎng)絡(luò)誤差準則，當誤差：網(wǎng)絡(luò)誤差準則，當誤差小于此準則時停止訓練，缺省為小于此準則時停止訓練，缺省為0。lnet.trainfcn：訓練算法。缺省為：訓練算法。缺省為 trainlm，即即levenberg-marquardt算法。還可使用算法。還可使用traingdx，即帶動量的梯度下降算，即帶動量的梯度下降算法；法；traincgf，即共軛梯度法。，即共軛梯度法。l其它可看其它可看matlab幫助幫助:help-contents- neural network toobox- network objec

7、t reference;lhelp(net.trainfcn)lhelp newfflcaution: trainlm is the default training function because it is very fast, but it requires a lot of memory to run. if you get an out-of-memory error when training try doing one of these: slow trainlm training, but reduce memory requirements by setting net.t

8、rainparam.mem_reduc to 2 or more. (see help trainlm.) use trainbfg, which is slower but more memory-efficient than trainlm. use trainrp, which is slower but more memory-efficient than trainbfg. net,tr,y1,e=train(net,x,y);lnet是函數(shù)是函數(shù)newff建立的數(shù)據(jù)對象。建立的數(shù)據(jù)對象。lx為為n*m的矩陣的矩陣, n為輸入變量個數(shù)為輸入變量個數(shù), m為樣為樣本數(shù)本數(shù)(即把每個樣本

9、是一個列向量即把每個樣本是一個列向量)。ly為為k*m的矩陣的矩陣, k為數(shù)出變量個數(shù)。為數(shù)出變量個數(shù)。ltr返回訓練的跟蹤信息返回訓練的跟蹤信息, tr.epochs為訓練步為訓練步數(shù)數(shù), tr.perf為各步目標函數(shù)的值。為各步目標函數(shù)的值。ly1和和e返回網(wǎng)絡(luò)最終的輸出和誤差。返回網(wǎng)絡(luò)最終的輸出和誤差。l訓練結(jié)束后可以用訓練結(jié)束后可以用plotperf(tr)來繪制目標來繪制目標值隨著訓練步數(shù)變化的曲線。值隨著訓練步數(shù)變化的曲線。y=sim(net,x);lnet是函數(shù)是函數(shù)newff建立的數(shù)據(jù)對象。建立的數(shù)據(jù)對象。lx為為n*m的矩陣的矩陣, n為輸入變量個數(shù)為輸入變量個數(shù), m為樣為

10、樣本數(shù)本數(shù)(即把每個樣本是一個行向量即把每個樣本是一個行向量)。ly為為k*m的矩陣的矩陣, k為數(shù)出變量個數(shù)。為數(shù)出變量個數(shù)。l（1）理論研究理論研究：ann模型及其學習算法，試圖從模型及其學習算法，試圖從數(shù)學上描述數(shù)學上描述ann的動力學過程，建立相應(yīng)的的動力學過程，建立相應(yīng)的ann模模型，在該模型的基礎(chǔ)上，對于給定的學習樣本，找型，在該模型的基礎(chǔ)上，對于給定的學習樣本，找出一種能以較快的速度和較高的精度調(diào)整神經(jīng)元間出一種能以較快的速度和較高的精度調(diào)整神經(jīng)元間互連權(quán)值，使系統(tǒng)達到穩(wěn)定狀態(tài)，滿足學習要求的互連權(quán)值，使系統(tǒng)達到穩(wěn)定狀態(tài)，滿足學習要求的算法。算法。l（2）實現(xiàn)技術(shù)的研究實現(xiàn)技術(shù)的

11、研究：探討利用電子、光學、生：探討利用電子、光學、生物等技術(shù)實現(xiàn)神經(jīng)計算機的途徑。物等技術(shù)實現(xiàn)神經(jīng)計算機的途徑。l（3）應(yīng)用的研究應(yīng)用的研究：探討如何應(yīng)用：探討如何應(yīng)用ann解決實際問解決實際問題，如模式識別、故障檢測、智能機器人等。題，如模式識別、故障檢測、智能機器人等。l(1)(1)通過揭示物理平面與認知平面之間的映射，了解通過揭示物理平面與認知平面之間的映射，了解它們相互聯(lián)系和相互作用的機理，從而揭示思維的本它們相互聯(lián)系和相互作用的機理，從而揭示思維的本質(zhì)，探索智能的本源。質(zhì)，探索智能的本源。l(2)(2)爭取構(gòu)造出盡可能與人腦具有相似功能的計算機，爭取構(gòu)造出盡可能與人腦具有相似功能的計

12、算機，即即annann計算機。計算機。l(3)研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在模式研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在模式識別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計算機所識別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計算機所難以達到的效果。難以達到的效果。 l（1）ann研究受到腦科學研究成果的限制。研究受到腦科學研究成果的限制。 l（2）ann缺少一個完整、成熟的理論體系。缺少一個完整、成熟的理論體系。l（3）ann研究帶有濃厚的策略和經(jīng)驗色彩。研究帶有濃厚的策略和經(jīng)驗色彩。l（4）ann與傳統(tǒng)技術(shù)的接口不成熟。與傳統(tǒng)技術(shù)的接口不成熟。 l l 一般而言一般而言, ann與經(jīng)典計算方法相比與經(jīng)

13、典計算方法相比并非優(yōu)越并非優(yōu)越, 只有當常規(guī)方法解決不了或效果不佳時只有當常規(guī)方法解決不了或效果不佳時ann方法才方法才能顯示出其優(yōu)越性。尤其對問題的機理不甚了解或能顯示出其優(yōu)越性。尤其對問題的機理不甚了解或不能用數(shù)學模型表示的系統(tǒng)不能用數(shù)學模型表示的系統(tǒng),如故障診斷、特征提取如故障診斷、特征提取和預測等問題和預測等問題,ann往往是最有利的工具。另一方面往往是最有利的工具。另一方面, ann對處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述對處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問題的問題, 表現(xiàn)出極大的靈活性和自適應(yīng)性。表現(xiàn)出極大的靈活性和自適應(yīng)性。3 前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)(bp網(wǎng)絡(luò)網(wǎng)絡(luò))3.

14、1 前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)(bp網(wǎng)絡(luò)網(wǎng)絡(luò))的特點的特點l非線性映照能力非線性映照能力：神經(jīng)網(wǎng)絡(luò)能以任意精度逼：神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過程中的許近任何非線性連續(xù)函數(shù)。在建模過程中的許多問題正是具有高度的非線性。多問題正是具有高度的非線性。l并行分布處理方式并行分布處理方式：在神經(jīng)網(wǎng)絡(luò)中信息是分：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲存和并行處理的，這使它具有很強的容布儲存和并行處理的，這使它具有很強的容錯性和很快的處理速度。錯性和很快的處理速度。l 自學習和自適應(yīng)能力自學習和自適應(yīng)能力：神經(jīng)網(wǎng)絡(luò)在訓練時，能：神經(jīng)網(wǎng)絡(luò)在訓練時，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識，從輸入、輸出

15、的數(shù)據(jù)中提取出規(guī)律性的知識，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，即將記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，即將這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的學習也可以在線進行。學習也可以在線進行。l 數(shù)據(jù)融合的能力數(shù)據(jù)融合的能力：神經(jīng)網(wǎng)絡(luò)可以同時處理定量：神經(jīng)網(wǎng)絡(luò)可以同時處理定量信息和定性信息，因此它可以利用傳統(tǒng)的工程信息和定性信息，因此它可以利用傳統(tǒng)的工程技術(shù)（數(shù)值運算）和人工智能技術(shù)（符號處技術(shù)（數(shù)值運算）和人工智能技術(shù)（符號處理）。理）。l 多變量系統(tǒng)多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的，對單變量系統(tǒng)與多變量系統(tǒng)

16、提供目是任意的，對單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式，不必考慮各子系統(tǒng)間了一種通用的描述方式，不必考慮各子系統(tǒng)間的解耦問題。的解耦問題。3.2 輸入輸入/輸出變量的確定輸出變量的確定lbp網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生變量（影響因子或自變量）數(shù)，一般根據(jù)專變量（影響因子或自變量）數(shù)，一般根據(jù)專業(yè)知識確定。業(yè)知識確定。若輸入變量較多，一般可通過若輸入變量較多，一般可通過主成份分析方法壓減輸入變量主成份分析方法壓減輸入變量，也可根據(jù)剔，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。比

17、值的大小來壓減輸入變量。l輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標或因變量），可以是一個，也可以性能指標或因變量），可以是一個，也可以是多個。一般將一個具有多個輸出的網(wǎng)絡(luò)模是多個。一般將一個具有多個輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個具有一個輸出的網(wǎng)絡(luò)模型效果型轉(zhuǎn)化為多個具有一個輸出的網(wǎng)絡(luò)模型效果會更好，訓練也更方便。會更好，訓練也更方便。3.3 數(shù)據(jù)的預處理數(shù)據(jù)的預處理l 由于由于bp神經(jīng)網(wǎng)絡(luò)的隱層一般采用神經(jīng)網(wǎng)絡(luò)的隱層一般采用sigmoid轉(zhuǎn)換函數(shù)，為提高訓練速度和靈敏性以及轉(zhuǎn)換函數(shù)，為提高訓練速度和靈敏性以及有效避開有效避開sigmoid函數(shù)的飽和區(qū)函數(shù)的

18、飽和區(qū)(即輸入值即輸入值若大于若大于1，則取為，則取為1)，一般要求輸入數(shù)據(jù)的一般要求輸入數(shù)據(jù)的值在值在01之間之間(每個數(shù)都除于最大值每個數(shù)都除于最大值)。l如果輸出層節(jié)點也采用如果輸出層節(jié)點也采用sigmoid轉(zhuǎn)換函數(shù)，轉(zhuǎn)換函數(shù)，輸出變量也必須作相應(yīng)的預處理，為保證輸出變量也必須作相應(yīng)的預處理，為保證建立的模型具有一定的外推能力，最好使建立的模型具有一定的外推能力，最好使數(shù)據(jù)預處理后的輸出變量的值在數(shù)據(jù)預處理后的輸出變量的值在0.20.8之之間間。l預處理的數(shù)據(jù)訓練完成后，網(wǎng)絡(luò)輸出的結(jié)預處理的數(shù)據(jù)訓練完成后，網(wǎng)絡(luò)輸出的結(jié)果要進行果要進行反變換反變換才能得到實際值。才能得到實際值。3.4 b

19、p網(wǎng)絡(luò)隱層數(shù)的確定網(wǎng)絡(luò)隱層數(shù)的確定l 一般認為，一般認為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差（也有文（也有文獻認為不一定能有效降低），提高精度，但也使網(wǎng)獻認為不一定能有效降低），提高精度，但也使網(wǎng)絡(luò)復雜化，從而增加了網(wǎng)絡(luò)的訓練時間和出現(xiàn)絡(luò)復雜化，從而增加了網(wǎng)絡(luò)的訓練時間和出現(xiàn)“過過擬合擬合”的傾向。的傾向。l hornik等早已證明：若輸入層和輸出層采用線性轉(zhuǎn)等早已證明：若輸入層和輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用換函數(shù)，隱層采用sigmoid轉(zhuǎn)換函數(shù)，則含一個隱層轉(zhuǎn)換函數(shù)，則含一個隱層的的mlp網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。顯網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。顯然，這

20、是一個存在性結(jié)論。在設(shè)計然，這是一個存在性結(jié)論。在設(shè)計bp網(wǎng)絡(luò)時可參考網(wǎng)絡(luò)時可參考這一點，這一點，應(yīng)優(yōu)先考慮應(yīng)優(yōu)先考慮3層層bp網(wǎng)絡(luò)網(wǎng)絡(luò)(即有即有1個隱層個隱層+輸入輸入層輸出層層輸出層)。一般地，靠增加隱層節(jié)點數(shù)來獲得較低。一般地，靠增加隱層節(jié)點數(shù)來獲得較低的誤差，其訓練效果要比增加隱層數(shù)更容易實現(xiàn)。的誤差，其訓練效果要比增加隱層數(shù)更容易實現(xiàn)。l 對于對于沒有隱層的神經(jīng)網(wǎng)絡(luò)模型沒有隱層的神經(jīng)網(wǎng)絡(luò)模型，實際上就是一個線，實際上就是一個線性或非線性（取決于輸出層采用線性或非線性轉(zhuǎn)換性或非線性（取決于輸出層采用線性或非線性轉(zhuǎn)換函數(shù)型式）回歸模型。函數(shù)型式）回歸模型。3.5 bp網(wǎng)絡(luò)隱層節(jié)點數(shù)的確定

21、網(wǎng)絡(luò)隱層節(jié)點數(shù)的確定l在在bp 網(wǎng)絡(luò)中，隱層節(jié)點數(shù)的選擇非常重要，網(wǎng)絡(luò)中，隱層節(jié)點數(shù)的選擇非常重要，它不僅對建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響它不僅對建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓練時出現(xiàn)很大，而且是訓練時出現(xiàn)“過擬合過擬合”的直的直接原因，但是接原因，但是目前理論上還沒有一種科學目前理論上還沒有一種科學的和普遍的確定方法的和普遍的確定方法。l確定隱層節(jié)點數(shù)的最基本原則是：在滿足確定隱層節(jié)點數(shù)的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即即取盡可能少的隱層節(jié)點數(shù)取盡可能少的隱層節(jié)點數(shù)。l研究表明，隱層節(jié)點數(shù)不僅與輸入研究表明，隱層節(jié)點數(shù)不

22、僅與輸入/輸出層輸出層的節(jié)點數(shù)有關(guān)，更與需解決的問題的復雜的節(jié)點數(shù)有關(guān)，更與需解決的問題的復雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性等因素有關(guān)。性等因素有關(guān)。在確定隱層節(jié)點數(shù)時必須滿足下列條件：在確定隱層節(jié)點數(shù)時必須滿足下列條件：l(1)隱層節(jié)點數(shù)必須小于隱層節(jié)點數(shù)必須小于n-1（其中（其中n為訓練為訓練樣本數(shù)），否則，網(wǎng)絡(luò)模型的系統(tǒng)誤差與訓樣本數(shù)），否則，網(wǎng)絡(luò)模型的系統(tǒng)誤差與訓練樣本的特性無關(guān)而趨于零，即建立的網(wǎng)絡(luò)練樣本的特性無關(guān)而趨于零，即建立的網(wǎng)絡(luò)模型沒有泛化能力，也沒有任何實用價值。模型沒有泛化能力，也沒有任何實用價值。同理可推得：輸入層的節(jié)點數(shù)（變

23、量數(shù)）必同理可推得：輸入層的節(jié)點數(shù)（變量數(shù)）必須小于須小于n-1。l(2) 訓練樣本數(shù)必須多于網(wǎng)絡(luò)模型的連接權(quán)訓練樣本數(shù)必須多于網(wǎng)絡(luò)模型的連接權(quán)數(shù)，一般為數(shù)，一般為210倍，否則，樣本必須分成幾倍，否則，樣本必須分成幾部分并采用部分并采用“輪流訓練輪流訓練”的方法才可能得到的方法才可能得到可靠的神經(jīng)網(wǎng)絡(luò)模型。可靠的神經(jīng)網(wǎng)絡(luò)模型。 l 由于由于bp網(wǎng)絡(luò)采用誤差反傳算法，其實質(zhì)是一個無網(wǎng)絡(luò)采用誤差反傳算法，其實質(zhì)是一個無約束的非線性最優(yōu)化計算過程，在網(wǎng)絡(luò)結(jié)構(gòu)較大時約束的非線性最優(yōu)化計算過程，在網(wǎng)絡(luò)結(jié)構(gòu)較大時不僅計算時間長，而且很容易限入局部極小點而得不僅計算時間長，而且很容易限入局部極小點而得不到

24、最優(yōu)結(jié)果。不到最優(yōu)結(jié)果。l 目前雖已有改進目前雖已有改進bp法、遺傳算法（法、遺傳算法（ga）和模擬退）和模擬退火算法等多種優(yōu)化方法用于火算法等多種優(yōu)化方法用于bp網(wǎng)絡(luò)的訓練網(wǎng)絡(luò)的訓練(這些方這些方法從原理上講可通過調(diào)整某些參數(shù)求得全局極小法從原理上講可通過調(diào)整某些參數(shù)求得全局極小點點)，但在應(yīng)用中，這些參數(shù)的調(diào)整往往因問題不，但在應(yīng)用中，這些參數(shù)的調(diào)整往往因問題不同而異，較難求得全局極小點。同而異，較難求得全局極小點。l 這些方法中應(yīng)用最廣的是增加了沖量（動量）項的這些方法中應(yīng)用最廣的是增加了沖量（動量）項的改進改進bp算法。算法。 l 學習率學習率影響系統(tǒng)學習過程的穩(wěn)定性。大的學習影響系統(tǒng)

25、學習過程的穩(wěn)定性。大的學習率可能使網(wǎng)絡(luò)權(quán)值每一次的修正量過大，甚至會率可能使網(wǎng)絡(luò)權(quán)值每一次的修正量過大，甚至會導致權(quán)值在修正過程中超出某個誤差的極小值呈導致權(quán)值在修正過程中超出某個誤差的極小值呈不規(guī)則跳躍而不收斂；但過小的學習率導致學習不規(guī)則跳躍而不收斂；但過小的學習率導致學習時間過長，不過能保證收斂于某個極小值。所以，時間過長，不過能保證收斂于某個極小值。所以，一般傾向選取較小的學習率以保證學習過程的收一般傾向選取較小的學習率以保證學習過程的收斂性（穩(wěn)定性），通常在斂性（穩(wěn)定性），通常在0.010.8之間。之間。l 增加沖量項增加沖量項的目的是為了避免網(wǎng)絡(luò)訓練陷于較淺的目的是為了避免網(wǎng)絡(luò)訓練

26、陷于較淺的局部極小點。理論上其值大小應(yīng)與權(quán)值修正量的局部極小點。理論上其值大小應(yīng)與權(quán)值修正量的大小有關(guān)，但實際應(yīng)用中一般取常量。通常在的大小有關(guān)，但實際應(yīng)用中一般取常量。通常在01之間，而且一般比學習率要大。之間，而且一般比學習率要大。 l bp算法決定了誤差函數(shù)一般存在（很）多個局部極算法決定了誤差函數(shù)一般存在（很）多個局部極小點，不同的網(wǎng)絡(luò)初始權(quán)值直接決定了小點，不同的網(wǎng)絡(luò)初始權(quán)值直接決定了bp算法收斂算法收斂于哪個局部極小點或是全局極小點。因此，要求計于哪個局部極小點或是全局極小點。因此，要求計算程序算程序(matlab)必須通過多次（通常是幾十次）改變必須通過多次（通常是幾十次）改變網(wǎng)

27、絡(luò)初始連接權(quán)值求得相應(yīng)的極小點，才能通過比網(wǎng)絡(luò)初始連接權(quán)值求得相應(yīng)的極小點，才能通過比較這些極小點的網(wǎng)絡(luò)誤差的大小，確定全局極小點。較這些極小點的網(wǎng)絡(luò)誤差的大小，確定全局極小點。由于由于sigmoid轉(zhuǎn)換函數(shù)的特性，一般要求轉(zhuǎn)換函數(shù)的特性，一般要求初始權(quán)值分初始權(quán)值分布在布在-0.50.5之間比較有效之間比較有效。l 神經(jīng)網(wǎng)絡(luò)的訓練過程本質(zhì)上是求非線性函數(shù)的極小神經(jīng)網(wǎng)絡(luò)的訓練過程本質(zhì)上是求非線性函數(shù)的極小點問題，因此，即使網(wǎng)絡(luò)誤差相同，各個網(wǎng)絡(luò)連接點問題，因此，即使網(wǎng)絡(luò)誤差相同，各個網(wǎng)絡(luò)連接權(quán)值也可能有較大的差異，這有時也會使各個輸入權(quán)值也可能有較大的差異，這有時也會使各個輸入變量的重要性發(fā)生

28、變化，檢驗樣本和測試樣本的網(wǎng)變量的重要性發(fā)生變化，檢驗樣本和測試樣本的網(wǎng)絡(luò)計算結(jié)果會產(chǎn)生很大變化，即多模式現(xiàn)象。絡(luò)計算結(jié)果會產(chǎn)生很大變化，即多模式現(xiàn)象。l因為訓練樣本的誤差可以達到很小，因此，因為訓練樣本的誤差可以達到很小，因此，用從總樣本中隨機抽取的一部分測試樣本用從總樣本中隨機抽取的一部分測試樣本的誤差表示網(wǎng)絡(luò)模型計算和預測所具有的的誤差表示網(wǎng)絡(luò)模型計算和預測所具有的精度（網(wǎng)絡(luò)性能）是合理的和可靠的。精度（網(wǎng)絡(luò)性能）是合理的和可靠的。l值得注意的是，判斷網(wǎng)絡(luò)模型泛化能力的值得注意的是，判斷網(wǎng)絡(luò)模型泛化能力的好壞，主要不是看測試樣本誤差大小的本好壞，主要不是看測試樣本誤差大小的本身，而是要看測試樣本的誤差是否接近于身，而是要看測試樣本的誤差是否接近于訓練樣本和檢驗樣本的誤差。訓練樣本和檢驗樣本的誤差。實驗號實驗號臭氧濃度臭氧濃度(mg/l)入口入口uv254uv254去除率去除率(%)11.160.11650.221.350.10459.531.720.07858.841.860.10766.251.970.13665.562.150.08264.