數(shù)學(xué)建模BP神經(jīng)網(wǎng)絡(luò)論文

1、數(shù)學(xué)建模BP神經(jīng)網(wǎng)絡(luò)論文BP神經(jīng)網(wǎng)絡(luò)算法原理：輸入信號Xi通過中間節(jié)點(隱層點)作用于輸出節(jié)點，經(jīng)過非線形變換，產(chǎn)生輸出信號yk,網(wǎng)絡(luò)訓(xùn)練的每個樣本包括輸入向量 X和期望輸出量d ,網(wǎng)絡(luò)輸出值y與期望輸出值d之間的偏差，通過調(diào)整輸入節(jié)點與隱層節(jié)點的聯(lián)接強度取值wj和隱層節(jié)點與輸出節(jié)點之間的聯(lián)接強度 Tjk以及閾值，使誤差沿梯度方向下降，經(jīng)過反復(fù)學(xué)習 訓(xùn)練，確定與最小誤差相對應(yīng)的網(wǎng)絡(luò)參數(shù)(權(quán)值和閾值)，訓(xùn)練即告停止。此時經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)即能對類似樣本的輸入信息，自行處理輸出誤差最小的經(jīng)過非線形轉(zhuǎn)換的信息。 變量定義：設(shè)輸入層有n個神經(jīng)元，隱含層有p個神經(jīng)元，輸出層有q個神經(jīng)元輸入向量：X X)

2、,X2，,xn隱含層輸入向量：hihii,hi2,"1,hip隱含層輸出向量：ho hOi,hO2,hop輸出層輸入向量：yiyii, yi2,，yiq輸出層輸出向量： yoyoi, yo2,，yoq期望輸出向量：do di,d2,dq輸入層與中間層的連接權(quán)值：Wih隱含層與輸出層的連接權(quán)值:who隱含層各神經(jīng)元的閾值:bh輸出層各神經(jīng)元的閾值:bo樣本數(shù)據(jù)個數(shù)：k 1,2,m激活函數(shù)：f 1 qc誤差函數(shù)：e (do(k) yo°(k)22o i算法步驟：Step1.網(wǎng)絡(luò)初始化。給各連接權(quán)值分別賦一個區(qū)間(-1,1)內(nèi)的隨機數(shù)，設(shè)定 誤差函數(shù)e,給定計算精度值 和最大學(xué)習

3、次數(shù) Mk個輸入樣本x(k)'(幻屬也),Xn(k)及對應(yīng)期望輸出do(k)dl(k),d2(k),dq(k)hih(k)nWihXi(k) bh h 1,2,，p 和輸出 hoh(k) f(hih(k) h 1,2，, i 1及輸出層各神經(jīng)元的輸入yio(k)yoo(k)f(yio(k) o 1,2，pPWhohoh(k) bo o 1,2,q 和輸 h 1Step4.利用網(wǎng)絡(luò)期望輸出和實際輸出，計算誤差函數(shù)對輸出層的各神經(jīng)元的偏導(dǎo)o(k)。e e yioWhoyioWhoyio (k)pWhohMk)bo)hWhoWhohoh(k)yio1 q2( (do(k) yoo(k)22

4、o iyio(do(k) yo°(k)y。(k)(do(k) yoo(k)f (yio(k)4o(k)Step5.利用隱含層到輸出層的連接權(quán)值、輸出層的o(k)和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù)h(k)。e yioWhoyio Whoo(k)hoh(k)e hih(k)Wihhih(k)Wihhih (k)Wihn(WihXi(k) bh) j Xi(k)Wihehih(k)1 q2(-(do(k) yoo(k)2) 2 o 1hoh(k)1 q2(一(do(k) f(yio(k)2)2 o 1hoh(k)hoh(k)hih(k)hoh(k) hih(k)1 qp2(

5、-(do(k) f(Whohoh(k) bo)2 o 1h 1hOh(k)hOh(k)q(do(k) yo°(k)f (yio(k)Who o 1q(o(k)Who)f (hih(k)之 h(k) o 1hih(k) hOh(k)hih(k)o(k)和隱含層各神經(jīng)元的輸出來修正連接權(quán)值Who(k) oWho(k)N 1 NWho WhoWhoo(k)hOh(k)o(k)hOh(k)h(k)和輸入層各神經(jīng)元的輸入修正連接權(quán)Wih(k)。Wh(k)ehih(k)N 1 NWihWihStep8.計算全局誤差。Whhih(k)h(k)x(k)Whh(k)Xi(k)1 m2m k 1yo(k

6、)2q(do(k)o 1Step9.判斷網(wǎng)絡(luò)誤差是否滿足要求。當誤差達到預(yù)設(shè)精度或?qū)W習次數(shù)大于設(shè)定的 最大次數(shù)，則結(jié)束算法。否則，選取下一個學(xué)習樣本及對應(yīng)的期望輸出，返回到第三,進入下一輪學(xué)習。算法流程圖:參數(shù)確定：確定了網(wǎng)絡(luò)層數(shù)、每層節(jié)點數(shù)、傳遞函數(shù)、初始權(quán)系數(shù)、學(xué)習算法等也就確定了 BP網(wǎng)絡(luò)。確定這些選項時有一定的指導(dǎo)原則，但更多的是靠經(jīng)驗和試湊。1.樣本數(shù)據(jù)采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣 本。而且，為監(jiān)控訓(xùn)練（學(xué)習）過程使之不發(fā)生“過擬合”和評價建立的網(wǎng)絡(luò)模型的 性能和泛化能力，必須將收集到的數(shù)據(jù)隨機分成訓(xùn)練樣本、檢驗樣本（10犯上）和測試樣本（1

7、0犯上）3部分 /輸出變量般地，BP網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生變量（影響因子或自變量）數(shù)，一般根據(jù)專業(yè)知識確定。若輸入變量較多，一般可通過主成份分析方法壓減輸入 變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標或因變量），可以是一個, 也可以是多個。一般將一個具有多個輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個具有一個輸出的網(wǎng)絡(luò) 模型效果會更好，訓(xùn)練也更方便。由于BP神經(jīng)網(wǎng)絡(luò)的隱層一般采用 Sigmoid轉(zhuǎn)換函數(shù)，為提高訓(xùn)練速度和靈敏性以及有效避開Sigmoid函數(shù)的飽和區(qū)，一般要求輸入數(shù)據(jù)的值在要對輸入數(shù)據(jù)進行預(yù)處理的變量進行

8、統(tǒng)一的預(yù)處理般要求對不同變量分別進行預(yù)處理,01之間。因此也可以對類似性）如果輸出層節(jié)點也采用Sigmoid轉(zhuǎn)換函數(shù)，輸出變量也須作相應(yīng)的預(yù)處理，否則，輸出變量也可以不做預(yù)處理。但必須注意的是，預(yù)處理的 數(shù)據(jù)訓(xùn)練完成后，網(wǎng)絡(luò)輸出的結(jié)果要進行反變換才能得到實際值。再者，為保證建立 的模型具有一定的外推能力，最好使數(shù)據(jù)預(yù)處理后的值在之間。標準化：d 3dmaxmindmin一般認為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差，提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而 增加了網(wǎng)絡(luò)的訓(xùn)練時間和出現(xiàn)“過擬合（overfitting） ” 造成網(wǎng)絡(luò)的性能脆弱，泛化 能力（generalization ability） 下降。Ho

9、rnik等早已證明：若輸入層和輸出層采用 線性轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，則含一個隱層的MLPR絡(luò)能夠以任意精 度逼近任何有理函數(shù)。顯然，這是一個存在性結(jié)論。在設(shè)計BP網(wǎng)絡(luò)時可參考這一點，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個隱層）。輸入層2xN1x1z17w ihyN2wk.2 hjx22z2TN3圖 三層BP網(wǎng)絡(luò)的拓撲結(jié)構(gòu)在BP網(wǎng)絡(luò)中，若隱層節(jié)點數(shù)太少，網(wǎng)絡(luò)可能根本不能訓(xùn)練或網(wǎng)絡(luò)性能很差；若 隱層節(jié)點數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓(xùn)練時間延長，另 一方面，訓(xùn)練容易陷入局部極小點而得不到最優(yōu)點， 也是訓(xùn)練時出現(xiàn)“過擬合”的內(nèi) 在原因，但是目前理論上還沒有一種科學(xué)的

10、和普遍的確定方法。為盡可能避免訓(xùn)練時出現(xiàn)“過擬合”現(xiàn)象，保證足夠高的網(wǎng)絡(luò)性能和泛化能力， 確定隱層節(jié)點數(shù)的最基本 原則是：在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)， 即取盡可能少的隱層節(jié)點數(shù)。 因此，合理隱層節(jié)點數(shù)應(yīng)在綜合考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大小的情況下用節(jié)點刪 除法和擴張法確定。圖BP網(wǎng)絡(luò)常用的傳遞函數(shù)BP網(wǎng)絡(luò)的傳遞函數(shù)有多種。Log-sigmoid型函數(shù)的輸入值可取任意值，輸出值在 0和1之間；tan-sigmod型傳遞函數(shù)tansig的輸入值可取任意值，輸出值在-1到+1 之間；線性傳遞函數(shù)purelin的輸入與輸出值可取任意值。BP網(wǎng)絡(luò)通常有一個或多 個隱層，該層中的神經(jīng)元均采用

11、sigmoid型傳遞函數(shù)，輸出層的神經(jīng)元則采用線性傳 遞函數(shù)，整個網(wǎng)絡(luò)的輸出可以取任意值。學(xué)習率影響系統(tǒng)學(xué)習過程的穩(wěn)定性。大的學(xué)習率可能使網(wǎng)絡(luò)權(quán)值每一次的修正量 過大，甚至會導(dǎo)致權(quán)值在修正過程中超出某個誤差的極小值呈不規(guī)則跳躍而不收斂； 但過小的學(xué)習率導(dǎo)致學(xué)習時間過長，不過能保證收斂于某個極小值。所以，一般傾向 選取較小的學(xué)習率以保證學(xué)習過程的收斂性（穩(wěn)定性），通常在0.8之間。BP算法決定了誤差函數(shù)一般存在（很）多個局部極小點，不同的網(wǎng)絡(luò)初始權(quán)值 直接決定了 BP算法收斂于哪個局部極小點或是全局極小點。因此，要求計算程序必 須能夠自由改變網(wǎng)絡(luò)初始連接權(quán)值。由于Sigmoid轉(zhuǎn)換函數(shù)的特性，一

12、般要求初始權(quán)值分布在之間比較有效。10.收斂誤差界值Emin在網(wǎng)絡(luò)訓(xùn)練過程中應(yīng)根據(jù)實際情況預(yù)先確定誤差界值。 誤差界值的選擇完全根據(jù) 網(wǎng)絡(luò)模型的收斂速度大小和具體樣本的學(xué)習精度來確定。當 Emin值選擇較小時，學(xué) 習效果好，但收斂速度慢，訓(xùn)練次數(shù)增加。如果 Emin值取得較大時則相反。網(wǎng)絡(luò)模型的性能和泛化能力：訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首要和根本任務(wù)是確保訓(xùn)練好的網(wǎng)絡(luò)模型對非訓(xùn)練樣本具有好的泛化能力（推廣性），即有效逼近樣本蘊含的內(nèi)在規(guī)律，而不是看網(wǎng)絡(luò)模型對訓(xùn)練 樣本的擬合能力。判斷建立的模型是否已有效逼近樣本所蘊含的規(guī)律，主要不是看測 試樣本誤差大小的本身，而是要看測試樣本的誤差是否接近于訓(xùn)練樣本和檢驗

13、樣本的 誤差。非訓(xùn)練樣本誤差很接近訓(xùn)練樣本誤差或比其小，一般可認為建立的網(wǎng)絡(luò)模型已有效逼近訓(xùn)練樣本所蘊含的規(guī)律，否則，若相差很多（如幾倍、幾十倍甚至上千倍） 就說明建立的網(wǎng)絡(luò)模型并沒有有效逼近訓(xùn)練樣本所蘊含的規(guī)律，而只是在這些訓(xùn)練樣 本點上逼近而已，而建立的網(wǎng)絡(luò)模型是對訓(xùn)練樣本所蘊含規(guī)律的錯誤反映。算法的特點：1 .非線性映照能力。神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模 程中的許多問題正是具有高度的非線性。2 .并行分布處理方式。在神經(jīng)網(wǎng)絡(luò)中信息是分布儲存和并行處理的，這使它具很強的容錯性和很快的處理速度。3 .自學(xué)習和自適應(yīng)能力。神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)

14、律性的知識，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，即將這組權(quán)值應(yīng)用于一般情形 的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習也可以在線進行。4 .數(shù)據(jù)融合的能力。神經(jīng)網(wǎng)絡(luò)可以同時處理定量信息和定性信息，因此它可以用傳統(tǒng)的工程技術(shù)（數(shù)值運算）和人工智能技術(shù)（符號處理）。5 .多變量系統(tǒng)。神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的， 對單變量系統(tǒng)與1 變量系統(tǒng)提供了一種通用的描述方式，不必考慮各子系統(tǒng)間的解耦問題算法的缺點：收斂速度緩慢；容易陷入局部極小值；難以確定隱層數(shù)和隱層節(jié)點個數(shù)。算法的改進：1.利用動量法改進BP算法標準BP算法實質(zhì)上是一種簡單的最速下降靜態(tài)尋優(yōu)方法，在修正w k時，只照第k步的負梯度方向進行修正，而沒有考慮到以前積累的經(jīng)驗，即以前時刻的梯度 方向，從而常常使學(xué)習過程發(fā)生振蕩，收斂緩慢。動量法權(quán)值調(diào)整算法的具體做法是: 將上一次權(quán)值調(diào)整量的一部分迭加到按本次誤差計算所得的權(quán)值調(diào)整量上，作為本的實際權(quán)值調(diào)整量，即：w