BP神經(jīng)網(wǎng)絡(luò)綜述

1、BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法綜述姓名：劉彪學(xué)號：南京理工大學(xué)摘 要:本文對于BP算法存在的缺陷，簡介了幾種BP神經(jīng)網(wǎng)絡(luò)優(yōu)化算法的基本原理，并比較了這幾種優(yōu)化算法的優(yōu)缺點(diǎn)，給出了它們可以應(yīng)用的場合。關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)，優(yōu)化算法1. 引言人們常把誤差反向傳播算法的多層前饋網(wǎng)絡(luò)直接稱為BP網(wǎng)絡(luò)。BP網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練中采用有導(dǎo)師學(xué)習(xí)方式，在調(diào)整權(quán)值過程中采用梯度下降技術(shù)，使網(wǎng)絡(luò)總誤差最小。其算法思想是：學(xué)習(xí)訓(xùn)練過程由正向信號傳播和反向誤差傳播構(gòu)成。正向傳播時，輸入樣本從輸入層進(jìn)入，經(jīng)各隱層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望的輸出不符，則轉(zhuǎn)入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱

2、層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號，此誤差信號作為修正各單元權(quán)值的依據(jù)。這種信號正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過程，周而復(fù)始地進(jìn)行的。一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)。（1） 正向信號傳輸計(jì)算隱層的輸出、輸入為（1）式中，為輸入層第j個節(jié)點(diǎn)的輸出；為隱層神經(jīng)元j與輸入層神經(jīng)元i之間的連接權(quán)重；f（*）是轉(zhuǎn)換函數(shù)。輸出層節(jié)點(diǎn)的輸出、輸入為（2）式中，為隱層節(jié)點(diǎn)與輸出層節(jié)點(diǎn)之間的權(quán)重；f（*）是轉(zhuǎn)換函數(shù)。定義網(wǎng)絡(luò)的輸出誤差函數(shù)為（3）將式（3）展開至隱層，有（4）進(jìn)一步展開至輸入層，有（5）（2） 反向傳播計(jì)算

3、有文獻(xiàn)1可得三層感知器的BP學(xué)習(xí)算法權(quán)值調(diào)整計(jì)算公式（6）其中（7）（3） 算法步驟實(shí)際應(yīng)用中有2種方法可以調(diào)整權(quán)值和閾值：單樣本訓(xùn)練和成批訓(xùn)練。對于單樣本訓(xùn)練，每輸入一個樣本，都要回傳誤差，并調(diào)整權(quán)值和閾值。而成批訓(xùn)練算法，是當(dāng)所有的樣本輸入后，計(jì)算其總誤差。然后進(jìn)行權(quán)值和閾值的調(diào)整。下面是單樣本訓(xùn)練算法步驟。1）初始化。賦隨機(jī)數(shù)給初始權(quán)值和閾值，將樣本模式計(jì)數(shù)器p和訓(xùn)練次數(shù)計(jì)數(shù)器q置為1，誤差置為0，學(xué)習(xí)率設(shè)為0-1的小數(shù)，網(wǎng)絡(luò)訓(xùn)練后達(dá)到的精度Emin設(shè)為一個正的小數(shù)。2）輸入訓(xùn)練樣本對（X,T）。3）正向計(jì)算各層輸出。用當(dāng)前樣本向量數(shù)組賦值，用式（1）（2）計(jì)算隱層和輸出層的輸出。4）計(jì)

4、算各網(wǎng)絡(luò)輸出誤差。根據(jù)式（7）計(jì)算和。5）計(jì)算各層誤差信號，調(diào)整各層權(quán)值。用式（6）計(jì)算V、W，調(diào)整各層權(quán)值。（8）6) 檢驗(yàn)是否對所有樣本完成一次輪訓(xùn)。若p<P(樣本對)，計(jì)數(shù)器p，q增1，返回步驟2），否則轉(zhuǎn)步驟7）7）檢驗(yàn)網(wǎng)絡(luò)總誤差是否達(dá)到精度要求。判斷誤差是否滿足要求，若滿足則轉(zhuǎn)步驟8），否則E置0，p置1，返回步驟2）。8）訓(xùn)練結(jié)束。（4） BP算法中存在的問題和改進(jìn)措施BP算法的計(jì)算特點(diǎn)是，計(jì)算公式比較簡單，相應(yīng)的計(jì)算機(jī)程序簡短，但是在計(jì)算過程中，還有諸多問題：1）反向傳播算法的收斂速度較慢，一般需要成千上萬次的迭代計(jì)算才能到目的； 2）存在函數(shù)局部極小值； 3）網(wǎng)絡(luò)隱層神經(jīng)

5、元數(shù)目選取和連接權(quán)、閾值初值的選取一般靠經(jīng)驗(yàn)； 4）新加入的樣本會影響已經(jīng)學(xué)習(xí)完的樣本。 本文討論的BP算法有兩類，一類是采用啟發(fā)式技術(shù)，如附加動量法、自適應(yīng)學(xué)習(xí)速率法、RPROP方法等；另一類是采用數(shù)字化優(yōu)化技術(shù)，如共軛梯度法、擬牛頓法、LevenbergMarquardt方法等。1. 附加動量法2實(shí)際應(yīng)用中，學(xué)習(xí)率的選擇具有重要的地位，如果過大，則可能引起不穩(wěn)定；過小可以避免振蕩，但是收斂的速度比較慢。解決這一矛盾是加入“動量項(xiàng)3”，即令 （9）其中，0<<1。式中，第二項(xiàng)是常規(guī)BP算法的修正量，第一項(xiàng)稱為動量項(xiàng)。其作用簡單分析如下：當(dāng)順序加入訓(xùn)練樣本時，上式可以寫成以t為變量

6、的實(shí)際序列，t由0到n，因此上式可以看成是的一階差分方程，對求解，可得4（10）當(dāng)本次的與前一次同號時，其加權(quán)求和值增大。使得較大，從而在穩(wěn)定調(diào)節(jié)時增加了w的調(diào)節(jié)速度；當(dāng)與前一次符號相反時，說明有一定振蕩，此時指數(shù)加權(quán)和結(jié)果使得減小，起到了穩(wěn)定的作用。2. 自適應(yīng)學(xué)習(xí)速率法學(xué)習(xí)速率是影響網(wǎng)絡(luò)收斂速度和輸出結(jié)果精確度的主要因素。較大的學(xué)習(xí)速率會使迭代次數(shù)和訓(xùn)練時間減少，但是網(wǎng)絡(luò)容易出現(xiàn)振蕩現(xiàn)象，造成網(wǎng)絡(luò)的不穩(wěn)定；反之，較小的將增加網(wǎng)絡(luò)的學(xué)習(xí)時間和迭代次數(shù)5。在傳統(tǒng)的網(wǎng)絡(luò)算法中，學(xué)習(xí)速率在整個學(xué)習(xí)過程中是不變的，因此選擇一個合適的是至關(guān)重要的，同時也是非常困難的。事實(shí)上，最優(yōu)的是隨著網(wǎng)絡(luò)訓(xùn)練的進(jìn)程

7、不斷變化的，理想的學(xué)習(xí)速率應(yīng)該是根據(jù)誤差曲線自適應(yīng)調(diào)整的6。在誤差下降曲線的平坦區(qū)，應(yīng)該增加值，使得誤差脫離平坦區(qū)；在下降曲線的急劇變化段，應(yīng)該降低值，以免網(wǎng)絡(luò)出現(xiàn)振蕩現(xiàn)象。因此，本文在傳統(tǒng)BP網(wǎng)絡(luò)的基礎(chǔ)上，采取學(xué)習(xí)率自適應(yīng)調(diào)整算法。具體過程見公式（11），式中a，b是常數(shù)，可以通過多次數(shù)值模擬計(jì)算得到。網(wǎng)絡(luò)每次迭代一次，將調(diào)整一次，而調(diào)整的根據(jù)是誤差最小原則。引入學(xué)習(xí)速率自適應(yīng)調(diào)整算法7：(11)3. 彈性BP方法BP網(wǎng)絡(luò)通常采用Sigmoid激活函數(shù)。當(dāng)輸入的函數(shù)很大時，斜率接近于零，這將導(dǎo)致算法中的梯度幅值很小，可能使網(wǎng)絡(luò)權(quán)值的修正過程幾乎停頓下來。彈性方法只取偏導(dǎo)數(shù)的符號，而不考慮偏導(dǎo)

8、數(shù)的幅值。其權(quán)值修正的迭代過程可表示為：（12）在彈性BP算法中，當(dāng)訓(xùn)練發(fā)生振蕩時，權(quán)值的變化量將減小；當(dāng)在幾次迭代過程中權(quán)值均朝一個方向變化時，權(quán)值的變化量將增大。因此，使用彈性方法的改進(jìn)算法，其收斂速度要比前幾種方法快得多。1993年德國Martin Riedmiller和Heinrich Braun提出了彈性BP算法。這種方法的原理是打算消除偏導(dǎo)數(shù)的大小有害的影響權(quán)步，因此，唯有導(dǎo)數(shù)的符號被認(rèn)為表示權(quán)更新的反向，而導(dǎo)數(shù)的大小對權(quán)更新沒有影響8。權(quán)改變的大小僅僅由權(quán)專門的更新值（12）對每個權(quán)重和閾值的更新值得到修改，權(quán)更新本身遵循一個很簡單的規(guī)則：如果導(dǎo)數(shù)是正，這個權(quán)重和閾值由它的更新值

9、降低，如果導(dǎo)數(shù)是負(fù)，更新值提高：（13）RPROP的基本原理是權(quán)重和閾值更新值的直接修改，它和以學(xué)習(xí)速率為基礎(chǔ)的算法相反（正如梯度下降一樣）。RPROP引入Resilient（有彈性的）更新值的概念直接地修改權(quán)步的大小。因此，修改結(jié)果不會被不可預(yù)見的梯度性能變模糊。由于學(xué)習(xí)規(guī)律的清楚和簡單，和最初的反傳算法比較，在計(jì)算上僅有少量的耗費(fèi)。除了快速外，RPROP 的主要優(yōu)點(diǎn)之一在于對許多問題一點(diǎn)也不需要參數(shù)的選擇以得到最優(yōu)或者至少接近最優(yōu)收斂時間。4. 共軛梯度法共軛向量定義見參考文獻(xiàn)4。梯度下降法收斂速度較慢，而擬牛頓法計(jì)算又較復(fù)雜，共軛梯度法則力圖避免兩者的缺點(diǎn)。1990年，J.Leonard

10、 和M.A.Kramer將共軛梯度法和行搜索策略結(jié)合在一起。共軛梯度法也是一種改進(jìn)搜索方向的方法，它是把前一點(diǎn)的梯度乘以適當(dāng)?shù)南禂?shù)，加到該點(diǎn)的梯度上，得到新的搜索方向。共軛梯度法力圖避免梯度下降法收斂速度較慢和計(jì)算復(fù)雜的缺點(diǎn)，第一步沿著負(fù)梯度方向進(jìn)行搜索，然后再沿著當(dāng)前搜索的共軛方向進(jìn)行搜索，從而可以迅速達(dá)到最優(yōu)值。共軛梯度法比大多數(shù)常規(guī)的梯度飛收斂快，并且只需要很少的存儲量和計(jì)算量。對于權(quán)值很多的網(wǎng)絡(luò)，采用共軛梯度法是一種比較好的選擇。共軛梯度法9是重要的無約束最優(yōu)化方法。其基本思想就是使得最速下降方向具有共軛性，并據(jù)此搜索目標(biāo)函數(shù)極值，從而提高算法的有效性和可靠性。圖中g(shù)(k)即

11、為共軛梯度矢量。它的方向矢量不是預(yù)先給定的，而是在現(xiàn)在的負(fù)梯度與前一個方向矢量的線性組合的方向上進(jìn)行的。梯度g(k)被定義為f(x)對x的微分。但是該方法中方向矢量的共軛性僅僅依賴于負(fù)梯度的初始方向，所以在解點(diǎn)附近很可能失去共軛方向的優(yōu)點(diǎn)，因此，這種算法的缺點(diǎn)在于算法不是全局最優(yōu)的9。共軛梯度法原理：前向BP網(wǎng)絡(luò)神經(jīng)元節(jié)點(diǎn)間的連接權(quán)值空間記為，是對角線為零元素的對稱矩陣，基本BP算法中的搜索方向?yàn)?，t為迭代次數(shù)，顯然相鄰搜索方向正交（共軛）。取第一步搜索方向?yàn)樨?fù)梯度方向，即，學(xué)習(xí)率為，則（14）第一步迭代后計(jì)算得到目標(biāo)函數(shù)E對權(quán)值空間W的負(fù)梯度方向?yàn)?，組合已有的梯度，構(gòu)造（15）其中，稱為共軛

12、因子，選擇適當(dāng)?shù)闹导纯梢员ＷC和滿足共軛性。一般的，第t+1次搜索方向?yàn)椋?6）于是基于共軛方向修正的BP算法權(quán)值修正公式為：（17）假定在第t步修正前目標(biāo)函數(shù)E在權(quán)值空間W的梯度為，第t步修正計(jì)算得到E對W的梯度為，則取共軛因子（18）能保證一系列搜索方向共軛。為了確保搜索方向的共軛性，初始搜索方向取負(fù)梯度方向，即令=0，且當(dāng)由于誤差積累使得某步的搜索方向變?yōu)榉窍陆捣较驎r，也以負(fù)梯度方向重新開始后續(xù)搜索?？梢园压曹椞荻确ǖ闹饕襟E歸納如下：1） 選初始權(quán)值w1；2） 求梯度，起始搜索方向；3） 在第j步，調(diào)a使得達(dá)到最小，并且計(jì)算；4） 檢驗(yàn)是否滿足停止條件；5） 計(jì)算新的梯度；6） 求新的搜

13、索方向，可按式（18）計(jì)算；7） 置j=j+1，返回（3）。8） 運(yùn)行時，搜索方向的共軛性可能會退化，可在每運(yùn)行W次后重新置搜索方向?yàn)樨?fù)梯度方向再繼續(xù)執(zhí)行共軛梯度法程序。對其進(jìn)一步改進(jìn)見文獻(xiàn)11。在MATLAB工具箱中，有4中不同的共軛梯度算法：除了Fletcher-Reeves共軛梯度法，還有Polak-Ribiere、Pwell-Beale以及Scaled Conjugate Gradient算法。（1） Fletcher-Reeves共軛梯度法當(dāng)網(wǎng)絡(luò)權(quán)重很多時，F(xiàn)letcher-Reeves共軛梯度法12是一種很好的方法。所有的共軛梯度算法的搜索方向是從最陡下降方向d(梯度的負(fù)方向)開始

14、搜索。然后利用行搜索沿著當(dāng)前搜索方向確定權(quán)值和閾值，公式（16）。Fletcher-Reeves共軛梯度法公式為：（19）Fletcher-Reeves共軛梯度法訓(xùn)練速度要比自適應(yīng)學(xué)習(xí)算法快的多，有時還比RPROP算法還要快，這種算法需要的內(nèi)存小。文獻(xiàn)13證明采用精確線性搜索的Fletcher-Reeves共軛梯度法在求解非二次凸函數(shù)時是全局收斂的。非精確性搜索時，文獻(xiàn)15利用文獻(xiàn)14提出的在共軛梯度法中結(jié)合譜梯度的思想提出了Fletcher-Reeves共軛梯度法的一個修正公式，并且證明了所提出的修正公式是全局收斂的。（2） Polak-RibierePolak-Ribiere共軛梯度法17

15、搜索方向與上雷同，為（16）式。但是由下式計(jì)算（20）（3） Pwell-BealePwell-Beale共軛梯度法18，搜索方向?qū)㈦S設(shè)定的公式變化，不斷設(shè)置為負(fù)梯度。但是其需要的內(nèi)存較大。（文獻(xiàn)19我看不太明白）（4） Scaled Conjugate GradientScaled Conjugate Gradient(成比例)共軛梯度法，針對前面提過的共軛梯度法要求每次迭代時進(jìn)行行搜索。這種行搜索很費(fèi)時，因?yàn)槊看芜M(jìn)行行搜索時網(wǎng)絡(luò)所響應(yīng)的訓(xùn)練的輸入變量要進(jìn)行多次計(jì)算。而Scaled Conjugate Gradient算法忽略行搜索法了，該算法過于復(fù)雜。采用此法訓(xùn)練較其他共軛梯度法需要更多的

16、迭代次數(shù)才能達(dá)到收斂，但每次迭代需要計(jì)算的次數(shù)減小。其基本原理用Levenberg-Marquardt算法與共軛梯度法相結(jié)合。5. 牛頓法及其變形考慮在最小點(diǎn)附近的二次逼近，此時線性項(xiàng)，有式：（22）在任意一點(diǎn)的梯度為，因此。向量稱為牛頓方向，對二次誤差函數(shù)來說，w處的直接指向極小值點(diǎn)。直接用上述方法計(jì)算量大，且當(dāng)H接近奇異時難以計(jì)算?？梢娤噜弮刹降膚滿足（23）下面給出一組公式可以避免計(jì)算（即用矩陣G來近似）（24）其中各向量為：；。修正公式為：，之中可以通過最小化方法求解。牛頓法是直接使用二次導(dǎo)數(shù)，有關(guān)進(jìn)一步的討論文獻(xiàn)20。6. Levenberg-Marquart算法BP算法存在一些不足

17、，主要是收斂速度很慢，往往收斂于局部極小點(diǎn)，數(shù)值穩(wěn)定性差，學(xué)習(xí)率、動量項(xiàng)系數(shù)和初始權(quán)值等參數(shù)難以調(diào)整，非線性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法Levenberg Marquart可以有效的克服BP算法所存在的缺陷21。具體步驟是：1）給定初始點(diǎn)，精度，k=0；2）求，i=1,2,M。得到向量；求得,Jacobi矩陣。3）求解線性方程組，求出搜索梯度方向。4）直線搜索，其中滿足5）若，則得到解，轉(zhuǎn)向7），否則6）。6），則令，k=k+1，轉(zhuǎn)2），否則，轉(zhuǎn)2）。7）停止計(jì)算。在實(shí)際的操作中，是一個試探性的參數(shù)，對于給定的，如果求得的h（k）能使得誤差函數(shù)Ep(X)增加，則乘以因子。仿真中，選取初始值=0.01，=1

18、0。在采用Levenberg-Marquart算法時，為使得收斂的速度更快，需要增加學(xué)習(xí)率因子a，取為0.4。Levenberg-Marquart算法的計(jì)算復(fù)雜度為，為網(wǎng)絡(luò)權(quán)值數(shù)目，如果網(wǎng)絡(luò)中權(quán)值的數(shù)目很大。則計(jì)算量和存儲量都非常大。因此，當(dāng)每次迭代效率顯著提高時，其整體性能可以大為改善，特別是在精度要求高的時候。7. 結(jié)論多數(shù)情況下，建議首先采用Levenberg-Marquart算法，如果該算法消耗內(nèi)存太大，可以嘗試使用BFGS算法或共軛梯度法以及RPROP算法。自適應(yīng)學(xué)習(xí)速率算法通常比其他算法慢，與RPROP算法一樣，需要同樣的內(nèi)存，但是對某些算法來說，其很有用。如：采用某種算法得到網(wǎng)絡(luò)

19、的收斂很快，但是結(jié)果不正確，就可以采用自適應(yīng)學(xué)習(xí)速率算法讓網(wǎng)絡(luò)的收斂慢一些，以減小誤差。附加動量法、自適應(yīng)學(xué)習(xí)速率法。RPROP方法是采用啟發(fā)式技術(shù)，而共軛梯度法、擬牛頓法、Levenberg-Marquart算法采用數(shù)字優(yōu)化方法。其他還有一些算法：如使用動量項(xiàng)的加快離線訓(xùn)練速度的方法、歸一化權(quán)值更新技術(shù)方法、快速傳播方法、D-D法、擴(kuò)展卡爾曼濾波法22、二階優(yōu)化法以及最優(yōu)濾波法等。8. 參考文獻(xiàn)【1】 張國忠.智能控制系統(tǒng)及應(yīng)用.北京：中國電力出版社，2007：94-98.【2】 Ralf Salomon. J Leo van Hemmen. Accelerating Backpropaga

20、tion through Dynamic Self-Adaptation. Neural Networks,1996;9(4):589-601.【3】 Rumellhart D E，et al. Learning Representation by BP Errors. Nature (London), 1986,7:149-154.【4】 Yan Pingfan,Zhang Changshui.Artificial Neural Networks and Evolutionary Computing. Springer,2005:26-27.【5】 PANDEY P C,BARAI S V.

21、Mutilayer perceptron in damage detection of bridge structuresJ. Computers&Structures,1995,54(4):597-608.【6】 ZHU Hong-ping,ZHANG Yuan.Application of self-adaptive BP neural networks to the detection of structure damagesJ.Acta Mechanica Sinica,2003,35(1):110-116.【7】 JIN Hu,LOU Wen-juan.Load identi

22、fication for bridge structures based on self-adaptive BP neural networks.College of Civil Engineering and Architecture,2005.【8】 Martin R,Heinrich B.A Direct Adaptive Method for Faster Backpropagation Learning:The RPRCP AlgorithmA.Ruspini H.Proceedings of the IEEE International Conference on Neural N

23、etworks(ICNN)C.IEEE Press,New York.1993:586-591.【9】 陳寶林.最優(yōu)化理論與算法.北京：清華大學(xué)出版社，1989.【10】 周建華.共軛梯度法在BP網(wǎng)絡(luò)中的應(yīng)用.計(jì)算機(jī)工程與應(yīng)用,1993.【11】 Moller M F.A Scaled Conjugate Gradient Algorithm for Fast Supervised Learning.Neural Computation,1993,6:525-533.【12】 Fletcher,Reeves C M. Function minimization by conjugate gra

24、dientsJ. Computer Journal,1964,7:149-154.【13】 ZOU TENDIJ K G. Nonlinear programming, computational methodsC/Abadic J.Integer and Nonlinear Programming, North Holland, Amsteram, 1970:37-86【14】 BIR GIN E,MARTINEZJ M. A spectral conjugate gradient methods for unstrained optimizationJ. App1 Math Optim, 2001,43:117-128.【15】 ZHAN G L , ZHOU W J, LI D H.Global convergence of a modified Flelcher-Reeves conjugale gradieut method with Armijo-type line searchJ.Numerische Mathematik,2006,(104):561-572.【16】 蘇高利,鄧芳萍.論基于MATLAB語言的BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)算法.科技通報.2