BP網(wǎng)絡(luò)的改進(jìn)算法簡(jiǎn)介

1、人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network ,ANN) ,自從20 世紀(jì)50 年代Rosenblatt首次將單層感知器應(yīng)用于模式分類學(xué)習(xí)以來(lái),已經(jīng)有了幾十年的研究歷史. 但是由于Minsky 和Papert 指出單層系統(tǒng)的局限性,并表達(dá)了對(duì)多層系統(tǒng)的悲觀看法,在20 世紀(jì)70 年代對(duì)ANN 的研究興趣減弱. 直至80 年代中期Rumelhart 等重新闡述了反傳訓(xùn)練方法,使得在ANN領(lǐng)域的理論和應(yīng)用研究開始在世界范圍內(nèi)重新興起.ANN 是一種按照人腦的組織和活動(dòng)原理而構(gòu)造的一種數(shù)據(jù)驅(qū)動(dòng)型非線性映射模型,它具有并行處理、自適應(yīng)自組織、聯(lián)想記憶、容錯(cuò)魯棒以及逼近任意非線性等特

2、性,在預(yù)測(cè)評(píng)估、模式識(shí)別、信號(hào)處理、組合優(yōu)化及知識(shí)工程等領(lǐng)域具有廣泛的應(yīng)用. 近年來(lái),已有多種ANN 模型被提出并得以深入研究. 其中,80 %90 %的人工神經(jīng)網(wǎng)絡(luò)模型是采用前饋反向傳播網(wǎng)絡(luò)(Back Propagation Net Work 簡(jiǎn)稱BP 網(wǎng)絡(luò)) 或它的改進(jìn)形式,它是前向網(wǎng)絡(luò)的核心部分,體現(xiàn)了網(wǎng)絡(luò)最精華的部分.標(biāo)準(zhǔn)的BP 網(wǎng)絡(luò)是根據(jù)Widrow - Hoff 規(guī)則,采用梯度下降算法,在非線性多層網(wǎng)絡(luò)中,反向傳播計(jì)算梯度. 但BP 網(wǎng)絡(luò)存在自身的限制與不足,如需要較長(zhǎng)的訓(xùn)練時(shí)間、會(huì)收斂于局部極小值等,使得BP 算法在實(shí)際應(yīng)用中不是處處能勝任.因此近十幾年來(lái),許多研究人員對(duì)其做了深

3、入的研究,提出了許多改進(jìn)的算法,如使用動(dòng)量項(xiàng)的加快離線訓(xùn)練速度的方法、歸一化權(quán)值更新技術(shù)方法、快速傳播算法、-方法、擴(kuò)展卡爾曼濾波法、二階優(yōu)化以及最優(yōu)濾波法等.BP網(wǎng)絡(luò)的改進(jìn)算法大體上分為兩類,一類是采用啟發(fā)式技術(shù),如附加動(dòng)量法、自適應(yīng)學(xué)習(xí)速率法、RPROP 方法；另一類是采用數(shù)字優(yōu)化技術(shù),如共軛梯度法、擬牛頓法、Levenberg - Marquardt 方法. 附加動(dòng)量法使BP 神經(jīng)網(wǎng)絡(luò)在修正其權(quán)重和閾值時(shí),不僅考慮誤差在梯度上的作用,而且考慮在誤差曲面上變化趨勢(shì)的影響,它允許忽略網(wǎng)絡(luò)上的微小變化特性. 該方法是在反向傳播法的基礎(chǔ)上,在每一個(gè)權(quán)重和閾值的變化上加上一項(xiàng)正比于前次權(quán)重和閾值變

4、化量的值,并根據(jù)反向傳播法來(lái)產(chǎn)生新的權(quán)重和閾值的變化,帶有附加動(dòng)量因子的權(quán)重和閾值(X) 調(diào)節(jié)公式為:（1）其中k 為訓(xùn)練次數(shù), mc 為動(dòng)量因子,一般取0. 95 左右, lr 為學(xué)習(xí)速率,是常數(shù), E 為誤差函數(shù).這種方法所加入的動(dòng)量項(xiàng)實(shí)質(zhì)上相當(dāng)于阻尼項(xiàng),它減小了學(xué)習(xí)過程的振蕩趨勢(shì), 從而改善了收斂性,找到更優(yōu)的解. 但是這種方法的缺點(diǎn)也是明顯的,參數(shù)的選取只能通過實(shí)驗(yàn)來(lái)確定, 而且它的學(xué)習(xí)速度還不能滿足實(shí)時(shí)的工作需要. 2自適應(yīng)學(xué)習(xí)速率法自適應(yīng)調(diào)整學(xué)習(xí)速率有利于縮短學(xué)習(xí)時(shí)間. 標(biāo)準(zhǔn)B P算法收斂速度慢的重要原因是學(xué)習(xí)速率選擇不當(dāng). 學(xué)習(xí)速率選得太小,收斂太慢;學(xué)習(xí)速率選取得太大,則有可能

5、修正過頭,導(dǎo)致發(fā)散. 因此出現(xiàn)了自適應(yīng)調(diào)整的改進(jìn)算法,其權(quán)重和閾值(X)見公式（2）（3）其中, lr 為學(xué)習(xí)速率,是變量,而公式(1) 中l(wèi)r 是常數(shù).通常調(diào)節(jié)學(xué)習(xí)速率lr 的準(zhǔn)則是:檢查權(quán)重的修正值是否真正降低了誤差函數(shù), 如果確實(shí)如此, 則說明所選取的學(xué)習(xí)速率值小了,可以對(duì)其增加一個(gè)量;若不是這樣,而產(chǎn)生了過調(diào),那么就應(yīng)減小學(xué)習(xí)速率的值.3彈性BP(Resilient Back propagation ,RPROP) 方法一般來(lái)說,BP 網(wǎng)絡(luò)的隱含層激活函數(shù)采用S形的(Sigmoid) 函數(shù). Sigmoid 函數(shù)用于將神經(jīng)元的輸入范圍( - , + ) 映射到(0 ,1) ,當(dāng)輸入變量

6、很時(shí),Sigmoid 函數(shù)的斜率將接近于0. 這可能導(dǎo)致在利用Sigmoid 函數(shù)訓(xùn)練BP 網(wǎng)絡(luò)中梯度下降的問題,由于即使梯度有很小的變化,也會(huì)引起權(quán)重和閾值的微小變化,使權(quán)重和閾值遠(yuǎn)離最樂觀的值.有鑒于此,1993 年德國(guó)Martin Riedmiller 和Heinrich Braun 在他們的論文中提出有彈性的BP(Resilient Backpropagation) 方法.這種方法的原理是打算消除偏導(dǎo)數(shù)的大小有害的影響權(quán)步,因此,唯有導(dǎo)數(shù)的符號(hào)被認(rèn)為表示權(quán)更新的方向,而導(dǎo)數(shù)的大小對(duì)權(quán)更新沒有影響. 權(quán)改變的大小僅僅由權(quán)專門的“更新t 時(shí)刻.對(duì)每個(gè)權(quán)重和閾值的更新值得到修改,權(quán)更新本身遵

7、循一個(gè)很簡(jiǎn)單的規(guī)則:如果導(dǎo)數(shù)是正(增加誤差) ,這個(gè)權(quán)重和閾值由它的更新值降低,如果導(dǎo)數(shù)是負(fù),更新值提高:見公式（5）RPROP 的基本原理是權(quán)重和閾值更新值的直接修改,它和以學(xué)習(xí)速率為基礎(chǔ)的算法相反(正如梯度下降一樣) . RPROP 引入Resilient (有彈性的)更新值的概念直接地修改權(quán)步的大小. 因此, 修改結(jié)果不會(huì)被不可預(yù)見的梯度性能變模糊. 由于學(xué)習(xí)規(guī)律的清楚和簡(jiǎn)單, 和最初的反傳算法比較, 在計(jì)算上僅有少量的耗費(fèi). 除了快速外, RPROP 的主要優(yōu)點(diǎn)之一在于對(duì)許多問題一點(diǎn)也不需要參數(shù)的選擇以得到最優(yōu)或者至少接近最優(yōu)收斂時(shí)間. 4共軛梯度法當(dāng)使用共軛梯度向量來(lái)確定共軛方向時(shí),

8、稱此算法為共軛梯度法. 1990 J .Leonard 和M. A.Kramer將共軛梯度法和行搜索策略結(jié)合在一起. 在共軛梯度法中,沿著共軛方向進(jìn)行行搜索,收斂速度將比一般的梯度下降法要快得多. 在一般的訓(xùn)練算法中,是利用學(xué)習(xí)速率決定權(quán)重和閾值更新的步長(zhǎng),而在多數(shù)共軛梯度算法中權(quán)值步長(zhǎng)各自反復(fù)地調(diào)整,沿著共軛梯度用行搜索來(lái)決定權(quán)值步長(zhǎng)以減少在行中的完成功能. 共軛梯度法可以不必計(jì)算或存儲(chǔ)二階導(dǎo)數(shù)信息就具有二階方法的功能,它與擬牛頓法相比,它的計(jì)算代價(jià)很低,因此在較大規(guī)模問題中十分有用.這里只介紹四種共軛梯度算法:Fletcher - Reeves、Polak - Ribiere 、Pwell - Beale以及Scaled Conjugate Gradient (SCG) 算法.4.1 Fletcher - Reeves 共軛梯度法所有的共軛梯度算法的搜索方向P0 是從最陡下降方向g0 (梯度的負(fù)方向) 開始搜索:見公式（6）然后利用