BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率參數(shù)改進(jìn)方法

1、長(zhǎng)春師范學(xué)院學(xué)報(bào)（自然科學(xué)版）Journalof ChangchurNormalUniversty（ Natural Science）BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率參數(shù)改進(jìn)方法陳思(哈爾濱理工大學(xué)自動(dòng)化學(xué)院，黑龍江哈爾濱150080）摘 要針對(duì)動(dòng)態(tài)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率優(yōu)化方法收 斂速度慢而且對(duì)誤差曲面變化不敏感等不利因素， 本文提出了一種改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率的優(yōu)化算法，該策略使網(wǎng)絡(luò)對(duì)誤差曲面變化敏感且收斂速 度快。關(guān)鍵詞BP神經(jīng)網(wǎng)絡(luò)；學(xué)習(xí)率中圖分類(lèi)號(hào)TP183文獻(xiàn)標(biāo)識(shí)碼A文章編號(hào)1008- 178X(2010)01- 0026- 03近幾年人工神經(jīng)網(wǎng)絡(luò)在模式識(shí)別、信號(hào)處理、圖像處理等領(lǐng)域都有著重要的應(yīng)用

2、.其中Rumelhart1等提出的誤差反向傳播算法是訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò)強(qiáng)有力的工具但是傳統(tǒng)的訓(xùn)練方法易使網(wǎng)絡(luò)陷入局部極小點(diǎn)，而且收斂速度慢也是其主要缺點(diǎn)之一，2因此對(duì)田算法的改進(jìn)是一個(gè)重要的研究課題.在前人研究成果的基礎(chǔ)上，筆者提出了一種學(xué)習(xí)率的優(yōu)化設(shè)計(jì)方法，并通過(guò)實(shí)驗(yàn)驗(yàn)證了該方法的有效性 1 BP神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)3是一種多層前饋神經(jīng)網(wǎng)絡(luò)，它采用BP算法實(shí)現(xiàn)輸入空間到輸出空間的非線性映射，具有結(jié)構(gòu)簡(jiǎn)單、可操作性強(qiáng)等優(yōu)點(diǎn)，目前已被廣泛應(yīng)用 BP神經(jīng)網(wǎng)絡(luò)模型一般由三層構(gòu)成(圖1),對(duì)于輸入信號(hào)先傳播到隱層節(jié)點(diǎn)，再把隱層節(jié)點(diǎn)的信息傳播到輸出節(jié)點(diǎn)輸入層I有n個(gè)節(jié)點(diǎn)，隱層J有h個(gè)節(jié)點(diǎn)，輸出層K有m個(gè)節(jié)點(diǎn)；

3、W表示輸入層的第i個(gè)節(jié)點(diǎn)和隱層 的第j個(gè)節(jié)點(diǎn)之間的連接權(quán)值，Wkj表示隱層的第j個(gè)節(jié)點(diǎn)和輸出層的第k個(gè)節(jié)點(diǎn)之間的連接權(quán)值;d1, d2,dm為期望輸出；e1, e2, em為實(shí)際和期望輸出值的誤差.BP算法的基本思想是：學(xué)習(xí)過(guò)程由模式正傳播和誤差逆?zhèn)鞑蓚€(gè)過(guò)程組成正向傳播時(shí)，信號(hào)作用于輸入層，經(jīng)隱層處理后，傳向輸出層若輸出層沒(méi)能得到期望值，則轉(zhuǎn)入誤差反向傳播階段，將輸出誤差通 過(guò)隱層向輸入層逐層返回，從而獲得各層的誤差信號(hào)，作為修改權(quán)值的依據(jù)權(quán)值不斷修改的過(guò)程，也就是 網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程，即對(duì)網(wǎng)絡(luò)的連接權(quán) W/i和W進(jìn)行調(diào)整，使該網(wǎng)絡(luò)實(shí)現(xiàn)給定的輸入輸出映射關(guān)系 此過(guò)程一 直進(jìn)行到網(wǎng)絡(luò)輸出的誤差滿(mǎn)足

4、可接受的程度或達(dá)到預(yù)定的學(xué)習(xí)次數(shù)為止2網(wǎng)絡(luò)收斂速度的改進(jìn)方法BP算法是基于誤差-修正學(xué)習(xí)的，學(xué)習(xí)率的大小對(duì)收斂速度和訓(xùn)練結(jié)果影響很大如果學(xué)習(xí)率太小，學(xué)習(xí)速度太慢；如果學(xué)習(xí)率太大，可能導(dǎo)致振蕩或發(fā)散為實(shí)現(xiàn)快速而有效的學(xué)習(xí)收斂過(guò)程 ，文獻(xiàn)4提 出了BP網(wǎng)絡(luò)學(xué)習(xí)率的優(yōu)化模型，其學(xué)習(xí)率的變化公式為：- n=Ae .(1)其中n為迭代次數(shù)，A和 的取值根據(jù)實(shí)際情況選擇，一般情況下，1 A 50, 0 00010 001.雖收稿日期2009- 11- 17作者簡(jiǎn)介陳思（1977-）,女,吉林長(zhǎng)春人，哈爾濱理工大學(xué)自動(dòng)化學(xué)院碩士研究生從事模式識(shí)別研究.du 呼輸入層T隠層J輸.出層K咲差反傳圖1 BP神經(jīng)網(wǎng)

5、絡(luò)拓?fù)浣Y(jié)構(gòu)&k但也存在著問(wèn)題 一般情況下，當(dāng)網(wǎng)然此算法與傳統(tǒng)BP算法相比使用了可變的學(xué)習(xí)速率加快了網(wǎng)絡(luò)收斂 絡(luò)誤差處于下降狀態(tài)時(shí)，該算法難以適應(yīng)這一情況，而且收斂速度也比較慢3改進(jìn)的BP網(wǎng)絡(luò)學(xué)習(xí)率的優(yōu)化模型在BP網(wǎng)絡(luò)學(xué)習(xí)率的優(yōu)化模型中，采用學(xué)習(xí)率漸小法，即讓其隨著學(xué)習(xí)次數(shù)的增加而遞減該模型可轉(zhuǎn)(k)= e(k- 1).(2)其中0 00010 001.從公式可以看出網(wǎng)絡(luò)訓(xùn)練過(guò)程中學(xué)習(xí)率始終按一定的比例系數(shù)減小但在實(shí)際應(yīng)用中，如果網(wǎng)絡(luò)誤差在權(quán)值更新后減小了此時(shí)再減小學(xué)習(xí)速率則權(quán)值修改的速度比較慢，會(huì)影響網(wǎng)絡(luò)收斂速度，這說(shuō)明該算法難以適應(yīng)這一情況這時(shí)，如果增大學(xué)習(xí)率使網(wǎng)絡(luò)能夠以較大幅度修改

6、權(quán)值網(wǎng)絡(luò)1.05 ( k- 1),E( k) < E( k-1);(k)=«e (k- 1),E( k)>E( k-1);le (k- 1),E( k)=E( k-1).其中0 00010 001,此算法認(rèn)為如果網(wǎng)絡(luò)誤差處于下降狀態(tài)訓(xùn)練效果就會(huì)更好一些改進(jìn)后BP網(wǎng)絡(luò)學(xué)習(xí)率的優(yōu)化模型為習(xí)率可以按一定比例增大(3)尤其下降趨勢(shì)明顯時(shí)，則說(shuō)明此時(shí)的學(xué)換為:4仿真實(shí)驗(yàn)及結(jié)果分析利用Matlab神經(jīng)網(wǎng)絡(luò)工具箱，以輸入樣本-1- 122; 0 505,輸出樣本-1- 111為例，用BP網(wǎng)絡(luò)學(xué)習(xí)率的優(yōu)化模型以及改進(jìn)的 BP網(wǎng)絡(luò)學(xué)習(xí)率的優(yōu)化模型分別作了仿真試驗(yàn)，采用的神經(jīng)網(wǎng)絡(luò)有3個(gè)輸入節(jié)

7、點(diǎn)和 1個(gè)輸出節(jié)點(diǎn)，共兩層.以相同的性能指數(shù)均方誤差的目標(biāo)值(training goal = 0 00001)比較兩個(gè)算法的不同之處.在實(shí)驗(yàn)中，訓(xùn)練最大步數(shù)取 300步，對(duì)于這個(gè)測(cè)試問(wèn)題，為了加速收 斂，合適的初始學(xué)習(xí)率選取 0 1, 選為0 001,仿真結(jié)果如圖2、圖3所示,圖中直線所示為目標(biāo)值，曲線 所示為訓(xùn)練過(guò)程曲線.從仿真結(jié)果圖2和圖3,我們能很明顯看出在相同參數(shù)設(shè)置、相同的性能指數(shù)均方誤差的目標(biāo)值下，改進(jìn)算法比沒(méi)改進(jìn)算法收斂的過(guò)程更為平滑，收斂速度更快，這說(shuō)明了改進(jìn)算法能更好地達(dá)到學(xué)習(xí)目的.5結(jié)語(yǔ)學(xué)習(xí)率是影響網(wǎng)絡(luò)訓(xùn)練速度和性能的一個(gè)重要參數(shù).本文針對(duì)動(dòng)態(tài) BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率優(yōu)化方法的

8、缺陷，提出了一種改進(jìn)的 BP網(wǎng)絡(luò)學(xué)習(xí)率的優(yōu)化算法.分別對(duì)這兩種算法進(jìn)行仿真比較，結(jié)果表明改進(jìn)算法比原算法收斂速度更快，能達(dá)到較好的學(xué)習(xí)目的.27if：.a Academic Jounal Etectramc Publishing House. All rights reserved. httn：lci.n<圖2 BP學(xué)習(xí)率優(yōu)化模型收斂過(guò)程圖3改進(jìn)BP學(xué)習(xí)率優(yōu)化模型收斂過(guò)程參考文獻(xiàn)1 RumelhartD E,WolliansR J. Learninginternalrepresenta-tion by error- propagatiorJ. Paral- lei Distributel

9、ProcessingCambridge, MAMIT press,1986(1):318- 362.2 楊東侯，年曉紅，楊勝躍.兩種改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法J.長(zhǎng)沙大學(xué) 學(xué)報(bào),2004,18(4) : 54- 57.3 史忠植.智能科學(xué)M.北京：清華大學(xué)出版社,2006.4 劉幺和，陳睿，彭偉，等.一種BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率的優(yōu)化設(shè)計(jì)J.湖北工業(yè)大學(xué)學(xué)報(bào)，2007,22(3):1- 3.Learning Rate Parameter Improve Methods for BP Neutral NetworkCHEN Si(Institute of Automation,Harbin Unive

10、rsity of ScienceandTechnologyHarbin 150080, China)Abstract: In view of the low con verge ncerste an dthe poorse nsitivity to the varied on of the errorcurvedsurfaceof dy nanic BP neural networks learning rate optimization,this paper proposedan improvementalgorithm of the BP neural networks learnin grate. The algo