BP算法的改進(jìn)及其應(yīng)用

1、BP算法的改進(jìn)及其應(yīng)用內(nèi)容摘要隨著人工神經(jīng)網(wǎng)絡(luò)的發(fā)展,其用途日益廣泛,應(yīng)用領(lǐng)域也在不斷擴(kuò)展,已在人工智能、自動(dòng)控制、計(jì)算機(jī)科學(xué)、信息處理、機(jī)器人、模式識(shí)別等各個(gè)領(lǐng)域中有著成功的案例。在眾多神經(jīng)網(wǎng)絡(luò)中,又以BP(Back Propagation網(wǎng)絡(luò)的應(yīng)用最為廣泛,它所采用的BP算法已成為目前應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法,絕大部分的神經(jīng)網(wǎng)絡(luò)模型都是采用BP算法或它的變化形式。這樣的算法具有很好的非線性映射能力、泛化能力、容錯(cuò)能力,已在各個(gè)領(lǐng)域中取得了廣泛的應(yīng)用。但是人們?cè)谑褂眠^程中卻發(fā)現(xiàn),這種算法存在這樣或那樣的局限,比如收斂速度慢、容易陷入局部最小值以及忘記舊樣本的趨勢,這些局域性嚴(yán)重影響了B

2、P算法的應(yīng)用。本文主要針對(duì)BP算法的缺點(diǎn),從梯度下降法和BP算法融合的角度進(jìn)行改進(jìn),設(shè)計(jì)出效果較優(yōu)的算法。主要研究工作如下:第一、多層前饋模型的綜述。第二、BP算法的推導(dǎo)過程及其改進(jìn)。第三、實(shí)例仿真。關(guān)鍵字:BP算法,神經(jīng)網(wǎng)絡(luò),前饋模型.ABSTRACTWith the development of artificial neural networks, it is applied widely in more fields, such as artificial intelligence, intelligent control, computer science, information

3、processing, robotics, pattern recognition. BP (back propagation neural network is one of the most widely applied neural networks. BP algorithm has become the most widely applied neural network algorithms, it and its deformations are used in most neural network models. These algorithms which have goo

4、d nonlinear mapping ability, generalization ability and fault algorithm have wide applications in various engineering fields. However, the standard BP algorithm or its improved algorithms are based on steepest descent algorithm, thus there are some shortcomings, such as slow convergence, easy to fal

5、l into local minimum and forget the old samples. These shortcomings seriously affect the application of BP network.In this thesis, the shortcomings of BP algorithm is studied, from the perspective of combining gradient algorithm with BP algorithm, the optimum algorithms are designed. The main points

6、 of research are as follows:First of all, Summary of multilayer feed-forward modelSecondly, Derivation of BP algorithm and its improvement Thirdly, The simulationKeywords: BP algorithm; neutral networks; feed-forward model;目錄1 引言 (42 基于BP算法的多層前饋模型 (42.1數(shù)學(xué)模型 (42.2各層計(jì)算 (53 BP學(xué)習(xí)算法 (63.1 網(wǎng)絡(luò)誤差與權(quán)值調(diào)整 (63.2

7、 算法推導(dǎo) (64 基于BP的多層前饋網(wǎng)的主要能力、局限性及改進(jìn) (84.1 主要能力 (84.2 局限性及改進(jìn) (85.仿真實(shí)例 (86.附錄 (107.參考文獻(xiàn) (111 引言神經(jīng)網(wǎng)絡(luò)(Neural Networks ,簡稱NN 是由大量的、簡單的處理單元(簡稱為神經(jīng)元廣泛的相互連接而成的復(fù)雜網(wǎng)絡(luò)系統(tǒng),它反映了人腦功能的許多基本特性,是一個(gè)高度復(fù)雜的非線性動(dòng)力學(xué)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行、分布式存儲(chǔ)和處理、自組織、自適應(yīng)和自學(xué)習(xí)能力,特別適合處理需要同時(shí)考慮許多因素和條件的、不精確和模糊的信息處理問題。神經(jīng)網(wǎng)絡(luò)的發(fā)展與神經(jīng)科學(xué)、數(shù)理科學(xué)、認(rèn)知科學(xué)、計(jì)算機(jī)科學(xué)、人工智能、信息科學(xué)、控制論、

8、機(jī)器人學(xué)、微電子學(xué)、心理學(xué)、光計(jì)算、分子生物學(xué)等有關(guān),是一門新興的邊緣交叉學(xué)科。1986年Rumelhart 和McCelland 等人提出并行分布處理(PDP 的理論,同時(shí)提出了多層網(wǎng)絡(luò)的誤差反向傳播學(xué)習(xí)算法,簡稱BP 算法。這種算法根據(jù)學(xué)習(xí)的誤差大小,把學(xué)習(xí)的結(jié)果反饋到中間層次的隱單元,改變它的權(quán)系數(shù)矩陣,從而達(dá)到預(yù)期的學(xué)習(xí)目的,解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。BP 算法從實(shí)踐上證明神經(jīng)網(wǎng)絡(luò)的運(yùn)算能力很強(qiáng),可以完成許多學(xué)習(xí)任務(wù),解決許多具體問題。BP 網(wǎng)絡(luò)是迄今為止最常用、最普通的網(wǎng)絡(luò)。2 基于BP 算法的多層前饋模型2.1數(shù)學(xué)模型其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示 圖1 BP 網(wǎng)絡(luò)結(jié)構(gòu)模型的數(shù)學(xué)表達(dá)如下:輸

9、入向量: T n i x x x x X ,.,.,(21隱層輸出向量: T m j y y y y Y ,.,.,(21=輸出層輸出向量: T l k o o o o O ,.,.,(21=期望輸出向量:T l k d d d d d ,.,.,(21=輸入層到隱層之間的權(quán)值矩陣:,.,.,(21m J V V V V V =隱層到輸出層之間的權(quán)值矩陣:,.,.,(21l k W W W W W =2.2各層計(jì)算對(duì)于輸出層:(k k net f o = l k ,.,2,1= (1-1 =m j j jk k y w net 0l k ,.,2,1= (1-2對(duì)于隱層: (j j n e t

10、 f y = m j ,.,2,1= (1-3=ni i ij j x v net 0 m j ,.,2,1= (1-4其中,(.f 為單極性Sigmoid 函數(shù)x e x f -+=11(或雙極性Sigmoid 函數(shù)x xe e xf -+-=11(3 BP 學(xué)習(xí)算法3.1 網(wǎng)絡(luò)誤差與權(quán)值調(diào)整輸出誤差E 定義:2(21o d E -=-=l k k k o d 12(21 (1-5 將以上誤差定義式展開至隱層:=-=l k k k net f d E 12(21=-=l k m j j jk k y w f d 120(21 (1-6進(jìn)一步展開至輸入層:=-=lk m j j jk k ne

11、t f w f d E 120(21 =-=lk m j n i i ij jk k x v f w f d 1200(21 (1-7 jkjk w E w -= l k m j ,.,2,1;,.,1,0= (1-8 ijij v E v -= m j n i ,.,2,1;,.,1,0= (1-9 式中負(fù)號(hào)表示梯度下降,常數(shù)(0,1表示比例系數(shù)。在全部推導(dǎo)過程中,對(duì)輸出層有l(wèi) k m j ,.,2,1;,.,1,0= 對(duì)隱層有 m j n i ,.,2,1;,.,1,0=3.2 算法推導(dǎo)對(duì)于輸出層式(1-8,可以寫成:jkk k jk jk w net net E w E w -=-= (

12、1-10 對(duì)于隱層式(1-9,可以寫成:ijj j ij ij v net net E v E v -=-= (1-11 對(duì)輸出層和隱層各定義一個(gè)誤差信號(hào),令ko k net E -= (1-12 jy j net E -= (1-13 綜合利用上式可得權(quán)值調(diào)整為:jo k jk y w = (1-14 i y j ij x v = (1-15可以看出,只要計(jì)算出式(1-14、式(1-15中的誤差信號(hào)o 和y ,權(quán)值調(diào)整量的計(jì)算推導(dǎo)即可完成。下面繼續(xù)推導(dǎo)如何求誤差信號(hào)o 和y 。對(duì)于輸出層,o 可展開為:(k kk k k k o k net f o E net o o E net E -=-

13、=-=(1-16對(duì)于隱層,y 可展開為:(j jj j j j y j net f y E net y y E net E -=-=-= (1-17 對(duì)式(1-5求各階偏導(dǎo)數(shù)可得:(k k ko d o E -= (1-18 對(duì)于隱層有:=-=lk m j j jk k y w f d E 120(21 (1-19 故可得:=-=l k jk k k k j w net fo d y E 1( (1-20 將上式代入(1-16,并利用單極性Sigmoid 函數(shù)x e x f -+=11(可得:1(k k k k o k o o o d -= (1-21 (1j l k jk k k k y j

14、 net fw net fo d =-=1(1j j lk jk o k -y y w = (1-22將式(1-21、(1-22代入式(1-14、(1-15可得三層前饋網(wǎng)的BP 學(xué)習(xí)算法權(quán)值調(diào)整的計(jì)算公式為:j k k k k j o k jk y o o o d y w 1(-= (1-23 i j j lk jk o k i y j ij x y y w x v 1(1-= (1-244 基于BP 的多層前饋網(wǎng)的主要能力、局限性及改進(jìn)4.1 主要能力(1非線性映射能力多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系,而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對(duì)供B

15、P 網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練,它便能完成由n 維輸入空間到m 維輸出空間的非線性映射。(2泛化能力當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見過的非樣本數(shù)據(jù)時(shí),網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網(wǎng)的泛化能力。(3容錯(cuò)能力輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)誤對(duì)網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。4.2 局限性及改進(jìn)BP算法的主要缺點(diǎn)是:收斂速度慢、局部極值、難以確定隱層和隱層節(jié)點(diǎn)的個(gè)數(shù)。在實(shí)際應(yīng)用中,BP算法很難勝任,因此出現(xiàn)了很多改進(jìn)算法。BP算法的改進(jìn)主要有兩種途徑:一種是采用啟發(fā)式學(xué)習(xí)算法,另一種是采用更有效的優(yōu)化算法。啟發(fā)式學(xué)習(xí)算法,就是對(duì)表現(xiàn)函數(shù)梯度加以分析,從而改進(jìn)算法,其中包括:有動(dòng)量的

16、梯度下降法(traingdm、有自適應(yīng)Ir的梯度下降法(traingda、有動(dòng)量和自適應(yīng)Ir的梯度下降法(traingdx、和能復(fù)位的BP訓(xùn)練法(trainrp等。本文主要通過BP網(wǎng)絡(luò)訓(xùn)練和有動(dòng)量的梯度下降法、有自適應(yīng)Ir的梯度下降法(traingda以及彈性梯度下降法的比較,得出采用有動(dòng)量的梯度下降法、有自適應(yīng)Ir的梯度下降法(traingda以及彈性梯度下降法提高了學(xué)習(xí)速率并增加了算法的可靠性。5.仿真實(shí)例假設(shè)樣本數(shù)據(jù)如下:p=-1 -1 2 2;0 5 0 5;t=-1 -1 1 1;應(yīng)用minmax函數(shù)求輸入樣本的范圍,然后構(gòu)造一個(gè)BP網(wǎng)絡(luò),仿真結(jié)果如下: 50100150200250

17、300101010101010100300 EpochsTraining-BlueGoal-BlackPerformance is 0.00253458, Goal is 1e-005應(yīng)用動(dòng)量的梯度下降法進(jìn)行BP網(wǎng)絡(luò)訓(xùn)練(traingdm,其仿真如下: 101010101010100101300 Epochs T r a i n i n g -B l u e G o a l -B l a c k Performance is 0.00513119, Goal is 1e-005應(yīng)用有自適應(yīng)Ir 的梯度下降法(traingda 進(jìn)行訓(xùn)練,仿真結(jié)果如下: 10101010101010010192

18、Epochs T r a i n i n g -B l u e G o a l -B l a c k Performance is 7.74642e-006, Goal is 1e-005應(yīng)用彈性梯度下降法進(jìn)行訓(xùn)練,仿真結(jié)果如下: 51015202510101010101010010126 Epochs T r a i n i n g -B l u e G o a l -B l a c k Performance is 9.85186e-006, Goal is 1e-0056.附錄附錄一:p=-1 -1 2 2;0 5 0 5;t=-1 -1 1 1;net=newff(minmax(p,3

19、,1,tansig,purelin,traingd; net.trainParam.show=50;net.trainParam.Ir=0.05;net.trainParam.epochs=300;net.trainParam.goal=1e-5;net,tr=train(net,p,t;a=sim(net,p;附錄二:p=-1 -1 2 2;0 5 0 5;t=-1 -1 1 1;net=newff(minmax(p,3,1,tansig,purelin,traingdm; net.trainParam.show=50;net.trainParam.Ir=0.05;net.trainParam.mc=0.9;n