bP神經(jīng)網(wǎng)絡(luò)控制

1、BP神網(wǎng)偽一實驗內(nèi)容設(shè)計BP網(wǎng)絡(luò)，映射函數(shù)為：y=sin(x)xG(0,In)y=x”2+x2八2+xl*x2xl,x2e(0,l)給出訓(xùn)練后的權(quán)值矩陣，并考察訓(xùn)練擬合的效果。二實驗原理BP網(wǎng)絡(luò)原理BP網(wǎng)絡(luò)模型處理信息的基本原理是：輸入信號人通過中間節(jié)點(隱層點)作用于輸出節(jié)點，經(jīng)過非線形變換，產(chǎn)生輸出信號網(wǎng)絡(luò)訓(xùn)練的每個樣本包括輸入向量X和期望輸出量t,網(wǎng)絡(luò)輸出值Y與期望輸出值t之間的偏差，通過調(diào)整輸入節(jié)點與隱層節(jié)點的聯(lián)接強度取值Wjj和隱層節(jié)點與輸出節(jié)點之間的聯(lián)接強度0以及閾值，使誤差沿梯度方向下降，經(jīng)過反復(fù)學(xué)習(xí)訓(xùn)練，確定與最小誤差相對應(yīng)的網(wǎng)絡(luò)參數(shù)(權(quán)值和閾值)，訓(xùn)練即告停止。此時經(jīng)過訓(xùn)練的

2、神經(jīng)網(wǎng)絡(luò)即能對類似樣本的輸入信息，自行處理輸出誤差最小的經(jīng)過非線形轉(zhuǎn)換的信息。BP學(xué)習(xí)的過程正向傳播：輸入樣本輸入層各隱層輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實際輸出與期望的輸出(教師信號)不符誤差反傳BP網(wǎng)絡(luò)的設(shè)計在本次試驗中，均釆用了三層的BP網(wǎng)絡(luò)，即輸入層，一隱層，輸出層。隱層結(jié)點數(shù)均定義為10個。在取樣本時，釆取均勻采樣的方法，在測試時釆用未使用的數(shù)據(jù)。對于初始值釆用隨機選取的辦法。釆用單極性Sigmoid函數(shù)：f(x)=亓呂，其具有連續(xù)、可導(dǎo)的特點。1.0Z0*4算法初始化網(wǎng)絡(luò)參數(shù)，其閾值和各層之間的權(quán)值均用隨機數(shù)產(chǎn)生，其范圍卜1加;輸入樣本及教師信號，(x,y),并歸一化，其

3、函數(shù)為：0,1歸一化（mimax一一0,1）：0J反歸一化(0,1一一min/max)：爲(wèi)=辱(.口廠備)+x卜1歸一化(min,max一一-1,1)：卜1丄反歸一化(4JL一min,max)：谷巧x(：a盂、隘卅dY_爲(wèi)uax+兀urn(其中2)計算隱層及輸出層的輸出設(shè)其函數(shù)為:f(x)=l/(1+exp(x)則隱層輸出為：yj=fGi=0VijXt)輸出層輸出為：Ok=fQ=QWjkyj)計算各層的誤差信號并改變權(quán)值。計算隱層對輸出層的誤差信號，5=(dk-Ok)Ok(l-Ok),并根據(jù)誤差信號求出權(quán)值增量，Wjlc=2納-進而可更新權(quán)值：Wjk=Wjk+Wjk。計算輸入層對隱層的誤差信號

4、，處=猱Wjk)yj(l-y)并根據(jù)誤差信號，求出權(quán)值增量，Vij=2*Xi。進而可更新權(quán)值：Vif=Vif+AViJO計算網(wǎng)絡(luò)均方根誤差E,E=-OQ判斷誤差是否達到要求或者達到訓(xùn)練次數(shù)，若未達到要求，則執(zhí)行3,4部知道到達要求。若滿足要求，則進行測試。5算法的流程圖為:結(jié)束Times=36602Times=36603Times=36604Times=36605Times=36606Times=36607Times=36608Times=36609Times=36610Times=36611Times=36612Times=36613|Times=36614|Times=36615|Time

5、s=36616|Times=36617|Times=36618|Times=36619|Times=36620Times=36621Times=36622Times=36623Times=36624E=0.000130022E=0.000130021E=0.000130019E=0.000130018E=0.000130016E=0.000130015E=0.000130014E=0.000130012E=0.000130011E=0.000130009E=0.000130泗E=0.00013西目6E=0.000130005E=0.000130003E=0.000130002E=0.00013

6、E=0.000129999三實驗結(jié)果y=sin(x)在實驗時將隱層節(jié)點個數(shù)設(shè)為：10；學(xué)習(xí)率為：0.1；誤差設(shè)定值為：0.00013；實驗截圖如圖所示：實驗次數(shù)及誤差E=0.000130031E=0.00013003E=0.000130028E=0.00013002?E=0.000130025E=0.000130024trainingcompleted經(jīng)試驗，當(dāng)誤差達到0.00013后，誤差減小的很慢，當(dāng)達到0.00012后便開始增加。故選定誤差為0.00013,訓(xùn)練次數(shù)為36624次。實驗結(jié)束后的權(quán)值：F;作業(yè)zhinerrgghhhDebugghhh冶Times=36&24E=0.0001

7、29咖trainincfcompleted-.最后的權(quán)值為:w_hide_input1.13881.260621.09712-1-09608-1.2823-3.8236-1.34532-1.1056-3.963484.38029最后的權(quán)值為;w_output_hide5.095369.17154.79617-7.33S77-1.680777.47398一954034-4.606738.82398-G.12119輸入曠2Fi之間的數(shù)，測試:誤差為-0-06&143輸人曠2亦之間的驗0.5輸岀:0.505098應(yīng)該輸岀為；0.479426一00256729誤蕪為A02*pi之間的數(shù)：2輸出0-84

8、4328應(yīng)該輸岀為：0.909297誤差為;0-0649699輸人曠2狹pi之詢藥縱5輸岀-0.845001應(yīng)逐勒出為：誤差為；-0-113923輸人曠2其pi之間的數(shù):-0.958924輸岀匚-0捌工三-0.30709應(yīng)該輸出為-0-279415勺：0.0276744I嶽X.曠2和i之間的數(shù)；半二y=xlA2+x2A2+xl*x2xl,x2G(0,l)在實驗時將隱層節(jié)點個數(shù)設(shè)為：10：學(xué)習(xí)率為：0.5；誤差設(shè)定值為:實驗截圖如圖所示：實驗次數(shù)及誤差0.0015；一F作業(yè)智能xy22Debugxy22exMTimes=56747limes=56748Times=56749Times=56750

9、Times=56751Times=56752Times=56753limes=56754Times=56755Times=56756Times=56757Times=56758Times=56759Times=56760limes=56761Times=56762Times=56763Times=56764Times=56765Times=56766limes=56767Times=56768Times=56769Times=56770Times=56771Times=56772Times=56773Times=56774Times=56775Times=56776Times=56777Tim

10、es=56778Times=56779limes=56780Times=56781Times=56782Times=56783Times=56784Times=56785limes=56786Times=56787Times=56788E=0.00150373E=0.00150364E=8.00150355E=0.00150346E=0.00150337E=0.00150328E=0.00150319E=9.0015031E=0.00150301E=0.00150292E=0.00150283E=0.00150274E=0.00150265E=0.00150256E=0.00150246E=0

11、.00150237E=0.00150228E=0.00150219E=0.0015021E=0.601502E=0.00150191E=0.00150182E=0.00150173E=0.00150163E=0.00150154E=0.60150145E=9.00150136E=0.00150126E=0.00150117E=0.00150108E=0.00150098E=0.00150089E=0.00150079E=0.001500?E=0.00150061E=0.00150051E=0.00150042E=0.00150032E=0.00150923E=0.00150913E=0.001

12、50904E=0.00149994ngcompleted-經(jīng)試驗，當(dāng)誤差達到0.0015后，誤差減小的非常慢，但一直在減小，故選定誤差為0.0015,且選定的學(xué)習(xí)率比較高。最終的訓(xùn)練次數(shù)為56788次。最終的權(quán)值為最后的權(quán)值為:w_hide_input4.253252.363972.083841.78115-4.122121.049531.73771-1.21911.22399-0.672378-2.09057-2.20691-2.03617-1.91113.60243-3.06195-1.69254-0.000977956-1.507351.01596最后的權(quán)值為:w_output_J)id

13、e10.8036-0.984563-1.74013-2.95384.815581.52658-1.03275-809225一4.6938數(shù)據(jù)測試TH：*6.23770.0453536四實驗結(jié)果分析在BP網(wǎng)絡(luò)訓(xùn)練的過程中，誤差開始減小的非?？?，到后來訓(xùn)練了一萬次后誤差減小開始變得非常慢。當(dāng)改變學(xué)習(xí)率時，學(xué)習(xí)率增加時，學(xué)習(xí)的速度增加,但是出現(xiàn)了震蕩的現(xiàn)象。選取較小的學(xué)習(xí)率時，學(xué)習(xí)的速率明顯變慢，但是選取的值較多，震蕩的現(xiàn)象減小。隱層節(jié)點數(shù)減少時學(xué)習(xí)的速率變快，但是相應(yīng)的測試誤差變大。在測試時，有的數(shù)的誤差明顯偏大，這是由于訓(xùn)練次數(shù)少，隱層結(jié)點數(shù)少，訓(xùn)練有誤差而導(dǎo)致的仿真結(jié)果不準(zhǔn)確造成的。五實驗中存

14、在的不足對于第一題，在訓(xùn)練時，產(chǎn)生了很多次的震蕩，而且不能保證最后的結(jié)果是最優(yōu)的結(jié)果。對于第二題，誤差減小的很慢，到了最后基本上不減小。訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；實驗訓(xùn)練結(jié)束后的測試，最終的絕對誤差均在0.05左右，有些大。訓(xùn)練次數(shù)少，誤差較大而引起的。六實驗中出現(xiàn)的問題(1)在調(diào)試程序的過程中出現(xiàn)誤差非常大，而且不減小的情況一進入了平坦區(qū)產(chǎn)生的原因：沒有進行歸一化處理。進行歸一化處理的原因：網(wǎng)絡(luò)的各個輸入數(shù)據(jù)常常具有不同的物理意義和不同的量綱，歸一化給各輸入分量以同等重要的地位；BP網(wǎng)的神經(jīng)元均采用Sigmoid轉(zhuǎn)移函數(shù)，變換后可防止因凈輸入的絕對值過大而使神經(jīng)元輸出飽和，繼而使

15、權(quán)值調(diào)整進入誤差曲面的平坦區(qū)；Sigmoid轉(zhuǎn)移函數(shù)的輸出在0V或之間。教師信號如不進行歸一化處理，勢必使數(shù)值大的輸出分量絕對誤差大，數(shù)值小的輸出分量絕對誤差小。在調(diào)試的過程中出現(xiàn)了誤差震蕩產(chǎn)生的原因：標(biāo)準(zhǔn)bp算法的局限性，在誤差變化劇烈的區(qū)域，口太大會因調(diào)整量過大而跨過較窄的“坑凹”處，使訓(xùn)練出現(xiàn)振蕩，反而使迭代次數(shù)增加。解決方法：自適應(yīng)改變學(xué)習(xí)率，使其根據(jù)環(huán)境變化增大或減小。誤差收斂比較慢產(chǎn)生原因：只按t時刻誤差的梯度降方向調(diào)整，而沒有考慮t時刻以前的梯度方向解決方法：從前一次權(quán)值調(diào)整量中取出一部分迭加到本次權(quán)值調(diào)整量中對于使用VC的錯誤產(chǎn)生的原因：由于很久沒有使用C編寫程序，對C的一些函

16、數(shù)和變量定義有一些生疏，所以導(dǎo)致一些基本的錯誤。七實驗心得通過本次試驗，讓我對BP神經(jīng)網(wǎng)絡(luò)的基本原理和方法有了更深層次的理解，學(xué)會了如何運用VC+設(shè)計BP網(wǎng)絡(luò)。了解了BP網(wǎng)絡(luò)的基本算法，及標(biāo)準(zhǔn)BP算法存在的局限性有了更深的了解，并且了解了改進BP算法的方法及過程。A.附錄：(1)y=sin(x)程序itincludeitincludeusingnamespacestd;#definet200000#definenumlnputLayer1#definenumHiddenLayer10#definenumOutputLayer1#definelearnRatio0.1#definenumSamp

17、le50#definepi3.1415926輸入樣本doubleXnumSampienumlnputLayer;期望輸出樣本doubleYnumSampienumOutputLayer;doubletheta_hidenumHiddenLayer;/隱含結(jié)點閥值doubletheta_outputnumOutputLayer;/輸出結(jié)點閥值doublew_hidenputnumHiddenLayernumlnputLayer;/隱含結(jié)點權(quán)值doublew_output_hidenumOutputLayernumHiddenLayer;/輸出結(jié)點權(quán)值doubleinput_xnumInputLa

18、yer;/輸入樣本doubleoutput_ynumOutputLayer;期望輸出樣本doublenet_hidenumHiddenLayer;/隱含層狀態(tài)值doubleo_hidenumHiddenLayer;隱含層輸出值doublenet_outputnumOutputLayer;/輸出狀態(tài)值doubleo_outputnumOutputLayer;/輸出層輸出值doubledet_w_hidenputnumHiddenLayernumlnputLayer;/新隱含結(jié)點權(quán)值doubledet_w_output_hidenumOutputLayernumHiddenLayer;/新輸出結(jié)點

19、權(quán)值doublepreminmax(doublemin,doublemax,doublein)/歸一化函數(shù):min,max-0,1return(in-min)/(max-min);doublepostminmaxfdoublemin,doublemax,doublein)/反歸一化函數(shù):0,1一min,maxreturnin*(max-min)+min;doublepreminmax2(doublemin,doublemax,doublein)/歸一化函數(shù):min,max-1,1doublemid=(max+min)/2;return2*(in-mid)/(max-min);doublepos

20、tminmax2(doublemin,doublemax,doublein)/反歸一化函數(shù):一一min,maxdoublemid=(max+min)/2;returnin*(max-min)/2+mid;intData_lnput(inti)Xi0=2*i*pi/50;Yi0=sin(Xi0);Xi0=preminmax2(0,2*pi/Xi0);/輸入0,2ir歸一化至lj-lzlYiO=preminmax(-l/lMiO)；/輸出J/L歸一化到OJreturn0;voidinitial()隱含層閾值forfinti=O;inumHiddenLayer;i+)theta_hidei=(2.0

21、*(double)rand()/RAND_MAX)-l;/-l到1之間的隨機數(shù)一輸出層閾值for(i=0;inumOutputLayer;i+)theta_outputi=(2.0*(double)rand()/RAND_MAX)-l;輸入層與隱層之間的權(quán)值for(i=0;inumHiddenLayer;i+)forfintj=O;jnumlnputLayer;j+)w_hide_inputij=(2.0*(double)rand()/RAND_MAX)-l;輸出層與隱層之間的權(quán)值for(i=0;inumOutputLayer;i+)forfintj=0;jnumHiddenLayer;j+)

22、w_output_hideij=(2.0*(double)rand()/RAND_MAX)-l;voidcalcNetO()/輸入層netkforfinti=O;inumHiddenLayer;i+)doubletemp=0;for(intj=0;jnumlnputLayer;j+)temp+=w_hide_inputij*input_xj;/Wi*Xinet_hidei=temp;voidsigmoidNetO()/隱含層輸出for(inti=O;inumHiddenLayer;i+)o_hidei=l/(l+exp(-(net_hidei+theta_hidei);voidcalcNetl

23、f)/隱層netkfor(inti=0;inumOutputLayer;i+)doubletemp=0;forfintj=O;jnumHiddenLayer;j+)temp+=w_output_hideij*o_hidej;/Wi*Xinet_outputi=temp;voidsigmoidNetl()/輸出層輸出for(inti=0;inumOutputLayer;i+)o_outputi=l/(l+exp(-(net_outputi+theta_outputi);voidadjustWeightf)for(intk=O;knumOutputLayer;k+)/輸出層與隱層之間的權(quán)值增量fo

24、rfintj=O;jnumHiddenLayer;j+)det_w_output_hidekj=leamRatio*(output_yk-o_outputk)*o_outputk*(l-o_outputk)*o_hidej;for(inti=0;inumlnputLayer;i+)/輸入層與隱層之間的權(quán)值增量forfintj=O;jnumHiddenLayer;j+)doublesum=0;forfintk=0;knumOutputLayer;k+)sum+=(output_yk-o_outputk)*o_outputk*(l-o_outputk)*w_output_hidekj;det_w_

25、hide_inputji=learnRatio*o_hide|j*(l-o_hidej)*sum*input_xi;for(i=0;inumOutputLayer;i+)/更新輸出層權(quán)值for(intj=O;jnumHiddenLayer;j+)w_output_hideij+=det_w_output_hideij;for(i=0;inumHiddenLayer;i+)/更新隱含層權(quán)值for(intj=O;jnumlnputLayer;j+)w_hide_inputij+=det_w_hide_inputij;voidtest()doublea2;doubleb;doublee;double

26、c;while(l)cout輸入02*pi之間的數(shù):Nendl;for(inti=0;i0.00013×t)times+;E=0;for(intn=O;nnumSample;n+)Data_lnput(n);壓擇X值forfintm=O;mnumlnputLayer;m+)input_xm=Xnm;選擇Y值for(m=0;mnumOutputLayer;m+)output_ym=Ynm;calcNetO();sigmoidNetO();calcNetl();sigmoidNetl();adjustWeightf);計算一次訓(xùn)練的誤差for(inti=0;inumOutputLayer

27、;i+)E+=(output_yi-o_outputi)*(output_yi-o_outputi);E=E/2.0;coutvvT1mesJvvtimesvvE=Eendl;coutntrainingcompleted.Hendlendl;cout最后的權(quán)值為：w_hidenputvvendl;forfinti=0;inumlnputLayer;i+)forfintj=0;jnumHiddenLayer;j+)coutw_hide_inputjiendl;coutendl;一coutH最后的權(quán)值為：w_output_hideNendl;for(i=0;inumOutputLayer;i+)f

28、orfintj=0;jnumHiddenLayer;j+)coutw_output_hideijendl;test();/測試，按ctrl+C結(jié)束return0;#include#includeusingnamespacestd;#definet200000ftdefinenumlnputLayer2definenumHiddenLayer10ftdefinenumOutputLayer1definelearnRatio0.5definenumSample2500/#definepi3.1415926輸入樣本doubleXnumSampienumlnputLayer;期望輸出樣本doubleY

29、numSamplenumOutputLayer;doubletheta_hidenumHiddenLayer;/隱含結(jié)點閥值doubletheta_outputnumOutputLayer;輸出結(jié)點閥值doublew_hidenputnumHiddenLayernumlnputLayer;/隱含結(jié)點權(quán)值doublew_output_hidenumOutputLayernumHiddenLayer;/輸出結(jié)點權(quán)值doubleinput_xnumInputLayer;/輸入樣本doubleoutput_ynumOutputLayer;期望輸出樣本doublenet_hidenumHiddenLay

30、er;/隱含層狀態(tài)值doubleo_hidenumHiddenLayer;隱含層輸出值doublenet_outputnumOutputLayer;/輸出狀態(tài)值doubleo_outputnumOutputLayer);/輸出層輸出值max,doublein)/歸一化函doubledet_w_hidenputnumHiddenLayernumlnputLayer;新隱含結(jié)點權(quán)值doubledet_w_output_hidenumOutputLayernumHiddenLayer;/新輸出結(jié)點權(quán)值doublepreminmaxfdoublemin,double數(shù):min,max-0,1retur

31、n(in-min)/(max-min);in)/反歸一化函doublepostminmaxfdoublemin,doublemax,double數(shù):0,1-min,maxreturnin*(max-min)+min;doublepreminmax2(doublemin,doublemax,doublein)/歸一化函數(shù):min,max-1,1doublemid=(max+min)/2;return2*(in-mid)/(max-min);doublepostminmax2(doublemin,doublemax,doublein)/反歸一化函數(shù):一一min,maxdoublemid=(max+

32、min)/2;returnin*(max-min)/2+mid;intData_lnput(inti)intj;intk;j=i/50;k=i%50;Xj0=j*0.02;Xkl=k*0.02;/Xj0=preminmax2(0,l/Xj0);/輸入0丄歸一化到dj/Xkl=preminmax2(0,l,Xkl);/輸入0,1歸一化到卜1丄YiO=XjO*XjO+Xkl*Xkl+XjO*Xkl;Yi0=preminmax(0,3,Yi0);/輸出0,3歸一化到0,1return0;隱含層閾值for(inti=O;inumHiddenLayer;i+)theta_hidei=(2.0*(doub

33、le)rand()/RAND_MAX)-l;/-l到1之間的隨機數(shù)一輸出層閾值for(i=0;inumOutputLayer;i+)theta_outputi=(2.0*(double)rand()/RAND_MAX)-l;輸入層至隱層權(quán)值for(i=0;inumHiddenLayer;i+)forfintj=0;jnumlnputLayer;j+)w_hide_inputij=(2.0*(double)rand()/RAND_MAX)-l;隱含層至輸出層權(quán)值for(i=0;inumOutputLayer;i+)forfintj=O;jnumHiddenLayer;j+)w_output_hi

34、deij=(2.0*(double)rand()/RAND_MAX)-l;voidcalcNetO()輸入層netkforfinti=O;inumHiddenLayer;i+)doubletemp=0;for(intj=0;jnumlnputLayer;j+)temp+=w_hide_inputij*input_xj;/Wi*Xinet_hidei=temp;voidsigmoidNetO()/隱含層輸出for(inti=O;inumHiddenLayer;i+)/y=l/(l+exp(-Wi*Xi-theta)o_hidei=l/(l+exp(-(net_hidei+theta_hidei)

35、;voidcalcNetlf)/隱層netkfor(inti=0;inumOutputLayer;i+)doubletemp=0;forfintj=O;jnumHiddenLayer;j+)temp+=w_output_hideij*o_hidej;/Wi*Xinet_outputi=temp;voidsigmoidNetl()/輸出層輸出for(inti=0;inumOutputLayer;i+)o_outputi=l/(l+exp(-(net_outputi+theta_outputi);voidadjustWeightf)for(intk=0;knumOutputLayer;k+)/輸出層與隱層之間的權(quán)值增量forfintj=O;jnumHiddenLayer;j+)det_w_output_hidekj=leamRatio*(output_yk-o_outputk)*o_outputk*(l-o_outputk)*o_hidej;for(inti=O;inumlnputLayer;i+)/輸入層與隱層之間的權(quán)值增量forfintj=O;jnumHiddenLayer;j+)doublesum=0;forfintk=0;knumOutputLayer