BP神經(jīng)網(wǎng)絡(luò)擬合函數(shù)

BP神經(jīng)網(wǎng)絡(luò)用于函數(shù)擬合的實(shí)驗(yàn)一、實(shí)驗(yàn)?zāi)康谋緦?shí)驗(yàn)規(guī)定掌握前向型神經(jīng)網(wǎng)絡(luò)的基本工作原理及運(yùn)用反向傳輸擬定權(quán)系數(shù)的辦法，并能在MATLAB仿真環(huán)境下設(shè)計(jì)對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)非線性函數(shù)的逼近與擬合，并分析影響函數(shù)擬合效果的有關(guān)因素。二、實(shí)驗(yàn)規(guī)定設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的基本構(gòu)造與激勵(lì)函數(shù)，實(shí)現(xiàn)對(duì)非線性函數(shù)y=sin(x)的逼近與擬合，并分析影響函數(shù)擬合效果的有關(guān)參數(shù)（涉及激勵(lì)函數(shù)的選擇sigmoid、線性函數(shù)、權(quán)系數(shù)的初值、步長(zhǎng)的大小、訓(xùn)練樣本的多少等），并對(duì)比實(shí)驗(yàn)效果。三、實(shí)驗(yàn)環(huán)節(jié)1.擬定神經(jīng)網(wǎng)絡(luò)的構(gòu)造本次實(shí)驗(yàn)采用前向型BP神經(jīng)網(wǎng)絡(luò)，神經(jīng)元分層排列，每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。輸入模式通過(guò)各層的次序變換后，得到輸出層輸出。各神經(jīng)元之間不存在反饋。該實(shí)驗(yàn)神經(jīng)網(wǎng)絡(luò)含輸入層和輸出層兩層神經(jīng)元，其中輸入層含六個(gè)神經(jīng)元，輸出層含一種神經(jīng)元。輸入信號(hào)傳輸?shù)捷斎雽?，在輸出層得到擬合成果。擬定采用的激勵(lì)函數(shù)、擬合辦法選擇激勵(lì)函數(shù)為sigmoid的函數(shù)，因其便于求導(dǎo)，且值域在（0,1）之間，含有較好的收斂特性。擬合辦法采用梯度下降法，該辦法使實(shí)驗(yàn)數(shù)值沿梯度方向增加有限步長(zhǎng)，避免了盲目搜索，提高搜索效率。訓(xùn)練流程初始化各參數(shù)開始訓(xùn)練計(jì)算誤差計(jì)算廣義誤差調(diào)節(jié)連接權(quán)系數(shù)，直到誤差不大于設(shè)定值編寫程序?qū)崿F(xiàn)對(duì)非線性函數(shù)y=sin(x)的逼近與擬合算法流程圖如圖4.1所示。圖4.1算法流程圖四、實(shí)驗(yàn)成果及分析通過(guò)BP網(wǎng)絡(luò)學(xué)習(xí)逼近sin(x)函數(shù)的實(shí)驗(yàn)發(fā)現(xiàn)，不同的初值對(duì)逼近效果有較大影響。權(quán)系數(shù)初值隨機(jī)選用時(shí)，多次運(yùn)行程序，得到一組較好的擬合成果（見圖1），其權(quán)系數(shù)為w1=[-2.9880,-1.9267,-1.3569,-1.5064,-0.6377,-2.3899]w2=[2.0316,2.1572,-1.1427,-1.3108,-0.6328,-1.8135]，閾值yw1=[-11.3291,-4.0186,-6.6926,-7.6080,-0.5955,-2.1247]，yw2=-0.4377。圖SEQ圖\*ARABIC1固定選用初值為較好的擬合成果的權(quán)系數(shù)w1，w2及閾值yw1，yw2，變化其學(xué)習(xí)步長(zhǎng)，發(fā)現(xiàn)適宜步長(zhǎng)能夠使網(wǎng)絡(luò)擬合得更加好，但過(guò)小及過(guò)大的步長(zhǎng)都會(huì)加大誤差（見圖2.1,圖2.2，圖2.3），圖2.1設(shè)立的步長(zhǎng)為0.2，最后擬合誤差在0.1左右，圖2.2設(shè)立的步長(zhǎng)為0.02，最后擬合誤差靠近0.02，圖2.3設(shè)立的步長(zhǎng)為0.002，最后擬合誤差在0.03左右。由此可見，步長(zhǎng)在0.02時(shí)，擬合得最佳，誤差最低。圖SEQ圖\*ARABIC2.1圖2.2圖2.3固定選用初值為較好的擬合成果的權(quán)系數(shù)w1，w2及閾值yw1，yw2，取步長(zhǎng)為0.02,變化樣本數(shù)n，發(fā)現(xiàn)適宜樣本數(shù)能夠使網(wǎng)絡(luò)擬合得更加好（見圖3.1,圖3.2，圖3.3），圖3.1設(shè)立的樣本數(shù)為10，最后擬合誤差即使趨近于0，但通過(guò)圖像我們能夠直觀地看出，樣本數(shù)過(guò)少使BP網(wǎng)絡(luò)擬合出的是分段函數(shù)，而不是平滑的sin（x），圖3.2設(shè)立的樣本數(shù)為30，最后擬合誤差靠近0.02，圖2.3設(shè)立的樣本數(shù)為300，最后擬合誤差靠近0.004，但是通過(guò)逼近圖像能夠直觀看到，300的樣本數(shù)擬合程度并不如30樣本數(shù)的好。可見，樣本數(shù)為30時(shí)，擬合得最佳，誤差最低。圖SEQ圖\*ARABIC3.1圖3.2圖3.3固定選用初值為較好的擬合成果的權(quán)系數(shù)w1，w2及閾值yw1，yw2，取步長(zhǎng)為0.02,樣本數(shù)為30，變化學(xué)習(xí)次數(shù)，發(fā)現(xiàn)學(xué)習(xí)次數(shù)越多，BP網(wǎng)絡(luò)擬合越好，但是達(dá)成一定程度后，由于學(xué)習(xí)規(guī)定的存在（均方差不大于0.008），學(xué)習(xí)次數(shù)對(duì)擬合性的影響便會(huì)達(dá)成飽和，增加學(xué)習(xí)次數(shù)對(duì)擬合程度影響不大（見圖4.1,圖4.2，圖4.3）。圖4.1設(shè)立的學(xué)習(xí)次數(shù)為3000，最后擬合誤差靠近0.02，圖4.2設(shè)立的學(xué)習(xí)次數(shù)為30000，最后擬合誤差0.02左右，圖4.3設(shè)立的學(xué)習(xí)次數(shù)為300000，最后擬合誤差還是在0.02左右?？梢?，學(xué)習(xí)次數(shù)為30000時(shí)，就已經(jīng)足夠。圖SEQ圖\*ARABIC4.1圖4.2圖4.3通過(guò)以上實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)，選用初值為較好的擬合成果的權(quán)系數(shù)w1，w2及閾值yw1，yw2，取步長(zhǎng)為0.02,樣本數(shù)為30，學(xué)習(xí)次數(shù)為30000，在不變化BP網(wǎng)絡(luò)內(nèi)部構(gòu)造的狀況下擬合程度最佳。變化BP網(wǎng)絡(luò)構(gòu)造，把第一層6個(gè)神經(jīng)元改為3個(gè)神經(jīng)元，權(quán)系數(shù)和閾值初值隨機(jī)選用，步長(zhǎng)0.02,樣本數(shù)30，選用學(xué)習(xí)次數(shù)為3000時(shí)（如圖5.1），能夠發(fā)現(xiàn)擬合度十分差，而最大學(xué)習(xí)次數(shù)到30000時(shí)（如圖5.2），擬合程度改善不少，最后誤差靠近于0，進(jìn)一步證明學(xué)習(xí)次數(shù)越大，BP網(wǎng)絡(luò)擬合程度比較好。圖SEQ圖\*ARABIC5.1圖5.2變化BP網(wǎng)絡(luò)構(gòu)造，把第二層神經(jīng)元的激勵(lì)函數(shù)改為sigmoid函數(shù)，第一層神經(jīng)元仍然為6個(gè)，權(quán)系數(shù)和閾值初值隨機(jī)選用，步長(zhǎng)0.02,樣本數(shù)30，選用學(xué)習(xí)次數(shù)為3000時(shí)（如圖6.1），能夠發(fā)現(xiàn)擬合度十分差，而最大學(xué)習(xí)次數(shù)到30000時(shí)（如圖6.2），擬合程度改善不少。但激勵(lì)函數(shù)改為sigmoid函數(shù)后，發(fā)現(xiàn)BP網(wǎng)絡(luò)只能擬合sin（x）的前半周期，后半周期輸出都為0，這是由于sigmoid函數(shù)的值域?yàn)閇0,1]，而sin(x)函數(shù)的值域?yàn)閇-1,1],因此輸出層的激勵(lì)函數(shù)不能為sigmoid函數(shù)，否則無(wú)法擬合sin后半周期。圖SEQ圖\*ARABIC6.1圖6.2通過(guò)以上實(shí)驗(yàn)對(duì)比，第一層6個(gè)神經(jīng)元，激勵(lì)函數(shù)為sigmoid函數(shù)，第二層1個(gè)神經(jīng)元，激勵(lì)函數(shù)為線性函數(shù)，步長(zhǎng)0.02,樣本數(shù)30，選用學(xué)習(xí)次數(shù)為30000時(shí)，BP網(wǎng)絡(luò)擬合sin函數(shù)程度最佳。四、MATLAB編程代碼functionbpsin%用BP神經(jīng)網(wǎng)絡(luò)擬合sin（x）函數(shù)，兩層神經(jīng)元，第一層六個(gè)，激勵(lì)函數(shù)為sigmoid函數(shù)，第二層一種，激勵(lì)函數(shù)為線性函數(shù)。%********初始化*******************************l=0.2;%學(xué)習(xí)步長(zhǎng)n=30;%輸入樣本數(shù)cell=6;%第一層神經(jīng)元數(shù)times=3000;%學(xué)習(xí)次數(shù)x=(linspace(0,2*pi,n));%選用樣本點(diǎn)t=sin(x);%學(xué)習(xí)擬合的函數(shù)w1=rand(cell,1)*0.05;%第一層連接權(quán)系數(shù)的初始值w2=rand(1,cell)*0.05;%第二層連接權(quán)系數(shù)的初始值yw1=rand(cell,1)*0.05;%第一層閾值初始值yw2=rand*0.05;%第二層閾值初始值y=rand(1,n)*0.05;%輸出初始值counts=1;%計(jì)數(shù)e=zeros(1,times);%均方差%***************學(xué)習(xí)過(guò)程*************************fori=1:timesei=0;fora=1:n%遍歷樣本net1=w1*x(a)-yw1;out=logsig(net1);%第一層輸出net2=w2*out-yw2;%y(a)=logsig(net2);y(a)=net2;%第二層輸出（y）%det2=(t(a)-y(a))*y(a)*(1-y(a));det2=(t(a)-y(a));%det2det1=((det2*(w2)').*out).*(1-out);w1=w1+det1*x(a)*l;%更新權(quán)系數(shù)w2=w2+(det2*out)'*l;yw1=-det1*l+yw1;yw2=-det2*1+yw2;ei=ei+det2^2/2;%累積誤差e(i)=ei;endifei<0.008break;endcounts=counts+1;end%************逼近曲線****************fora=1:nnet1=w1*x(a)-yw1;out=logsig(net1);net2=w2*out-yw2;%y(a)=logsig(net2);y(a)=net2;end%***********畫圖*******************subplot(2,1,1)plot(x,t,'b-',x,y,'k*-');%畫sin函數(shù)及bp擬合圖gridon;title('BPmethod,y=sin(x)');xlabel('x');ylabel('y=si