神經(jīng)網(wǎng)絡(luò)與回歸方法分析(數(shù)學(xué)建模)

1、 神經(jīng)網(wǎng)絡(luò)的閾值是用來激活神經(jīng)元而設(shè)置的一個臨界值，有多少個神經(jīng)元就會有多少個閾值，則第二層神經(jīng)元的閾值為 的矩陣：-0.0580.2120.2300.2640.3450.3910.2840.190 同理，第二層與第三層之間的權(quán)值 為 的隨機(jī)數(shù)矩陣：0.364-0.0910.3310.3220.176-0.0840.0810.1440.190-0.0390.1420.0040.2140.20 -0.075-0.003 同理，第三層閾值 為 的矩陣： -0.038 0.002步驟4、計算第一層神經(jīng)元的輸入與輸出假設(shè)第一層神經(jīng)元中放置的是線性函數(shù)，所以網(wǎng)絡(luò)第一層輸入和輸出都等于實(shí)際輸入樣本的值，

2、所以第一層輸出值 。但是，因?yàn)檩斎牒洼敵鰳颖镜牧烤V以及量級都不相同，所以須進(jìn)行歸一化處理。步驟5、計算第二層神經(jīng)元的輸入對于第二層，神經(jīng)元的輸入是第一層所有的神經(jīng)元的值與閾值的和，即 ，其中 是一個全為1的矩陣，所以 是一個 的矩陣，很容易得出。步驟6、計算第二層神經(jīng)元的輸出假設(shè)第二層神經(jīng)元激勵函數(shù)為單極S型函數(shù)，即為 ，所以第二層神經(jīng)元的輸出 .所以第二層輸出也是一個 的矩陣。步驟7、計算第三層的輸入和輸出第三層輸入與第二層輸入相似，即 ，所以 是一個 的矩陣。步驟8、計算能量函數(shù) 能量函數(shù)，即網(wǎng)絡(luò)輸出與實(shí)際輸出樣本之間的誤差平方和，其目的是在達(dá)到預(yù)定誤差就可以停止訓(xùn)練網(wǎng)絡(luò)。 是歸一化處理后

3、的實(shí)際輸出樣本。則： 步驟9、計算第二層與第三層之間的權(quán)值和閾值調(diào)整量權(quán)值調(diào)整量： ， 是一個 的矩陣-33.644 -39.7786 -38.55 -40.2511 -41.395-41.33 -37.804 -38.256-11.433 -11.8610-12.38-12.077 -12.935-13.32 -12.509-12.633同理，閾值調(diào)整量： ， 是一個 矩陣： -67.628 -22.343步驟10、計算第一層與第二層之間的權(quán)值和閾值調(diào)整量 因?yàn)閷τ趥鬟f函數(shù)，有 ， 故權(quán)值調(diào)整量： 所以 是一個 的矩陣：-0.183 0.482 0.710 -3.319 0.056 -0.1

4、35 -0.193 0.769-0.099 0.547 0.615 -2.893-0.138 0.635 0.438 -2.696-0.072 0.132 0.615 -1.4320.0764 -0.39 0.320 0.728-0.062 0.251 -0.066-0.730-0.101 0.323 0.1105-1.263同理，閾值調(diào)整量：所以 為 的矩陣：-7.1131.674-6.119-5.1014-3.9450.2310-0.9220 -2.335 步驟11 計算調(diào)整之后的權(quán)值和閾值 此算法是讓網(wǎng)絡(luò)沿著 變化量最小的方向搜索，所以經(jīng)過一段時間的訓(xùn)練之后，神經(jīng)網(wǎng)絡(luò)會慢慢蜷縮收斂，直到

5、完全擬合成目標(biāo)輸出值或接近目標(biāo)輸出值。下面是y1的神經(jīng)網(wǎng)絡(luò)訓(xùn)練動態(tài)圖： 步驟12 還原網(wǎng)絡(luò)輸出的值因?yàn)樵谟?xùn)練網(wǎng)絡(luò)時，將輸入和輸出的樣本經(jīng)過了歸一化的處理，所以要將 還原成原始數(shù)據(jù)的量級。 根據(jù)此算法，我們編出了matlab程序，最終擬合結(jié)果如下：可以看出結(jié)果并不理想，相對于回歸模型，誤差并沒有減小。4.2.3模型的修正由于模型的參數(shù)沒有選擇好，隱含層數(shù)量不足，模擬的效果并不好，于是我們重新建立了神經(jīng)網(wǎng)絡(luò)模型。最大訓(xùn)練次數(shù)5000學(xué)習(xí)速率0.05隱含神經(jīng)元層數(shù)3 訓(xùn)練目標(biāo)誤差第一層隱含神經(jīng)元個數(shù)8第二層隱含神經(jīng)元個數(shù)12第三層隱含神經(jīng)元個數(shù)8第一層隱含神經(jīng)元傳遞函數(shù)Logsig函數(shù)第二層隱含神經(jīng)

6、元傳遞函數(shù)Tansig函數(shù)第二層隱含神經(jīng)元傳遞函數(shù)Logsig函數(shù)通過編寫MATLAB工具箱程序，訓(xùn)練得到了下面的結(jié)果： 由此得到的結(jié)果從視覺上非常完美。我們用訓(xùn)練得到的網(wǎng)絡(luò)驗(yàn)證了全部數(shù)據(jù)并提取了誤差： 可以得到只有幾個數(shù)據(jù)不是那么精確。 評價與總結(jié)我們抽取了部分?jǐn)?shù)據(jù)，分別檢驗(yàn)了回歸模型和通過神經(jīng)網(wǎng)絡(luò)算法訓(xùn)練得到的網(wǎng)絡(luò)，得到了誤差，在此我們進(jìn)行了具體的對比：Y1各種方法的誤差如下表所示：多元線性回歸多元非線性回歸神經(jīng)網(wǎng)絡(luò)-85.0904821787169-95.619319253.29699779745964424.792490319265544.57531591.03267427223443

7、-306.965839850488-118.22418911.41849261959817387.691377753137591.00044611.40769147165338380.142282029398578.5609411-0.344012787002839-199.616107238563-80.20782097-1.45635726638154-129.642502715347-36.23732595-0.741747572508700128.499371703981149.0573092-2.38062294681544-154.070310811591-285.4248746-

8、0.983439225507443-86.1574120256765-81.42055792-0.0768780510191220113.101241465220-20.579109321.6425826979537497.5809506531405-109.527153-4.6059375200536521.778516647382020.663342040.315506918113215-75.749252079431697.977658720.0213160796229772160.434115149431193.9322939-7.7932043682303145.4330777517

9、973-48.750289850.962562717276339-89.5074215609946-72.65979483-0.19313149656832437.1321320006323231.9745218-1.98561499149395131.16015604519298.35915699-31.6251837157761153.754072389387-32.9530268-2.43601124801970Y2各種方法的誤差如下表所示：多元線性回歸多元非線性回歸神經(jīng)網(wǎng)絡(luò)-30.39870495391526.1525970990.0872585163590145-12.9490793

10、890884-19.38873073-0.020593488054542210.7510720967549-21.497942390.0911796316330200-11.0095339782298-44.879570220.118073363295188-39.8078620699404-59.12548187-0.097385611231889951.251425016627532.2781036-0.201480587958699-28.5404648955414-52.64580805-0.250510979385689-56.9811916534564-64.47243588-0.

11、32865283829165137.467886252401440.39669528-0.04589381300257864.8985069551000811.68747331-0.0897937770061654-7.329402627026503.55897192-3.54122679937848-19.8734750618800-3.304613092-0.984659461024723-11.7901706398783-28.058524750.050955328372959119.9219390377847-12.39364672-0.0234371252933647-5.39651

12、527410106-23.63857455-0.28840509353831440.756577892204742.437521240.467194393960085-30.9074590838061-41.38639041-0.11444377393680612.1920784918839-25.40561238-0.0272714852628626-38.3271965029317-43.61624021-0.986235253808523-18.71638003971565.022890952-0.993467108071047 從對比中我們可以得出，無論是通過模擬的視覺效果上還是最后的

13、誤差對比中，我們可以明顯的得出，神經(jīng)網(wǎng)絡(luò)相對于回歸模型誤差小，得到的結(jié)果更加的精確。而回歸模型中非線性相對于線性擬合的效果更好一些，對于和，不管是哪種模型，對于y2的擬合效果要比y1更精確。神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的魯棒性、記憶能力、 HYPERLINK /s?wd=%E9%9D%9E%E7%BA%BF%E6%80%A7&hl_tag=textlink&tn=SE_hldp01350_v6v6zkg6 t /question/_blank 非線性映射能力以及強(qiáng)大的自學(xué)習(xí)能力，因此有很大的應(yīng)用市場。但是實(shí)際神經(jīng)網(wǎng)絡(luò)也特別的不穩(wěn)定，例如學(xué)習(xí)效率和神經(jīng)元數(shù)量等參數(shù)對最后訓(xùn)練的結(jié)果影響非常的大，神經(jīng)網(wǎng)絡(luò)把一切

14、問題的特征都變?yōu)閿?shù)字，把一切推理都變?yōu)閿?shù)值計算，其結(jié)果勢必是丟失信息，因此理論和學(xué)習(xí)算法還有待于進(jìn)一步完善和提高。而回歸分析法在分析多因素模型時，更加簡單和方便；運(yùn)用回歸模型，只要采用的模型和數(shù)據(jù)相同，通過標(biāo)準(zhǔn)的統(tǒng)計方法可以計算出唯一的結(jié)果，但在圖和表的形式中，數(shù)據(jù)之間關(guān)系的解釋往往因人而異，不同分析者畫出的擬合曲線很可能也是不一樣的；回歸分析可以準(zhǔn)確地計量各個因素之間的相關(guān)程度與回歸擬合程度的高低，提高預(yù)測方程式的效果；在回歸分析法時，由于實(shí)際一個變量僅受單個因素的影響的情況極少，要注意模式的適合范圍，所以一元回歸分析法適用確實(shí)存在一個對因變量影響作用明顯高于其他因素的變量是使用。多元回歸分

15、析法比較適用于實(shí)際經(jīng)濟(jì)問題，受多因素綜合影響時使用。但是有時候在回歸分析中，選用何種因子和該因子采用何種表達(dá)式只是一種推測，這影響了用電因子的多樣性和某些因子的不可測性，使得回歸分析在某些情況下受到限制。不管是哪種方法都有各自的優(yōu)缺點(diǎn)。合理選擇適合問題的方法是最重要的。 5.參考文獻(xiàn)【1】姜啟源.數(shù)學(xué)模型.北京：高等教育出版社，2003.【2】趙靜，但琦等，數(shù)學(xué)建模與數(shù)學(xué)實(shí)驗(yàn)，北京：高等教育出版社 施普林格出版社，2000年【3】李慶揚(yáng)，王能超，易大義.數(shù)值分析（第四版）M.北京：清華大學(xué)出版社，2001.【4】張德豐.MATLAB數(shù)值計算方法.北京：機(jī)械工業(yè)出版社，2010. 【5】王惠文，

16、偏最小二乘回歸方法及應(yīng)用，國防科技出版社，北京，1996.【6】徐國章，等.曲線擬合的最小二乘法在數(shù)據(jù)采集中的應(yīng)用【J】.冶金自動化增刊，2004年【7】（美）里德.數(shù)值分析與科學(xué)計算.北京：清華大學(xué)出版社，2008.【8】（美）約翰遜.數(shù)值分析與科學(xué)計算.北京：科學(xué)出版社，2012.【9】姜紹飛，張春麗，鐘善桐.BP網(wǎng)絡(luò)模型的改進(jìn)方法探討【J】哈爾濱建筑大學(xué)學(xué)報，2000.【10】郝中華.B P神經(jīng)網(wǎng)絡(luò)的非線性思想. 洛陽師范學(xué)院學(xué)報2008.3(4)【11】巨軍讓，卓戎.BP神經(jīng)網(wǎng)絡(luò)在Matlab中的方便實(shí)現(xiàn).新疆石油學(xué)院學(xué)報.2008.2 【12】周開利，康耀紅編著.神經(jīng)網(wǎng)絡(luò)模型及其MA

17、TLAB仿真程序設(shè)計.2006:10-43 附錄：程序1x1=xlsread(F:建模題新建 Microsoft Excel 工作表.xls,B2:B51);x2=xlsread(F:建模題新建 Microsoft Excel 工作表.xls,C2:C51);x3=xlsread(F:建模題新建 Microsoft Excel 工作表.xls,D2:D51);x4=xlsread(F:建模題新建 Microsoft Excel 工作表.xls,E2:E51);y1=xlsread(F:建模題新建 Microsoft Excel 工作表.xls,F2:F51);y2=xlsread(F:建模題新

18、建 Microsoft Excel 工作表.xls,G2:G51);x=x1,x2,x3,x4;x0=ones(size(x,1),1);t=1:50;X=x0,x;b,bint,r,rint,statsl=regress(y1,X);b1,bint,r1,rint,statsl=regress(y2,X);plot(t,r,t,r1)legend(誤差y1,誤差y2); 程序2M文件function f=myfun(beta,x) f=beta(1)+beta(2)*x(:,1)+beta(3)*x(:,2)+beta(4)*x(:,3)+beta(5)*x(:,4)+beta(6)*x(:

19、,1).*x(:,1)+beta(7)*x(:,1).*x(:,2)+beta(8)*x(:,1).*x(:,3)+beta(9)*x(:,1).*x(:,4)+. beta(10)*x(:,2).*x(:,2)+beta(11)*x(:,2).*x(:,3)+beta(12)*x(:,2).*x(:,4)+beta(13)*x(:,3).*x(:,3)+beta(14)*x(:,3).*x(:,4)+beta(15)*x(:,4).*x(:,4);endfunction f=myfun(beta1,x) f=beta1(1)+beta1(2)*x(:,1)+beta1(3)*x(:,2)+b

20、eta1(4)*x(:,3)+beta1(5)*x(:,4)+beta1(6)*x(:,1).*x(:,1)+beta1(7)*x(:,1).*x(:,2)+beta1(8)*x(:,1).*x(:,3)+beta1(9)*x(:,1).*x(:,4)+. beta1(10)*x(:,2).*x(:,2)+beta1(11)*x(:,2).*x(:,3)+beta1(12)*x(:,2).*x(:,4)+beta1(13)*x(:,3).*x(:,3)+beta1(14)*x(:,3).*x(:,4)+beta1(15)*x(:,4).*x(:,4);endx=x1,x2,x3,x4;beta

21、,r1 = nlinfit(x,y1,myfun,rand(1,15)-0.5)beta1,r2 = nlinfit(x,y2,myfun,rand(1,15)-0.5)t=1:50;plot(t,r1,t,r2)legend(誤差y2,實(shí)際y1); legend(誤差y1,實(shí)際y2); 程序3function main()clcclear all;close all;warning off;InputNum=50;%輸入的數(shù)據(jù)個數(shù)TestNum=50;%測試的數(shù)據(jù)個數(shù)FutureNum=2;%預(yù)測的數(shù)據(jù)個數(shù)HiddenNum=6;%隱藏神經(jīng)元個數(shù)Il=4; %輸入神經(jīng)元個數(shù)Ol=2; %輸出

22、神經(jīng)元個數(shù)x1=xlsread(F:建模題新建 Microsoft Excel 工作表.xls,B2:B51);x2=xlsread(F:建模題新建 Microsoft Excel 工作表.xls,C2:C51);x3=xlsread(F:建模題新建 Microsoft Excel 工作表.xls,D2:D51);x4=xlsread(F:建模題新建 Microsoft Excel 工作表.xls,E2:E51);y1=xlsread(F:建模題新建 Microsoft Excel 工作表.xls,F2:F51);y2=xlsread(F:建模題新建 Microsoft Excel 工作表.x

23、ls,G2:G51);XX=x1;x2;x3;x4;YY=y1;y2;In,minp,maxp,tn,mint,maxt=premnmx(XX,YY);%對樣本進(jìn)行初始化Out=tn;%TestIn=In;%TestOut=Out;count=50000;%訓(xùn)練次數(shù)rate=0.035;%學(xué)習(xí)速率E0=0.65*10(-3);%目標(biāo)誤差P1=0.5*rand(HiddenNum,Il)-0.1;%輸入層與隱含層之間權(quán)值T1=0.5*rand(HiddenNum,1)-0.1;%輸入層與隱含層之間閾值P2=0.5*rand(Ol,HiddenNum)-0.1;%隱含層與輸出層層之間權(quán)值T2=0.

24、5*rand(Ol,1)-0.1; %隱含層與輸出層之間的閾值ErrHistory=;for i=1:count Mid=logsig(P1*In+repmat(T1,1,InputNum);%傳遞 SOut=P2*Mid+repmat(T2,1,InputNum); E=Out-SOut;%誤差 SSE=sumsqr(E); EH=; EH=EH SSE; %調(diào)整權(quán)值和閾值 if SSEE0,break,end Adjust2=E; Adjust1=P2*Adjust2.*Mid.*(1-Mid); dP2=Adjust2*Mid;dT2=Adjust2*ones(InputNum,1);d

25、P1=Adjust1*In;dT1=Adjust1*ones(InputNum,1); %根據(jù)調(diào)整量進(jìn)行改正權(quán)值和閾值 P2=P2+rate*dP2; T2=T2+rate*dT2; P1=P1+rate*dP1; T1=T1+rate*dT1; endMid=logsig(P1*In+repmat(T1,1,TestNum);SOut=P2*Mid+repmat(T2,1,TestNum);a=postmnmx(SOut,mint,maxt);x=1:50;newk=a(1,:);newh=a(2,:);figure;subplot(2,1,1);plot(x,newk,r-o,x,y1,b

26、-+);subplot(2,1,2);plot(x,newh,r-o,x,y2,b-+);程序4clc;close all;clear all;% 原始數(shù)據(jù)x1=xlsread(F:建模題新建 Microsoft Excel 工作表.xls,B2:B51);x2=xlsread(F:建模題新建 Microsoft Excel 工作表.xls,C2:C51);x3=xlsread(F:建模題新建 Microsoft Excel 工作表.xls,D2:D51);x4=xlsread(F:建模題新建 Microsoft Excel 工作表.xls,E2:E51);y1=xlsread(F:建模題新建 Microsoft Excel 工作表.xls,F2:F51);y2=xlsread(F:建模題新建 Microsoft Excel 工作表.xls,G2:G51);%輸入數(shù)據(jù)矩陣p=x1;x2;x3;x4;%目標(biāo)數(shù)據(jù)矩陣t=y1;y2;%利用mapminmax函數(shù)對數(shù)據(jù)進(jìn)行歸一化pn,input_s