BP人工神經(jīng)網(wǎng)絡試驗報告一

1、學號：北京工商大學人工神經(jīng)網(wǎng)絡實驗報告實驗一基于BP算法的XX及Matlab實現(xiàn)院（系）專業(yè)學生姓名成績指導教師2011年10月一、實驗目的：1、熟悉MATLAB中神經(jīng)網(wǎng)絡工具箱的使用方法；2、了解BP神經(jīng)網(wǎng)絡各種優(yōu)化算法的原理；3、掌握BP神經(jīng)網(wǎng)絡各種優(yōu)化算法的特點；4、掌握使用BP神經(jīng)網(wǎng)絡各種優(yōu)化算法解決實際問題的方法。二、實驗內(nèi)容：1案例背景1.1BP神經(jīng)網(wǎng)絡概述BP神經(jīng)網(wǎng)絡是一種多層前饋神經(jīng)網(wǎng)絡，該網(wǎng)絡的主要特點是信號前向傳遞，誤差反向傳播。在前向傳遞中,輸入信號從輸入層經(jīng)隱含層逐層處理,直至輸出層。每一層的神經(jīng)元狀態(tài)只影響下一層神經(jīng)元狀態(tài)。如果輸出層得不到期望輸出，則轉(zhuǎn)入反向傳播，根

2、據(jù)預測誤差調(diào)整網(wǎng)絡權(quán)值和閾值，從而使BP神經(jīng)網(wǎng)絡預測輸出不斷逼近期望輸出。BP神經(jīng)網(wǎng)絡的拓撲結(jié)構(gòu)如圖1.1所示。圖1.1BP神經(jīng)網(wǎng)絡拓撲結(jié)構(gòu)圖是Bp神經(jīng)網(wǎng)絡的輸入值如,負,n12y是bP神經(jīng)的預測n圖1.1中x,x,12值，和為BP神經(jīng)網(wǎng)絡權(quán)值。從圖1.1可以看出，BP神經(jīng)網(wǎng)絡可以看成一個非線性函數(shù),ijjk網(wǎng)絡輸入值和預測值分別為該函數(shù)的自變量和因變量。當輸入節(jié)點數(shù)為n,輸出節(jié)點數(shù)為m時,BP神經(jīng)網(wǎng)絡就表達了從n個自變量到m個因變量的函數(shù)映射關(guān)系。BP神經(jīng)網(wǎng)絡預測前首先要訓練網(wǎng)絡，通過訓練使網(wǎng)絡具有聯(lián)想記憶和預測能力。BP神經(jīng)網(wǎng)絡的訓練過程包括以下幾個步驟。步驟1：網(wǎng)絡初始化。根據(jù)系統(tǒng)輸入輸

3、出序列(x,y)確定網(wǎng)絡輸入層節(jié)點數(shù)n、隱含層節(jié)點數(shù)l，輸出層節(jié)點數(shù)m，初始化輸入層、隱含層和輸出層神經(jīng)元之間的連接權(quán)值，和ij，初始化隱含層閾值a，輸出層閾值b，給定學習速率和神經(jīng)元激勵函數(shù)。jk步驟2:隱含層輸出計算。根據(jù)輸入向量x,輸入層和隱含層間連接權(quán)值，以及隱含ij層閾值a,計算隱含層輸出H。式中，i為隱含層節(jié)點數(shù)；f為隱含層激勵函數(shù)，該函數(shù)有多種表達形式,本章所選函數(shù)為:步驟3:輸出層輸出計算。根據(jù)隱含層輸出H，連接權(quán)值,和閾值b，計算BP神經(jīng)網(wǎng)絡預測輸出O。Ok=工Hbkj=i步驟4:誤差計算。根據(jù)網(wǎng)絡預測輸出O和期望輸出y,計算網(wǎng)絡預測誤差e。斂=匕一Okk=1,2,步驟5:權(quán)

4、值更新。根據(jù)網(wǎng)絡預測誤差e更新網(wǎng)絡連接權(quán)值,。ijjk步驟6:閾值更新。根據(jù)網(wǎng)絡預測誤差e更新網(wǎng)絡節(jié)點閾值a,b。mcijajqHj（1H）o）jfj=1.一：步驟7:判斷算法迭代是否結(jié)束，若沒有結(jié)束，返回步驟2。丫川1.2基于BP算法的多層前饋網(wǎng)在催化劑配方建模中的應用隨著化工技術(shù)的發(fā)展，各種新型催化劑不斷問世，在產(chǎn)品的研制過程中，需要制定優(yōu)化指標并設(shè)法找出使指標達到最佳值的優(yōu)化因素組合，因此屬于典型的非線性優(yōu)化問題。目前常用的方法是采用正交設(shè)計法安排實驗，利用實驗數(shù)據(jù)建立指標與因素間的回歸方程，然后采用某種尋優(yōu)法，求出優(yōu)化配方與優(yōu)化指標。這種方法的缺陷是，數(shù)學模型粗糙，難以描述優(yōu)化指標與各

5、因素之間的非線性關(guān)系，以其為基礎(chǔ)的尋優(yōu)結(jié)果誤差較大。理論上已經(jīng)證明，三層前饋神經(jīng)網(wǎng)絡可以任意精度逼近任意連續(xù)函數(shù)。本例采用BP神經(jīng)網(wǎng)絡對脂肪醇催化劑配方的實驗數(shù)據(jù)進行學習，以訓練后的網(wǎng)絡作為數(shù)學模型映射配方與優(yōu)化指標之間的復雜非線性關(guān)系，獲得了較高的精度。三、實現(xiàn)方法（設(shè)計）：1模型建立基于BP神經(jīng)網(wǎng)絡的分類算法建模包括BP神經(jīng)網(wǎng)絡構(gòu)建、BP神經(jīng)網(wǎng)絡訓練和BP神經(jīng)網(wǎng)絡分類三步，算法流程如圖1.2所示。個數(shù)設(shè)計神經(jīng)網(wǎng)絡的結(jié)構(gòu)，然后用實驗數(shù)據(jù)對神經(jīng)網(wǎng)絡進行訓練。完成訓練之后的多層前饋神經(jīng)網(wǎng)絡，其輸入與輸出之間形成了一種能夠映射配方與優(yōu)化指標內(nèi)在聯(lián)系的連接關(guān)系，可作為仿真實驗的數(shù)學模型。243圖1.

6、3三層前饋神經(jīng)網(wǎng)絡結(jié)構(gòu)圖圖1.3給出了針對五因素、三指標配方的實驗數(shù)據(jù)建立的三層前饋神經(jīng)網(wǎng)絡。5維輸入向量與配方組成因素相對應，3維輸出向量與三個待優(yōu)化指標：脂肪酸甲脂轉(zhuǎn)化率TR%、脂肪醇產(chǎn)率YOH%和脂肪醇選擇性SOH%相對應。實驗設(shè)定確定隱層結(jié)點數(shù)為4。表1.1催化劑配方的神經(jīng)網(wǎng)絡模型樣本數(shù)據(jù)表NoA/CuZn/CuB/CuC/CuMn/CuTR%iY%OH1S%OH110.05000.1300.0800.1400.04094.5096.3097.8020.06500.0700.1200.1600.02088.0575.5086.530.08000.1900.0800.0600.00060

7、.2540.2196.2540.09500.1100.0600.1600.04093.0597.3199.3050.11000.0500.0200.0600.02094.6588.5595.2060.12500.1700.0000.1400.00096.0595.5099.5070.14000.0900.1600.0400.04061.0059.7267.3580.1550.0300.1200.1400.02070.4037.5052.2590.17000.1500.1000.0400.00083.3082.8599.20100.05000.0700.0600.1200.05084.5090.

8、9095.90110.06500.1900.0400.0200.03069.5061.8088.20120.08000.1300.0000.1200.01094.5597.60103.40130.0950.0500.1600.0200.05070.9562.5460.10140.1100.1700.1400.1000.03087.2091.00103.60150.1250.1100.1000.0000.01064.2058.3058.90160.1400.0300.0800.1000.05086.1575.6586.50170.1550.1500.0400.0000.03077.1571.90

9、91.80180.1700.0900.0200.0800.01096.0594.6098.002MATLAB實現(xiàn)根據(jù)BP神經(jīng)網(wǎng)絡理論，在MATLAB軟件中編程實現(xiàn)基于BP算法的多層前饋網(wǎng)在催化劑配方中的建模。2.1歸一化方法及MATLAB函數(shù)數(shù)據(jù)歸一化方法是神經(jīng)網(wǎng)絡預測前對數(shù)據(jù)常做的一種處理方法。數(shù)據(jù)歸一化處理把所有數(shù)據(jù)都轉(zhuǎn)化為絕對值為b,l之間的數(shù)，其目的是取消各維數(shù)據(jù)間數(shù)量級差別，避免因為輸入輸出數(shù)據(jù)數(shù)量級差別較大而造成網(wǎng)絡預測誤差較大。數(shù)據(jù)歸一化的方法主要有以下兩種。1）最大最小法。函數(shù)形式如下：式中，X為數(shù)據(jù)序列中的最小數(shù)X為序列中的最大數(shù)。minmax2）平均數(shù)方差法函數(shù)形式如下-m

10、ean式中，X為數(shù)據(jù)序列的均值;X為數(shù)據(jù)的方差。meanvar本案例采用第二種數(shù)據(jù)歸一化方法歸一化函數(shù)采用MATLAB自帶函數(shù)premnmx,該函數(shù)有多種形式常用的方法如下。1nput_train1flinpjn.axp=premiunx(input_train);cutpul.trainljmintjnast=preinrm(output_train);input_train,output_train是訓練輸入、輸出原始數(shù)據(jù)，input_train1,output_train1是歸一化后的數(shù)據(jù)。minp,maxp，mint,maxt為數(shù)據(jù)歸一化后得到的結(jié)構(gòu)體，里面包含了數(shù)據(jù)最大值、最小值和平

11、均值等信息，可用于測試數(shù)據(jù)歸一化和反歸一化。測試數(shù)據(jù)歸一化和反歸一化程序如下。input_test是測試輸入原始數(shù)據(jù)，input_test1是歸一化后的數(shù)據(jù)。minp,maxp表示根據(jù)input_train的值對input_test進行歸一化outputp1是訓練輸出數(shù)據(jù)的歸一化值，output是反歸一化之后的網(wǎng)絡預測輸出，mint,maxt表示根據(jù)output_train對數(shù)據(jù)進行反歸一化。2.2數(shù)據(jù)選擇首先利用正交表安排實驗，得到18組準確的實驗數(shù)據(jù)分別作為神經(jīng)網(wǎng)絡的訓練樣本（15組）及測試樣本（3組），分別存儲于input_train,output_train二維數(shù)組中。5維輸入向量與配

12、方組成因素相對應，3維輸出向量與三個待優(yōu)化指標：脂肪酸甲脂轉(zhuǎn)化率TR%、脂肪醇產(chǎn)率YOH%和脂肪醇選擇性SOH%相對應。input_train數(shù)組為5行15列，output_train數(shù)組為3行15列，并對訓練數(shù)據(jù)進行歸一化處理。Tnput_tr?iin=O.05000,06500.08000.09500.11000.1250h14000.15500.17000.05000.06500.08000,09500.noo0.1250;0.1300D.D7DD0.19D0D.HOD0.0500D.1700D.09OD0.03000.15000-07000.19000.13DD0.D50D0-1700

13、D.1100；0.080001200O.OSDO0.DC000-020U0-00HOD160D0.12000.ICiOO0-06010.0400LLUUDOLL1600i140i0.1000;0-141：10016000.LI6DLIU.16000-0600LL1400D.04OD0.14000.04000-12000.02LILILL12D0LLD2OUU-1000l：Li：ll：lll：l;0.0400LL02000.ULIDO0.D4000-020U0-00HOD.04OD0.020i：i0.OCIOO0-050U0.i：i：i：ii：iLI.LI1D00.D5000-0300o.oia

14、o,cutput_trairL=94NQss.as60.259：3.0594.6590.asei.ooT0.4D83.30i84.5069.50M.5570.3587.2004.20;96,3075,5040.2157.3LSS,5595r5059.7237.5032.55!90.9061.SO97.6062.5491,0056.50;97.8086.5096.2599.3D95.2099.5067.3552.25gg.20!95.go88.20103.40SO.101D3.6058.3D：;input_tBet=0=140ULL1550D.170D;0-030U0-1600D.Q9LID;0

15、.08000.0400D.02OD0.1000o.ooaoD.08OD0.05000-03000.Q10D;outputas=86-1577.1596.05;75.657L9094.60;36.5091.8Q9B.Q0;2.3BP神經(jīng)網(wǎng)絡結(jié)構(gòu)初始化根據(jù)數(shù)據(jù)特點確定BP神經(jīng)網(wǎng)絡的結(jié)構(gòu)為543,隨機初始化BP神經(jīng)網(wǎng)絡權(quán)值和閾值。2.4BP神經(jīng)網(wǎng)絡訓練用訓練數(shù)據(jù)訓練BP神經(jīng)網(wǎng)絡，在訓練過程中根據(jù)網(wǎng)絡預測誤差調(diào)整網(wǎng)絡的權(quán)值和閾值。設(shè)定訓練次數(shù)為10000,學習率為0.05，誤差限為0.001。2.5結(jié)果分析用訓練好的BP神經(jīng)網(wǎng)絡測試數(shù)據(jù)。input_testl=tramrunxCinput_test.

16、minp,maxp);outputl=sim.(nelsinput_tesl1);output=postnminx(output1mintjm.axt)BP神經(jīng)網(wǎng)絡誤差如表1.2所示。從BP神經(jīng)網(wǎng)絡分類結(jié)果可以看出，基于BP神經(jīng)網(wǎng)絡的算法具有較高的準確性,能夠較準確得到催化劑配方配比。表1.2BP神經(jīng)網(wǎng)絡訓練結(jié)果誤差TR%1TR%i相對Y%OH1Y%OH1相對S%OH1S%OH1相對誤實測值網(wǎng)絡預測值誤差實測值網(wǎng)絡預測值誤差實測值網(wǎng)絡預測值差186.1595.76090.111575.6567.93810.101986.5077.97770.0985277.1578.15350.013071.

17、9067.55500.060491.80102.79180.1197396.0596.01750.000394.6067.65120.284898.00103.50100.0561四、實驗拓展：1隱含層節(jié)點數(shù)BP神經(jīng)網(wǎng)絡的隱含層節(jié)點數(shù)對BP神經(jīng)網(wǎng)絡預測精度有較大的影響:節(jié)點數(shù)太少，網(wǎng)絡不能很好地學習，需要增加訓練次數(shù)，訓練的精度也受影響；節(jié)點數(shù)太多，訓練時間增加,網(wǎng)絡容易過擬合。最佳隱含層節(jié)點數(shù)選擇可參考如下公式I.n(I-1I)IV(川+刃T(112)I=lugM(1-13)式中，n為輸入層節(jié)點數(shù)；l為隱含層節(jié)點數(shù)；m為輸出層節(jié)點數(shù)；a為0-10之間的常數(shù)。在實際問題中，隱含層節(jié)點數(shù)的選擇首先是參考公式來確定節(jié)點數(shù)的大概范圍，然后用試湊法確定最佳的節(jié)點數(shù)。對于本案例，均方誤差同隱含層節(jié)點數(shù)的關(guān)系如表1.3所示?？梢钥闯霎旊[層節(jié)點數(shù)為7時，均方誤差最小，訓練結(jié)果越精確。表1.3不同隱含層節(jié)點數(shù)訓練結(jié)果均方誤差l2345678910MSE158.5