神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座

12.1神經(jīng)網(wǎng)絡(luò)基本理論12.1.1人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork,ANN)，是由大量處理單元(神經(jīng)元Neurons)廣泛互連而成網(wǎng)絡(luò),由分布于若干層節(jié)點(diǎn)組成。每個(gè)單節(jié)點(diǎn)都有自己輸入值、權(quán)重、求和與激活函數(shù)以及輸出值，在處理之前，數(shù)據(jù)被分為訓(xùn)練數(shù)據(jù)集(TrainingDataset)和測(cè)試數(shù)據(jù)集(TestingDataset)，然后將權(quán)重或輸入，指派到第一層每一個(gè)節(jié)點(diǎn)。每次重復(fù)時(shí)，系統(tǒng)處理輸入，并與實(shí)際值相比較，得到度量后誤差，并反饋給系統(tǒng)，調(diào)整權(quán)重。大多數(shù)情形下，調(diào)整后權(quán)重都能更加好地預(yù)測(cè)實(shí)際值。當(dāng)?shù)竭_(dá)預(yù)定義最小誤差水平時(shí)，處理結(jié)束。神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第1頁12.1.2BP神經(jīng)網(wǎng)絡(luò)基本原理BP(Back-PropagationNetwork)是一個(gè)多層網(wǎng)絡(luò)“逆推”學(xué)習(xí)算法。其基本思想是:

學(xué)習(xí)過程由信號(hào)正向傳輸與誤差反向傳輸組成。

正向傳輸時(shí)，輸入樣本從輸入層傳入，經(jīng)隱層逐層處理后傳向輸出層。若輸出層實(shí)際輸出與期望輸出不符，則轉(zhuǎn)向誤差反向傳輸階段。

誤差反向傳輸是將輸出誤差以某種形勢(shì)經(jīng)過隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層全部單元，從而取得各層單元誤差信號(hào)，此誤差信號(hào)即作為修正各單元權(quán)值依據(jù)。

這種信號(hào)正向傳輸與誤差反向傳輸各層權(quán)值調(diào)整過程是周而復(fù)始地進(jìn)行。權(quán)值不停調(diào)整過程，也就是網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練過程。此過程一直進(jìn)行到網(wǎng)絡(luò)輸出誤差降低到能夠接收程度，或進(jìn)行到預(yù)訂設(shè)定學(xué)習(xí)次數(shù)為止。神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第2頁12.1.3BP神經(jīng)網(wǎng)絡(luò)過程1．BP網(wǎng)絡(luò)結(jié)構(gòu)BP網(wǎng)絡(luò)是一個(gè)單向傳輸多層前向網(wǎng)絡(luò)，含有三層或三層以上神經(jīng)網(wǎng)絡(luò)，包含輸入層、中間層(隱層)和輸入層。上下層之間實(shí)現(xiàn)全連接，每一層神經(jīng)元之間無連接。輸入層

隱層

輸出層神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第3頁2．傳遞函數(shù)或激活函數(shù)普通輸入層和隱層傳遞函數(shù)是S形函數(shù)（logsig）：正切S形函數(shù)（tansig）輸出層是線性函數(shù)，用purelin表示神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第4頁3．模擬過程首頁網(wǎng)絡(luò)經(jīng)過對(duì)已知信息重復(fù)學(xué)習(xí)訓(xùn)練，利用依據(jù)誤差來逐步調(diào)整與改變神經(jīng)元連接權(quán)重和神經(jīng)元閾值方法，使得相同輸入有相同輸出，從而達(dá)處處理信息、模擬輸入輸出關(guān)系目標(biāo)。（1）讀入樣本、設(shè)定初始權(quán)值和閾值；（2）設(shè)定參數(shù)；（3）計(jì)算隱含層輸出；（4）計(jì)算輸出層輸出；（5）計(jì)算輸出值與期望值誤差；（6）判斷誤差是否小于設(shè)定值，是則結(jié)束；（7）調(diào)整隱層到輸出層權(quán)值和閾值；（8）調(diào)整輸入層到隱層權(quán)值和閾值；（9）返回計(jì)算隱含層輸出。神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第5頁4．學(xué)習(xí)過程首頁（1）讀入樣本；（2）數(shù)據(jù)處理；（3）創(chuàng)建網(wǎng)絡(luò)；（4）設(shè)定參數(shù)；（5）訓(xùn)練網(wǎng)絡(luò)；（6）模擬輸出；（7）調(diào)整參數(shù)：學(xué)習(xí)速率、動(dòng)量系數(shù)、訓(xùn)練次數(shù)、誤差精度等；（8）仿真預(yù)測(cè)：網(wǎng)絡(luò)固定，輸入新樣本集，模擬輸出。神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第6頁12.1.4BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)首頁BP神經(jīng)網(wǎng)絡(luò)經(jīng)過對(duì)以往歷史數(shù)據(jù)學(xué)習(xí)，找出數(shù)據(jù)改變趨勢(shì)之間非線性關(guān)系，并將其存放在網(wǎng)絡(luò)詳細(xì)權(quán)值和閥值中，從而預(yù)測(cè)未來數(shù)據(jù)走勢(shì)。用神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，即用神經(jīng)網(wǎng)絡(luò)經(jīng)過一組數(shù)據(jù)點(diǎn)

來擬合函數(shù)f，得出未來

（k>1）時(shí)刻數(shù)據(jù)預(yù)測(cè)值。神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第7頁1．單步預(yù)測(cè)首頁當(dāng)k=1時(shí)，且網(wǎng)絡(luò)全部輸入數(shù)據(jù)都是時(shí)間序列實(shí)際觀察值時(shí)所做預(yù)測(cè)就是單步預(yù)測(cè)。在進(jìn)行預(yù)測(cè)時(shí)，把實(shí)際時(shí)序觀察值

，這m個(gè)數(shù)據(jù)輸入網(wǎng)絡(luò)，輸出是下一時(shí)刻預(yù)測(cè)值

若要繼續(xù)對(duì)值進(jìn)行預(yù)測(cè)，則用實(shí)際觀察值

作為輸入數(shù)據(jù)，得到預(yù)測(cè)值

神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第8頁2．多步預(yù)測(cè)首頁當(dāng)k>l時(shí)，網(wǎng)絡(luò)輸入m個(gè)歷史數(shù)據(jù)，輸出

預(yù)測(cè)值。多步預(yù)測(cè)用于股票價(jià)格預(yù)測(cè)誤差較大。這是因?yàn)樵诰W(wǎng)絡(luò)運(yùn)行調(diào)整權(quán)值和閥值時(shí)，每次迭代都要累加前一次k個(gè)預(yù)測(cè)值誤差，從而造成網(wǎng)絡(luò)難以收斂情況，甚至造成網(wǎng)絡(luò)發(fā)生振蕩。神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第9頁首頁3．滾動(dòng)預(yù)測(cè)滾動(dòng)預(yù)測(cè)，又可稱為迭代一步預(yù)測(cè)，是先進(jìn)行單步預(yù)測(cè)，再將網(wǎng)絡(luò)輸出預(yù)測(cè)值反饋給網(wǎng)絡(luò)輸入端作為輸入一部分，用于下一步預(yù)測(cè)。若開始預(yù)測(cè)時(shí)輸入數(shù)據(jù)是實(shí)際時(shí)序觀察值

輸出是下一時(shí)刻預(yù)測(cè)值

，將與

一起作為輸入數(shù)據(jù)對(duì)

項(xiàng)進(jìn)行預(yù)計(jì)，得到輸出預(yù)測(cè)值

如此重復(fù)迭代，就得到對(duì)未來一段時(shí)期預(yù)測(cè)值。神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第10頁12.2BP神經(jīng)網(wǎng)絡(luò)MATLAB函數(shù)1．?dāng)?shù)據(jù)預(yù)處理和后處理數(shù)據(jù)預(yù)處理和后處理是有效訓(xùn)練神經(jīng)網(wǎng)絡(luò)關(guān)鍵步驟，直接影響到訓(xùn)練后神經(jīng)網(wǎng)絡(luò)性能。常見方法是將原始數(shù)據(jù)進(jìn)行歸一化處理，即經(jīng)過一定線性變換將輸入和輸出數(shù)據(jù)統(tǒng)一限制在[0，1]或[-1，1]區(qū)間內(nèi)。利用premnmx或prestd函數(shù)能夠?qū)斎牒湍繕?biāo)數(shù)據(jù)集進(jìn)行歸一化處理，使其落入[-1，1]區(qū)間。神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第11頁首頁格式：

[Pn，minp，maxp]=premnmx(P)[Pn，minp，maxp，Tn，mint，maxt]=premnmx(P,T)說明：premnmx函數(shù)用于對(duì)網(wǎng)絡(luò)輸入數(shù)據(jù)或目標(biāo)數(shù)據(jù)進(jìn)行歸一化，歸一化后數(shù)據(jù)將分布在[-1，1]區(qū)間內(nèi)。歸一化公式為：Pn=2*(P-minp)／(maxp-minp)-lTn=2*(T-mint)／(maxt-mint)-l其中，P為原始輸入數(shù)據(jù)，maxp和minp分別是P中最大值和最小值，Pn為歸一化后輸入數(shù)據(jù)。T是原始目標(biāo)數(shù)據(jù)，maxt和mint分別是T最大值和最小值，Tn是歸一化后目標(biāo)數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第12頁格式：[P,T]=postmnmx(Pn，minp，maxp，Tn，mint，maxt)說明：Postmnmx函數(shù)可將premnmx函數(shù)所歸一化數(shù)據(jù)進(jìn)行反歸一化處理P=0.5*(Pn+1)*(maxp-minp)+minpT=0.5*(Tn+1)*(maxt-mint)+mint

將輸入數(shù)據(jù)或目標(biāo)數(shù)據(jù)轉(zhuǎn)化為區(qū)間[0,1]歸一化處理公式為：Pn=(P-minp)／(maxp-minp)Tn=(T-mint)／(maxt-mint)其對(duì)應(yīng)反歸一化處理公式P=Pn*（maxp-minp)+minp

T=Tn*（maxt-mint)+mint神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第13頁2.創(chuàng)建網(wǎng)絡(luò)（1）newff函數(shù)：用來建立一個(gè)前饋BP網(wǎng)絡(luò)格式：net=newff(PR，SN，TF，BTF，BLF，PF)；說明：PR：表示由每組輸入（共P組）元素最大值和最小值

組成P×2維矩陣；或用函數(shù)minmax(P)表示；SN：表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元個(gè)數(shù)；TF：表示網(wǎng)絡(luò)隱含層和輸出層傳遞函數(shù)，tansig（默認(rèn)），

logsig，purelin；BTF：表示網(wǎng)絡(luò)訓(xùn)練函數(shù)。普通訓(xùn)練traingdm：需設(shè)定

學(xué)習(xí)速率、動(dòng)量系數(shù)，快速訓(xùn)練trainlm(默認(rèn))：BLF：表示網(wǎng)絡(luò)權(quán)值學(xué)習(xí)函數(shù)，learngdf(默認(rèn))；PF：表示網(wǎng)絡(luò)性能函數(shù)，mse(默認(rèn))，網(wǎng)絡(luò)輸出和目標(biāo)輸出均方誤差。神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第14頁3．設(shè)定參數(shù)net=init(net)；初始化網(wǎng)絡(luò)權(quán)值和閾值（可不設(shè)定)net.trainparam.show=訓(xùn)練狀態(tài)顯示幅度；（默認(rèn)25）net.trainparam.lr=學(xué)習(xí)速率；（權(quán)值閾值調(diào)整幅度）net.trainparam.mc=動(dòng)量系數(shù)；（權(quán)閾值改變重復(fù)度）net.trainparam.epochs=訓(xùn)練次數(shù)；（默認(rèn)100）net.trainparam.goal=誤差精度；（默認(rèn)0）net.trainparam.time=訓(xùn)練秒數(shù)；（可不選）（4.訓(xùn)練網(wǎng)絡(luò)：格式：[net，tr]=train(net，P，T)說明：P為輸入樣本矢量集；T為對(duì)應(yīng)目標(biāo)樣本矢量集：等號(hào)左右兩側(cè)net分別用于表示訓(xùn)練得到和訓(xùn)練以前神經(jīng)網(wǎng)絡(luò)對(duì)象；tr存放訓(xùn)練過程中步數(shù)信息和誤差信息，并給出網(wǎng)絡(luò)誤差實(shí)時(shí)改變曲線。神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第15頁5.BP神經(jīng)網(wǎng)絡(luò)仿真格式：[Y,Pf,Af,E,perf]=sim(net，P，Pi，Ai，T)說明：輸入net為神經(jīng)網(wǎng)絡(luò)對(duì)象，P為網(wǎng)絡(luò)輸入，Pi為輸入延遲初始狀態(tài)，Ai為層延遲初始狀態(tài)，T為目標(biāo)矢量，Y為網(wǎng)絡(luò)輸出，Pf為訓(xùn)練終止時(shí)輸入延遲狀態(tài)，Af為訓(xùn)練終止時(shí)層延遲狀態(tài)，E為輸出和目標(biāo)矢量之間誤差，perf為網(wǎng)絡(luò)性能值。首頁6.模擬輸出圖形輸出：plot（橫坐標(biāo)，縱坐標(biāo)，‘參數(shù)’）查看參數(shù)：權(quán)值：net.IW（層序號(hào)）閾值：net.b（層序號(hào)）神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第16頁12.3案例分析12.3.1北京市房地產(chǎn)開發(fā)投資及銷售分析北京市1999年至年房地產(chǎn)開發(fā)投資資金起源中國(guó)內(nèi)貸款，與各種房屋類型銷售額數(shù)據(jù)如表12-1所表示，進(jìn)而計(jì)算出年至年各項(xiàng)指標(biāo)增加率，數(shù)據(jù)如表12-2所表示，試將住宅、辦公樓、商業(yè)營(yíng)業(yè)用房銷售額增加率作為輸入元素，國(guó)內(nèi)貸款額增加率作為目標(biāo)函數(shù)，建立BP神經(jīng)網(wǎng)絡(luò)仿真模擬。神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第17頁日期國(guó)內(nèi)貸款住宅銷售額辦公樓銷售額商業(yè)營(yíng)業(yè)用房銷售額1999165.22232.0266.087.62238.82409.3451.804.25340.30531.7161.7312.46382.77716.5357.6825.95586.86789.1640.5851.78549.961085.1199.2150.59676.921739.94249.62120.85841.421626.30352.94162.561063.211845.97402.54237.07889.371201.37230.72192.762367.772486.77431.14299.861439.082060.52487.32318.99北京市房地產(chǎn)開發(fā)投資及銷售原始數(shù)據(jù)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第18頁北京市房地產(chǎn)開發(fā)投資及銷售額增加率日期國(guó)內(nèi)貸款住宅銷售額辦公樓銷售額商業(yè)營(yíng)業(yè)用房銷售額0.36840.5677-0.2435-0.58390.35410.26160.17541.07560.11760.2983-0.06790.73360.42740.0965-0.35160.6908-0.06490.31850.8940-0.02330.20770.47220.92270.87080.2175-0.06750.34640.29650.23400.12670.13150.3773-0.1785-0.4295-0.5566-0.20690.97920.72750.62520.4419-0.4979-0.18800.12250.0618神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第19頁案例二：中空保溫玻璃銷售預(yù)測(cè)MATLAB程序以下：clearp=[0.5677-0.2435-0.58390.26160.17541.07560.2983-0.06790.73360.0965-0.35160.69080.31850.8940-0.02330.47220.92270.8708-0.06750.34640.29650.12670.13150.3773-0.4295-0.5566-0.20690.72750.62520.4419-0.18800.12250.0618]';t=[0.36840.35410.11760.4274-0.06490.20770.21750.2340-0.17850.9792-0.4979];神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第20頁（

rand('state',0);%確保每次結(jié)果都相同net=newff(minmax(p),[3,7,1],{'tansig','tansig','purelin'},…'trainlm');net.trainparam.lr=0.1;net.trainparam.epochs=1000;net.trainparam.goal=0.001;net=train(net,p,t);y=sim(net,p)e=t-yres=norm(e)%整個(gè)網(wǎng)絡(luò)誤差m=:;plot(m,t,'-+',m,y,'o')xlabel('日期')ylabel('國(guó)內(nèi)貸款額增加率')神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第21頁神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法專家講座第22頁確定最正確隱含層神經(jīng)元個(gè)數(shù)網(wǎng)絡(luò)設(shè)計(jì)及訓(xùn)練代碼以下：s=4:8res=1:5fori=1:5rand('state',0);net=newff(minmax(p),[s(i),1],{'tansig','purelin'});net.trainparam.lr=0.1;net.trainparam.epochs=1000;net.trainparam.goal=0.001;net=train(net,p,t);y=sim(net,p)e=t-yres(i)=norm(e)end神經(jīng)網(wǎng)絡(luò)預(yù)