神經(jīng)網(wǎng)絡(luò)預(yù)測課件

1、前饋神經(jīng)網(wǎng)絡(luò)及其應(yīng)用前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及運(yùn)行原理前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)做預(yù)測小波網(wǎng)絡(luò)做預(yù)測BP神經(jīng)網(wǎng)絡(luò)做分類人腦智能（生物神經(jīng)系統(tǒng)） 大腦內(nèi)約含1000億個(gè)神元神經(jīng)系統(tǒng)是由這些神經(jīng)元經(jīng)過高度的組織與相互作用而構(gòu)成的復(fù)雜的網(wǎng)絡(luò) 神經(jīng)元神經(jīng)元突觸w前饋神經(jīng)網(wǎng)絡(luò)及其應(yīng)用前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及運(yùn)行原理前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)做預(yù)測小波網(wǎng)絡(luò)做預(yù)測BP神經(jīng)網(wǎng)絡(luò)做分類神經(jīng)網(wǎng)絡(luò)神經(jīng)元連接神經(jīng)元神經(jīng)元連接神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)分類無反饋網(wǎng)絡(luò)：前饋神經(jīng)網(wǎng)絡(luò)有反饋網(wǎng)絡(luò)：遞歸神經(jīng)網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)結(jié)構(gòu)與運(yùn)行方式第1層（隱含層）第2層（隱含層）第3層（輸出層）第0層（輸入層）輸入層Math Model多層前饋網(wǎng)絡(luò)

2、結(jié)構(gòu)與運(yùn)行方式第0層（輸入層）第1層（隱含層）第2層（輸出層） hardlim函數(shù)： logsig函數(shù)： tansig函數(shù)： purelin函數(shù)： 小波基函數(shù)： 常見的傳遞函數(shù)前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)怎樣用這類網(wǎng)絡(luò)模型 模擬智能行為？學(xué)習(xí)、分類、識(shí)別、預(yù)測等前饋NN的學(xué)習(xí)Math Model學(xué)習(xí)pa神經(jīng)網(wǎng)絡(luò)香蕉的樣子p香蕉的名字t訓(xùn)練樣本W(wǎng)hat is network learning?The process of network changing connection weights W前饋NN的學(xué)習(xí) Supervised LearningNetwork is provided with a set

3、 of examplesof proper network behavior (inputs/targets)前饋NN的學(xué)習(xí)Math Model有監(jiān)督的學(xué)習(xí)輸入輸出目標(biāo)前饋NN學(xué)習(xí)目的：調(diào)節(jié)連接權(quán)pa神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本學(xué)習(xí)過程輸出目標(biāo)輸入W(old)W(new)pa神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本學(xué)習(xí)過程輸出目標(biāo)輸入問題：怎樣調(diào)整W？學(xué)習(xí)算法Learning samplesLearning algorithm權(quán)值的更新：單層網(wǎng)絡(luò)模型數(shù)學(xué)模型BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)信號(hào)前向傳播誤差反向傳播信號(hào)前向傳播Forward PropagationpaBP神經(jīng)網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)結(jié)構(gòu)與運(yùn)行方式第1層（隱含層）第2層（隱含層）第

4、3層（輸出層）第0層（輸入層）Backpropagation誤差反向傳播Sensitivity：Weight UpdateBP網(wǎng)絡(luò)的學(xué)習(xí)算法如何構(gòu)建神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：輸入層節(jié)點(diǎn)個(gè)數(shù)、隱層個(gè)數(shù)、輸出層神經(jīng)元個(gè)數(shù)，傳遞函數(shù)。如1-2-1網(wǎng)絡(luò)：學(xué)習(xí)算法：權(quán)值更新前饋神經(jīng)網(wǎng)絡(luò)及其應(yīng)用前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及運(yùn)行原理前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)做預(yù)測小波網(wǎng)絡(luò)做預(yù)測BP神經(jīng)網(wǎng)絡(luò)做分類BP網(wǎng)絡(luò)做預(yù)測現(xiàn)給出一藥品商店兩年當(dāng)中24個(gè)月的藥品銷售量（單位：箱）如下： 1856 1995 2220 2056 1123 1775 1900 1389 1609 1424 2276 1332 2056 2395 2600 229

5、8 1634 1600 1873 1487 1900 1500 2046 1556 要求用當(dāng)前的所有數(shù)據(jù)預(yù)測下一個(gè)月的藥品銷售量。 我們可以通過訓(xùn)練一個(gè)BP網(wǎng)絡(luò)來達(dá)到預(yù)測目的：用前三個(gè)月的銷售量預(yù)測下一個(gè)月的銷售量，也就是用1-3月的銷售量預(yù)測第4個(gè)月的銷售量，用2-4個(gè)月的銷售量預(yù)測第5個(gè)月的銷售量，如此循環(huán)下去，直到用9-11月預(yù)測12月份的銷售量。這樣訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)后，就可以用10-12月的數(shù)據(jù)預(yù)測來年一月的銷售量。 一、數(shù)據(jù)選擇與歸一化 1、構(gòu)造樣本 2、將樣本分為訓(xùn)練樣本和測試樣本，訓(xùn)練樣本用于網(wǎng)絡(luò) 訓(xùn)練（學(xué)習(xí)），測試樣本用于測試網(wǎng)絡(luò)預(yù)測精度 3、對(duì)訓(xùn)練樣本做歸一化處理：將所有數(shù)據(jù)

6、化為0,1之間 的數(shù)： （1）最大最小方法 mapminmax() （2）平均數(shù)方差法BP網(wǎng)絡(luò)做預(yù)測二、BP神經(jīng)網(wǎng)絡(luò)構(gòu)建（對(duì)實(shí)際問題建模，構(gòu)建合適的BP網(wǎng)絡(luò)） 1、確定結(jié)構(gòu)：3-5-1 2、確定每一層神經(jīng)元傳遞函數(shù)： （1）hardlim函數(shù)： （2）logsig函數(shù)： （3）tansig函數(shù)： （4）purelin函數(shù)： BP網(wǎng)絡(luò)做預(yù)測多層前饋網(wǎng)絡(luò)結(jié)構(gòu)與運(yùn)行方式第1層（隱含層）第2層（隱含層）第3層（輸出層）第0層（輸入層）二、 BP神經(jīng)網(wǎng)絡(luò)構(gòu)建 3、Matlab編程實(shí)現(xiàn): newff 函數(shù)功能：構(gòu)建一個(gè)BP神經(jīng)網(wǎng)絡(luò) 函數(shù)形式：net=newff(P,T,S,TF,BTF,BLF,PF,IP

7、F,OPF,DDF) P:輸入數(shù)據(jù)矩陣，每一列表示一個(gè)數(shù)據(jù) T:輸出目標(biāo)數(shù)據(jù)矩陣，每一列表示一個(gè)數(shù)據(jù) S:隱含層神經(jīng)元個(gè)數(shù): 5，5，3，3,4,5 TF:神經(jīng)元的傳遞函數(shù),purelin,tansig,logsig,hardlim BTF：BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練函數(shù)，默認(rèn)值為trainlm BLF：權(quán)重學(xué)習(xí)函數(shù)，默認(rèn)值為learngdm。 BP網(wǎng)絡(luò)做預(yù)測BP網(wǎng)絡(luò)做預(yù)測三、BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)（用訓(xùn)練數(shù)據(jù)訓(xùn)練BP網(wǎng)絡(luò)） 1、BP網(wǎng)絡(luò)初始化 權(quán)值、閾值初始化 2、BP網(wǎng)絡(luò)的學(xué)習(xí) 3、Matlab編程實(shí)現(xiàn)：train 函數(shù)功能：用訓(xùn)練數(shù)據(jù)訓(xùn)練BP神經(jīng)網(wǎng)絡(luò) 函數(shù)形式：net，tr=train(Net,X

8、,T,Pi,Ai) Net:待訓(xùn)練的網(wǎng)絡(luò) X:輸入數(shù)據(jù)矩陣 T：輸出數(shù)據(jù)矩陣 Pi: 初始化輸入層條件 Ai:初始化輸出層條件 net:訓(xùn)練（學(xué)習(xí)）好的網(wǎng)絡(luò) tr：記錄訓(xùn)練過程四、BP神經(jīng)網(wǎng)絡(luò)的預(yù)測（用學(xué)習(xí)好的BP網(wǎng)絡(luò)對(duì)測試數(shù)據(jù)進(jìn)行預(yù)測） 1、將測試數(shù)據(jù)中的輸入歸一化 2、BP網(wǎng)絡(luò)做預(yù)測：y=sim(net,x) net:訓(xùn)練好的網(wǎng)絡(luò)，x:歸一化的測試數(shù)據(jù) y:預(yù)測結(jié)果（網(wǎng)絡(luò)輸出） 3、輸出結(jié)果反歸一化：y 4、網(wǎng)絡(luò)預(yù)測誤差:error(y,T)BP網(wǎng)絡(luò)做預(yù)測BP神經(jīng)網(wǎng)絡(luò)做預(yù)測 數(shù)據(jù)選擇和歸一化(mapminmax)BP神經(jīng)網(wǎng)絡(luò)構(gòu)建 (newff)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練（學(xué)習(xí)）(train) BP神

9、經(jīng)網(wǎng)絡(luò)做預(yù)測 (sim)預(yù)測精度的影響因素一、隱含層層數(shù) 多隱含層的泛化能力強(qiáng)，預(yù)測精度高，但訓(xùn)練時(shí)間長；需要權(quán)衡預(yù)測精度和運(yùn)行時(shí)間二、隱含層神經(jīng)元個(gè)數(shù) 最佳隱層神經(jīng)元個(gè)數(shù)可參考如下公式：三、訓(xùn)練數(shù)據(jù)前饋神經(jīng)網(wǎng)絡(luò)及其應(yīng)用前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及運(yùn)行原理前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)做預(yù)測小波網(wǎng)絡(luò)做預(yù)測BP神經(jīng)網(wǎng)絡(luò)做分類小波網(wǎng)絡(luò) 第1層（隱含層）第2層（隱含層）第3層（輸出層）第0層（輸入層）二、隱含層的傳遞函數(shù)為小波基函數(shù)一、結(jié)構(gòu)與BP網(wǎng)絡(luò)相同三、學(xué)習(xí)算法與BP類似小波網(wǎng)絡(luò)做交通流量預(yù)測短期交通流量預(yù)測（時(shí)間跨度不超過15分鐘） 研究表明，城市交通路網(wǎng)中交通路段上某時(shí)刻的交通流量與本路段前幾個(gè)時(shí)段的

10、交通流量有關(guān)，并且交通流量具有24小時(shí)內(nèi)準(zhǔn)周期的特性。對(duì)具有準(zhǔn)周期特性的數(shù)據(jù)進(jìn)行預(yù)測考慮采用小波網(wǎng)絡(luò) 短期交通流量預(yù)測（時(shí)間跨度不超過15分鐘） 研究表明，城市交通路網(wǎng)中交通路段上某時(shí)刻的交通流量與本路段前 幾個(gè)時(shí)段的交通流量有關(guān)，并且交通流量具有24小時(shí)內(nèi)準(zhǔn)周期的特性。樣本采集： 首先采集前4天的交通流量數(shù)據(jù)，每隔15分鐘記錄一次該段時(shí)間內(nèi)的 交通流量，一共記錄384個(gè)時(shí)間點(diǎn)的數(shù)據(jù)。系統(tǒng)建模，構(gòu)建合適的小波網(wǎng)絡(luò)： 利用當(dāng)前時(shí)間點(diǎn)的前4個(gè)時(shí)間點(diǎn)的交通流量來預(yù)測當(dāng)前時(shí)間點(diǎn)的交通流量。利用 14：00交通流量， 14：15交通流量， 14：30交通流量， 14：45交通流量來預(yù)測15：00的交通流量，如此循環(huán)下去，得到樣本： 小波網(wǎng)絡(luò)做交通流量預(yù)測數(shù)據(jù)選擇和歸一化 訓(xùn)練樣本：前3天的交通流量數(shù)據(jù) 測試樣本：第4天的交通流量數(shù)據(jù)小波神經(jīng)網(wǎng)絡(luò)構(gòu)建 結(jié)構(gòu)：4-6-1， 權(quán)值：初始化 隱含層：小波基函數(shù) 輸出層：線性函數(shù)小波神經(jīng)網(wǎng)絡(luò)訓(xùn)練： 用訓(xùn)練樣本訓(xùn)練小波網(wǎng)絡(luò)，網(wǎng)絡(luò)反復(fù)訓(xùn)練100次。 小波神經(jīng)網(wǎng)絡(luò)預(yù)測： 用訓(xùn)練好的小波網(wǎng)絡(luò)預(yù)測短時(shí)交通流量，并對(duì)預(yù)測結(jié)果進(jìn)行分析。 小波神經(jīng)網(wǎng)絡(luò)做預(yù)測 前饋神經(jīng)網(wǎng)絡(luò)及其應(yīng)用前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及運(yùn)行原理前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)做預(yù)測小波網(wǎng)絡(luò)做預(yù)測BP神經(jīng)網(wǎng)絡(luò)做分類蘋果香蕉分類器Prototype VectorsShape: 1 : roun