BP神經(jīng)網(wǎng)絡(luò)算法預(yù)測模型

1、BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及算法1986年，Rumelhart和McCelland領(lǐng)導(dǎo)的科學(xué)家小組在ParallelDistributedProcessing一書中，對具有非線性連續(xù)轉(zhuǎn)移函數(shù)的多層前饋網(wǎng)絡(luò)的誤差反向傳播算法（ErrorBackProragation,簡稱BP）進(jìn)行了詳盡的分析，實(shí)現(xiàn)了Minsky關(guān)于多層網(wǎng)絡(luò)的設(shè)想。由于多層前饋網(wǎng)絡(luò)的訓(xùn)練經(jīng)常釆用誤差反向傳播算法，人們也常把多層前饋網(wǎng)絡(luò)直接稱為BP網(wǎng)。釆用BP算法的多層前饋網(wǎng)絡(luò)是目前應(yīng)用最多的神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)BP網(wǎng)絡(luò)有三部分構(gòu)成，即輸入層、隱含層（又稱為中間層）和輸出層，其中可以有多個隱含層。各層之間實(shí)現(xiàn)完全連接，且各層神經(jīng)元的

2、作用是不同的:輸入層接受外界信息；輸出層對輸入層信息進(jìn)行判別和決策；中間隱層用來表示或存貯信息。通常典型的BP網(wǎng)絡(luò)有三層構(gòu)成，即只有一個隱層。三層BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可用圖1表示。圖1三層BP神經(jīng)網(wǎng)絡(luò)機(jī)構(gòu)圖BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法BP算法的基本思想是，學(xué)習(xí)過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳入，經(jīng)各隱含層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望的輸出（教師信號）不符，則轉(zhuǎn)入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱含層向輸入層逐層反傳、并將誤差分?jǐn)偨o各層的所有神經(jīng)元，從而獲得各層神經(jīng)元的誤差信號，此誤差信號即作為修正各神經(jīng)元權(quán)值的依

3、據(jù)。這種信號正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過程，是周而復(fù)始地進(jìn)行的，權(quán)值不斷調(diào)整的過程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。此過程一直進(jìn)行到網(wǎng)絡(luò)輸出誤差減少到可接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止，標(biāo)準(zhǔn)BP算法流程見圖2。初Jtftltv.wIilfjHlSq=Lp=1圖2標(biāo)準(zhǔn)BP算法流程在實(shí)際的應(yīng)用中，三層前饋網(wǎng)絡(luò)基本就能滿足人們的需求，即一個輸入層、一個隱含層和一個輸出層，由于只有一個隱含層，所以也稱為單隱層BP網(wǎng)絡(luò)。三層前饋網(wǎng)中，輸入向T量為八，如加入JI,可為隱層神經(jīng)元引入閾值；隱層輸出向量為"3?I，如加入兒可為輸出層神經(jīng)元引入閾值；輸出層輸出向量為yT-；期望輸出向量為

4、。輸入層到隱層之間的權(quán)值矩陣用丁表示，其中列向量為隱層第k個神經(jīng)元對應(yīng)的權(quán)向量；隱層到輸出層之間的權(quán)值矩陣用逼表示，廠廠，其中列向量為輸出層第個神經(jīng)元對應(yīng)的權(quán)向量。下面具體分析各層信號之間的數(shù)學(xué)關(guān)系。對于輸出層，有：y.-)7-1q樣碧»=go叫他j=L2,-"TtiII其中'為輸出層的輸出，燈為輸出層第j個神經(jīng)元的凈輸入，：為轉(zhuǎn)移函數(shù)，"是隱層第k個神經(jīng)元與輸出層第j個神經(jīng)元之間的權(quán)值。二是隱層第k個神經(jīng)元的輸出值。對于隱含層，有：藍(lán)廠f仏tjk-1,2/-I?HDn於&£k-1,2/IVi=0其中"'是隱層第k個神經(jīng)

5、元的凈輸入，是隱層第k個神經(jīng)元與輸入層第i個神經(jīng)元之間的連接權(quán)值，"是輸入層第i個神經(jīng)元的輸入值。以上兩式中轉(zhuǎn)移函數(shù)：；均為單極性Singmoid函數(shù)IW共同構(gòu)成了三層前饋網(wǎng)的數(shù)學(xué)模型。一般定義誤差函數(shù)E作為衡量網(wǎng)絡(luò)性能的標(biāo)準(zhǔn)，即性能指數(shù)，在網(wǎng)絡(luò)的性能良好時E很小，反之則很大。在網(wǎng)絡(luò)的期望輸出與實(shí)際輸出不等時，一般將E定義為均方誤差，即:mE-(r-r)2-j-i將上述誤差定義式展開至隱層得:E£切-心書)-£”-f(2VI進(jìn)一步展開至輸入層得：mm=y卜乜諷茲町i2VD從上式可以看出，網(wǎng)絡(luò)中性能指標(biāo)e是宀和的函數(shù)，因此調(diào)整的值可以改變E。由于我們的目的是使E不斷的減小，所以權(quán)值的調(diào)整量要與E的負(fù)梯度成正比，即:dEj