神經(jīng)網(wǎng)絡(luò)第2章-BP神經(jīng)網(wǎng)絡(luò)

第2章BP神經(jīng)網(wǎng)絡(luò)

已經(jīng)發(fā)展了數(shù)十上百種神經(jīng)網(wǎng)絡(luò)模型，應(yīng)用最廣泛的是誤差反向傳播算法(BackPropagationAlgorithm，簡稱BP算法)，相應(yīng)的網(wǎng)絡(luò)稱為BP網(wǎng)絡(luò)。由多層處理單元組成，每層神經(jīng)元個數(shù)不同，通過樣本自學(xué)習(xí)建立網(wǎng)絡(luò)輸入變量和輸出變量之間的非線性映射關(guān)系。

§2-1BP神經(jīng)網(wǎng)絡(luò)基本原理

BP網(wǎng)絡(luò)一般由輸入層、隱層和輸出層組成，隱層可以為一層或多層，每層上的神經(jīng)元稱為節(jié)點或單元。

標(biāo)準(zhǔn)BP模型由3個神經(jīng)元層次組成，如圖2.1所示，輸入層有L個處理單元，中間的隱層有M個處理單元，輸出層有N個處理單元。標(biāo)準(zhǔn)BP模型由3個神經(jīng)元層次組成，如圖2.1所示，輸入層有L個處理單元，中間的隱層有M個處理單元，輸出層有N個處理單元。圖2.1三層BP神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)誤差反向傳播算法的基本思想

BP網(wǎng)絡(luò)按照感知器的工作原理進(jìn)行信息處理：

(2-1)式中為t時刻輸出，為輸入向量的一個分量，為t時刻第i個輸入的加權(quán)，θ為閾值，為作用函數(shù)。

感知器的學(xué)習(xí)規(guī)則為

(2-2)式中η為學(xué)習(xí)率，d為期望輸出(又稱教師信號)，為感知器的輸出。感知器通過不斷調(diào)整權(quán)重，使得對一切樣本均保持不變時，學(xué)習(xí)過程就結(jié)束。BP網(wǎng)絡(luò)誤差反向傳播算法的基本思想是：根據(jù)輸出層內(nèi)各處理單元的正確輸出與實際輸出之間的誤差進(jìn)行連接權(quán)系數(shù)的調(diào)整，使網(wǎng)絡(luò)的輸出盡可能接近期望的輸出，直到滿足事先給定的允許誤差，學(xué)習(xí)停止。由于隱層的存在，輸出層對產(chǎn)生誤差的學(xué)習(xí)必須通過各層連接權(quán)值的調(diào)整進(jìn)行，因此，隱層要能對輸出層反傳過來的誤差進(jìn)行學(xué)習(xí)，這是BP網(wǎng)絡(luò)的一個主要特征。

BP網(wǎng)絡(luò)的學(xué)習(xí)算法

考慮BP網(wǎng)絡(luò)中某神經(jīng)元j如圖1.2所示，它有m個輸入信號，每個輸入通過各自的權(quán)系數(shù)與神經(jīng)元j相聯(lián)系。第j神經(jīng)元的綜合輸入量為圖1.2神經(jīng)單元模型(2-3)式中稱為該神經(jīng)元的門檻值或閾值。為了統(tǒng)一表達(dá)式，可以令,將上式改寫成

(2-4)第j神經(jīng)元的輸出為(2-5)式中為神經(jīng)元j的傳遞函數(shù)或響應(yīng)函數(shù)，是非線性可微非遞減函數(shù)，對各神經(jīng)元可取同一形式。傳遞函數(shù)通常有0-1型(2-6)雙曲正切型(2-8)

Sigmoid型(2-7)目前，用得較多的傳遞函數(shù)是Sigmoid型函數(shù)或稱為S型函數(shù)。BP網(wǎng)絡(luò)的自學(xué)習(xí)是通過若干個已知輸入和輸出的樣本，來調(diào)整權(quán)系數(shù)完成的。要求對樣本，網(wǎng)絡(luò)輸出和樣本期望輸出的差值平方和極小，即(2-9)

現(xiàn)在考慮圖2.2所示BP網(wǎng)絡(luò)，用序號1~3分別表示輸入層、隱層和輸出層，為統(tǒng)一符號，規(guī)定右上角標(biāo)表示層的序號，對第p樣本，第層的神經(jīng)元j的輸入和輸出分別用和表示，而對應(yīng)層的神經(jīng)元個數(shù)為，對圖2.2而言，。則網(wǎng)絡(luò)的正向運(yùn)算為現(xiàn)在考慮圖2.2所示BP網(wǎng)絡(luò)，用序號1~3分別表示輸入層、隱層和輸出層，為統(tǒng)一符號，規(guī)定右上角標(biāo)表示層的序號，對第p樣本，第層的神經(jīng)元j的輸入和輸出分別用和表示，而對應(yīng)層的神經(jīng)元個數(shù)為，對圖2.2而言，。則網(wǎng)絡(luò)的正向運(yùn)算為圖2.2三層BP神經(jīng)網(wǎng)絡(luò)輸入層(2-10)隱層或輸出層式中表示第層的神經(jīng)元與第層的神經(jīng)元之間的權(quán)系數(shù)。網(wǎng)絡(luò)第層的神經(jīng)元j的計算輸出和樣本期望輸出的差值記為(2-13)要對網(wǎng)絡(luò)的權(quán)系數(shù)不斷進(jìn)行修正，使得小于事先給定的允許誤差，才能完成學(xué)習(xí)過程，訓(xùn)練結(jié)束。對于第次學(xué)習(xí)過程，權(quán)系數(shù)修正量可借鑒不包含隱層的Delta學(xué)習(xí)算法(或?qū)W習(xí)算法)按下式進(jìn)行調(diào)整(也參見式(2-2))

(2-14)式中η為修正因子，一般取小于1的常數(shù)，也可以在學(xué)習(xí)過程中根據(jù)需要而改變。

Delta學(xué)習(xí)算法的改進(jìn)

由式(2-11)則式(2-17)可改寫為將上式與式(2-14)比較，可見兩者形式相同。(2-14)

而由式(2-12)有

對式(2-7)的S型函數(shù)，上式成為

將式(2-23)和式(2-24)代入式(2-21)得

將式(2-23)和式(2-26)代入式(2-21)并考慮式(2-15)得

式(2-16)和式(2-20)給出

需要指出的是，當(dāng)選用0-1型和Sigmoid型傳遞函數(shù)時，網(wǎng)絡(luò)輸出的值域為(0,1)而雙曲正切型的值域為(-1,1)，對于超出此區(qū)間的樣本期望輸出，均需作歸一化處理。訓(xùn)練好的BP網(wǎng)絡(luò)已經(jīng)建立了輸入變量與輸出變量之間的非線性映射關(guān)系，可用于結(jié)構(gòu)損傷(裂紋)識別等反問題的求解。該法的特點是具有較好的魯棒性，對測量結(jié)果的微小誤差不很敏感。

BP網(wǎng)絡(luò)學(xué)習(xí)(迭代)運(yùn)算步驟如下：事先確定隱層的層數(shù)及各隱層的神經(jīng)元個數(shù)

§2.2BP網(wǎng)絡(luò)計算框圖BP網(wǎng)絡(luò)計算框圖(流程圖)見圖2.3：

§2.3BP網(wǎng)絡(luò)的特點和存在的問題

(1)是一種非線性映射關(guān)系

是靜態(tài)系統(tǒng)而非動力學(xué)系統(tǒng)，故不涉及穩(wěn)定性問題。

(2)BP算法收斂速度很慢

主要由于多峰優(yōu)化問題，只找到局部最優(yōu)解，產(chǎn)生麻痹，如圖2.4。A全局最優(yōu)點B局部優(yōu)化點圖2.4多峰優(yōu)化問題尋優(yōu)過程示意圖

(3)對隱層的層數(shù)及各隱層的神經(jīng)元個數(shù)尚無理論上的推導(dǎo)

(4)對加入的新樣本，網(wǎng)絡(luò)需要重新學(xué)習(xí)

§2.4Kolmogorov定理Kolmogorov(連續(xù)函數(shù)表示)定理(1957年)：

§2.5算例1——NN.FOR駐值點由：

需要利用導(dǎo)師信息，給出網(wǎng)格點的值作信息，共7×7=49對數(shù)據(jù)點，見表2-1。x1位于-3～3之間，而x2位于-2～4之間。

表2-1神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)表x1x2f(X)x1x2f(X)x1x2f(X)x1x2f(X)-3-2120.5-24150242033-3-198.5-1-217.503102119-3080.5-1-17.50420229-3166.5-101.51-234.5233-3256.5-11-0.51-120.5241-3350.5-121.51010.53-2171.5-3448.5-137.5114.53-1137.5-2-239-1417.5122.530107.5-2-1250-220134.53181.5-20150-1101410.53259.5-2190042-2733341.5-2270122-1513427.5-239

程序NN.FOR使用說明：

數(shù)據(jù)值應(yīng)在(0,1)之間，故應(yīng)作歸一化處理：進(jìn)行坐標(biāo)平移及數(shù)據(jù)歸一化處理，分子—平移；分子/分母—歸一化。x1最小值為-3，x2最小值為-2，取值區(qū)間分別為3-(-3)=6和4-(-2)=6。規(guī)格化處理：

§2.6算例2考慮：1、移軸及歸一化和上下限改變的影響；2、隨機(jī)數(shù)起始點改變；