神經(jīng)網(wǎng)絡(luò)第2章-BP神經(jīng)網(wǎng)絡(luò)

第2章BP神經(jīng)網(wǎng)絡(luò)

已經(jīng)發(fā)展了數(shù)十上百種神經(jīng)網(wǎng)絡(luò)模型，應(yīng)用最廣泛的是誤差反向傳播算法(BackPropagationAlgorithm，簡(jiǎn)稱BP算法)，相應(yīng)的網(wǎng)絡(luò)稱為BP網(wǎng)絡(luò)。由多層處理單元組成，每層神經(jīng)元個(gè)數(shù)不同，通過樣本自學(xué)習(xí)建立網(wǎng)絡(luò)輸入變量和輸出變量之間的非線性映射關(guān)系。

§2-1BP神經(jīng)網(wǎng)絡(luò)基本原理

BP網(wǎng)絡(luò)一般由輸入層、隱層和輸出層組成，隱層可以為一層或多層，每層上的神經(jīng)元稱為節(jié)點(diǎn)或單元。

標(biāo)準(zhǔn)BP模型由3個(gè)神經(jīng)元層次組成，如圖2.1所示，輸入層有L個(gè)處理單元，中間的隱層有M個(gè)處理單元，輸出層有N個(gè)處理單元。標(biāo)準(zhǔn)BP模型由3個(gè)神經(jīng)元層次組成，如圖2.1所示，輸入層有L個(gè)處理單元，中間的隱層有M個(gè)處理單元，輸出層有N個(gè)處理單元。圖2.1三層BP神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)誤差反向傳播算法的基本思想

BP網(wǎng)絡(luò)按照感知器的工作原理進(jìn)行信息處理：

(2-1)式中為t時(shí)刻輸出，為輸入向量的一個(gè)分量，為t時(shí)刻第i個(gè)輸入的加權(quán)，θ為閾值，為作用函數(shù)。

感知器的學(xué)習(xí)規(guī)則為

(2-2)式中η為學(xué)習(xí)率，d為期望輸出(又稱教師信號(hào))，為感知器的輸出。感知器通過不斷調(diào)整權(quán)重，使得對(duì)一切樣本均保持不變時(shí)，學(xué)習(xí)過程就結(jié)束。BP網(wǎng)絡(luò)誤差反向傳播算法的基本思想是：根據(jù)輸出層內(nèi)各處理單元的正確輸出與實(shí)際輸出之間的誤差進(jìn)行連接權(quán)系數(shù)的調(diào)整，使網(wǎng)絡(luò)的輸出盡可能接近期望的輸出，直到滿足事先給定的允許誤差，學(xué)習(xí)停止。由于隱層的存在，輸出層對(duì)產(chǎn)生誤差的學(xué)習(xí)必須通過各層連接權(quán)值的調(diào)整進(jìn)行，因此，隱層要能對(duì)輸出層反傳過來的誤差進(jìn)行學(xué)習(xí)，這是BP網(wǎng)絡(luò)的一個(gè)主要特征。

BP網(wǎng)絡(luò)的學(xué)習(xí)算法

考慮BP網(wǎng)絡(luò)中某神經(jīng)元j如圖1.2所示，它有m個(gè)輸入信號(hào)，每個(gè)輸入通過各自的權(quán)系數(shù)與神經(jīng)元j相聯(lián)系。第j神經(jīng)元的綜合輸入量為圖1.2神經(jīng)單元模型(2-3)式中稱為該神經(jīng)元的門檻值或閾值。為了統(tǒng)一表達(dá)式，可以令,將上式改寫成

(2-4)第j神經(jīng)元的輸出為(2-5)式中為神經(jīng)元j的傳遞函數(shù)或響應(yīng)函數(shù)，是非線性可微非遞減函數(shù)，對(duì)各神經(jīng)元可取同一形式。傳遞函數(shù)通常有0-1型(2-6)雙曲正切型(2-8)

Sigmoid型(2-7)目前，用得較多的傳遞函數(shù)是Sigmoid型函數(shù)或稱為S型函數(shù)。BP網(wǎng)絡(luò)的自學(xué)習(xí)是通過若干個(gè)已知輸入和輸出的樣本，來調(diào)整權(quán)系數(shù)完成的。要求對(duì)樣本，網(wǎng)絡(luò)輸出和樣本期望輸出的差值平方和極小，即(2-9)

現(xiàn)在考慮圖2.2所示BP網(wǎng)絡(luò)，用序號(hào)1~3分別表示輸入層、隱層和輸出層，為統(tǒng)一符號(hào)，規(guī)定右上角標(biāo)表示層的序號(hào)，對(duì)第p樣本，第層的神經(jīng)元j的輸入和輸出分別用和表示，而對(duì)應(yīng)層的神經(jīng)元個(gè)數(shù)為，對(duì)圖2.2而言，。則網(wǎng)絡(luò)的正向運(yùn)算為現(xiàn)在考慮圖2.2所示BP網(wǎng)絡(luò)，用序號(hào)1~3分別表示輸入層、隱層和輸出層，為統(tǒng)一符號(hào)，規(guī)定右上角標(biāo)表示層的序號(hào)，對(duì)第p樣本，第層的神經(jīng)元j的輸入和輸出分別用和表示，而對(duì)應(yīng)層的神經(jīng)元個(gè)數(shù)為，對(duì)圖2.2而言，。則網(wǎng)絡(luò)的正向運(yùn)算為圖2.2三層BP神經(jīng)網(wǎng)絡(luò)輸入層(2-10)隱層或輸出層式中表示第層的神經(jīng)元與第層的神經(jīng)元之間的權(quán)系數(shù)。網(wǎng)絡(luò)第層的神經(jīng)元j的計(jì)算輸出和樣本期望輸出的差值記為(2-13)要對(duì)網(wǎng)絡(luò)的權(quán)系數(shù)不斷進(jìn)行修正，使得小于事先給定的允許誤差，才能完成學(xué)習(xí)過程，訓(xùn)練結(jié)束。對(duì)于第次學(xué)習(xí)過程，權(quán)系數(shù)修正量可借鑒不包含隱層的Delta學(xué)習(xí)算法(或?qū)W習(xí)算法)按下式進(jìn)行調(diào)整(也參見式(2-2))

(2-14)式中η為修正因子，一般取小于1的常數(shù)，也可以在學(xué)習(xí)過程中根據(jù)需要而改變。

Delta學(xué)習(xí)算法的改進(jìn)

由式(2-11)則式(2-17)可改寫為將上式與式(2-14)比較，可見兩者形式相同。(2-14)

而由式(2-12)有

對(duì)式(2-7)的S型函數(shù)，上式成為

將式(2-23)和式(2-24)代入式(2-21)得

將式(2-23)和式(2-26)代入式(2-21)并考慮式(2-15)得

式(2-16)和式(2-20)給出

需要指出的是，當(dāng)選用0-1型和Sigmoid型傳遞函數(shù)時(shí)，網(wǎng)絡(luò)輸出的值域?yàn)?0,1)而雙曲正切型的值域?yàn)?-1,1)，對(duì)于超出此區(qū)間的樣本期望輸出，均需作歸一化處理。訓(xùn)練好的BP網(wǎng)絡(luò)已經(jīng)建立了輸入變量與輸出變量之間的非線性映射關(guān)系，可用于結(jié)構(gòu)損傷(裂紋)識(shí)別等反問題的求解。該法的特點(diǎn)是具有較好的魯棒性，對(duì)測(cè)量結(jié)果的微小誤差不很敏感。

BP網(wǎng)絡(luò)學(xué)習(xí)(迭代)運(yùn)算步驟如下：事先確定隱層的層數(shù)及各隱層的神經(jīng)元個(gè)數(shù)

§2.2BP網(wǎng)絡(luò)計(jì)算框圖BP網(wǎng)絡(luò)計(jì)算框圖(流程圖)見圖2.3：

§2.3BP網(wǎng)絡(luò)的特點(diǎn)和存在的問題

(1)是一種非線性映射關(guān)系

是靜態(tài)系統(tǒng)而非動(dòng)力學(xué)系統(tǒng)，故不涉及穩(wěn)定性問題。

(2)BP算法收斂速度很慢

主要由于多峰優(yōu)化問題，只找到局部最優(yōu)解，產(chǎn)生麻痹，如圖2.4。A全局最優(yōu)點(diǎn)B局部優(yōu)化點(diǎn)圖2.4多峰優(yōu)化問題尋優(yōu)過程示意圖

(3)對(duì)隱層的層數(shù)及各隱層的神經(jīng)元個(gè)數(shù)尚無理論上的推導(dǎo)

(4)對(duì)加入的新樣本，網(wǎng)絡(luò)需要重新學(xué)習(xí)

§2.4Kolmogorov定理Kolmogorov(連續(xù)函數(shù)表示)定理(1957年)：

§2.5算例1——NN.FOR駐值點(diǎn)由：

需要利用導(dǎo)師信息，給出網(wǎng)格點(diǎn)的值作信息，共7×7=49對(duì)數(shù)據(jù)點(diǎn)，見表2-1。x1位于-3～3之間，而x2位于-2～4之間。

表2-1神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)表x1x2f(X)x1x2f(X)x1x2f(X)x1x2f(X)-3-2120.5-24150242033-3-198.5-1-217.503102119-3080.5-1-17.50420229-3166.5-101.51-234.5233-3256.5-11-0.51-120.5241-3350.5-121.51010.53-2171.5-3448.5-137.5114.53-1137.5-2-239-1417.5122.530107.5-2-1250-220134.53181.5-20150-1101410.53259.5-2190042-2733341.5-2270122-1513427.5-239

程序NN.FOR使用說明：

數(shù)據(jù)值應(yīng)在(0,1)之間，故應(yīng)作歸一化處理：進(jìn)行坐標(biāo)平移及數(shù)據(jù)歸一化處理，分子—平移；分子/分母—?dú)w一化。x1最小值為-3，x2最小值為-2，取值區(qū)間分別為3-(-3)=6和4-(-2)=6。規(guī)格化處理：

§2.6算例2考慮：1、移軸及歸一化和上下限改變的影響；2、隨機(jī)數(shù)起始點(diǎn)改變；