數(shù)據(jù)挖掘神經(jīng)網(wǎng)絡(luò)BP算法

7.3神經(jīng)網(wǎng)絡(luò)算法7.3.1神經(jīng)網(wǎng)絡(luò)的根本原理人工神經(jīng)網(wǎng)絡(luò)是在研究生物神經(jīng)系統(tǒng)的啟發(fā)下開展起來的一種信息處理方法。它模擬生物神經(jīng)系統(tǒng)結(jié)構(gòu)，由大量處理單元組成非線性自適應(yīng)動(dòng)態(tài)系統(tǒng)，具有高度非線性的超大規(guī)模實(shí)踐特性，網(wǎng)絡(luò)的全局作用、大規(guī)模并行分布處理及高度的魯棒性和容錯(cuò)性，有聯(lián)想記憶、抽象概括和自適應(yīng)能力，這種抽象概括和自適應(yīng)能力一般稱之為自學(xué)能力。1整理ppt工程上用的人工神經(jīng)元模型如下圖：2整理ppt7.3.2反向傳播模型1.工作原理神經(jīng)網(wǎng)絡(luò)模型分為前饋多層式網(wǎng)絡(luò)模型、反響遞歸式網(wǎng)絡(luò)模型、隨機(jī)型網(wǎng)絡(luò)模型等。誤差反向傳播(Backpropagation，簡稱BP網(wǎng)絡(luò))，又稱為多層前饋神經(jīng)網(wǎng)絡(luò)。其模型結(jié)構(gòu)如圖7.3所示3整理ppt2.學(xué)習(xí)過程

BP網(wǎng)絡(luò)學(xué)習(xí)過程是一種誤差邊向后傳播邊修正權(quán)系數(shù)的過程，BP算法把網(wǎng)絡(luò)的學(xué)習(xí)過程分為正向傳播和反向傳播兩種交替過程。

〔1〕正向傳播輸入信息先傳到隱藏層的結(jié)點(diǎn)上，經(jīng)過各單元的特性為S型的激活函數(shù)運(yùn)算后，把隱藏層結(jié)點(diǎn)的輸出信息傳到輸出結(jié)點(diǎn)，最后給出輸出結(jié)果。〔2〕反向傳播如果得不到實(shí)際的輸出，那么轉(zhuǎn)入反向傳播過程，將誤差信號(hào)沿原來的連接線路返回，通過修改各層神經(jīng)元的權(quán)值，逐次地向輸入層傳播進(jìn)行計(jì)算，再經(jīng)過正向傳播過程。這兩個(gè)過程的反復(fù)運(yùn)用，逐漸使得誤差信號(hào)最小，網(wǎng)絡(luò)學(xué)習(xí)過程就結(jié)束。4整理ppt3．BP算法BP算法如下。其中，l為學(xué)習(xí)率；oi為單元i的輸出；oj為單元j的輸出；Tj為輸出層單元j的期望輸出；Errj為與隱藏層單元j的誤差加權(quán)和；wjk為單元j與單元k相連的有向加權(quán)邊的權(quán)重；為改變單元j活性的偏量。輸入：訓(xùn)練樣本S，學(xué)習(xí)率l，多層前饋網(wǎng)絡(luò)。輸出：一個(gè)訓(xùn)練的、對樣本分類的神經(jīng)網(wǎng)絡(luò)。方法：(1)初始化網(wǎng)絡(luò)的權(quán)和閾值(2)

WHILE終止條件滿足{(3)

FORS中的每個(gè)訓(xùn)練樣本X{(4)

FOR隱藏或輸出層每個(gè)單元j{((5); //相對于前一層計(jì)算單元j的凈輸入(6) ;//計(jì)算每個(gè)單元j的輸出(7)

FOR輸出層每個(gè)單元(8)

; //計(jì)算誤差(9)

FOR由最后一個(gè)到第一個(gè)隱藏層，對于隱藏層每個(gè)單元j(10)

; //計(jì)算關(guān)于下一個(gè)較高層k的誤差(11)

FOR網(wǎng)絡(luò)中的每一個(gè)權(quán)(12)

;(13)

FOR網(wǎng)絡(luò)中每個(gè)單元偏量(14)

5整理ppt【例7-5】假設(shè)訓(xùn)練樣本s的屬性值為｛1，0，1｝，實(shí)際類別分別為1，兩層前饋神經(jīng)網(wǎng)絡(luò)NT如圖7.4所示，NT中每條有一向加權(quán)邊的權(quán)重、每個(gè)隱藏層與輸出層單元的偏置如表7-11所示，學(xué)習(xí)率為0.9。寫出輸入S訓(xùn)練NT的過程。6整理ppt首先算出單元4、5、6的輸入、輸出，具體結(jié)果見表7-12，然后計(jì)算4、5、6的誤差，見表7-13；NT中每條有向加權(quán)邊的新權(quán)重、每個(gè)隱藏層與輸出層單元的新偏置見表7-14。圖7.4兩層前饋神經(jīng)網(wǎng)絡(luò)7整理ppt表7-11權(quán)重、單元的偏置8整理ppt單元j輸入Ij輸出Oj40.2×1+0.4×0+(-0.5)×1+(-0.4)=-0.71/(l+e-(-0.7))=0.3325(-0.3)×l+0.1×0+0.2×1+0.2=0.11/(l+e-0.1)=0.5256(-0.3)×0.332+(-0.2)×0.525+0.1=-0.1051/(l+e-(-0.105))=0.474表7-12隱藏層與輸出層每個(gè)單元的輸入、輸出9整理ppt表7-13隱藏層與輸出層每個(gè)單元的誤差單元j誤差

60.474×(1-0.474)×(l-0.474)=0.131150.525×(l-0.525)×(0.1311×(-0.2))=-0.006540.332×(l-0.332)×(0.1311×(-0.3))=-0.008710整理ppt表7-14有向加權(quán)邊的新權(quán)重、每個(gè)隱藏層與輸出層單元的新偏置W46-0.3+0.9×0.1311×0.332=-0.261W56-0.2+0.9×0.1311×0.525=-0.138W140.2+0.9×(-0.00087)×1=0.192W15-0.3+0.9×(-0.0065)×1=-0.306W240.4+0.9×(-0.0087)×0=0.4W250.1+0.9×(-0.0065)×0=0.1W34-0.5+0.9×(-0.0087)×1=-0.508W350.2+0.9×(-0.0065)×1=0.194

60.1+0.9×0.1311=0.218

50.2+0.9×(-0.0065)=0.194

4-0.4+0.9×(-0.0087)=-0.40811整理ppt7.3.3定義神經(jīng)網(wǎng)絡(luò)拓?fù)?/p>

神經(jīng)網(wǎng)絡(luò)在開始訓(xùn)練之前，必須確定輸人層的單元數(shù)、層數(shù)，每個(gè)隱藏層的單元數(shù)和輸出層的單元數(shù)，以確定網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。如何選取最正確的隱藏層數(shù)目，可以參考下面的公式其中，k為樣本數(shù)，n為輸入結(jié)點(diǎn)數(shù)，m為輸出樣本，為隱藏層結(jié)點(diǎn)數(shù)。12整理ppt7.3.4神經(jīng)網(wǎng)絡(luò)工作過程所有神經(jīng)網(wǎng)絡(luò)的工作過程主要分兩個(gè)階段：工作階段和學(xué)習(xí)階段(1)工作階段，此時(shí)各連接權(quán)值固定，處理單元狀態(tài)變化，以求到達(dá)穩(wěn)定狀態(tài)；(2)學(xué)習(xí)階段，各處理單元狀態(tài)保持不變，各連接權(quán)值可修改。13整理ppt