軟計算課件神經(jīng)網(wǎng)絡(luò)bp

1、1、人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)來模擬人腦神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元可以各種不同拓撲結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似。神經(jīng)網(wǎng)絡(luò)模式識別的過程分兩步:首先是學習過程，通過大量的訓練樣本，對網(wǎng)絡(luò)進行訓練，根據(jù)某種學習規(guī)則不斷對連接權(quán)值進行調(diào)節(jié)，然后使網(wǎng)絡(luò)具有某種期望的輸出，就可以將訓練樣本正確分類到其所屬類別中，此時網(wǎng)絡(luò)學習到了輸入數(shù)據(jù)或樣本間的內(nèi)在規(guī)律。其次是分類過程，應(yīng)用前面學習過程所訓練好的權(quán)值，對任意送入網(wǎng)絡(luò)的樣本進行分類。神經(jīng)網(wǎng)絡(luò)由許多并行運算的功能簡單的單元組成。這些單元類似于生物神經(jīng)系統(tǒng)的單元。神經(jīng)網(wǎng)絡(luò)是一個非線性動力學系統(tǒng)，其特色在于信息的

2、分布式和并行協(xié)同處理。雖然單個神經(jīng)元的結(jié)構(gòu)極其簡單，功能有限，但大量神經(jīng)元的網(wǎng)絡(luò)系統(tǒng)所能實現(xiàn)的行為卻是極其豐富多彩的，神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有集體運算的能力和自適應(yīng)的學習能力。此外，它還有很強的容錯性和魯棒性，聯(lián)想、綜合和推廣。一般而言，神經(jīng)網(wǎng)絡(luò)是一個并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，它一般由許多個神經(jīng)元組成，每個神經(jīng)元只有一個輸出，它可以連接到很多其它的神經(jīng)元，每個神經(jīng)元輸入有多個連接通路，每個連接通路對應(yīng)于接權(quán)系數(shù)。人工神經(jīng)網(wǎng)絡(luò)模型各種各樣，目前已有數(shù)十種。他們從各個角度對生物神經(jīng)系統(tǒng)的不同層次進行了描述和模擬。代表模型有感知機、多層BP 網(wǎng)、RBF 網(wǎng)絡(luò)、Kohonen 網(wǎng)絡(luò)、Hopfiled模型

3、、Boltzmann 機等等。雖然人工神經(jīng)網(wǎng)絡(luò)有很多模型，但按神經(jīng)元的連接方式只有兩種型態(tài):沒有反饋的前向網(wǎng)絡(luò)和相互結(jié)合型網(wǎng)絡(luò)。2、前饋型神經(jīng)網(wǎng)絡(luò)前饋型神經(jīng)網(wǎng)絡(luò)，又稱前向網(wǎng)絡(luò)（Feed forward NN）。，神經(jīng)元分層排列，有輸入層、隱層（亦稱中間層，可有若干層）和輸出層，每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。從學習的觀點來看，前饋網(wǎng)絡(luò)是一種強有力的學習系統(tǒng)，其結(jié)構(gòu)簡單而易于編程；從系統(tǒng)的觀點看，前饋網(wǎng)絡(luò)是一靜態(tài)非線性，通過簡單非線性處理單元的復合，可獲得復雜的非線性處理能力。但從計算的觀點看，缺乏豐富的動力學行為。前向網(wǎng)絡(luò)是多層映射網(wǎng)絡(luò)，每一層中的神經(jīng)元只接受來自前一層神經(jīng)元的信號，因

4、此信號的是單方向的。大部分前饋網(wǎng)絡(luò)都是絡(luò)，它們的分類能力和模式識別能力一般都強于反饋網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、BP 網(wǎng)絡(luò)等。BP 網(wǎng)絡(luò)是這類網(wǎng)絡(luò)中最典型的例子。3、BP 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)，簡稱 BP 網(wǎng)絡(luò)（Back Propagation），是誤差反向一種單向的多層前向網(wǎng)絡(luò)。能學習和存貯大量的輸入-輸出模式關(guān)系，而無需事前揭示描述這種關(guān)系的數(shù)學方程。它的學習規(guī)則是使用最速下降法，通過反向來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP 神經(jīng)網(wǎng)絡(luò)模型拓撲結(jié)構(gòu)包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。在模式識別、圖像處理、系統(tǒng)辨識、

5、函數(shù)擬合、優(yōu)化計算、最優(yōu)和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。如圖是 BP 網(wǎng)絡(luò)的示意圖。3.1 BP 神經(jīng)元設(shè)有第j 個基本 BP 神經(jīng)元（節(jié)點），模仿了生物神經(jīng)元所具有的三個最基本也是最重要的功能：、求和與轉(zhuǎn)移。其中 x1、x2xixn 分別代表來自神經(jīng)元 1 、 2in 的輸入； wj1 、wj2wjiwjn 則分別表示神經(jīng)元 1、2in 與第 j 個神經(jīng)元的連接強度，即權(quán)值；bj 為閾值；f()為傳遞函數(shù)；yj 為第 j 個神經(jīng)元的輸出。第j 個神經(jīng)元的凈輸入值為：其中： 若視 ，即令及 包括及，則于是節(jié)點 j 的凈輸入可表示為：凈輸入 通過傳遞函數(shù)（Transfer Function

6、）f ()后，便得到第j 個神經(jīng)元的輸出:式中 f()是單調(diào)上升函數(shù)，而且必須是有界函數(shù)，因為細胞傳遞的信號不可能無限增加，必有一最大值。3.2 標準 BP 算法BP 網(wǎng)絡(luò)執(zhí)行的是有導師訓練，所以其樣本集是由形如:(輸入向量，理想輸出向量)的向量對的。所有這些向量對，都應(yīng)該是來源于網(wǎng)絡(luò)即將模擬的系統(tǒng)的實際“運行”結(jié)果。在開始訓練前，所有的權(quán)值和閥值都應(yīng)該用一些不同的小隨機數(shù)進行初始化。“小隨機數(shù)”用來保證網(wǎng)絡(luò)不會因權(quán)值過大而進入飽和狀態(tài)，從而導致訓練失敗;“不同”用來保證網(wǎng)絡(luò)可以正常地學習。實際上，如果用相同的數(shù)去初始化權(quán)矩陣，則網(wǎng)絡(luò)力學習。BP 算法的學習過程由正向和反向組成。在正向過，輸入

7、信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每層神經(jīng)元（節(jié)點）的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)入反向，將誤差信號沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，使誤差信號最小。3.3 正向設(shè) BP 網(wǎng)絡(luò)的輸入層有 n 個節(jié)點，隱層有 q 個節(jié)點，輸出層有 m個節(jié)點，輸入層與隱層之間的權(quán)值為，隱層與輸出層之間的權(quán)值為，如圖 5.4 所示。隱層的傳遞函數(shù)為 f1()，輸出層的傳遞函數(shù)為f2()，則隱層節(jié)點的輸出為（將閾值寫入求和項中）：k=1,2,q輸出層節(jié)點的輸出為：j=1,2,m至此 B-P 網(wǎng)絡(luò)就完成了 n向量對 m的近似。3.4 反向1)定義誤差函數(shù)輸入 P 個學習樣本，用來表示。第個樣本輸入到網(wǎng)絡(luò)后得到輸出（j=1,2,m）。采用平方型誤差函數(shù)，于是得到第 p個樣本的誤差 Ep：式中：為期望輸出。對于個樣本，全局誤差為：2）輸出層權(quán)值的變化采用累計誤差 BP 算法調(diào)整，使全局誤差變小，即式中： 學習率定義誤差信號為：其中第一項：