神經(jīng)元感知器和BP網(wǎng)絡1

（2）自適應性和自組織性。神經(jīng)元之間的連接具有多樣性，各神經(jīng)元之間的連接強度具有可塑性，網(wǎng)絡可以通過學習與訓練進行自組織，以適應不同信息處理的要求。（3）并行處理性。網(wǎng)絡各單元可同時進行類似的處理，整個網(wǎng)絡的信息處理方式是大規(guī)模并行的，可以大大加快對信息處理的速度。（4）分布存儲和容錯性。信息在神經(jīng)網(wǎng)絡內的存儲按內容分布于許多神經(jīng)元中，而且每個神經(jīng)元存儲多種信息的部分內容。網(wǎng)絡的每部分對信息的存儲具有等勢作用，部分的信息丟失仍可以使完整的信息得到恢復，因而使網(wǎng)絡具有容錯性和聯(lián)想記憶功能。（5）便于集成實現(xiàn)和計算模擬。神經(jīng)網(wǎng)絡在結構上是相同神經(jīng)元的大規(guī)模組合，特別適合于用大規(guī)模集成電路實現(xiàn)。

當前1頁，總共51頁。1§3-1

神經(jīng)網(wǎng)絡的基本概念一.生物神經(jīng)元模型

神經(jīng)元模型

腦神經(jīng)元由細胞體、樹突和軸突構成。細胞體是神經(jīng)元的中心，它一般又由細胞核、細胞膜等組成。樹突是神經(jīng)元的主要接受器，它主要用來接受信息。軸突的作用主要是傳導信息，它將信息從軸突起點傳到軸突末梢。1、組成

軸突末梢與另一個神經(jīng)元的樹突或胞體構成一種突觸的機構。通過突觸實現(xiàn)神經(jīng)元之間的信息傳遞。當前2頁，總共51頁。2具有兩種常規(guī)工作狀態(tài)：興奮與抑制。當傳入的神經(jīng)沖動使細胞膜電位升高超過閾值時，細胞進入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動并由軸突輸出；當傳入的神經(jīng)沖動使膜電位下降低于閾值時，細胞進入抑制狀態(tài)，沒有神經(jīng)沖動輸出。

2.生物神經(jīng)元工作狀態(tài)當前3頁，總共51頁。3二.人工神經(jīng)元模型

人工神經(jīng)網(wǎng)絡是利用物理器件來模擬生物神經(jīng)網(wǎng)絡的某些結構和功能。

1.人工神經(jīng)元的輸入輸出變換關系為:

其中:

稱為閾值稱為連接權系數(shù)稱為輸出變換函數(shù)。當前4頁，總共51頁。42.常用的輸入輸出變換函數(shù)

神經(jīng)元模型的輸出函數(shù)，它是一個非動態(tài)的非線性函數(shù)，用以模擬神經(jīng)細胞的興奮、抑制以及閾值等非線性特性。

這些非線性函數(shù)具有兩個顯著的特征，一是它的突變性，二是它的飽和性，這正是為了模擬神經(jīng)細胞興奮過程中所產(chǎn)生的神經(jīng)沖動以及疲勞等特性。當前5頁，總共51頁。5某兩輸入、單輸出的單節(jié)點感知器的連接權值樣本，為一類（感知器輸出為1），為另一類（感知器輸出為-1），，樣本試求閥值T。（T為絕對值最小的整數(shù)，轉移函數(shù)采用符號函數(shù)）課堂練習當前6頁，總共51頁。6解：單節(jié)點兩輸入感知器的輸出為：根據(jù)題意：時：

得

時：

得

時：

得

為將樣本按要求分兩類，，根據(jù)題意選當前7頁，總共51頁。73.1.2人工神經(jīng)元網(wǎng)絡

人工神經(jīng)網(wǎng)絡是一個并行和分布式的信息處理網(wǎng)絡結構，該網(wǎng)絡結構一般由許多個神經(jīng)元組成，每個神經(jīng)元有一個單一的輸出，它可以連接到很多其它的神經(jīng)元，其輸入有多個連接通路，每個連接通路對應一個連接權系數(shù)。

1.對于每個結點有一個狀態(tài)變量

一.人工神經(jīng)元網(wǎng)絡的組成原理

2.結點

i

到結點j有一個連接權系數(shù)

3.對于每個結點有一個閾值

4.對于每個結點定義一個變換函數(shù)嚴格說來，神經(jīng)網(wǎng)絡是一個具有如下性質的有向圖。其中：當前8頁，總共51頁。8二.典型的神經(jīng)網(wǎng)絡結構：

根據(jù)神經(jīng)元之間連接的拓撲結構上的不同，可將神經(jīng)網(wǎng)絡結構分為兩大類：層狀結構和網(wǎng)絡結構。層狀結構的神經(jīng)網(wǎng)絡是由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層中神經(jīng)元單向聯(lián)接，一般同層內的神經(jīng)元不能聯(lián)接。1、前向網(wǎng)絡（前饋網(wǎng)絡）下面介紹幾種常見的網(wǎng)絡結構:2、反饋網(wǎng)絡

當前9頁，總共51頁。9

即網(wǎng)狀結構，在這種神經(jīng)網(wǎng)絡結構中，任何兩個神經(jīng)元之間都可能雙向聯(lián)接。

4.混合型網(wǎng)絡

在前向網(wǎng)絡基礎上，在同層、部分神經(jīng)元之間也可雙向聯(lián)接。3.相互結合型網(wǎng)絡當前10頁，總共51頁。10§3-2監(jiān)督學習及前饋神經(jīng)網(wǎng)絡

具有分層的結構。最前面一層是輸入層，中間是隱層，最后一層是輸出層。其信息從輸入層依次向上傳遞，直至輸出層。這樣的結構稱為前饋網(wǎng)絡。

3.2.1感知器網(wǎng)絡

感知器(perceptron)是最簡單的前饋網(wǎng)絡，也是早期仿生學的研究成果，主要功能是用于對不同的輸入模式進行分類。當前11頁，總共51頁。11一、單層感知器網(wǎng)絡

也就是按照不同特征的分類結果。

是具有單層神經(jīng)元、采用線性閾值函數(shù)的前饋網(wǎng)絡。通過對權值的訓練，可使感知器對一組線性可分的輸入模式（矢量）進行有效的分類。

是輸入特征向量，

圖中

是

到

的連接權，

(j=1,

2,

…,m)

是輸出量。1.單層感知器的基本結構當前12頁，總共51頁。122.單層感知器的輸入輸出變換關系

由于按不同特征的分類是互相獨立的，因而可以取出其中的一個神經(jīng)元來討論。其輸入到輸出的變換關系為：

該感知器的輸出將輸入模式分成了兩類。它們分屬于n維空間的兩個不同的部分。若有P個輸入樣本(p=1,2,…,P)。當前13頁，總共51頁。13*以二維空間為例

分界線的方程為:

*值得注意的是：只有那些線性可分模式類才能用感知器來加以區(qū)分。

線性不可分問題：典型的例子是異或關系。當前14頁，總共51頁。14

對于輸入矢量x，輸出矢量y，目標矢量d，根據(jù)以下輸出矢量可能出現(xiàn)的情況進行調整：3.感知器網(wǎng)絡的學習規(guī)則

當前15頁，總共51頁。15

采用有教師的學習方法進行訓練：

1)確定輸入矢量x，目標矢量d，各矢量的維數(shù)、神經(jīng)元數(shù)和樣本數(shù)目：n，m，P；

2)參數(shù)初始化：

a)輸入[x]np，[d]mp；

b)設置(-1,1)隨機非零權矢量[w]mn

；

c)給出最大循環(huán)次數(shù)max_epoch；

3)計算神經(jīng)網(wǎng)絡的實際輸出：4.感知器網(wǎng)絡的學習算法

當前16頁，總共51頁。16

4)檢查輸出y與目標d是否相同，若是，或已達到最大循環(huán)次數(shù)，訓練結束，否則繼續(xù)；

6)轉到3)。權矢量的修正量與輸入模式xk成正比。若的取值太大，算法可能出現(xiàn)振蕩。取值太小，收斂速度會很慢。

單層感知器的局限性：只能解決簡單的分類問題，也就是只有在輸入矢量是線性可分時，單層感知器才對輸入模式進行有效的分類有效。線性不可分問題只能用多層感知器來解決。當前17頁，總共51頁。17二、多層感知器網(wǎng)絡

1.多層感知器的基本結構如下圖多層感知器網(wǎng)絡：其中：第0層為輸入層，有個神經(jīng)元，中間層為隱層。

第Q

層為輸出層，有個神經(jīng)元，這時每一層相當于一個單層感知器網(wǎng)絡。當前18頁，總共51頁。182、多層感知器的輸入輸出變換關系

對于第q

層，它形成一個維的超平面，它對于該層的輸入模式進行線性分類。

由于多層的組合，最終可實現(xiàn)對輸入模式的較復雜的分類。當前19頁，總共51頁。193.2.2.BP網(wǎng)絡

反向傳播(Back-Propagation)網(wǎng)絡，簡稱BP網(wǎng)絡，是采用廣義d學習規(guī)則，對非線性可微分函數(shù)進行權值訓練的多層（三層或三層以上）前饋網(wǎng)絡。

前、后層之間各神經(jīng)元實現(xiàn)全聯(lián)接；每層各神經(jīng)元之間無聯(lián)接。x1x2xnwij輸入層輸出層隱含層jik+-wki信息流誤差反向傳播(學習算法)MqL

BP網(wǎng)絡主要用于函數(shù)逼近、模式識別、分類、數(shù)據(jù)壓縮。

一.BP網(wǎng)絡的基本結構及原理當前20頁，總共51頁。20x1x2xnwij輸入層輸出層隱含層jik+-wki信息流誤差反向傳播(學習算法)MqL

設輸入層j有M個節(jié)點，節(jié)點的輸出等于其輸入。隱含層i有q個節(jié)點，激活函數(shù)為f1，wij是j層和i層節(jié)點之間的聯(lián)接權值。輸出層k有L個節(jié)點，激活函數(shù)為f2，wki是i層和k層節(jié)點之間的聯(lián)接權值。隱含層和輸出層節(jié)點的輸入是前一層節(jié)點的輸出的加權和。

當前21頁，總共51頁。21

屬于d算法?；舅枷胧亲钚《怂惴ǎ簩τ赑個輸入學習樣本[x1,x2,…xP]，已知對應的輸出樣本為[d1,d2,…,dP]。學習的目的是用網(wǎng)絡的實際輸出[y1,y2,…,yP]與目標矢量[d1,d2,…,dP]之間的誤差來修正其權值，使網(wǎng)絡輸出層的誤差平方和達到最小。二.BP網(wǎng)絡的基本學習規(guī)則

學習過程由正向遞推計算實現(xiàn)函數(shù)映射和反向傳播計算訓練權值兩步來完成。當前22頁，總共51頁。22三.

BP網(wǎng)絡的輸入輸出變換關系

在BP網(wǎng)絡中，神經(jīng)元的變換函數(shù)通常采用S型函數(shù)，因此輸出量是0到1之間的連續(xù)量，它可實現(xiàn)從輸入到輸出的任意的非線性映射。

具有偏置和調節(jié)的Sigmoid激發(fā)函數(shù)S型激活函數(shù)連續(xù)可微。算法上可嚴格利用梯度法進行推算，權值修正的解析式明確。1.BP網(wǎng)絡中神經(jīng)元的激活函數(shù)當前23頁，總共51頁。232.BP網(wǎng)絡的前饋計算（BP網(wǎng)絡輸入到輸出的映射計算）即根據(jù)神經(jīng)元所確定的輸入輸出變換函數(shù)，由輸入層向輸出層執(zhí)行遞推計算。一旦權值滿足訓練要求，前饋計算結束，能使BP網(wǎng)絡實現(xiàn)期望的輸入輸出變換關系。BP網(wǎng)絡的前饋遞推算式：當前24頁，總共51頁。24四.

BP網(wǎng)絡權值的訓練及學習功能的實現(xiàn)1.訓練樣本

BP網(wǎng)絡屬于監(jiān)督學習網(wǎng)絡，BP網(wǎng)絡是通過在教師信號（樣本）的監(jiān)督下對連接權值進行適當?shù)挠柧殢亩鴮崿F(xiàn)學習功能的。

（1）訓練樣本--理想輸入輸出對的集合，樣本來自客觀對象，信息集中包含著系統(tǒng)內在的輸入輸出特性。（2）樣本特性--理想的樣本應具有真實性和完整性。設有實際應用中的P

組樣本，其中第p組樣本對形式如下：輸入樣本：輸出樣本：當前25頁，總共51頁。252.定義誤差函數(shù)

連接權值的訓練過程，就是BP網(wǎng)絡擬合未知函數(shù)得優(yōu)化計算過程。為了保證擬合精度，取如下算式作為擬合誤差函數(shù)：總誤差函數(shù)：一次樣本誤差函數(shù)：其中：是期望輸出值與網(wǎng)絡實際輸出之間的差值。當前26頁，總共51頁。263.權值的訓練及反向傳播計算過程x1x2xnwij輸入層輸出層隱含層jik+-wki信息流誤差反向傳播(學習算法)MqL

調整連接權值，以便使誤差函數(shù)E最小，優(yōu)化計算常采用一階梯度來實現(xiàn)。該方法的關鍵是計算優(yōu)化目標函數(shù)（即誤差函數(shù)）E對尋優(yōu)參數(shù)（即連接權值）的一階倒數(shù)。即：

調整連接權值按照反向傳播的原則，從輸出層開始向前逐一推算。當前27頁，總共51頁。27（1）首先計算第Q層（即輸出層）其中：(Ⅰ)當前28頁，總共51頁。28（2）再計算第Q-1層（即次輸出層）其中：(Ⅱ)見上頁(Ⅰ)式：當前29頁，總共51頁。29（3）第q層的反向遞推計算根據(jù)（Ⅰ）,（Ⅱ）兩式可獲得反向遞推算式：這里的q層是指由Q-1向前遞推的任意網(wǎng)絡層次（其中：q=Q-2，Q-3，…,1)首先計算←←←←當前30頁，總共51頁。30在每一層的反向遞推計算需要說明的是：中都出現(xiàn)導數(shù)項。該項的計算，與所取的激活函數(shù)直接相關。比如：取變換函數(shù)為S型函數(shù)，那么其導數(shù)項可計算如下：由于：所以：當前31頁，總共51頁。31最后可歸納出BP網(wǎng)絡的學習算法如下：

第q層：輸出層：當前32頁，總共51頁。32五.BP網(wǎng)絡的特點和優(yōu)點、局限性及其改進特點：（1）是一種多層網(wǎng)絡，包括輸入層、隱含層和輸出層；（2）層與層之間采用全互連方式，同一層神經(jīng)元之間不連接；（3）權值通過δ學習算法進行調節(jié)；（4）神經(jīng)元激發(fā)函數(shù)為S函數(shù)；（5）學習算法由正向傳播和反向傳播組成；（6）層與層的連接是單向的，信息的傳播是雙向的。當前33頁，總共51頁。33優(yōu)點：（1）隱層的作用是使問題的可調參數(shù)增加，使解更加準確。只要有足夠多的隱層和隱層節(jié)點，BP網(wǎng)絡可以逼近任意的非線性映射關系。（2）由所取的作用函數(shù)知，BP網(wǎng)絡的學習算法屬于全局逼近算法，具有較強的泛化能力。

泛化能力—用較少的樣本進行訓練，使網(wǎng)絡能對未經(jīng)訓練的輸入也能給出合適的輸出。從函數(shù)擬合的觀點，這表明BP網(wǎng)絡具有插值計算的能力。沒有泛化能力的神經(jīng)網(wǎng)絡無任何使用價值。

當前34頁，總共51頁。34（3）BP網(wǎng)絡輸入、輸出之間的關聯(lián)信息分布地存儲在網(wǎng)絡的連接權中，個別神經(jīng)元的損壞只對輸入輸出關系有較小的影響，因而BP網(wǎng)絡具有較好的容錯性。當前35頁，總共51頁。35局限性：⑴目標函數(shù)存在多個極值點，按梯度下降法進行學習，很容易陷入局部極小值；⑵學習算法的收斂速度慢，且收斂速度與初始權的選擇有關，難以適應實時控制的要求；⑶難以確定隱層及其節(jié)點的數(shù)目。目前，確定具體的網(wǎng)絡結構尚無好方法，仍根據(jù)經(jīng)驗試湊。⑷訓練時學習新樣本有遺忘舊樣本的趨勢。針對上述問題，提出3種較常用的改進算法。當前36頁，總共51頁。361、引入動量項增加動量項從前一次權值調整量中取出一部分疊加到本次權值調整量中。動量項反映以前積累的調整經(jīng)驗，對t時刻調整起阻尼作用。減小學習過程的振蕩趨勢，是目前應用較廣泛的一種改進算法。

其中，，為k時刻的負梯度。

為學習率，

>0。

為動量項因子，。根據(jù)經(jīng)驗數(shù)據(jù)動量項因子取0.95比較適合。引入前：引入后：當前37頁，總共51頁。372、自適應調節(jié)學習率

設一初始學習率，若經(jīng)過一批次權值調整后使總誤差↑，則本次調整無效，且降低；若經(jīng)過一批次權值調整后使總誤差↓，則本次調整有效，且增大

。標準BP算法問題：學習率為一常數(shù)，很難確定一個從始到終都合適的最佳學習率。如誤差曲面平坦區(qū)太小會使訓練次數(shù)增加；而誤差變化劇烈的區(qū)域太大會使訓練出現(xiàn)振蕩。解決方法如下：當前38頁，總共51頁。383、引入陡度因子標準BP算法問題：

誤差曲面存在平坦區(qū)，其原因是神經(jīng)元輸出進入了轉移函數(shù)的飽和區(qū)。

解決思路：

壓縮神經(jīng)元凈輸入，使其輸出退出飽和區(qū)。當前39頁，總共51頁。39

實現(xiàn)這一思路的具體作法是，在原轉移函數(shù)中引入一個陡度因子λ

當發(fā)現(xiàn)ΔE接近零而目標與實際輸出仍較大時，可判斷已進入平坦區(qū)，此時令λ>1；退出平坦區(qū)后，再令λ=1。λ>1：轉移函數(shù)曲線敏感區(qū)變長；λ=1：轉移函數(shù)恢復原狀。當前40頁，總共51頁。404、誤差函數(shù)的改進

當前41頁，總共51頁。41(1)產(chǎn)生數(shù)據(jù)樣本集(2)確定網(wǎng)絡的類型和結構(3)訓練和測試

3.2.3神經(jīng)網(wǎng)絡的訓練當前42頁，總共51頁。42(1)產(chǎn)生數(shù)據(jù)樣本集

這里包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇以及數(shù)據(jù)的預處理。

首先要在大量的原始測量數(shù)據(jù)中確定出最主要的輸入模式。這就需要對原始數(shù)據(jù)進行統(tǒng)計分析，檢驗它們之間的相關性。找出其中最主要的量作為輸入。

當前43頁，總共51頁。43

在確定了最重要的輸入量后，需進行尺度變換和預處理。尺度變換常常將它們變換到

[-1,1]或[0,1]的范圍。在進行尺度變換前必須先檢查是否存在異常點（或稱野點），這些點必須剔除。對于一個復雜問題應該選擇多少數(shù)據(jù)，這也是一個很關鍵的問題。系統(tǒng)的輸入輸出關系就包含在這些數(shù)據(jù)樣本中。所以一般說來，取的數(shù)據(jù)越多，學習和訓練的結果便越能正確反映輸入輸出關系。當前44頁，總共51頁。44

但是選太多的數(shù)據(jù)將增加收集、分析數(shù)據(jù)以及網(wǎng)絡訓練的所付的代價。選太少的數(shù)據(jù)則可能得不到正確的結果。事實上數(shù)據(jù)的多少取決于許多因素，如網(wǎng)絡的大小、網(wǎng)絡測試的需要以及輸入輸出的分布等。其中網(wǎng)絡大小最關鍵。通常較大的網(wǎng)絡需要較多的訓練數(shù)據(jù)。一個經(jīng)驗規(guī)則是：訓練模式應是連接權總數(shù)的5至10倍。當前45頁，總共51頁。45

在神經(jīng)網(wǎng)絡訓練完成后，需要有另外的測試數(shù)據(jù)來對網(wǎng)絡加以檢驗，測試數(shù)據(jù)應是獨立的數(shù)據(jù)集合。

最簡單的方法是：將收集到的可用數(shù)據(jù)隨機地分成兩部分，譬如說其中三分之二用于網(wǎng)絡的訓練，另外三分之一用于將來的測試，隨機選取的目的是為了盡量減小這兩部分數(shù)據(jù)的相關性。

影響數(shù)據(jù)大小的另一個因素是輸入模式和輸出結果的分布，對數(shù)據(jù)預先加以分類可以減少所需的數(shù)據(jù)量。相反，數(shù)據(jù)稀薄不勻甚至互相覆蓋則勢必要增加數(shù)據(jù)量。當前46頁，總共51頁。46(2)確定網(wǎng)絡的類型和結構

在訓練神經(jīng)網(wǎng)絡之前，首先要確定所選的網(wǎng)絡類型。若主要用于模式