第三章 前饋神經(jīng)網(wǎng)絡(luò)課件

第三章前饋神經(jīng)網(wǎng)絡(luò)本章主要介紹最常用的兩種前饋網(wǎng)絡(luò):BP(BackPropagation)神經(jīng)網(wǎng)絡(luò)和徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，以及它的前身感知器、自適應(yīng)線性單元。第三章前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)中的一種典型的分層結(jié)構(gòu)，信息從輸入層進(jìn)入網(wǎng)絡(luò)后逐層向前傳遞至輸出層。根據(jù)前饋網(wǎng)絡(luò)中神經(jīng)元轉(zhuǎn)移函數(shù)、隱層數(shù)以及權(quán)值調(diào)整規(guī)則的不同，可以形成具有各種功能特點(diǎn)的神經(jīng)網(wǎng)絡(luò)。2第三章前饋神經(jīng)網(wǎng)絡(luò)§3.1感知器§3.2

自適應(yīng)線性單元§3.3BP網(wǎng)絡(luò)§3.4BP網(wǎng)絡(luò)變通結(jié)構(gòu)§3.5BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)§3.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)§3.7BP網(wǎng)絡(luò)應(yīng)用與設(shè)計(jì)實(shí)例§3.8小結(jié)3第三章前饋神經(jīng)網(wǎng)絡(luò)1958年，美國(guó)心理學(xué)家FrankRosenblatt提出一種具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)，即感知器。感知器是模擬人的視覺接受環(huán)境信息，并由神經(jīng)沖動(dòng)進(jìn)行信息傳遞。感知器研究中首次提出了自組織、自學(xué)習(xí)的思想，而且對(duì)說(shuō)解決的問題存在著收斂算法，并能從數(shù)學(xué)上嚴(yán)格證明，因而對(duì)神經(jīng)網(wǎng)絡(luò)的研究起了非常重要的推動(dòng)作用。單層感知器的結(jié)構(gòu)和功能都很簡(jiǎn)單，以至于在解決實(shí)際問題是很少采用，但由于它在神經(jīng)網(wǎng)絡(luò)研究中具有重要意義，是研究其他網(wǎng)絡(luò)的基礎(chǔ)，而且較易學(xué)習(xí)和理解，適合于作為神經(jīng)網(wǎng)絡(luò)的起點(diǎn)?！?.1感知器4第三章前饋神經(jīng)網(wǎng)絡(luò)3.1.1感知器模型j=1,2,…,m

5第三章前饋神經(jīng)網(wǎng)絡(luò)凈輸入：輸出：3.1.1感知器模型6第三章前饋神經(jīng)網(wǎng)絡(luò)(1)設(shè)輸入向量X=(x1,x2)T輸出：則由方程

wijx1+w2jx2-Tj=0

確定了二維平面上的一條分界線。ojx1-1x23.1.2感知器的功能7第三章前饋神經(jīng)網(wǎng)絡(luò)感知器的功能（二維）8第三章前饋神經(jīng)網(wǎng)絡(luò)wijx1+w2jx2–Tj=0 wijx1=Tj-w2jx2 x1=(Tj-w2jx2)/wij

=-(w2j/wij)x2+Tj/wij=a

x2+c

9第三章前饋神經(jīng)網(wǎng)絡(luò)設(shè)輸入向量X=(x1,x2,x3)T輸出：則由方程

wijx1+w2jx2+w3j

–Tj=0確定了三維空間上的一個(gè)分界平面。

x2ojx1x3-110第三章前饋神經(jīng)網(wǎng)絡(luò)wijx1+w2jx2

+w3j

x3–Tj=0

x1=a

x2+b

x3+c

是什么？11第三章前饋神經(jīng)網(wǎng)絡(luò)設(shè)輸入向量X=(x1,x2,…,xn)T則由方程

wijx1+w2jx2+…+wnj

–Tj=0確定了n維空間上的一個(gè)分界平面。

輸出：wijx1+w2jx2+…+wnj

–Tj=012第三章前饋神經(jīng)網(wǎng)絡(luò)

一個(gè)最簡(jiǎn)單的單計(jì)算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識(shí)存儲(chǔ)于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。3.1.2感知器的功能13第三章前饋神經(jīng)網(wǎng)絡(luò)例用感知器實(shí)現(xiàn)邏輯“與”功能x1 x2 y0 0 00 1 01 0 01 1

1邏輯“與”真值表14第三章前饋神經(jīng)網(wǎng)絡(luò)例一用感知器實(shí)現(xiàn)邏輯“與”功能感知器結(jié)構(gòu)w1x1+w2x2

-T=0

0.5x1+0.5x2-0.75=015第三章前饋神經(jīng)網(wǎng)絡(luò)例用感知器實(shí)現(xiàn)邏輯“或”功能x1 x2 y0 0 00 1 11 0 11 1 1邏輯“或”真值表16第三章前饋神經(jīng)網(wǎng)絡(luò)用感知器實(shí)現(xiàn)邏輯“或”功能感知器結(jié)構(gòu)w1x1+w2x2-T=0

x1+x2-0.5=017第三章前饋神經(jīng)網(wǎng)絡(luò)問題：能否用感知器實(shí)現(xiàn)“異或”功能？“異或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 018第三章前饋神經(jīng)網(wǎng)絡(luò)關(guān)鍵問題就是求19第三章前饋神經(jīng)網(wǎng)絡(luò)3.1.3感知器的學(xué)習(xí)Perceptron(感知器)學(xué)習(xí)規(guī)則式中，當(dāng)實(shí)際輸出與期望值相同時(shí)，權(quán)值不需要調(diào)整。感知器學(xué)習(xí)規(guī)則代表一種有導(dǎo)師學(xué)習(xí)。20第三章前饋神經(jīng)網(wǎng)絡(luò)感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(1)對(duì)各權(quán)值w0j(0),w1j(0),┄,wnj(0)，j=1,2,…,m

（m為計(jì)算層的節(jié)點(diǎn)數(shù)）賦予較小的非零隨機(jī)數(shù)；(2)輸入樣本對(duì){Xp,dp}，其中Xp=(-1,x1p,x2p,…,xnp)，

dp為期望的輸出向量（教師信號(hào)），上標(biāo)p代表樣本對(duì)的模式序號(hào)，設(shè)樣本集中的樣本總數(shù)為P，則p=1,2,…,P；3.1.3感知器的學(xué)習(xí)21第三章前饋神經(jīng)網(wǎng)絡(luò)(3)計(jì)算各節(jié)點(diǎn)的實(shí)際輸出ojp(t)=sgn[WjT(t)Xp],j=1,2,...,m；(4)調(diào)整各節(jié)點(diǎn)對(duì)應(yīng)的權(quán)值，Wj(t+1)=Wj(t)+η[djp-ojp(t)]Xp,

j=1,2,…,m,

其中為學(xué)習(xí)率，用于控制調(diào)整速度，太大會(huì)影響訓(xùn)練的穩(wěn)定性，太小則使訓(xùn)練的收斂速度變慢，一般取0＜η≤1；(5)返回到步驟(2)輸入下一對(duì)樣本，周而復(fù)始直到對(duì)所有樣本，感知器的實(shí)際輸出與期望輸出相等。3.1.3感知器的學(xué)習(xí)22第三章前饋神經(jīng)網(wǎng)絡(luò)感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：（1）權(quán)值初始化（2）輸入樣本對(duì)（3）計(jì)算輸出（4）根據(jù)感知器學(xué)習(xí)規(guī)則調(diào)整權(quán)值（5）返回到步驟(2)輸入下一對(duì)樣本，周而復(fù)始直到對(duì)所有樣本，感知器的實(shí)際輸出與期望輸出相等。23第三章前饋神經(jīng)網(wǎng)絡(luò)例單計(jì)算節(jié)點(diǎn)感知器，3個(gè)輸入。給定3對(duì)訓(xùn)練樣本對(duì)如下：X1=(-1，1，-2，0)T

d1=

1 X2=(-1，0，1.5，-0.5)T

d2=

1X3=(-1，-1，1，0.5)T

d3=1

設(shè)初始權(quán)向量W(0)=(0.5,1,-1,0)T，η=0.1。注意，輸入向量中第一個(gè)分量x0恒等于-1，權(quán)向量中第一個(gè)分量為閾值，試根據(jù)以上學(xué)習(xí)規(guī)則訓(xùn)練該感知器。3.1.3感知器的學(xué)習(xí)24第三章前饋神經(jīng)網(wǎng)絡(luò)解：第一步輸入X1，得

WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5

o1(0)=sgn(2.5)=1

W(1)=W(0)+η[d1-o1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T3.1.3感知器的學(xué)習(xí)25第三章前饋神經(jīng)網(wǎng)絡(luò)第二步輸入X2，得

WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6

o2(1)=sgn(-1.6)=-1

W(2)=W(1)+η[d2-o2(1)]X2=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T=(0.7,0.8,-0.6,0)T由于d2=o2(1)，所以W(2)=W(1)。3.1.3感知器的學(xué)習(xí)26第三章前饋神經(jīng)網(wǎng)絡(luò)第三步輸入X3，得

WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1

O3(2)=sgn(-2.1)=-1W(3)=W(2)+η[d3-o3(2)]X3=(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T=(0.5,0.6,-0.4,0.1)T第四步返回到第一步，繼續(xù)訓(xùn)練直到dp-op=0，p=1,2,3。3.1.3感知器的學(xué)習(xí)27第三章前饋神經(jīng)網(wǎng)絡(luò)3.1.4單層感知器的局限性問題：能否用感知器解決如下問題？28第三章前饋神經(jīng)網(wǎng)絡(luò)3.1.4單層感知器的局限性無(wú)法解決“異或”問題只能解決線性可分問題“異或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 029第三章前饋神經(jīng)網(wǎng)絡(luò)雙層感知器“異或”問題分類例四用兩計(jì)算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1

x2 y1

y2

o00 11001 10 110 01 111 1103.1.5多層感知器30第三章前饋神經(jīng)網(wǎng)絡(luò)給出具有一個(gè)具有單隱層的感知器，其中隱層的兩個(gè)節(jié)點(diǎn)相當(dāng)于兩個(gè)獨(dú)立的符號(hào)單元（但計(jì)算節(jié)點(diǎn)感知器）。這兩個(gè)符號(hào)單元可分別在由x1、x2構(gòu)成的平面上確定兩條分界直線S1和S2，從而構(gòu)成一個(gè)開放式凸域。顯然通過(guò)適當(dāng)調(diào)整兩條直線的位置，可使兩類線性不可分樣本分別位于該開放式凸域內(nèi)部和外部。此時(shí)對(duì)于隱節(jié)點(diǎn)1來(lái)說(shuō)，直線S1下面的樣本使其輸出y1=1，而直線上面的樣本使其輸出為y2=1，而直線下面的樣本使其輸出為y2=0。當(dāng)輸入樣本為o類時(shí)，其位置位于開放式凸域外部，即或者同時(shí)同時(shí)處在兩直線S1、S2上方，使y1=0，y2=1；或者同時(shí)處在兩直線S1、S2下方，使y1=1，y2=0。輸出層節(jié)點(diǎn)一隱層兩節(jié)點(diǎn)的輸出y1、y2作為輸入，其結(jié)構(gòu)也相當(dāng)于一個(gè)符號(hào)單元。如果經(jīng)過(guò)訓(xùn)練，使其具有邏輯“與非”功能，則疑惑問題即可得到解決。根據(jù)“與非”邏輯，當(dāng)隱節(jié)點(diǎn)輸出為y1=1，y2=1時(shí)，該節(jié)點(diǎn)輸出為o=0，當(dāng)隱節(jié)點(diǎn)輸出為y1=1，y2=0時(shí)，或y1=0，y2=1時(shí)，該節(jié)點(diǎn)輸出o=1。可以看出單隱層感知器確實(shí)可以解決異或問題，因此具有解決線性不可分問題的能力。

31第三章前饋神經(jīng)網(wǎng)絡(luò)多層感知器的提出單計(jì)算層感知器的局限性只能解決線性可分問題，而大量的分類問題是線性不可分的。解決的有效辦法在輸入層與輸出層之間引入隱層作為輸入模式的“內(nèi)部表示”，將單計(jì)算層感知器變成多（計(jì)算）層感知器。采用非線性連續(xù)函數(shù)作為轉(zhuǎn)移函數(shù)，使區(qū)域邊界線的基本線素由直線變成曲線，從而使整個(gè)邊界線變成連續(xù)光滑的曲線。32第三章前饋神經(jīng)網(wǎng)絡(luò)3.1.5多層感知器33第三章前饋神經(jīng)網(wǎng)絡(luò)⊿Wj(t)=

[dj-oj

(t)]X3.1.5多層感知器具有不同隱層數(shù)的感知器的分類能力對(duì)比

返回34第三章前饋神經(jīng)網(wǎng)絡(luò)§3.2自適應(yīng)線性單元1962年美國(guó)斯坦福大學(xué)教授Widrow提出一種自適應(yīng)可調(diào)的神經(jīng)網(wǎng)絡(luò)，其基本構(gòu)成單元稱為自適應(yīng)線性單元。這種自適應(yīng)可調(diào)的神經(jīng)網(wǎng)絡(luò)主要適用于信號(hào)處理中的自適應(yīng)濾波、預(yù)測(cè)和模式識(shí)別。

返回35第三章前饋神經(jīng)網(wǎng)絡(luò)§3.3BP網(wǎng)絡(luò)

誤差反向傳播神經(jīng)網(wǎng)絡(luò)，簡(jiǎn)稱BP(BackPropagation)網(wǎng)絡(luò)，是一種單向傳播的多層前向網(wǎng)絡(luò)。在模式識(shí)別、圖像處理、系統(tǒng)辨識(shí)、函數(shù)擬合、優(yōu)化計(jì)算、最優(yōu)預(yù)測(cè)和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。BP網(wǎng)絡(luò)的示意圖36第三章前饋神經(jīng)網(wǎng)絡(luò)誤差反向傳播算法簡(jiǎn)稱BP算法，其基本思想是最小二乘法。它采用梯度搜索技術(shù)，以期使網(wǎng)絡(luò)的實(shí)際輸出值與期望輸出值的誤差均方值為最小。BP算法的學(xué)習(xí)過(guò)程由正向傳播和反向傳播組成。在正向傳播過(guò)程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每層神經(jīng)元（節(jié)點(diǎn)）的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望輸出，則轉(zhuǎn)入反向傳播，將誤差信號(hào)沿原來(lái)的連接通路返回，通過(guò)修改各層神經(jīng)元的權(quán)值，使誤差信號(hào)最小。37第三章前饋神經(jīng)網(wǎng)絡(luò)基于BP算法的多層前饋網(wǎng)絡(luò)模型誤差反傳（BP）算法38第三章前饋神經(jīng)網(wǎng)絡(luò)模型的數(shù)學(xué)表達(dá)輸入向量：

X=(x1,x2,…,xi,…,xn)T隱層輸出向量：

Y=(y1,y2,…,yj,…,ym)T輸出層輸出向量：

O=(o1,o2,…,ok,…,ol)T期望輸出向量：d=(d1,d2,…,dk,…,dl)T輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間的權(quán)值矩陣：W=(W1,W2,…,Wk,…,Wl)各個(gè)變量之間如何建立聯(lián)系，來(lái)描述整個(gè)網(wǎng)絡(luò)？39第三章前饋神經(jīng)網(wǎng)絡(luò)對(duì)于輸出層：k=1,2,…,l(3.1)k=1,2,…,l(3.2)對(duì)于隱層：j=1,2,…,m(3.3)j=1,2,…,m

(3.4)BP學(xué)習(xí)算法40第三章前饋神經(jīng)網(wǎng)絡(luò)雙極性Sigmoid函數(shù)：?jiǎn)螛O性Sigmoid函數(shù)：(3.5)BP學(xué)習(xí)算法41第三章前饋神經(jīng)網(wǎng)絡(luò)輸出誤差E定義：(3.6)將以上誤差定義式展開至隱層：(3.7)BP學(xué)習(xí)算法42第三章前饋神經(jīng)網(wǎng)絡(luò)進(jìn)一步展開至輸入層：(3.8)BP學(xué)習(xí)算法43第三章前饋神經(jīng)網(wǎng)絡(luò)j=0,1,2,…,m;k=1,2,…,l(3.9a)i=0,1,2,…,n;j=1,2,…,m(3.9b)式中負(fù)號(hào)表示梯度下降，常數(shù)η∈(0,1)表示比例系數(shù)。在全部推導(dǎo)過(guò)程中，對(duì)輸出層有j=0,1,2,…,m;k=1,2,…,l對(duì)隱層有i=0,1,2,…,n;j=1,2,…,mBP學(xué)習(xí)算法44第三章前饋神經(jīng)網(wǎng)絡(luò)對(duì)于輸出層，式(3.9a)可寫為(3.10a)對(duì)隱層，式(3.9b)可寫為(3.10b)對(duì)輸出層和隱層各定義一個(gè)誤差信號(hào)，令

(3.11a)(3.11b)BP學(xué)習(xí)算法45第三章前饋神經(jīng)網(wǎng)絡(luò)綜合應(yīng)用式(3.2)和(3.11a)，可將式

(3.10a)的權(quán)值調(diào)整式改寫為綜合應(yīng)用式(3.4)和(3.11b)，可將式

(3.10b)的權(quán)值調(diào)整式改寫為(3.12a)（3.12b)可以看出，只要計(jì)算出式(3.12)中的誤差信號(hào)

o和y，權(quán)值調(diào)整量的計(jì)算推導(dǎo)即可完成。下面繼續(xù)推導(dǎo)如何求誤差信號(hào)

o和y

。46第三章前饋神經(jīng)網(wǎng)絡(luò)對(duì)于輸出層，

o可展開為對(duì)于隱層，

y可展開為下面求式(3.13)中網(wǎng)絡(luò)誤差對(duì)各層輸出的偏導(dǎo)。(3.13a)（3.13b)47第三章前饋神經(jīng)網(wǎng)絡(luò)對(duì)于輸出層，利用式(3.6)：對(duì)于隱層，利用式(3.7)：（3.14a)可得：（3.14b)可得：48第三章前饋神經(jīng)網(wǎng)絡(luò)將以上結(jié)果代入式(3.13)，并應(yīng)用式(3.15)（3.15a)得到：（3.15b)至此兩個(gè)誤差信號(hào)的推導(dǎo)已完成。49第三章前饋神經(jīng)網(wǎng)絡(luò)將式(3.15)代回到式(3.12)，得到三層前饋網(wǎng)的BP學(xué)習(xí)算法權(quán)值調(diào)整計(jì)算公式為：(3.16a)(3.16b)50第三章前饋神經(jīng)網(wǎng)絡(luò)51第三章前饋神經(jīng)網(wǎng)絡(luò)BP學(xué)習(xí)算法流程：

1)初始化置所有權(quán)值為最小的隨機(jī)數(shù)；

2)提供訓(xùn)練集給定輸入向量和期望的目標(biāo)輸出向量；

3)計(jì)算實(shí)際輸出計(jì)算隱含層、輸出層各神經(jīng)元輸出；

4)計(jì)算目標(biāo)值與實(shí)際輸出的偏差；

5)計(jì)算局部梯度；

6)調(diào)整各層權(quán)重；

7)返回2)重復(fù)計(jì)算，直到誤差滿足要求為止。52第三章前饋神經(jīng)網(wǎng)絡(luò)53第三章前饋神經(jīng)網(wǎng)絡(luò)

在使用BP算法時(shí)，應(yīng)注意的幾個(gè)問題是：學(xué)習(xí)開始時(shí)，各隱層連接權(quán)系數(shù)的初值應(yīng)以設(shè)置較小的隨機(jī)數(shù)較為適宜。采用S型激發(fā)函數(shù)時(shí)，由于輸出層各神經(jīng)元的輸出只能趨于1或0，不能達(dá)到1或0。在設(shè)置各訓(xùn)練樣本時(shí)，期望的輸出分量不能設(shè)置為1或0，以設(shè)置為0.9或0.1較為適宜。在學(xué)習(xí)開始階段，選較大的值可以加快學(xué)習(xí)速率。學(xué)習(xí)接近優(yōu)化區(qū)時(shí)，學(xué)習(xí)速率必須相當(dāng)小，否則權(quán)值將產(chǎn)生振蕩而不收斂。54第三章前饋神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)包含一個(gè)隱層，設(shè)輸入層與隱層的權(quán)值wjk，隱層與輸出層的權(quán)值wij初始值x1x2y000011101110BP網(wǎng)絡(luò)權(quán)值學(xué)習(xí)舉例樣本：輸入和期望輸出激發(fā)函數(shù)學(xué)習(xí)速率55第三章前饋神經(jīng)網(wǎng)絡(luò)迭代1次后的BP網(wǎng)絡(luò)x1x2y實(shí)際輸出誤差0000.50.50110.51010.51100.556第三章前饋神經(jīng)網(wǎng)絡(luò)迭代8000次后的BP網(wǎng)絡(luò)x1x2y實(shí)際輸出誤差0000.1190.1660010.7271010.7341100.41557第三章前饋神經(jīng)網(wǎng)絡(luò)迭代11050次后的BP網(wǎng)絡(luò)x1x2y實(shí)際輸出誤差0000.050.0080110.9411010.9411100.078

返回58第三章前饋神經(jīng)網(wǎng)絡(luò)標(biāo)準(zhǔn)連接(StandardConnection)

每個(gè)單元都與下一層的單元相連。一般三層網(wǎng)絡(luò)能夠解決大多數(shù)問題。如果需要選用一個(gè)以上的中間層，學(xué)習(xí)時(shí)間需要大大增加?！?.4BP網(wǎng)絡(luò)變通結(jié)構(gòu)59第三章前饋神經(jīng)網(wǎng)絡(luò)跳躍連接（JumpConnections）Recurrent網(wǎng)絡(luò)

返回60第三章前饋神經(jīng)網(wǎng)絡(luò)多層前饋網(wǎng)的主要能力(1)非線性映射能力

多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無(wú)需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對(duì)供BP網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。61第三章前饋神經(jīng)網(wǎng)絡(luò)多層前饋網(wǎng)的主要能力(2)泛化能力

當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見過(guò)的非樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網(wǎng)的泛化能力。(3)容錯(cuò)能力

輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)誤對(duì)網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。62第三章前饋神經(jīng)網(wǎng)絡(luò)誤差曲面與BP算法的局限性誤差函數(shù)的可調(diào)整參數(shù)的個(gè)數(shù)nw等于各層權(quán)值數(shù)加上閾值數(shù)，即：誤差E是nw+1維空間中一個(gè)形狀極為復(fù)雜的曲面，該曲面上的每個(gè)點(diǎn)的“高度”對(duì)應(yīng)于一個(gè)誤差值，每個(gè)點(diǎn)的坐標(biāo)向量對(duì)應(yīng)著nw個(gè)權(quán)值，因此稱這樣的空間為誤差的權(quán)空間。63第三章前饋神經(jīng)網(wǎng)絡(luò)誤差曲面的分布－－BP算法的局限性曲面的分布特點(diǎn)--------算法的局限性(1)存在平坦區(qū)域--------誤差下降緩慢，影響收斂速度(2)存在多個(gè)極小點(diǎn)------易陷入局部最小點(diǎn)64第三章前饋神經(jīng)網(wǎng)絡(luò)曲面分布特點(diǎn)1：存在平坦區(qū)域平坦－－誤差的梯度變化?。咏诹?5第三章前饋神經(jīng)網(wǎng)絡(luò)曲面分布特點(diǎn)2：存在多個(gè)極小點(diǎn)

誤差梯度為零多數(shù)極小點(diǎn)都是局部極小，即使是全局極小往往也不是唯一的。單權(quán)值雙權(quán)值66第三章前饋神經(jīng)網(wǎng)絡(luò)曲面分布特點(diǎn)2：存在多個(gè)極小點(diǎn)BP算法－－－以誤差梯度下降為權(quán)值調(diào)整原則誤差曲面的這一特點(diǎn)－－－使之無(wú)法辨別極小點(diǎn)的性質(zhì)導(dǎo)致的結(jié)果：因而訓(xùn)練經(jīng)常陷入某個(gè)局部極小點(diǎn)而不能自拔，從而使訓(xùn)練無(wú)法收斂于給定誤差。67第三章前饋神經(jīng)網(wǎng)絡(luò)BP算法存在的問題BP網(wǎng)絡(luò)收斂太慢影響了該網(wǎng)絡(luò)在許多方面的實(shí)際應(yīng)用。為此，許多人對(duì)BP網(wǎng)絡(luò)的學(xué)習(xí)算法進(jìn)行了廣泛的研究，提出了許多改進(jìn)的算法。學(xué)習(xí)時(shí)間過(guò)長(zhǎng)泛化能力較低容易陷入局部最小而中斷學(xué)習(xí)過(guò)程中間層單元個(gè)數(shù)、網(wǎng)絡(luò)的大小如何確定（實(shí)際應(yīng)用多采用三層網(wǎng)絡(luò)）68第三章前饋神經(jīng)網(wǎng)絡(luò)標(biāo)準(zhǔn)BP算法的改進(jìn)誤差曲面的形狀－－固有的算法的作用是什么？調(diào)整權(quán)值，找到最優(yōu)點(diǎn)那么如何更好地調(diào)整權(quán)值？利用算法使得權(quán)值在更新的過(guò)程中，‘走’合適的路徑，比如跳出平坦區(qū)來(lái)提高收斂速度，跳出局部最小點(diǎn)等等如何操作？需要在進(jìn)入平坦區(qū)或局部最小點(diǎn)時(shí)進(jìn)行一些判斷，通過(guò)改變某些參數(shù)來(lái)使得權(quán)值的調(diào)整更為合理。69第三章前饋神經(jīng)網(wǎng)絡(luò)引入動(dòng)量項(xiàng)標(biāo)準(zhǔn)BP算法實(shí)質(zhì)上是一種簡(jiǎn)單的最速下降靜態(tài)尋優(yōu)算法，在修正w(t)時(shí)，只按t時(shí)刻的負(fù)梯度方式進(jìn)行修正，而沒有考慮以前積累的經(jīng)驗(yàn)，即以前時(shí)刻的梯度方向，從而常使學(xué)習(xí)過(guò)程發(fā)生振蕩，收斂緩慢。為此提出如下改進(jìn)算法：增加動(dòng)量項(xiàng)即從前一次權(quán)值調(diào)整量中提取出一部分迭代到本次權(quán)值調(diào)整量中。該方法所加入的動(dòng)量項(xiàng)實(shí)質(zhì)上相當(dāng)于阻尼項(xiàng)，它減小了學(xué)習(xí)過(guò)程的振蕩趨勢(shì)，改善了收斂性，這是目前應(yīng)用比較廣泛的種改進(jìn)算法。70第三章前饋神經(jīng)網(wǎng)絡(luò)變尺度法標(biāo)準(zhǔn)BP學(xué)習(xí)算法采用一階梯度法，因而收斂較慢。若采用二階梯度法，則改善收斂性。該算法為

其中

雖然二階梯度法具有比較好的收斂性，但需要計(jì)算E對(duì)w的二階導(dǎo)數(shù)，計(jì)算量很大。一般不直接采用二階梯度法，而采用變尺度法或共軛梯度法，它們具有如二階梯度法收斂快的優(yōu)點(diǎn)，而又無(wú)需直接計(jì)算二階梯度。71第三章前饋神經(jīng)網(wǎng)絡(luò)下面具體給出變尺度法的算法：72第三章前饋神經(jīng)網(wǎng)絡(luò)變步長(zhǎng)法

一階梯度法尋優(yōu)收斂較慢的一個(gè)重要原因是

η(學(xué)習(xí)率)不好選擇。η選的太小，收斂太慢，若η選的太大，則有可能修正過(guò)頭，導(dǎo)致振蕩甚至發(fā)散。下面給出的變步長(zhǎng)法即是針對(duì)這個(gè)問題而提出的。這里w表示某個(gè)連接權(quán)系數(shù)。73第三章前饋神經(jīng)網(wǎng)絡(luò)

上面的算法說(shuō)明，當(dāng)連續(xù)兩次迭代其梯度方法相同時(shí)，表明下降太慢，這時(shí)可使步長(zhǎng)加倍；當(dāng)連續(xù)兩次迭代其梯度方向相反時(shí)，表明下降過(guò)頭，這時(shí)可使步長(zhǎng)減半。當(dāng)需要引入動(dòng)量項(xiàng)時(shí)，上述算法的第二項(xiàng)可修改為

在使用該算法時(shí)，由于步長(zhǎng)在迭代過(guò)程中自適應(yīng)調(diào)整，因此對(duì)于不同的連接權(quán)系數(shù)實(shí)際采用了不同的學(xué)習(xí)率，也就是說(shuō)誤差代價(jià)函數(shù)E在超曲面上在不同地方按照各自比較合理的步長(zhǎng)向極小點(diǎn)逼近。

返回74第三章前饋神經(jīng)網(wǎng)絡(luò)一、訓(xùn)練樣本集的準(zhǔn)備1.輸入輸出量的選擇2.輸入量的提取與表示3.輸出量的表示二、輸入輸出數(shù)據(jù)的歸一化三、網(wǎng)絡(luò)訓(xùn)練與測(cè)試§3.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)75第三章前饋神經(jīng)網(wǎng)絡(luò)1.輸出量的選擇

輸出量:代表系統(tǒng)要實(shí)現(xiàn)的功能目標(biāo)系統(tǒng)的性能指標(biāo)分類問題的類別歸屬非線性函數(shù)的函數(shù)值一、訓(xùn)練樣本集的準(zhǔn)備76第三章前饋神經(jīng)網(wǎng)絡(luò)2.輸入量的選擇輸入量選擇的兩條基本原則必須選擇那些對(duì)輸出影響大且能夠檢測(cè)或提取的變量各輸入變量之間互不相關(guān)或相關(guān)性很小77第三章前饋神經(jīng)網(wǎng)絡(luò)輸入輸出量的性質(zhì)從輸入、輸出量的性質(zhì)來(lái)看，可分為兩類：一類是數(shù)值變量，一類是語(yǔ)言變量。數(shù)值變量的值是數(shù)值確定的連續(xù)量或離散量。語(yǔ)言變量是用自然語(yǔ)言表示的概念，其“語(yǔ)言值”是用自然語(yǔ)言表示的事物的各種屬性。當(dāng)選用語(yǔ)言變量作為網(wǎng)絡(luò)的輸入或輸出變量時(shí)，需將其語(yǔ)言值轉(zhuǎn)換為離散的數(shù)值量。78第三章前饋神經(jīng)網(wǎng)絡(luò)輸入量的提取與表示XC=(111100111)T

XI=(111100111)T

XT=(111100111)T(1)文字符號(hào)輸入79第三章前饋神經(jīng)網(wǎng)絡(luò)（2）曲線輸入p=1,2,…,P80第三章前饋神經(jīng)網(wǎng)絡(luò)(3)函數(shù)自變量輸入一般有幾個(gè)輸入量就設(shè)幾個(gè)分量，1個(gè)輸入分量對(duì)應(yīng)1個(gè)輸入層節(jié)點(diǎn)。(4)圖象輸入在這類應(yīng)用中，一般先根據(jù)識(shí)別的具體目的從圖象中提取一些有用的特征參數(shù)，再根據(jù)這些參數(shù)對(duì)輸入的貢獻(xiàn)進(jìn)行篩選，這種特征提取屬于圖象處理的范疇。81第三章前饋神經(jīng)網(wǎng)絡(luò)3.輸出量的表示(1)“n中取1”表示法

“n中取1”是令輸出向量的分量數(shù)等于類別數(shù)，輸入樣本被判為哪一類，對(duì)應(yīng)的輸出分量取1，其余n-1個(gè)分量全取0。例如，用0001、0010、0100和1000可分別表示優(yōu)、良、中、差4個(gè)類別。(2)“n-1”表示法

如果用n-1個(gè)全為0的輸出向量表示某個(gè)類別，則可以節(jié)省一個(gè)輸出節(jié)點(diǎn)。例如，用000、001、010和100也可表示優(yōu)、良、中、差4個(gè)類別。(3)數(shù)值表示法

對(duì)于漸進(jìn)式的分類，可以將語(yǔ)言值轉(zhuǎn)化為二值之間的數(shù)值表示。數(shù)值的選擇要注意保持由小到大的漸進(jìn)關(guān)系，并要根據(jù)實(shí)際意義拉開距離。82第三章前饋神經(jīng)網(wǎng)絡(luò)二、輸入輸出數(shù)據(jù)的歸一化歸一化也稱為或標(biāo)準(zhǔn)化，是指通過(guò)變換處理將網(wǎng)絡(luò)的輸入、輸出數(shù)據(jù)限制在[0，1]或[-1，1]區(qū)間內(nèi)。

進(jìn)行歸一化的主要原因：歸一化的方法：83第三章前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行歸一化的主要原因：網(wǎng)絡(luò)的各個(gè)輸入數(shù)據(jù)常常具有不同的物理意義和不同的量綱，歸一化給各輸入分量以同等重要的地位；BP網(wǎng)的神經(jīng)元均采用Sigmoid轉(zhuǎn)移函數(shù)，變換后可防止因凈輸入的絕對(duì)值過(guò)大而使神經(jīng)元輸出飽和，繼而使權(quán)值調(diào)整進(jìn)入誤差曲面的平坦區(qū)；Sigmoid轉(zhuǎn)移函數(shù)的輸出在0-1或-1-1之間。教師信號(hào)如不進(jìn)行歸一化處理，勢(shì)必使數(shù)值大的輸出分量絕對(duì)誤差大，數(shù)值小的輸出分量絕對(duì)誤差小。84第三章前饋神經(jīng)網(wǎng)絡(luò)歸一化的方法：將輸入輸出數(shù)據(jù)變換為[0，1]區(qū)間的值常用以下變換式其中，xI代表輸入或輸出數(shù)據(jù)，xmin代表數(shù)據(jù)變化的最小值，xman代表數(shù)據(jù)的最大值。

將輸入輸出數(shù)據(jù)變換為[-1，1]區(qū)間的值