第三章 前饋神經(jīng)網(wǎng)絡(luò)課件_第1頁(yè)
第三章 前饋神經(jīng)網(wǎng)絡(luò)課件_第2頁(yè)
第三章 前饋神經(jīng)網(wǎng)絡(luò)課件_第3頁(yè)
第三章 前饋神經(jīng)網(wǎng)絡(luò)課件_第4頁(yè)
第三章 前饋神經(jīng)網(wǎng)絡(luò)課件_第5頁(yè)
已閱讀5頁(yè),還剩90頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

第三章前饋神經(jīng)網(wǎng)絡(luò)本章主要介紹最常用的兩種前饋網(wǎng)絡(luò):BP(BackPropagation)神經(jīng)網(wǎng)絡(luò)和徑向基函數(shù)神經(jīng)網(wǎng)絡(luò),以及它的前身感知器、自適應(yīng)線性單元。第三章前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)中的一種典型的分層結(jié)構(gòu),信息從輸入層進(jìn)入網(wǎng)絡(luò)后逐層向前傳遞至輸出層。根據(jù)前饋網(wǎng)絡(luò)中神經(jīng)元轉(zhuǎn)移函數(shù)、隱層數(shù)以及權(quán)值調(diào)整規(guī)則的不同,可以形成具有各種功能特點(diǎn)的神經(jīng)網(wǎng)絡(luò)。2第三章前饋神經(jīng)網(wǎng)絡(luò)§3.1感知器§3.2

自適應(yīng)線性單元§3.3BP網(wǎng)絡(luò)§3.4BP網(wǎng)絡(luò)變通結(jié)構(gòu)§3.5BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)§3.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)§3.7BP網(wǎng)絡(luò)應(yīng)用與設(shè)計(jì)實(shí)例§3.8小結(jié)3第三章前饋神經(jīng)網(wǎng)絡(luò)1958年,美國(guó)心理學(xué)家FrankRosenblatt提出一種具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò),即感知器。感知器是模擬人的視覺接受環(huán)境信息,并由神經(jīng)沖動(dòng)進(jìn)行信息傳遞。感知器研究中首次提出了自組織、自學(xué)習(xí)的思想,而且對(duì)說(shuō)解決的問題存在著收斂算法,并能從數(shù)學(xué)上嚴(yán)格證明,因而對(duì)神經(jīng)網(wǎng)絡(luò)的研究起了非常重要的推動(dòng)作用。單層感知器的結(jié)構(gòu)和功能都很簡(jiǎn)單,以至于在解決實(shí)際問題是很少采用,但由于它在神經(jīng)網(wǎng)絡(luò)研究中具有重要意義,是研究其他網(wǎng)絡(luò)的基礎(chǔ),而且較易學(xué)習(xí)和理解,適合于作為神經(jīng)網(wǎng)絡(luò)的起點(diǎn)?!?.1感知器4第三章前饋神經(jīng)網(wǎng)絡(luò)3.1.1感知器模型j=1,2,…,m

5第三章前饋神經(jīng)網(wǎng)絡(luò)凈輸入:輸出:3.1.1感知器模型6第三章前饋神經(jīng)網(wǎng)絡(luò)(1)設(shè)輸入向量X=(x1,x2)T輸出:則由方程

wijx1+w2jx2-Tj=0

確定了二維平面上的一條分界線。ojx1-1x23.1.2感知器的功能7第三章前饋神經(jīng)網(wǎng)絡(luò)感知器的功能(二維)8第三章前饋神經(jīng)網(wǎng)絡(luò)wijx1+w2jx2–Tj=0 wijx1=Tj-w2jx2 x1=(Tj-w2jx2)/wij

=-(w2j/wij)x2+Tj/wij=a

x2+c

9第三章前饋神經(jīng)網(wǎng)絡(luò)設(shè)輸入向量X=(x1,x2,x3)T輸出:則由方程

wijx1+w2jx2+w3j

–Tj=0確定了三維空間上的一個(gè)分界平面。

x2ojx1x3-110第三章前饋神經(jīng)網(wǎng)絡(luò)wijx1+w2jx2

+w3j

x3–Tj=0

x1=a

x2+b

x3+c

是什么?11第三章前饋神經(jīng)網(wǎng)絡(luò)設(shè)輸入向量X=(x1,x2,…,xn)T則由方程

wijx1+w2jx2+…+wnj

–Tj=0確定了n維空間上的一個(gè)分界平面。

輸出:wijx1+w2jx2+…+wnj

–Tj=012第三章前饋神經(jīng)網(wǎng)絡(luò)

一個(gè)最簡(jiǎn)單的單計(jì)算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識(shí)存儲(chǔ)于感知器的權(quán)向量(包含了閾值)中,由權(quán)向量確定的分類判決界面將輸入模式分為兩類。3.1.2感知器的功能13第三章前饋神經(jīng)網(wǎng)絡(luò)例用感知器實(shí)現(xiàn)邏輯“與”功能x1 x2 y0 0 00 1 01 0 01 1

1邏輯“與”真值表14第三章前饋神經(jīng)網(wǎng)絡(luò)例一用感知器實(shí)現(xiàn)邏輯“與”功能感知器結(jié)構(gòu)w1x1+w2x2

-T=0

0.5x1+0.5x2-0.75=015第三章前饋神經(jīng)網(wǎng)絡(luò)例用感知器實(shí)現(xiàn)邏輯“或”功能x1 x2 y0 0 00 1 11 0 11 1 1邏輯“或”真值表16第三章前饋神經(jīng)網(wǎng)絡(luò)用感知器實(shí)現(xiàn)邏輯“或”功能感知器結(jié)構(gòu)w1x1+w2x2-T=0

x1+x2-0.5=017第三章前饋神經(jīng)網(wǎng)絡(luò)問題:能否用感知器實(shí)現(xiàn)“異或”功能?“異或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 018第三章前饋神經(jīng)網(wǎng)絡(luò)關(guān)鍵問題就是求19第三章前饋神經(jīng)網(wǎng)絡(luò)3.1.3感知器的學(xué)習(xí)Perceptron(感知器)學(xué)習(xí)規(guī)則式中,當(dāng)實(shí)際輸出與期望值相同時(shí),權(quán)值不需要調(diào)整。感知器學(xué)習(xí)規(guī)則代表一種有導(dǎo)師學(xué)習(xí)。20第三章前饋神經(jīng)網(wǎng)絡(luò)感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟:(1)對(duì)各權(quán)值w0j(0),w1j(0),┄,wnj(0),j=1,2,…,m

(m為計(jì)算層的節(jié)點(diǎn)數(shù))賦予較小的非零隨機(jī)數(shù);(2)輸入樣本對(duì){Xp,dp},其中Xp=(-1,x1p,x2p,…,xnp),

dp為期望的輸出向量(教師信號(hào)),上標(biāo)p代表樣本對(duì)的模式序號(hào),設(shè)樣本集中的樣本總數(shù)為P,則p=1,2,…,P;3.1.3感知器的學(xué)習(xí)21第三章前饋神經(jīng)網(wǎng)絡(luò)(3)計(jì)算各節(jié)點(diǎn)的實(shí)際輸出ojp(t)=sgn[WjT(t)Xp],j=1,2,...,m;(4)調(diào)整各節(jié)點(diǎn)對(duì)應(yīng)的權(quán)值,Wj(t+1)=Wj(t)+η[djp-ojp(t)]Xp,

j=1,2,…,m,

其中為學(xué)習(xí)率,用于控制調(diào)整速度,太大會(huì)影響訓(xùn)練的穩(wěn)定性,太小則使訓(xùn)練的收斂速度變慢,一般取0<η≤1;(5)返回到步驟(2)輸入下一對(duì)樣本,周而復(fù)始直到對(duì)所有樣本,感知器的實(shí)際輸出與期望輸出相等。3.1.3感知器的學(xué)習(xí)22第三章前饋神經(jīng)網(wǎng)絡(luò)感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟:(1)權(quán)值初始化(2)輸入樣本對(duì)(3)計(jì)算輸出(4)根據(jù)感知器學(xué)習(xí)規(guī)則調(diào)整權(quán)值(5)返回到步驟(2)輸入下一對(duì)樣本,周而復(fù)始直到對(duì)所有樣本,感知器的實(shí)際輸出與期望輸出相等。23第三章前饋神經(jīng)網(wǎng)絡(luò)例單計(jì)算節(jié)點(diǎn)感知器,3個(gè)輸入。給定3對(duì)訓(xùn)練樣本對(duì)如下:X1=(-1,1,-2,0)T

d1=

1 X2=(-1,0,1.5,-0.5)T

d2=

1X3=(-1,-1,1,0.5)T

d3=1

設(shè)初始權(quán)向量W(0)=(0.5,1,-1,0)T,η=0.1。注意,輸入向量中第一個(gè)分量x0恒等于-1,權(quán)向量中第一個(gè)分量為閾值,試根據(jù)以上學(xué)習(xí)規(guī)則訓(xùn)練該感知器。3.1.3感知器的學(xué)習(xí)24第三章前饋神經(jīng)網(wǎng)絡(luò)解:第一步輸入X1,得

WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5

o1(0)=sgn(2.5)=1

W(1)=W(0)+η[d1-o1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T3.1.3感知器的學(xué)習(xí)25第三章前饋神經(jīng)網(wǎng)絡(luò)第二步輸入X2,得

WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6

o2(1)=sgn(-1.6)=-1

W(2)=W(1)+η[d2-o2(1)]X2=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T=(0.7,0.8,-0.6,0)T由于d2=o2(1),所以W(2)=W(1)。3.1.3感知器的學(xué)習(xí)26第三章前饋神經(jīng)網(wǎng)絡(luò)第三步輸入X3,得

WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1

O3(2)=sgn(-2.1)=-1W(3)=W(2)+η[d3-o3(2)]X3=(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T=(0.5,0.6,-0.4,0.1)T第四步返回到第一步,繼續(xù)訓(xùn)練直到dp-op=0,p=1,2,3。3.1.3感知器的學(xué)習(xí)27第三章前饋神經(jīng)網(wǎng)絡(luò)3.1.4單層感知器的局限性問題:能否用感知器解決如下問題?28第三章前饋神經(jīng)網(wǎng)絡(luò)3.1.4單層感知器的局限性無(wú)法解決“異或”問題只能解決線性可分問題“異或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 029第三章前饋神經(jīng)網(wǎng)絡(luò)雙層感知器“異或”問題分類例四用兩計(jì)算層感知器解決“異或”問題?!爱惢颉钡恼嬷当韝1

x2 y1

y2

o00 11001 10 110 01 111 1103.1.5多層感知器30第三章前饋神經(jīng)網(wǎng)絡(luò)給出具有一個(gè)具有單隱層的感知器,其中隱層的兩個(gè)節(jié)點(diǎn)相當(dāng)于兩個(gè)獨(dú)立的符號(hào)單元(但計(jì)算節(jié)點(diǎn)感知器)。這兩個(gè)符號(hào)單元可分別在由x1、x2構(gòu)成的平面上確定兩條分界直線S1和S2,從而構(gòu)成一個(gè)開放式凸域。顯然通過(guò)適當(dāng)調(diào)整兩條直線的位置,可使兩類線性不可分樣本分別位于該開放式凸域內(nèi)部和外部。此時(shí)對(duì)于隱節(jié)點(diǎn)1來(lái)說(shuō),直線S1下面的樣本使其輸出y1=1,而直線上面的樣本使其輸出為y2=1,而直線下面的樣本使其輸出為y2=0。當(dāng)輸入樣本為o類時(shí),其位置位于開放式凸域外部,即或者同時(shí)同時(shí)處在兩直線S1、S2上方,使y1=0,y2=1;或者同時(shí)處在兩直線S1、S2下方,使y1=1,y2=0。輸出層節(jié)點(diǎn)一隱層兩節(jié)點(diǎn)的輸出y1、y2作為輸入,其結(jié)構(gòu)也相當(dāng)于一個(gè)符號(hào)單元。如果經(jīng)過(guò)訓(xùn)練,使其具有邏輯“與非”功能,則疑惑問題即可得到解決。根據(jù)“與非”邏輯,當(dāng)隱節(jié)點(diǎn)輸出為y1=1,y2=1時(shí),該節(jié)點(diǎn)輸出為o=0,當(dāng)隱節(jié)點(diǎn)輸出為y1=1,y2=0時(shí),或y1=0,y2=1時(shí),該節(jié)點(diǎn)輸出o=1。可以看出單隱層感知器確實(shí)可以解決異或問題,因此具有解決線性不可分問題的能力。

31第三章前饋神經(jīng)網(wǎng)絡(luò)多層感知器的提出單計(jì)算層感知器的局限性只能解決線性可分問題,而大量的分類問題是線性不可分的。解決的有效辦法在輸入層與輸出層之間引入隱層作為輸入模式的“內(nèi)部表示”,將單計(jì)算層感知器變成多(計(jì)算)層感知器。采用非線性連續(xù)函數(shù)作為轉(zhuǎn)移函數(shù),使區(qū)域邊界線的基本線素由直線變成曲線,從而使整個(gè)邊界線變成連續(xù)光滑的曲線。32第三章前饋神經(jīng)網(wǎng)絡(luò)3.1.5多層感知器33第三章前饋神經(jīng)網(wǎng)絡(luò)⊿Wj(t)=

[dj-oj

(t)]X3.1.5多層感知器具有不同隱層數(shù)的感知器的分類能力對(duì)比

返回34第三章前饋神經(jīng)網(wǎng)絡(luò)§3.2自適應(yīng)線性單元1962年美國(guó)斯坦福大學(xué)教授Widrow提出一種自適應(yīng)可調(diào)的神經(jīng)網(wǎng)絡(luò),其基本構(gòu)成單元稱為自適應(yīng)線性單元。這種自適應(yīng)可調(diào)的神經(jīng)網(wǎng)絡(luò)主要適用于信號(hào)處理中的自適應(yīng)濾波、預(yù)測(cè)和模式識(shí)別。

返回35第三章前饋神經(jīng)網(wǎng)絡(luò)§3.3BP網(wǎng)絡(luò)

誤差反向傳播神經(jīng)網(wǎng)絡(luò),簡(jiǎn)稱BP(BackPropagation)網(wǎng)絡(luò),是一種單向傳播的多層前向網(wǎng)絡(luò)。在模式識(shí)別、圖像處理、系統(tǒng)辨識(shí)、函數(shù)擬合、優(yōu)化計(jì)算、最優(yōu)預(yù)測(cè)和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。BP網(wǎng)絡(luò)的示意圖36第三章前饋神經(jīng)網(wǎng)絡(luò)誤差反向傳播算法簡(jiǎn)稱BP算法,其基本思想是最小二乘法。它采用梯度搜索技術(shù),以期使網(wǎng)絡(luò)的實(shí)際輸出值與期望輸出值的誤差均方值為最小。BP算法的學(xué)習(xí)過(guò)程由正向傳播和反向傳播組成。在正向傳播過(guò)程中,輸入信息從輸入層經(jīng)隱含層逐層處理,并傳向輸出層,每層神經(jīng)元(節(jié)點(diǎn))的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望輸出,則轉(zhuǎn)入反向傳播,將誤差信號(hào)沿原來(lái)的連接通路返回,通過(guò)修改各層神經(jīng)元的權(quán)值,使誤差信號(hào)最小。37第三章前饋神經(jīng)網(wǎng)絡(luò)基于BP算法的多層前饋網(wǎng)絡(luò)模型誤差反傳(BP)算法38第三章前饋神經(jīng)網(wǎng)絡(luò)模型的數(shù)學(xué)表達(dá)輸入向量:

X=(x1,x2,…,xi,…,xn)T隱層輸出向量:

Y=(y1,y2,…,yj,…,ym)T輸出層輸出向量:

O=(o1,o2,…,ok,…,ol)T期望輸出向量:d=(d1,d2,…,dk,…,dl)T輸入層到隱層之間的權(quán)值矩陣:V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間的權(quán)值矩陣:W=(W1,W2,…,Wk,…,Wl)各個(gè)變量之間如何建立聯(lián)系,來(lái)描述整個(gè)網(wǎng)絡(luò)?39第三章前饋神經(jīng)網(wǎng)絡(luò)對(duì)于輸出層:k=1,2,…,l(3.1)k=1,2,…,l(3.2)對(duì)于隱層:j=1,2,…,m(3.3)j=1,2,…,m

(3.4)BP學(xué)習(xí)算法40第三章前饋神經(jīng)網(wǎng)絡(luò)雙極性Sigmoid函數(shù):?jiǎn)螛O性Sigmoid函數(shù):(3.5)BP學(xué)習(xí)算法41第三章前饋神經(jīng)網(wǎng)絡(luò)輸出誤差E定義:(3.6)將以上誤差定義式展開至隱層:(3.7)BP學(xué)習(xí)算法42第三章前饋神經(jīng)網(wǎng)絡(luò)進(jìn)一步展開至輸入層:(3.8)BP學(xué)習(xí)算法43第三章前饋神經(jīng)網(wǎng)絡(luò)j=0,1,2,…,m;k=1,2,…,l(3.9a)i=0,1,2,…,n;j=1,2,…,m(3.9b)式中負(fù)號(hào)表示梯度下降,常數(shù)η∈(0,1)表示比例系數(shù)。在全部推導(dǎo)過(guò)程中,對(duì)輸出層有j=0,1,2,…,m;k=1,2,…,l對(duì)隱層有i=0,1,2,…,n;j=1,2,…,mBP學(xué)習(xí)算法44第三章前饋神經(jīng)網(wǎng)絡(luò)對(duì)于輸出層,式(3.9a)可寫為(3.10a)對(duì)隱層,式(3.9b)可寫為(3.10b)對(duì)輸出層和隱層各定義一個(gè)誤差信號(hào),令

(3.11a)(3.11b)BP學(xué)習(xí)算法45第三章前饋神經(jīng)網(wǎng)絡(luò)綜合應(yīng)用式(3.2)和(3.11a),可將式

(3.10a)的權(quán)值調(diào)整式改寫為綜合應(yīng)用式(3.4)和(3.11b),可將式

(3.10b)的權(quán)值調(diào)整式改寫為(3.12a)(3.12b)可以看出,只要計(jì)算出式(3.12)中的誤差信號(hào)

o和y,權(quán)值調(diào)整量的計(jì)算推導(dǎo)即可完成。下面繼續(xù)推導(dǎo)如何求誤差信號(hào)

o和y

。46第三章前饋神經(jīng)網(wǎng)絡(luò)對(duì)于輸出層,

o可展開為對(duì)于隱層,

y可展開為下面求式(3.13)中網(wǎng)絡(luò)誤差對(duì)各層輸出的偏導(dǎo)。(3.13a)(3.13b)47第三章前饋神經(jīng)網(wǎng)絡(luò)對(duì)于輸出層,利用式(3.6):對(duì)于隱層,利用式(3.7):(3.14a)可得:(3.14b)可得:48第三章前饋神經(jīng)網(wǎng)絡(luò)將以上結(jié)果代入式(3.13),并應(yīng)用式(3.15)(3.15a)得到:(3.15b)至此兩個(gè)誤差信號(hào)的推導(dǎo)已完成。49第三章前饋神經(jīng)網(wǎng)絡(luò)將式(3.15)代回到式(3.12),得到三層前饋網(wǎng)的BP學(xué)習(xí)算法權(quán)值調(diào)整計(jì)算公式為:(3.16a)(3.16b)50第三章前饋神經(jīng)網(wǎng)絡(luò)51第三章前饋神經(jīng)網(wǎng)絡(luò)BP學(xué)習(xí)算法流程:

1)初始化置所有權(quán)值為最小的隨機(jī)數(shù);

2)提供訓(xùn)練集給定輸入向量和期望的目標(biāo)輸出向量;

3)計(jì)算實(shí)際輸出計(jì)算隱含層、輸出層各神經(jīng)元輸出;

4)計(jì)算目標(biāo)值與實(shí)際輸出的偏差;

5)計(jì)算局部梯度;

6)調(diào)整各層權(quán)重;

7)返回2)重復(fù)計(jì)算,直到誤差滿足要求為止。52第三章前饋神經(jīng)網(wǎng)絡(luò)53第三章前饋神經(jīng)網(wǎng)絡(luò)

在使用BP算法時(shí),應(yīng)注意的幾個(gè)問題是:學(xué)習(xí)開始時(shí),各隱層連接權(quán)系數(shù)的初值應(yīng)以設(shè)置較小的隨機(jī)數(shù)較為適宜。采用S型激發(fā)函數(shù)時(shí),由于輸出層各神經(jīng)元的輸出只能趨于1或0,不能達(dá)到1或0。在設(shè)置各訓(xùn)練樣本時(shí),期望的輸出分量不能設(shè)置為1或0,以設(shè)置為0.9或0.1較為適宜。在學(xué)習(xí)開始階段,選較大的值可以加快學(xué)習(xí)速率。學(xué)習(xí)接近優(yōu)化區(qū)時(shí),學(xué)習(xí)速率必須相當(dāng)小,否則權(quán)值將產(chǎn)生振蕩而不收斂。54第三章前饋神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)包含一個(gè)隱層,設(shè)輸入層與隱層的權(quán)值wjk,隱層與輸出層的權(quán)值wij初始值x1x2y000011101110BP網(wǎng)絡(luò)權(quán)值學(xué)習(xí)舉例樣本:輸入和期望輸出激發(fā)函數(shù)學(xué)習(xí)速率55第三章前饋神經(jīng)網(wǎng)絡(luò)迭代1次后的BP網(wǎng)絡(luò)x1x2y實(shí)際輸出誤差0000.50.50110.51010.51100.556第三章前饋神經(jīng)網(wǎng)絡(luò)迭代8000次后的BP網(wǎng)絡(luò)x1x2y實(shí)際輸出誤差0000.1190.1660010.7271010.7341100.41557第三章前饋神經(jīng)網(wǎng)絡(luò)迭代11050次后的BP網(wǎng)絡(luò)x1x2y實(shí)際輸出誤差0000.050.0080110.9411010.9411100.078

返回58第三章前饋神經(jīng)網(wǎng)絡(luò)標(biāo)準(zhǔn)連接(StandardConnection)

每個(gè)單元都與下一層的單元相連。一般三層網(wǎng)絡(luò)能夠解決大多數(shù)問題。如果需要選用一個(gè)以上的中間層,學(xué)習(xí)時(shí)間需要大大增加?!?.4BP網(wǎng)絡(luò)變通結(jié)構(gòu)59第三章前饋神經(jīng)網(wǎng)絡(luò)跳躍連接(JumpConnections)Recurrent網(wǎng)絡(luò)

返回60第三章前饋神經(jīng)網(wǎng)絡(luò)多層前饋網(wǎng)的主要能力(1)非線性映射能力

多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系,而無(wú)需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對(duì)供BP網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練,它便能完成由n維輸入空間到m維輸出空間的非線性映射。61第三章前饋神經(jīng)網(wǎng)絡(luò)多層前饋網(wǎng)的主要能力(2)泛化能力

當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見過(guò)的非樣本數(shù)據(jù)時(shí),網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網(wǎng)的泛化能力。(3)容錯(cuò)能力

輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)誤對(duì)網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。62第三章前饋神經(jīng)網(wǎng)絡(luò)誤差曲面與BP算法的局限性誤差函數(shù)的可調(diào)整參數(shù)的個(gè)數(shù)nw等于各層權(quán)值數(shù)加上閾值數(shù),即:誤差E是nw+1維空間中一個(gè)形狀極為復(fù)雜的曲面,該曲面上的每個(gè)點(diǎn)的“高度”對(duì)應(yīng)于一個(gè)誤差值,每個(gè)點(diǎn)的坐標(biāo)向量對(duì)應(yīng)著nw個(gè)權(quán)值,因此稱這樣的空間為誤差的權(quán)空間。63第三章前饋神經(jīng)網(wǎng)絡(luò)誤差曲面的分布--BP算法的局限性曲面的分布特點(diǎn)--------算法的局限性(1)存在平坦區(qū)域--------誤差下降緩慢,影響收斂速度(2)存在多個(gè)極小點(diǎn)------易陷入局部最小點(diǎn)64第三章前饋神經(jīng)網(wǎng)絡(luò)曲面分布特點(diǎn)1:存在平坦區(qū)域平坦--誤差的梯度變化?。咏诹?5第三章前饋神經(jīng)網(wǎng)絡(luò)曲面分布特點(diǎn)2:存在多個(gè)極小點(diǎn)

誤差梯度為零多數(shù)極小點(diǎn)都是局部極小,即使是全局極小往往也不是唯一的。單權(quán)值雙權(quán)值66第三章前饋神經(jīng)網(wǎng)絡(luò)曲面分布特點(diǎn)2:存在多個(gè)極小點(diǎn)BP算法---以誤差梯度下降為權(quán)值調(diào)整原則誤差曲面的這一特點(diǎn)---使之無(wú)法辨別極小點(diǎn)的性質(zhì)導(dǎo)致的結(jié)果:因而訓(xùn)練經(jīng)常陷入某個(gè)局部極小點(diǎn)而不能自拔,從而使訓(xùn)練無(wú)法收斂于給定誤差。67第三章前饋神經(jīng)網(wǎng)絡(luò)BP算法存在的問題BP網(wǎng)絡(luò)收斂太慢影響了該網(wǎng)絡(luò)在許多方面的實(shí)際應(yīng)用。為此,許多人對(duì)BP網(wǎng)絡(luò)的學(xué)習(xí)算法進(jìn)行了廣泛的研究,提出了許多改進(jìn)的算法。學(xué)習(xí)時(shí)間過(guò)長(zhǎng)泛化能力較低容易陷入局部最小而中斷學(xué)習(xí)過(guò)程中間層單元個(gè)數(shù)、網(wǎng)絡(luò)的大小如何確定(實(shí)際應(yīng)用多采用三層網(wǎng)絡(luò))68第三章前饋神經(jīng)網(wǎng)絡(luò)標(biāo)準(zhǔn)BP算法的改進(jìn)誤差曲面的形狀--固有的算法的作用是什么?調(diào)整權(quán)值,找到最優(yōu)點(diǎn)那么如何更好地調(diào)整權(quán)值?利用算法使得權(quán)值在更新的過(guò)程中,‘走’合適的路徑,比如跳出平坦區(qū)來(lái)提高收斂速度,跳出局部最小點(diǎn)等等如何操作?需要在進(jìn)入平坦區(qū)或局部最小點(diǎn)時(shí)進(jìn)行一些判斷,通過(guò)改變某些參數(shù)來(lái)使得權(quán)值的調(diào)整更為合理。69第三章前饋神經(jīng)網(wǎng)絡(luò)引入動(dòng)量項(xiàng)標(biāo)準(zhǔn)BP算法實(shí)質(zhì)上是一種簡(jiǎn)單的最速下降靜態(tài)尋優(yōu)算法,在修正w(t)時(shí),只按t時(shí)刻的負(fù)梯度方式進(jìn)行修正,而沒有考慮以前積累的經(jīng)驗(yàn),即以前時(shí)刻的梯度方向,從而常使學(xué)習(xí)過(guò)程發(fā)生振蕩,收斂緩慢。為此提出如下改進(jìn)算法:增加動(dòng)量項(xiàng)即從前一次權(quán)值調(diào)整量中提取出一部分迭代到本次權(quán)值調(diào)整量中。該方法所加入的動(dòng)量項(xiàng)實(shí)質(zhì)上相當(dāng)于阻尼項(xiàng),它減小了學(xué)習(xí)過(guò)程的振蕩趨勢(shì),改善了收斂性,這是目前應(yīng)用比較廣泛的種改進(jìn)算法。70第三章前饋神經(jīng)網(wǎng)絡(luò)變尺度法標(biāo)準(zhǔn)BP學(xué)習(xí)算法采用一階梯度法,因而收斂較慢。若采用二階梯度法,則改善收斂性。該算法為

其中

雖然二階梯度法具有比較好的收斂性,但需要計(jì)算E對(duì)w的二階導(dǎo)數(shù),計(jì)算量很大。一般不直接采用二階梯度法,而采用變尺度法或共軛梯度法,它們具有如二階梯度法收斂快的優(yōu)點(diǎn),而又無(wú)需直接計(jì)算二階梯度。71第三章前饋神經(jīng)網(wǎng)絡(luò)下面具體給出變尺度法的算法:72第三章前饋神經(jīng)網(wǎng)絡(luò)變步長(zhǎng)法

一階梯度法尋優(yōu)收斂較慢的一個(gè)重要原因是

η(學(xué)習(xí)率)不好選擇。η選的太小,收斂太慢,若η選的太大,則有可能修正過(guò)頭,導(dǎo)致振蕩甚至發(fā)散。下面給出的變步長(zhǎng)法即是針對(duì)這個(gè)問題而提出的。這里w表示某個(gè)連接權(quán)系數(shù)。73第三章前饋神經(jīng)網(wǎng)絡(luò)

上面的算法說(shuō)明,當(dāng)連續(xù)兩次迭代其梯度方法相同時(shí),表明下降太慢,這時(shí)可使步長(zhǎng)加倍;當(dāng)連續(xù)兩次迭代其梯度方向相反時(shí),表明下降過(guò)頭,這時(shí)可使步長(zhǎng)減半。當(dāng)需要引入動(dòng)量項(xiàng)時(shí),上述算法的第二項(xiàng)可修改為

在使用該算法時(shí),由于步長(zhǎng)在迭代過(guò)程中自適應(yīng)調(diào)整,因此對(duì)于不同的連接權(quán)系數(shù)實(shí)際采用了不同的學(xué)習(xí)率,也就是說(shuō)誤差代價(jià)函數(shù)E在超曲面上在不同地方按照各自比較合理的步長(zhǎng)向極小點(diǎn)逼近。

返回74第三章前饋神經(jīng)網(wǎng)絡(luò)一、訓(xùn)練樣本集的準(zhǔn)備1.輸入輸出量的選擇2.輸入量的提取與表示3.輸出量的表示二、輸入輸出數(shù)據(jù)的歸一化三、網(wǎng)絡(luò)訓(xùn)練與測(cè)試§3.6BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)75第三章前饋神經(jīng)網(wǎng)絡(luò)1.輸出量的選擇

輸出量:代表系統(tǒng)要實(shí)現(xiàn)的功能目標(biāo)系統(tǒng)的性能指標(biāo)分類問題的類別歸屬非線性函數(shù)的函數(shù)值一、訓(xùn)練樣本集的準(zhǔn)備76第三章前饋神經(jīng)網(wǎng)絡(luò)2.輸入量的選擇輸入量選擇的兩條基本原則必須選擇那些對(duì)輸出影響大且能夠檢測(cè)或提取的變量各輸入變量之間互不相關(guān)或相關(guān)性很小77第三章前饋神經(jīng)網(wǎng)絡(luò)輸入輸出量的性質(zhì)從輸入、輸出量的性質(zhì)來(lái)看,可分為兩類:一類是數(shù)值變量,一類是語(yǔ)言變量。數(shù)值變量的值是數(shù)值確定的連續(xù)量或離散量。語(yǔ)言變量是用自然語(yǔ)言表示的概念,其“語(yǔ)言值”是用自然語(yǔ)言表示的事物的各種屬性。當(dāng)選用語(yǔ)言變量作為網(wǎng)絡(luò)的輸入或輸出變量時(shí),需將其語(yǔ)言值轉(zhuǎn)換為離散的數(shù)值量。78第三章前饋神經(jīng)網(wǎng)絡(luò)輸入量的提取與表示XC=(111100111)T

XI=(111100111)T

XT=(111100111)T(1)文字符號(hào)輸入79第三章前饋神經(jīng)網(wǎng)絡(luò)(2)曲線輸入p=1,2,…,P80第三章前饋神經(jīng)網(wǎng)絡(luò)(3)函數(shù)自變量輸入一般有幾個(gè)輸入量就設(shè)幾個(gè)分量,1個(gè)輸入分量對(duì)應(yīng)1個(gè)輸入層節(jié)點(diǎn)。(4)圖象輸入在這類應(yīng)用中,一般先根據(jù)識(shí)別的具體目的從圖象中提取一些有用的特征參數(shù),再根據(jù)這些參數(shù)對(duì)輸入的貢獻(xiàn)進(jìn)行篩選,這種特征提取屬于圖象處理的范疇。81第三章前饋神經(jīng)網(wǎng)絡(luò)3.輸出量的表示(1)“n中取1”表示法

“n中取1”是令輸出向量的分量數(shù)等于類別數(shù),輸入樣本被判為哪一類,對(duì)應(yīng)的輸出分量取1,其余n-1個(gè)分量全取0。例如,用0001、0010、0100和1000可分別表示優(yōu)、良、中、差4個(gè)類別。(2)“n-1”表示法

如果用n-1個(gè)全為0的輸出向量表示某個(gè)類別,則可以節(jié)省一個(gè)輸出節(jié)點(diǎn)。例如,用000、001、010和100也可表示優(yōu)、良、中、差4個(gè)類別。(3)數(shù)值表示法

對(duì)于漸進(jìn)式的分類,可以將語(yǔ)言值轉(zhuǎn)化為二值之間的數(shù)值表示。數(shù)值的選擇要注意保持由小到大的漸進(jìn)關(guān)系,并要根據(jù)實(shí)際意義拉開距離。82第三章前饋神經(jīng)網(wǎng)絡(luò)二、輸入輸出數(shù)據(jù)的歸一化歸一化也稱為或標(biāo)準(zhǔn)化,是指通過(guò)變換處理將網(wǎng)絡(luò)的輸入、輸出數(shù)據(jù)限制在[0,1]或[-1,1]區(qū)間內(nèi)。

進(jìn)行歸一化的主要原因:歸一化的方法:83第三章前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行歸一化的主要原因:網(wǎng)絡(luò)的各個(gè)輸入數(shù)據(jù)常常具有不同的物理意義和不同的量綱,歸一化給各輸入分量以同等重要的地位;BP網(wǎng)的神經(jīng)元均采用Sigmoid轉(zhuǎn)移函數(shù),變換后可防止因凈輸入的絕對(duì)值過(guò)大而使神經(jīng)元輸出飽和,繼而使權(quán)值調(diào)整進(jìn)入誤差曲面的平坦區(qū);Sigmoid轉(zhuǎn)移函數(shù)的輸出在0-1或-1-1之間。教師信號(hào)如不進(jìn)行歸一化處理,勢(shì)必使數(shù)值大的輸出分量絕對(duì)誤差大,數(shù)值小的輸出分量絕對(duì)誤差小。84第三章前饋神經(jīng)網(wǎng)絡(luò)歸一化的方法:將輸入輸出數(shù)據(jù)變換為[0,1]區(qū)間的值常用以下變換式其中,xI代表輸入或輸出數(shù)據(jù),xmin代表數(shù)據(jù)變化的最小值,xman代表數(shù)據(jù)的最大值。

將輸入輸出數(shù)據(jù)變換為[-1,1]區(qū)間的值

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論