人工智能與神經(jīng)網(wǎng)絡(luò)-前向網(wǎng)絡(luò)(1)課件

前饋網(wǎng)絡(luò)

本章主要內(nèi)容一：前向網(wǎng)絡(luò)簡(jiǎn)介二：具有硬限幅函數(shù)的單層網(wǎng)絡(luò)的分類功能（感知器）三：具有線性函數(shù)的單層網(wǎng)絡(luò)的分類功能四：前向多層網(wǎng)絡(luò)的分類功能五：BP網(wǎng)絡(luò)及BP算法以及BP網(wǎng)絡(luò)的應(yīng)用上一章內(nèi)容回顧模擬生物神經(jīng)網(wǎng)絡(luò)的ANN的這一數(shù)學(xué)方法問世以來,人們已慢慢習(xí)慣了把這種ANN直接稱為NN。NN在數(shù)學(xué)、優(yōu)化與運(yùn)籌學(xué)、計(jì)算機(jī)科學(xué)與智能理論、信號(hào)處理、控制科學(xué)、機(jī)器人、系統(tǒng)科學(xué)等領(lǐng)域吸引來了眾多的研究者,呈現(xiàn)勃勃生機(jī)。給這些學(xué)科中的一些困難問題,帶來了新的分析、求解的新思路和新方法。對(duì)控制科學(xué)領(lǐng)域，NN在系統(tǒng)辨識(shí)、模式識(shí)別、智能控制等領(lǐng)域有著廣泛而吸引人的前景。特別在智能控制中,人們對(duì)NN的自學(xué)習(xí)功能尤其感興趣,并且把NN這一重要特點(diǎn)看作是解決控制器適應(yīng)能力這個(gè)難題的關(guān)鍵鑰匙之一.上一章內(nèi)容回顧此外,在控制領(lǐng)域的研究課題中,不確定性系統(tǒng)的控制問題、非線性系統(tǒng)控制問題長(zhǎng)期以來都是控制理論研究的中心主題,但是這些問題一直沒有得到有效的解決。利用NN的學(xué)習(xí)能力,使它在對(duì)不確定性系統(tǒng)的控制過程中自動(dòng)學(xué)習(xí)系統(tǒng)的特性,從而適應(yīng)系統(tǒng)變化的環(huán)境和內(nèi)在特性,以達(dá)到對(duì)系統(tǒng)的最優(yōu)控制.利用NN的非線性逼近能力,將NN用于非線性系統(tǒng)控制問題中的模型表達(dá)、控制器設(shè)計(jì)、在線控制計(jì)算、自適應(yīng)控制等.顯然,NN對(duì)于控制科學(xué)領(lǐng)域是一種十分振奮人心的意向和方法。上一章內(nèi)容回顧NN的基礎(chǔ)在于神經(jīng)元.神經(jīng)元是以生物神經(jīng)系統(tǒng)的神經(jīng)細(xì)胞為基礎(chǔ)的生物模型.在人們對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究,以探討AI的機(jī)制時(shí),把神經(jīng)元數(shù)學(xué)化,從而產(chǎn)生了神經(jīng)元數(shù)學(xué)模型.大量的形式相同的神經(jīng)元連結(jié)在—起就組成了NN.雖然,單個(gè)神經(jīng)元的結(jié)構(gòu)和功能都不復(fù)雜,但是NN的動(dòng)態(tài)行為則是十分復(fù)雜的,是一個(gè)高度非線性動(dòng)力學(xué)系統(tǒng).因此,用NN可以表達(dá)實(shí)際物理世界的復(fù)雜現(xiàn)象.上一章內(nèi)容回顧NN模型是以神經(jīng)元的數(shù)學(xué)模型為基礎(chǔ)來描述的。NN模型由網(wǎng)絡(luò)拓?fù)?、?jié)點(diǎn)特點(diǎn)和學(xué)習(xí)規(guī)則來表示.NN對(duì)人們的巨大吸引力主要在下列幾點(diǎn):canbemassivelyparallel并行分布處理MIMD,opticalcomputing,analogsystemsfromalargecollectionofsimpleprocessingelementsemergesinterestingcomplexglobalbehaviorfaulttolerantoktohavefaultyelementsandbadconnectionsisn'tdependentonafixedsetofelementsandconnections上一章內(nèi)容回顧candocomplextasks能充分逼近復(fù)雜的非線性關(guān)系.patternrecognition(handwriting,facialexpressions,etc.)forecasting(stockprices,powergriddemand)adaptivecontrol(autonomousvehiclecontrol,robotcontrol)isarobustcomputationcanhandlenoisyandincompletedataduetofine-graineddistributedandcontinuousknowledgerepresentation2.1前向網(wǎng)絡(luò)簡(jiǎn)介1.前向網(wǎng)絡(luò)的結(jié)構(gòu)前向網(wǎng)絡(luò)主要分為單層網(wǎng)絡(luò)和多層網(wǎng)絡(luò)。多層網(wǎng)絡(luò)不能隔層傳遞，無反饋。2.輸出函數(shù)主要有：硬限幅函數(shù)1（.），sgn（.）線性函數(shù)非線性函數(shù)s（.），th（.）3.前向網(wǎng)絡(luò)的功能只能完成聯(lián)想和分類。前向網(wǎng)絡(luò)的本質(zhì)由輸入到輸出的靜態(tài)映射。4.學(xué)習(xí)算法：算法，LSM算法，BP算法（誤差反向傳遞算法）

2.2單層網(wǎng)絡(luò)分類功能（感知器）本節(jié)主要介紹單層網(wǎng)絡(luò)的結(jié)構(gòu)調(diào)整連接權(quán)和閾值的學(xué)習(xí)規(guī)則（算法）單層網(wǎng)絡(luò)的訓(xùn)練和設(shè)計(jì)單層網(wǎng)絡(luò)分類的局限性2.2單層網(wǎng)絡(luò)分類功能（感知器）一.感知器是由美國(guó)計(jì)算機(jī)科學(xué)家羅森布拉特（F.Roseblatt）于1957年提出的。單層感知器神經(jīng)元模型圖：圖2.1感知器神經(jīng)元模型

硬限幅函數(shù)2.2單層網(wǎng)絡(luò)分類功能（感知器）根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)，可以寫出第i個(gè)輸出神經(jīng)元(i＝1，2，…，s)的加權(quán)輸入和ni以及其輸出ai為：其中，為閾值，f[

]是階躍函數(shù)。線性可分概念設(shè)有二維輸入矢量，共有兩類，若可以用一條直線將其無誤的分開，稱為線性可分。F.Roseblatt已經(jīng)證明，如果兩類模式是線性可分的（指存在一個(gè)超平面將它們分開），則算法一定收斂。感知器特別適用于簡(jiǎn)單的模式分類問題，也可用于基于模式分類的學(xué)習(xí)控制中。本節(jié)中所說的感知器是指單層的感知器。多層網(wǎng)絡(luò)因?yàn)橐玫胶竺鎸⒁榻B的反向傳播法進(jìn)行權(quán)值修正，所以把它們均歸類為反向傳播網(wǎng)絡(luò)之中。

2.2單層網(wǎng)絡(luò)分類功能（感知器）感知器的最大作用就是可以對(duì)輸入的樣本分類,故它可作分類器，如感知器對(duì)輸入信號(hào)的分類如下：即當(dāng)感知器的輸出為1時(shí)，輸入樣本稱為A類；輸出為0時(shí)，輸入樣本稱為B類。2.2單層網(wǎng)絡(luò)分類功能（感知器）2.2單層網(wǎng)絡(luò)分類功能（感知器）一個(gè)簡(jiǎn)單的單神經(jīng)元（感知器）分類的例子。例：二維矢量，兩類如圖：L為分類線：區(qū)為區(qū)為設(shè)一個(gè)單神經(jīng)元硬限幅函數(shù)122.2單層網(wǎng)絡(luò)分類功能（感知器）二.感知器的學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則是用來計(jì)算新的權(quán)值矩陣W及新的偏差的算法。感知器利用其學(xué)習(xí)規(guī)則來調(diào)整網(wǎng)絡(luò)的權(quán)值，以便使該網(wǎng)絡(luò)對(duì)輸人矢量的響應(yīng)達(dá)到數(shù)值為0或1的目標(biāo)輸出。輸入矢量P，輸出矢量A，目標(biāo)矢量為T的感知器網(wǎng)絡(luò)，其學(xué)習(xí)規(guī)則為：（誤差學(xué)習(xí)算法）感知器的學(xué)習(xí)算法目的在于找尋恰當(dāng)?shù)臋?quán)系數(shù)w=(w1,w2,…,wn)，使系統(tǒng)對(duì)一個(gè)特定的樣本x=(x1,x2,…,xn)能產(chǎn)生期望值d。當(dāng)x分類為A類時(shí)，期望值d=1；x為B類時(shí)，d=-1。為了方便說明感知器學(xué)習(xí)算法，把閾值

并入權(quán)系數(shù)w中，同時(shí)，樣本x也相應(yīng)增加一個(gè)分量xn+1。故令：wn+1=-

,xn+1=1

則感知器的輸出可表示為：感知器的學(xué)習(xí)算法感知器學(xué)習(xí)算法步驟如下：步1.對(duì)權(quán)系數(shù)w置初值權(quán)系數(shù)w=(w1,…,wn,wn+1)的各個(gè)分量置一個(gè)較小的初始隨機(jī)值,并記為wl(0),…,wn(0),同時(shí)有wn+1(0)=-

。wi(t)為t時(shí)刻從第i個(gè)輸入上的權(quán)系數(shù)，i=1,2,…,n。wn+1(t)為t時(shí)刻時(shí)的閾值。步2.輸入一樣本x=(x1,x2,…,xn+1)以及它的期望輸出d期望輸出值d在樣本的類屬不同時(shí)取值不同。如果x是A類,則取d=1,如果x是B類,則取-1。期望輸出d也即是教師信號(hào)。感知器的學(xué)習(xí)算法步4.根據(jù)實(shí)際輸出求誤差ee(t)=d-y(t)

步5.用誤差e去修改權(quán)系數(shù)wi(t+1)=wi(t)+e(t)xii=1,2,…,n+1

其中

稱為權(quán)重變化率,0<

1。

的值不能太大.如果

取值太大則wi(t)的穩(wěn)定性差;

的值也不能太小,否則wi(t)的收斂速度太慢。感知器的學(xué)習(xí)算法步3.計(jì)算實(shí)際輸出值y當(dāng)實(shí)際輸出和期望值d相同時(shí)有:wi(t+1)=wi(t)步6.轉(zhuǎn)到第2步,一直執(zhí)行到一切樣本均穩(wěn)定為止.（算法的收斂性分析見后面的證明）感知器的學(xué)習(xí)算法從上面分析可知,感知器實(shí)質(zhì)是一個(gè)分類器,它的這種分類是和二值邏輯相應(yīng)的.因此,感知器可以用于實(shí)現(xiàn)邏輯函數(shù).下面對(duì)感知器實(shí)現(xiàn)邏輯函數(shù)的情況作一些介紹.例用感知器實(shí)現(xiàn)或邏輯函數(shù)OR,即x1

x2,的真值(真值表如右所示).x1x2x1

x2001101010111感知器的學(xué)習(xí)算法即有

>0,w2,w1,w1+w2

以x1

x2=1為A類,以x1

x2=0為B類,則有方程組令w1=1,w2=1,則有1.取=0.5,則有分類判別曲線x1+x2-0.5=0,分類情況如圖2.2a所示,實(shí)現(xiàn)的NN如圖2.2b.感知器的學(xué)習(xí)算法x1x2圖2.2bOR函數(shù)的NN實(shí)現(xiàn)o(x1,x2)11-10.5感知器的學(xué)習(xí)算法類似地,對(duì)與邏輯函數(shù)AND(真值表如下所示),即x1

x2,也可設(shè)計(jì)如圖所示的分類面（分類函數(shù)）x1x2X1^x2001101010001感知器的學(xué)習(xí)算法x1x2圖2.3bAND函數(shù)的NN實(shí)現(xiàn)o(x1,x2)11-11.5感知器的學(xué)習(xí)算法但對(duì)異或邏輯函數(shù)XOR(真值表如下所示),則不可能利用單層感知器設(shè)計(jì)的線性分類面（線性分類函數(shù)）,如下圖所示。x1x2x1

x2001101010110?感知器的學(xué)習(xí)算法對(duì)此,只能設(shè)計(jì)多層感知器,如下圖所示的XOR函數(shù)的2層設(shè)計(jì)。x1x211-11.5x1x211-10.5圖2.4bXOR函數(shù)的2層NN實(shí)現(xiàn)o(x1,x2)1-1-10感知器的學(xué)習(xí)算法而其函數(shù)空間的分類面如下圖所示。感知器學(xué)習(xí)算法的收斂性定理：如果樣本輸入函數(shù)是線性可分的，那么感知器學(xué)習(xí)算法經(jīng)過有限次迭代后，可收斂到正確的權(quán)值或權(quán)向量?？勺C：在訓(xùn)練樣本Xk,k=1,2,…,N是線性可分時(shí)，采用上式的學(xué)習(xí)方法，在有限次迭代后，必能得到正確解。2.2單層網(wǎng)絡(luò)分類功能（感知器）為證明此定理,不失一般性,先對(duì)該分類問題做一些假設(shè)：

A1:

輸入樣本Xk,k=1,2,…,N全部歸一化，即

||Xk||=1；A2:

對(duì)最優(yōu)權(quán)向量W*,有||W*||=1.A3:

如果樣本可分，那么任意給定的一個(gè)輸入樣本

Xk

，要么屬于某一區(qū)域F＋，要么不屬于這一區(qū)域，記為F－，F(xiàn)＋和F－構(gòu)成了整個(gè)線性可分的樣本空間。在這里僅討論Xk∈F＋的情況。2.2單層網(wǎng)絡(luò)分類功能（感知器）證明：因?yàn)镹個(gè)樣本線性可分，所以存在單位權(quán)向量W*和一個(gè)較小的正數(shù)d>0，使得W*TXk≥d對(duì)所有的樣本輸入Xk都成立，任意權(quán)值向量W和最優(yōu)權(quán)值向量W*之間的余弦角cosα為

由學(xué)習(xí)律可得W(k+1)=W(k)+μX(k),μ是學(xué)習(xí)系數(shù)。

上式左乘W*可得W*WT(k+1)=W*[WT(k)+μXT(k)]≥W*WT(k)+μd從k=0迭代,可得W*WT(k)≥W*WT(0)+kμd

2.2單層網(wǎng)絡(luò)分類功能（感知器）選擇W(0)∈Xk

，滿足W*Xk

>0，此時(shí)有W*WT(k)≥kμd 在W(k)未達(dá)到W*時(shí)，W(k)XT(k)<0，所以

迭代可得：

所以,

由于余弦值S(k)≤1，當(dāng)W(k)=W*時(shí)，S(k)=1，于是我們求解得到這說明在μ和d選定后，可以在有限的次數(shù)k達(dá)到最優(yōu)加權(quán)W*。2.2單層網(wǎng)絡(luò)分類功能（感知器）三.感知器網(wǎng)絡(luò)的設(shè)計(jì)設(shè)輸入矢量連接權(quán)2.2單層網(wǎng)絡(luò)分類功能（感知器）感知器設(shè)計(jì)訓(xùn)練的步驟可總結(jié)如下：1)對(duì)于所要解決的問題，確定輸入矢量P，目標(biāo)矢量T，并由此確定各矢量的維數(shù)以及確定網(wǎng)絡(luò)結(jié)構(gòu)大小的神經(jīng)元數(shù)目；2)參數(shù)初始化：

a)賦給權(quán)矢量w在(－l，1)的隨機(jī)非零初始值；

b)給出最大訓(xùn)練循環(huán)次數(shù)max_epoch；3)網(wǎng)絡(luò)表達(dá)式：根據(jù)輸入矢量P以及最新權(quán)矢量W，計(jì)算網(wǎng)絡(luò)輸出矢量A；4)檢查：檢查輸出矢量A與目標(biāo)矢量T是否相同，如果是，或已達(dá)最大循環(huán)次數(shù)，訓(xùn)練結(jié)束，否則轉(zhuǎn)入5)；5)學(xué)習(xí)：根據(jù)感知器的學(xué)習(xí)規(guī)則調(diào)整權(quán)矢量，并返回3)。四.硬限幅函數(shù)單神經(jīng)元(感知器)分類特性：1）由于激活函數(shù)為閾值函數(shù)，輸出矢量只能取0，1，說明僅可以解決簡(jiǎn)單的分類問題，對(duì)于線性不可分或重疊時(shí)無法分類；但多層感知器網(wǎng)絡(luò)卻具有復(fù)雜的非線性分類能力,是一類非常有效的分類器。2.2單層網(wǎng)絡(luò)分類功能（感知器）2）輸入矢量線性可分時(shí)，學(xué)習(xí)在有限次數(shù)內(nèi)收斂；3）輸入矢量的奇異性導(dǎo)致較慢的收斂。比如當(dāng)輸入/輸出矢量分別為：

P=[-0.5–0.5+0.3–0.1–80-0.5+0.5–0.5+1.0100];T=[11001];時(shí)，必然導(dǎo)致訓(xùn)練的困難；4）異或問題不可解。(matlab演示線性不可分例demop6.m）5）感知器網(wǎng)絡(luò)在NN的研究中有著重要意義和地位，其學(xué)習(xí)算法的自組織、自適應(yīng)思想，是NN學(xué)習(xí)算法的基礎(chǔ)。2.2單層網(wǎng)絡(luò)分類功能（感知器）2.3具有線性函數(shù)的單層網(wǎng)絡(luò)的分類功能它與感知器的主要不同之處在于其神經(jīng)元的激活函數(shù)是線性函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1。它采用的是W—H學(xué)習(xí)法則，也稱最小均方差(LMS)規(guī)則對(duì)權(quán)值進(jìn)行訓(xùn)練自適應(yīng)線性元件的主要用途是線性逼近一個(gè)函數(shù)式而進(jìn)行模式聯(lián)想。2.3.1線性神經(jīng)元模型和結(jié)構(gòu)一.線性神經(jīng)元模型和結(jié)構(gòu)圖2.5自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

單神經(jīng)元多個(gè)神經(jīng)元2.3.2LMS（梯度下降）學(xué)習(xí)規(guī)則二.采用線性函數(shù)分類任務(wù)的目標(biāo)：所有可能的輸入矢量與輸出矢量的誤差平方的統(tǒng)計(jì)量最小。線性函數(shù)單神經(jīng)元的分類任務(wù)中采用LMS算法調(diào)節(jié)連接權(quán)。LMS的算法如下：2.3.2LMS（梯度下降）學(xué)習(xí)規(guī)則LMS梯度下降算法訓(xùn)練方法：逐個(gè)處理、成批處理。采用成批處理的方法：設(shè)誤差E采用下式表示:其中yi=f[w

xi]是對(duì)應(yīng)第i個(gè)樣本xi的NN實(shí)時(shí)輸出;oi是對(duì)應(yīng)第i個(gè)樣本xi的期望輸出.對(duì)W求偏導(dǎo)，有令則有可寫為其中所以2.3.2LMS（梯度下降）學(xué)習(xí)規(guī)則要使誤差E最小,可先求取E的梯度:考慮到y(tǒng)i=f(ui)=f[wi.xi],因此,有2.3.2LMS（梯度下降）學(xué)習(xí)規(guī)則最后有按負(fù)梯度方向修改權(quán)系數(shù)w的修改規(guī)則:即其中是權(quán)重變化率,一般取0~1之間的小數(shù).若BP網(wǎng)絡(luò)的神經(jīng)元的非線性激發(fā)函數(shù)f(u)=1/[1+e-u],則有2.3.2LMS（梯度下降）學(xué)習(xí)規(guī)則因此,學(xué)習(xí)算法則為若BP網(wǎng)絡(luò)的神經(jīng)元的線性激發(fā)函數(shù)f(u)=ku,則有f’(u)=k因此,學(xué)習(xí)算法則為2.3.2LMS（梯度下降）學(xué)