計算智能與深度學(xué)習(xí) 課件 2神經(jīng)網(wǎng)絡(luò)

內(nèi)容安排:一、生物神經(jīng)元二、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)三、神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用

神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識

1一、生物神經(jīng)元生物神經(jīng)元突觸信息處理信息傳遞功能與特點21.1生物神經(jīng)元神經(jīng)元是大腦處理信息的基本單元人腦大約由1011個神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)神經(jīng)元以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細胞，其形狀很像一棵枯樹的枝干主要由細胞體（cellbody,orsoma）、樹突（dendrite）、軸突（axon）和突觸(Synapse，又稱神經(jīng)鍵)組成

3

生物神經(jīng)元示意圖

4樹突為神經(jīng)元的輸入通道，其功能是將自其他神經(jīng)元所接收的動作電位傳送至細胞本體。其他神經(jīng)元的動作電位借由位于樹突分支上的多個突觸傳送至樹突上。樹突在整合自這些突觸所接收到的信號、以及決定此神經(jīng)元將產(chǎn)生的動作電位強度上，扮演了重要的角色.軸突它是從神經(jīng)元的細胞本體發(fā)出的長突起。軸突為神經(jīng)元的輸出通道，其功能是將動作電位自細胞本體傳遞出去至突觸。突觸（英文：synapse）是神經(jīng)元之間，或神經(jīng)元與肌細胞之間通信的特異性接頭。51.2突觸的信息處理生物神經(jīng)元傳遞信息的過程為多輸入、單輸出神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近當(dāng)神經(jīng)元細胞體通過軸突傳到突觸前膜的脈沖幅度達到一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)突觸有兩種類型，興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負突觸后電位61.3信息傳遞功能與特點具有時空整合能力不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞神經(jīng)纖維傳導(dǎo)的速度，即脈沖沿神經(jīng)纖維傳遞的速度，在1—150m／s之間信息傳遞時延和不應(yīng)期，一般為0.3～lms可塑性，突觸傳遞信息的強度是可變的，即具有學(xué)習(xí)功能存在學(xué)習(xí)、遺忘或疲勞（飽和）效應(yīng)對應(yīng)突觸傳遞作用增強、減弱和飽和7二、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元模型常見響應(yīng)函數(shù)人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)82.1人工神經(jīng)網(wǎng)絡(luò)

直觀理解神經(jīng)網(wǎng)絡(luò)是一個并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)它一般由大量神經(jīng)元組成每個神經(jīng)元只有一個輸出，可以連接到很多其他的神經(jīng)元每個神經(jīng)元輸入有多個連接通道，每個連接通道對應(yīng)于一個連接權(quán)系數(shù)

9通用模型求和操作響應(yīng)函數(shù)2.2人工神經(jīng)元模型

102.2人工神經(jīng)元模型

響應(yīng)函數(shù)的基本作用控制輸入對輸出的激活作用對輸入、輸出進行函數(shù)轉(zhuǎn)換將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出11

2.3常見神經(jīng)元響應(yīng)函數(shù)(d)非線性單元：(a)閾值單元(b)線性單元(c)Sigmoid函數(shù)（非對稱sigmoid)β=1時，122.3常見神經(jīng)元響應(yīng)函數(shù)10-1s13神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓撲結(jié)構(gòu)及學(xué)習(xí)方法人工神經(jīng)網(wǎng)絡(luò)連接的幾種基本形式前向網(wǎng)絡(luò)(a)從輸出到輸入有反饋的前向網(wǎng)絡(luò)(b)用來存儲某種模式序列層內(nèi)互連前向網(wǎng)絡(luò)(c)限制層內(nèi)同時動作的神經(jīng)元；分組功能相互結(jié)合型網(wǎng)絡(luò)(d)2.4人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)14神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)

15權(quán)值確定Hebb學(xué)習(xí)規(guī)則誤差校正（糾錯）學(xué)習(xí)規(guī)則相近（無教師）學(xué)習(xí)規(guī)則三、神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法16人工神經(jīng)網(wǎng)絡(luò)連接權(quán)的確定通常有兩種方法根據(jù)具體要求，直接計算，如Hopfield網(wǎng)絡(luò)作優(yōu)化計算通過學(xué)習(xí)得到的。大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都采用這種方法學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問題3.1權(quán)值確定17Donall

Hebb根據(jù)生理學(xué)中條件反射機理，于1949年提出的神經(jīng)元連接強度變化的規(guī)則如果兩個神經(jīng)元同時興奮(即同時被激活)，則它們之間的突觸連接加強a為學(xué)習(xí)速率，Vi,Vj為神經(jīng)元i和j的輸出Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形3.2Hebb學(xué)習(xí)規(guī)則18用已知樣本作為教師對網(wǎng)絡(luò)進行學(xué)習(xí)學(xué)習(xí)規(guī)則可由二次誤差函數(shù)的梯度法導(dǎo)出誤差校正學(xué)習(xí)規(guī)則實際上是一種梯度方法不能保證得到全局最優(yōu)解要求大量訓(xùn)練樣本，收斂速度慢對樣本的表示次序變化比較敏感3.3誤差校正規(guī)則教師值實際輸出值193.3無教師學(xué)習(xí)規(guī)則這類學(xué)習(xí)不在于尋找一個特殊映射的表示，而是將事件空間分類為輸入活動區(qū)域，并有選擇地對這些區(qū)域響應(yīng)，從而調(diào)整參數(shù)一反映觀察事件的分部輸入可以是連續(xù)值,對噪聲有較強的抗干擾能力對較少輸入樣本，結(jié)果可能要依賴于輸入序列在ART、Kohonen等自組織競爭型網(wǎng)絡(luò)中采用20一、生物神經(jīng)元二、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)三、神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法作業(yè)：熟悉Matlab,用其解計算智能中的問題（包括仿真求解）小結(jié)21神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法22第4章感知器（Perceptron）感知器是由美國計算機科學(xué)家羅森布拉特（F.Rosenblatt）于1957年提出的。單層感知器神經(jīng)元模型圖：圖4．1感知器神經(jīng)元模型24到第1個神經(jīng)元的權(quán)值25F.Rosenblatt已經(jīng)證明，如果兩類模式是線性可分的（指存在一個超平面將它們分開），則算法一定收斂。用監(jiān)督學(xué)習(xí)(supervisedlearning)的方法建立模式識別的能力感知器特別適用于簡單的模式分類問題，也可用于基于模式分類的學(xué)習(xí)控制中。本節(jié)中所說的感知器是指單層的感知器。多層網(wǎng)絡(luò)因為要用到后面將要介紹的反向傳播法進行權(quán)值修正，所以把它們均歸類為反向傳播網(wǎng)絡(luò)之中。264．1感知器的網(wǎng)絡(luò)結(jié)構(gòu)根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)，可以寫出第i個輸出神經(jīng)元(i＝1，2，…，s)的加權(quán)輸入和ni及其輸出ai為：ni27感知器的輸出值是通過測試加權(quán)輸入和值落在閾值函數(shù)的左右來進行分類的，即有：閾值激活函數(shù)如圖4．3所示。284．2感知器的圖形解釋由感知器的網(wǎng)絡(luò)結(jié)構(gòu)，我們可以看出感知器的基本功能是將輸入矢量轉(zhuǎn)化成0或1的輸出。這一功能可以通過在輸人矢量空間里的作圖來加以解釋。感知器權(quán)值參數(shù)的設(shè)計目的，就是根據(jù)學(xué)習(xí)法則設(shè)計一條W*P+b＝0的軌跡，使其對輸入矢量能夠達到期望位置的劃分。29

以輸入矢量r＝2(2維）為例，對于選定的權(quán)值w1、w2和b，可以在以p1和p2分別作為橫、縱坐標(biāo)的輸入平面內(nèi)畫出W*P+b＝w1p1十w2p2十b＝0的軌跡，它是一條直線此直線上的及其線以上部分的所有p1、p2值均使w1p1十w2p2十b＞=0，這些點若通過由w1、w2和b構(gòu)成的感知器則使其輸出為1；該直線以下部分的點則使感知器的輸出為0。

所以當(dāng)采用感知器對不同的輸入矢量進行期望輸出為0或1的分類時，其問題可轉(zhuǎn)化為：對于已知輸入矢量在輸入空間形成的不同點的位置，設(shè)計感知器的權(quán)值W和b，將由W*P+b＝0的直線放置在適當(dāng)?shù)奈恢蒙鲜馆斎胧噶堪雌谕敵鲋颠M行上下分類。30圖4．4輸入矢量平面圖（此圖橫坐標(biāo)有問題）+-314．3感知器的學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則是用來計算新的權(quán)值矩陣W及新的偏差B的算法。感知器利用其學(xué)習(xí)規(guī)則來調(diào)整網(wǎng)絡(luò)的權(quán)值，以便使該網(wǎng)絡(luò)對輸人矢量的響應(yīng)達到數(shù)值為0或1的目標(biāo)輸出。輸入矢量P，輸出矢量A，目標(biāo)矢量為T的感知器網(wǎng)絡(luò)，其學(xué)習(xí)規(guī)則為：32如果第i個神經(jīng)元的輸出是正確的，即有：ai＝ti，那么與第i個神經(jīng)元聯(lián)接的權(quán)值wij和偏差值bi保持不變；如果第i個神經(jīng)元的輸出是0，但期望輸出為1，即有ai＝0，而ti＝1，此時權(quán)值修正算法為：新的權(quán)值wij為舊的權(quán)值wij加上輸人矢量pj；類似的，新的偏差bi為舊偏差bi加上它的輸入1；如果第i個神經(jīng)元的輸出為1，但期望輸出為0，即有ai＝1，而ti＝0，此時權(quán)值修正算法為：新的權(quán)值wij等于舊的權(quán)值wij減去輸入矢量pj；類似的，新的偏差bi為舊偏差bi減去1。感知器學(xué)習(xí)規(guī)則的實質(zhì)為：權(quán)值的變化量等于正負輸入矢量。33

對于所有的i和j，i＝l，2，…，s（神經(jīng)元數(shù)）；j＝1，2，…，r（輸入向量維），感知器修正權(quán)值公式為：上述用來修正感知器權(quán)值的學(xué)習(xí)算法在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中已編成了子程序，成為一個名為1earnp.m的函數(shù)。只要直接調(diào)用此函數(shù)，即可立即獲得權(quán)值的修正量。此函數(shù)所需要的輸人變量為：輸入矢量P、輸出矢量A和目標(biāo)矢量T。調(diào)用命令為：[dW，dB]＝learnp(P，A，T)；(4-5)344．4網(wǎng)絡(luò)的訓(xùn)練感知器的訓(xùn)練過程如下： 在輸入矢量P的作用下，計算網(wǎng)絡(luò)的實際輸出A，并與相應(yīng)的目標(biāo)矢量T進行比較，檢查A是否等于T，然后用比較后的誤差量，根據(jù)學(xué)習(xí)規(guī)則進行權(quán)值和偏差的調(diào)整； 重新計算網(wǎng)絡(luò)在新權(quán)值作用下的輸入，重復(fù)權(quán)值調(diào)整過程，直到網(wǎng)絡(luò)的輸出A等于目標(biāo)矢量T或訓(xùn)練次數(shù)達到事先設(shè)置的最大值時訓(xùn)練結(jié)束。35感知器設(shè)計訓(xùn)練的步驟可總結(jié)如下：1)對于所要解決的問題，確定輸入矢量P，目標(biāo)矢量T，并由此確定各矢量的維數(shù)以及確定網(wǎng)絡(luò)結(jié)構(gòu)大小的神經(jīng)元數(shù)目：r，s和q（q-樣本分量的維度）；2)參數(shù)初始化：

a)賦給權(quán)矢量w在(-l，1)的隨機非零初始值；

b)給出最大訓(xùn)練循環(huán)次數(shù)max_epoch；3)網(wǎng)絡(luò)表達式：根據(jù)輸人矢量P以及最新權(quán)矢量W，計算網(wǎng)絡(luò)輸出矢量A；4)檢查：檢查輸出矢量A與目標(biāo)矢量T是否相同，如果是，或已達最大循環(huán)次數(shù)，訓(xùn)練結(jié)束，否則轉(zhuǎn)入5)；5)學(xué)習(xí)：根據(jù)式(4．5)給出的感知器學(xué)習(xí)規(guī)則，調(diào)整權(quán)矢量，并返回3)。364.5感知器神經(jīng)網(wǎng)絡(luò)應(yīng)用的局限性

首先，感知器的輸出只能取0或1。其次，單層感知器只能對線性可分的向量集合進行分類。374.6感知器神經(jīng)網(wǎng)絡(luò)設(shè)計實例

[例4．1]考慮一個簡單的分類問題。設(shè)計一個感知器，將二維的四組輸入矢量分成兩類。輸入矢量為：P＝[-0.5-0.50.30；

-0.50.5-0.51]；目標(biāo)矢量為：T＝[1l00]，38代數(shù)求解法b=w339當(dāng)采用感知器神經(jīng)網(wǎng)絡(luò)來對此題進行求解時，網(wǎng)絡(luò)結(jié)構(gòu)圖如圖所示。

由此可見，對于單層網(wǎng)絡(luò)，網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)r和輸出神經(jīng)元數(shù)s分別由輸入矢量P和目標(biāo)矢量T唯一確定。網(wǎng)絡(luò)的權(quán)矩陣的維數(shù)為：Ws×r，Bs×1權(quán)值總數(shù)為s×r個，偏差個數(shù)為s個。在確定了網(wǎng)絡(luò)結(jié)構(gòu)并設(shè)置了最大循環(huán)次數(shù)和賦予權(quán)值初始值后，設(shè)計者可方便地利用MATLAB，根據(jù)題意以及感知器的學(xué)習(xí)、訓(xùn)練過程來編寫自己的程序。40Examples:Thiscodecreatesaperceptronlayerwithone2-elementinput(ranges[01]and[-22])andoneneuron.(Supplyingonlytwoargumentstonewp

resultsinthedefaultperceptronlearningfunctionLEARNPbeingused.)

net=newp([01;-22],1);

41Nowwedefineaproblem,anORgate,withasetoffour2-elementinputvectorsPandthecorrespondingfour1-elementtargetsT.

P=[0011;0101];

T=[0111];

42Herewesimulatethenetwork‘soutput,trainforamaximumof20epochs,andthensimulateitagain.Y=sim(net,P)

net.trainParam.epochs=20;

net=train(net,P,T);

Y=sim(net,P)%Y是網(wǎng)絡(luò)的實際輸出Notes:Perceptronscanclassifylinearlyseparableclassesinafiniteamountoftime.Ifinputvectorshavealargevarianceintheirlengths,theLEARNPNcanbefasterthanLEARNP.434．7作業(yè)1.熟悉net的屬性及與感知器相關(guān)的函數(shù)。2設(shè)P=[-1,1,-1,1,-1,1,-1,1; -1,-1,1,1,-1,-1,1,1; -1,-1,-1,-1,1,1,1,1] T=[0,1,0,0,1,1,0,1]

請畫出感知器網(wǎng)絡(luò)結(jié)構(gòu)圖，并編寫MATLAB程序解該分類問題。

如T=[0,0,0,0,1,1,1,1；

0,0,0,0,1,1,1,1]

請畫出感知器網(wǎng)絡(luò)結(jié)構(gòu)圖，并編寫MATLAB程序解該分類問題。

44一個例子pr=[02;-22];net=newp(pr,1,‘’,‘’);%只有1個神經(jīng)元，后面兩個參數(shù)表示默認傳遞函數(shù)為hardlims，學(xué)習(xí)函數(shù)learnp%net=newp(pr,1,‘hardlims’,‘learnpn’);則不用傳遞函數(shù)、學(xué)習(xí)函數(shù)net.trainParam.epochs=10;net=train(net,P,T)45P=[-0.5-0.60.7;0.800.1];T=[110];net=newp([-11;-11],1);handle=plotpc(net.iw{1},net.b{1});net.trainParam.epochs=10;net=train(net,P,T);Q=[0.60.9-0.1;-0.1-0.50.5];Y=sim(net,Q);figure;plotpv(Q,Y);handle=plotpc(net.iw{1},net.b{1},handle);464．8感知器的局限性

由于感知器的激活函數(shù)采用的是閥值函數(shù)，輸出矢量只能取0或1，所以只能用它來解決簡單的分類問題；感知器僅能夠線性地將輸入矢量進行分類。感知器還有另外一個問題，當(dāng)輸入矢量中有一個數(shù)比其他數(shù)都大或小得很多時，可能導(dǎo)致較慢的收斂速度。47第5章自適應(yīng)線性元件AdaptiveLinearElement

----簡稱Adaline由威德羅（Widrow）和霍夫（Hoff）首先提出的.它與感知器的主要不同之處在于其神經(jīng)元有一個線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1。它采用的是W-H學(xué)習(xí)法則，也稱最小均方差(LMS)規(guī)則對權(quán)值進行訓(xùn)練自適應(yīng)線性元件的主要用途是線性逼近一個函數(shù)式而進行模式聯(lián)想。495．1自適應(yīng)線性神經(jīng)元模型和結(jié)構(gòu)

圖5.1自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)505．2W-H學(xué)習(xí)規(guī)則(WidrowHoff)W-H學(xué)習(xí)規(guī)則是由威德羅和霍夫提出的,用來修正權(quán)矢量的學(xué)習(xí)規(guī)則采用W-H學(xué)習(xí)規(guī)則可以用來訓(xùn)練一定網(wǎng)絡(luò)的權(quán)值和偏差使之線性地逼近一個函數(shù)式而進行模式聯(lián)想(PatternAssociation)。51定義一個線性網(wǎng)絡(luò)的輸出誤差函數(shù)為：WP中含偏置，展開為WP+B目的是通過調(diào)節(jié)權(quán)矢量，使E(W，B)達到最小值。所以在給定E(W，B)后，利用W-H學(xué)習(xí)規(guī)則修正權(quán)矢量和偏差矢量，使E(W，B)從誤差空間的某一點開始，沿著E(W，B)的斜面向下滑行。52根據(jù)梯度下降法，權(quán)矢量的修正值正比于當(dāng)前位置上E(W，B)的梯度，對于第i個輸出節(jié)點有：或表示為：（5.3）53η為學(xué)習(xí)速率。在一般的實際運用中，實踐表明，η通常取一接近1的數(shù)，或取值為：（5.5）學(xué)習(xí)速率的這一取法在神經(jīng)網(wǎng)絡(luò)工具箱中用函數(shù)maxlinlr.m來實現(xiàn)。(5．5)式可實現(xiàn)為：54

W-H學(xué)習(xí)規(guī)則的計算公式

W-H學(xué)習(xí)規(guī)則的函數(shù)用learnwh.m來實現(xiàn)，加上線性自適應(yīng)網(wǎng)絡(luò)輸出函數(shù)purelin.m(系統(tǒng)的），可以寫出

W-H學(xué)習(xí)規(guī)則的計算公式為：

A＝purelin(W*P,B)；%網(wǎng)絡(luò)輸出

E＝T-A；

[dW，dB]＝learnwh(P，E，lr)；%增量

W＝W十dW；%修改

B＝B十dB；采用W-H規(guī)則訓(xùn)練自適應(yīng)線性元件使其能夠得以收斂的必要條件是被訓(xùn)練的輸入矢量必須是線性獨立的，且應(yīng)適當(dāng)?shù)剡x擇學(xué)習(xí)速率以防止產(chǎn)生振蕩現(xiàn)象。555．3網(wǎng)絡(luò)訓(xùn)練自適應(yīng)線性元件的網(wǎng)絡(luò)訓(xùn)練過程可以歸納為以下三個步驟：(1)表達：計算訓(xùn)練的輸出矢量A＝W*P十B，以及與期望輸出之間的誤差E＝T-A；(2)檢查：將網(wǎng)絡(luò)輸出誤差的平方和與期望誤差相比較，如果其值小于期望誤差，或訓(xùn)練已達到事先設(shè)定的最大訓(xùn)練次數(shù)，則停止訓(xùn)練；否則繼續(xù)；(3)學(xué)習(xí)：采用W-H學(xué)習(xí)規(guī)則計算新的權(quán)值和偏差，并返回到(1)。565．4例題與分析

[例5．1]設(shè)計自適應(yīng)線性網(wǎng)絡(luò)實現(xiàn)從輸入矢量到輸出矢量的變換關(guān)系。其輸入矢量和輸出矢量分別為：

P＝[1.0-1.2]T＝[0.51.0]57自適應(yīng)線性元件網(wǎng)絡(luò)的訓(xùn)練過程如下：trainwh.m

function[W,B,epoch,SSE]=trainwh(W,B,P,T,TP)max_epoch=TP(2);err_goal=TP(3);lr=TP(4);A=purelin(W*P，B);%或A=purelin(W*P+B);E=T-A；SSE＝sumsqr(E); ％求誤差平方和forepoch＝1:max_epoch

％循環(huán)訓(xùn)練ifSSE＜err_goal

％比較誤差epoch＝epoch-1；break ％若滿足期望誤差要求，結(jié)束訓(xùn)練end[dW，dB]＝1earnwh(P，E，lr)；％修正權(quán)值W＝W十dW；B＝B十dB;A＝purelin(W*P，B)； %網(wǎng)絡(luò)輸出，或A=purelin(W*P+B);E＝T-A；SSE＝sumsqr(E)； ％計算網(wǎng)絡(luò)誤差平方和end58％wf1.m％P＝[1-1.2]；T＝[0.51]；[R，Q]＝size(P)；[S，Q]＝size(T)；[W，B]＝rands(S，R)；max_epoch＝20； ％最大循環(huán)次數(shù)err_goal＝0.001； ％期望誤差lr＝0.99*maxlinlr(P,1)； ％最佳學(xué)習(xí)速率disp_freq＝1； ％設(shè)置顯示頻率TP＝[disp_freqmax_epocherr_goallr]; ％設(shè)置參數(shù)變量TP[W，B，epochs，error]＝trainwh(W，B，P，T，TP)

％進行線性網(wǎng)絡(luò)權(quán)值訓(xùn)練WBepochserror是對前一函數(shù)的調(diào)用，參數(shù)要注意59在隨機初始值為：W0＝-0.9309；B0＝-0.8931的情況下，經(jīng)過12次循環(huán)訓(xùn)練后，網(wǎng)絡(luò)的輸出誤差平方和達到0.000949，網(wǎng)絡(luò)的最終權(quán)值為：W＝-0.2354；B＝0.7066實際上，對于[例5.1]這個簡單的例題，它存在一個精確解，且可以用解二元一次方程的方式將P和T值分別對應(yīng)地代入方程T＝W*P十B得：

60可解出e＝T-A＝0的解為：W＝-0.2273；B＝0.7273由此看出，對于特別簡單的問題，采用自適應(yīng)線性網(wǎng)絡(luò)的訓(xùn)練不一定能夠得到足夠精確的解。因為當(dāng)訓(xùn)練誤差達到期望誤差值后，訓(xùn)練即被終止。

61對于具有零誤差的自適應(yīng)線性網(wǎng)絡(luò)，即輸入/輸出矢量對存在著嚴格的線性關(guān)系，此時的自適應(yīng)線性網(wǎng)絡(luò)的設(shè)計可以采用工具箱中另外一個名為solvelin.m的函數(shù)。[W，B]＝solvelin(P，T)然后可用simulin.m函數(shù)來檢測所設(shè)計的網(wǎng)絡(luò)：

A＝simulin(P，W，B)還可以用sumsqr.m函數(shù)來求出誤差平方和：

SSE＝sumsqr(T-A)62[例5．2]現(xiàn)在來考慮一個較大的多神經(jīng)元網(wǎng)絡(luò)的模式聯(lián)想的設(shè)計問題。輸入矢量和目標(biāo)矢量分別為：

63解：由輸入矢量和目標(biāo)輸出矢量可得：r＝3，s＝4，q＝4。所以網(wǎng)絡(luò)的結(jié)構(gòu)如圖5．2所示。

這個問題的求解同樣可以采用線性方程組求出，即對每一個輸出節(jié)點寫出輸入和輸出之間的關(guān)系等式。

64實際上要求出這16個方程的解是需要花費一定的時間的，甚至是不太容易的。對于一些實際問題，常常并不需要求出其完美的零誤差時的解。也就是說允許存在一定的誤差。在這種情況下，采用自適應(yīng)線性網(wǎng)絡(luò)求解就顯示出它的優(yōu)越性：因為它可以很快地訓(xùn)練出滿足一定要求的網(wǎng)絡(luò)權(quán)值。

65％wf2.m％P=[11.51.2–0.3;-123–0.5;21–1.60.9];T=[0.53–2.21.4;1.1–1.21.7–0.4;30.2–1.8–0.4;-10.1–1.00.6];disp_freq=400; ％中間不顯示結(jié)果max_epoch=400;err_goal=0.001;lr=0.99*maxlinlr(P);W=[1.9978–0.5959–0.3517;1.55430.053311.3660; 1.06720.3645–0.9227;-0.77471.3839–0.3384];%初始權(quán)值B=[0.0746;-0.0642;-0.4256;-0.6433];%偏值SSE＝sumsqr(T-purelin(W*P，B)); %未訓(xùn)練前誤差fprintf(‘Beforetraining,sumsquarederror=％g.\n’,SSE)66％訓(xùn)練網(wǎng)絡(luò)tp＝[disp_freqmax_epocherr_goallr]; %設(shè)置參數(shù)變量tp[W,B,epochs，errors]＝trainwh(W,B,P,T,tp);%進行線性網(wǎng)絡(luò)權(quán)值訓(xùn)練W ％顯示最終訓(xùn)練權(quán)矢量B ％顯示最終訓(xùn)練偏差矢量SSE＝sumsqr(T-purelin(W*P,B))； ％最終誤差％顯示結(jié)果并給出結(jié)論ploterr(errors),fprintf(‘\nAfter

%depochs，sumsquarederror＝％g.\n\n’,epochs，SSE),fprintf(‘Trainednetworkoperates：’);ifSSE＜err_goal

disp(‘Adequately.’)else

disp(‘Inadequately.’)end67W=-2.46002.28343.15212.1889-1.8127-2.06012.0887-1.26530.0432-1.69130.97780.9927B=-1.04371.2097-0.4432-0.313668訓(xùn)練后的網(wǎng)絡(luò)權(quán)值為：

網(wǎng)絡(luò)訓(xùn)練過程中的誤差記錄

69對于存在零誤差的精確權(quán)值網(wǎng)絡(luò)，若用函數(shù)solvelin.m來求解，則更加簡單如下：％wf3.m％P＝[11.51.2–0.3;-123–0.5;21–1.60.9];T＝[0.53–2.21.4;1.1–1.21.7–0.4;30.2–1.8-0.4;-10.1–1.00.6];[W，B]＝solvelin(P,T);A＝simulin(P,W,B);SSE＝sumsqr(T-A)WB70由此可得零誤差的唯一精確解為：

71[例5．3]設(shè)計訓(xùn)練一個線性網(wǎng)絡(luò)實現(xiàn)下列從輸人矢量到目標(biāo)矢量的變換：

所給出的輸入矢量元素之間是線性相關(guān)的：第三組元素等于第二組元素的兩倍減去第一組：P3＝2P2－P1。

由于輸入矢量的奇異性，用函數(shù)solvelin.m來設(shè)計時網(wǎng)絡(luò)會產(chǎn)生問題。只有在能夠線性地解出問題的情況下，用函數(shù)solvelin.m才比較準確。

72只要將前面已編寫的wf2.m程序中的輸入與目標(biāo)矢量改變一下，并給出(—l，1)之間的隨機初始值，即可運行看到本例的結(jié)果。其最終誤差在1.04左右，這就是本例題下的最小誤差平方和，而當(dāng)采用完全線性函數(shù)的設(shè)計solvelin.m去求解網(wǎng)絡(luò)權(quán)值時，所得到的誤差是4.25。采用W-H算法訓(xùn)練出的誤差是它的1／4，由此可見其算法的優(yōu)越性。

73[例5．4]現(xiàn)在假定在[例5．1]的輸入／輸出矢量中增加兩組元素，使其變?yōu)镻＝[1.01.53.0-1.2]T＝[0.51.13.0-1.0]本例題的目的是在于了解自適應(yīng)線性網(wǎng)絡(luò)的線性逼近求解的能力。

圖5．4給出了輸入輸出對的位置以及網(wǎng)絡(luò)求解的結(jié)果。對于所設(shè)置的err_goal＝0.001,在循環(huán)訓(xùn)練了50次后所得的誤差平方和仍然為：SSE＝0.289。這個值即是本題所能達到的最小誤差平方和的值。當(dāng)采用線性自適應(yīng)線性網(wǎng)絡(luò)求解問題所得到的誤差特別大時，可以認為此問題不適宜用線性網(wǎng)絡(luò)來解決。74圖5.4網(wǎng)絡(luò)訓(xùn)練結(jié)果圖

75自適應(yīng)線性網(wǎng)絡(luò)還有另一個潛在的困難，當(dāng)學(xué)習(xí)速率取得較大時，可導(dǎo)致訓(xùn)練過程的不穩(wěn)定。

[例5．5]輸入/目標(biāo)矢量與[例5．1]相同。我們將以不同的學(xué)習(xí)速率訓(xùn)練兩次網(wǎng)絡(luò)以展現(xiàn)兩種不希望的學(xué)習(xí)速率帶來的影響。以例5.1為樣本，1)對于第一個嘗試，學(xué)習(xí)速率lr?。?r＝1.7*maxlinlr(P)；2)第二個嘗試是選用更大學(xué)習(xí)速率：1r＝2.5*maxlinlr(P);

76775．5對比與分析

感知器和自適應(yīng)線性網(wǎng)絡(luò)

(1)網(wǎng)絡(luò)模型結(jié)構(gòu)上

感知器和自適應(yīng)線性網(wǎng)絡(luò)而言，結(jié)構(gòu)上的主要區(qū)別在于激活函數(shù)：一個是二值型的，一個線性的。

當(dāng)把偏差與權(quán)值考慮成一體時，自適應(yīng)線性網(wǎng)絡(luò)的輸入與輸出之間的關(guān)系可以寫成A＝W*P。如果P是滿秩的話，則可以寫成AP-1＝W，或W=A/P。

78(2)學(xué)習(xí)算法

感知器的算法是最早提出的可收斂的算法，它的自適應(yīng)思想被威德羅和霍夫發(fā)展成使其誤差最小的梯度下降法。最后又在BP算法中得到進一步的推廣，它們屬于同一類算法。

79(3)適用性與局限性

感知器僅能夠進行簡單的分類。從前面的例題中已經(jīng)看出，感知器可以將輸入分成兩類或四類等。它的局限性是僅能對線性可分的輸入進行分類。

自適應(yīng)線性網(wǎng)絡(luò)除了像感知器一樣可以進行線性分類外，又多了線性逼近，這僅是由于其激活函數(shù)可以連續(xù)取值而不同于感知器的僅能取0或1的緣故。

80作業(yè)：設(shè)計一個有三個輸入的單層線性網(wǎng)絡(luò)：P=[232.4-0.6; -246-1; 42-3.21.8]T=[1 6 -4.4 2.8;2.2 -2.4 3.4 -0.8; 6 0.4 -3.6 -0.8; -2 0.2 -2 1.2]815．6本章小結(jié)

1)自適應(yīng)線性網(wǎng)絡(luò)僅可以學(xué)習(xí)輸入輸出矢量之間的線性關(guān)系，可用于模式聯(lián)想及函數(shù)的線性逼近。網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計完全由所要解決的問題所限制，網(wǎng)絡(luò)的輸入數(shù)目和輸出層中神經(jīng)元數(shù)目，由問題所限制；2)多層線性網(wǎng)絡(luò)不產(chǎn)生更強大的功能，從這個觀點上看，單層線性網(wǎng)絡(luò)不比多層線性網(wǎng)絡(luò)有局限性；3)輸入和輸出之間的非線性關(guān)系不能用一個線性網(wǎng)絡(luò)精確地設(shè)計出，但線性網(wǎng)絡(luò)可以產(chǎn)生一個具有誤差平方和最小的線性逼近。82人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用

第6章 BP神經(jīng)網(wǎng)絡(luò)一、內(nèi)容回顧二、BP網(wǎng)絡(luò)三、網(wǎng)絡(luò)設(shè)計四、改進BP網(wǎng)絡(luò)五、內(nèi)容小結(jié)內(nèi)容安排84一、內(nèi)容回顧

感知機自適應(yīng)線性元件85一、內(nèi)容回顧

感知機感知機簡介神經(jīng)元模型網(wǎng)絡(luò)結(jié)構(gòu)功能解釋學(xué)習(xí)和訓(xùn)練局限性自適應(yīng)線性元件86一、內(nèi)容回顧

感知機自適應(yīng)線性元件Adline簡介網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練872.1BP網(wǎng)絡(luò)簡介2.2網(wǎng)絡(luò)模型2.3學(xué)習(xí)規(guī)則2.4圖形解釋2.5網(wǎng)絡(luò)訓(xùn)練二、BP網(wǎng)絡(luò)88反向傳播網(wǎng)絡(luò)(Back-PropagationNetwork，簡稱BP網(wǎng)絡(luò))是將W-H學(xué)習(xí)規(guī)則一般化，對非線性可微分函數(shù)進行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)權(quán)值的調(diào)整采用反向傳播(Back-propagation）的學(xué)習(xí)算法它是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是S型函數(shù)輸出量為0到1之間的連續(xù)量，它可實現(xiàn)從輸入到輸出的任意的非線性映射2.1BP神經(jīng)網(wǎng)絡(luò)89BP網(wǎng)絡(luò)主要用于下述方面函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個網(wǎng)絡(luò)逼近一個函數(shù)模式識別和分類：用一個特定的輸出矢量將它與輸入矢量聯(lián)系起來；把輸入矢量以所定義的合適方式進行分類；數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲具有較強泛化性能：使網(wǎng)絡(luò)平滑地學(xué)習(xí)函數(shù)，使網(wǎng)絡(luò)能夠合理地響應(yīng)被訓(xùn)練以外的輸入泛化性能只對被訓(xùn)練的輸入／輸出在最大值范圍內(nèi)的數(shù)據(jù)有效，即網(wǎng)絡(luò)具有內(nèi)插值特性，不具有外插值性。超出最大訓(xùn)練值的輸入必將產(chǎn)生大的輸出誤差2.1BP神經(jīng)網(wǎng)絡(luò)902.2網(wǎng)絡(luò)模型一個具有r個輸入和一個隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

91感知器和自適應(yīng)線性元件的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù){0，1}或符號函數(shù){－1，1}BP網(wǎng)絡(luò)經(jīng)常使用的是S型的對數(shù)或正切激活函數(shù)和線性函數(shù)2.1網(wǎng)絡(luò)模型92BP網(wǎng)絡(luò)特點輸入和輸出是并行的模擬量網(wǎng)絡(luò)的輸入輸出關(guān)系由各層連接的權(quán)因子決定，沒有固定的算法權(quán)因子通過學(xué)習(xí)信號調(diào)節(jié)。學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個別權(quán)因子的損壞不會對網(wǎng)絡(luò)輸出產(chǎn)生大的影響只有當(dāng)希望對網(wǎng)絡(luò)的輸出進行限制，如限制在0和1之間，那么在輸出層應(yīng)當(dāng)包含S型激活函數(shù)在一般情況下，均是在隱含層采用S型激活函數(shù)，而輸出層采用線性激活函數(shù)2.1網(wǎng)絡(luò)模型93S型函數(shù)具有非線性放大系數(shù)功能，可以把輸入從負無窮大到正無窮大的信號，變換成-1到l之間輸出對較大的輸入信號，放大系數(shù)較??；而對較小的輸入信號，放大系數(shù)則較大采用S型激活函數(shù)可以處理和逼近非線性輸入/輸出關(guān)系2.1網(wǎng)絡(luò)模型942.3學(xué)習(xí)規(guī)則BP算法屬于δ算法，是一種監(jiān)督式的學(xué)習(xí)算法主要思想對于q個輸入學(xué)習(xí)樣本：P1,P2,…,Pq，已知與其對應(yīng)的輸出樣本為：T1,T2,…,Tq使網(wǎng)絡(luò)輸出層的誤差平方和達到最小用網(wǎng)絡(luò)的實際輸出A1,A2,…,Aq,與目標(biāo)矢量T1,T2,…,Tq之間的誤差修改其權(quán)值，使Am與期望的Tm,(m＝l,…,q)盡可能接近95BP算法是由兩部分組成,信息的正向傳遞與誤差的反向傳播正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層計算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)如果在輸出層未得到期望的輸出，則計算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號沿原來的連接通路反傳回來修改各層神經(jīng)元的權(quán)值直至達到期望目標(biāo)2.3學(xué)習(xí)規(guī)則96假設(shè)輸入為P，輸入神經(jīng)元有r個，隱含層內(nèi)有s1個神經(jīng)元，激活函數(shù)為F1，輸出層內(nèi)有s2個神經(jīng)元，對應(yīng)的激活函數(shù)為F2，輸出為A，目標(biāo)矢量為T2.3學(xué)習(xí)規(guī)則...97信息的正向傳遞隱含層中第i個神經(jīng)元的輸出輸出層第k個神經(jīng)元的輸出定義誤差函數(shù)2.3學(xué)習(xí)規(guī)則982.3學(xué)習(xí)規(guī)則利用梯度下降法求權(quán)值變化及誤差的反向傳播輸出層的權(quán)值變化其中同理可得992.3學(xué)習(xí)規(guī)則利用梯度下降法求權(quán)值變化及誤差的反向傳播輸入到隱含層權(quán)值變化其中同理可得100對于f1為對數(shù)S型激活函數(shù)：對于f2為線性激活函數(shù)2.3學(xué)習(xí)規(guī)則1012.4誤差反向傳播圖形解釋誤差反向傳播過程實際上是通過計算輸出層的誤差ek，然后將其與輸出層激活函數(shù)的一階導(dǎo)數(shù)f2’相乘來求得δki由于隱含層中沒有直接給出目標(biāo)矢量，所以利用輸出層的δki反向傳遞來求出隱含層權(quán)值的變化量Δw2ki。然后計算同樣通過將ei與該層激活函數(shù)的一階導(dǎo)數(shù)f1’相乘，而求得δij，以此求出前層權(quán)值的變化量Δw1ij如果前面還有隱含層，沿用上述同樣方法依此類推，一直將輸出誤差ek逐層的反推算到第一層為止1022.4誤差反向傳播圖形解釋1032.5網(wǎng)絡(luò)訓(xùn)練訓(xùn)練BP網(wǎng)絡(luò)，需要計算網(wǎng)絡(luò)加權(quán)輸入矢量以及網(wǎng)絡(luò)輸出和誤差矢量，然后求誤差平方和當(dāng)所訓(xùn)練矢量的誤差平方和小于誤差目標(biāo)，訓(xùn)練停止；否則在輸出層計算誤差變化，且采用反向傳播學(xué)習(xí)規(guī)則來調(diào)整權(quán)值，然后重復(fù)此過程網(wǎng)絡(luò)完成訓(xùn)練后，對網(wǎng)絡(luò)輸入一個不是訓(xùn)練集合中的矢量，網(wǎng)絡(luò)將以泛化方式給出輸出結(jié)果1042.5網(wǎng)絡(luò)訓(xùn)練為了能夠較好地掌握BP網(wǎng)絡(luò)的訓(xùn)練過程，我們用兩層網(wǎng)絡(luò)為例來敘述BP網(wǎng)絡(luò)的訓(xùn)練步驟初始化：用小的隨機數(shù)初始化每一層的權(quán)值W和偏差B，保證網(wǎng)絡(luò)不被大的加權(quán)輸入飽和期望誤差最小值：error_goal最大循環(huán)次數(shù)：max_epoch修正權(quán)值的學(xué)習(xí)速率：lr一般情況下,lr＝0.l～0.81052.5網(wǎng)絡(luò)訓(xùn)練變量表達：計算網(wǎng)絡(luò)各層輸出矢量A1和A2以及網(wǎng)絡(luò)誤差EA1＝tansig(W1*P，B1)；A2＝purelin(W2*A1，B2)；E＝T-A；權(quán)值修正：計算各層反傳的誤差變化D2和D1并計算各層權(quán)值的修正值以及新權(quán)值：D2＝deltalin(A2，E)；D1＝deltatan(A1，D2，W2)；[dWl，dBl]＝learnbp(P，D1，lr)；[dW2，dB2]＝1earnbp(A1，D2，1r)；W1＝W1十dW1；B1＝B1十dBl；W2＝W2十dW2；B2＝B2十dB21062.5網(wǎng)絡(luò)訓(xùn)練計算權(quán)值修正后誤差平方和SSE＝sumsqr(T-purelin(W2*tansig(W1*P，B1)，B2))檢查：SSE是否小于err_goal。若是，訓(xùn)練結(jié)束；否則繼續(xù)以上所有的學(xué)習(xí)規(guī)則與訓(xùn)練的全過程，可以用函數(shù)trainbp.m來完成它的使用只需定義有關(guān)參數(shù)：顯示間隔次數(shù)，最大循環(huán)次數(shù)，目標(biāo)誤差，以及學(xué)習(xí)速率。調(diào)用后返回訓(xùn)練后權(quán)值，循環(huán)總數(shù)和最終誤差TP＝[disp_freqmax_epocherr_goallr][W，B，epochs，errors]＝trainbp(W，B，’F’，P，T，TP)107三、網(wǎng)絡(luò)設(shè)計3.1網(wǎng)絡(luò)的層數(shù)3.2隱含層神經(jīng)元數(shù)3.3初始權(quán)值的選取3.4學(xué)習(xí)速率3.5期望誤差的選取3.6應(yīng)用舉例3.7局限性1083.1網(wǎng)絡(luò)的層數(shù)理論上已經(jīng)證明：具有偏差和至少一個S型隱含層加上一個線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。定理：增加層數(shù)主要可以進一步的降低誤差，提高精度，但同時也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時間。一般情況下應(yīng)優(yōu)先考慮增加隱含層中神經(jīng)元數(shù)僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題沒有必要或效果不好線性問題非線性問題1093.2隱含層神經(jīng)元數(shù)網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用一個隱含層，而增加其神經(jīng)元數(shù)的方法來獲得。這在結(jié)構(gòu)實現(xiàn)上，要比增加更多的隱含層簡單得多定理：實現(xiàn)任意N個輸入向量構(gòu)成的任何布爾函數(shù)的前向網(wǎng)絡(luò)所需權(quán)系數(shù)數(shù)目為在具體設(shè)計時，比較實際的做法是通過對不同神經(jīng)元數(shù)進行訓(xùn)練對比，去掉不起作用的隱單元，然后適當(dāng)?shù)丶由弦稽c余量110隱含層神經(jīng)元數(shù)輸入r維，輸出s2維,樣本數(shù)q下,隱單元數(shù)s1:1113.3初始權(quán)值的選取一般取初始權(quán)值在(-1，1)之間的隨機數(shù)威得羅等人在分析了兩層網(wǎng)絡(luò)是如何對一個函數(shù)進行訓(xùn)練后，提出一種選定初始權(quán)值的策略選擇權(quán)值的量級為在MATLAB工具箱中可采用函數(shù)nwlog.m或nwtan.m來初始化隱含層權(quán)值W1和B1。其方法僅使用在第一隱含層的初始值的選取上，后面層的初始值仍然采用隨機取數(shù)1123.4學(xué)習(xí)速率學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定小的學(xué)習(xí)速率導(dǎo)致較長的訓(xùn)練時間，可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍在0.1-0.8之間1133.5期望誤差值選取在設(shè)計網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當(dāng)通過對比訓(xùn)練后確定一個合適的值這個所謂的“合適”，是相對于所需要的隱含層的節(jié)點數(shù)來確定，因為較小的期望誤差值是要靠增加隱含層的節(jié)點，以及訓(xùn)練時間來獲得一般情況下，作為對比，可以同時對兩個不同期望誤差值的網(wǎng)絡(luò)進行訓(xùn)練，最后通過綜合因素的考慮來確定采用其中一個網(wǎng)絡(luò)1143.6應(yīng)用舉例求解函數(shù)逼近問題有21組單輸入矢量和相對應(yīng)的目標(biāo)矢量，試設(shè)計神經(jīng)網(wǎng)絡(luò)來實現(xiàn)這對數(shù)組的函數(shù)關(guān)系P=-1:0.1:1T=[-0.96-0.577-0.07290.3770.6410.660.4610.1336-0.201-0.434-0.5-0.393-0.16470.09880.30720.3960.34490.1816-0.0312-0.2183-0.3201]測試集P2=-1:0.025:1115網(wǎng)絡(luò)設(shè)計：輸入輸出單元個數(shù)均為1.隱含層神經(jīng)元個數(shù)在3～8之間。用可變的隱含層神經(jīng)元個數(shù)，通過誤差對比，確定最佳個數(shù)，并檢驗對網(wǎng)絡(luò)性能的影響。代碼：s=3:8;res=1:6;fori=1:6net=newff(minmax(P),[s(i),1],{'tansig','logsig'},'traingdx');net.trainParam.epochs=2000;net.trainParam.goal=0.0001;net=train(net,P,T);y=sim(net,P);error=y-T;res(i)=norm(error);endres=1.59441.55471.57781.57721.47161.4403隱層輸出層訓(xùn)練函數(shù)，也可選：

trainlm或

traingd3~8個隱單元計算后的輸出誤差情況116s=3:20;res=zeros(1,18);fori=1:18%18個BP網(wǎng)，每個的隱結(jié)點數(shù)為s(i)net=newff(minmax(P),[s(i),1],{'tansig','logsig'},'traingdx');

net.trainParam.epochs=5000;

net.trainParam.goal=0.0001;net=train(net,P,T);y=sim(net,P);error=y-T;

res(i)=norm(error);endP2=-1:0.025:1;res

%顯示不同BP下的誤差plot(P,T)holdony=sim(net,P2);%只是用最后一個BP網(wǎng)plot(P2,y,’r’)P=-1:0.1:1;T=[-0.96-0.577-0.07290.3770.6410.660.4610.1336…-0.201-0.434-0.5-0.393-0.16470.09880.3072…0.3960.34490.1816-0.0312-0.2183-0.3201];帶動量因子和變學(xué)習(xí)率的學(xué)習(xí)算法117res=Columns1through8

1.57691.51101.44061.47481.44051.4399

1.43981.5762Columns9through16

1.44021.58091.92441.43931.92441.43961.43931.4764Columns17through18

1.43931.4393說明選隱層結(jié)點數(shù)為8(或9)個最好.14、16、17、19、20個時可能都好，但結(jié)點數(shù)多，會引起計算量增加。要選最少的！118網(wǎng)絡(luò)訓(xùn)練誤差個數(shù)345678910網(wǎng)絡(luò)誤差1.04120.72970.17670.14490.18070.14420.14490.1621好3~8個隱結(jié)點：res=1.59441.55471.57781.57721.47161.44033~10個隱結(jié)點：res=1.92441.44241.81671.44211.57711.44031.92441.5813隱結(jié)點設(shè)為8個最好！1193.6應(yīng)用舉例（cont’d)目標(biāo)矢量相對于輸入矢量的圖形初始網(wǎng)絡(luò)的輸出曲線

1203.6應(yīng)用舉例（cont’d)訓(xùn)練1000次2000次1213.6應(yīng)用舉例（cont’d)訓(xùn)練3000次5000次1223.7限制與不足需要較長的訓(xùn)練時間完全不能訓(xùn)練選取較小的初始權(quán)值采用較小的學(xué)習(xí)速率，但同時又增加了訓(xùn)練時間局部極小值BP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個局部極小解123四、BP網(wǎng)絡(luò)的改進4.1目標(biāo)4.2附加動量法4.3誤差函數(shù)改進

4.4自適應(yīng)學(xué)習(xí)速率1244.1目標(biāo)加快訓(xùn)練速度避免陷入局部極小值1254.2附加動量法利用附加動量的作用則有可能滑過局部極小值修正網(wǎng)絡(luò)權(quán)值時，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響，其作用如同一個低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上微小變化特性該方法是在反向傳播法的基礎(chǔ)上在每一個權(quán)值的變化上加上一項正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化1264.2附加動量法帶有附加動量因子的權(quán)值調(diào)節(jié)公式

其中k為訓(xùn)練次數(shù)，mc為動量因子，一般取0.95左右附加動量法的實質(zhì)是將最后一次權(quán)值變化的影響，通過一個動量因子來傳遞。當(dāng)動量因子取值為0時，權(quán)值變化僅根據(jù)梯度下降法產(chǎn)生當(dāng)動量因子取值為1時，新的權(quán)值變化則是設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了促使權(quán)值的調(diào)節(jié)向著誤差曲面底部的平均方向變化，當(dāng)網(wǎng)絡(luò)權(quán)值進入誤差曲面底部的平坦區(qū)時，δi將變得很小，于是，Δwij(k+1)≈Δwij(k)，從而防止了Δwij=0的出現(xiàn)，有助于使網(wǎng)絡(luò)從誤差曲面的局部極小值中跳出

1274.2附加動量法在MATLAB工具箱中，帶有動量因子的權(quán)值修正法是用函數(shù)learnbpm.m來實現(xiàn)的trainbpm.m可以訓(xùn)練一層直至三層的帶有附加動量因子的反向傳播網(wǎng)絡(luò)下面是對單層網(wǎng)絡(luò)使用函數(shù)trainbpm.m的情形：

[W，B，epochs，errors]＝

trainbpm(W，B，’F’，P，T，TP)1284.3誤差函數(shù)改進LMS誤差：當(dāng)ak趨向1時，E趨向一個常數(shù)，即處于E的平坦區(qū)，f’(n)→0，可能造成完全訓(xùn)練的麻痹現(xiàn)象當(dāng)一個網(wǎng)絡(luò)的誤差曲面存在著平坦區(qū)時，可以選用別的誤差函數(shù)f(tk,ak)來代替(tk-ak)2的形式，只要其函數(shù)在ak=tk時能達到最小值1294.3誤差函數(shù)改進包穆(Baum)等人于1988年提出一種誤差函數(shù)為不會產(chǎn)生不能完全訓(xùn)練的麻痹現(xiàn)象1304.3誤差函數(shù)改進與常規(guī)的誤差函數(shù)的情況δij=f’(n)(tk-ak)相比較，其中的f’(n)項消失了當(dāng)n增大，進入激活函數(shù)的平坦區(qū)，使f’(n)→0時，不會產(chǎn)生不能完全訓(xùn)練的麻痹現(xiàn)象但由于失去了f’(n)對Δw的控制作用，過大的Δw又有可能導(dǎo)致網(wǎng)絡(luò)過調(diào)或振蕩

1989年，范爾曼(S.Fahlman)提出一種折中的方案，即取δk＝[f’(n)+0.1](tk-ak)一方面恢復(fù)了f’(n)的某些影響另一方面當(dāng)|n|變大時，仍能保持δk有一定的大小，從而避免了麻痹現(xiàn)象的發(fā)生

1314.4自適應(yīng)學(xué)習(xí)速率通常調(diào)節(jié)學(xué)習(xí)速率的準則是，檢查權(quán)值的修正值是否真正降低了誤差函數(shù)，如果確實如此，則說明所選取的學(xué)習(xí)速率值小了，可以對其增加一個量；否則可認為產(chǎn)生過調(diào)，應(yīng)該減小學(xué)習(xí)速率的值一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式1324.4自適應(yīng)學(xué)習(xí)速率MATLAB工具箱中帶有自適應(yīng)學(xué)習(xí)速率進行反向傳播訓(xùn)練的函數(shù)為trainbpa.m可訓(xùn)練直至三層網(wǎng)絡(luò)。使用方法

[W,B,epochs,TE]＝trainbpa(W,

B,’F’,P,T,TP)可以將動量法和自適應(yīng)學(xué)習(xí)速率結(jié)合起來以利用兩方面的優(yōu)點。這個技術(shù)已編入函數(shù)trainbpx.m之中函數(shù)的調(diào)用和其他函數(shù)一樣,只是需要更多的初始參數(shù)而已TP＝[disp_freqmax_epocherror_goallr1r_inc1r_decmom_consterr_ratio]；[W,B,epochs,[error;lr]]＝trainbpx(W,B,’F’,P,T,TP)133五、內(nèi)容小結(jié)內(nèi)容安排一、內(nèi)容回顧二、BP網(wǎng)絡(luò)三、網(wǎng)絡(luò)設(shè)計四、改進BP網(wǎng)絡(luò)134五、內(nèi)容小結(jié)反向傳播法可以用來訓(xùn)練具有可微激活函數(shù)的多層前向網(wǎng)絡(luò),以進行函數(shù)逼近，模式分類等工作反向傳播網(wǎng)絡(luò)的結(jié)構(gòu)不完全受所要解決的問題所限制。網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問題的要求所決定輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設(shè)計者來決定的已經(jīng)證明，兩層S型線性網(wǎng)絡(luò)，如果S型層有足夠的神經(jīng)元，則能夠訓(xùn)練出任意輸入和輸出之間的有理函數(shù)關(guān)系135五、內(nèi)容小結(jié)反向傳播法沿著誤差表面的梯度下降，使網(wǎng)絡(luò)誤差最小，網(wǎng)絡(luò)有可能陷入局部極小值附加動量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面陷入低谷的可能性并有助于減少訓(xùn)練時間太大的學(xué)習(xí)速率導(dǎo)致學(xué)習(xí)的不穩(wěn)定，太小值又導(dǎo)致極長的訓(xùn)練時間。自適應(yīng)學(xué)習(xí)速率通過在保證穩(wěn)定訓(xùn)練的前提下，達到了合理的高速率，可以減少訓(xùn)練時間80％-90％的實際應(yīng)用都是采用反向傳播網(wǎng)絡(luò)的。改進技術(shù)可以用來使反向傳播法更加容易實現(xiàn)并需要更少的訓(xùn)練時間136下次講課內(nèi)容反饋網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)137作業(yè)

用BP神經(jīng)網(wǎng)絡(luò)對一個簡單的非線性神經(jīng)元進行訓(xùn)練。輸入矢量p=[-3 2]目標(biāo)矢量t=[0.40.8]138P=[-32];T=[0.40.8];net=newff(minmax(P),[6,1],{'tansig','purelin'},'traingdm');%傳遞函數(shù)的第一層選用tansig函數(shù),第二層則選用purelin

函數(shù);

%訓(xùn)練函數(shù)采用帶動量因子訓(xùn)練算法traingdx

函數(shù)inputWeights=net.IW{1,1};inputbias=net.b{1};%參數(shù)設(shè)置layerWeights=net.LW{2,1};layerbias=net.b{2};net.trainParam.show=50;net.trainParam.lr=0.01;net.trainParam.mc=0.80;net.trainParam.epochs=1000;net.trainParam.goal=1e-3;net=train(net,P,T);A=sim(net,P);E=T-A;MSE=mse(E);帶動量因子訓(xùn)練算法139140徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)徑向基函數(shù)（RadialBasisFunction，簡稱RBF）神經(jīng)網(wǎng)絡(luò)是一種三層前向神經(jīng)網(wǎng)絡(luò)。RBF神經(jīng)網(wǎng)絡(luò)只有一個隱層，隱層單元的轉(zhuǎn)移函數(shù)采用徑向基函數(shù)，以對輸入層的激勵產(chǎn)生局部化響應(yīng)，即僅當(dāng)輸入落在輸入空間中某一指定的小范圍內(nèi)時，隱層單元才會作出有意義的非零響應(yīng)。輸出節(jié)點對各隱層單元的輸出求加權(quán)和。輸入單元和隱層單元的連接權(quán)值固定為1，只有隱層單元和輸出單元的連接權(quán)值可調(diào)。

RBF訓(xùn)練速度快，具有很好的通用性。141徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（RBF)

其輸出是由隱節(jié)點基函數(shù)的線性組合計算得到。隱節(jié)點的基函數(shù)只對輸入空間中的一個很小區(qū)域產(chǎn)生非零響應(yīng)。隱層神經(jīng)元將輸入空間映射到一個新的空間,輸出層在該空間中實現(xiàn)線性組合。徑向基函數(shù)網(wǎng)絡(luò)是一種兩層前向網(wǎng)絡(luò),如圖所示:142

徑向基函數(shù)常采用高斯函數(shù)作為非線性映射函數(shù),不失一般性,對于單個輸出的RBF網(wǎng)絡(luò)來說,其第k個隱單元對應(yīng)的輸出為：

-------歐幾里德范數(shù)------第i個輸入向量-------第k個隱層節(jié)點的中心------第k個隱層節(jié)點的寬度整個網(wǎng)絡(luò)的輸出方程為:其中-------輸出空間與第k個隱層節(jié)點的連接權(quán)--------------隱層節(jié)點的總個數(shù)143海明（Hamming)神經(jīng)網(wǎng)絡(luò)

Hamming神經(jīng)網(wǎng)絡(luò)是實現(xiàn)誤差最小的最優(yōu)模式分類的一種神經(jīng)網(wǎng)絡(luò)模型，它根據(jù)網(wǎng)絡(luò)輸入與各樣本間的Hamming距離（互不相同的二值符號位數(shù)）對輸入模式進行分類。

Hamming網(wǎng)絡(luò)的基本結(jié)構(gòu)如下圖所示。x1x2xn-1xn……Hamming網(wǎng)145Hamming網(wǎng)的基本結(jié)構(gòu)Hamming網(wǎng)由高層及低層網(wǎng)兩部分組成。低層網(wǎng)主要用于計算輸入模式與諸樣本模式的匹配測度;高層網(wǎng)通過“側(cè)抑制”來檢出對應(yīng)于最佳匹配的那個輸出結(jié)點。Lippman等人的研究報告指出，在執(zhí)行模式分類時，Hamming網(wǎng)比Hopfield網(wǎng)有明顯的優(yōu)勢，如Hamming網(wǎng)所需的連接數(shù)與網(wǎng)絡(luò)節(jié)點數(shù)成線性關(guān)系，而Hopfield網(wǎng)所需的連接數(shù)與網(wǎng)絡(luò)結(jié)點成平方關(guān)系。另外，與前面的BP網(wǎng)相比，Hamming網(wǎng)有：收斂快、不會陷入局部最小、加入新樣本時不需重新學(xué)習(xí)等。146Hamming網(wǎng)的學(xué)習(xí)算法(1)賦連接權(quán)值及閾值

對低層

對高層表示從輸入i到結(jié)點j的權(quán)值，表示結(jié)點j的閾值；是高層網(wǎng)中從結(jié)點k到結(jié)點l的連接權(quán)值；是第j個樣本模式的第i個元素值；n為樣本或輸入模式的元素個數(shù)；m為樣本數(shù)目。147（2）用未知輸入模式進行初始化：148（3）按下式迭代，直到網(wǎng)絡(luò)收斂：已經(jīng)證明，只要參數(shù)選擇適當(dāng)，則Hamming網(wǎng)一定收斂。在最壞情況下，收斂的時間復(fù)雜度為O(P=ln(PN)).其中，P是Hamming網(wǎng)的容量（結(jié)點總數(shù)），N是輸入向量長度。149Hopfield網(wǎng)絡(luò)--（全)反饋網(wǎng)絡(luò)

1982年，美國加州工學(xué)院物理學(xué)家霍普菲爾德(J．Hopfield)發(fā)表了一篇對人工神經(jīng)網(wǎng)絡(luò)研究頗有影響的論文。151反饋網(wǎng)絡(luò)(RecurrentNetwork)，又稱自聯(lián)想記憶網(wǎng)絡(luò)其目的是為了設(shè)計一個網(wǎng)絡(luò)，儲存一組平衡點使得當(dāng)給網(wǎng)絡(luò)一組初始值時，網(wǎng)絡(luò)通過自行運行而最終收斂到這個設(shè)計的平衡點上。152反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動力學(xué)系統(tǒng)的動態(tài)特性。它所具有的主要特性為以下兩點：

第一、網(wǎng)絡(luò)系統(tǒng)具有若干個穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運動，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個穩(wěn)定的平衡狀態(tài)；

第二、系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計網(wǎng)絡(luò)的權(quán)值而被存儲到網(wǎng)絡(luò)中。

153反饋網(wǎng)絡(luò)通過網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于平衡狀態(tài)，得到聯(lián)想存儲或優(yōu)化計算的結(jié)果。在這里，著重關(guān)心的是網(wǎng)絡(luò)的穩(wěn)定性問題，研究的重點是怎樣得到和利用穩(wěn)定的反饋網(wǎng)絡(luò)?；羝辗茽柕戮W(wǎng)絡(luò)是單層對稱全反饋網(wǎng)絡(luò).154根據(jù)其激活函數(shù)的選取不同，可分:

離散型的霍普菲爾德網(wǎng)絡(luò)

(DiscreteHopfieldNeuralNetwork,DHNN)連續(xù)型的霍普菲爾德網(wǎng)絡(luò)

(ContinuousHopfieldNeuralNetwork,CHNN)155DHNN的激活函數(shù)為二值型的，其輸入、輸出為{0，1}或{-1，1}的反饋網(wǎng)絡(luò)，主要用于聯(lián)想記憶。CHNN的激活函數(shù)的輸入與輸出之間的關(guān)系為連續(xù)可微的單調(diào)上升函數(shù)，主要用于優(yōu)化計算。

1567．1霍普菲爾德網(wǎng)絡(luò)模型

圖7．1反饋網(wǎng)絡(luò)結(jié)構(gòu)圖

wsrr=s=n,可簡化157158159如果，并且是一個二值的硬函數(shù)，，那么它稱為帶閾值的DHNN。160在反饋網(wǎng)絡(luò)中如果其激活函數(shù)f(·)是一個二值型的硬函數(shù)，如圖7．2所示，即ai＝sgn(ni)，i＝l,2,…r，則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò)；如果ai=f(ni)中的f(·)為一個連續(xù)單調(diào)上升的有界函數(shù)，這類網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò)。圖7．3中所示為一個具有飽和線性激活函數(shù)，它滿足連續(xù)單調(diào)上升的有界函數(shù)的條件，常作為連續(xù)型的激活函數(shù)。

圖7．2DHNN中的激活函數(shù)

圖7．3CHNN中的激活函數(shù)

1617．2狀態(tài)軌跡

設(shè)狀態(tài)矢量X=[x1,x2,…，xn]T，網(wǎng)絡(luò)的輸出矢量為A＝[a1，a2…，an]T.(r=s=n)在一個n維狀態(tài)空間上，可以用一條軌跡來描述狀態(tài)變化情況。從初始值X(t0)出發(fā)，X(t0+Δt)→X(t0+2Δt)→…→X(t0+mΔt).這些在空間上的點組成的確定軌跡，是演化過程中所有可能狀態(tài)的集合.我們稱這個狀態(tài)空間為相空間。

162圖7．4三維空間中的狀態(tài)軌跡

對于DHNN，因為X(t)中每個值只可能為±1，或{0，1}，對于確定的權(quán)值wij，其軌跡是跳躍的階梯式，如圖中A所示。對于CHNN，因為f(·)是連續(xù)的，因而，其軌跡也是連續(xù)的。如圖中B、C所示。

N(t)=x(t)X(t0)X(t)X(t0)X(t)X(t)x1x3x2163對于不同的連接權(quán)值wij和輸入Pj(j=1,2,…q)，反饋網(wǎng)絡(luò)狀態(tài)軌跡可能出現(xiàn)以下幾種情況。

7．2．1狀態(tài)軌跡為穩(wěn)定點

狀態(tài)軌跡從系統(tǒng)在t0時狀態(tài)的初值X(t0)開始，經(jīng)過一定的時間t(t＞0)后，到達X(t0+t).如果X(t0+t+Δt)=X(t0+t)，Δt＞0，則狀態(tài)X(t0+t)稱為網(wǎng)絡(luò)的穩(wěn)定點或平衡點。即反饋網(wǎng)絡(luò)從任一初始態(tài)X(0)開始運動，若存在某一有限時刻t，從t以后的網(wǎng)絡(luò)狀態(tài)不再發(fā)生變化：X(t+Δt)=X(t)，Δt＞0，則稱該網(wǎng)絡(luò)是穩(wěn)定的。處于穩(wěn)定時的網(wǎng)絡(luò)狀態(tài)叫做穩(wěn)定狀態(tài)，又稱為定吸引子。

164在一個反饋網(wǎng)絡(luò)中，存在很多穩(wěn)定點，根據(jù)不同情況，這些穩(wěn)定點可以分為：1)漸近穩(wěn)定點：如果在穩(wěn)定點Xe周圍的X(σ)區(qū)域內(nèi)，從任一個初始狀態(tài)X(t0)出發(fā)的每個運動，當(dāng)t→∞時都收斂于Xe，則稱Xe為漸近穩(wěn)定點。

2)不穩(wěn)定平衡點Xen：在某些特定的軌跡演化過程中，網(wǎng)絡(luò)能夠到達穩(wěn)定點Xen，但對于其它方向上的任意一個小的區(qū)域X(σ)，不管X(σ)取多么小，其軌跡在時間t以后總是偏離Xen；

1653)網(wǎng)絡(luò)的解：如果網(wǎng)絡(luò)最后穩(wěn)定到設(shè)計人員期望的穩(wěn)定點，且該穩(wěn)定點又是漸近穩(wěn)定點，那么這個點稱為網(wǎng)絡(luò)的解；

4)網(wǎng)絡(luò)的偽穩(wěn)定點：網(wǎng)絡(luò)最終穩(wěn)定到一個漸近穩(wěn)定點上，但這個穩(wěn)定點不是網(wǎng)絡(luò)設(shè)計所要求的解，這個穩(wěn)定點為偽穩(wěn)定點。1667．2．2狀態(tài)軌跡為極限環(huán)如果在某些參數(shù)的情況下，狀態(tài)X(t)的軌跡是一個圓，或一個環(huán)，狀態(tài)X(t)沿著環(huán)重復(fù)旋轉(zhuǎn)，永不停止，此時的輸出A(t)也出現(xiàn)周期變化，即出現(xiàn)振蕩，如圖7．4中C的軌跡即是極限環(huán)(limitedcircle)出現(xiàn)的情形。對于DHNN，軌跡變化可能在兩種狀態(tài)下來回跳動，其極限環(huán)為2。如果在m種狀態(tài)下循環(huán)變化，稱其極