神經(jīng)網(wǎng)絡(luò)綜述及簡單應(yīng)用實(shí)例課件-Matlab程序

第四講神經(jīng)網(wǎng)絡(luò)◆人工神經(jīng)網(wǎng)絡(luò)簡介◆神經(jīng)網(wǎng)絡(luò)工具箱◆應(yīng)用實(shí)例9/15/2023第一部分人工神經(jīng)網(wǎng)絡(luò)簡介以馮·諾依曼型計(jì)算機(jī)為中心的信息處理技術(shù)的高速發(fā)展，使得計(jì)算機(jī)在當(dāng)今的信息化社會中起著十分重要的作用。但是，當(dāng)用它來解決某些人工智能問題時卻遇到了很大的困難。例如，一個人可以很容易地識別他人的臉孔，但計(jì)算機(jī)則很難做到這一點(diǎn)。大腦是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡(luò)，它在本質(zhì)上不同于計(jì)算機(jī)，是一種大規(guī)模的并行處理系統(tǒng)，它具有學(xué)習(xí)、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方法。

人工神經(jīng)網(wǎng)絡(luò)來源于對人腦實(shí)際神經(jīng)網(wǎng)絡(luò)的模擬一、神經(jīng)網(wǎng)絡(luò)發(fā)展歷史１．背景知識

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwroks，簡稱ANN）是對人類大腦系統(tǒng)的一種仿真，簡單地講，它是一個數(shù)學(xué)模型，可以用電子線路來實(shí)現(xiàn)，也可以用計(jì)算機(jī)程序來模擬，是人工智能研究的一種方法。

實(shí)際上它是由大量的、功能比較簡單的形式神經(jīng)元互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用它可以模擬大腦的許多基本功能和簡單的思維方式。盡管它還不是大腦的完美元缺的模型，但它可以通過學(xué)習(xí)來獲取外部的知識并存貯在網(wǎng)絡(luò)內(nèi)，可以解決計(jì)算機(jī)不易處理的難題，特別是語音和圖像的識別、理解、知識的處理、組合優(yōu)化計(jì)算和智能控制等一系列本質(zhì)上是非計(jì)算的問題。

2．什么是人工神經(jīng)網(wǎng)絡(luò)1943年,美國心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitts在提出了一個簡單的神經(jīng)元模型，即MP模型。1958年，F(xiàn).Rosenblatt等研制出了感知機(jī)(Perceptron）。3．幾個發(fā)展階段第一次熱潮(40-60年代未)1982年，美國物理學(xué)家J.J.Hopfield提出Hopfield模型，它是一個互聯(lián)的非線性動力學(xué)網(wǎng)絡(luò)他解決問題的方法是一種反復(fù)運(yùn)算的動態(tài)過程,這是符號邏輯處理方法所不具備的性質(zhì).1987年首屆國際ANN大會在圣地亞哥召開，國際ANN聯(lián)合會成立，創(chuàng)辦了多種ANN國際刊物。1990年12月，北京召開首屆學(xué)術(shù)會議。低潮(70-80年代初)第二次熱潮1.

生物神經(jīng)元模型二、生物神經(jīng)元

生物神經(jīng)元模型就是一個簡單的信號處理器。樹突是神經(jīng)元的信號輸入通道，接受來自其他神經(jīng)元的信息。軸突是神經(jīng)元的信號輸出通道。信息的處理與傳遞主要發(fā)生在突觸附近。神經(jīng)元細(xì)胞體通過樹突接受脈沖信號，通過軸突傳到突觸前膜。當(dāng)脈沖幅度達(dá)到一定強(qiáng)度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)(乙酰膽堿)，使位于突觸后膜的離子通道(IonChannel)開放，產(chǎn)生離子流，從而在突觸后膜產(chǎn)生正的或負(fù)的電位，稱為突觸后電位。2.

生物神經(jīng)元模型的運(yùn)行機(jī)理

突觸有兩種：興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位。一個神經(jīng)元的各樹突和細(xì)胞體往往通過突觸和大量的其他神經(jīng)元相連接。這些突觸后電位的變化，將對該神經(jīng)元產(chǎn)生綜合作用，即當(dāng)這些突觸后電位的總和超過某一閻值時，該神經(jīng)元便被激活，并產(chǎn)生脈沖，而且產(chǎn)生的脈沖數(shù)與該電位總和值的大小有關(guān)。脈沖沿軸突向其他神經(jīng)元傳送，從而實(shí)現(xiàn)了神經(jīng)元之間信息的傳遞。

◆

連接權(quán)：

◆

求和單元：◆

激勵函數(shù)（響應(yīng)函數(shù)）：

三、人工神經(jīng)元模型1.

人工神經(jīng)元模型的三要素模型中為輸入信號，為輸出信號，為神經(jīng)元的閾值。該模型的數(shù)學(xué)表達(dá)式為：2.

人工神經(jīng)元模型的數(shù)學(xué)表達(dá)一3.

人工神經(jīng)元模型的數(shù)學(xué)表達(dá)二

◆閾值函數(shù)：

◆分段線性函數(shù)：

◆sigmoid函數(shù)：4.

激勵函數(shù)的形式

◆前饋型網(wǎng)絡(luò)：

◆反饋型網(wǎng)絡(luò)：輸入層隱層輸出層四、網(wǎng)絡(luò)結(jié)構(gòu)及工作方式1.

網(wǎng)絡(luò)結(jié)構(gòu)

◆學(xué)習(xí)期：

各計(jì)算單元狀態(tài)不變，各連接線上權(quán)值通過學(xué)習(xí)來修改

◆工作期：

連接權(quán)固定，計(jì)算單元狀態(tài)變化，以達(dá)到某種穩(wěn)定狀態(tài)2.

工作方式

◆有教師學(xué)習(xí)：

外界存在一個教師，對給定的一組輸入，提供應(yīng)有的輸出（標(biāo)準(zhǔn)答案），學(xué)習(xí)系統(tǒng)可根據(jù)實(shí)際輸出與標(biāo)準(zhǔn)答案之間的差值來調(diào)整系統(tǒng)參數(shù)學(xué)習(xí)系統(tǒng)教師環(huán)境輸入應(yīng)有響應(yīng)

+誤差信號實(shí)際響應(yīng)—

五、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法1.

學(xué)習(xí)方式◆無教師學(xué)習(xí)：學(xué)習(xí)系統(tǒng)按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律來調(diào)節(jié)自身參數(shù)環(huán)境學(xué)習(xí)系統(tǒng)動作輸出輸入狀態(tài)環(huán)境學(xué)習(xí)系統(tǒng)輸入◆強(qiáng)化學(xué)習(xí)：環(huán)境對系統(tǒng)輸出結(jié)果只給出評價信息（獎或懲），系統(tǒng)通過強(qiáng)化受獎動作來改善自身性能●考察神經(jīng)元k在n時刻的輸入和輸出

●

輸入：●實(shí)際輸出：

●應(yīng)有輸出：

●

由誤差信號構(gòu)造能量函數(shù)：

其中E(.)為求期望算子●求解最優(yōu)化問題：

●

得出系統(tǒng)參數(shù)：2.

學(xué)習(xí)規(guī)則通常情況下用時刻n的瞬時值代替J，即求解最優(yōu)化問題由數(shù)值迭代算法（如最速下降法、模擬退火算法等），可得其中為學(xué)習(xí)步長神經(jīng)學(xué)家Hebb提出的學(xué)習(xí)規(guī)則：當(dāng)某一連接兩端的神經(jīng)元同步激活（或同為抑制）時，該連接的強(qiáng)度應(yīng)增強(qiáng)，反之應(yīng)減弱，數(shù)學(xué)描述如下：其中分別為兩端神經(jīng)元的狀態(tài)最常用的一種情況是：3.

Hebb學(xué)習(xí)規(guī)則

對于多層網(wǎng)絡(luò)，由于有隱層后學(xué)習(xí)比較困難，限制了多層網(wǎng)絡(luò)的發(fā)展，BP算法的出現(xiàn)解決了這一困難。六、BP算法（向后傳播算法）

對于多層前饋型網(wǎng)絡(luò)，網(wǎng)絡(luò)中有兩種信號在流通，（1）工作信號，施加的輸入信號向前傳播直到在輸出層產(chǎn)生實(shí)際的輸出信號，是輸入信號和權(quán)值的函數(shù)

（2）誤差信號，網(wǎng)絡(luò)實(shí)際輸出與應(yīng)有輸出間的差值，它由輸出層開始逐層向后傳播1.

BP算法的原理下面推導(dǎo)用于多層前饋型網(wǎng)絡(luò)學(xué)習(xí)的BP算法

下面就逐個樣本學(xué)習(xí)的情況來推導(dǎo)BP算法如右圖，令單元j的凈輸入為則求對的梯度該單元的誤差信號為，定義單元j的平方誤差為，則輸出層總的平方誤差的瞬時值為:設(shè)在第n次迭代中某一層的第j個單元的輸出為2.

BP算法當(dāng)j單元所在層為輸出層時其中稱為局部梯度權(quán)值的修正量為當(dāng)j

單元所在層為隱層時權(quán)值的修正量為其中第二部分神經(jīng)網(wǎng)絡(luò)工具箱輸入層隱層輸出層一、BP網(wǎng)絡(luò)1.

構(gòu)造多層前向神經(jīng)網(wǎng)絡(luò)net=newff(A,B,{C},’trainfun’)

Matlab命令A(yù)是一個n×2的矩陣，第i行元素為輸入信號xi的最小值和最大值；參數(shù)說明B為一k維行向量，其元素為各隱層節(jié)點(diǎn)數(shù)；trainfun為學(xué)習(xí)規(guī)則采用的訓(xùn)練函數(shù)（常見訓(xùn)練函數(shù)如下表）。C為一k維字符串行向量，每一分量為對應(yīng)層神經(jīng)元的激勵函數(shù)；函數(shù)名功能函數(shù)名traingd梯度下降法traincgftraingdm勢能修正法traincgptraingdx自調(diào)整學(xué)習(xí)效率法traincgbtrainrp恢復(fù)BP法trainscgFR共軛梯度法trainbfgBFGS擬牛頓法PR共軛梯度法trainoss一步共軛+擬牛頓PB共軛梯度法trainlmLM法標(biāo)量共軛梯度法trainbrBayesian規(guī)范法2.

常見訓(xùn)練函數(shù)MATLAB中激勵函數(shù)為其字符串分別為：’logsig’，’tansig’，’purelin’3.

激勵函數(shù)除了需要輸入A,B,{C},’trainfun’外，還有些默認(rèn)的參數(shù)可修改，如下表4.

可修改參數(shù)參數(shù)名功能缺省值net.trainParam.goal目標(biāo)函數(shù)設(shè)定值0net.trainParam.epochs最大迭代次數(shù)100net.trainParam.show顯示中間結(jié)果的周期25net.trainParam.lr整批學(xué)習(xí)的學(xué)習(xí)效率0.01net.trainParam.mc勢能學(xué)習(xí)規(guī)則traingdm的勢能率0.9注：不同版本Matlab的可修改參數(shù)列表可能不同。

[net,tr,Y1,E]=train(net,X,Y)5.

BP網(wǎng)絡(luò)的訓(xùn)練與泛化網(wǎng)絡(luò)訓(xùn)練訓(xùn)練跟蹤信息訓(xùn)練后網(wǎng)絡(luò)網(wǎng)絡(luò)實(shí)際輸出誤差矩陣網(wǎng)絡(luò)訓(xùn)練函數(shù)未經(jīng)訓(xùn)練網(wǎng)絡(luò)網(wǎng)絡(luò)實(shí)際輸入網(wǎng)絡(luò)應(yīng)有輸出X為n×M矩陣，為輸入數(shù)據(jù)矩陣，M為樣本的組數(shù)。Y為m×M矩陣，為輸出數(shù)據(jù)矩陣。

訓(xùn)練結(jié)束后，對新的輸入點(diǎn)數(shù)據(jù)X2，調(diào)用sim函數(shù)進(jìn)行泛化，得出這些輸入點(diǎn)處的輸出矩陣Y2.數(shù)據(jù)泛化Y2=sim(net,X2)用經(jīng)過訓(xùn)練的網(wǎng)絡(luò)對于不是樣本集的輸入，計(jì)算出相應(yīng)的輸出。什么是數(shù)據(jù)泛化？例4-1由下面的語句生成一組數(shù)據(jù)x和y，用神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)擬合

x=0:.1:10;y=0.12*exp(-0.213*x)+0.54*exp(-0.17*x).*sin(1.23*x);可知(x,

y)是曲線上的點(diǎn)。x=0:.1:10;y=0.12*exp(-0.213*x)+0.54*exp(-0.17*x).*sin(1.23*x);net=newff([0,10],[5,1],{'tansig','tansig'});net.trainParam.epochs=1000;net=train(net,x,y);x0=0:.1:10;figure(1)y1=sim(net,x0);plot(x,y,'o',x0,y1,'r')

nntool命令產(chǎn)生神經(jīng)網(wǎng)絡(luò)圖形交互界面如下二、神經(jīng)網(wǎng)絡(luò)交互式界面第三部分應(yīng)用實(shí)例實(shí)例1.蠓蟲分類問題的神經(jīng)網(wǎng)絡(luò)方法

（1989年MCM競賽題目

）生物學(xué)家試圖對兩種蠓蟲（Af與Apf）進(jìn)行鑒別，依據(jù)的資料是觸角和翅膀的長度，已經(jīng)測得9只Af和6只Apf的數(shù)據(jù)如下：

9只Af觸角長：1.241.361.381.381.381.401.481.541.56翅膀長：1.721.741.641.821.901.701.821.822.086只