人工神經(jīng)網(wǎng)絡(luò)建模(ArtificialNeuronNets)課件

人工神經(jīng)網(wǎng)絡(luò)建模（ArtificialNeuronNets）

一、引例

1981年生物學(xué)家格若根（W．Grogan）和維什（W．Wirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)．他們測量了這兩類蚊子每個(gè)個(gè)體的翼長和觸角長，數(shù)據(jù)如下：翼長觸角長類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af人工神經(jīng)網(wǎng)絡(luò)建模（ArtificialNeuronNet1問：如果抓到三只新的蚊子，它們的觸角長和翼長分別為(l.24,1.80);

(l.28，1.84)；（1.40，2.04）．問它們應(yīng)分別屬于哪一個(gè)種類？

解法一：

把翼長作縱坐標(biāo)，觸角長作橫坐標(biāo)；那么每個(gè)蚊子的翼長和觸角決定了坐標(biāo)平面的一個(gè)點(diǎn).其中6個(gè)蚊子屬于APf類；用黑點(diǎn)“·”表示；9個(gè)蚊子屬Af類；用小圓圈“?！北硎荆玫降慕Y(jié)果見圖1問：如果抓到三只新的蚊子，它們的觸角長和翼長分別為(l.242圖1飛蠓的觸角長和翼長

圖1飛蠓的觸角長和翼長3思路：作一直線將兩類飛蠓分開

例如；取A＝（1.44，2.10）和B＝(1.10，1.16)，過AB兩點(diǎn)作一條直線：

y＝1.47x-0.017，其中X表示觸角長；y表示翼長．

分類規(guī)則：設(shè)一個(gè)蚊子的數(shù)據(jù)為（x,y）,

如果y≥1.47x-0.017，則判斷蚊子屬Apf類；

如果y＜1.47x-0.017；則判斷蚊子屬Af類．

思路：作一直線將兩類飛蠓分開例如；取A＝（1.44，2.14分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于Apf類．圖2分類直線圖

分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于5?缺陷：根據(jù)什么原則確定分類直線？

若取A=(1.46,2.10),B=(1.1,1.6)不變，則分類直線變?yōu)閥=1.39x+0.071分類結(jié)果變?yōu)椋?/p>

(1.24,1.80)，

(1.40,2.04)屬于Apf類；

(1.28,1.84)屬于Af類

哪一分類直線才是正確的呢？

因此如何來確定這個(gè)判別直線是一個(gè)值得研究的問題．一般地講，應(yīng)該充分利用已知的數(shù)據(jù)信息來確定判別直線．?缺陷：根據(jù)什么原則確定分類直線？若取A=(1.46,2.6再如，如下的情形已經(jīng)不能用分類直線的辦法：

新思路：將問題看作一個(gè)系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關(guān)系。再如，如下的情形已經(jīng)不能用分類直線的辦法：新思路：將問題看7二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò)

大腦可視作為1000多億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)神經(jīng)元的解剖圖

圖3神經(jīng)元的解剖圖二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò)

大腦可視作為1000多億神經(jīng)元組成的神8神經(jīng)元的信息傳遞和處理是一種電化學(xué)活動．樹突由于電化學(xué)作用接受外界的刺激；通過胞體內(nèi)的活動體現(xiàn)為軸突電位，當(dāng)軸突電位達(dá)到一定的值則形成神經(jīng)脈沖或動作電位；再通過軸突末梢傳遞給其它的神經(jīng)元．從控制論的觀點(diǎn)來看；這一過程可以看作一個(gè)多輸入單輸出非線性系統(tǒng)的動態(tài)過程神經(jīng)網(wǎng)絡(luò)研究的兩個(gè)方面從生理上、解剖學(xué)上進(jìn)行研究從工程技術(shù)上、算法上進(jìn)行研究神經(jīng)元的信息傳遞和處理是一種電化學(xué)活動．樹突由于電化學(xué)作用接9三、人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuronNets,簡稱ANN）神經(jīng)元的數(shù)學(xué)模型

圖4神經(jīng)元的數(shù)學(xué)模型

三、人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuronNet10其中x＝（x1，…xm）T

輸入向量，y為輸出，wi是權(quán)系數(shù)；輸入與輸出具有如下關(guān)系：θ為閾值，f（X）是激發(fā)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù)．其中x＝（x1，…xm）T輸入向量，y為輸出，wi是權(quán)系數(shù)11例如，若記

取激發(fā)函數(shù)為符號函數(shù)

例如，若記取激發(fā)函數(shù)為符號函數(shù)12則

S型激發(fā)函數(shù)：

則S型激發(fā)函數(shù)：13或

注：若將閾值看作是一個(gè)權(quán)系數(shù)，-1是一個(gè)固定的輸入，另有m-1個(gè)正常的輸入，則（1）式也可表示為：

（1）‘

（1）‘

參數(shù)識別：假設(shè)函數(shù)形式已知，則可以從已有的輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。

或注：若將閾值看作是一個(gè)權(quán)系數(shù)，-1是一個(gè)固定的輸入，另有142、神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型

眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，例如下圖的含有中間層（隱層）的B-P網(wǎng)絡(luò)

圖5帶中間層的B-P網(wǎng)絡(luò)

2、神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，例如153、量變引起質(zhì)變------神經(jīng)網(wǎng)絡(luò)的作用（1）螞蟻群

一個(gè)螞蟻有50個(gè)神經(jīng)元，單獨(dú)的一個(gè)螞蟻不能做太多的事；甚至于不能很好活下去．但是一窩螞蟻；設(shè)有

10萬個(gè)體，那么這個(gè)群體相當(dāng)于500萬個(gè)神經(jīng)元（當(dāng)然不是簡單相加，這里只為說明方便而言）；那么它們可以覓食、搬家、圍攻敵人等等．3、量變引起質(zhì)變------神經(jīng)網(wǎng)絡(luò)的作用（1）螞蟻群16（2）網(wǎng)絡(luò)說話

人們把一本教科書用網(wǎng)絡(luò)把它讀出來（當(dāng)然需要通過光電，電聲的信號轉(zhuǎn)換）；開始網(wǎng)絡(luò)說的話像嬰兒學(xué)語那樣發(fā)出“巴、巴、巴”的聲響；但經(jīng)過B－P算法長時(shí)間的訓(xùn)練竟能正確讀出英語課本中90％的詞匯．從此用神經(jīng)網(wǎng)絡(luò)來識別語言和圖象形成一個(gè)新的熱潮．（2）網(wǎng)絡(luò)說話人們把一本教科書用網(wǎng)絡(luò)把它讀出來（當(dāng)然需要通174、人工神經(jīng)網(wǎng)絡(luò)的基本特點(diǎn)

（1）可處理非線性

（2）并行結(jié)構(gòu)．對神經(jīng)網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元來說；其運(yùn)算都是同樣的．這樣的結(jié)構(gòu)最便于計(jì)算機(jī)并行處理．

（3）具有學(xué)習(xí)和記憶能力．一個(gè)神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練學(xué)習(xí)判別事物；學(xué)習(xí)某一種規(guī)律或規(guī)則．神經(jīng)網(wǎng)絡(luò)可以用于聯(lián)想記憶．4、人工神經(jīng)網(wǎng)絡(luò)的基本特點(diǎn)（1）可處理非線性（2）并行結(jié)18（4）對數(shù)據(jù)的可容性大．在神經(jīng)網(wǎng)絡(luò)中可以同時(shí)使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù)（如好、中、差、及格、不及格等）．（5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來實(shí)現(xiàn)．如美國用256個(gè)神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識別手寫體的郵政編碼．（4）對數(shù)據(jù)的可容性大．在神經(jīng)網(wǎng)絡(luò)中可以同時(shí)使用量化數(shù)據(jù)和質(zhì)19四、反向傳播算法（B-P算法）

Backpropagationalgorithm算法的目的：根據(jù)實(shí)際的輸入與輸出數(shù)據(jù)，計(jì)算模型的參數(shù)（權(quán)系數(shù)）1．簡單網(wǎng)絡(luò)的B-P算法

四、反向傳播算法（B-P算法）Backpropagati20

圖6簡單網(wǎng)絡(luò)

圖6簡單網(wǎng)絡(luò)21假設(shè)有P個(gè)訓(xùn)練樣本，即有P個(gè)輸入輸出對（Ip,Tp）,p=1,…,P,

其中輸入向量為

,目標(biāo)輸出向量為（實(shí)際上的）

假設(shè)有P個(gè)訓(xùn)練樣本，即有P個(gè)輸入輸出對其中輸入向量為,22網(wǎng)絡(luò)輸出向量為

（理論上的）

記wij為從輸入向量的第j(j=1,…,m)個(gè)分量到輸出向量的第i(i=1,…,n)個(gè)分量的權(quán)重。通常理論值與實(shí)際值有一誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷地把與比較，并根據(jù)極小原則修改參數(shù)wij，使誤差平方和達(dá)最?。海╬=1,…,P）

（2）

網(wǎng)絡(luò)輸出向量為（理論上的）記wij為從輸入向量的第j(23記Delta學(xué)習(xí)規(guī)則:

（4）

（3）

表示遞推一次的修改量，則有稱為學(xué)習(xí)的速率

記Delta學(xué)習(xí)規(guī)則:（4）（3）表示遞推一次的修改24ipm=-1,wim=(第i個(gè)神經(jīng)元的閾值)（5）注：由（1）‘式，第i個(gè)神經(jīng)元的輸出可表示為特別當(dāng)f是線性函數(shù)時(shí)

（6）ipm=-1,wim=(第i個(gè)神經(jīng)元的閾值)25人工神經(jīng)網(wǎng)絡(luò)建模(ArtificialNeuronNets)課件26圖7多層前饋網(wǎng)絡(luò)

2．多層前饋網(wǎng)絡(luò)

圖7多層前饋網(wǎng)絡(luò)2．多層前饋網(wǎng)絡(luò)27假設(shè)：

（l）輸入層不計(jì)在層數(shù)之內(nèi)，它有N0個(gè)神經(jīng)元．設(shè)網(wǎng)絡(luò)共有L層；輸出層為第L層；第k層有Nk個(gè)神經(jīng)元．(2)設(shè)表示第k層第i神經(jīng)元所接收的信息wk(i,j)表示從第k-1層第j個(gè)元到第k層第i個(gè)元的權(quán)重，

表第k層第i個(gè)元的輸出假設(shè)：（l）輸入層不計(jì)在層數(shù)之內(nèi)，它有N0個(gè)神經(jīng)元．設(shè)網(wǎng)絡(luò)28（3）設(shè)層與層間的神經(jīng)元都有信息交換（否則，可設(shè)它們之間的權(quán)重為零）；但同一層的神經(jīng)元之間無信息傳輸．(4)設(shè)信息傳輸?shù)姆较蚴菑妮斎雽拥捷敵鰧臃较?；因此稱為前向網(wǎng)絡(luò)．沒有反向傳播信息．

（5）表示輸入的第j個(gè)分量．（3）設(shè)層與層間的神經(jīng)元都有信息交換（否則，可設(shè)它們之間的權(quán)29在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：（7）

其中表示第k層第i個(gè)元的閾值.在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：（7）其中表示第30（9）定理2對于具有多個(gè)隱層的前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S函數(shù)；且指標(biāo)函數(shù)取

（8）（9）定理2對于具有多個(gè)隱層的前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S31（10）則每個(gè)訓(xùn)練循環(huán)中按梯度下降時(shí)；其權(quán)重迭代公式為表示第-1層第個(gè)元對第層第個(gè)元輸入的第次迭代時(shí)的權(quán)重

（10）則每個(gè)訓(xùn)練循環(huán)中按梯度下降時(shí)；其權(quán)重迭代公式為表示第32其中

（12）（11）其中（12）（11）33BP算法

Step1

選定學(xué)習(xí)的數(shù)據(jù),p=1,…,P,隨機(jī)確定初始權(quán)矩陣W（0）Step2

用（10）式反向修正,直到用完所有學(xué)習(xí)數(shù)據(jù).用學(xué)習(xí)數(shù)據(jù)計(jì)算網(wǎng)絡(luò)輸出Step3

BP算法Step1選定學(xué)習(xí)的數(shù)據(jù),p=1,…,P,隨34五．應(yīng)用之例：蚊子的分類

已知的兩類蚊子的數(shù)據(jù)如表1：

五．應(yīng)用之例：蚊子的分類已知的兩類蚊子的數(shù)據(jù)如表1：35翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af目標(biāo)值0.90.90.90.10.90.90.90.1

翼長觸角長類別目標(biāo)值36翼長觸角長類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af目標(biāo)t0.10.10.10.10.10.10.1

翼長觸角長類別目標(biāo)t37輸入數(shù)據(jù)有15個(gè)，即,p=1,…,15;j=1,2;對應(yīng)15個(gè)輸出。建模：（輸入層，中間層，輸出層，每層的元素應(yīng)取多少個(gè)？）建立神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)有15個(gè)，即,p=1,…,15;j=1,238規(guī)定目標(biāo)為：當(dāng)t(1)=0.9時(shí)表示屬于Apf類，t(2)=0.1表示屬于Af類。設(shè)兩個(gè)權(quán)重系數(shù)矩陣為：規(guī)定目標(biāo)為：當(dāng)t(1)=0.9時(shí)表示屬于Apf類，t(239其中

（分析如下：

為第一層的輸出，同時(shí)作為第二層的輸入。為閾值

其中（分析如下：為第一層的輸出，同時(shí)作為第二層的輸入。為40其中，

為閾值，

為激勵函數(shù)

若令

（閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)）

則有：（作為一固定輸入）

其中，為閾值，為激勵函數(shù)若令（閾值作為固定輸入神經(jīng)元41取激勵函數(shù)為

取激勵函數(shù)為42則

=則

同樣，取

則=則同樣，取43令p=0具體算法如下：

（1）隨機(jī)給出兩個(gè)權(quán)矩陣的初值；例如用MATLAB軟件時(shí)可以用以下語句：

=rand(2,3);=rand(1,3);

(2)根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出

令p=0具體算法如下：（1）隨機(jī)給出兩個(gè)權(quán)矩陣的初值；例如44

取

=取=45（3）計(jì)算

因?yàn)樗?/p>

（4）取

（或其他正數(shù)，可調(diào)整大?。?/p>

計(jì)算

j=1,2,3（3）計(jì)算因?yàn)樗裕?）取（或其他正數(shù)，可調(diào)整大小）46j=1,2,3(5)計(jì)算

和

j=1,2,3,i=1,2,3,j=1,2,3(5)計(jì)算和j=1,2,3,i=1,47(6)p=p+1，轉(zhuǎn)（2）

注：僅計(jì)算一圈（p=1，2，…，15）是不夠的，直到當(dāng)各權(quán)重變化很小時(shí)停止，本例中，共計(jì)算了147圈，迭代了2205次。最后結(jié)果是：(6)p=p+1，轉(zhuǎn)（2）注：僅計(jì)算一圈（p=1，2，…48即網(wǎng)絡(luò)模型的解為：

=即網(wǎng)絡(luò)模型的解為：=49人工神經(jīng)網(wǎng)絡(luò)建模（ArtificialNeuronNets）

一、引例

1981年生物學(xué)家格若根（W．Grogan）和維什（W．Wirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)．他們測量了這兩類蚊子每個(gè)個(gè)體的翼長和觸角長，數(shù)據(jù)如下：翼長觸角長類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af人工神經(jīng)網(wǎng)絡(luò)建模（ArtificialNeuronNet50問：如果抓到三只新的蚊子，它們的觸角長和翼長分別為(l.24,1.80);

(l.28，1.84)；（1.40，2.04）．問它們應(yīng)分別屬于哪一個(gè)種類？

解法一：

把翼長作縱坐標(biāo)，觸角長作橫坐標(biāo)；那么每個(gè)蚊子的翼長和觸角決定了坐標(biāo)平面的一個(gè)點(diǎn).其中6個(gè)蚊子屬于APf類；用黑點(diǎn)“·”表示；9個(gè)蚊子屬Af類；用小圓圈“?！北硎荆玫降慕Y(jié)果見圖1問：如果抓到三只新的蚊子，它們的觸角長和翼長分別為(l.2451圖1飛蠓的觸角長和翼長

圖1飛蠓的觸角長和翼長52思路：作一直線將兩類飛蠓分開

例如；取A＝（1.44，2.10）和B＝(1.10，1.16)，過AB兩點(diǎn)作一條直線：

y＝1.47x-0.017，其中X表示觸角長；y表示翼長．

分類規(guī)則：設(shè)一個(gè)蚊子的數(shù)據(jù)為（x,y）,

如果y≥1.47x-0.017，則判斷蚊子屬Apf類；

如果y＜1.47x-0.017；則判斷蚊子屬Af類．

思路：作一直線將兩類飛蠓分開例如；取A＝（1.44，2.153分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于Apf類．圖2分類直線圖

分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于54?缺陷：根據(jù)什么原則確定分類直線？

若取A=(1.46,2.10),B=(1.1,1.6)不變，則分類直線變?yōu)閥=1.39x+0.071分類結(jié)果變?yōu)椋?/p>

(1.24,1.80)，

(1.40,2.04)屬于Apf類；

(1.28,1.84)屬于Af類

哪一分類直線才是正確的呢？

因此如何來確定這個(gè)判別直線是一個(gè)值得研究的問題．一般地講，應(yīng)該充分利用已知的數(shù)據(jù)信息來確定判別直線．?缺陷：根據(jù)什么原則確定分類直線？若取A=(1.46,2.55再如，如下的情形已經(jīng)不能用分類直線的辦法：

新思路：將問題看作一個(gè)系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關(guān)系。再如，如下的情形已經(jīng)不能用分類直線的辦法：新思路：將問題看56二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò)

大腦可視作為1000多億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)神經(jīng)元的解剖圖

圖3神經(jīng)元的解剖圖二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò)

大腦可視作為1000多億神經(jīng)元組成的神57神經(jīng)元的信息傳遞和處理是一種電化學(xué)活動．樹突由于電化學(xué)作用接受外界的刺激；通過胞體內(nèi)的活動體現(xiàn)為軸突電位，當(dāng)軸突電位達(dá)到一定的值則形成神經(jīng)脈沖或動作電位；再通過軸突末梢傳遞給其它的神經(jīng)元．從控制論的觀點(diǎn)來看；這一過程可以看作一個(gè)多輸入單輸出非線性系統(tǒng)的動態(tài)過程神經(jīng)網(wǎng)絡(luò)研究的兩個(gè)方面從生理上、解剖學(xué)上進(jìn)行研究從工程技術(shù)上、算法上進(jìn)行研究神經(jīng)元的信息傳遞和處理是一種電化學(xué)活動．樹突由于電化學(xué)作用接58三、人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuronNets,簡稱ANN）神經(jīng)元的數(shù)學(xué)模型

圖4神經(jīng)元的數(shù)學(xué)模型

三、人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuronNet59其中x＝（x1，…xm）T

輸入向量，y為輸出，wi是權(quán)系數(shù)；輸入與輸出具有如下關(guān)系：θ為閾值，f（X）是激發(fā)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù)．其中x＝（x1，…xm）T輸入向量，y為輸出，wi是權(quán)系數(shù)60例如，若記

取激發(fā)函數(shù)為符號函數(shù)

例如，若記取激發(fā)函數(shù)為符號函數(shù)61則

S型激發(fā)函數(shù)：

則S型激發(fā)函數(shù)：62或

注：若將閾值看作是一個(gè)權(quán)系數(shù)，-1是一個(gè)固定的輸入，另有m-1個(gè)正常的輸入，則（1）式也可表示為：

（1）‘

（1）‘

參數(shù)識別：假設(shè)函數(shù)形式已知，則可以從已有的輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。

或注：若將閾值看作是一個(gè)權(quán)系數(shù)，-1是一個(gè)固定的輸入，另有632、神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型

眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，例如下圖的含有中間層（隱層）的B-P網(wǎng)絡(luò)

圖5帶中間層的B-P網(wǎng)絡(luò)

2、神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，例如643、量變引起質(zhì)變------神經(jīng)網(wǎng)絡(luò)的作用（1）螞蟻群

一個(gè)螞蟻有50個(gè)神經(jīng)元，單獨(dú)的一個(gè)螞蟻不能做太多的事；甚至于不能很好活下去．但是一窩螞蟻；設(shè)有

10萬個(gè)體，那么這個(gè)群體相當(dāng)于500萬個(gè)神經(jīng)元（當(dāng)然不是簡單相加，這里只為說明方便而言）；那么它們可以覓食、搬家、圍攻敵人等等．3、量變引起質(zhì)變------神經(jīng)網(wǎng)絡(luò)的作用（1）螞蟻群65（2）網(wǎng)絡(luò)說話

人們把一本教科書用網(wǎng)絡(luò)把它讀出來（當(dāng)然需要通過光電，電聲的信號轉(zhuǎn)換）；開始網(wǎng)絡(luò)說的話像嬰兒學(xué)語那樣發(fā)出“巴、巴、巴”的聲響；但經(jīng)過B－P算法長時(shí)間的訓(xùn)練竟能正確讀出英語課本中90％的詞匯．從此用神經(jīng)網(wǎng)絡(luò)來識別語言和圖象形成一個(gè)新的熱潮．（2）網(wǎng)絡(luò)說話人們把一本教科書用網(wǎng)絡(luò)把它讀出來（當(dāng)然需要通664、人工神經(jīng)網(wǎng)絡(luò)的基本特點(diǎn)

（1）可處理非線性

（2）并行結(jié)構(gòu)．對神經(jīng)網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元來說；其運(yùn)算都是同樣的．這樣的結(jié)構(gòu)最便于計(jì)算機(jī)并行處理．

（3）具有學(xué)習(xí)和記憶能力．一個(gè)神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練學(xué)習(xí)判別事物；學(xué)習(xí)某一種規(guī)律或規(guī)則．神經(jīng)網(wǎng)絡(luò)可以用于聯(lián)想記憶．4、人工神經(jīng)網(wǎng)絡(luò)的基本特點(diǎn)（1）可處理非線性（2）并行結(jié)67（4）對數(shù)據(jù)的可容性大．在神經(jīng)網(wǎng)絡(luò)中可以同時(shí)使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù)（如好、中、差、及格、不及格等）．（5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來實(shí)現(xiàn)．如美國用256個(gè)神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識別手寫體的郵政編碼．（4）對數(shù)據(jù)的可容性大．在神經(jīng)網(wǎng)絡(luò)中可以同時(shí)使用量化數(shù)據(jù)和質(zhì)68四、反向傳播算法（B-P算法）

Backpropagationalgorithm算法的目的：根據(jù)實(shí)際的輸入與輸出數(shù)據(jù)，計(jì)算模型的參數(shù)（權(quán)系數(shù)）1．簡單網(wǎng)絡(luò)的B-P算法

四、反向傳播算法（B-P算法）Backpropagati69

圖6簡單網(wǎng)絡(luò)

圖6簡單網(wǎng)絡(luò)70假設(shè)有P個(gè)訓(xùn)練樣本，即有P個(gè)輸入輸出對（Ip,Tp）,p=1,…,P,

其中輸入向量為

,目標(biāo)輸出向量為（實(shí)際上的）

假設(shè)有P個(gè)訓(xùn)練樣本，即有P個(gè)輸入輸出對其中輸入向量為,71網(wǎng)絡(luò)輸出向量為

（理論上的）

記wij為從輸入向量的第j(j=1,…,m)個(gè)分量到輸出向量的第i(i=1,…,n)個(gè)分量的權(quán)重。通常理論值與實(shí)際值有一誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷地把與比較，并根據(jù)極小原則修改參數(shù)wij，使誤差平方和達(dá)最?。海╬=1,…,P）

（2）

網(wǎng)絡(luò)輸出向量為（理論上的）記wij為從輸入向量的第j(72記Delta學(xué)習(xí)規(guī)則:

（4）

（3）

表示遞推一次的修改量，則有稱為學(xué)習(xí)的速率

記Delta學(xué)習(xí)規(guī)則:（4）（3）表示遞推一次的修改73ipm=-1,wim=(第i個(gè)神經(jīng)元的閾值)（5）注：由（1）‘式，第i個(gè)神經(jīng)元的輸出可表示為特別當(dāng)f是線性函數(shù)時(shí)

（6）ipm=-1,wim=(第i個(gè)神經(jīng)元的閾值)74人工神經(jīng)網(wǎng)絡(luò)建模(ArtificialNeuronNets)課件75圖7多層前饋網(wǎng)絡(luò)

2．多層前饋網(wǎng)絡(luò)

圖7多層前饋網(wǎng)絡(luò)2．多層前饋網(wǎng)絡(luò)76假設(shè)：

（l）輸入層不計(jì)在層數(shù)之內(nèi)，它有N0個(gè)神經(jīng)元．設(shè)網(wǎng)絡(luò)共有L層；輸出層為第L層；第k層有Nk個(gè)神經(jīng)元．(2)設(shè)表示第k層第i神經(jīng)元所接收的信息wk(i,j)表示從第k-1層第j個(gè)元到第k層第i個(gè)元的權(quán)重，

表第k層第i個(gè)元的輸出假設(shè)：（l）輸入層不計(jì)在層數(shù)之內(nèi)，它有N0個(gè)神經(jīng)元．設(shè)網(wǎng)絡(luò)77（3）設(shè)層與層間的神經(jīng)元都有信息交換（否則，可設(shè)它們之間的權(quán)重為零）；但同一層的神經(jīng)元之間無信息傳輸．(4)設(shè)信息傳輸?shù)姆较蚴菑妮斎雽拥捷敵鰧臃较?；因此稱為前向網(wǎng)絡(luò)．沒有反向傳播信息．

（5）表示輸入的第j個(gè)分量．（3）設(shè)層與層間的神經(jīng)元都有信息交換（否則，可設(shè)它們之間的權(quán)78在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：（7）

其中表示第k層第i個(gè)元的閾值.在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：（7）其中表示第79（9）定理2對于具有多個(gè)隱層的前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S函數(shù)；且指標(biāo)函數(shù)取

（8）（9）定理2對于具有多個(gè)隱層的前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S80（10）則每個(gè)訓(xùn)練循環(huán)中按梯度下降時(shí)；其權(quán)重迭代公式為表示第-1層第個(gè)元對第層第個(gè)元輸入的第次迭代時(shí)的權(quán)重

（10）則每個(gè)訓(xùn)練循環(huán)中按梯度下降時(shí)；其權(quán)重迭代公式為表示第81其中

（12）（11）其中（12）（11）82BP算法

Step1

選定學(xué)習(xí)的數(shù)據(jù),p=1,…,P,隨機(jī)確定初始權(quán)矩陣W（0）Step2

用（10）式反向修正,直到用完所有學(xué)習(xí)數(shù)據(jù).用學(xué)習(xí)數(shù)據(jù)計(jì)算網(wǎng)絡(luò)輸出Step3

BP算法Step1選定學(xué)習(xí)的數(shù)據(jù),p=1,…,P,隨83五．應(yīng)用之例：蚊子的分類

已知的兩類蚊子的數(shù)據(jù)如表1：

五．應(yīng)用之例：蚊子的分類已知的兩類蚊子的數(shù)據(jù)如表1：84翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.