人工神經(jīng)網(wǎng)絡(luò)1第1,2章

人工神經(jīng)網(wǎng)絡(luò)1第1,2章第1頁/共57頁2第2頁/共57頁3——第i個神經(jīng)元接收到的第j個神經(jīng)元送入的信號（二值量）

——突觸強(qiáng)度（第j個神經(jīng)元與第i個神經(jīng)元連接的權(quán)值）固定值

——第i個神經(jīng)元的閾值凈輸入：如果考慮輸入至輸出的延時作用（動態(tài)），表達(dá)式可修正為：第3頁/共57頁4

以上M-P模型只允許在二進(jìn)制狀態(tài)離散時間下操作，并且假設(shè)權(quán)值和閾值固定不變。因此，它是最古老的神經(jīng)元模型。2、通用的神經(jīng)元模型

1

一個靜態(tài)的神經(jīng)元模型f（.）y神經(jīng)元處理節(jié)點(diǎn)I第4頁/共57頁53、常用的功能函數(shù)（1）線性函數(shù)(3)s函數(shù)（又稱sigmoid函數(shù)）(2)硬限幅函數(shù)（包括符號函數(shù)）f(u)uu10fh(u)+1-10u10、5u00fs(u)第5頁/共57頁6

注：是單調(diào)上升函數(shù)，而且必須是有界函數(shù)。因?yàn)榧?xì)胞傳遞的信號不可能是無限增加，必有最大值?！?、5人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)、工作方式、學(xué)習(xí)（訓(xùn)練）及它的基本功能一、網(wǎng)絡(luò)的基本結(jié)構(gòu)1、單層前向網(wǎng)絡(luò)Q0

Qi

Qm－1

。。…

?！?/p>

?！?/p>

…ω00ω01ω0jω0,,N-1ωijωm-1,0ωm-1,N-1

第6頁/共57頁7a、對第i個神經(jīng)元而言b、對整個網(wǎng)絡(luò)而言第7頁/共57頁82、多層前向網(wǎng)絡(luò)（由單層級聯(lián)而成）

。?！?/p>

。

…

…

…

…輸出層隱含層（一般1～2層）輸入層輸入節(jié)點(diǎn)層（零層）第8頁/共57頁9注1：構(gòu)成多層網(wǎng)絡(luò)時，各層間的功能函數(shù)應(yīng)是非線性的，否則再多層的功能只能相當(dāng)于一層。設(shè)：兩層網(wǎng)絡(luò)，功能函數(shù)是線性的。將閾值放入X中，第9頁/共57頁103、反饋網(wǎng)絡(luò)輸入輸出ijωij

＝ωji

第10頁/共57頁11

注2：前向網(wǎng)絡(luò)主要是函數(shù)映射?？捎糜谀Ｊ阶R別和函數(shù)逼近和分類。

反饋網(wǎng)絡(luò)按對能量函數(shù)的極小點(diǎn)的利用來分類。

有兩種：（1）主要用作各種聯(lián)想存儲器

（2）主要用于求解最優(yōu)化問題

二、工作方式及學(xué)習(xí)（訓(xùn)練）1、工作方式主要分兩個階段：第一個階段是學(xué)習(xí)期，此時各計算單元狀態(tài)不變，各連線上的權(quán)值可通過學(xué)習(xí)來修改。（記憶）第二個階段是工作期，此時各連接權(quán)固定，計算單元狀態(tài)變化，以達(dá)到某種穩(wěn)定狀態(tài)。（分類、識別、逼近、聚類、等）2、學(xué)習(xí)（訓(xùn)練）（1）學(xué)習(xí)方式：（a）有監(jiān)督的學(xué)習(xí)（有導(dǎo)師的學(xué)習(xí)）：在學(xué)習(xí)開始前，要提供由已知輸入向量和應(yīng)該輸出變量所構(gòu)成的“樣本對”集——（導(dǎo)師）。該類學(xué)習(xí)多用為函數(shù)逼近、分類和模式識別等。（b）無監(jiān)督的學(xué)習(xí)：學(xué)習(xí)開始前，只提供由已知輸入向量所構(gòu)成的“樣本”集（訓(xùn)練集）。該類學(xué)習(xí)多用為聚類。第11頁/共57頁12樣本對集W輸出調(diào)整導(dǎo)師實(shí)際響應(yīng)誤差信號E－＋應(yīng)有的響應(yīng)訓(xùn)練集W（自動調(diào)節(jié)）輸出圖1有監(jiān)督學(xué)習(xí)的ANN圖2無監(jiān)督學(xué)習(xí)的ANN第12頁/共57頁13(2)學(xué)習(xí)算法（學(xué)習(xí)規(guī)則）a、誤差修正法或叫規(guī)則（有導(dǎo)師的學(xué)習(xí)）舉例：被訓(xùn)練網(wǎng)絡(luò)中的第i個神經(jīng)元

Ⅰ：首先隨機(jī)設(shè)置初始權(quán)重值

Ⅱ：t時刻加入樣本矢量當(dāng)輸入矢量第j個元素是時，“導(dǎo)師”期望輸出為而實(shí)際輸出產(chǎn)生誤差為

Ⅲ：

t時刻調(diào)整的規(guī)則為：

iωi0

ωi1ωijωiN－1yi第13頁/共57頁14b、Hebb規(guī)則（無監(jiān)督學(xué)習(xí)規(guī)則）神經(jīng)心理學(xué)家D.O.Hebb于1949年提出生物神經(jīng)元學(xué)習(xí)的假設(shè)：“當(dāng)某一突觸（連接）兩端的神經(jīng)元的激活同步時（同時興奮或同時抑制時），他們間的連接強(qiáng)度應(yīng)增加，反之則減弱?！奔僭O(shè)：具有代表性的、反映環(huán)境的一組樣本M個：每個樣本由N個元素構(gòu)成——

ij反映該樣本的的·特征第14頁/共57頁15Hebb規(guī)則Hebb規(guī)則表明：將全部M個樣本的第i個元素與第j個元素作相關(guān)運(yùn)算，以求得ωij

值。如果兩者符合越多，則ωij

值越大，也即兩神經(jīng)元之間連接權(quán)重越強(qiáng)。如果兩者符合越少，則ωij

值越小，也即兩神經(jīng)元之間連接權(quán)重越弱。第15頁/共57頁16第二章前向多層ANN§2、1概述§2、2采用硬限幅函數(shù)時，單個神經(jīng)元的分類功能單個神經(jīng)元分類對象——嚴(yán)格線性可分類“客體”“環(huán)境”。且只有兩類嚴(yán)格線性可分的“客體”——在n維空間中的兩類，總可以用某個超平面（可以不唯一）將他們嚴(yán)格分開。（1）若觀察向量X是二維（）集合R1C1類集合R2C2類第16頁/共57頁17（2）若觀察向量X是三維（）集合R1＝{}C1類集合R2＝{}C2類第17頁/共57頁18一、分類思想

分隔線L：在L上方的點(diǎn)必定使得：

在L下方的點(diǎn)必定使得：1、當(dāng)X（觀察矢量）是上述兩類時，可用單個神經(jīng)元硬限幅函數(shù)分類。由于

使得網(wǎng)絡(luò)權(quán)值R1R2。。

ω0ω1第18頁/共57頁19則此時的I＝0就是分隔線L該網(wǎng)絡(luò)具有的功能：2、類推：若觀察矢量X是“n維”的，只要客體是線性可分的兩類，總

可以由一個（n－1）維超平面S：分開兩類樣本。

使得訓(xùn)練后的權(quán)值滿足：

時：

時：

ω0ω1ωjωN-1……第19頁/共57頁20二、訓(xùn)練網(wǎng)絡(luò)的算法步驟1、準(zhǔn)備足夠的多個已知類別的訓(xùn)練“樣本對”集當(dāng)當(dāng)用樣本對集，對神經(jīng)網(wǎng)絡(luò)進(jìn)行“訓(xùn)練”，使網(wǎng)絡(luò)能自動調(diào)整到具有分類功能之權(quán)值系數(shù)和閾值2、將歸入中去，使得N維擴(kuò)成N＋1維3、設(shè)置初始權(quán)值4、依次逐個向神經(jīng)元送入訓(xùn)練樣本對

第20頁/共57頁215、調(diào)整實(shí)際輸出

三、算法收斂性的證明由左圖二維觀察樣本的證明為例，可以推及：無論X是多少維矢量，采用上述算法，只要足夠小，訓(xùn)練樣本足夠多，定能夠收斂到給出正確分類結(jié)果的權(quán)值矢量。第21頁/共57頁222、4采用硬限幅函數(shù)的前向多層ANN的分類功能一、采用硬限幅函數(shù)的前向兩層ANN的分類功能

1、分類對象——可分凸集合其中藍(lán)色花紋為可分凸集合，紅色花紋為非凸集合第22頁/共57頁23可分集合——若被區(qū)分的客體有M種類別，記為屬于各個類別的集合相互之間互不相交。

可分凸集合——屬于各個類別的集合每個都是凸集合，且互不相交。2、由一個凸集合說明分類思想

R0R1第23頁/共57頁24（1）對此凸集合R可用三條分割直線來描述，當(dāng)（2）由三個神經(jīng)元可以完成分類功能

ω00ω01ω02。。。第24頁/共57頁25(3)最后的判決由第二層輸出神經(jīng)元完成分類功能。又3、分類算法（1）第一層：

第一層所有權(quán)值包括閾值，有待于對訓(xùn)練樣本集（X,d）的學(xué)習(xí)后，自動調(diào)整（2）第二層：第25頁/共57頁26為了保證當(dāng)時，輸出，其它時刻則必須人為設(shè)置設(shè)置為2.5而不是2或者3，是為了防止網(wǎng)絡(luò)中出項(xiàng)干擾噪聲而引起誤判。4、推論：如果有3個可分凸集合，最簡單的方法可在第二層安排

3個輸出神經(jīng)元來分類。R2R3R1R0四條線五條線三條線第26頁/共57頁27第一層網(wǎng)絡(luò)權(quán)值系數(shù)由訓(xùn)練樣本對訓(xùn)練而得第二層網(wǎng)絡(luò)權(quán)值系數(shù)據(jù)三個集合之間邏輯關(guān)系人為設(shè)定。二、采用硬限幅函數(shù)前向三層網(wǎng)絡(luò)的分類功能1、分類對象——可分的非凸集合2、舉例說明分類思想：將一個非凸集合分成若干個可分凸集合

(1)將一個非凸集合

(2)用二層網(wǎng)絡(luò)判別兩個凸集合

(3)再根據(jù)兩個凸集合與非凸集合的邏輯關(guān)系，人為的設(shè)定3、推論：（1）M個互不相交的非凸集合分類時，可以在第三層安排M個神經(jīng)元。（2）以上算法可以推廣到n維空間的分類問題。用（n－1）維超平面代替二維空間中的直線。第27頁/共57頁284、缺陷當(dāng)客體不同類的集合相交時，上述方法沒有實(shí)用價值。（1）嚴(yán)格不可分“任何”直線都不可能嚴(yán)格分開（2）需要無數(shù)條直線才能分R1R2R2R1第28頁/共57頁292、5采用S型函數(shù)的前向多層神經(jīng)網(wǎng)絡(luò)及其逆推的學(xué)習(xí)算法（BP算法）其中：Q表示層神經(jīng)元的個數(shù)，則Q——

層輸出維數(shù)。

L表示(-1)層神經(jīng)元的個數(shù)，則L——

層輸入維數(shù)。

層權(quán)矩陣一、網(wǎng)絡(luò)結(jié)構(gòu)及各層之間輸入、輸出、權(quán)重系數(shù)之間的關(guān)系。1、通用層“

”（三層中的任意一層）第29頁/共57頁30

層凈輸入輸出若將閾值歸到輸入中去，則輸入增加一維。并令：此時：第30頁/共57頁312、三層M個神經(jīng)元Q3=M＝3Q2=KK個神經(jīng)元Q2=K＝2L2=J…………J個神經(jīng)元Q1=J＝1L1=N………第31頁/共57頁32二、學(xué)習(xí)算法按“最陡下降法”思想，導(dǎo)出采用S型函數(shù)時，前向三層網(wǎng)絡(luò)的LMS學(xué)習(xí)算法。1、指導(dǎo)思想（1）對于某個訓(xùn)練樣本矢量Xp,其分量

期望輸出的理想矢量（導(dǎo)師）Dp，其分量分析：第32頁/共57頁33（2）在一個樣本P輸入下，構(gòu)造輸出所有分量的誤差平方和（3）按照下降最快方向，尋找一個,使得最小。2、構(gòu)造算法的調(diào)整量（一步中的調(diào)整量）引用（2－41）式中用換J(k)構(gòu)造調(diào)整量實(shí)際輸出的矢量輸出誤差矢量第33頁/共57頁34第34頁/共57頁35第35頁/共57頁36第36頁/共57頁373、由調(diào)整公式（2－56）可得三層網(wǎng)絡(luò)調(diào)整公式如下：第37頁/共57頁384、上述調(diào)整公式，如果用矢量矩陣來表示，則更簡單。通用層:ijQ維L+1維第38頁/共57頁39第39頁/共57頁40第40頁/共57頁41第41頁/共57頁42BP算法訓(xùn)練網(wǎng)絡(luò)時有兩種方式：1：順序方式（標(biāo)準(zhǔn)BP）每個權(quán)調(diào)整節(jié)拍k只從訓(xùn)練集中取一個樣本訓(xùn)練。即每輸入一個訓(xùn)練樣本就修改一次權(quán)值。2：批處理方式（累積BP）每個權(quán)調(diào)整節(jié)拍k要從訓(xùn)練對集中取所有樣本來訓(xùn)練。即要等所有訓(xùn)練樣本輸入一次以后，才修改一次權(quán)值。第42頁/共57頁43權(quán)矩陣賦初值隨機(jī)輸入樣本對計算各層響應(yīng)及計算誤差計算每層梯度及權(quán)值修整量是否學(xué)完所有訓(xùn)練樣本？修整權(quán)矩陣結(jié)束第43頁/共57頁44權(quán)矩陣賦初值計算各層響應(yīng)及誤差迭代次數(shù)達(dá)限計算每層梯度權(quán)值修整量是否學(xué)完所有訓(xùn)練樣本？修整權(quán)矩陣結(jié)束輸入第一個樣本對送下一個樣本對第44頁/共57頁45三、在實(shí)用中考慮的一些問題第45頁/共57頁46§2.6按照BP算法進(jìn)行訓(xùn)練時的模擬試驗(yàn)實(shí)例T-C辨識問題：兩類圖形：一、要求：

對兩類圖形在四種旋轉(zhuǎn)角度下的8種圖形任意平移后，網(wǎng)絡(luò)能辨識分類。如：輸入T時，輸出y=1

輸入C時，輸出y=0第46頁/共57頁47輸入信號陣列接收場隱含層陣列輸出層=2隱含層=1λ1

y0規(guī)定：輸入信號陣列與隱含層所有神經(jīng)元的連接權(quán)，只要它在相對該神經(jīng)元的（3×3）小方陣中的位置相同，則權(quán)系數(shù)也就相同，恒保持一致。二、網(wǎng)絡(luò)結(jié)構(gòu)——前向二層網(wǎng)絡(luò)前向二層網(wǎng)絡(luò)圖如下：第47頁/共57頁48例如：三、學(xué)習(xí)步驟：1、按照前一節(jié)給出的逆推學(xué)習(xí)算法，算出網(wǎng)絡(luò)中的所有權(quán)重系數(shù)的調(diào)整量。i123j123k123輸入陣列第48頁/共57頁492、隱含層（）權(quán)系數(shù)調(diào)整把所有（3×3）小方陣對應(yīng)腳（如，第三腳）的權(quán)系數(shù)的調(diào)整量（開始各不相同）相加，總和∑形成所有（3×3）中對應(yīng)腳（第三腳）的總調(diào)整量。一共形成9個總的第一層權(quán)系數(shù)調(diào)整量用這9個總調(diào)整量去調(diào)整所有（3×3）中的分別在9個位置上的連接權(quán)系數(shù)。目的是使（3×3）中每個相應(yīng)位置權(quán)系數(shù)最終變得相同。3、輸出層（）權(quán)系數(shù)調(diào)整將層所有權(quán)系數(shù)調(diào)整量相加去調(diào)整輸出層所有權(quán)系數(shù)。目的，使輸出層每個權(quán)系數(shù)相同。由前可知：BP網(wǎng)絡(luò)任一層權(quán)系數(shù)，一旦相同，便永遠(yuǎn)保持一致。4、將8種圖形隨機(jī)抽選，隨機(jī)的置于接收場任何位置，一次的送入網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。第49頁/共57頁50四、學(xué)習(xí)結(jié)果1、當(dāng)輸T圖時，無論T如何旋轉(zhuǎn)，移動，在輸入信