人工神經(jīng)網(wǎng)絡(luò)專家講座

人工神經(jīng)網(wǎng)絡(luò)

ArtificialNeuralNetworks東北大學(xué)數(shù)學(xué)系王琪wangqimath@126.com人工神經(jīng)網(wǎng)絡(luò)專家講座第1頁主要內(nèi)容生物神經(jīng)元人工神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)專家講座第2頁什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，簡記作ANN），是對人類大腦系統(tǒng)一階特征一個描述。簡單地講，它是一個數(shù)學(xué)模型，能夠用電子線路來實現(xiàn)，也能夠用計算機程序來模擬，是人工智能研究一個方法。人工神經(jīng)網(wǎng)絡(luò)專家講座第3頁人工神經(jīng)網(wǎng)絡(luò)概念1）

一組處理單元（PE或AN）；2）

處理單元激活狀態(tài)（ai）；3）

每個處理單元輸出函數(shù)（fi）；4）

處理單元之間聯(lián)接模式；5）

傳遞規(guī)則（∑wijoi）；6）

把處理單元輸入及當(dāng)前狀態(tài)結(jié)合起來產(chǎn)生激活值激活規(guī)則（Fi）；7）

經(jīng)過經(jīng)驗修改聯(lián)接強度學(xué)習(xí)規(guī)則；8）

系統(tǒng)運行環(huán)境（樣本集合）。

人工神經(jīng)網(wǎng)絡(luò)專家講座第4頁人工神經(jīng)網(wǎng)絡(luò)概念Simpson（1987年）人工神經(jīng)網(wǎng)絡(luò)是一個非線性有向圖，圖中含有能夠經(jīng)過改變權(quán)大小來存放模式加權(quán)邊，而且能夠從不完整或未知輸入找到模式。

人工神經(jīng)網(wǎng)絡(luò)專家講座第5頁生物神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)專家講座第6頁神經(jīng)元生物學(xué)解剖人工神經(jīng)網(wǎng)絡(luò)專家講座第7頁神經(jīng)元模型1細(xì)胞體細(xì)胞體是由很多分子形成綜合體，內(nèi)部含有一個細(xì)胞核、核糖體、原生質(zhì)網(wǎng)狀結(jié)構(gòu)等，它是神經(jīng)網(wǎng)絡(luò)活動能量供給地，并進(jìn)行新陳代謝等各種生化過程。2樹突細(xì)胞體伸延部分產(chǎn)生分支稱為樹突，樹突是接收從其它神經(jīng)元傳入信息入口。人工神經(jīng)網(wǎng)絡(luò)專家講座第8頁神經(jīng)元模型3軸突細(xì)胞體突起最長外伸管狀纖維稱為軸突，最長可達(dá)1m以上。軸突是將神經(jīng)元興奮信息傳到其它神經(jīng)元出口。4突觸一個神經(jīng)元與另一個神經(jīng)元之間相聯(lián)絡(luò)并進(jìn)行信息傳送結(jié)構(gòu)稱為突觸。神經(jīng)元是組成神經(jīng)網(wǎng)絡(luò)最基本單元（構(gòu)件）。人工神經(jīng)網(wǎng)絡(luò)專家講座第9頁生物神經(jīng)網(wǎng)六個基本特征：1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間聯(lián)接強度決定信號傳遞強弱；3）神經(jīng)元之間聯(lián)接強度是能夠隨訓(xùn)練改變；4）信號能夠是起刺激作用，也能夠是起抑制作用；5）一個神經(jīng)元接收信號累積效果決定該神經(jīng)元狀態(tài)；6)每個神經(jīng)元能夠有一個“閾值”。人工神經(jīng)網(wǎng)絡(luò)專家講座第10頁人工神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)專家講座第11頁人工神經(jīng)元

人工神經(jīng)元模型應(yīng)該含有生物神經(jīng)元六個基本特征。xnwn∑x1w1x2w2net=XW…人工神經(jīng)網(wǎng)絡(luò)專家講座第12頁人工神經(jīng)元基本組成

人工神經(jīng)元模擬生物神經(jīng)元一階特征。輸入：X=（x1，x2，…，xn）聯(lián)接權(quán)：W=（w1，w2，…，wn）T網(wǎng)絡(luò)輸入：

net=∑xiwi向量形式：

net=XWxnwn∑x1w1x2w2net=XW…人工神經(jīng)網(wǎng)絡(luò)專家講座第13頁激活函數(shù)(ActivationFunction)

激活函數(shù)——執(zhí)行對該神經(jīng)元所取得網(wǎng)絡(luò)輸入變換，也能夠稱為激勵函數(shù)、活化函數(shù)：o=f（net）

1、線性函數(shù)（LinerFunction）

f（net）=k*net+c

netooc人工神經(jīng)網(wǎng)絡(luò)專家講座第14頁2、非線性斜面函數(shù)(RampFunction)

γ ifnet≥θf（net）=k*net if|net|<θ -γ ifnet≤-θ

γ>0為一常數(shù)，被稱為飽和值，為該神經(jīng)元最大輸出。

人工神經(jīng)網(wǎng)絡(luò)專家講座第15頁2、非線性斜面函數(shù)（RampFunction）γ-γθ

-θ

net

o

人工神經(jīng)網(wǎng)絡(luò)專家講座第16頁3、閾值函數(shù)（ThresholdFunction）階躍函數(shù)

β ifnet>θf（net）= -γ ifnet≤θβ、γ、θ均為非負(fù)實數(shù)，θ為閾值二值形式：

1 ifnet>θf（net）= 0 ifnet≤θ雙極形式：

1 ifnet>θf（net）= -1 ifnet≤θ

人工神經(jīng)網(wǎng)絡(luò)專家講座第17頁3、閾值函數(shù)（ThresholdFunction）階躍函數(shù)β

-γθonet0人工神經(jīng)網(wǎng)絡(luò)專家講座第18頁4、S形函數(shù)

壓縮函數(shù)（SquashingFunction）和邏輯斯特函數(shù)（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d為常數(shù)。它飽和值為a和a+b。最簡單形式為：f（net）=1/(1+exp(-d*net))

函數(shù)飽和值為0和1。S形函數(shù)有很好增益控制

人工神經(jīng)網(wǎng)絡(luò)專家講座第19頁4、S形函數(shù)

a+bo(0,c)netac=a+b/2人工神經(jīng)網(wǎng)絡(luò)專家講座第20頁聯(lián)接模式人工神經(jīng)網(wǎng)絡(luò)專家講座第21頁聯(lián)接模式層次（又稱為“級”）劃分，造成了神經(jīng)元之間三種不一樣互連模式：1、層（級）內(nèi)聯(lián)接層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)（Intra-field）聯(lián)接或側(cè)聯(lián)接（Lateral）。用來加強和完成層內(nèi)神經(jīng)元之間競爭2、

循環(huán)聯(lián)接反饋信號。

人工神經(jīng)網(wǎng)絡(luò)專家講座第22頁聯(lián)接模式3、層（級）間聯(lián)接

層間（Inter-field）聯(lián)接指不一樣層中神經(jīng)元之間聯(lián)接。這種聯(lián)接用來實現(xiàn)層間信號傳遞人工神經(jīng)網(wǎng)絡(luò)專家講座第23頁ANN網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)專家講座第24頁網(wǎng)絡(luò)分層結(jié)構(gòu)

簡單單級網(wǎng)

……x1x2…xno1o2omwnmw11w1mw2mwn1輸出層輸入層 人工神經(jīng)網(wǎng)絡(luò)專家講座第25頁簡單單級網(wǎng)W=（wij）輸出層第j個神經(jīng)元網(wǎng)絡(luò)輸入記為netj：

netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=（net1，net2，…，netm）NET=XWO=F（NET）人工神經(jīng)網(wǎng)絡(luò)專家講座第26頁單級橫向反饋網(wǎng)輸出層x1o1w11w1mx2o2w2m………xnomwn1輸入層 V人工神經(jīng)網(wǎng)絡(luò)專家講座第27頁單級橫向反饋網(wǎng)

V=（vij）NET=XW+OVO=F（NET）時間參數(shù)——神經(jīng)元狀態(tài)在主時鐘控制下同時改變考慮X總加在網(wǎng)上情況NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1))O（0）=0考慮僅在t=0時加X情況。

穩(wěn)定性判定人工神經(jīng)網(wǎng)絡(luò)專家講座第28頁多級網(wǎng)輸出層隱藏層輸入層o1o2om…x1x2xn………………人工神經(jīng)網(wǎng)絡(luò)專家講座第29頁層次劃分

信號只被允許從較低層流向較高層。層號確定層高低：層號較小者，層次較低，層號較大者，層次較高。輸入層：被記作第0層。該層負(fù)責(zé)接收來自網(wǎng)絡(luò)外部信息輸出層隱藏層輸入層o1o2om…x1x2xn………………人工神經(jīng)網(wǎng)絡(luò)專家講座第30頁第j層：第j-1層直接后繼層（j>0），它直接接收第j-1層輸出。輸出層：它是網(wǎng)絡(luò)最終一層，含有該網(wǎng)絡(luò)最大層號，負(fù)責(zé)輸出網(wǎng)絡(luò)計算結(jié)果。隱藏層：除輸入層和輸出層以外其它各層叫隱藏層。隱藏層不直接接收外界信號，也不直接向外界發(fā)送信號輸出層隱藏層輸入層o1o2om…x1x2xn………………人工神經(jīng)網(wǎng)絡(luò)專家講座第31頁約定

:輸出層層號為該網(wǎng)絡(luò)層數(shù)：n層網(wǎng)絡(luò)，或n級網(wǎng)絡(luò)。第j-1層到第j層聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對應(yīng)矩陣叫輸出層聯(lián)接矩陣。今后，在需要時候，普通我們用W（j）表示第j層矩陣。輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)人工神經(jīng)網(wǎng)絡(luò)專家講座第32頁多級網(wǎng)——h層網(wǎng)絡(luò)輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)人工神經(jīng)網(wǎng)絡(luò)專家講座第33頁循環(huán)網(wǎng)x1o1輸出層隱藏層輸入層x2o2omxn…………………人工神經(jīng)網(wǎng)絡(luò)專家講座第34頁循環(huán)網(wǎng)

假如將輸出信號反饋到輸入端,就可組成一個多層循環(huán)網(wǎng)絡(luò)。輸入原始信號被逐步地“加強”、被“修復(fù)”。大腦短期記憶特征——看到東西不是一下子就從腦海里消失。穩(wěn)定：反饋信號會引發(fā)網(wǎng)絡(luò)輸出不停改變。我們希望這種改變逐步減小，而且最終能消失。當(dāng)改變最終消失時，網(wǎng)絡(luò)到達(dá)了平衡狀態(tài)。假如這種改變不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定。

人工神經(jīng)網(wǎng)絡(luò)專家講座第35頁人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)專家講座第36頁人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練

人工神經(jīng)網(wǎng)絡(luò)最含有吸引力特點是它學(xué)習(xí)能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)能夠?qū)W會它能夠表示任何東西。人工神經(jīng)網(wǎng)絡(luò)表示能力大大地限制了它學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程就是對它訓(xùn)練過程人工神經(jīng)網(wǎng)絡(luò)專家講座第37頁無導(dǎo)師學(xué)習(xí)

無導(dǎo)師學(xué)習(xí)(UnsupervisedLearning)與無導(dǎo)師訓(xùn)練(UnsupervisedTraining)相對應(yīng)

無導(dǎo)師訓(xùn)練方法不需要目標(biāo)，其訓(xùn)練集中只含一些輸入向量，訓(xùn)練算法致力于修改權(quán)矩陣，以使網(wǎng)絡(luò)對一個輸入能夠給出相容輸出，即相同輸入向量能夠得到相同輸出向量。抽取樣本集合中蘊含統(tǒng)計特征，并以神經(jīng)元之間聯(lián)接權(quán)形式存于網(wǎng)絡(luò)中。人工神經(jīng)網(wǎng)絡(luò)專家講座第38頁無導(dǎo)師學(xué)習(xí)Hebb學(xué)習(xí)律、競爭與協(xié)同（CompetitiveandCooperative）學(xué)習(xí)、隨機聯(lián)接系統(tǒng)（RandomlyConnectedLearning）等。Hebb算法[D.O.Hebb在1961年]關(guān)鍵：當(dāng)兩個神經(jīng)元同時處于激發(fā)狀態(tài)時被加強，不然被減弱。數(shù)學(xué)表示式表示：Wij（t+1）=Wij（t）+αoi（t）oj（t）人工神經(jīng)網(wǎng)絡(luò)專家講座第39頁有導(dǎo)師學(xué)習(xí)

有導(dǎo)師學(xué)習(xí)(SupervisedLearning)與有導(dǎo)師訓(xùn)練(SupervisedTraining)相對應(yīng)。輸入向量與其對應(yīng)輸出向量組成一個“訓(xùn)練對”。有導(dǎo)師學(xué)習(xí)訓(xùn)練算法主要步驟包含：

1）

從樣本集合中取一個樣本（Ai，Bi）；

2）

計算出網(wǎng)絡(luò)實際輸出O；

3）

求D=Bi-O；

4）

依據(jù)D調(diào)整權(quán)矩陣W；

5）對每個樣本重復(fù)上述過程，直到對整個樣本集來說，誤差不超出要求范圍。

人工神經(jīng)網(wǎng)絡(luò)專家講座第40頁Delta規(guī)則

Widrow和Hoff寫法：Wij(t+1)=Wij(t)+α(yj-aj(t))oi(t)也能夠?qū)懗桑篧ij(t+1)=Wij(t)+?Wij(t)?Wij(t)=αδjoi(t)δj=yj-aj(t)Grossberg寫法為：?Wij(t)=αai(t)(oj(t)-Wij(t))更普通Delta規(guī)則為：?Wij(t)=g