人工神經(jīng)網(wǎng)絡(luò)ppt課件

1、人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) Artificial Neural Networks東北大學(xué)數(shù)學(xué)系王琪wangqimath126主要內(nèi)容 生物神經(jīng)元生物神經(jīng)元 人工神經(jīng)元人工神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)構(gòu)造人工神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)構(gòu)造 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練什么是人工神經(jīng)網(wǎng)絡(luò)什么是人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)Artificial Neural Artificial Neural NetworksNetworks，簡記作，簡記作ANNANN，是對人類大腦系，是對人類大腦系統(tǒng)的一階特性的一種描畫。簡單地講，它統(tǒng)的一階特性的一種描畫。簡單地講，它是一個(gè)數(shù)學(xué)模型，可以用電子線路來實(shí)現(xiàn)，是一個(gè)

2、數(shù)學(xué)模型，可以用電子線路來實(shí)現(xiàn)，也可以用計(jì)算機(jī)程序來模擬，是人工智能也可以用計(jì)算機(jī)程序來模擬，是人工智能研討的一種方法。研討的一種方法。人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念 1一組處置單元一組處置單元PE或或AN； 2處置單元的激活形狀處置單元的激活形狀ai； 3每個(gè)處置單元的輸出函數(shù)每個(gè)處置單元的輸出函數(shù)fi； 4處置單元之間的聯(lián)接方式；處置單元之間的聯(lián)接方式； 5傳送規(guī)那么傳送規(guī)那么wijoi； 6把處置單元的輸入及當(dāng)前形狀結(jié)合起來產(chǎn)生把處置單元的輸入及當(dāng)前形狀結(jié)合起來產(chǎn)生激活值的激活規(guī)那么激活值的激活規(guī)那么Fi； 7經(jīng)過閱歷修正聯(lián)接強(qiáng)度的學(xué)習(xí)規(guī)那么；經(jīng)過閱歷修正聯(lián)接強(qiáng)度的學(xué)習(xí)規(guī)那么； 8

3、系統(tǒng)運(yùn)轉(zhuǎn)的環(huán)境樣本集合。系統(tǒng)運(yùn)轉(zhuǎn)的環(huán)境樣本集合。人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)的概念 Simpson1987年年 人工神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性的有向圖，圖人工神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性的有向圖，圖中含有可以經(jīng)過改動權(quán)大小來存放方式的中含有可以經(jīng)過改動權(quán)大小來存放方式的加權(quán)邊，并且可以從不完好的或未知的輸加權(quán)邊，并且可以從不完好的或未知的輸入找到方式。入找到方式。 生物神經(jīng)元模型神經(jīng)元的生物學(xué)解剖神經(jīng)元模型1 細(xì)胞體細(xì)胞體是由很多分子構(gòu)成的綜合體，內(nèi)部含有一個(gè)細(xì)胞核、核糖體、原生質(zhì)網(wǎng)狀構(gòu)造等，它是神經(jīng)網(wǎng)絡(luò)活動的能量供應(yīng)地，并進(jìn)展新陳代謝等各種生化過程。2 樹突細(xì)胞體的伸延部分產(chǎn)生的分支稱為樹突，樹突是接受

4、從其他神經(jīng)元傳入信息的入口。神經(jīng)元模型3 軸突細(xì)胞體突起的最長的外伸管狀纖維稱為軸突，最長可達(dá)1m以上。軸突是將神經(jīng)元興奮的信息傳到其他神經(jīng)元的出口。4 突觸一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元之間相聯(lián)絡(luò)并進(jìn)展信息傳送的構(gòu)造稱為突觸。神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最根本單元構(gòu)件。生物神經(jīng)網(wǎng)生物神經(jīng)網(wǎng) 六個(gè)根本特征：六個(gè)根本特征： 1神經(jīng)元及其聯(lián)接；神經(jīng)元及其聯(lián)接； 2神經(jīng)元之間的聯(lián)接強(qiáng)度決議信號傳送的強(qiáng)神經(jīng)元之間的聯(lián)接強(qiáng)度決議信號傳送的強(qiáng)弱；弱； 3神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改動神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改動的；的； 4信號可以是起刺激作用的，也可以是起抑信號可以是起刺激作用的，也可以是起抑制造用的；

5、制造用的； 5一個(gè)神經(jīng)元接受的信號的累積效果斷定該一個(gè)神經(jīng)元接受的信號的累積效果斷定該神經(jīng)元的形狀；神經(jīng)元的形狀； 6)每個(gè)神經(jīng)元可以有一個(gè)每個(gè)神經(jīng)元可以有一個(gè)“閾值。閾值。人工神經(jīng)元人工神經(jīng)元人工神經(jīng)元 人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六個(gè)根本特性。個(gè)根本特性。xn wnx1 w1x2 w2net=XW人工神經(jīng)元的根本構(gòu)成人工神經(jīng)元的根本構(gòu)成 人工神經(jīng)元模擬生物神經(jīng)元的一階特性。人工神經(jīng)元模擬生物神經(jīng)元的一階特性。 輸入：輸入：X=X=x1x1，x2x2，xnxn 聯(lián)接權(quán)：聯(lián)接權(quán)：W=W=w1w1，w2w2，wnwnT T 網(wǎng)絡(luò)輸入：網(wǎng)絡(luò)輸入：net=x

6、iwinet=xiwi 向量方式：向量方式：net=XWnet=XWxn wnx1 w1x2 w2net=XW激活函數(shù)激活函數(shù)(Activation Function) (Activation Function) 激活函數(shù)激活函數(shù)執(zhí)行對該神經(jīng)元所獲得的網(wǎng)執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為鼓勵函數(shù)、活絡(luò)輸入的變換，也可以稱為鼓勵函數(shù)、活化函數(shù)：化函數(shù)： o=f o=fnetnet 1 1、線性函數(shù)、線性函數(shù)Liner FunctionLiner Function f fnetnet=k=k* *net+c net+c netooc2、非線性斜面函數(shù)、非線性斜面函數(shù)(Ramp Fun

7、ction) if netfnet= k*netif |net|0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。 2、非線性斜面函數(shù)、非線性斜面函數(shù)Ramp Function - - net o 3、閾值函數(shù)、閾值函數(shù)Threshold Function階躍函數(shù)階躍函數(shù)if netfnet=-if net 、均為非負(fù)實(shí)數(shù)，均為非負(fù)實(shí)數(shù)，為閾值為閾值二值方式：二值方式：1if netfnet=0if net 雙極方式：雙極方式：1if netfnet=-1if net 3、閾值函數(shù)、閾值函數(shù)Threshold Function階躍函數(shù)階躍函數(shù) -onet04、S形函數(shù)形函數(shù) 緊縮函數(shù)緊縮函數(shù)Sq

8、uashing FunctionSquashing Function和邏輯斯和邏輯斯特函數(shù)特函數(shù)Logistic FunctionLogistic Function。f fnetnet=a+b/(1+exp(-d=a+b/(1+exp(-d* *net)net)a a，b b，d d為常數(shù)。它的飽和值為為常數(shù)。它的飽和值為a a和和a+ba+b。最簡單方式為：最簡單方式為：f fnetnet= 1/(1+exp(-d= 1/(1+exp(-d* *net)net) 函數(shù)的飽和值為函數(shù)的飽和值為0 0和和1 1。S S形函數(shù)有較好的增益控制形函數(shù)有較好的增益控制 4、S形函數(shù)形函數(shù) a+b o(

9、0,c)netac=a+b/2聯(lián)接方式聯(lián)接方式 層次又稱為層次又稱為“級的劃分，導(dǎo)致了神經(jīng)級的劃分，導(dǎo)致了神經(jīng)元之間的三種不同的互連方式：元之間的三種不同的互連方式： 1、 層級內(nèi)聯(lián)接層級內(nèi)聯(lián)接 層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)Intra-field聯(lián)接聯(lián)接或側(cè)聯(lián)接或側(cè)聯(lián)接Lateral。 用來加強(qiáng)和完成層內(nèi)神經(jīng)元之間的競爭用來加強(qiáng)和完成層內(nèi)神經(jīng)元之間的競爭 2、 循環(huán)聯(lián)接循環(huán)聯(lián)接 反響信號。反響信號。 聯(lián)接方式聯(lián)接方式 3、層級間聯(lián)接、層級間聯(lián)接 層間層間Inter-field聯(lián)接指不同層中的神經(jīng)聯(lián)接指不同層中的神經(jīng)元之間的聯(lián)接。這種聯(lián)接用來實(shí)現(xiàn)層間的元之間的聯(lián)接。這種聯(lián)接用來實(shí)現(xiàn)層

10、間的信號傳送信號傳送ANN的網(wǎng)絡(luò)構(gòu)造網(wǎng)絡(luò)的分層構(gòu)造網(wǎng)絡(luò)的分層構(gòu)造 簡單單級網(wǎng)簡單單級網(wǎng) x1x2xno1o2omwnmw11w1mw2mwn1輸出層輸出層輸入層輸入層簡單單級網(wǎng)簡單單級網(wǎng) W=wij 輸出層的第輸出層的第j個(gè)神經(jīng)元的網(wǎng)絡(luò)輸入記為個(gè)神經(jīng)元的網(wǎng)絡(luò)輸入記為netj： netj=x1w1j+x2w2j+xnwnj 其中其中, 1 j m。取。取 NET=net1，net2，netm NET=XW O=FNET單級橫向反響網(wǎng)單級橫向反響網(wǎng)輸出層輸出層x1o1w11w1mx2o2w2mxnomwn1輸入層輸入層V單級橫向反響網(wǎng)單級橫向反響網(wǎng) V=vij NET=XW+OV O=FNET 時(shí)

11、間參數(shù)時(shí)間參數(shù)神經(jīng)元的形狀在主時(shí)鐘的控制下同神經(jīng)元的形狀在主時(shí)鐘的控制下同步變化步變化 思索思索X總加在網(wǎng)上的情況總加在網(wǎng)上的情況 NETt+1=XtW+OtV O(t+1)=F(NET(t+1) O0=0 思索僅在思索僅在t=0時(shí)加時(shí)加X的情況。的情況。 穩(wěn)定性斷定穩(wěn)定性斷定多級網(wǎng)多級網(wǎng)輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xn 層次劃分層次劃分 信號只被允許從較低層流向較高層。信號只被允許從較低層流向較高層。 層號確定層的高低：層號較小者，層次較層號確定層的高低：層號較小者，層次較低，層號較大者，層次較高。低，層號較大者，層次較高。 輸入層：被記作第輸入層：被記作第0層。

12、該層擔(dān)任接納來自層。該層擔(dān)任接納來自網(wǎng)絡(luò)外部的信息網(wǎng)絡(luò)外部的信息輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xn 第第j層：第層：第j-1層的直接后繼層層的直接后繼層j0，它直接，它直接接受第接受第j-1層的輸出。層的輸出。 輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的最大層號，擔(dān)任輸出網(wǎng)絡(luò)的計(jì)算結(jié)果。最大層號，擔(dān)任輸出網(wǎng)絡(luò)的計(jì)算結(jié)果。 隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號直接向外界發(fā)送信號輸出層輸出層隱藏

13、層隱藏層輸入層輸入層o1o2omx1x2xn 商定商定 : : 輸出層的層號為該網(wǎng)絡(luò)的層數(shù)：輸出層的層號為該網(wǎng)絡(luò)的層數(shù)：n n層網(wǎng)絡(luò)，或?qū)泳W(wǎng)絡(luò)，或n n級網(wǎng)絡(luò)。級網(wǎng)絡(luò)。 第第j-1j-1層到第層到第j j層的聯(lián)接矩陣為第層的聯(lián)接矩陣為第j j層聯(lián)接矩陣，層聯(lián)接矩陣，輸出層對應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后，輸出層對應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后，在需求的時(shí)候，普通我們用在需求的時(shí)候，普通我們用W Wj j表示第表示第j j層層矩陣。矩陣。輸出層輸出層隱藏層隱藏層輸入層輸入層o1o2omx1x2xnW(1)W(2)W(3)W(h)多級網(wǎng)多級網(wǎng)h層網(wǎng)絡(luò)層網(wǎng)絡(luò)輸出層輸出層隱藏層隱藏層輸入層輸入層o1o

14、2omx1x2xnW(1)W(2)W(3)W(h)循環(huán)網(wǎng)循環(huán)網(wǎng)x1o1輸出層輸出層隱藏層隱藏層輸入層輸入層x2o2omxn循環(huán)網(wǎng)循環(huán)網(wǎng) 假設(shè)將輸出信號反響到輸入端假設(shè)將輸出信號反響到輸入端, ,就可構(gòu)成一個(gè)多層就可構(gòu)成一個(gè)多層的循環(huán)網(wǎng)絡(luò)。的循環(huán)網(wǎng)絡(luò)。 輸入的原始信號被逐漸地輸入的原始信號被逐漸地“加強(qiáng)、被加強(qiáng)、被“修復(fù)。修復(fù)。 大腦的短期記憶特征大腦的短期記憶特征看到的東西不是一下子看到的東西不是一下子就從腦海里消逝的。就從腦海里消逝的。 穩(wěn)定：反響信號會引起網(wǎng)絡(luò)輸出的不斷變化。我穩(wěn)定：反響信號會引起網(wǎng)絡(luò)輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消逝。當(dāng)們希望這種變化逐漸減小，并且最

15、后能消逝。當(dāng)變化最后消逝時(shí)，網(wǎng)絡(luò)到達(dá)了平衡形狀。假設(shè)這變化最后消逝時(shí)，網(wǎng)絡(luò)到達(dá)了平衡形狀。假設(shè)這種變化不能消逝，那么稱該網(wǎng)絡(luò)是不穩(wěn)定的。種變化不能消逝，那么稱該網(wǎng)絡(luò)是不穩(wěn)定的。 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)才干。學(xué)習(xí)才干。 19621962年，年，RosenblattRosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會它可以表達(dá)的任何東西。它可以表達(dá)的任何東西。 人工神經(jīng)網(wǎng)絡(luò)的表達(dá)才干大大地限制了它

16、人工神經(jīng)網(wǎng)絡(luò)的表達(dá)才干大大地限制了它的學(xué)習(xí)才干。的學(xué)習(xí)才干。 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對它的訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對它的訓(xùn)練過程過程無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí) 無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí)(Unsupervised Learning)(Unsupervised Learning)與無與無導(dǎo)師訓(xùn)練導(dǎo)師訓(xùn)練(Unsupervised Training)(Unsupervised Training)相對應(yīng)相對應(yīng) 無導(dǎo)師訓(xùn)練方法不需求目的，其訓(xùn)練集中無導(dǎo)師訓(xùn)練方法不需求目的，其訓(xùn)練集中只含一些輸入向量，訓(xùn)練算法努力于修正只含一些輸入向量，訓(xùn)練算法努力于修正權(quán)矩陣，以使網(wǎng)絡(luò)對一個(gè)輸入可以給出相權(quán)矩陣，以使網(wǎng)

17、絡(luò)對一個(gè)輸入可以給出相容的輸出，即類似的輸入向量可以得到類容的輸出，即類似的輸入向量可以得到類似的輸出向量。似的輸出向量。 抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性，并以神抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性，并以神經(jīng)元之間的聯(lián)接權(quán)的方式存于網(wǎng)絡(luò)中。經(jīng)元之間的聯(lián)接權(quán)的方式存于網(wǎng)絡(luò)中。無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí) Hebb學(xué)習(xí)律、競爭與協(xié)同學(xué)習(xí)律、競爭與協(xié)同Competitive and Cooperative學(xué)習(xí)、隨機(jī)聯(lián)接系統(tǒng)學(xué)習(xí)、隨機(jī)聯(lián)接系統(tǒng)Randomly Connected Learning等。等。 Hebb算法算法D. O. Hebb在在1961年年的中心：的中心： 當(dāng)兩個(gè)神經(jīng)元同時(shí)處于激發(fā)形狀時(shí)被加強(qiáng)，當(dāng)兩個(gè)神

18、經(jīng)元同時(shí)處于激發(fā)形狀時(shí)被加強(qiáng)，否那么被減弱。否那么被減弱。 數(shù)學(xué)表達(dá)式表示：數(shù)學(xué)表達(dá)式表示： Wijt+1=Wijt+oitojt有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí) 有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)(Supervised Learning)(Supervised Learning)與有導(dǎo)師訓(xùn)與有導(dǎo)師訓(xùn)練練(Supervised Training)(Supervised Training)相對應(yīng)。相對應(yīng)。 輸入向量與其對應(yīng)的輸出向量構(gòu)成一個(gè)輸入向量與其對應(yīng)的輸出向量構(gòu)成一個(gè)“訓(xùn)練對。訓(xùn)練對。 有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：1 1 從樣本集合中取一個(gè)樣本從樣本集合中取一個(gè)樣本AiAi，BiBi；2 2 計(jì)算出網(wǎng)絡(luò)的實(shí)踐輸出計(jì)算出網(wǎng)絡(luò)的實(shí)踐輸出O O； 3 3 求求D=Bi-OD=Bi-O；4 4 根據(jù)根據(jù)D D調(diào)整權(quán)矩陣調(diào)整權(quán)矩陣W W； 5 5 對每個(gè)樣本反復(fù)上述過程，直到對整個(gè)樣對每個(gè)樣本反復(fù)上述過程，直到對整個(gè)樣本集來說，誤差不超越規(guī)定范圍。本集來說，誤差不超越規(guī)定范圍。 Delta規(guī)那么規(guī)那么 Widrow和和Hoff的寫法：的寫法：Wij(t+1)=Wij(t)+(yj- aj(t)oi(t)也可以寫成：也可以寫成：Wij(t+1)=Wij(t)+ Wij(t) Wij(t)=joi(t)j=yj- aj(t)Grossber