神經(jīng)網(wǎng)絡(luò)第二章

1、神經(jīng)網(wǎng)絡(luò)原理神經(jīng)網(wǎng)絡(luò)原理注：由last，next，序數(shù)詞要求不定式作定語，2. 感知器神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，大腦中實(shí)際的神經(jīng)網(wǎng)絡(luò)一般具有層次結(jié)構(gòu)層次結(jié)構(gòu)，同時(shí)結(jié)點(diǎn)間的連接很多屬于前饋連接，同時(shí)這種前饋連接構(gòu)成的網(wǎng)絡(luò)（前饋網(wǎng)絡(luò)）學(xué)習(xí)過程比較容易，所以首先討論前饋網(wǎng)絡(luò)模型。1958年心理學(xué)家frank rosenblatt及其合作者首先研究了這種前饋層次網(wǎng)絡(luò)模型，將其稱為感知器(perception)。2.1 感知器概述感知器實(shí)例 簡單感知器 兩層感知器2.1 感知器概述在感知器模型中，輸入圖形在感知器模型中，輸入圖形x=(x1, x2, xn)通過各通過各輸入端點(diǎn)分配給下一層的各結(jié)點(diǎn)

2、，這下一層稱為輸入端點(diǎn)分配給下一層的各結(jié)點(diǎn)，這下一層稱為中間層，它可以是一層或多層，最后通過輸出層中間層，它可以是一層或多層，最后通過輸出層結(jié)點(diǎn)得到輸出圖形結(jié)點(diǎn)得到輸出圖形y=(y1, y2, yn)。在這種前饋網(wǎng)絡(luò)模型中，沒有層內(nèi)聯(lián)接，也沒有在這種前饋網(wǎng)絡(luò)模型中，沒有層內(nèi)聯(lián)接，也沒有隔層的前饋聯(lián)接，每一個(gè)結(jié)點(diǎn)只能前饋聯(lián)接到其隔層的前饋聯(lián)接，每一個(gè)結(jié)點(diǎn)只能前饋聯(lián)接到其下一層的所有結(jié)點(diǎn)。下一層的所有結(jié)點(diǎn)。由于在早期對(duì)于含有隱蔽層的多層感知器沒有可由于在早期對(duì)于含有隱蔽層的多層感知器沒有可行的訓(xùn)練算法，所以初期研究的感知器是行的訓(xùn)練算法，所以初期研究的感知器是一層感一層感知器知器（或稱簡單感知器，

3、通常簡稱為感知器）。（或稱簡單感知器，通常簡稱為感知器）。2.1 感知器概述 感知器的學(xué)習(xí)是感知器的學(xué)習(xí)是有指導(dǎo)的學(xué)習(xí)有指導(dǎo)的學(xué)習(xí)，其訓(xùn)練算法的基本，其訓(xùn)練算法的基本原理來源于原理來源于hebb學(xué)習(xí)律學(xué)習(xí)律 基本思想：逐步地將樣本集中的樣本輸入到網(wǎng)絡(luò)中基本思想：逐步地將樣本集中的樣本輸入到網(wǎng)絡(luò)中,根據(jù)輸出結(jié)果和理想輸出之間的差別來調(diào)整網(wǎng)絡(luò)中根據(jù)輸出結(jié)果和理想輸出之間的差別來調(diào)整網(wǎng)絡(luò)中的權(quán)矩陣的權(quán)矩陣 感知器特別適合簡單的模式分類問題，感知器特別適合簡單的模式分類問題，可解決線性可解決線性劃分問題劃分問題。 感知器神經(jīng)元是在感知器神經(jīng)元是在mp模型基礎(chǔ)上加上了模型基礎(chǔ)上加上了學(xué)習(xí)功能學(xué)習(xí)功能，其

4、權(quán)值可根據(jù)設(shè)計(jì)目的加以調(diào)節(jié)。其權(quán)值可根據(jù)設(shè)計(jì)目的加以調(diào)節(jié)。2.1 感知器概述 感知器的神經(jīng)元結(jié)構(gòu)就是感知器的神經(jīng)元結(jié)構(gòu)就是mp模型：模型： 輸入與輸出的關(guān)系：輸入與輸出的關(guān)系： .1p2prpnba1w2wrw1bpwnrjjj10001)(nnnfa2.2 感知器的網(wǎng)絡(luò)結(jié)構(gòu) 一般感知器結(jié)構(gòu)是單層神經(jīng)網(wǎng)絡(luò)，其激活函數(shù)為二值一般感知器結(jié)構(gòu)是單層神經(jīng)網(wǎng)絡(luò)，其激活函數(shù)為二值函數(shù)（符號(hào)，閾值）：函數(shù)（符號(hào)，閾值）： 1p2prp11wsrw1b2bsb1a2asa1n2nsn.1112.2 感知器的網(wǎng)絡(luò)結(jié)構(gòu) 權(quán)值與偏差權(quán)值與偏差 一組輸入與輸出：一組輸入與輸出： srssrrrswwwwwwwwww2

5、12222111211ssbbbb211rrpppp211ssaaaa2112.2 感知器的網(wǎng)絡(luò)結(jié)構(gòu) 多組輸入與輸出：多組輸入與輸出： rqrrqqqrpppppppppp212222111211sqssqqqsaaaaaaaaaa212222111211,111sssqsbbbb，2.2 感知器的網(wǎng)絡(luò)結(jié)構(gòu) 輸入與輸出的關(guān)系 矩陣形式：矩陣形式： 分量形式：分量形式：qsqrrsqsbpwn)(qsqsnfairjjtijitbpwn1qt, 2 , 10001)(ititititnnnfa2.3 感知器的圖形解釋 神經(jīng)元模型 ： 任意一組參數(shù)任意一組參數(shù)w和和b，在輸入矢量空間中，可決定，在

6、輸入矢量空間中，可決定 一條（超）直線或（超）平面等，在該直線或平面上一條（超）直線或（超）平面等，在該直線或平面上方輸出為方輸出為1；在其下方輸出為；在其下方輸出為0； 處理單元實(shí)際上是輸入信息的分類器，判決輸入信處理單元實(shí)際上是輸入信息的分類器，判決輸入信息屬于兩類中的哪一類（息屬于兩類中的哪一類（a或或b類）。類）。0001)()*(1nnbpwfbpwfarjjj2.3 感知器的圖形解釋當(dāng)輸入向量為兩個(gè)分量時(shí)，它構(gòu)成平面上的兩當(dāng)輸入向量為兩個(gè)分量時(shí)，它構(gòu)成平面上的兩維集，此時(shí)判決界是一條直線。維集，此時(shí)判決界是一條直線。當(dāng)當(dāng)s=1和和r=2時(shí)，有時(shí)，有它是在它是在p1op2平面的一條直

7、線，上方輸出平面的一條直線，上方輸出1(a類類)，下方為下方為0（b類）；或相反。類）；或相反。0bpw02211bpwpwbpwp2p12.3 感知器的圖形解釋當(dāng)輸入向量為三個(gè)分量時(shí)，它構(gòu)成三維信號(hào)集，當(dāng)輸入向量為三個(gè)分量時(shí)，它構(gòu)成三維信號(hào)集，此時(shí)判決界是一個(gè)平面。此時(shí)判決界是一個(gè)平面。當(dāng)輸入向量為多個(gè)分量時(shí)，它構(gòu)成多維信息空間，當(dāng)輸入向量為多個(gè)分量時(shí)，它構(gòu)成多維信息空間，此時(shí)判決界是一個(gè)多維面。此時(shí)判決界是一個(gè)多維面。2.4 感知器的學(xué)習(xí)規(guī)則 學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則用于計(jì)算新的權(quán)值矩陣用于計(jì)算新的權(quán)值矩陣w和偏差和偏差b的算法的算法感知器的學(xué)習(xí)規(guī)則感知器的學(xué)習(xí)規(guī)則 ：1) 若第若第i個(gè)神經(jīng)元的輸

8、出正確，即個(gè)神經(jīng)元的輸出正確，即ai=ti，則與第，則與第i個(gè)神經(jīng)元個(gè)神經(jīng)元連接的權(quán)值連接的權(quán)值wij和偏差和偏差bi保持不變；保持不變；2) 若第若第i個(gè)神經(jīng)元的輸出是不正確的，則按如下改變權(quán)值個(gè)神經(jīng)元的輸出是不正確的，則按如下改變權(quán)值和偏差：和偏差： a. 若若ai=0, 但但ti=1，則權(quán)值修正的算法：，則權(quán)值修正的算法： wij=wij+pj , bi=bi+1 b. 若若ai=1, 但但ti=0，則權(quán)值修正的算法：，則權(quán)值修正的算法： wij=wij -pj , bi=bi -12.4 感知器的學(xué)習(xí)規(guī)則 學(xué)習(xí)規(guī)則偽代碼學(xué)習(xí)規(guī)則偽代碼 1. 初始化權(quán)向量初始化權(quán)向量w； 2. 重復(fù)下列

9、過程，直到訓(xùn)練完成：重復(fù)下列過程，直到訓(xùn)練完成： 2.1 對(duì)每個(gè)樣本（對(duì)每個(gè)樣本（x,y），重復(fù)如下過程：），重復(fù)如下過程： 2.1.1 輸入輸入x； 2.1.2 計(jì)算計(jì)算o=f（xw）；）； 2.1.3 如果輸出不正確，則如果輸出不正確，則 當(dāng)當(dāng)o=0時(shí)，取時(shí)，取 w=w+x， 當(dāng)當(dāng)o=1時(shí)，取時(shí)，取 w=w-x2.4 感知器的學(xué)習(xí)規(guī)則樣本集：樣本集：( (x, ,y)|y為輸入向量為輸入向量x對(duì)應(yīng)的輸出對(duì)應(yīng)的輸出輸入向量：輸入向量：x=( (x1, ,x2, , ,xn) )理想輸出向量：理想輸出向量：y=( (y1, ,y2, , ,ym) )激活函數(shù)：激活函數(shù)：f 權(quán)矩陣權(quán)矩陣w=(

10、(wij) )實(shí)際輸出向量：實(shí)際輸出向量：o=( (o1, ,o2, , ,om) )o1多輸出感知器多輸出感知器x1x2o2omxn 輸入層輸入層輸出層輸出層2.4 感知器的學(xué)習(xí)規(guī)則 學(xué)習(xí)規(guī)則統(tǒng)一表達(dá)學(xué)習(xí)規(guī)則統(tǒng)一表達(dá)： 感知器修正權(quán)值公式感知器修正權(quán)值公式 分量表示：分量表示： 矩陣表示：設(shè)矩陣表示：設(shè)e=t-a為誤差矢量，為誤差矢量， or orl學(xué)習(xí)的收斂性：該算法屬于學(xué)習(xí)的收斂性：該算法屬于梯度下降法梯度下降法，有解時(shí)收斂。，有解時(shí)收斂。 jiiijpatw)(1)(iiiatbtepwwtepw ebbeb 感知器神經(jīng)網(wǎng)絡(luò)的構(gòu)建 運(yùn)用matlab newp() 建立一個(gè)感知器建立一個(gè)

11、感知器 sim() 仿真一個(gè)神經(jīng)網(wǎng)絡(luò)仿真一個(gè)神經(jīng)網(wǎng)絡(luò) init () 初始化一個(gè)神經(jīng)網(wǎng)絡(luò)初始化一個(gè)神經(jīng)網(wǎng)絡(luò) learnp() 感知器權(quán)值學(xué)習(xí)感知器權(quán)值學(xué)習(xí) 舉例舉例2.5 網(wǎng)絡(luò)的訓(xùn)練網(wǎng)絡(luò)的訓(xùn)練過程：網(wǎng)絡(luò)的訓(xùn)練過程：1. 輸入輸入: p, t 網(wǎng)絡(luò)結(jié)構(gòu)的選取，并計(jì)算相關(guān)的量網(wǎng)絡(luò)結(jié)構(gòu)的選取，并計(jì)算相關(guān)的量2. 初始化：初始化：w，b 目標(biāo)（期望）誤差，參數(shù)如權(quán)值和偏差的初始化(-1，1)中的隨機(jī)值，最大循環(huán)迭代次數(shù)；3. 計(jì)算：計(jì)算：a 計(jì)算網(wǎng)絡(luò)的實(shí)際輸出矢量。計(jì)算網(wǎng)絡(luò)的實(shí)際輸出矢量。4. 檢查或比較：檢查或比較：a與與t, e與誤差門限與誤差門限 比較網(wǎng)絡(luò)的輸出誤差和與期望誤差相比較；若小于期望

12、誤差或達(dá)到最大迭代次數(shù)，訓(xùn)練結(jié)束5. 學(xué)習(xí)：計(jì)算新學(xué)習(xí)：計(jì)算新w和和b，并返回到，并返回到3.2.5 網(wǎng)絡(luò)的訓(xùn)練數(shù)字識(shí)別：數(shù)字識(shí)別：1. 輸入：輸入：0,1,2,3,4,5,6,7,8,9 預(yù)處理：將數(shù)字預(yù)處理：將數(shù)字(圖形、聲音等圖形、聲音等)轉(zhuǎn)化為數(shù)組轉(zhuǎn)化為數(shù)組(數(shù)字信號(hào)數(shù)字信號(hào))，常用方法是常用方法是“抽樣抽樣+量化量化+編碼編碼” 31 1 1 0 0 1 1 1 1 0 0 1 1 1 1 目標(biāo)輸出：目標(biāo)輸出：3011,或或30011,或或30 0 1 0 0 0 0 0 0 ；2. 網(wǎng)絡(luò)訓(xùn)練：確定網(wǎng)絡(luò)結(jié)構(gòu)，參數(shù)、學(xué)習(xí)等。網(wǎng)絡(luò)訓(xùn)練：確定網(wǎng)絡(luò)結(jié)構(gòu)，參數(shù)、學(xué)習(xí)等。 11110011110

13、01112.5 網(wǎng)絡(luò)的訓(xùn)練例例1 設(shè)計(jì)一個(gè)感知器，對(duì)輸入數(shù)據(jù)分成兩類。設(shè)計(jì)一個(gè)感知器，對(duì)輸入數(shù)據(jù)分成兩類。已知輸入矢量已知輸入矢量p=-0.5 -0.5 0.3 0; -0.5 0.5 -0.5 1 目標(biāo)矢量目標(biāo)矢量t= 1.0 1.0 0 0 分析：選擇分析：選擇2-1型感知器，權(quán)矩陣型感知器，權(quán)矩陣w1*2，偏差，偏差b=w3，則則可能的一組解可能的一組解: 005 . 03 . 005 . 05 . 005 . 05 . 032321321321wwwwwwwwwww 2313132113/8 . 00wwwwwwwww1 . 0, 0, 1321www2.5 網(wǎng)絡(luò)的訓(xùn)練 matlab算

14、法程序：算法程序：r=2, s=1，q=4 網(wǎng)絡(luò)簡化結(jié)構(gòu)：網(wǎng)絡(luò)簡化結(jié)構(gòu)：u=1,2,3,41w2wbup1up21ua2.5 網(wǎng)絡(luò)的訓(xùn)練 例例2. 多個(gè)神經(jīng)元分類：輸入矢量多個(gè)神經(jīng)元分類：輸入矢量 p = 0.1 0.7 0.8 0.8 1.0 0.3 0.0 -0.3 -0.5 -1.5; 1.2 1.8 1.6 0.6 0.8 0.5 0.2 0.8 -1.5 -1.3; 相應(yīng)的相應(yīng)的10組二元目標(biāo)矢量為：組二元目標(biāo)矢量為： t = 1 1 1 0 0 1 1 1 0 0; 0 0 0 0 0 1 1 1 1 1; 一個(gè)問題：訓(xùn)練失敗的原因：一是參數(shù)選擇不當(dāng)；一個(gè)問題：訓(xùn)練失敗的原因：一是

15、參數(shù)選擇不當(dāng)；二是問題不能用感知器解決。二是問題不能用感知器解決。 2.5 網(wǎng)絡(luò)的訓(xùn)練小結(jié)：小結(jié)： 當(dāng)當(dāng)r=1和和s=1時(shí)，感知器是以點(diǎn)為分割界；時(shí)，感知器是以點(diǎn)為分割界； 當(dāng)當(dāng)r=2時(shí)，在輸入矢量平面以線為分割界：時(shí)，在輸入矢量平面以線為分割界： s=1, 分割線為一條線；分割線為一條線； s=2, 分割線為二條線。分割線為二條線。 當(dāng)當(dāng)r=3時(shí)，以面為分割界，分割面數(shù)為神經(jīng)元時(shí)，以面為分割界，分割面數(shù)為神經(jīng)元數(shù)數(shù)s 2.5 網(wǎng)絡(luò)的訓(xùn)練 討論討論 經(jīng)過有限次迭代可使誤差達(dá)到最小。經(jīng)過有限次迭代可使誤差達(dá)到最小。 收斂的速度（迭代次數(shù)）與初始條件收斂的速度（迭代次數(shù)）與初始條件w(0)、b(0

16、)有關(guān)，收斂后的權(quán)值也不有關(guān)，收斂后的權(quán)值也不是唯一的。是唯一的。 在實(shí)際中在實(shí)際中b并不指定，可以作為偏置并不指定，可以作為偏置加權(quán)同其它加權(quán)一樣參與訓(xùn)練調(diào)整。加權(quán)同其它加權(quán)一樣參與訓(xùn)練調(diào)整。2.6 感知器的局限性1. 輸出與輸入的映射關(guān)系簡單，只能進(jìn)行簡單分類；輸出與輸入的映射關(guān)系簡單，只能進(jìn)行簡單分類；2.只能解決線性可分問題，不能解決線性不可分問題，只能解決線性可分問題，不能解決線性不可分問題， 例如典型的例如典型的“異或異或”問題；問題；3. 對(duì)有些問題，例如當(dāng)輸入樣本中存在奇異樣本對(duì)有些問題，例如當(dāng)輸入樣本中存在奇異樣本, 訓(xùn)練訓(xùn)練 速度慢。速度慢。例例3 在例在例1中加入一個(gè)新的

17、輸入矢量：中加入一個(gè)新的輸入矢量： p = -0.5 -0.5 0.3 0 -0.8 -0.5 0.5 -0.5 1 0; t = 1 1 0 0 0; 訓(xùn)練結(jié)果：訓(xùn)練失敗訓(xùn)練結(jié)果：訓(xùn)練失敗 2.7 “異或”問題 感知器實(shí)現(xiàn)邏輯感知器實(shí)現(xiàn)邏輯“與與”的功能的功能 邏輯邏輯“與與”的真值表的真值表2.7 “異或”問題 感知器實(shí)現(xiàn)邏輯感知器實(shí)現(xiàn)邏輯“與與”的功能的功能 因只有兩個(gè)輸入，構(gòu)成二維空間。因只有兩個(gè)輸入，構(gòu)成二維空間。2.7 “異或”問題 感知器實(shí)現(xiàn)邏輯感知器實(shí)現(xiàn)邏輯“與與”的功能的功能通過真值表中的通過真值表中的4個(gè)輸入輸出對(duì)，訓(xùn)練調(diào)節(jié)對(duì)個(gè)輸入輸出對(duì)，訓(xùn)練調(diào)節(jié)對(duì)應(yīng)的加權(quán)應(yīng)的加權(quán)w1、w

18、2和閾值和閾值，可得表示，可得表示“與與”功功能的感知器。能的感知器。2.7 “異或”問題感知器在表示能力方面存在局限性，很多功能不感知器在表示能力方面存在局限性，很多功能不管如何調(diào)節(jié)加權(quán)和閾值，也不能被識(shí)別或表示。管如何調(diào)節(jié)加權(quán)和閾值，也不能被識(shí)別或表示。minsky和和papert發(fā)現(xiàn)感知器的不足的主要依據(jù)：發(fā)現(xiàn)感知器的不足的主要依據(jù)： 感知器不能實(shí)現(xiàn)簡單的感知器不能實(shí)現(xiàn)簡單的“異或異或”邏輯功能。邏輯功能。邏輯邏輯“異或異或”的真值表的真值表2.7 “異或”問題感知器不能實(shí)現(xiàn)邏輯感知器不能實(shí)現(xiàn)邏輯“異或異或”的功能的功能因只有兩個(gè)輸入，構(gòu)成二維空間。因只有兩個(gè)輸入，構(gòu)成二維空間。2.7 “異或”問題 感知器不能實(shí)現(xiàn)邏輯感知器不能實(shí)現(xiàn)邏輯“異或異或”的功能的功能要實(shí)現(xiàn)要實(shí)現(xiàn)“異或異或”功能，要求功能，要求a類和類和b類在直線兩類在直線兩邊，這顯然不可能，因?yàn)樗蔷€性不可分的。邊，這顯然不可能，因?yàn)樗蔷€性不可分的。這意味著不管如何改變參數(shù)這意味著不管如何改變參數(shù)w1、w2和和都不能都不能使單層感知器產(chǎn)生使單層感知器產(chǎn)生“異或異或”功能。功能。對(duì)于線性不可分的功能，訓(xùn)練中找不到一條直線對(duì)于線性不可分的功能，訓(xùn)練中找不到一條直線（或多維判決界面）將（或多維判決界面）將a和和b兩類分開，使得加兩類分開，使得加權(quán)總是來回?cái)[動(dòng)，不能收斂到