第三章：感知器

1、 62334967單個(gè)感知器模型與解決問題的能力單個(gè)感知器模型與解決問題的能力單層感知器模型與解決問題的能力單層感知器模型與解決問題的能力單層感知器的學(xué)習(xí)算法單層感知器的學(xué)習(xí)算法單層感知器的局限性問題單層感知器的局限性問題多層感知器的設(shè)計(jì)方法多層感知器的設(shè)計(jì)方法有關(guān)的幾個(gè)問題的討論有關(guān)的幾個(gè)問題的討論單層感知器的單層感知器的MATLAB設(shè)計(jì)與實(shí)現(xiàn)設(shè)計(jì)與實(shí)現(xiàn) 概述概述 由美國(guó)學(xué)者由美國(guó)學(xué)者Rosenblatt在在1957年首次提出年首次提出 學(xué)習(xí)算法是學(xué)習(xí)算法是Rosenblatt在在1958年提出的年提出的 包含一個(gè)突觸權(quán)值可調(diào)的神經(jīng)元包含一個(gè)突觸權(quán)值可調(diào)的神經(jīng)元 屬于前向神經(jīng)網(wǎng)絡(luò)類型屬于前向

2、神經(jīng)網(wǎng)絡(luò)類型 只能區(qū)分線性可分的模式只能區(qū)分線性可分的模式 IEEE設(shè)立以其名字命名的獎(jiǎng)項(xiàng)設(shè)立以其名字命名的獎(jiǎng)項(xiàng) 人的視覺人的視覺是重要的感覺器官，人通過視覺接受是重要的感覺器官，人通過視覺接受的信息占全部信息量的的信息占全部信息量的8085%。 感知器感知器是模擬人的視覺，接受環(huán)境信息，并由是模擬人的視覺，接受環(huán)境信息，并由神經(jīng)沖動(dòng)進(jìn)行信息傳遞的神經(jīng)網(wǎng)絡(luò)。神經(jīng)沖動(dòng)進(jìn)行信息傳遞的神經(jīng)網(wǎng)絡(luò)。 感知器分感知器分單層單層與與多層多層，是，是具有學(xué)習(xí)能力具有學(xué)習(xí)能力的神經(jīng)的神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)。 感知器的結(jié)構(gòu)、表達(dá)能力、學(xué)習(xí)算法。感知器的結(jié)構(gòu)、表達(dá)能力、學(xué)習(xí)算法。 感知器的表達(dá)能力感知器的表達(dá)能力 。3.1

3、 3.1 單個(gè)感知器模型與解決問題的能力單個(gè)感知器模型與解決問題的能力是具有單層處理單元的神經(jīng)網(wǎng)絡(luò)，非線性作用函數(shù)是具有單層處理單元的神經(jīng)網(wǎng)絡(luò)，非線性作用函數(shù)f ( ) 是對(duì)稱是對(duì)稱型階躍函數(shù)，見圖。型階躍函數(shù)，見圖。 感知器輸出：感知器輸出： yfw ufw ujjjnjjjn()()10uj：感知器的第：感知器的第 j 個(gè)輸入；個(gè)輸入；w0 （閾值）；（閾值）；u01。與與 MP 模型不同之處：模型不同之處：權(quán)值由權(quán)值由有導(dǎo)師的學(xué)習(xí)算法有導(dǎo)師的學(xué)習(xí)算法進(jìn)行調(diào)整。進(jìn)行調(diào)整。 圖2-3-1 單層感知器 njuuu1 yx nw 1w )(xf )(xf 布爾函數(shù)的布爾函數(shù)的M-P神經(jīng)元表示神經(jīng)

4、元表示: 利用帶閾值的M-P人工神經(jīng)元可以很方便地實(shí)現(xiàn)布爾代數(shù)中的許多功能。在布爾代數(shù)中，and、or、Not、xoR關(guān)系如下表1所示：3.1 3.1 單個(gè)感知器模型與解決問題的能力單個(gè)感知器模型與解決問題的能力1x2xandor ) )xoR00001100101101100101111110002x1xNot(Not(3.1 3.1 單個(gè)感知器模型與解決問題的能力單個(gè)感知器模型與解決問題的能力1x0 , 1 2x0 , 1 Y且、，模型來建立，PM Y1x2x可以將圖用與、之間的關(guān)系： 上面幾個(gè)人工神經(jīng)元都滿足M-P模型。 3.1 3.1 單個(gè)感知器模型與解決問題的能力單個(gè)感知器模型與解決

5、問題的能力根據(jù)各個(gè)圖及M-P模型，我們有 )0 , 1 (),1 , 0(),0 , 0(),(0)1 , 1(),(1020021)2(2121212121xxxxxxxxxxfy（1）（2）1212121212110(1)0101(,)(1,1),(1,0),(0,1)0(,)(0,0)xxyf xxxxxxxx3.1 3.1 單個(gè)感知器模型與解決問題的能力單個(gè)感知器模型與解決問題的能力10010001)(xxxxxfy（3）顯然是符合邏輯運(yùn)算要求。3.1 3.1 單個(gè)感知器模型與解決問題的能力單個(gè)感知器模型與解決問題的能力 權(quán)系數(shù)和閾值不是權(quán)系數(shù)和閾值不是0、1的的M-P模型模型 Rw,

6、w1, 1 x1, 1 y若，則M-P模型比只允許取-1，1要靈活（或1，0），（或1，0），則對(duì)于這個(gè)M-P人工神經(jīng)元來說： 的多，但此時(shí)仍限制111110101)(niiiniiiiniixwxwwxfyRw,Zw,但與相比并無多大改進(jìn)。3.1 3.1 單個(gè)感知器模型與解決問題的能力單個(gè)感知器模型與解決問題的能力例：例：試說明下列兩個(gè)M-P人工神經(jīng)元是等價(jià)的。 分析：對(duì)于（a） 06324106324106 . 02 . 03 . 04 . 0106 . 02 . 03 . 04 . 01)6 . 02 . 03 . 04 . 0(321321231231231xxxxxxxxxxxxxx

7、xfy3.1 3.1 單個(gè)感知器模型與解決問題的能力單個(gè)感知器模型與解決問題的能力對(duì)與（b）063241063241) 6234(321321231xxxxxxxxxfy3.1 3.1 單個(gè)感知器模型與解決問題的能力單個(gè)感知器模型與解決問題的能力此時(shí)感知器人工神經(jīng)元結(jié)構(gòu)及其數(shù)學(xué)描述如下： 0101)()(11iinjijijiizzxwfzfy 當(dāng)當(dāng)M-P人工神經(jīng)元的輸入人工神經(jīng)元的輸入X可以在可以在R上取值時(shí)上取值時(shí) 離散感知器離散感知器(簡(jiǎn)稱感知器簡(jiǎn)稱感知器) nnRxxX,11, 1 y 0 , 1若M-P人工神經(jīng)元的輸入，而其輸出值為或模型就改進(jìn)為離散感知器（因?yàn)槠漭敵鲞€是離散的），簡(jiǎn)

8、稱為感知器。則此時(shí)的M-P3.1 3.1 單個(gè)感知器模型與解決問題的能力單個(gè)感知器模型與解決問題的能力 (a) 分類器結(jié)構(gòu) 2w 1w 0w y 10u 21uu 1u 2u (b) 平面上兩類模式分界線 圖 2-3-2 平面上兩類模式分類 用圖所示 二輸入 /單輸出單層感知器 ，輸入輸出描述： 0,00,1)()(2211fuwuwfy 即 22112211,0,1uwuwuwuwy 可見：輸入輸出為線性可分集合，一定可找到一條直線，將輸入模式分為兩類，此直線方程： ywuw u1 1220 則 uwwwu22121 見圖，此直線與 權(quán)值及閾值有關(guān)。 3.1 3.1 單個(gè)感知器模型與解決問題

9、的能力單個(gè)感知器模型與解決問題的能力2u1u 0w 10u y 1w 3w 2w 321uuu 圖 2-3-3 三維空間上的兩類模式分類 用圖所示三輸入用圖所示三輸入 / 單輸出的單層感知器，輸入輸出：?jiǎn)屋敵龅膯螌痈兄?，輸入輸出?0,00,1)()(332211fuwuwuwfy即即 332211332211,0,1uwuwuwuwuwuwy可見可見 ，輸入輸出為線性可分集合，一定可找到一個(gè)平面，輸入輸出為線性可分集合，一定可找到一個(gè)平面，將輸入模式分為兩類，平面方程：將輸入模式分為兩類，平面方程： 0332211uwuwuwy則則 23213133uwwuwwwu此平面與此平面與權(quán)值及閾

10、值權(quán)值及閾值有關(guān)有關(guān), ,見圖。見圖。3.1 3.1 單個(gè)感知器模型與解決問題的能力單個(gè)感知器模型與解決問題的能力 感知器的分類定義感知器的分類定義 作為數(shù)學(xué)模型，我們對(duì)感知器作出如下歸納：作為數(shù)學(xué)模型，我們對(duì)感知器作出如下歸納：1.感知器是一個(gè)多輸入、單輸出的運(yùn)算系統(tǒng)，表示一個(gè)神經(jīng)元感知器是一個(gè)多輸入、單輸出的運(yùn)算系統(tǒng)，表示一個(gè)神經(jīng)元的運(yùn)算特性，它的輸入狀態(tài)向量記為：的運(yùn)算特性，它的輸入狀態(tài)向量記為：)(21nnxxxx)(21nnwwww權(quán)向量權(quán)向量: : 2. 感知器的狀態(tài)值可以為感知器的輸出值感知器的狀態(tài)值可以為感知器的輸出值 );(nnxwfy000111niiiniiixxy3.

11、以以為分界線，實(shí)現(xiàn)對(duì)輸入的分類為分界線，實(shí)現(xiàn)對(duì)輸入的分類0 x 連續(xù)感知器連續(xù)感知器(簡(jiǎn)稱感知器簡(jiǎn)稱感知器) 3.1 3.1 單個(gè)感知器模型與解決問題的能力單個(gè)感知器模型與解決問題的能力bxwkxwfyniiiniii1111)(連續(xù)感知器人工神經(jīng)元結(jié)構(gòu)及其數(shù)學(xué)描述如下： 若取0, 1bk，則其成為一類最簡(jiǎn)單的連續(xù)人工感知神經(jīng)元。( )yf ok o b激活函數(shù)：3.1 3.1 單個(gè)感知器模型與解決問題的能力單個(gè)感知器模型與解決問題的能力nxix是不連續(xù)的: 或0101)(xxxf0001)(xxxf都在0，1或-1，1上取值，的每個(gè)向量定義：定義： )sgn()(xxfa)如果且激活函數(shù)那么

12、這個(gè)感知神經(jīng)元被成為M-P模型。是離散的，那么這個(gè)nnRx )(xfb) 如果， 但激勵(lì)函數(shù)感知神經(jīng)元被稱為離散感知器常簡(jiǎn)稱為感知器。是連續(xù)函數(shù)，那么這個(gè)感知nnRx )(xf且C) 如果神經(jīng)元稱為連續(xù)感知器。 由相應(yīng)的感知神經(jīng)元組成的網(wǎng)絡(luò)就稱為相應(yīng)神經(jīng)網(wǎng)絡(luò)，如M-P神經(jīng)網(wǎng)絡(luò)、感知器神經(jīng)網(wǎng)絡(luò)、連續(xù)感知器神經(jīng)網(wǎng)絡(luò)。 例例 線性不可分集合。線性不可分集合。 二維平面上的兩類模式二維平面上的兩類模式異或（異或（XOR）問題）問題，見表。，見表。 二維平面中不存在一條直線，將輸入模式分為兩類，此輸入二維平面中不存在一條直線，將輸入模式分為兩類，此輸入模式稱模式稱線性不可分集合線性不可分集合，見圖。，見

13、圖?？梢娍梢姡?jiǎn)螌痈兄鞑荒芙鉀Q：?jiǎn)螌痈兄鞑荒芙鉀Q異或問題異或問題。 表表 2-3-3 uu12 y 0 0 0 0 1 1 1 0 1 1 1 0 圖圖 2-3-4異或問題 2u 1u 3.1 3.1 單個(gè)感知器模型與解決問題的能力單個(gè)感知器模型與解決問題的能力 單層感知器工作原理單層感知器工作原理 對(duì)于只有兩個(gè)輸入的判別邊界是直線（如下式對(duì)于只有兩個(gè)輸入的判別邊界是直線（如下式所示）所示）,選擇合適的學(xué)習(xí)算法可訓(xùn)練出滿意的選擇合適的學(xué)習(xí)算法可訓(xùn)練出滿意的 和和 ，當(dāng)它用于兩類模式的分類時(shí)，相當(dāng)于在高維樣本空當(dāng)它用于兩類模式的分類時(shí)，相當(dāng)于在高維樣本空間中，用一個(gè)超平面將兩類樣本分開。間中

14、，用一個(gè)超平面將兩類樣本分開。3.1 3.1 單個(gè)感知器模型與解決問題的能力單個(gè)感知器模型與解決問題的能力3.2 3.2 單層感知器模型與解決問題的能力單層感知器模型與解決問題的能力 在上一節(jié)中指出了線性單個(gè)感知神經(jīng)網(wǎng)絡(luò)只能實(shí)現(xiàn)兩類分類，如果要進(jìn)行多于兩類的分類將怎么辦？生物醫(yī)學(xué)已經(jīng)證明：生物神經(jīng)系統(tǒng)是由一些相互聯(lián)系的，并能互相傳遞信息的神經(jīng)細(xì)胞互連構(gòu)成。因此這就使我們自然地想到是否可將單個(gè)的感知神經(jīng)元連成網(wǎng)絡(luò)形成一個(gè)單層的網(wǎng)絡(luò)？ 結(jié)構(gòu)3.2 3.2 單層感知器模型與解決問題的能力單層感知器模型與解決問題的能力 例例 線性不可分集合。線性不可分集合。 二維平面上的兩類模式二維平面上的兩類模式異

15、或（異或（XOR）問題）問題，見表。，見表。 二維平面中不存在一條直線，將輸入模式分為兩類，此輸入二維平面中不存在一條直線，將輸入模式分為兩類，此輸入模式稱模式稱線性不可分集合線性不可分集合，見圖。，見圖。可見可見：?jiǎn)螌痈兄鞑荒芙鉀Q：?jiǎn)螌痈兄鞑荒芙鉀Q異或問題異或問題。 表表 2-3-3 uu12 y 0 0 0 0 1 1 1 0 1 1 1 0 圖圖 2-3-4異或問題 2u 1u 感知器的學(xué)習(xí)目標(biāo)感知器的學(xué)習(xí)目標(biāo) 感知機(jī)的基本功能是對(duì)外部信號(hào)進(jìn)行“感知”與識(shí)別，這就是當(dāng)外部n個(gè)刺激信號(hào)或來自其它n個(gè)神經(jīng)元（的信號(hào)）處于一定的狀態(tài)時(shí)，感知器就處于“興奮”狀態(tài)，而當(dāng)外部n個(gè)信號(hào)或n個(gè)神經(jīng)元

16、的輸出處于另一些狀態(tài)時(shí)，感知器就呈現(xiàn)“抑制”狀態(tài)。 (;)nnyf wx若用 表示感知器的運(yùn)算函數(shù)關(guān)系，那么它們的運(yùn)算目標(biāo)就是：BxAxxwfynnnn如果如果11);(即一個(gè)感知神經(jīng)元只能實(shí)現(xiàn)兩類的劃分，且其中A，B是 nR中互不相交的集合。 3.3 3.3 單層感知器的學(xué)習(xí)算法單層感知器的學(xué)習(xí)算法定義：感知器的學(xué)習(xí)目標(biāo)：我們稱（A，B）為感知器的學(xué)習(xí)目標(biāo)，如果A、B是nR 感知器的學(xué)習(xí)目標(biāo)感知器的學(xué)習(xí)目標(biāo) 中兩個(gè)互不相交的集合，且下面方程成立。即一個(gè)感知神經(jīng)元只能實(shí)現(xiàn)兩類的劃分，且其中A，B是 nR中互不相交的集合。 等價(jià)于如下描述： BxAxxwfynnniii如果如果01)(1Bxxw

17、Axxwnniiinniii如果如果00113.3 3.3 單層感知器的學(xué)習(xí)算法單層感知器的學(xué)習(xí)算法3.3 3.3 單層感知器的學(xué)習(xí)算法單層感知器的學(xué)習(xí)算法 離散單個(gè)感知器的學(xué)習(xí)算法離散單個(gè)感知器的學(xué)習(xí)算法 1, 1)(21nnxxxx0101)(uuufy11nTnTxwxwuWX| ),(對(duì)應(yīng)的輸出為為輸入向量，XYXYX設(shè)M-P模型的幾何圖形如右圖：設(shè)為網(wǎng)絡(luò)的廣義權(quán)向量， 為輸入向量且是二值的，網(wǎng)絡(luò)的訓(xùn)練樣本集為若M-P神經(jīng)元的權(quán)值為 0w n，則M-P神經(jīng)元的輸出為： 01011111110niiijiniiijiniiijixwxwxwfnO）（）（的值與此時(shí)對(duì)應(yīng)的 不一樣，即jy

18、0O njy如果的值與此時(shí)對(duì)應(yīng)的一樣，則說明此時(shí)權(quán)值將jxjy 0O njjxyW和正確分類；如果表示將此時(shí)的錯(cuò)誤分類，則此時(shí)需要調(diào)整值。 。 01O n1jy110njiiix w11njiiiux w 001( )jW nW nX當(dāng)時(shí)，說明此時(shí)實(shí)際值，即，說明計(jì)算得到的的值大小小于零，而實(shí)際上應(yīng)該是大于零，對(duì)此修正權(quán)值為3.3 3.3 單層感知器的學(xué)習(xí)算法單層感知器的學(xué)習(xí)算法如此調(diào)整后)()()(00011nWXXXnWXXnWXWxwuTTTTTTniiii使被減小了，故算法如下：增加了。否則u 01O n1jyjXnWnW)(100）（u，則表示實(shí)際，此時(shí)則取，調(diào)整后3.3 3.3 單

19、層感知器的學(xué)習(xí)算法單層感知器的學(xué)習(xí)算法2.重復(fù)下列過程，直到訓(xùn)練完成： 2.1對(duì)樣本集中的每一個(gè)樣本與實(shí)際樣本中所有都一樣，則2.1.1輸入WnZW ),(YXX),(WXFOOy11OWWXOWWX 當(dāng)時(shí)取當(dāng)時(shí)取1.初始化權(quán)向量（一般在一定范圍內(nèi)取）； ,重復(fù)如下過程：2.1.2計(jì)算2.1.3如果計(jì)算得的退出；否則。Oy3.3 3.3 單層感知器的學(xué)習(xí)算法單層感知器的學(xué)習(xí)算法。iOiy如果計(jì)算得的與實(shí)際樣本中所有都一樣，則輸入iX),(WXFOjOiyiiiiiiii11OWWXOWWX 當(dāng)時(shí)取當(dāng)時(shí)取2.重復(fù)下列過程，直到訓(xùn)練完成： 2.1對(duì)樣本集中的每一個(gè)樣本n

20、離散單層感知器的訓(xùn)練算法：離散單層感知器的訓(xùn)練算法：WnZW ),(YX1.初始化權(quán)向量（一般在一定范圍內(nèi)取）；，重復(fù)如下過程：計(jì)算退出；否則2.1.1對(duì)每一個(gè)神經(jīng)元i作以下操作用公式wij=wij+(yj-oj)xi取代離散單個(gè)感知器的學(xué)習(xí)算法 中的權(quán)值調(diào)整方法，可以得到如下連續(xù)單個(gè)感知器的學(xué)習(xí)算法 ： 連續(xù)單個(gè)感知器的學(xué)習(xí)算法連續(xù)單個(gè)感知器的學(xué)習(xí)算法 3.3 3.3 單層感知器的學(xué)習(xí)算法單層感知器的學(xué)習(xí)算法2.重復(fù)下列過程，直到訓(xùn)練完成： 2.1對(duì)樣本集中的每一個(gè)樣本與實(shí)際樣本中所有都一樣，則2.1.1輸入WnZW ),(YXX),(WXFOjOjy1.初始化權(quán)向量（一般在一

21、定范圍內(nèi)取）； ,重復(fù)如下過程：2.1.2計(jì)算2.1.3如果計(jì)算得的退出；否則wij=wij+(yj-oj)xi說明：說明：y yj j與與o oj j之間的差別對(duì)之間的差別對(duì)wwij ij的影響由的影響由(y(yj j-o-oj j)x)xi i表現(xiàn)出來：表現(xiàn)出來：不僅使得算法的控制在結(jié)構(gòu)上更容易理解，而且還使得它的不僅使得算法的控制在結(jié)構(gòu)上更容易理解，而且還使得它的適應(yīng)面更寬適應(yīng)面更寬 。 連續(xù)單層感知器的學(xué)習(xí)算法連續(xù)單層感知器的學(xué)習(xí)算法 3.3 3.3 單層感知器的學(xué)習(xí)算法單層感知器的學(xué)習(xí)算法如果計(jì)算得的與實(shí)際樣本中所有都一樣，輸入iX),(WXFOjOiy2

22、.重復(fù)下列過程，直到訓(xùn)練完成： 2.1對(duì)樣本集中的每一個(gè)樣本W(wǎng)nZW ),(YX1.初始化權(quán)向量（一般在一定范圍內(nèi)?。?，重復(fù)如下過程：計(jì)算2.1.1對(duì)每一個(gè)神經(jīng)元i作以下操作則退出；否則wij=wij+(yj-oj)xi1.用適當(dāng)?shù)男坞S機(jī)數(shù)初始化權(quán)矩陣用適當(dāng)?shù)男坞S機(jī)數(shù)初始化權(quán)矩陣W；2.初置精度控制參數(shù)初置精度控制參數(shù),學(xué)習(xí)率學(xué)習(xí)率,精度控制變量精度控制變量d=+1；3. While d do 3.1 d=0； 3.2 for 每個(gè)樣本（每個(gè)樣本（X，Y）do3.2.1 輸入輸入X（ X X =(x1，x2，xn)）；）；3.2.2 求求O=F（XW）；）；3.2.3 修改

23、權(quán)矩陣修改權(quán)矩陣W：for i=1 to n，j=1 to m dowij=wij+(yj-oj)xi；3.2.4 累積誤差累積誤差for j = 1 to m dod=d+(yj-oj)2 連續(xù)單層感知器的學(xué)習(xí)算法連續(xù)單層感知器的學(xué)習(xí)算法 3.3 3.3 單層感知器的學(xué)習(xí)算法單層感知器的學(xué)習(xí)算法1、程序?qū)崿F(xiàn):、d、i、j、n、m為簡(jiǎn)單變量來表示，W為n行m列的二維數(shù)組。樣本集(X,Y)是二維數(shù)組。2、Minsky在1969年證明，有許多基本問題是感知器無法解決的。3 、很難從樣本數(shù)據(jù)集直接看出問題是否線性可分。4、未能證明，一個(gè)感知器究竟需要經(jīng)過多少步才能完成訓(xùn)練。 連續(xù)單層感知器的學(xué)習(xí)算法

24、連續(xù)單層感知器的學(xué)習(xí)算法 3.3 3.3 單層感知器的學(xué)習(xí)算法單層感知器的學(xué)習(xí)算法3.4 3.4 單層感知器網(wǎng)絡(luò)的局限性單層感知器網(wǎng)絡(luò)的局限性3.4 3.4 單層感知器網(wǎng)絡(luò)的局限性單層感知器網(wǎng)絡(luò)的局限性 表表 2-3-3 uu12 y 0 0 0 0 1 1 1 0 1 1 1 0 圖圖 2-3-4異或問題 2u 1u 變量變量函數(shù)及其值函數(shù)及其值xyf1f2f3f4f5f6f7f8f9f10f11f12f13f14f15f160000000000111111110100001111000011111000110011001100111101010101010101013.4 3.4 單層感知

25、器網(wǎng)絡(luò)的局限性單層感知器網(wǎng)絡(luò)的局限性3.4 3.4 單層感知器網(wǎng)絡(luò)的局限性單層感知器網(wǎng)絡(luò)的局限性R. O. Windner 1960年年 自變量個(gè)數(shù)自變量個(gè)數(shù)函數(shù)的個(gè)數(shù)函數(shù)的個(gè)數(shù)線性可分函數(shù)的個(gè)數(shù)線性可分函數(shù)的個(gè)數(shù)144216143256104465,536188254.3*10994,57261.8*10195,028,134u用多個(gè)單級(jí)網(wǎng)組合在一起，并用其中的一個(gè)去綜合其它單級(jí)網(wǎng)的結(jié)果，我們就可以構(gòu)成一個(gè)兩級(jí)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以被用來在平面上劃分出一個(gè)封閉或者開放的凸域來u一個(gè)非凸域可以拆分成多個(gè)凸域。按照這一思路，三級(jí)網(wǎng)將會(huì)更一般一些，我們可以用它去識(shí)別出一些非凸域來。3.5 3.5 多層感

26、知器的設(shè)計(jì)方法多層感知器的設(shè)計(jì)方法當(dāng)wij=1,=1，右圖可實(shí)現(xiàn)“與”運(yùn)算，當(dāng)wij=1,=n，右圖可實(shí)現(xiàn)“或”運(yùn)算，1111110()10njijnjijijnjjijjw xyfx ww x3.5 3.5 多層感知器的設(shè)計(jì)方法多層感知器的設(shè)計(jì)方法 本章第三節(jié)中討論了單層的感知器網(wǎng)絡(luò)，本章第四節(jié)中指出了單層感知神經(jīng)網(wǎng)絡(luò)的局限性，如果要實(shí)現(xiàn)非線性數(shù)據(jù)分類，有必要構(gòu)造多層感知器網(wǎng)絡(luò)。 表表 2-3-3 uu12 y 0 0 0 0 1 1 1 0 1 1 1 0 圖圖 2-3-4異或問題 2u 1u 3.5 3.5 多層感知器的設(shè)計(jì)方法多層感知器的設(shè)計(jì)方法例100u1u2yW1=1,- 1;-1

27、 11=0.5;-0.5W2=1,12=1.5例3.1：假設(shè)某壓力設(shè)備的正常與不正常運(yùn)行狀態(tài)是由設(shè)備內(nèi)部的壓力P和溫度T決定的。當(dāng)P和T位于圖3.1的陰影部分（包括邊界）時(shí)設(shè)備運(yùn)行正常，否則該設(shè)備不正常。問能否用感知器網(wǎng)絡(luò)來實(shí)現(xiàn)該設(shè)備運(yùn)行狀態(tài)的識(shí)別（即運(yùn)行正常與運(yùn)行不正常的分類）。P（Mpa）T()450390 3.5 多層感知器的設(shè)計(jì)方法多層感知器的設(shè)計(jì)方法3.6 3.6 有關(guān)的幾個(gè)問題有關(guān)的幾個(gè)問題 M-P M-P模型在人工神經(jīng)網(wǎng)絡(luò)中的地位模型在人工神經(jīng)網(wǎng)絡(luò)中的地位 首先M-P模型是所有人工神經(jīng)元中第一個(gè)被建立起來的，它在多個(gè)方面都顯示出生物神經(jīng)元所具有的基本特性。 其次

28、，目前其它形式的人工神經(jīng)元已有很多，但大多數(shù)都是在M-P模型的基礎(chǔ)上經(jīng)過不同的修正，改進(jìn)變換而發(fā)展起來。因此M-P人工神經(jīng)元是整個(gè)人工神經(jīng)網(wǎng)的基礎(chǔ)。1、神經(jīng)元的內(nèi)部改造：對(duì)不同的人工神經(jīng)元取不同的非線性函數(shù)F（）；對(duì)人工神經(jīng)元的輸入和輸出做不同的限制：離散的（某些離散點(diǎn)）和連續(xù)的（整個(gè)實(shí)數(shù)域）。2、人工神經(jīng)元之間的聯(lián)接形式上進(jìn)行改造神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)上的改造。3、在人工神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值取求的方法上改造算法的改進(jìn)。4、其它形式的改造，譬如（1）與（2）結(jié)合起來改進(jìn)；（2）與（3）結(jié)合起來改進(jìn)等等。 3.6 3.6 有關(guān)的幾個(gè)問題有關(guān)的幾個(gè)問題對(duì)對(duì)M-PM-P人工神經(jīng)元進(jìn)行改進(jìn)的主要方式人工神經(jīng)元進(jìn)

29、行改進(jìn)的主要方式1、單神經(jīng)元（M-P模型、單感知器、單連續(xù)感知機(jī)）；2、單層前向連接的神經(jīng)網(wǎng)絡(luò)；3、多層前向連接的神經(jīng)網(wǎng)絡(luò)（BP、RBF）；4、單層帶有反饋連接的神經(jīng)網(wǎng)絡(luò)（Hopfield網(wǎng)）；5、多層回歸（遞歸）神經(jīng)網(wǎng)絡(luò)；6、局部連接的人工神經(jīng)網(wǎng)絡(luò)（細(xì)胞神經(jīng)網(wǎng)、小腦模型等）。 3.6 3.6 有關(guān)的幾個(gè)問題有關(guān)的幾個(gè)問題人工神經(jīng)網(wǎng)絡(luò)常見的連接形式有：方式人工神經(jīng)網(wǎng)絡(luò)常見的連接形式有：方式 MATLAB中單層感知器常用工具函數(shù)名稱和基本功能 函 數(shù) 名功 能newp()生成一個(gè)感知器hardlim()硬限幅激活函數(shù)learnp()感知器的學(xué)習(xí)函數(shù)train()神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)sim()神經(jīng)網(wǎng)絡(luò)

30、仿真函數(shù)mae()平均絕對(duì)誤差性能函數(shù)plotpv()在坐標(biāo)圖上繪出樣本點(diǎn)plotpc()在已繪制的圖上加分類線3.7 3.7 單層感知器的單層感知器的MATLABMATLAB設(shè)計(jì)與實(shí)現(xiàn)設(shè)計(jì)與實(shí)現(xiàn)newp() 功能：創(chuàng)建一個(gè)感知器神經(jīng)網(wǎng)絡(luò)的函數(shù)功能：創(chuàng)建一個(gè)感知器神經(jīng)網(wǎng)絡(luò)的函數(shù) 格式：格式：net = newp(PR，S，TF，LF) 說明：說明：net為生成的感知機(jī)神經(jīng)網(wǎng)絡(luò)；為生成的感知機(jī)神經(jīng)網(wǎng)絡(luò)；PR為一個(gè)為一個(gè)R2的矩陣，由的矩陣，由R組輸入向量中的最大值和最小值組成；組輸入向量中的最大值和最小值組成；S表示神經(jīng)元的個(gè)數(shù)；表示神經(jīng)元的個(gè)數(shù)；TF表示感知器的激活函數(shù)，缺省值為硬限幅激活函數(shù)

31、表示感知器的激活函數(shù)，缺省值為硬限幅激活函數(shù)hardlim；LF表示網(wǎng)絡(luò)的學(xué)習(xí)函數(shù)，缺省值為表示網(wǎng)絡(luò)的學(xué)習(xí)函數(shù)，缺省值為learnp hardlim() 功能功能 硬限幅激活函數(shù)硬限幅激活函數(shù) 格式格式 A = hardlim(N) 說明說明 函數(shù)函數(shù)hardlim(N)在給定網(wǎng)絡(luò)的輸入矢量矩陣在給定網(wǎng)絡(luò)的輸入矢量矩陣N時(shí)，返回該時(shí)，返回該層的輸出矢量矩陣層的輸出矢量矩陣A。當(dāng)。當(dāng)N中的元素大于等于零時(shí)，返回的值中的元素大于等于零時(shí)，返回的值為為l；否則為；否則為0。也就是說，如果網(wǎng)絡(luò)的輸入達(dá)到閾值，則硬限。也就是說，如果網(wǎng)絡(luò)的輸入達(dá)到閾值，則硬限幅傳輸函數(shù)的輸出為幅傳輸函數(shù)的輸出為1；否則，

32、為；否則，為0。 learnp() 功能功能 感知機(jī)的權(quán)值和閾值學(xué)習(xí)函數(shù)感知機(jī)的權(quán)值和閾值學(xué)習(xí)函數(shù) 3.7 3.7 單層感知器的單層感知器的MATLABMATLAB設(shè)計(jì)與實(shí)現(xiàn)設(shè)計(jì)與實(shí)現(xiàn)3.7 3.7 單層感知器的單層感知器的MATLABMATLAB設(shè)計(jì)與實(shí)現(xiàn)設(shè)計(jì)與實(shí)現(xiàn)train() 功能功能 神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù) 格式格式 net，tr，Y，E，Pf，Af = train(NET，P，T，Pi，Ai，VV，TV) 說明說明 net為訓(xùn)練后的網(wǎng)絡(luò)；為訓(xùn)練后的網(wǎng)絡(luò)；tr為訓(xùn)練記錄；為訓(xùn)練記錄；Y為網(wǎng)絡(luò)輸出矢量；為網(wǎng)絡(luò)輸出矢量；E為誤差矢量；為誤差矢量；Pf為訓(xùn)練終止時(shí)的輸入延遲狀態(tài)；為

33、訓(xùn)練終止時(shí)的輸入延遲狀態(tài)；Af為訓(xùn)練終止時(shí)為訓(xùn)練終止時(shí)的層延遲狀態(tài)；的層延遲狀態(tài)；NET為訓(xùn)練前的網(wǎng)絡(luò)；為訓(xùn)練前的網(wǎng)絡(luò)；P為網(wǎng)絡(luò)的輸入向量矩陣；為網(wǎng)絡(luò)的輸入向量矩陣；T表示網(wǎng)絡(luò)的目標(biāo)矩陣，缺省值為表示網(wǎng)絡(luò)的目標(biāo)矩陣，缺省值為0；Pi表示初始輸入延時(shí)，缺省表示初始輸入延時(shí)，缺省值為值為0；Ai表示初始的層延時(shí)，缺省值為表示初始的層延時(shí)，缺省值為0； VV為驗(yàn)證矢量（可為驗(yàn)證矢量（可省略）；省略）；TV為測(cè)試矢量（可省略）。網(wǎng)絡(luò)訓(xùn)練函數(shù)是一種通用為測(cè)試矢量（可省略）。網(wǎng)絡(luò)訓(xùn)練函數(shù)是一種通用的學(xué)習(xí)函數(shù)，訓(xùn)練函數(shù)重復(fù)地把一組輸入向量應(yīng)用到一個(gè)網(wǎng)絡(luò)上，的學(xué)習(xí)函數(shù)，訓(xùn)練函數(shù)重復(fù)地把一組輸入向量應(yīng)用到一個(gè)網(wǎng)

34、絡(luò)上，每次都更新網(wǎng)絡(luò)，直到達(dá)到了某種準(zhǔn)則，停止準(zhǔn)則可能是達(dá)到最每次都更新網(wǎng)絡(luò)，直到達(dá)到了某種準(zhǔn)則，停止準(zhǔn)則可能是達(dá)到最大的學(xué)習(xí)步數(shù)、最小的誤差梯度或誤差目標(biāo)等。大的學(xué)習(xí)步數(shù)、最小的誤差梯度或誤差目標(biāo)等。3.7 3.7 單層感知器的單層感知器的MATLABMATLAB設(shè)計(jì)與實(shí)現(xiàn)設(shè)計(jì)與實(shí)現(xiàn)sim() 功能功能 對(duì)網(wǎng)絡(luò)進(jìn)行仿真對(duì)網(wǎng)絡(luò)進(jìn)行仿真 格式格式 (1) Y，Pf，Af，E，perf = sim(NET，P，Pi，Ai，T) (2) Y，Pf，Af，E，perf = sim(NET，Q TS，Pi，Ai，T) (3) Y，Pf，Af，E，perf = sim(NET，Q，Pi，Ai，T) 說明說

35、明 Y為網(wǎng)絡(luò)的輸出；為網(wǎng)絡(luò)的輸出；Pf表示最終的輸入延時(shí)狀態(tài)；表示最終的輸入延時(shí)狀態(tài)；Af表示最表示最終的層延時(shí)狀態(tài)；終的層延時(shí)狀態(tài)；E為實(shí)際輸出與目標(biāo)矢量之間的誤差；為實(shí)際輸出與目標(biāo)矢量之間的誤差；perf為為網(wǎng)絡(luò)的性能值；網(wǎng)絡(luò)的性能值；NET為要測(cè)試的網(wǎng)絡(luò)對(duì)象；為要測(cè)試的網(wǎng)絡(luò)對(duì)象；P為網(wǎng)絡(luò)的輸入向量為網(wǎng)絡(luò)的輸入向量矩陣；矩陣；Pi為初始的輸入延時(shí)狀態(tài)（可省略）；為初始的輸入延時(shí)狀態(tài)（可省略）；Ai為初始的層延為初始的層延時(shí)狀態(tài)（可省略）；時(shí)狀態(tài)（可省略）；T為目標(biāo)矢量（可省略）。式為目標(biāo)矢量（可省略）。式(1)、(2)用于用于沒有輸入的網(wǎng)絡(luò)，其中沒有輸入的網(wǎng)絡(luò)，其中Q為批處理數(shù)據(jù)的個(gè)數(shù)，為

36、批處理數(shù)據(jù)的個(gè)數(shù)，TS為網(wǎng)絡(luò)仿真為網(wǎng)絡(luò)仿真的時(shí)間步數(shù)。的時(shí)間步數(shù)。3.7 3.7 單層感知器的單層感知器的MATLABMATLAB設(shè)計(jì)與實(shí)現(xiàn)設(shè)計(jì)與實(shí)現(xiàn) mae() 功能功能 平均絕對(duì)誤差性能函數(shù)平均絕對(duì)誤差性能函數(shù) 格式格式 perf=mae(E，w，pp) 說明說明 perf表示平均絕對(duì)誤差和，表示平均絕對(duì)誤差和， E為誤差矩陣或向量為誤差矩陣或向量(網(wǎng)絡(luò)的目標(biāo)向量與輸出向量之差網(wǎng)絡(luò)的目標(biāo)向量與輸出向量之差)， w為所有權(quán)值和偏為所有權(quán)值和偏值向量值向量(可忽略可忽略)， pp為性能參數(shù)為性能參數(shù)(可忽略可忽略)。 plotpv() 功能功能 繪制樣本點(diǎn)的函數(shù)繪制樣本點(diǎn)的函數(shù) 格式格式 (1

37、) plotpv(P，T) (2) plotpv(P，T，V) 說明說明 P定義了定義了n個(gè)個(gè)2或或3維的樣本，是一個(gè)維的樣本，是一個(gè)2n維或維或3n維的矩陣；維的矩陣；T表示各樣本點(diǎn)的類別，是一個(gè)表示各樣本點(diǎn)的類別，是一個(gè)n維的向量；維的向量；V=x_min x_max y_min y_max，為一設(shè)置繪圖坐標(biāo)值范圍的向量。利用，為一設(shè)置繪圖坐標(biāo)值范圍的向量。利用plotpv()函數(shù)可在坐標(biāo)圖中繪出給定的樣本點(diǎn)及其類別，不同函數(shù)可在坐標(biāo)圖中繪出給定的樣本點(diǎn)及其類別，不同的類別使用不同的符號(hào)。如果的類別使用不同的符號(hào)。如果T只含一元矢量，則目標(biāo)為只含一元矢量，則目標(biāo)為0的的輸入矢量在坐標(biāo)圖中用

38、符號(hào)輸入矢量在坐標(biāo)圖中用符號(hào)o表示：表示： 目標(biāo)為目標(biāo)為1的輸入矢量的輸入矢量在坐標(biāo)圖中用符號(hào)在坐標(biāo)圖中用符號(hào)+表示。如果表示。如果T含二元矢量，則輸入矢含二元矢量，則輸入矢量在坐標(biāo)圖中所采用的符號(hào)分別如下：量在坐標(biāo)圖中所采用的符號(hào)分別如下：0 0用用o表示；表示；0 1用用+表示：表示：1 0用用*表示；表示；1 1用表示。用表示。 3.7 3.7 單層感知器的單層感知器的MATLABMATLAB設(shè)計(jì)與實(shí)現(xiàn)設(shè)計(jì)與實(shí)現(xiàn)3.7 3.7 單層感知器的單層感知器的MATLABMATLAB設(shè)計(jì)與實(shí)現(xiàn)設(shè)計(jì)與實(shí)現(xiàn)使用使用MATLAB實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的步驟如下：實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的步驟如下： 第一步 根據(jù)應(yīng)用創(chuàng)建一個(gè)

39、神經(jīng)網(wǎng)絡(luò)； 第二步 設(shè)定神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)，利用給定樣本對(duì)創(chuàng)建的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練； 第三步 輸入測(cè)試數(shù)據(jù)，測(cè)試訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的性能。clearclffigure(gcf)%setfsize(300,300);echo on%NEWP 建立一個(gè)感知器神經(jīng)元%INIT 對(duì)感知器神經(jīng)元初始化%TRAIN 訓(xùn)練感知器神經(jīng)元%SIM 對(duì)感知器神經(jīng)元仿真pause % 敲任意鍵繼續(xù)clc% P為輸入矢量P = -0.5 -0.5 +0.3 +0.0; -0.5 +0.5 -0.5 +1.0;3.7 3.7 單層感知器的單層感知器的MATLABMATLAB設(shè)計(jì)與實(shí)現(xiàn)設(shè)計(jì)與實(shí)現(xiàn)Example 3.1% T為

40、目標(biāo)矢量T = 1 1 0 0;pauseclc% 繪制輸入矢量圖plotpv(P,T);pauseclc3.7 3.7 單層感知器的單層感知器的MATLABMATLAB設(shè)計(jì)與實(shí)現(xiàn)設(shè)計(jì)與實(shí)現(xiàn)3.7 3.7 單層感知器的單層感知器的MATLABMATLAB設(shè)計(jì)與實(shí)現(xiàn)設(shè)計(jì)與實(shí)現(xiàn)% 定義感知器神經(jīng)元并對(duì)其初始化 net=newp(-0.5 0.5;-0.5 1,1);net.initFcn=initlay;net.layers1.initFcn=initwb;net.inputWeights1,1.initFcn=rands;net.layerWeights1,1.initFcn=rands;net.biases1.initFcn=rands;net=init(net);ec