神經(jīng)網(wǎng)絡(luò)-第三章：感知器課件

第三章：感知器網(wǎng)絡(luò)145014208王菁第三章：感知器網(wǎng)絡(luò)145014208王菁第三章：感知器人的視覺(jué)是重要的感覺(jué)器官，人通過(guò)視覺(jué)接受的信息占全部信息量的80~85%。感知器是模擬人的視覺(jué)，接受環(huán)境信息，并由神經(jīng)沖動(dòng)進(jìn)行信息傳遞的神經(jīng)網(wǎng)絡(luò)。感知器分單層與多層，是具有學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)。第三章：感知器人的視覺(jué)是重要的感覺(jué)器官，人通過(guò)視覺(jué)接受的信息第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力

圖2-3-1單層感知器第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力布爾函數(shù)的M-P神經(jīng)元表示:

利用帶閾值的M-P人工神經(jīng)元可以很方便地實(shí)現(xiàn)布爾代數(shù)中的許多功能。在布爾代數(shù)中，and、or、Not、xoR關(guān)系如下表1所示：第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力andor

)

)xoR0000110010110110010111111000Not(Not(布爾函數(shù)的M-P神經(jīng)元表示:第三章：感知器3.1單個(gè)感知第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力且、，模型來(lái)建立，可以將圖用與、之間的關(guān)系：

上面幾個(gè)人工神經(jīng)元都滿足M-P模型。

第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力且、，模第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力根據(jù)各個(gè)圖及M-P模型，我們有

（1）（2）第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力根據(jù)各個(gè)第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力（3）顯然是符合邏輯運(yùn)算要求。第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力（3）第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力

權(quán)系數(shù)和閾值不是0、1的M-P模型

若，則M-P模型比只允許取{-1，1}要靈活（或{1，0}），（或{1，0}），則對(duì)于這個(gè)M-P人工神經(jīng)元來(lái)說(shuō)：

的多，但此時(shí)仍限制但與相比并無(wú)多大改進(jìn)。第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力權(quán)系第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力例：試說(shuō)明下列兩個(gè)M-P人工神經(jīng)元是等價(jià)的。

分析：對(duì)于（a）

第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力例：試說(shuō)第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力對(duì)與（b）第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力對(duì)與（b第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力此時(shí)感知器人工神經(jīng)元結(jié)構(gòu)及其數(shù)學(xué)描述如下：

當(dāng)M-P人工神經(jīng)元的輸入X可以在R上取值時(shí)

——離散感知器(簡(jiǎn)稱感知器)

若M-P人工神經(jīng)元的輸入，而其輸出值為或模型就改進(jìn)為離散感知器（因?yàn)槠漭敵鲞€是離散的），簡(jiǎn)稱為感知器。。則此時(shí)的M-P第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力此時(shí)感知第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力

用圖所示二輸入/單輸出單層感知器，輸入輸出描述：

?íì<·3·=·=-+=0,00,1)()(2211fuwuwfyq

即

qq<+3+?íì=22112211,0,1uwuwuwuwy

可見(jiàn)：輸入輸出為線性可分集合，一定可找到一條直線，將輸入模式分為兩類，此直線方程：

ywuwu=+-=11220q

則

uwwwu22121=-q

見(jiàn)圖，此直線與權(quán)值及閾值有關(guān)。

第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力

用圖所示三輸入/單輸出的單層感知器，輸入輸出：

?íì<·3·=·=-++=0,00,1)()(332211fuwuwuwfyq即

qq<++3++?íì=332211332211,0,1uwuwuwuwuwuwy可見(jiàn)，輸入輸出為線性可分集合，一定可找到一個(gè)平面，將輸入模式分為兩類，平面方程：

0332211=-++=quwuwuwy則

23213133uwwuwwwu--=q此平面與權(quán)值及閾值有關(guān),見(jiàn)圖。第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力

感知器的分類定義

作為數(shù)學(xué)模型，我們對(duì)感知器作出如下歸納：感知器是一個(gè)多輸入、單輸出的運(yùn)算系統(tǒng)，表示一個(gè)神經(jīng)元的運(yùn)算特性，它的輸入狀態(tài)向量記為：權(quán)向量:2.感知器的狀態(tài)值可以為感知器的輸出值

第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力感知器

連續(xù)感知器

第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力連續(xù)感知器人工神經(jīng)元結(jié)構(gòu)及其數(shù)學(xué)描述如下：

若取，則其成為一類最簡(jiǎn)單的連續(xù)人工感知神經(jīng)元。激活函數(shù)：連續(xù)感知器第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力是不連續(xù)的:或都在{0，1}或{-1，1}上取值，的每個(gè)向量定義：

如果且激活函數(shù)那么這個(gè)感知神經(jīng)元被成為M-P模型。是離散的，那么這個(gè)b)如果，但激勵(lì)函數(shù)感知神經(jīng)元被稱為離散感知器——常簡(jiǎn)稱為感知器。是連續(xù)函數(shù)，那么這個(gè)感知且C)如果神經(jīng)元稱為連續(xù)感知器。

由相應(yīng)的感知神經(jīng)元組成的網(wǎng)絡(luò)就稱為相應(yīng)神經(jīng)網(wǎng)絡(luò)，如M-P神經(jīng)網(wǎng)絡(luò)、感知器神經(jīng)網(wǎng)絡(luò)、連續(xù)感知器神經(jīng)網(wǎng)絡(luò)。第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力是不連續(xù)

例

線性不可分集合。

二維平面上的兩類模式——異或（XOR）問(wèn)題，見(jiàn)表。二維平面中不存在一條直線，將輸入模式分為兩類，此輸入模式稱線性不可分集合，見(jiàn)圖?？梢?jiàn)：?jiǎn)螌痈兄鞑荒芙鉀Q異或問(wèn)題。第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力結(jié)論：?jiǎn)蝹€(gè)感知器不能對(duì)線性不可分問(wèn)題實(shí)現(xiàn)兩類分類。例線性不可分集合。二維平面上的兩類模式——單層感知器工作原理

對(duì)于只有兩個(gè)輸入的判別邊界是直線（如下式所示）,選擇合適的學(xué)習(xí)算法可訓(xùn)練出滿意的和，當(dāng)它用于兩類模式的分類時(shí)，相當(dāng)于在高維樣本空間中，用一個(gè)超平面將兩類樣本分開(kāi)。第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力單層感知器工作原理第三章：感知器3.1單個(gè)感知器模型與解決第三章：感知器3.2單層感知器模型與解決問(wèn)題的能力

在上一節(jié)中指出了線性單個(gè)感知神經(jīng)網(wǎng)絡(luò)只能實(shí)現(xiàn)兩類分類，如果要進(jìn)行多于兩類的分類將怎么辦？生物醫(yī)學(xué)已經(jīng)證明：生物神經(jīng)系統(tǒng)是由一些相互聯(lián)系的，并能互相傳遞信息的神經(jīng)細(xì)胞互連構(gòu)成。因此這就使我們自然地想到是否可將單個(gè)的感知神經(jīng)元連成網(wǎng)絡(luò)形成一個(gè)單層的網(wǎng)絡(luò)？結(jié)構(gòu)第三章：感知器3.2單層感知器模型與解決問(wèn)題的能力第三章：感知器3.2單層感知器模型與解決問(wèn)題的能力

例

線性不可分集合。

二維平面上的兩類模式——異或（XOR）問(wèn)題，見(jiàn)表。二維平面中不存在一條直線，將輸入模式分為兩類，此輸入模式稱線性不可分集合，見(jiàn)圖。可見(jiàn)：?jiǎn)螌痈兄鞑荒芙鉀Q異或問(wèn)題。結(jié)論：?jiǎn)螌痈兄鞑荒軐?duì)線性不可分問(wèn)題實(shí)現(xiàn)兩類分類。第三章：感知器3.2單層感知器模型與解決問(wèn)題的能力例第三章：感知器3.6有關(guān)的幾個(gè)問(wèn)題M-P模型在人工神經(jīng)網(wǎng)絡(luò)中的地位

首先M-P模型是所有人工神經(jīng)元中第一個(gè)被建立起來(lái)的，它在多個(gè)方面都顯示出生物神經(jīng)元所具有的基本特性。其次，目前其它形式的人工神經(jīng)元已有很多，但大多數(shù)都是在M-P模型的基礎(chǔ)上經(jīng)過(guò)不同的修正，改進(jìn)變換而發(fā)展起來(lái)。因此M-P人工神經(jīng)元是整個(gè)人工神經(jīng)網(wǎng)的基礎(chǔ)。第三章：感知器3.6有關(guān)的幾個(gè)問(wèn)題M-P模型在人工神經(jīng)1、神經(jīng)元的內(nèi)部改造：對(duì)不同的人工神經(jīng)元取不同的非線性函數(shù)F（·）；對(duì)人工神經(jīng)元的輸入和輸出做不同的限制：離散的（某些離散點(diǎn)）和連續(xù)的（整個(gè)實(shí)數(shù)域）。2、人工神經(jīng)元之間的聯(lián)接形式上進(jìn)行改造——神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)上的改造。3、在人工神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值取求的方法上改造——算法的改進(jìn)。4、其它形式的改造，譬如（1）與（2）結(jié)合起來(lái)改進(jìn)；（2）與（3）結(jié)合起來(lái)改進(jìn)等等。第三章：感知器3.6有關(guān)的幾個(gè)問(wèn)題對(duì)M-P人工神經(jīng)元進(jìn)行改進(jìn)的主要方式1、神經(jīng)元的內(nèi)部改造：對(duì)不同的人工神經(jīng)元取不同的非線性函數(shù)F1、單神經(jīng)元（M-P模型、單感知器、單連續(xù)感知機(jī)）；2、單層前向連接的神經(jīng)網(wǎng)絡(luò)；3、多層前向連接的神經(jīng)網(wǎng)絡(luò)（BP、RBF）；4、單層帶有反饋連接的神經(jīng)網(wǎng)絡(luò)（Hopfield網(wǎng)）；5、多層回歸（遞歸）神經(jīng)網(wǎng)絡(luò)；6、局部連接的人工神經(jīng)網(wǎng)絡(luò)（細(xì)胞神經(jīng)網(wǎng)、小腦模型等）。

第三章：感知器3.6有關(guān)的幾個(gè)問(wèn)題人工神經(jīng)網(wǎng)絡(luò)常見(jiàn)的連接形式有：方式1、單神經(jīng)元（M-P模型、單感知器、單連續(xù)感知機(jī)）；第三章：第三章：感知器網(wǎng)絡(luò)145014208王菁第三章：感知器網(wǎng)絡(luò)145014208王菁第三章：感知器人的視覺(jué)是重要的感覺(jué)器官，人通過(guò)視覺(jué)接受的信息占全部信息量的80~85%。感知器是模擬人的視覺(jué)，接受環(huán)境信息，并由神經(jīng)沖動(dòng)進(jìn)行信息傳遞的神經(jīng)網(wǎng)絡(luò)。感知器分單層與多層，是具有學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)。第三章：感知器人的視覺(jué)是重要的感覺(jué)器官，人通過(guò)視覺(jué)接受的信息第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力

圖2-3-1單層感知器第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力布爾函數(shù)的M-P神經(jīng)元表示:

利用帶閾值的M-P人工神經(jīng)元可以很方便地實(shí)現(xiàn)布爾代數(shù)中的許多功能。在布爾代數(shù)中，and、or、Not、xoR關(guān)系如下表1所示：第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力andor

)

)xoR0000110010110110010111111000Not(Not(布爾函數(shù)的M-P神經(jīng)元表示:第三章：感知器3.1單個(gè)感知第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力且、，模型來(lái)建立，可以將圖用與、之間的關(guān)系：

上面幾個(gè)人工神經(jīng)元都滿足M-P模型。

第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力且、，模第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力根據(jù)各個(gè)圖及M-P模型，我們有

（1）（2）第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力根據(jù)各個(gè)第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力（3）顯然是符合邏輯運(yùn)算要求。第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力（3）第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力

權(quán)系數(shù)和閾值不是0、1的M-P模型

若，則M-P模型比只允許取{-1，1}要靈活（或{1，0}），（或{1，0}），則對(duì)于這個(gè)M-P人工神經(jīng)元來(lái)說(shuō)：

的多，但此時(shí)仍限制但與相比并無(wú)多大改進(jìn)。第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力權(quán)系第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力例：試說(shuō)明下列兩個(gè)M-P人工神經(jīng)元是等價(jià)的。

分析：對(duì)于（a）

第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力例：試說(shuō)第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力對(duì)與（b）第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力對(duì)與（b第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力此時(shí)感知器人工神經(jīng)元結(jié)構(gòu)及其數(shù)學(xué)描述如下：

當(dāng)M-P人工神經(jīng)元的輸入X可以在R上取值時(shí)

——離散感知器(簡(jiǎn)稱感知器)

若M-P人工神經(jīng)元的輸入，而其輸出值為或模型就改進(jìn)為離散感知器（因?yàn)槠漭敵鲞€是離散的），簡(jiǎn)稱為感知器。。則此時(shí)的M-P第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力此時(shí)感知第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力

用圖所示二輸入/單輸出單層感知器，輸入輸出描述：

?íì<·3·=·=-+=0,00,1)()(2211fuwuwfyq

即

qq<+3+?íì=22112211,0,1uwuwuwuwy

可見(jiàn)：輸入輸出為線性可分集合，一定可找到一條直線，將輸入模式分為兩類，此直線方程：

ywuwu=+-=11220q

則

uwwwu22121=-q

見(jiàn)圖，此直線與權(quán)值及閾值有關(guān)。

第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力

用圖所示三輸入/單輸出的單層感知器，輸入輸出：

?íì<·3·=·=-++=0,00,1)()(332211fuwuwuwfyq即

qq<++3++?íì=332211332211,0,1uwuwuwuwuwuwy可見(jiàn)，輸入輸出為線性可分集合，一定可找到一個(gè)平面，將輸入模式分為兩類，平面方程：

0332211=-++=quwuwuwy則

23213133uwwuwwwu--=q此平面與權(quán)值及閾值有關(guān),見(jiàn)圖。第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力

感知器的分類定義

作為數(shù)學(xué)模型，我們對(duì)感知器作出如下歸納：感知器是一個(gè)多輸入、單輸出的運(yùn)算系統(tǒng)，表示一個(gè)神經(jīng)元的運(yùn)算特性，它的輸入狀態(tài)向量記為：權(quán)向量:2.感知器的狀態(tài)值可以為感知器的輸出值

第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力感知器

連續(xù)感知器

第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力連續(xù)感知器人工神經(jīng)元結(jié)構(gòu)及其數(shù)學(xué)描述如下：

若取，則其成為一類最簡(jiǎn)單的連續(xù)人工感知神經(jīng)元。激活函數(shù)：連續(xù)感知器第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力是不連續(xù)的:或都在{0，1}或{-1，1}上取值，的每個(gè)向量定義：

如果且激活函數(shù)那么這個(gè)感知神經(jīng)元被成為M-P模型。是離散的，那么這個(gè)b)如果，但激勵(lì)函數(shù)感知神經(jīng)元被稱為離散感知器——常簡(jiǎn)稱為感知器。是連續(xù)函數(shù)，那么這個(gè)感知且C)如果神經(jīng)元稱為連續(xù)感知器。

由相應(yīng)的感知神經(jīng)元組成的網(wǎng)絡(luò)就稱為相應(yīng)神經(jīng)網(wǎng)絡(luò)，如M-P神經(jīng)網(wǎng)絡(luò)、感知器神經(jīng)網(wǎng)絡(luò)、連續(xù)感知器神經(jīng)網(wǎng)絡(luò)。第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力是不連續(xù)

例

線性不可分集合。

二維平面上的兩類模式——異或（XOR）問(wèn)題，見(jiàn)表。二維平面中不存在一條直線，將輸入模式分為兩類，此輸入模式稱線性不可分集合，見(jiàn)圖。可見(jiàn)：?jiǎn)螌痈兄鞑荒芙鉀Q異或問(wèn)題。第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力結(jié)論：?jiǎn)蝹€(gè)感知器不能對(duì)線性不可分問(wèn)題實(shí)現(xiàn)兩類分類。例線性不可分集合。二維平面上的兩類模式——單層感知器工作原理

對(duì)于只有兩個(gè)輸入的判別邊界是直線（如下式所示）,選擇合適的學(xué)習(xí)算法可訓(xùn)練出滿意的和，當(dāng)它用于兩類模式的分類時(shí)，相當(dāng)于在高維樣本空間中，用一個(gè)超平面將兩類樣本分開(kāi)。第三章：感知器3.1單個(gè)感知器模型與解決問(wèn)題的能力單層感知器工作原理第三章：感知器3.1單個(gè)感知器模型與解決第三章：感知器3.2單層感知器模型與解決問(wèn)題的能力

在上一節(jié)中指出了線性單個(gè)感知神經(jīng)網(wǎng)絡(luò)只能實(shí)現(xiàn)兩類分類，如果要進(jìn)行多于兩類的分類將怎么辦？生物醫(yī)學(xué)已經(jīng)證明：生物神經(jīng)系統(tǒng)是由一些相互聯(lián)系的，并能互相傳遞信息的神經(jīng)細(xì)胞互連構(gòu)成。因此這就使我們自然地想到是否可將單個(gè)的感知神經(jīng)元連成網(wǎng)絡(luò)形成一個(gè)單層的網(wǎng)絡(luò)？結(jié)構(gòu)第三章：感知器3.2單層感知器模型與解決問(wèn)題的能力第三章：感知器3.2單層感知器模型與解決問(wèn)題的能力

例

線性不可分集合。

二維平面上的兩類