第三章感知器

第三章感知器第1頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/91第3章

感知器3.1感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展

3.2感知器的學(xué)習(xí)算法

3.2.1離散單輸出感知器訓(xùn)練算法

3.2.2離散多輸出感知器訓(xùn)練算法

3.2.3連續(xù)多輸出感知器訓(xùn)練算法3.3線性不可分問題3.3.1異或(Exclusive–OR)問題

3.3.2線性不可分問題的克服

第2頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/923.1感知器與ANN的早期發(fā)展McCulloch和Pitts1943年，發(fā)表第一個(gè)系統(tǒng)的ANN研究。1947年，開發(fā)出感知器，即閾值加權(quán)和模型單輸出的感知器x2

x1o

xn…實(shí)質(zhì)：一個(gè)典型的人工神經(jīng)元激活函數(shù)：階躍函數(shù)第3頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/933.1感知器與ANN的早期發(fā)展1962年，Rosenblatt宣布：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它能表示的任何東西

o1多輸出感知器x1x2o2omxn…

………輸入層輸出層Minsky證明了：?jiǎn)渭?jí)網(wǎng)無(wú)法接解決“異或”等最基本的問題。第4頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/943.2感知器的學(xué)習(xí)算法

感知器的學(xué)習(xí)是有導(dǎo)師學(xué)習(xí)感知器的訓(xùn)練算法的基本原理：著名的Hebb學(xué)習(xí)律基本思想：逐步地將樣本集中的樣本輸入到網(wǎng)絡(luò)中,根據(jù)輸出結(jié)果和理想輸出之間的差別來(lái)調(diào)整網(wǎng)絡(luò)中的權(quán)矩陣。第5頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/953.2.1離散單輸出感知器訓(xùn)練算法

二值網(wǎng)絡(luò)：自變量及其函數(shù)的值、向量分量的值只取0和1函數(shù)、向量。權(quán)向量：W=（w1，w2，…，wn）輸入向量：X=（x1，x2，…，xn）訓(xùn)練樣本集：{（X，Y）|Y為輸入向量X對(duì)應(yīng)的輸出}

第6頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/96算法3-1離散單輸出感知器訓(xùn)練算法

1．初始化權(quán)向量W；2．重復(fù)下列過(guò)程，直到訓(xùn)練完成：

2．1對(duì)每個(gè)樣本（X，Y），重復(fù)如下過(guò)程：

2．1．1輸入X；

2．1．2計(jì)算o=F（XW）；

2．1．3如果輸出不正確，則 當(dāng)o=0時(shí)，取W=W+X， 當(dāng)o=1時(shí)，取W=W-X第7頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/973.2.2離散多輸出感知器訓(xùn)練算法

激活函數(shù)：F

權(quán)矩陣W=（wij）樣本集：{(X,Y)|Y為輸入向量X對(duì)應(yīng)的輸出}輸入向量：X=（x1,x2,…,xn）理想輸出向量：Y=（y1,y2,…,ym）

實(shí)際輸出向量：O=（o1,o2,…,om）o1多輸出感知器x1x2o2omxn…

………輸入層輸出層第8頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/98算法3-2離散多輸出感知器訓(xùn)練算法

1．初始化權(quán)矩陣W；2．重復(fù)下列過(guò)程，直到訓(xùn)練完成：2．1對(duì)每個(gè)樣本（X，Y），重復(fù)如下過(guò)程：

2．1．1輸入X；

2．1．2計(jì)算O=F（XW）；

2．1．3fori=1tom執(zhí)行如下操作：

ifoi≠yithen ifoi=0thenforj=1ton wij=wij+xi elseforj=1ton wij=wij-xi第9頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/99算法3-2離散多輸出感知器訓(xùn)練算法算法思想：將單輸出感知器的處理逐個(gè)地用于多輸出感知器輸出層的每一個(gè)神經(jīng)元的處理。第1步:權(quán)矩陣的初始化(一系列小偽隨機(jī)數(shù))。

第10頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/910算法3-2離散多輸出感知器訓(xùn)練算法第2步，循環(huán)控制。方法1：循環(huán)次數(shù)控制法：對(duì)樣本集執(zhí)行規(guī)定次數(shù)的迭代改進(jìn)——分階段迭代控制：設(shè)定一個(gè)基本的迭代次數(shù)N，每當(dāng)訓(xùn)練完成N次迭代后，就給出一個(gè)中間結(jié)果(此時(shí)，程序需實(shí)現(xiàn)訓(xùn)練的暫停、繼續(xù)、停止等控制)第11頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/911算法3-2離散多輸出感知器訓(xùn)練算法方法2：精度控制法：給定一個(gè)精度控制參數(shù)要解決的兩個(gè)問題：（1）精度度量實(shí)際輸出向量與理想輸出向量的對(duì)應(yīng)分量的差的絕對(duì)值之和；實(shí)際輸出向量與理想輸出向量的歐氏距離的和（2）“死循環(huán)”：網(wǎng)絡(luò)無(wú)法表示樣本所代表的問題。（總達(dá)不到用戶的精度要求）第12頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/912算法3-2離散多輸出感知器訓(xùn)練算法方法3：綜合控制法：將這兩種方法結(jié)合起來(lái)使用

注意：精度參數(shù)的設(shè)置。根據(jù)實(shí)際問題選定；初始測(cè)試階段，精度要求低，測(cè)試完成后，再給出實(shí)際的精度要求。（目的：避免測(cè)試階段花費(fèi)太多時(shí)間）第13頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/9133.2.3連續(xù)多輸出感知器訓(xùn)練算法將各神經(jīng)元的輸出函數(shù)改成非階躍函數(shù)，使輸出值變成連續(xù)性的。采用第二種方法來(lái)實(shí)現(xiàn)對(duì)迭代次數(shù)的控制。ε：訓(xùn)練的精度要求。網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)：第14頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/914算法3-3連續(xù)多輸出感知器訓(xùn)練算法

1．

用適當(dāng)?shù)男坞S機(jī)數(shù)初始化權(quán)矩陣W；2．

初置精度控制參數(shù)ε，學(xué)習(xí)率α，精度控制變量

d=ε+1；3．

Whiled≥εdo3.1d=0；3.2for每個(gè)樣本（X，Y）do 3.2.1輸入X（=（x1，x2，…，xn））；

3.2.2求O=F（XW）；

3.2.3修改權(quán)矩陣W：

fori=1ton，j=1tomdo wij=wij+α（yj-oj）xi；

3.2.4累積誤差

forj=1tomdo d=d+（yj-oj）2第15頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/9153.2.3連續(xù)多輸出感知器訓(xùn)練算法

用公式wij=wij+α（yj-oj）xi取代了算法3-2第2.1.3步中的多個(gè)判斷yj與oj之間的差別對(duì)wij的影響由α（yj-oj）xi表現(xiàn)出來(lái)好處：不僅使得算法的控制在結(jié)構(gòu)上更容易理解，而且還使得它的適應(yīng)面更寬

第16頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/916算法3-3連續(xù)多輸出感知器訓(xùn)練算法

值得注意的問題：1、Minsky在1969年證明，有許多基本問題是感知器無(wú)法解決的，這類問題被稱為線性不可分問題。（樣本集所代表的問題是否線性可分？）2、一個(gè)問題的線性可分性可能與時(shí)間有關(guān)3、很難從樣本數(shù)據(jù)集直接看出問題是否線性可分4、未能證明，一個(gè)感知器究竟需要經(jīng)過(guò)多少步才能完成訓(xùn)練。第17頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/9173.3線性不可分問題

3.3.1異或(Exclusive–OR)問題

（感知器無(wú)法解決）g（x，y）y01x001110第18頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/918用于求解XOR的單神經(jīng)元感知器

無(wú)論如何選擇a、b、θ的值，都無(wú)法使得直線將點(diǎn)（0,0）和點(diǎn)（1,1）與點(diǎn)（0,1）和點(diǎn)（1,0）劃分開來(lái)。線性不可分問題：由單級(jí)感知器不能表達(dá)的問題。第19頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/919線性不可分函數(shù)變量函數(shù)及其值xyf1f2f3f4f5f6f7f8f9f10f11f12f13f14f15f16000000000011111111010000111100001111100011001100110011110101010101010101第20頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/920線性不可分函數(shù)設(shè)函數(shù)有n個(gè)自變量，每個(gè)自變量的值只可以取0或1，所以函數(shù)有2n個(gè)輸入模式。不同函數(shù)中，每個(gè)模式的值可以為0或1，則共有22n種不同的函數(shù)。R.O.Windner1960年給出n為1到6時(shí)二值函數(shù)的個(gè)數(shù)及其中線性可分函數(shù)的個(gè)數(shù)的研究結(jié)果。第21頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/921線性不可分函數(shù)自變量個(gè)數(shù)函數(shù)的個(gè)數(shù)線性可分函數(shù)的個(gè)數(shù)144216143256104465,536188254.3*10994,57261.8*10195,028,134n>=4，線性不可分函數(shù)的個(gè)數(shù)遠(yuǎn)大于線性可分函數(shù)的個(gè)數(shù)。隨著n的增大，這種差距在數(shù)量級(jí)上越來(lái)越大。第22頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/9223.3.2線性不可分問題的克服一個(gè)單級(jí)網(wǎng)絡(luò)可以將平面劃分成兩部分，用多個(gè)單級(jí)網(wǎng)組合在一起，并用其中的一個(gè)去綜合其它單級(jí)網(wǎng)的結(jié)果，就可以構(gòu)成一個(gè)兩級(jí)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以被用來(lái)在平面上劃分出一個(gè)封閉或者開放的凸域來(lái)。第23頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/923兩級(jí)單輸出網(wǎng)在n維空間中劃分出m邊凸域…x1ANmAN1ANoxn…o“異或”運(yùn)算的實(shí)現(xiàn)：第一層含兩個(gè)神經(jīng)元，第二層含一個(gè)神經(jīng)元的網(wǎng)絡(luò)。第24頁(yè)，課件共26頁(yè)，創(chuàng)作于2023年2月2023/9/924

線性