第三章感知器

第三章感知器第1頁，課件共26頁，創(chuàng)作于2023年2月2023/9/91第3章

感知器3.1感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展

3.2感知器的學(xué)習(xí)算法

3.2.1離散單輸出感知器訓(xùn)練算法

3.2.2離散多輸出感知器訓(xùn)練算法

3.2.3連續(xù)多輸出感知器訓(xùn)練算法3.3線性不可分問題3.3.1異或(Exclusive–OR)問題

3.3.2線性不可分問題的克服

第2頁，課件共26頁，創(chuàng)作于2023年2月2023/9/923.1感知器與ANN的早期發(fā)展McCulloch和Pitts1943年，發(fā)表第一個系統(tǒng)的ANN研究。1947年，開發(fā)出感知器，即閾值加權(quán)和模型單輸出的感知器x2

x1o

xn…實(shí)質(zhì)：一個典型的人工神經(jīng)元激活函數(shù)：階躍函數(shù)第3頁，課件共26頁，創(chuàng)作于2023年2月2023/9/933.1感知器與ANN的早期發(fā)展1962年，Rosenblatt宣布：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會它能表示的任何東西

o1多輸出感知器x1x2o2omxn…

………輸入層輸出層Minsky證明了：單級網(wǎng)無法接解決“異或”等最基本的問題。第4頁，課件共26頁，創(chuàng)作于2023年2月2023/9/943.2感知器的學(xué)習(xí)算法

感知器的學(xué)習(xí)是有導(dǎo)師學(xué)習(xí)感知器的訓(xùn)練算法的基本原理：著名的Hebb學(xué)習(xí)律基本思想：逐步地將樣本集中的樣本輸入到網(wǎng)絡(luò)中,根據(jù)輸出結(jié)果和理想輸出之間的差別來調(diào)整網(wǎng)絡(luò)中的權(quán)矩陣。第5頁，課件共26頁，創(chuàng)作于2023年2月2023/9/953.2.1離散單輸出感知器訓(xùn)練算法

二值網(wǎng)絡(luò)：自變量及其函數(shù)的值、向量分量的值只取0和1函數(shù)、向量。權(quán)向量：W=（w1，w2，…，wn）輸入向量：X=（x1，x2，…，xn）訓(xùn)練樣本集：{（X，Y）|Y為輸入向量X對應(yīng)的輸出}

第6頁，課件共26頁，創(chuàng)作于2023年2月2023/9/96算法3-1離散單輸出感知器訓(xùn)練算法

1．初始化權(quán)向量W；2．重復(fù)下列過程，直到訓(xùn)練完成：

2．1對每個樣本（X，Y），重復(fù)如下過程：

2．1．1輸入X；

2．1．2計算o=F（XW）；

2．1．3如果輸出不正確，則 當(dāng)o=0時，取W=W+X， 當(dāng)o=1時，取W=W-X第7頁，課件共26頁，創(chuàng)作于2023年2月2023/9/973.2.2離散多輸出感知器訓(xùn)練算法

激活函數(shù)：F

權(quán)矩陣W=（wij）樣本集：{(X,Y)|Y為輸入向量X對應(yīng)的輸出}輸入向量：X=（x1,x2,…,xn）理想輸出向量：Y=（y1,y2,…,ym）

實(shí)際輸出向量：O=（o1,o2,…,om）o1多輸出感知器x1x2o2omxn…

………輸入層輸出層第8頁，課件共26頁，創(chuàng)作于2023年2月2023/9/98算法3-2離散多輸出感知器訓(xùn)練算法

1．初始化權(quán)矩陣W；2．重復(fù)下列過程，直到訓(xùn)練完成：2．1對每個樣本（X，Y），重復(fù)如下過程：

2．1．1輸入X；

2．1．2計算O=F（XW）；

2．1．3fori=1tom執(zhí)行如下操作：

ifoi≠yithen ifoi=0thenforj=1ton wij=wij+xi elseforj=1ton wij=wij-xi第9頁，課件共26頁，創(chuàng)作于2023年2月2023/9/99算法3-2離散多輸出感知器訓(xùn)練算法算法思想：將單輸出感知器的處理逐個地用于多輸出感知器輸出層的每一個神經(jīng)元的處理。第1步:權(quán)矩陣的初始化(一系列小偽隨機(jī)數(shù))。

第10頁，課件共26頁，創(chuàng)作于2023年2月2023/9/910算法3-2離散多輸出感知器訓(xùn)練算法第2步，循環(huán)控制。方法1：循環(huán)次數(shù)控制法：對樣本集執(zhí)行規(guī)定次數(shù)的迭代改進(jìn)——分階段迭代控制：設(shè)定一個基本的迭代次數(shù)N，每當(dāng)訓(xùn)練完成N次迭代后，就給出一個中間結(jié)果(此時，程序需實(shí)現(xiàn)訓(xùn)練的暫停、繼續(xù)、停止等控制)第11頁，課件共26頁，創(chuàng)作于2023年2月2023/9/911算法3-2離散多輸出感知器訓(xùn)練算法方法2：精度控制法：給定一個精度控制參數(shù)要解決的兩個問題：（1）精度度量實(shí)際輸出向量與理想輸出向量的對應(yīng)分量的差的絕對值之和；實(shí)際輸出向量與理想輸出向量的歐氏距離的和（2）“死循環(huán)”：網(wǎng)絡(luò)無法表示樣本所代表的問題。（總達(dá)不到用戶的精度要求）第12頁，課件共26頁，創(chuàng)作于2023年2月2023/9/912算法3-2離散多輸出感知器訓(xùn)練算法方法3：綜合控制法：將這兩種方法結(jié)合起來使用

注意：精度參數(shù)的設(shè)置。根據(jù)實(shí)際問題選定；初始測試階段，精度要求低，測試完成后，再給出實(shí)際的精度要求。（目的：避免測試階段花費(fèi)太多時間）第13頁，課件共26頁，創(chuàng)作于2023年2月2023/9/9133.2.3連續(xù)多輸出感知器訓(xùn)練算法將各神經(jīng)元的輸出函數(shù)改成非階躍函數(shù)，使輸出值變成連續(xù)性的。采用第二種方法來實(shí)現(xiàn)對迭代次數(shù)的控制。ε：訓(xùn)練的精度要求。網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)：第14頁，課件共26頁，創(chuàng)作于2023年2月2023/9/914算法3-3連續(xù)多輸出感知器訓(xùn)練算法

1．

用適當(dāng)?shù)男坞S機(jī)數(shù)初始化權(quán)矩陣W；2．

初置精度控制參數(shù)ε，學(xué)習(xí)率α，精度控制變量

d=ε+1；3．

Whiled≥εdo3.1d=0；3.2for每個樣本（X，Y）do 3.2.1輸入X（=（x1，x2，…，xn））；

3.2.2求O=F（XW）；

3.2.3修改權(quán)矩陣W：

fori=1ton，j=1tomdo wij=wij+α（yj-oj）xi；

3.2.4累積誤差

forj=1tomdo d=d+（yj-oj）2第15頁，課件共26頁，創(chuàng)作于2023年2月2023/9/9153.2.3連續(xù)多輸出感知器訓(xùn)練算法

用公式wij=wij+α（yj-oj）xi取代了算法3-2第2.1.3步中的多個判斷yj與oj之間的差別對wij的影響由α（yj-oj）xi表現(xiàn)出來好處：不僅使得算法的控制在結(jié)構(gòu)上更容易理解，而且還使得它的適應(yīng)面更寬

第16頁，課件共26頁，創(chuàng)作于2023年2月2023/9/916算法3-3連續(xù)多輸出感知器訓(xùn)練算法

值得注意的問題：1、Minsky在1969年證明，有許多基本問題是感知器無法解決的，這類問題被稱為線性不可分問題。（樣本集所代表的問題是否線性可分？）2、一個問題的線性可分性可能與時間有關(guān)3、很難從樣本數(shù)據(jù)集直接看出問題是否線性可分4、未能證明，一個感知器究竟需要經(jīng)過多少步才能完成訓(xùn)練。第17頁，課件共26頁，創(chuàng)作于2023年2月2023/9/9173.3線性不可分問題

3.3.1異或(Exclusive–OR)問題

（感知器無法解決）g（x，y）y01x001110第18頁，課件共26頁，創(chuàng)作于2023年2月2023/9/918用于求解XOR的單神經(jīng)元感知器

無論如何選擇a、b、θ的值，都無法使得直線將點(diǎn)（0,0）和點(diǎn)（1,1）與點(diǎn)（0,1）和點(diǎn)（1,0）劃分開來。線性不可分問題：由單級感知器不能表達(dá)的問題。第19頁，課件共26頁，創(chuàng)作于2023年2月2023/9/919線性不可分函數(shù)變量函數(shù)及其值xyf1f2f3f4f5f6f7f8f9f10f11f12f13f14f15f16000000000011111111010000111100001111100011001100110011110101010101010101第20頁，課件共26頁，創(chuàng)作于2023年2月2023/9/920線性不可分函數(shù)設(shè)函數(shù)有n個自變量，每個自變量的值只可以取0或1，所以函數(shù)有2n個輸入模式。不同函數(shù)中，每個模式的值可以為0或1，則共有22n種不同的函數(shù)。R.O.Windner1960年給出n為1到6時二值函數(shù)的個數(shù)及其中線性可分函數(shù)的個數(shù)的研究結(jié)果。第21頁，課件共26頁，創(chuàng)作于2023年2月2023/9/921線性不可分函數(shù)自變量個數(shù)函數(shù)的個數(shù)線性可分函數(shù)的個數(shù)144216143256104465,536188254.3*10994,57261.8*10195,028,134n>=4，線性不可分函數(shù)的個數(shù)遠(yuǎn)大于線性可分函數(shù)的個數(shù)。隨著n的增大，這種差距在數(shù)量級上越來越大。第22頁，課件共26頁，創(chuàng)作于2023年2月2023/9/9223.3.2線性不可分問題的克服一個單級網(wǎng)絡(luò)可以將平面劃分成兩部分，用多個單級網(wǎng)組合在一起，并用其中的一個去綜合其它單級網(wǎng)的結(jié)果，就可以構(gòu)成一個兩級網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以被用來在平面上劃分出一個封閉或者開放的凸域來。第23頁，課件共26頁，創(chuàng)作于2023年2月2023/9/923兩級單輸出網(wǎng)在n維空間中劃分出m邊凸域…x1ANmAN1ANoxn…o“異或”運(yùn)算的實(shí)現(xiàn)：第一層含兩個神經(jīng)元，第二層含一個神經(jīng)元的網(wǎng)絡(luò)。第24頁，課件共26頁，創(chuàng)作于2023年2月2023/9/924

線性