人工神經(jīng)元網(wǎng)絡(luò)-12-New課件

1、人工神經(jīng)元網(wǎng)絡(luò)(Artificial Neural Network)張文生中國(guó)科學(xué)院自動(dòng)化所機(jī)器學(xué)習(xí)與ANN神經(jīng)元模型 M-P模型與感知機(jī) Hebb學(xué)習(xí)與學(xué)習(xí) XOR問題與函數(shù)型聯(lián)接神經(jīng)網(wǎng)絡(luò)多層感知機(jī)與BP算法 什么叫人工神經(jīng)元網(wǎng)絡(luò)采用物理可實(shí)現(xiàn)的系統(tǒng)來模仿人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能的系統(tǒng)。為什么要研究ANN人工智能主要是研究人的智能 人腦是人的智能的載體 識(shí)別圖像, 聲音, 語言, 解決問題 模擬人腦神經(jīng)元網(wǎng)絡(luò)研究層次認(rèn)知心理學(xué)神經(jīng)生理學(xué)解決的問題帶決策屬性的樣本集學(xué)習(xí)條件屬性值是數(shù)字，而非符號(hào)；決策屬性值是類別或數(shù)字; 目的是找到知識(shí), 對(duì)樣本集正確分類或盡量接近決策屬性值, 繼而泛化;早期

2、研究1890年，美國(guó)生物學(xué)家James出版了Physiology一書。首次闡明了有關(guān)人腦結(jié)構(gòu)及其功能，以及相關(guān)學(xué)習(xí)、聯(lián)想、記憶的基本規(guī)律。人腦中當(dāng)兩個(gè)基本處理單元同時(shí)活動(dòng)，或兩個(gè)單元靠得比較近時(shí)，一個(gè)單元的興奮會(huì)傳到另一個(gè)單元。而且一個(gè)單元的活動(dòng)程度與他周圍的活動(dòng)數(shù)目和活動(dòng)密度成正比。 機(jī)器學(xué)習(xí)與ANN神經(jīng)元模型 M-P模型與感知機(jī) Hebb學(xué)習(xí)與學(xué)習(xí) XOR問題與函數(shù)型聯(lián)接神經(jīng)網(wǎng)絡(luò)多層感知機(jī)與BP算法 神經(jīng)元模型細(xì)胞體樹突突觸軸突Physiology of the Human BrainThe brain is composed of cells called neuronsaverage

3、100 billion per brainA neuron consists of:a cell body with a nucleusa long fiber for output signals (axon)many branching input fibers (dendrites)Synaptic Connectivity每一個(gè)突觸調(diào)節(jié)兩個(gè)神經(jīng)元的連接Each synapse can beexcitatory: acts to excite the target neuron when a signal is received, making it more likely to fir

4、einhibitory: acts to inhibit the target neuron when a signal is received, making it less likely to firesendingneurontargetneuronfire!dont!excitatory synapseinhibitory synapseArtificial Neural NetworksAn artificial neural network (ANN) is a digital model of the operation of the human brainThe model i

5、s limited, however only the most fundamental brain structures are includedBrainANN神經(jīng)元模型 M-P模型與感知機(jī) Hebb學(xué)習(xí)與學(xué)習(xí) XOR問題與函數(shù)型聯(lián)接神經(jīng)網(wǎng)絡(luò)多層感知機(jī)與BP算法 M-P模型1943年McCulloch和Pitts發(fā)表文章，提出M-P模型。描述了一個(gè)簡(jiǎn)單的人工神經(jīng)元模型的活動(dòng)是服從二值（興奮和抑制）變化的。提出了神經(jīng)元的數(shù)學(xué)描述和網(wǎng)絡(luò)的結(jié)構(gòu)方法。標(biāo)志神經(jīng)計(jì)算時(shí)代的開始.興奮邊抑制邊 神經(jīng)元的輸入有兩種類型:興奮邊/抑制邊;神經(jīng)元的輸出有兩種狀態(tài), 興奮/抑制;如果一條抑制邊處于激活狀態(tài), 則

6、神經(jīng)元處于抑制狀態(tài);如果沒有抑制邊處于激活狀態(tài), 則當(dāng)興奮邊的數(shù)目超過一個(gè)閾值時(shí), 神經(jīng)元處于興奮狀態(tài), 否則處于抑制狀態(tài);特點(diǎn)邊的權(quán)值都為固定值1, 無法調(diào)整閾值輸出是0/1一票否決改進(jìn)統(tǒng)一興奮邊和抑制邊邊的權(quán)值都為固定值1 - 權(quán)值可調(diào)整一票否決 - 相對(duì)抑制x1x2xn()yvw1w2wn-1活化函數(shù)線性活化函數(shù)(v) = v (v) v閾值函數(shù)： (v)1 v-1sigmoid函數(shù) (v)1v-1感知機(jī)1957年，F(xiàn)rank Rosenblatt定義了一個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為感知機(jī)(感知器, Perceptron) 。意義：第一次把神經(jīng)網(wǎng)絡(luò)研究從純理論的探討推向工程實(shí)現(xiàn)在IBM704計(jì)算

7、機(jī)上進(jìn)行了模擬，證明了該模型有能力通過調(diào)整權(quán)的學(xué)習(xí)達(dá)到正確分類的結(jié)果掀起了神經(jīng)網(wǎng)絡(luò)研究高潮學(xué)習(xí)一個(gè)細(xì)胞受到觸發(fā)并輸出信號(hào)后，它的物化性質(zhì)又恢復(fù)到原先的狀態(tài)，然而細(xì)胞與細(xì)胞之間的聯(lián)接狀態(tài)卻會(huì)由于多次傳遞信號(hào)而起趨于加強(qiáng) 知識(shí)似乎并不存貯在神經(jīng)細(xì)胞之內(nèi)，而是存在于各細(xì)胞間的聯(lián)接 對(duì)聯(lián)接強(qiáng)度的修改變化則是學(xué)習(xí)過程的表現(xiàn) 神經(jīng)元模型 M-P模型與感知機(jī) Hebb學(xué)習(xí)與學(xué)習(xí) XOR問題與函數(shù)型聯(lián)接神經(jīng)網(wǎng)絡(luò)多層感知機(jī)與BP算法 Hebb學(xué)習(xí) Hebb于1949年提出 神經(jīng)元突觸的強(qiáng)度是可變的學(xué)習(xí)就是在突觸上發(fā)生的突觸強(qiáng)度: 權(quán)值 Hebb認(rèn)為，如果兩個(gè)神經(jīng)元ai, aj相連，且aj的輸出連接到ai的輸入如

8、果ai和aj 的激活狀態(tài)同步（同為激活或抑制），則aj 的狀態(tài)與ai有密切的關(guān)系，應(yīng)該增強(qiáng)ai和aj之間的連接反之，則應(yīng)減弱調(diào)整公式：ij = * gi * fj 0ajaiijhigifjfj 是aj 的真實(shí)輸出；hi 是ai 的真實(shí)輸出；gi 是ai 的理想輸出;g3f1f2w31w32樣本f1f2g3S1111S2-11-1例1激活函數(shù)使用閾值函數(shù), =0。初始化為（0，0），=1。31 = g3 * f1 = 1*1+(-1)*(-1) = 2 (對(duì)第一個(gè)和第二個(gè)樣本求和)32 = g3 * f2 = 1*1+(-1)*1 = 0樣本f1f2g3S1111S2-11-1 (v)1 v-

9、1g3f1f22 0(v)例2樣本f1f2f3f4g5S11-11-11S211111S3111-1-1S41-1-11-1g5f1f2w51w52w53w54f3f4激活函數(shù)使用閾值函數(shù), =0。初始化為（0，0），=1。51 = g5 * f1 = 1*1 + 1*1 + -1*1 + -1*1 = 052 = g5 * f2 = 1*-1+ 1*1 + -1*1 + -1*-1= 053 = g5 * f3 = 1*1 + 1*1 + -1*1 + -1*-1= 254 = g5 * f4 = 1*-1+ 1*1 + -1*-1+ -1*1 = 0樣本f1f2f3f4g5S11-11-1

10、1S211111S3111-1-1S41-1-11-1g5f1f20020f3f4例1與例2的區(qū)別例1: 兩個(gè)樣本的對(duì)應(yīng)輸入的乘積之和為0。即，1*-1 + 1*1 = 0樣本f1f2g3S1111S2-11-1而例2不滿足：S1和S3的對(duì)應(yīng)輸入的乘積之和不為0。1*1 + -1*1 + 1*1 + -1*-1 = 2 樣本f1f2f3f4g5S11-11-11S211111S3111-1-1S41-1-11-1樣本可以看作空間中的矢量，兩個(gè)樣本的對(duì)應(yīng)輸入的乘積就是兩個(gè)矢量的內(nèi)積。如果兩個(gè)矢量的內(nèi)積為0，稱為正交。s,t是樣本，n是輸入量的數(shù)目。猜測(cè)：對(duì)Hebb學(xué)習(xí)規(guī)則，如果樣本集中任意兩個(gè)樣

11、本正交，則學(xué)習(xí)出的權(quán)值可以保證對(duì)樣本集中所有樣本正確分類；否則，不能保證. 學(xué)習(xí)后的權(quán)值： m是樣本數(shù)ajaiijhigifjij = * gi * fj 激活函數(shù)使用閾值函數(shù), =0對(duì)樣本集中任一個(gè)樣本S，fps是它的第p個(gè)輸入，考慮神經(jīng)網(wǎng)絡(luò)的第i個(gè)輸出節(jié)點(diǎn)的輸出his： his =n是輸入節(jié)點(diǎn)的數(shù)目學(xué)習(xí)規(guī)則1960年，Widrow Hoff提出廣義Hebb學(xué)習(xí)方法，稱為學(xué)習(xí)規(guī)則. m個(gè)樣本，q個(gè)輸出 ANNModel of ONE NeuronANNaModel of Neurons in ParallelANNModel of s Multi-layered Networkq個(gè)輸出n個(gè)輸

12、入hifj0 Hebb: ij = * gi * fj 樣本f1f2f3f4g5S11-11-11S211111S3111-1-1S41-1-11-1g5f1f2w51w52w53w54f3f4例子=0.25, w51=w54=0g5f1f2-1-121f3f4Minsky給出一個(gè)基于學(xué)習(xí)規(guī)則的感知機(jī)算法。樣本集包含n個(gè)樣本，前k個(gè)屬于第一類，后n-k個(gè)屬于第二類。激活函數(shù)使用閾值函數(shù), =0。調(diào)整權(quán)值, 使:前k個(gè)樣本滿足 *s0; 后n-k個(gè)樣本滿足*s0； 1初始化向量。2對(duì)n個(gè)樣本中的任一個(gè)樣本si，如果滿足：若1ik, 則*si0，若kin, 則*si0，則已將所有樣本正確分類，算法

13、結(jié)束；3隨機(jī)生成1，n之間的整數(shù)i=random(1, n)，選擇第i個(gè)樣本si；3.1 若1ik, 且* si0， 或kin, 且* si0， 則刪除si；轉(zhuǎn)3； 3.2若1ik（必有* si0）, + si； 若kin（必有* si0）, - si； 轉(zhuǎn)2；幾何解釋空間中兩個(gè)矢量的乘積：*si=|*|si|*cos。 其中是兩個(gè)矢量的夾角 若*si0,則意味著與si的夾角滿足：-9090而*si0則意味著與si的夾角滿足：90270 l第一類樣本第二類樣本調(diào)整權(quán)值的幾何解釋 第一類樣本新=+SiSi第二類樣本Si新=-Si例子樣本X1X2類別S1101S21121.初始化=(1,2)=(0

14、,0)。2. 對(duì)S1，*s1 = (0,0) * (1,0) =00, 對(duì)S2，*s2 = (0,0) * (1,1) =00, 由于不滿足結(jié)束條件，進(jìn)入第3步。3.隨機(jī)產(chǎn)生1，對(duì)S1，*s10, 刪除S1。轉(zhuǎn)3。 對(duì)S2，=-S2=（0，0）-（1，1）=（-1，-1）。轉(zhuǎn)2。4. 對(duì)S1，*s1 = (-1,-1) * (1,0) = -1 0, 由于不滿足結(jié)束條件，進(jìn)入第3步。5.隨機(jī)產(chǎn)生2，對(duì)S2，*s2=(-1,-1)*(1,1)= -2 0，刪除S2。轉(zhuǎn)3。 對(duì)S1，*s1=(-1,-1)*(1,0)=-10，=+S1=（-1，-1）+（1，0）=（0，-1）。轉(zhuǎn)2。6.對(duì)S1，*

15、s1 = (0,-1) * (1,0) =00, 對(duì)S2，*s2 = (0,-1) * (1,1) =-10, 由于滿足結(jié)束條件，結(jié)束。算法的目的是找到，然后用*X=0作為分界面將樣本集分開。如果存在這樣的，則稱樣本集線性可分；否則，稱為線性不可分.如果樣本是二維的,則稱為分界線如果樣本是三維的,則稱為分界面 如果樣本超過三維,則稱為分類超平面 如果樣本集線性可分，則以上算法一定在有限步內(nèi)終止，并找到存在的可能不止一個(gè)多次調(diào)整、不斷迭代 泛化 成功應(yīng)用感知機(jī)被應(yīng)用于如氣候預(yù)測(cè)、心電圖分析、人造機(jī)器視覺等許多不同的領(lǐng)域這些早期的成功曾使人們一度產(chǎn)生了對(duì)人工神經(jīng)網(wǎng)絡(luò)的樂觀看法，似乎只要建造一個(gè)足夠

16、大、足夠復(fù)雜的網(wǎng)，就可以仿制出人類腦神經(jīng)系統(tǒng)的功能 神經(jīng)元模型 M-P模型與感知機(jī) Hebb學(xué)習(xí)與學(xué)習(xí) XOR問題與函數(shù)型聯(lián)接神經(jīng)網(wǎng)絡(luò)多層感知機(jī)與BP算法 批判Marvin Minsky and Seymour Papert. Perceptrons: an introduction to computational geometry MIT Press, Cambridge, MA, 1969 異或問題（XOR問題） 樣本x1x2g1000201131014110gx1x2w1w2用單層感知機(jī)解決不了XOR問題說明:激活函數(shù)使用閾值函數(shù) (v)1v若存在w和使感知機(jī)對(duì)XOR問題正確分類，則將

17、樣本1代入，-0 （1）將樣本2代入，w2 （2）將樣本3代入，w1 （3）將樣本4代入，w1+ w2-0, 即，w1+ w2 （4）由(2),(3)，w1+ w22，與（1）（4）矛盾。所以不存在這樣的w和。樣本x1x2g1000201131014110線性不可分X1X2樣本x1x2g1000201131014110對(duì)這種非線性問題，兩種解法：函數(shù)型聯(lián)接神經(jīng)網(wǎng)絡(luò)多層感知機(jī)函數(shù)型聯(lián)接神經(jīng)網(wǎng)絡(luò)的思想:擴(kuò)維樣本x1x2x1* x2g10000201013100141110用感知機(jī)學(xué)習(xí)算法學(xué)習(xí)出以下結(jié)構(gòu)： gx1x211-2x1*x2樣本x1x2x1* x2g10000201013100141110

18、 (v)1v從幾何角度看X1X1*X2X2樣本x1x2x1* x2g10000201013100141110分界面為x+y-2z-1=0，即，z=(x+y-1)/2 缺點(diǎn):如何升維，沒有一般的方法 SVM的核函數(shù)神經(jīng)元模型 M-P模型與感知機(jī) Hebb學(xué)習(xí)與學(xué)習(xí) XOR問題與函數(shù)型聯(lián)接神經(jīng)網(wǎng)絡(luò)多層感知機(jī)與BP算法 Minsky給出的方法=0.5=1.5X1X2g1111-2h (v)1v樣本x1x2hg10000201013100141110這種方法的本質(zhì)是多層感知機(jī). 輸出層隱層 輸入層 多層感知機(jī)其實(shí)在單層感知機(jī)提出后不久就提出了，但一直沒有通用的算法在Minsky提出對(duì)感知機(jī)的批評(píng)后，其研究陷入低潮七十年代,據(jù)說全球只有幾十個(gè)人在研究，但還是成果的1982年John J. Hopfield（物理學(xué)家）提出了全聯(lián)接網(wǎng)絡(luò)，離散的神經(jīng)網(wǎng)絡(luò)模型全新的具有完整理論基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型基本思想是對(duì)于一個(gè)給定的神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)一個(gè)能量函數(shù)，這個(gè)能量函數(shù)是正比于每一個(gè)神經(jīng)元的活動(dòng)值和神經(jīng)元之間的聯(lián)接權(quán)。而活動(dòng)值的改變算法是向能量函數(shù)減少的方向進(jìn)行，一直達(dá)到一個(gè)極小值為止證明了網(wǎng)絡(luò)可達(dá)到穩(wěn)定的離散和連續(xù)兩種情況年后AT&T等做出了半導(dǎo)體芯片神經(jīng)網(wǎng)絡(luò)復(fù)興時(shí)期開始1986年，Rumelhart提出多層感知機(jī)的通用算法: BP算法（Back Propagation）1987