人工神經(jīng)元網(wǎng)絡-12-New課件

1、人工神經(jīng)元網(wǎng)絡(Artificial Neural Network)張文生中國科學院自動化所機器學習與ANN神經(jīng)元模型 M-P模型與感知機 Hebb學習與學習 XOR問題與函數(shù)型聯(lián)接神經(jīng)網(wǎng)絡多層感知機與BP算法 什么叫人工神經(jīng)元網(wǎng)絡采用物理可實現(xiàn)的系統(tǒng)來模仿人腦神經(jīng)細胞的結構和功能的系統(tǒng)。為什么要研究ANN人工智能主要是研究人的智能 人腦是人的智能的載體 識別圖像, 聲音, 語言, 解決問題 模擬人腦神經(jīng)元網(wǎng)絡研究層次認知心理學神經(jīng)生理學解決的問題帶決策屬性的樣本集學習條件屬性值是數(shù)字，而非符號；決策屬性值是類別或數(shù)字; 目的是找到知識, 對樣本集正確分類或盡量接近決策屬性值, 繼而泛化;早期

2、研究1890年，美國生物學家James出版了Physiology一書。首次闡明了有關人腦結構及其功能，以及相關學習、聯(lián)想、記憶的基本規(guī)律。人腦中當兩個基本處理單元同時活動，或兩個單元靠得比較近時，一個單元的興奮會傳到另一個單元。而且一個單元的活動程度與他周圍的活動數(shù)目和活動密度成正比。 機器學習與ANN神經(jīng)元模型 M-P模型與感知機 Hebb學習與學習 XOR問題與函數(shù)型聯(lián)接神經(jīng)網(wǎng)絡多層感知機與BP算法 神經(jīng)元模型細胞體樹突突觸軸突Physiology of the Human BrainThe brain is composed of cells called neuronsaverage

3、100 billion per brainA neuron consists of:a cell body with a nucleusa long fiber for output signals (axon)many branching input fibers (dendrites)Synaptic Connectivity每一個突觸調節(jié)兩個神經(jīng)元的連接Each synapse can beexcitatory: acts to excite the target neuron when a signal is received, making it more likely to fir

4、einhibitory: acts to inhibit the target neuron when a signal is received, making it less likely to firesendingneurontargetneuronfire!dont!excitatory synapseinhibitory synapseArtificial Neural NetworksAn artificial neural network (ANN) is a digital model of the operation of the human brainThe model i

5、s limited, however only the most fundamental brain structures are includedBrainANN神經(jīng)元模型 M-P模型與感知機 Hebb學習與學習 XOR問題與函數(shù)型聯(lián)接神經(jīng)網(wǎng)絡多層感知機與BP算法 M-P模型1943年McCulloch和Pitts發(fā)表文章，提出M-P模型。描述了一個簡單的人工神經(jīng)元模型的活動是服從二值（興奮和抑制）變化的。提出了神經(jīng)元的數(shù)學描述和網(wǎng)絡的結構方法。標志神經(jīng)計算時代的開始.興奮邊抑制邊 神經(jīng)元的輸入有兩種類型:興奮邊/抑制邊;神經(jīng)元的輸出有兩種狀態(tài), 興奮/抑制;如果一條抑制邊處于激活狀態(tài), 則

6、神經(jīng)元處于抑制狀態(tài);如果沒有抑制邊處于激活狀態(tài), 則當興奮邊的數(shù)目超過一個閾值時, 神經(jīng)元處于興奮狀態(tài), 否則處于抑制狀態(tài);特點邊的權值都為固定值1, 無法調整閾值輸出是0/1一票否決改進統(tǒng)一興奮邊和抑制邊邊的權值都為固定值1 - 權值可調整一票否決 - 相對抑制x1x2xn()yvw1w2wn-1活化函數(shù)線性活化函數(shù)(v) = v (v) v閾值函數(shù)： (v)1 v-1sigmoid函數(shù) (v)1v-1感知機1957年，F(xiàn)rank Rosenblatt定義了一個神經(jīng)網(wǎng)絡結構，稱為感知機(感知器, Perceptron) 。意義：第一次把神經(jīng)網(wǎng)絡研究從純理論的探討推向工程實現(xiàn)在IBM704計算

7、機上進行了模擬，證明了該模型有能力通過調整權的學習達到正確分類的結果掀起了神經(jīng)網(wǎng)絡研究高潮學習一個細胞受到觸發(fā)并輸出信號后，它的物化性質又恢復到原先的狀態(tài)，然而細胞與細胞之間的聯(lián)接狀態(tài)卻會由于多次傳遞信號而起趨于加強 知識似乎并不存貯在神經(jīng)細胞之內，而是存在于各細胞間的聯(lián)接 對聯(lián)接強度的修改變化則是學習過程的表現(xiàn) 神經(jīng)元模型 M-P模型與感知機 Hebb學習與學習 XOR問題與函數(shù)型聯(lián)接神經(jīng)網(wǎng)絡多層感知機與BP算法 Hebb學習 Hebb于1949年提出 神經(jīng)元突觸的強度是可變的學習就是在突觸上發(fā)生的突觸強度: 權值 Hebb認為，如果兩個神經(jīng)元ai, aj相連，且aj的輸出連接到ai的輸入如

8、果ai和aj 的激活狀態(tài)同步（同為激活或抑制），則aj 的狀態(tài)與ai有密切的關系，應該增強ai和aj之間的連接反之，則應減弱調整公式：ij = * gi * fj 0ajaiijhigifjfj 是aj 的真實輸出；hi 是ai 的真實輸出；gi 是ai 的理想輸出;g3f1f2w31w32樣本f1f2g3S1111S2-11-1例1激活函數(shù)使用閾值函數(shù), =0。初始化為（0，0），=1。31 = g3 * f1 = 1*1+(-1)*(-1) = 2 (對第一個和第二個樣本求和)32 = g3 * f2 = 1*1+(-1)*1 = 0樣本f1f2g3S1111S2-11-1 (v)1 v-

9、1g3f1f22 0(v)例2樣本f1f2f3f4g5S11-11-11S211111S3111-1-1S41-1-11-1g5f1f2w51w52w53w54f3f4激活函數(shù)使用閾值函數(shù), =0。初始化為（0，0），=1。51 = g5 * f1 = 1*1 + 1*1 + -1*1 + -1*1 = 052 = g5 * f2 = 1*-1+ 1*1 + -1*1 + -1*-1= 053 = g5 * f3 = 1*1 + 1*1 + -1*1 + -1*-1= 254 = g5 * f4 = 1*-1+ 1*1 + -1*-1+ -1*1 = 0樣本f1f2f3f4g5S11-11-1

10、1S211111S3111-1-1S41-1-11-1g5f1f20020f3f4例1與例2的區(qū)別例1: 兩個樣本的對應輸入的乘積之和為0。即，1*-1 + 1*1 = 0樣本f1f2g3S1111S2-11-1而例2不滿足：S1和S3的對應輸入的乘積之和不為0。1*1 + -1*1 + 1*1 + -1*-1 = 2 樣本f1f2f3f4g5S11-11-11S211111S3111-1-1S41-1-11-1樣本可以看作空間中的矢量，兩個樣本的對應輸入的乘積就是兩個矢量的內積。如果兩個矢量的內積為0，稱為正交。s,t是樣本，n是輸入量的數(shù)目。猜測：對Hebb學習規(guī)則，如果樣本集中任意兩個樣

11、本正交，則學習出的權值可以保證對樣本集中所有樣本正確分類；否則，不能保證. 學習后的權值： m是樣本數(shù)ajaiijhigifjij = * gi * fj 激活函數(shù)使用閾值函數(shù), =0對樣本集中任一個樣本S，fps是它的第p個輸入，考慮神經(jīng)網(wǎng)絡的第i個輸出節(jié)點的輸出his： his =n是輸入節(jié)點的數(shù)目學習規(guī)則1960年，Widrow Hoff提出廣義Hebb學習方法，稱為學習規(guī)則. m個樣本，q個輸出 ANNModel of ONE NeuronANNaModel of Neurons in ParallelANNModel of s Multi-layered Networkq個輸出n個輸

12、入hifj0 Hebb: ij = * gi * fj 樣本f1f2f3f4g5S11-11-11S211111S3111-1-1S41-1-11-1g5f1f2w51w52w53w54f3f4例子=0.25, w51=w54=0g5f1f2-1-121f3f4Minsky給出一個基于學習規(guī)則的感知機算法。樣本集包含n個樣本，前k個屬于第一類，后n-k個屬于第二類。激活函數(shù)使用閾值函數(shù), =0。調整權值, 使:前k個樣本滿足 *s0; 后n-k個樣本滿足*s0； 1初始化向量。2對n個樣本中的任一個樣本si，如果滿足：若1ik, 則*si0，若kin, 則*si0，則已將所有樣本正確分類，算法

13、結束；3隨機生成1，n之間的整數(shù)i=random(1, n)，選擇第i個樣本si；3.1 若1ik, 且* si0， 或kin, 且* si0， 則刪除si；轉3； 3.2若1ik（必有* si0）, + si； 若kin（必有* si0）, - si； 轉2；幾何解釋空間中兩個矢量的乘積：*si=|*|si|*cos。 其中是兩個矢量的夾角 若*si0,則意味著與si的夾角滿足：-9090而*si0則意味著與si的夾角滿足：90270 l第一類樣本第二類樣本調整權值的幾何解釋 第一類樣本新=+SiSi第二類樣本Si新=-Si例子樣本X1X2類別S1101S21121.初始化=(1,2)=(0

14、,0)。2. 對S1，*s1 = (0,0) * (1,0) =00, 對S2，*s2 = (0,0) * (1,1) =00, 由于不滿足結束條件，進入第3步。3.隨機產(chǎn)生1，對S1，*s10, 刪除S1。轉3。 對S2，=-S2=（0，0）-（1，1）=（-1，-1）。轉2。4. 對S1，*s1 = (-1,-1) * (1,0) = -1 0, 由于不滿足結束條件，進入第3步。5.隨機產(chǎn)生2，對S2，*s2=(-1,-1)*(1,1)= -2 0，刪除S2。轉3。 對S1，*s1=(-1,-1)*(1,0)=-10，=+S1=（-1，-1）+（1，0）=（0，-1）。轉2。6.對S1，*

15、s1 = (0,-1) * (1,0) =00, 對S2，*s2 = (0,-1) * (1,1) =-10, 由于滿足結束條件，結束。算法的目的是找到，然后用*X=0作為分界面將樣本集分開。如果存在這樣的，則稱樣本集線性可分；否則，稱為線性不可分.如果樣本是二維的,則稱為分界線如果樣本是三維的,則稱為分界面 如果樣本超過三維,則稱為分類超平面 如果樣本集線性可分，則以上算法一定在有限步內終止，并找到存在的可能不止一個多次調整、不斷迭代 泛化 成功應用感知機被應用于如氣候預測、心電圖分析、人造機器視覺等許多不同的領域這些早期的成功曾使人們一度產(chǎn)生了對人工神經(jīng)網(wǎng)絡的樂觀看法，似乎只要建造一個足夠

16、大、足夠復雜的網(wǎng)，就可以仿制出人類腦神經(jīng)系統(tǒng)的功能 神經(jīng)元模型 M-P模型與感知機 Hebb學習與學習 XOR問題與函數(shù)型聯(lián)接神經(jīng)網(wǎng)絡多層感知機與BP算法 批判Marvin Minsky and Seymour Papert. Perceptrons: an introduction to computational geometry MIT Press, Cambridge, MA, 1969 異或問題（XOR問題） 樣本x1x2g1000201131014110gx1x2w1w2用單層感知機解決不了XOR問題說明:激活函數(shù)使用閾值函數(shù) (v)1v若存在w和使感知機對XOR問題正確分類，則將

17、樣本1代入，-0 （1）將樣本2代入，w2 （2）將樣本3代入，w1 （3）將樣本4代入，w1+ w2-0, 即，w1+ w2 （4）由(2),(3)，w1+ w22，與（1）（4）矛盾。所以不存在這樣的w和。樣本x1x2g1000201131014110線性不可分X1X2樣本x1x2g1000201131014110對這種非線性問題，兩種解法：函數(shù)型聯(lián)接神經(jīng)網(wǎng)絡多層感知機函數(shù)型聯(lián)接神經(jīng)網(wǎng)絡的思想:擴維樣本x1x2x1* x2g10000201013100141110用感知機學習算法學習出以下結構： gx1x211-2x1*x2樣本x1x2x1* x2g10000201013100141110

18、 (v)1v從幾何角度看X1X1*X2X2樣本x1x2x1* x2g10000201013100141110分界面為x+y-2z-1=0，即，z=(x+y-1)/2 缺點:如何升維，沒有一般的方法 SVM的核函數(shù)神經(jīng)元模型 M-P模型與感知機 Hebb學習與學習 XOR問題與函數(shù)型聯(lián)接神經(jīng)網(wǎng)絡多層感知機與BP算法 Minsky給出的方法=0.5=1.5X1X2g1111-2h (v)1v樣本x1x2hg10000201013100141110這種方法的本質是多層感知機. 輸出層隱層 輸入層 多層感知機其實在單層感知機提出后不久就提出了，但一直沒有通用的算法在Minsky提出對感知機的批評后，其研究陷入低潮七十年代,據(jù)說全球只有幾十個人在研究，但還是成果的1982年John J. Hopfield（物理學家）提出了全聯(lián)接網(wǎng)絡，離散的神經(jīng)網(wǎng)絡模型全新的具有完整理論基礎的神經(jīng)網(wǎng)絡模型基本思想是對于一個給定的神經(jīng)網(wǎng)絡，設計一個能量函數(shù)，這個能量函數(shù)是正比于每一個神經(jīng)元的活動值和神經(jīng)元之間的聯(lián)接權。而活動值的改變算法是向能量函數(shù)減少的方向進行，一直達到一個極小值為止證明了網(wǎng)絡可達到穩(wěn)定的離散和連續(xù)兩種情況年后AT&T等做出了半導體芯片神經(jīng)網(wǎng)絡復興時期開始1986年，Rumelhart提出多層感知機的通用算法: BP算法（Back Propagation）1987