神經(jīng)網(wǎng)絡(luò)綜述及簡單應(yīng)用實(shí)例課件-副本

1、第四講第四講 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)網(wǎng)絡(luò)簡介 神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)工具箱 應(yīng)用實(shí)例應(yīng)用實(shí)例2022-4-25 以馮以馮諾依曼型計(jì)算機(jī)為中心的信息處理技術(shù)的高速諾依曼型計(jì)算機(jī)為中心的信息處理技術(shù)的高速發(fā)展，使得計(jì)算機(jī)在當(dāng)今的信息化社會(huì)中起著十分重要發(fā)展，使得計(jì)算機(jī)在當(dāng)今的信息化社會(huì)中起著十分重要的作用。但是，當(dāng)用它來解決某些人工智能問題時(shí)卻遇的作用。但是，當(dāng)用它來解決某些人工智能問題時(shí)卻遇到了很大的困難。到了很大的困難。 例如，一個(gè)人可以很容易地識(shí)別他人的臉孔，但計(jì)例如，一個(gè)人可以很容易地識(shí)別他人的臉孔，但計(jì)算機(jī)則很難做到這一點(diǎn)。算機(jī)則很難做到這一點(diǎn)。 大腦是由生物神經(jīng)元構(gòu)

2、成的巨型網(wǎng)絡(luò)，它在本質(zhì)上大腦是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡(luò)，它在本質(zhì)上不同于計(jì)算機(jī)，是一種大規(guī)模的并行處理系統(tǒng)，它具有不同于計(jì)算機(jī)，是一種大規(guī)模的并行處理系統(tǒng)，它具有學(xué)習(xí)、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方學(xué)習(xí)、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方法。法。 人工神經(jīng)網(wǎng)絡(luò)來源于對人腦實(shí)際神經(jīng)網(wǎng)絡(luò)的模擬人工神經(jīng)網(wǎng)絡(luò)來源于對人腦實(shí)際神經(jīng)網(wǎng)絡(luò)的模擬一、一、 神經(jīng)網(wǎng)絡(luò)發(fā)展歷史神經(jīng)網(wǎng)絡(luò)發(fā)展歷史背景知識(shí)背景知識(shí) 人工神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Netwroks，簡稱，簡稱ANN）是對人類大腦系統(tǒng)的一種仿真，簡單地講，它是）是對人類大腦系統(tǒng)的一種仿真，簡單地講，它是

3、一個(gè)數(shù)學(xué)模型，可以用電子線路來實(shí)現(xiàn)，也可以用計(jì)算一個(gè)數(shù)學(xué)模型，可以用電子線路來實(shí)現(xiàn)，也可以用計(jì)算機(jī)程序來模擬，是人工智能研究的一種方法。機(jī)程序來模擬，是人工智能研究的一種方法。 實(shí)際上它是由大量的、功能比較簡單的形式神經(jīng)元實(shí)際上它是由大量的、功能比較簡單的形式神經(jīng)元互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用它可以模擬大腦的互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用它可以模擬大腦的許多基本功能和簡單的思維方式。盡管它還不是大腦的許多基本功能和簡單的思維方式。盡管它還不是大腦的完美元缺的模型，但它可以通過學(xué)習(xí)來獲取外部的知識(shí)完美元缺的模型，但它可以通過學(xué)習(xí)來獲取外部的知識(shí)并存貯在網(wǎng)絡(luò)內(nèi)，可以解決計(jì)算機(jī)不易處理的難題，

4、特并存貯在網(wǎng)絡(luò)內(nèi)，可以解決計(jì)算機(jī)不易處理的難題，特別是別是語音和圖像的識(shí)別、理解、知識(shí)的處理、組合優(yōu)化語音和圖像的識(shí)別、理解、知識(shí)的處理、組合優(yōu)化計(jì)算和智能控制等計(jì)算和智能控制等一系列本質(zhì)上是非計(jì)算的問題。一系列本質(zhì)上是非計(jì)算的問題。 2什么是人工神經(jīng)網(wǎng)絡(luò)什么是人工神經(jīng)網(wǎng)絡(luò) 1943年年,美國心理學(xué)家美國心理學(xué)家W.McCulloch和數(shù)學(xué)家和數(shù)學(xué)家W.Pitts在提出了一個(gè)簡單的神經(jīng)元模型，即在提出了一個(gè)簡單的神經(jīng)元模型，即MP模型。模型。1958年，年，F(xiàn).Rosenblatt等研制出了等研制出了感知機(jī)感知機(jī)(Perceptron）。3幾個(gè)發(fā)展階段幾個(gè)發(fā)展階段q 第一次熱潮第一次熱潮(40

5、-60年代未年代未) 1982年，美國物理學(xué)家年，美國物理學(xué)家J.J.Hopfield提出提出Hopfield模模型型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò)他解決問題的方，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò)他解決問題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過程法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過程,這是符號(hào)邏輯處理方法所這是符號(hào)邏輯處理方法所不具備的性質(zhì)不具備的性質(zhì). 1987年首屆國際年首屆國際ANN大會(huì)在圣地亞哥召大會(huì)在圣地亞哥召開，國際開，國際ANN聯(lián)合會(huì)成立，創(chuàng)辦了多種聯(lián)合會(huì)成立，創(chuàng)辦了多種ANN國際刊物。國際刊物。1990年年12月，北京召開首屆學(xué)術(shù)會(huì)議。月，北京召開首屆學(xué)術(shù)會(huì)議。q 低潮低潮(70-80年代初年代初)

6、q 第二次熱潮第二次熱潮1. 生物神經(jīng)元模型生物神經(jīng)元模型二、二、 生物神經(jīng)元生物神經(jīng)元 生物神經(jīng)元模型就是一個(gè)簡單的信號(hào)處理器。生物神經(jīng)元模型就是一個(gè)簡單的信號(hào)處理器。樹突樹突是神經(jīng)元的信號(hào)輸入通道，接受來自其他神經(jīng)元的信息。是神經(jīng)元的信號(hào)輸入通道，接受來自其他神經(jīng)元的信息。軸突是神經(jīng)元的信號(hào)輸出通道。軸突是神經(jīng)元的信號(hào)輸出通道。 信息的處理與傳遞主要發(fā)生在信息的處理與傳遞主要發(fā)生在突觸突觸附近。神經(jīng)元細(xì)附近。神經(jīng)元細(xì)胞體通過樹突接受脈沖信號(hào)，通過胞體通過樹突接受脈沖信號(hào)，通過軸突軸突傳到傳到突觸前膜突觸前膜。當(dāng)當(dāng)脈沖脈沖幅度達(dá)到一定強(qiáng)度，即超過其閾值電位后，突觸幅度達(dá)到一定強(qiáng)度，即超過其閾

7、值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)( (乙酰膽堿乙酰膽堿) )，使位于突觸后膜的離子通道使位于突觸后膜的離子通道(Ion Channel)(Ion Channel)開放，產(chǎn)生開放，產(chǎn)生離離子流子流，從而在突觸后膜產(chǎn)生正的或負(fù)的電位，稱為，從而在突觸后膜產(chǎn)生正的或負(fù)的電位，稱為突觸突觸后電位后電位。2. 生物神經(jīng)元模型的運(yùn)行機(jī)理生物神經(jīng)元模型的運(yùn)行機(jī)理 突觸有兩種：突觸有兩種：興奮性突觸興奮性突觸和和抑制性突觸抑制性突觸。前者產(chǎn)生。前者產(chǎn)生正突觸后電位正突觸后電位，后者產(chǎn)生，后者產(chǎn)生負(fù)突觸后電位負(fù)突觸后電位。一個(gè)神經(jīng)元的。一個(gè)神經(jīng)元的各樹突

8、和細(xì)胞體往往通過突觸和大量的其他神經(jīng)元相連各樹突和細(xì)胞體往往通過突觸和大量的其他神經(jīng)元相連接。這些突觸后電位的變化，將對該神經(jīng)元產(chǎn)生綜合作接。這些突觸后電位的變化，將對該神經(jīng)元產(chǎn)生綜合作用，即當(dāng)這些突觸后電位的總和超過某一閻值時(shí)，該神用，即當(dāng)這些突觸后電位的總和超過某一閻值時(shí)，該神經(jīng)元便被激活，并經(jīng)元便被激活，并產(chǎn)生脈沖產(chǎn)生脈沖，而且產(chǎn)生的脈沖數(shù)與該電，而且產(chǎn)生的脈沖數(shù)與該電位總和值的大小有關(guān)。脈沖沿軸突向其他神經(jīng)元傳送，位總和值的大小有關(guān)。脈沖沿軸突向其他神經(jīng)元傳送，從而實(shí)現(xiàn)了神經(jīng)元之間信息的傳遞。從而實(shí)現(xiàn)了神經(jīng)元之間信息的傳遞。 連接權(quán)：連接權(quán)： 求和單元：求和單元： 激勵(lì)函數(shù)（響應(yīng)函數(shù)）

9、激勵(lì)函數(shù)（響應(yīng)函數(shù)） ： i1niiivx()1x2xnx12nu()y1niiiux三、三、 人工神經(jīng)元模型人工神經(jīng)元模型1. 人工神經(jīng)元模型的三要素人工神經(jīng)元模型的三要素 模型中模型中 為輸入信號(hào)， 為輸出信號(hào)，為輸出信號(hào)， 為神經(jīng)元的閾值。該模型的數(shù)學(xué)表達(dá)式為：為神經(jīng)元的閾值。該模型的數(shù)學(xué)表達(dá)式為：12,nx xxy( )yv1niiivx1niiiux2. 人工神經(jīng)元模型的數(shù)學(xué)表達(dá)一人工神經(jīng)元模型的數(shù)學(xué)表達(dá)一( )yv1niiivx01x 1x2xnx12nu()y00 x0 3. 人工神經(jīng)元模型的數(shù)學(xué)表達(dá)二人工神經(jīng)元模型的數(shù)學(xué)表達(dá)二 閾值函數(shù)：閾值函數(shù)： 分段線性函數(shù)：分段線性函數(shù)：

10、 sigmoid函數(shù)：函數(shù)：10( )00vvv111( )(1)11201vvvvv 1( )1exp()vv( )tanh()vv4. 激勵(lì)函數(shù)的形式激勵(lì)函數(shù)的形式 前饋型網(wǎng)絡(luò)前饋型網(wǎng)絡(luò)： 反饋型網(wǎng)絡(luò)反饋型網(wǎng)絡(luò)：1x2xnx1y2yny輸輸入入層層隱隱層層輸輸出出層層1x2x1nxnx1y2y1nyny四、四、 網(wǎng)絡(luò)結(jié)構(gòu)及工作方式網(wǎng)絡(luò)結(jié)構(gòu)及工作方式1. 網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu) 學(xué)習(xí)期學(xué)習(xí)期： 各計(jì)算單元狀態(tài)不變，各連接線上權(quán)值通過學(xué)習(xí)來修改各計(jì)算單元狀態(tài)不變，各連接線上權(quán)值通過學(xué)習(xí)來修改 工作期工作期： 連接權(quán)固定，計(jì)算單元狀態(tài)變化，以達(dá)到某種穩(wěn)定狀態(tài)連接權(quán)固定，計(jì)算單元狀態(tài)變化，以達(dá)到某種穩(wěn)定

11、狀態(tài)2. 工作方式工作方式 有教師學(xué)習(xí)有教師學(xué)習(xí)： 外界存在一個(gè)教師，對給定的一組輸入，提供應(yīng)有的外界存在一個(gè)教師，對給定的一組輸入，提供應(yīng)有的輸出（標(biāo)準(zhǔn)答案），學(xué)習(xí)系統(tǒng)可根據(jù)實(shí)際輸出與標(biāo)準(zhǔn)答輸出（標(biāo)準(zhǔn)答案），學(xué)習(xí)系統(tǒng)可根據(jù)實(shí)際輸出與標(biāo)準(zhǔn)答案之間的差值來調(diào)整系統(tǒng)參數(shù)案之間的差值來調(diào)整系統(tǒng)參數(shù)學(xué)學(xué) 習(xí)習(xí)系系 統(tǒng)統(tǒng)教師教師環(huán)境環(huán)境輸入輸入應(yīng)有應(yīng)有響應(yīng)響應(yīng) +誤差信號(hào)誤差信號(hào)實(shí)際響應(yīng)實(shí)際響應(yīng) 五、五、 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法1. 學(xué)習(xí)方式學(xué)習(xí)方式 無教師學(xué)習(xí)：無教師學(xué)習(xí)： 學(xué)習(xí)系統(tǒng)按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律來調(diào)節(jié)自學(xué)習(xí)系統(tǒng)按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律來調(diào)節(jié)自身參數(shù)身參數(shù)環(huán)境環(huán)境學(xué)

12、學(xué) 習(xí)習(xí)系系 統(tǒng)統(tǒng)動(dòng)動(dòng)作作輸出輸出輸入輸入狀態(tài)狀態(tài)環(huán)境環(huán)境學(xué)習(xí)系統(tǒng)學(xué)習(xí)系統(tǒng)輸入輸入 強(qiáng)化學(xué)習(xí)：強(qiáng)化學(xué)習(xí)： 環(huán)境對系統(tǒng)輸出結(jié)果只給出評(píng)價(jià)信息（獎(jiǎng)或懲），系環(huán)境對系統(tǒng)輸出結(jié)果只給出評(píng)價(jià)信息（獎(jiǎng)或懲），系統(tǒng)通過強(qiáng)化受獎(jiǎng)動(dòng)作來改善自身性能統(tǒng)通過強(qiáng)化受獎(jiǎng)動(dòng)作來改善自身性能 考察神經(jīng)元考察神經(jīng)元 k 在在 n 時(shí)刻的輸入和輸出時(shí)刻的輸入和輸出 輸入：輸入： 實(shí)際輸出：實(shí)際輸出： 應(yīng)有輸出：應(yīng)有輸出： 由誤差信號(hào)構(gòu)造能量函數(shù)：由誤差信號(hào)構(gòu)造能量函數(shù)： 其中其中E(.)為求期望算子為求期望算子 求解最優(yōu)化問題：求解最優(yōu)化問題： 得出系統(tǒng)參數(shù)：得出系統(tǒng)參數(shù)：( )kx n( )( )( )( )( )kkkkk

13、ynendnyndn誤差信號(hào)：21( )( )2kkJEen21( )( )2kkJEenmin2. 學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 通常情況下用時(shí)刻通常情況下用時(shí)刻 n 的瞬時(shí)值的瞬時(shí)值 代替代替J，即求解最優(yōu)化問題即求解最優(yōu)化問題由數(shù)值迭代算法（如最速下降法、模擬退火算法等），可由數(shù)值迭代算法（如最速下降法、模擬退火算法等），可得得其中其中 為學(xué)習(xí)步長為學(xué)習(xí)步長21( )( )2nkkJen21( )( )2nkkJenmin)()(nxnejkkj 神經(jīng)學(xué)家神經(jīng)學(xué)家Hebb提出的學(xué)習(xí)規(guī)則：當(dāng)某一連接兩端的神提出的學(xué)習(xí)規(guī)則：當(dāng)某一連接兩端的神經(jīng)元同步激活（或同為抑制）時(shí)，該連接的強(qiáng)度應(yīng)增強(qiáng)，經(jīng)元同步激活

14、（或同為抑制）時(shí)，該連接的強(qiáng)度應(yīng)增強(qiáng)，反之應(yīng)減弱，數(shù)學(xué)描述如下：反之應(yīng)減弱，數(shù)學(xué)描述如下： 其中其中 分別為分別為 兩端神經(jīng)元的狀態(tài)兩端神經(jīng)元的狀態(tài)最常用的一種情況是：最常用的一種情況是：( ),( )kjh n h nij)(),(nhnhFjkkj)()(nhnhjkkj3. Hebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 對于多層網(wǎng)絡(luò)，由于有隱層后學(xué)習(xí)比較困難，限制了對于多層網(wǎng)絡(luò)，由于有隱層后學(xué)習(xí)比較困難，限制了多層網(wǎng)絡(luò)的發(fā)展，多層網(wǎng)絡(luò)的發(fā)展，BP算法的出現(xiàn)解決了這一困難。算法的出現(xiàn)解決了這一困難。六、六、 BP算法（向后傳播算法）算法（向后傳播算法） 對于多層前饋型網(wǎng)絡(luò)，網(wǎng)絡(luò)中有兩種信號(hào)在流通，對于多層前饋

15、型網(wǎng)絡(luò)，網(wǎng)絡(luò)中有兩種信號(hào)在流通，（1）工作信號(hào)，施加的輸入信號(hào)向前傳播直到在輸出層產(chǎn)）工作信號(hào)，施加的輸入信號(hào)向前傳播直到在輸出層產(chǎn)生實(shí)際的輸出信號(hào)，是輸入信號(hào)和權(quán)值的函數(shù)生實(shí)際的輸出信號(hào)，是輸入信號(hào)和權(quán)值的函數(shù) （2）誤差信號(hào)，網(wǎng)絡(luò)實(shí)際輸出與應(yīng)有輸出間的差值，它由）誤差信號(hào)，網(wǎng)絡(luò)實(shí)際輸出與應(yīng)有輸出間的差值，它由輸出層開始逐層向后傳播輸出層開始逐層向后傳播1. BP算法的原理算法的原理下面推導(dǎo)用于多層前饋型網(wǎng)絡(luò)學(xué)習(xí)的下面推導(dǎo)用于多層前饋型網(wǎng)絡(luò)學(xué)習(xí)的BP算法算法 下面就逐個(gè)樣本學(xué)習(xí)的情況來推導(dǎo)下面就逐個(gè)樣本學(xué)習(xí)的情況來推導(dǎo)BP算法算法如右圖，令單元如右圖，令單元 j 的凈輸入為的凈輸入為則則求求

16、 對對 的梯度的梯度 該單元的誤差信號(hào)為該單元的誤差信號(hào)為 ，定義單元，定義單元 j 的平的平方誤差為方誤差為 ，則輸出層總的平方誤差的瞬時(shí)值為，則輸出層總的平方誤差的瞬時(shí)值為: 設(shè)在第設(shè)在第 n 次迭代中某一層的第次迭代中某一層的第 j 個(gè)單元的輸出為個(gè)單元的輸出為)(nyj)()()(nyndnejjjjjnen)(21)(2)(212nej)(nyi( )jv n()j( )jy n( )jdn( )je n( )jin( )( )( )jjiiiv nn y n( )( )jjjynv n( )nji2. BP算法算法q 當(dāng)當(dāng) j 單元所在層為輸出層時(shí)單元所在層為輸出層時(shí)其中其中 稱為稱為局部梯度局部梯度權(quán)值權(quán)值 的修正量為的修正量為( )( )( )( )( )( )( )( )( )jjjjijjjjie ny nv nnne ny nv nn( ) ( 1)( )( )jjjie nv ny n ( )( )( )j