神經(jīng)網(wǎng)絡(luò)及簡(jiǎn)單應(yīng)用實(shí)例課件_Matlab程序

1、第四講第四講 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)工具箱 應(yīng)用實(shí)例應(yīng)用實(shí)例2022-5-29第一部分第一部分 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 以馮以馮諾依曼型計(jì)算機(jī)為中心的信息處理技術(shù)的高速諾依曼型計(jì)算機(jī)為中心的信息處理技術(shù)的高速發(fā)展，使得計(jì)算機(jī)在當(dāng)今的信息化社會(huì)中起著十分重要發(fā)展，使得計(jì)算機(jī)在當(dāng)今的信息化社會(huì)中起著十分重要的作用。但是，當(dāng)用它來(lái)解決某些人工智能問(wèn)題時(shí)卻遇的作用。但是，當(dāng)用它來(lái)解決某些人工智能問(wèn)題時(shí)卻遇到了很大的困難。到了很大的困難。 例如，一個(gè)人可以很容易地識(shí)別他人的臉孔，但計(jì)例如，一個(gè)人可以很容易地識(shí)別他人的臉孔，但計(jì)算機(jī)則很難做到這

2、一點(diǎn)。算機(jī)則很難做到這一點(diǎn)。 大腦是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡(luò)，它在本質(zhì)上大腦是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡(luò)，它在本質(zhì)上不同于計(jì)算機(jī)，是一種大規(guī)模的并行處理系統(tǒng)，它具有不同于計(jì)算機(jī)，是一種大規(guī)模的并行處理系統(tǒng)，它具有學(xué)習(xí)、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方學(xué)習(xí)、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方法。法。 人工神經(jīng)網(wǎng)絡(luò)來(lái)源于對(duì)人腦實(shí)際神經(jīng)網(wǎng)絡(luò)的模擬人工神經(jīng)網(wǎng)絡(luò)來(lái)源于對(duì)人腦實(shí)際神經(jīng)網(wǎng)絡(luò)的模擬一、一、 神經(jīng)網(wǎng)絡(luò)發(fā)展歷史神經(jīng)網(wǎng)絡(luò)發(fā)展歷史背景知識(shí)背景知識(shí) 人工神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Netwroks，簡(jiǎn)稱，簡(jiǎn)稱ANN）是對(duì)人類大腦系統(tǒng)的一種仿真，簡(jiǎn)單地講

3、，它是）是對(duì)人類大腦系統(tǒng)的一種仿真，簡(jiǎn)單地講，它是一個(gè)數(shù)學(xué)模型，可以用電子線路來(lái)實(shí)現(xiàn)，也可以用計(jì)算一個(gè)數(shù)學(xué)模型，可以用電子線路來(lái)實(shí)現(xiàn)，也可以用計(jì)算機(jī)程序來(lái)模擬，是人工智能研究的一種方法。機(jī)程序來(lái)模擬，是人工智能研究的一種方法。 實(shí)際上它是由大量的、功能比較簡(jiǎn)單的形式神經(jīng)元實(shí)際上它是由大量的、功能比較簡(jiǎn)單的形式神經(jīng)元互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用它可以模擬大腦的互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用它可以模擬大腦的許多基本功能和簡(jiǎn)單的思維方式。盡管它還不是大腦的許多基本功能和簡(jiǎn)單的思維方式。盡管它還不是大腦的完美元缺的模型，但它可以通過(guò)學(xué)習(xí)來(lái)獲取外部的知識(shí)完美元缺的模型，但它可以通過(guò)學(xué)習(xí)來(lái)獲取外部的

4、知識(shí)并存貯在網(wǎng)絡(luò)內(nèi)，可以解決計(jì)算機(jī)不易處理的難題，特并存貯在網(wǎng)絡(luò)內(nèi)，可以解決計(jì)算機(jī)不易處理的難題，特別是別是語(yǔ)音和圖像的識(shí)別、理解、知識(shí)的處理、組合優(yōu)化語(yǔ)音和圖像的識(shí)別、理解、知識(shí)的處理、組合優(yōu)化計(jì)算和智能控制等計(jì)算和智能控制等一系列本質(zhì)上是非計(jì)算的問(wèn)題。一系列本質(zhì)上是非計(jì)算的問(wèn)題。 2什么是人工神經(jīng)網(wǎng)絡(luò)什么是人工神經(jīng)網(wǎng)絡(luò) 1943年年,美國(guó)心理學(xué)家美國(guó)心理學(xué)家W.McCulloch和數(shù)學(xué)家和數(shù)學(xué)家W.Pitts在提出了一個(gè)簡(jiǎn)單的神經(jīng)元模型，即在提出了一個(gè)簡(jiǎn)單的神經(jīng)元模型，即MP模型。模型。1958年，年，F(xiàn).Rosenblatt等研制出了等研制出了感知機(jī)感知機(jī)(Perceptron）。3幾個(gè)

5、發(fā)展階段幾個(gè)發(fā)展階段q 第一次熱潮第一次熱潮(40-60年代未年代未) 1982年，美國(guó)物理學(xué)家年，美國(guó)物理學(xué)家J.J.Hopfield提出提出Hopfield模模型型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò)他解決問(wèn)題的方，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò)他解決問(wèn)題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過(guò)程法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過(guò)程,這是符號(hào)邏輯處理方法所這是符號(hào)邏輯處理方法所不具備的性質(zhì)不具備的性質(zhì). 1987年首屆國(guó)際年首屆國(guó)際ANN大會(huì)在圣地亞哥召大會(huì)在圣地亞哥召開(kāi)，國(guó)際開(kāi)，國(guó)際ANN聯(lián)合會(huì)成立，創(chuàng)辦了多種聯(lián)合會(huì)成立，創(chuàng)辦了多種ANN國(guó)際刊物。國(guó)際刊物。1990年年12月，北京召開(kāi)首屆學(xué)術(shù)會(huì)議。月，北京召開(kāi)首

6、屆學(xué)術(shù)會(huì)議。q 低潮低潮(70-80年代初年代初)q 第二次熱潮第二次熱潮1. 生物神經(jīng)元模型生物神經(jīng)元模型二、二、 生物神經(jīng)元生物神經(jīng)元 生物神經(jīng)元模型就是一個(gè)簡(jiǎn)單的信號(hào)處理器。生物神經(jīng)元模型就是一個(gè)簡(jiǎn)單的信號(hào)處理器。樹(shù)突樹(shù)突是神經(jīng)元的信號(hào)輸入通道，接受來(lái)自其他神經(jīng)元的信息。是神經(jīng)元的信號(hào)輸入通道，接受來(lái)自其他神經(jīng)元的信息。軸突是神經(jīng)元的信號(hào)輸出通道。軸突是神經(jīng)元的信號(hào)輸出通道。 信息的處理與傳遞主要發(fā)生在信息的處理與傳遞主要發(fā)生在突觸突觸附近。神經(jīng)元細(xì)附近。神經(jīng)元細(xì)胞體通過(guò)樹(shù)突接受脈沖信號(hào)，通過(guò)胞體通過(guò)樹(shù)突接受脈沖信號(hào)，通過(guò)軸突軸突傳到傳到突觸前膜突觸前膜。當(dāng)當(dāng)脈沖脈沖幅度達(dá)到一定強(qiáng)度，即

7、超過(guò)其閾值電位后，突觸幅度達(dá)到一定強(qiáng)度，即超過(guò)其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)( (乙酰膽堿乙酰膽堿) )，使位于突觸后膜的離子通道使位于突觸后膜的離子通道(Ion Channel)(Ion Channel)開(kāi)放，產(chǎn)生開(kāi)放，產(chǎn)生離離子流子流，從而在突觸后膜產(chǎn)生正的或負(fù)的電位，稱為，從而在突觸后膜產(chǎn)生正的或負(fù)的電位，稱為突觸突觸后電位后電位。2. 生物神經(jīng)元模型的運(yùn)行機(jī)理生物神經(jīng)元模型的運(yùn)行機(jī)理 突觸有兩種：突觸有兩種：興奮性突觸興奮性突觸和和抑制性突觸抑制性突觸。前者產(chǎn)生。前者產(chǎn)生正突觸后電位正突觸后電位，后者產(chǎn)生，后者產(chǎn)生負(fù)突觸后

8、電位負(fù)突觸后電位。一個(gè)神經(jīng)元的。一個(gè)神經(jīng)元的各樹(shù)突和細(xì)胞體往往通過(guò)突觸和大量的其他神經(jīng)元相連各樹(shù)突和細(xì)胞體往往通過(guò)突觸和大量的其他神經(jīng)元相連接。這些突觸后電位的變化，將對(duì)該神經(jīng)元產(chǎn)生綜合作接。這些突觸后電位的變化，將對(duì)該神經(jīng)元產(chǎn)生綜合作用，即當(dāng)這些突觸后電位的總和超過(guò)某一閻值時(shí)，該神用，即當(dāng)這些突觸后電位的總和超過(guò)某一閻值時(shí)，該神經(jīng)元便被激活，并經(jīng)元便被激活，并產(chǎn)生脈沖產(chǎn)生脈沖，而且產(chǎn)生的脈沖數(shù)與該電，而且產(chǎn)生的脈沖數(shù)與該電位總和值的大小有關(guān)。脈沖沿軸突向其他神經(jīng)元傳送，位總和值的大小有關(guān)。脈沖沿軸突向其他神經(jīng)元傳送，從而實(shí)現(xiàn)了神經(jīng)元之間信息的傳遞。從而實(shí)現(xiàn)了神經(jīng)元之間信息的傳遞。 連接權(quán)：連

9、接權(quán)： 求和單元：求和單元： 激勵(lì)函數(shù)（響應(yīng)函數(shù)）激勵(lì)函數(shù)（響應(yīng)函數(shù)） ： i1niiivx()1x2xnx12nu()y1niiiux三、三、 人工神經(jīng)元模型人工神經(jīng)元模型1. 人工神經(jīng)元模型的三要素人工神經(jīng)元模型的三要素 模型中模型中 為輸入信號(hào)， 為輸出信號(hào)，為輸出信號(hào)， 為神經(jīng)元的閾值。該模型的數(shù)學(xué)表達(dá)式為：為神經(jīng)元的閾值。該模型的數(shù)學(xué)表達(dá)式為：12,nx xxy( )yv1niiivx1niiiux2. 人工神經(jīng)元模型的數(shù)學(xué)表達(dá)一人工神經(jīng)元模型的數(shù)學(xué)表達(dá)一( )yv1niiivx01x 1x2xnx12nu()y00 x0 3. 人工神經(jīng)元模型的數(shù)學(xué)表達(dá)二人工神經(jīng)元模型的數(shù)學(xué)表達(dá)二

10、閾值函數(shù)：閾值函數(shù)： 分段線性函數(shù)：分段線性函數(shù)： sigmoid函數(shù)：函數(shù)：10( )00vvv111( )(1)11201vvvvv 1( )1exp()vv( )tanh()vv4. 激勵(lì)函數(shù)的形式激勵(lì)函數(shù)的形式 前饋型網(wǎng)絡(luò)前饋型網(wǎng)絡(luò)： 反饋型網(wǎng)絡(luò)反饋型網(wǎng)絡(luò)：1x2xnx1y2yny輸輸入入層層隱隱層層輸輸出出層層1x2x1nxnx1y2y1nyny四、四、 網(wǎng)絡(luò)結(jié)構(gòu)及工作方式網(wǎng)絡(luò)結(jié)構(gòu)及工作方式1. 網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu) 學(xué)習(xí)期學(xué)習(xí)期： 各計(jì)算單元狀態(tài)不變，各連接線上權(quán)值通過(guò)學(xué)習(xí)來(lái)修改各計(jì)算單元狀態(tài)不變，各連接線上權(quán)值通過(guò)學(xué)習(xí)來(lái)修改 工作期工作期： 連接權(quán)固定，計(jì)算單元狀態(tài)變化，以達(dá)到某種穩(wěn)

11、定狀態(tài)連接權(quán)固定，計(jì)算單元狀態(tài)變化，以達(dá)到某種穩(wěn)定狀態(tài)2. 工作方式工作方式 有教師學(xué)習(xí)有教師學(xué)習(xí)： 外界存在一個(gè)教師，對(duì)給定的一組輸入，提供應(yīng)有的外界存在一個(gè)教師，對(duì)給定的一組輸入，提供應(yīng)有的輸出（標(biāo)準(zhǔn)答案），學(xué)習(xí)系統(tǒng)可根據(jù)實(shí)際輸出與標(biāo)準(zhǔn)答輸出（標(biāo)準(zhǔn)答案），學(xué)習(xí)系統(tǒng)可根據(jù)實(shí)際輸出與標(biāo)準(zhǔn)答案之間的差值來(lái)調(diào)整系統(tǒng)參數(shù)案之間的差值來(lái)調(diào)整系統(tǒng)參數(shù)學(xué)學(xué) 習(xí)習(xí)系系 統(tǒng)統(tǒng)教師教師環(huán)境環(huán)境輸入輸入應(yīng)有應(yīng)有響應(yīng)響應(yīng) +誤差信號(hào)誤差信號(hào)實(shí)際響應(yīng)實(shí)際響應(yīng) 五、五、 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法1. 學(xué)習(xí)方式學(xué)習(xí)方式 無(wú)教師學(xué)習(xí)：無(wú)教師學(xué)習(xí)： 學(xué)習(xí)系統(tǒng)按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律來(lái)調(diào)節(jié)自學(xué)習(xí)系統(tǒng)按照環(huán)境提

12、供數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律來(lái)調(diào)節(jié)自身參數(shù)身參數(shù)環(huán)境環(huán)境學(xué)學(xué) 習(xí)習(xí)系系 統(tǒng)統(tǒng)動(dòng)動(dòng)作作輸出輸出輸入輸入狀態(tài)狀態(tài)環(huán)境環(huán)境學(xué)習(xí)系統(tǒng)學(xué)習(xí)系統(tǒng)輸入輸入 強(qiáng)化學(xué)習(xí)：強(qiáng)化學(xué)習(xí)： 環(huán)境對(duì)系統(tǒng)輸出結(jié)果只給出評(píng)價(jià)信息（獎(jiǎng)或懲），系環(huán)境對(duì)系統(tǒng)輸出結(jié)果只給出評(píng)價(jià)信息（獎(jiǎng)或懲），系統(tǒng)通過(guò)強(qiáng)化受獎(jiǎng)動(dòng)作來(lái)改善自身性能統(tǒng)通過(guò)強(qiáng)化受獎(jiǎng)動(dòng)作來(lái)改善自身性能 考察神經(jīng)元考察神經(jīng)元 k 在在 n 時(shí)刻的輸入和輸出時(shí)刻的輸入和輸出 輸入：輸入： 實(shí)際輸出：實(shí)際輸出： 應(yīng)有輸出：應(yīng)有輸出： 由誤差信號(hào)構(gòu)造能量函數(shù)：由誤差信號(hào)構(gòu)造能量函數(shù)： 其中其中E(.)為求期望算子為求期望算子 求解最優(yōu)化問(wèn)題：求解最優(yōu)化問(wèn)題： 得出系統(tǒng)參數(shù)：得出系統(tǒng)參數(shù)：(

13、)kx n( )( )( )( )( )kkkkkynendnyndn誤差信號(hào)：21( )( )2kkJEen21( )( )2kkJEenmin2. 學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 通常情況下用時(shí)刻通常情況下用時(shí)刻 n 的瞬時(shí)值的瞬時(shí)值 代替代替J，即求解最優(yōu)化問(wèn)題即求解最優(yōu)化問(wèn)題由數(shù)值迭代算法（如最速下降法、模擬退火算法等），可由數(shù)值迭代算法（如最速下降法、模擬退火算法等），可得得其中其中 為學(xué)習(xí)步長(zhǎng)為學(xué)習(xí)步長(zhǎng)21( )( )2nkkJen21( )( )2nkkJenmin)()(nxnejkkj 神經(jīng)學(xué)家神經(jīng)學(xué)家Hebb提出的學(xué)習(xí)規(guī)則：當(dāng)某一連接兩端的神提出的學(xué)習(xí)規(guī)則：當(dāng)某一連接兩端的神經(jīng)元同步激活

14、（或同為抑制）時(shí)，該連接的強(qiáng)度應(yīng)增強(qiáng)，經(jīng)元同步激活（或同為抑制）時(shí)，該連接的強(qiáng)度應(yīng)增強(qiáng)，反之應(yīng)減弱，數(shù)學(xué)描述如下：反之應(yīng)減弱，數(shù)學(xué)描述如下： 其中其中 分別為分別為 兩端神經(jīng)元的狀態(tài)兩端神經(jīng)元的狀態(tài)最常用的一種情況是：最常用的一種情況是：( ),( )kjh n h nij)(),(nhnhFjkkj)()(nhnhjkkj3. Hebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 對(duì)于多層網(wǎng)絡(luò)，由于有隱層后學(xué)習(xí)比較困難，限制了對(duì)于多層網(wǎng)絡(luò)，由于有隱層后學(xué)習(xí)比較困難，限制了多層網(wǎng)絡(luò)的發(fā)展，多層網(wǎng)絡(luò)的發(fā)展，BP算法的出現(xiàn)解決了這一困難。算法的出現(xiàn)解決了這一困難。六、六、 BP算法（向后傳播算法）算法（向后傳播算法） 對(duì)于多

15、層前饋型網(wǎng)絡(luò)，網(wǎng)絡(luò)中有兩種信號(hào)在流通，對(duì)于多層前饋型網(wǎng)絡(luò)，網(wǎng)絡(luò)中有兩種信號(hào)在流通，（1）工作信號(hào)，施加的輸入信號(hào)向前傳播直到在輸出層產(chǎn)）工作信號(hào)，施加的輸入信號(hào)向前傳播直到在輸出層產(chǎn)生實(shí)際的輸出信號(hào)，是輸入信號(hào)和權(quán)值的函數(shù)生實(shí)際的輸出信號(hào)，是輸入信號(hào)和權(quán)值的函數(shù) （2）誤差信號(hào)，網(wǎng)絡(luò)實(shí)際輸出與應(yīng)有輸出間的差值，它由）誤差信號(hào)，網(wǎng)絡(luò)實(shí)際輸出與應(yīng)有輸出間的差值，它由輸出層開(kāi)始逐層向后傳播輸出層開(kāi)始逐層向后傳播1. BP算法的原理算法的原理下面推導(dǎo)用于多層前饋型網(wǎng)絡(luò)學(xué)習(xí)的下面推導(dǎo)用于多層前饋型網(wǎng)絡(luò)學(xué)習(xí)的BP算法算法 下面就逐個(gè)樣本學(xué)習(xí)的情況來(lái)推導(dǎo)下面就逐個(gè)樣本學(xué)習(xí)的情況來(lái)推導(dǎo)BP算法算法如右圖，令單

16、元如右圖，令單元 j 的凈輸入為的凈輸入為則則求求 對(duì)對(duì) 的梯度的梯度 該單元的誤差信號(hào)為該單元的誤差信號(hào)為 ，定義單元，定義單元 j 的平的平方誤差為方誤差為 ，則輸出層總的平方誤差的瞬時(shí)值為，則輸出層總的平方誤差的瞬時(shí)值為: 設(shè)在第設(shè)在第 n 次迭代中某一層的第次迭代中某一層的第 j 個(gè)單元的輸出為個(gè)單元的輸出為)(nyj)()()(nyndnejjjjjnen)(21)(2)(212nej)(nyi( )jv n()j( )jy n( )jdn( )je n( )jin( )( )( )jjiiiv nn y n( )( )jjjy nv n( )nji2. BP算法算法q 當(dāng)當(dāng) j 單

17、元所在層為輸出層時(shí)單元所在層為輸出層時(shí)其中其中 稱為稱為局部梯度局部梯度權(quán)值權(quán)值 的修正量為的修正量為( )( )( )( )( )( )( )( )( )jjjjijjjjie ny nv nnne ny nv nn( ) ( 1)( )( )jjjie nv ny n ( )( )( )jjjie nv n y n ji( )( )( )( )( )( )( )( )( )jjjjjjjjje ny nnne nv ne ny nv n )()()()(nynnnijjiji)(nyi( )jv n()j( )jy n( )kdn( )ke n( )jin( )kjn( )kv n( )k

18、yn)(kq 當(dāng)當(dāng) j 單元所在層為隱層時(shí)單元所在層為隱層時(shí)權(quán)值權(quán)值 的修正量為的修正量為ji( )( )( )kkkkne nv n( )( )( )( )jjjkkjknv nnn nynnnijjiji其中其中第二部分第二部分 神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)工具箱1x2xnx1y2ymy輸入層隱層輸出層1k 一、一、 BP網(wǎng)絡(luò)網(wǎng)絡(luò)1. 構(gòu)造多層前向神經(jīng)網(wǎng)絡(luò)構(gòu)造多層前向神經(jīng)網(wǎng)絡(luò)net = newff ( A, B, C, trainfun )q Matlab命令命令A(yù)是一個(gè)是一個(gè) n 2的矩陣，第的矩陣，第 i 行元素為輸入信號(hào)行元素為輸入信號(hào) x i 的的最最小值和最大值小值和最大值；q 參數(shù)說(shuō)

19、明參數(shù)說(shuō)明B為一為一 k 維行向量，其元素為各維行向量，其元素為各隱層節(jié)點(diǎn)數(shù)隱層節(jié)點(diǎn)數(shù)；trainfun為學(xué)習(xí)規(guī)則采用的為學(xué)習(xí)規(guī)則采用的訓(xùn)練函數(shù)訓(xùn)練函數(shù)（常見(jiàn)訓(xùn)練函數(shù)如下（常見(jiàn)訓(xùn)練函數(shù)如下表）。表）。C為一為一k 維字符串行向量，每一分量為對(duì)應(yīng)層神經(jīng)元的維字符串行向量，每一分量為對(duì)應(yīng)層神經(jīng)元的激激勵(lì)函數(shù)勵(lì)函數(shù)；函數(shù)名函數(shù)名功能功能函數(shù)名函數(shù)名traingd梯度下降法梯度下降法traincgftraingdm勢(shì)能修正法勢(shì)能修正法traincgptraingdx自調(diào)整學(xué)習(xí)效率法自調(diào)整學(xué)習(xí)效率法traincgbtrainrp恢復(fù)恢復(fù)BP法法trainscgFR共軛梯度法共軛梯度法trainbfgBF

20、GS擬牛頓法擬牛頓法PR共軛梯度法共軛梯度法trainoss一步共軛一步共軛 + 擬牛頓擬牛頓PB共軛梯度法共軛梯度法trainlmLM法法標(biāo)量共軛梯度法標(biāo)量共軛梯度法trainbrBayesian規(guī)范法規(guī)范法2. 常見(jiàn)訓(xùn)練函數(shù)常見(jiàn)訓(xùn)練函數(shù)MATLAB中激勵(lì)函數(shù)為中激勵(lì)函數(shù)為1log( )1xsig xetan( )xxxxeesig xee( )purelin xx其字符串分別為：其字符串分別為：logsig，tansig，purelin3. 激勵(lì)函數(shù)激勵(lì)函數(shù) 除了需要輸入除了需要輸入A,B,C,trainfun外，還有些默認(rèn)的參數(shù)可外，還有些默認(rèn)的參數(shù)可修改，如下表修改，如下表4. 可修改

21、參數(shù)可修改參數(shù)參數(shù)名參數(shù)名功能功能缺省值缺省值net.trainParam.goal目標(biāo)函數(shù)設(shè)定值目標(biāo)函數(shù)設(shè)定值0net.trainParam.epochs最大迭代次數(shù)最大迭代次數(shù)100net.trainParam.show顯示中間結(jié)果的周期顯示中間結(jié)果的周期25net.trainParam.lr整批學(xué)習(xí)的學(xué)習(xí)效率整批學(xué)習(xí)的學(xué)習(xí)效率0.01net.trainParam.mc勢(shì)能學(xué)習(xí)規(guī)則勢(shì)能學(xué)習(xí)規(guī)則traingdm的勢(shì)能率的勢(shì)能率0.9注：不同版本注：不同版本Matlab的可修改參數(shù)列表可能不同。的可修改參數(shù)列表可能不同。 net, tr, Y1, E = train ( net, X, Y )

22、5. BP網(wǎng)絡(luò)的訓(xùn)練與泛化網(wǎng)絡(luò)的訓(xùn)練與泛化q 網(wǎng)絡(luò)訓(xùn)練網(wǎng)絡(luò)訓(xùn)練訓(xùn)訓(xùn)練練跟跟蹤蹤信信息息訓(xùn)訓(xùn)練練后后網(wǎng)網(wǎng)絡(luò)絡(luò)網(wǎng)網(wǎng)絡(luò)絡(luò)實(shí)實(shí)際際輸輸出出誤誤差差矩矩陣陣網(wǎng)網(wǎng)絡(luò)絡(luò)訓(xùn)訓(xùn)練練函函數(shù)數(shù)未未經(jīng)經(jīng)訓(xùn)訓(xùn)練練網(wǎng)網(wǎng)絡(luò)絡(luò)網(wǎng)網(wǎng)絡(luò)絡(luò)實(shí)實(shí)際際輸輸入入網(wǎng)網(wǎng)絡(luò)絡(luò)應(yīng)應(yīng)有有輸輸出出X為為nM矩陣，為輸入數(shù)據(jù)矩陣，矩陣，為輸入數(shù)據(jù)矩陣，M為樣本的組數(shù)。為樣本的組數(shù)。Y為為mM矩陣，為輸出數(shù)據(jù)矩陣。矩陣，為輸出數(shù)據(jù)矩陣。 訓(xùn)練結(jié)束后，對(duì)新的輸入點(diǎn)數(shù)據(jù)訓(xùn)練結(jié)束后，對(duì)新的輸入點(diǎn)數(shù)據(jù)X2，調(diào)用，調(diào)用sim函數(shù)進(jìn)行泛函數(shù)進(jìn)行泛化，得出這些輸入點(diǎn)處的輸出矩陣化，得出這些輸入點(diǎn)處的輸出矩陣Y2. q 數(shù)據(jù)泛化數(shù)據(jù)泛化Y2=sim(net,X2) 用

23、經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)對(duì)于不是樣本集的輸入，計(jì)算出相應(yīng)用經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)對(duì)于不是樣本集的輸入，計(jì)算出相應(yīng)的輸出。的輸出。 什么是數(shù)據(jù)泛化？什么是數(shù)據(jù)泛化？例例4-1 由下面的語(yǔ)句生成一組數(shù)據(jù)由下面的語(yǔ)句生成一組數(shù)據(jù) x 和和 y，用神經(jīng)網(wǎng)絡(luò)進(jìn)，用神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)擬合行數(shù)據(jù)擬合 x=0:.1:10; y=0.12*exp(-0.213*x)+0.54*exp(-0.17*x).*sin(1.23*x);可知可知(x, y)是曲線是曲線 上的點(diǎn)。上的點(diǎn)。0.2130.170.120.54sin(1.23 )xxyeexx=0:.1:10;y=0.12*exp(-0.213*x)+0.54*exp(-0.17

24、*x).*sin(1.23*x);net=newff(0,10,5,1,tansig,tansig);net.trainParam.epochs=1000;net=train(net,x,y);x0=0:.1:10;figure(1)y1=sim(net,x0);plot(x,y,o, x0,y1,r)0246810-0.4-0.200.20.40.6 nntool命令產(chǎn)生神經(jīng)網(wǎng)絡(luò)圖形交互界面如下命令產(chǎn)生神經(jīng)網(wǎng)絡(luò)圖形交互界面如下二、二、 神經(jīng)網(wǎng)絡(luò)交互式界面神經(jīng)網(wǎng)絡(luò)交互式界面010203040506070809010010-710-610-510-410-310-210-1100100 Epoc

25、hsTraining-BluePerformance is 1.53643e-007, Goal is 0第三部分第三部分 應(yīng)用實(shí)例應(yīng)用實(shí)例實(shí)例實(shí)例1. 蠓蟲分類問(wèn)題的神經(jīng)網(wǎng)絡(luò)方法蠓蟲分類問(wèn)題的神經(jīng)網(wǎng)絡(luò)方法（1989年年MCM競(jìng)賽題目競(jìng)賽題目 ）生物學(xué)家試圖對(duì)兩種蠓蟲（生物學(xué)家試圖對(duì)兩種蠓蟲（Af與與Apf）進(jìn)行）進(jìn)行鑒別，依據(jù)的資料鑒別，依據(jù)的資料是觸角和翅膀的長(zhǎng)度，已經(jīng)測(cè)得是觸角和翅膀的長(zhǎng)度，已經(jīng)測(cè)得9只只Af和和6只只Apf的數(shù)據(jù)如下：的數(shù)據(jù)如下： 9只只Af觸角長(zhǎng)：觸角長(zhǎng)：1.24 1.36 1.38 1.38 1.38 1.40 1.48 1.54 1.56翅膀長(zhǎng)：翅膀長(zhǎng)：1.72

26、1.74 1.64 1.82 1.90 1.70 1.82 1.82 2.086只只Apf觸角長(zhǎng)：觸角長(zhǎng)：1.14 1.18 1.20 1.26 1.28 1.30翅膀長(zhǎng)：翅膀長(zhǎng)：1.78 1.96 1.86 2.00 2.00 1.96問(wèn)題：?jiǎn)栴}：（1）如何憑借原始資料）如何憑借原始資料(15 對(duì)數(shù)據(jù)對(duì)數(shù)據(jù),被稱之為學(xué)習(xí)樣本被稱之為學(xué)習(xí)樣本)制制 定一種方法定一種方法,正確區(qū)分兩類蠓蟲正確區(qū)分兩類蠓蟲; （2）依據(jù)確立的方法）依據(jù)確立的方法,對(duì)以下三個(gè)樣本：對(duì)以下三個(gè)樣本： (1.24,1.80)，(1.28,1.84)，(1.40,2.04)加以識(shí)別加以識(shí)別 解法一：解法一：建立建立兩層前

27、向神經(jīng)網(wǎng)絡(luò)兩層前向神經(jīng)網(wǎng)絡(luò)如下：如下： 隱層節(jié)點(diǎn)可適量選取（沒(méi)有具體標(biāo)準(zhǔn)）。隱層節(jié)點(diǎn)可適量選?。](méi)有具體標(biāo)準(zhǔn)）。X= 為輸入矩陣，為輸入矩陣，x1對(duì)應(yīng)于觸角長(zhǎng)，對(duì)應(yīng)于觸角長(zhǎng)， x2對(duì)應(yīng)于翅膀長(zhǎng)。對(duì)應(yīng)于翅膀長(zhǎng)。Y= 為輸出矩陣為輸出矩陣規(guī)定規(guī)定Af對(duì)應(yīng)的應(yīng)有輸出為對(duì)應(yīng)的應(yīng)有輸出為 ， Apf對(duì)應(yīng)的應(yīng)有輸出為對(duì)應(yīng)的應(yīng)有輸出為 1x2x1y2y輸入層隱層輸出層21xx21yy1001以上神經(jīng)網(wǎng)絡(luò)模型的以上神經(jīng)網(wǎng)絡(luò)模型的MATLAB程序如下：程序如下： x=1.24 1.36 1.38 1.38 1.38 1.40 1.48 1.54 1.56 1.14 1.18 1.20 1.26 1.28 1.3

28、0 1.72 1.74 1.64 1.82 1.90 1.70 1.82 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96; %原始數(shù)據(jù)原始數(shù)據(jù)x=x-1.1; %數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)標(biāo)準(zhǔn)化y=0 0 0 0 0 0 0 0 0 1 1 1 1 1 1;1 1 1 1 1 1 1 1 1 0 0 0 0 0 0; %應(yīng)有的輸出應(yīng)有的輸出net=newff(0,1;0 1,5,2,tansig,tansig); %建立兩層前向神經(jīng)網(wǎng)絡(luò)建立兩層前向神經(jīng)網(wǎng)絡(luò)%net.trainParam.goal=0.0000001; %設(shè)定訓(xùn)練誤差設(shè)定訓(xùn)練誤差net.trainParam.

29、epochs=2000; %設(shè)定最大訓(xùn)練步數(shù)設(shè)定最大訓(xùn)練步數(shù)net=train(net,x,y); %訓(xùn)練網(wǎng)絡(luò)訓(xùn)練網(wǎng)絡(luò)y1=sim(net,x) %輸出數(shù)據(jù)輸出數(shù)據(jù)yy=sim(net,1.24 1.28 1.40;1.80 1.84 2.04) %數(shù)據(jù)泛化數(shù)據(jù)泛化解法二：解法二：建立建立單層感知器模型單層感知器模型如下：如下： X= 為輸入矩陣，為輸入矩陣，x1對(duì)應(yīng)于觸角長(zhǎng)，對(duì)應(yīng)于觸角長(zhǎng)， x2對(duì)應(yīng)于翅膀長(zhǎng)。對(duì)應(yīng)于翅膀長(zhǎng)。Y= 為輸出矩陣，規(guī)定為輸出矩陣，規(guī)定Af對(duì)應(yīng)的應(yīng)有輸出為對(duì)應(yīng)的應(yīng)有輸出為 ， Apf對(duì)應(yīng)的應(yīng)有輸出為對(duì)應(yīng)的應(yīng)有輸出為 21xx21yy10011x2x1y2y輸入層輸出層

30、以上神經(jīng)網(wǎng)絡(luò)模型的以上神經(jīng)網(wǎng)絡(luò)模型的MATLAB程序如下：程序如下： x=1.24 1.36 1.38 1.38 1.38 1.40 1.48 1.54 1.56 1.14 1.18 1.20 1.26 1.28 1.30 1.72 1.74 1.64 1.82 1.90 1.70 1.82 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96; %原始數(shù)據(jù)原始數(shù)據(jù)x=x-1.1; %數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)標(biāo)準(zhǔn)化y=0 0 0 0 0 0 0 0 0 1 1 1 1 1 1;1 1 1 1 1 1 1 1 1 0 0 0 0 0 0; %應(yīng)有的輸出應(yīng)有的輸出net=newp(

31、minmax(x),2); %建立單層兩節(jié)點(diǎn)感知器模型建立單層兩節(jié)點(diǎn)感知器模型%net.trainParam.goal=0.0000001; %設(shè)定訓(xùn)練誤差設(shè)定訓(xùn)練誤差net.trainParam.epochs=200; %設(shè)定最大訓(xùn)練步數(shù)設(shè)定最大訓(xùn)練步數(shù)net=train(net,x,y); %訓(xùn)練網(wǎng)絡(luò)訓(xùn)練網(wǎng)絡(luò)y1=sim(net,x) %輸出數(shù)據(jù)輸出數(shù)據(jù)yy=sim(net,1.24 1.28 1.40;1.80 1.84 2.04) %數(shù)據(jù)泛化數(shù)據(jù)泛化plotpv(x,y) %繪制輸入向量和目標(biāo)向量繪制輸入向量和目標(biāo)向量plotpc(net.iw1,1,net.b1) %繪制分界線繪制分界線實(shí)例實(shí)例2. 利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)擬合利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)擬合（赤潮預(yù)報(bào)的人工神經(jīng)網(wǎng)絡(luò)方法（赤潮預(yù)報(bào)的人工神經(jīng)網(wǎng)絡(luò)方法 ）1. 何為赤潮？何為赤潮？ 赤潮，是在一定環(huán)境條件下，海水中某些浮游植物、原生動(dòng)物或細(xì)菌在