人工神經(jīng)網(wǎng)絡(luò)的基本模型[共52頁(yè)]

1、1 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 62334967 2 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型 幾種典型的激活函數(shù)幾種典型的激活函數(shù) 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述 人工神經(jīng)網(wǎng)絡(luò)的基本拓?fù)浣Y(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的基本拓?fù)浣Y(jié)構(gòu) 3 （1）細(xì)胞體細(xì)胞體: 細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜。細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜。（2）樹突：樹突： 胞體短而多分枝的突起。相當(dāng)于神經(jīng)元的輸入端。胞體短而多分枝的突起。相當(dāng)于神經(jīng)元的輸入端。 （3）軸突：）軸突：胞體上最長(zhǎng)枝的突起，也稱神經(jīng)纖維。胞體上最長(zhǎng)枝的突起，也稱神經(jīng)

2、纖維。 端部有很多神經(jīng)末稍傳出神經(jīng)沖動(dòng)。端部有很多神經(jīng)末稍傳出神經(jīng)沖動(dòng)。（4）突觸：突觸：神神 經(jīng)元間的連接接口，每個(gè)神經(jīng)元約有經(jīng)元間的連接接口，每個(gè)神經(jīng)元約有1萬(wàn)萬(wàn)10萬(wàn)個(gè)突萬(wàn)個(gè)突 觸。神經(jīng)元通過(guò)其軸突的神經(jīng)末稍，經(jīng)突觸與另一觸。神經(jīng)元通過(guò)其軸突的神經(jīng)末稍，經(jīng)突觸與另一 神經(jīng)元的樹突聯(lián)接，實(shí)現(xiàn)信息的傳遞。由于突觸的神經(jīng)元的樹突聯(lián)接，實(shí)現(xiàn)信息的傳遞。由于突觸的 信息傳遞特性是可變的，形成了神經(jīng)元間聯(lián)接的柔信息傳遞特性是可變的，形成了神經(jīng)元間聯(lián)接的柔 性，稱為性，稱為結(jié)構(gòu)的可塑性結(jié)構(gòu)的可塑性。（5）細(xì)胞膜電位：細(xì)胞膜電位：神經(jīng)細(xì)神經(jīng)細(xì) 胞 在 受 到 電 的 、 化 學(xué) 的 、 機(jī) 械 的 刺

3、激 后 ， 能胞 在 受 到 電 的 、 化 學(xué) 的 、 機(jī) 械 的 刺 激 后 ， 能 產(chǎn)生興奮與抑制。產(chǎn)生興奮與抑制。 2.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 4 2.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 5 （1）興奮與抑制：當(dāng)傳入神經(jīng)元沖動(dòng)，經(jīng)整和使細(xì)胞）興奮與抑制：當(dāng)傳入神經(jīng)元沖動(dòng)，經(jīng)整和使細(xì)胞 膜電位升高，超過(guò)動(dòng)作電位的閾值時(shí)，為興奮狀膜電位升高，超過(guò)動(dòng)作電位的閾值時(shí)，為興奮狀 態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突經(jīng)神經(jīng)末稍傳出。態(tài)，產(chǎn)生神經(jīng)

4、沖動(dòng)，由軸突經(jīng)神經(jīng)末稍傳出。 當(dāng)傳入神經(jīng)元的沖動(dòng)，經(jīng)整和，使細(xì)胞膜電當(dāng)傳入神經(jīng)元的沖動(dòng)，經(jīng)整和，使細(xì)胞膜電 位降低，低于閾值時(shí)，為抑制狀態(tài)，不產(chǎn)生神經(jīng)位降低，低于閾值時(shí)，為抑制狀態(tài)，不產(chǎn)生神經(jīng) 沖動(dòng)。沖動(dòng)。 （2）學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的）學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的 傳遞作用可增強(qiáng)與減弱，因此，神經(jīng)元具有學(xué)習(xí)傳遞作用可增強(qiáng)與減弱，因此，神經(jīng)元具有學(xué)習(xí) 與遺忘的功能。與遺忘的功能。 2.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 6 2.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型 第

5、二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 1 1）神經(jīng)元及其聯(lián)接；）神經(jīng)元及其聯(lián)接； 2 2）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱；）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱； 3 3）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的；）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的； 4 4）信號(hào)可以是起刺激作用，也可以是起抑制作用；）信號(hào)可以是起刺激作用，也可以是起抑制作用； 5 5）一個(gè)神經(jīng)元接受的信號(hào)的累積效果決定該神經(jīng)元）一個(gè)神經(jīng)元接受的信號(hào)的累積效果決定該神經(jīng)元 的狀態(tài)；的狀態(tài)； 6) 6) 每個(gè)神經(jīng)元可以有一個(gè)每個(gè)神經(jīng)元可以有一個(gè)“閾值閾值”。 神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)

6、件）。神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。 人工神經(jīng)元模型應(yīng)具有生物神經(jīng)元的六個(gè)基本特性。人工神經(jīng)元模型應(yīng)具有生物神經(jīng)元的六個(gè)基本特性。 7 0 )(xf 1 x (b) 作用函數(shù) 圖圖2.1 MP神經(jīng)元模型神經(jīng)元模型 )( i xf i （a） 2.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 神經(jīng)元神經(jīng)元i i的輸入的輸入yj 輸出輸出yi 描述描述: : 設(shè)設(shè) 則則 每一神經(jīng)元的輸出，或每一神經(jīng)元的輸出，或0 0或或1 1， 0 0表示表示抑制抑制，1 1表示表示興奮興奮： 1 (), n iijjj j yfw

7、yij 1 n iijjj j xw y ( ) ii yf x 10 ( ) 00 i ii i x yf x x 8 f(x)：作用（激發(fā)）函數(shù)作用（激發(fā)）函數(shù)是一種階躍函數(shù)。是一種階躍函數(shù)。 從神經(jīng)元的結(jié)構(gòu)示意圖上可見：當(dāng)輸入從神經(jīng)元的結(jié)構(gòu)示意圖上可見：當(dāng)輸入yj的加權(quán)和的加權(quán)和 大于大于 域值域值 時(shí)，神經(jīng)元的輸出時(shí)，神經(jīng)元的輸出yi =1，即神經(jīng)元處于，即神經(jīng)元處于“興奮狀態(tài)興奮狀態(tài)”； 反之，當(dāng)輸入反之，當(dāng)輸入yj的加權(quán)和的加權(quán)和 大于域值大于域值 時(shí)，神經(jīng)元的輸時(shí)，神經(jīng)元的輸 出出yi =0，即神經(jīng)元處于，即神經(jīng)元處于“抑制狀態(tài)抑制狀態(tài)” 在基本在基本MP模型中取整數(shù)。模型中取整

8、數(shù)。 j j 1 n ijj j wy 1 n ijj j w y 2.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 ij w 9 輸入輸入：Y=（ y0， y1，y2，yn） 聯(lián)接權(quán)：聯(lián)接權(quán)：W=（ w0， w1，w2，wn）T 網(wǎng)絡(luò)輸入：網(wǎng)絡(luò)輸入：netj=w ji yi 向量形式：向量形式：netj=WY yn wn y1 w1 y2 w2 neti=WY 令令 ，則，則MP 神經(jīng)元模型可以表示為：神經(jīng)元模型可以表示為： 0 (), n iijj j yfw yij 0jj w 0 1 j y 2.1 2.1 人工神經(jīng)元

9、的基本模型人工神經(jīng)元的基本模型 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 10 2.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 M-PM-P模型從哪些方面刻畫了自然神經(jīng)元？模型從哪些方面刻畫了自然神經(jīng)元？ 前面已介紹過(guò)生物（自然）神經(jīng)元具有如下特點(diǎn)： 兩態(tài)工作：即工作于興奮或抑制兩種狀態(tài)； 閾值作用：即超過(guò)某一閾值則神經(jīng)元興奮； 多輸入單輸出特性； 空間疊加性； 可塑性聯(lián)接：即突觸部分的聯(lián)接強(qiáng)度可以調(diào)節(jié)。 雖然M-P模型無(wú)法實(shí)現(xiàn)生物神經(jīng)元的空間、時(shí) 間的交叉疊加性，但其它生物神經(jīng)元功能都具備。 11 M-P

10、M-P模型在人工神經(jīng)網(wǎng)絡(luò)中的地位模型在人工神經(jīng)網(wǎng)絡(luò)中的地位 首先M-P模型是所有人工神經(jīng)元中第一個(gè)被建立 起來(lái)的，它在多個(gè)方面都顯示出生物神經(jīng)元所具有 的基本特性。 其次，目前其它形式的人工神經(jīng)元已有很多， 但大多數(shù)都是在M-P模型的基礎(chǔ)上經(jīng)過(guò)不同的修正， 改進(jìn)變換而發(fā)展起來(lái)。因此M-P人工神經(jīng)元是整個(gè)人 工神經(jīng)網(wǎng)的基礎(chǔ)。 2.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 12 2.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 對(duì)對(duì)M-PM-P人工神經(jīng)元進(jìn)行改

11、進(jìn)的主要方式有如下幾個(gè)方面人工神經(jīng)元進(jìn)行改進(jìn)的主要方式有如下幾個(gè)方面: : 神經(jīng)元的內(nèi)部改造：對(duì)人工神經(jīng)元取不同的非線性函 數(shù)； 對(duì)輸入和輸出做不同的限制：離散的（某些離散點(diǎn)） 和連續(xù)的（整個(gè)實(shí)數(shù)域）。 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)上的改造：人工神經(jīng)元之間的聯(lián)接形 式不同。 算法的改進(jìn)：在人工神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值取求的方法 上 不同。 其它形式的改造。 13 激活函數(shù)激活函數(shù)執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變 換，也常稱為激勵(lì)函數(shù)、活化函數(shù)：換，也常稱為激勵(lì)函數(shù)、活化函數(shù)：o=f(net) f(net)=k*net+c net o o c 2.2 2.2 幾種典型的激活函數(shù)幾

12、種典型的激活函數(shù) 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 14 if net f（net）= k*net if |net|0為一常數(shù)，被稱為飽和值，為一常數(shù)，被稱為飽和值， 為該神經(jīng)元的最大輸出。為該神經(jīng)元的最大輸出。 - - net o 2.2 2.2 幾種典型的激活函數(shù)幾種典型的激活函數(shù) 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 15 if net f（net）= -if net 均為非負(fù)實(shí)數(shù)，均為非負(fù)實(shí)數(shù)，為閾值。為閾值。 二值形式：二值形式： 1if net f（net）= 0if net 雙極形式：雙極形式： 1if net f（net）= -1

13、if net - o net 0 2.2 2.2 幾種典型的激活函數(shù)幾種典型的激活函數(shù) 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 16 2.2 2.2 幾種典型的激活函數(shù)幾種典型的激活函數(shù) 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 不同的作用函數(shù)，可構(gòu)成不同的神經(jīng)元不同的作用函數(shù)，可構(gòu)成不同的神經(jīng)元 模型。模型。 圖 2-2-3 （a）1 （b） 2 非對(duì)稱型非對(duì)稱型Sigmoid函數(shù)函數(shù):簡(jiǎn)稱簡(jiǎn)稱S型作用函數(shù)，是可微的，用下式表示：型作用函數(shù)，是可微的，用下式表示： 如圖如圖(a)和和(b) f x e x ( ) + 1 1 或或 fx e x ( )

14、+ 1 1 0 17 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 圖 2-2-3 （c）1 （d） 2 對(duì)稱型對(duì)稱型Sigmoid函數(shù)函數(shù) 是可微的，是可微的，用下式表示：如用下式表示：如圖圖(a)(a)和和(b)(b) fx e e x x ( ) + 1 1 或或 fx e e x x ( ) + 1 1 ， 0 或或 f x ee ee xx xx ( ) + ， 0 18 對(duì)稱型階躍函數(shù)對(duì)稱型階躍函數(shù) 圖圖（e），用下式表示：），用下式表示： + 0,1 0,1 )( x x xf 用階躍作用函數(shù)的神經(jīng)元，稱用階躍作用函數(shù)的神經(jīng)元，稱閾值邏輯單元閾值邏輯單元。 第二章第

15、二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 19 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 高斯函數(shù)高斯函數(shù): 是可微的，分一維和高維，用下式表示：如圖是可微的，分一維和高維，用下式表示：如圖(a)和和(b) 2 2 () 2 () net f nete 一維 2 () () 2 () T iiii j xx f Xe 二維 20 2.2 2.2 幾種典型的激活函數(shù)幾種典型的激活函數(shù) 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 21 非線性作用函數(shù)非線性作用函數(shù)1 1 2 非對(duì)稱型非對(duì)稱型Sigmoid函數(shù)函數(shù) 22 非線性作用函數(shù)非線性作用函數(shù)2 對(duì)

16、稱型對(duì)稱型Sigmoid函數(shù)函數(shù) 1 2 23 非線性作用函數(shù)非線性作用函數(shù)3 非對(duì)稱型階躍函數(shù)非對(duì)稱型階躍函數(shù) 24 非線性作用函數(shù)非線性作用函數(shù)4 對(duì)稱型階躍函數(shù)對(duì)稱型階躍函數(shù) 25 非線性作用函數(shù)非線性作用函數(shù) 26 非線性作用函數(shù)非線性作用函數(shù)5 高斯高斯RBF(RBF(一維一維) ) 27 非線性作用函數(shù)非線性作用函數(shù)5 高斯高斯RBFRBF（二維）（二維） 28 非線性作用函數(shù)非線性作用函數(shù)5 高斯高斯RBFRBF（二維）（二維） 29 非線性作用函數(shù)非線性作用函數(shù)6 B樣條函數(shù)（次）樣條函數(shù)（次） 30 非線性作用函數(shù)非線性作用函數(shù)6 B樣條函數(shù)（樣條函數(shù)（1 1次）次） 31

17、非線性作用函數(shù)非線性作用函數(shù) 32 2.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 學(xué)習(xí)過(guò)程就是調(diào)整權(quán)值的過(guò)程。學(xué)習(xí)過(guò)程就是調(diào)整權(quán)值的過(guò)程。 1、競(jìng)爭(zhēng)學(xué)習(xí) 2、有監(jiān)督學(xué)習(xí) 3、無(wú)監(jiān)督學(xué)習(xí) 4、Hebb和Delta學(xué)習(xí) 5、有、無(wú)監(jiān)督混合學(xué)習(xí) 6、隨即自適應(yīng)學(xué)習(xí)模擬退火 7、模糊學(xué)習(xí) 等等 幾種常見類型學(xué)習(xí)算法： 33 對(duì)于競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則，有三個(gè)基本元素： 1.一個(gè)神經(jīng)元集合，這些神經(jīng)元除了一些隨機(jī)分布的突 觸權(quán)值之外是完全相同的，并且由于突觸權(quán)值的不同而對(duì) 一個(gè)給定的輸入模式集合由不同的響應(yīng)。 2.在每個(gè)神經(jīng)元的強(qiáng)

18、度上給定一個(gè)極限。 3.一個(gè)機(jī)制，它允許神經(jīng)元為響應(yīng)一個(gè)給定輸入子集的 權(quán)利而競(jìng)爭(zhēng)，從而使得每次只有一個(gè)輸出神經(jīng)元或者每組 只有一個(gè)神經(jīng)元是激活的（即，“開”）.競(jìng)爭(zhēng)獲勝神經(jīng) 元被叫做勝者通吃（winner-takes-all）神經(jīng)元。 2.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 競(jìng)爭(zhēng)學(xué)習(xí)競(jìng)爭(zhēng)學(xué)習(xí) 34 2.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 競(jìng)爭(zhēng)學(xué)習(xí)競(jìng)爭(zhēng)學(xué)習(xí) 0 , 1 否則 對(duì)于所有如果kjjvv y jk k kj

19、 () k w 0 k jkjxw 如果神經(jīng)元 競(jìng)爭(zhēng)成功 如果神經(jīng)元 競(jìng)爭(zhēng)失敗 按照標(biāo)準(zhǔn)的競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則，作用于突觸權(quán)值wkj的改變量 wkj定義為 獲勝神經(jīng)元k的輸出信號(hào)yk被置為1；競(jìng)爭(zhēng)失敗的所有神經(jīng)元 的輸出信號(hào)被置為0。我們有: 35 2.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 有教師學(xué)習(xí)（稱為監(jiān)督學(xué)習(xí)）有教師學(xué)習(xí)（稱為監(jiān)督學(xué)習(xí)） 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) 的參數(shù)可以綜的參數(shù)可以綜 合訓(xùn)練向量和合訓(xùn)練向量和 反饋回的誤差反饋回的誤差 信號(hào)進(jìn)行適當(dāng)信號(hào)進(jìn)行適當(dāng) 調(diào)整。調(diào)整。 36 2.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)

20、習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 如果我們能給定一個(gè)設(shè)計(jì)好的算法來(lái)使成本如果我們能給定一個(gè)設(shè)計(jì)好的算法來(lái)使成本 費(fèi)用最小，而且有足夠的輸入費(fèi)用最小，而且有足夠的輸入/輸出的數(shù)據(jù)集，那輸出的數(shù)據(jù)集，那 么有指導(dǎo)的學(xué)習(xí)系統(tǒng)往往可以較好地完成諸如模么有指導(dǎo)的學(xué)習(xí)系統(tǒng)往往可以較好地完成諸如模 式分類，函數(shù)逼近之類的任務(wù)。式分類，函數(shù)逼近之類的任務(wù)。 有教師學(xué)習(xí)（稱為監(jiān)督學(xué)習(xí)）有教師學(xué)習(xí)（稱為監(jiān)督學(xué)習(xí)） 誤差信號(hào)可以定義為：神經(jīng)網(wǎng)絡(luò)實(shí)際輸出與預(yù)誤差信號(hào)可以定義為：神經(jīng)網(wǎng)絡(luò)實(shí)際輸出與預(yù) 期響應(yīng)之差。這種調(diào)節(jié)可以逐步而又不斷反復(fù)地進(jìn)期響應(yīng)之差。

21、這種調(diào)節(jié)可以逐步而又不斷反復(fù)地進(jìn) 行，其最終目的就是要讓神經(jīng)網(wǎng)絡(luò)模擬老師行，其最終目的就是要讓神經(jīng)網(wǎng)絡(luò)模擬老師學(xué)學(xué) 習(xí)樣本；從統(tǒng)計(jì)的角度來(lái)看，這種模擬是最優(yōu)的。習(xí)樣本；從統(tǒng)計(jì)的角度來(lái)看，這種模擬是最優(yōu)的。 37 2.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 無(wú)教師學(xué)習(xí)模式中無(wú)教師學(xué)習(xí)模式中 沒有老師來(lái)監(jiān)視學(xué)習(xí)過(guò)沒有老師來(lái)監(jiān)視學(xué)習(xí)過(guò) 程的。即神經(jīng)網(wǎng)絡(luò)沒有程的。即神經(jīng)網(wǎng)絡(luò)沒有 任何帶標(biāo)號(hào)的例子可以任何帶標(biāo)號(hào)的例子可以 學(xué)習(xí)參考。這學(xué)習(xí)模式學(xué)習(xí)參考。這學(xué)習(xí)模式 又分又分2類：類： 無(wú)教師學(xué)習(xí)（稱為無(wú)監(jiān)督學(xué)習(xí)）無(wú)教師學(xué)

22、習(xí)（稱為無(wú)監(jiān)督學(xué)習(xí)） 加強(qiáng)學(xué)習(xí)加強(qiáng)學(xué)習(xí)/神經(jīng)動(dòng)神經(jīng)動(dòng) 態(tài)規(guī)劃態(tài)規(guī)劃 38 2.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 無(wú)教師學(xué)習(xí)（稱為無(wú)監(jiān)督學(xué)習(xí)）無(wú)教師學(xué)習(xí)（稱為無(wú)監(jiān)督學(xué)習(xí)） 無(wú)監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí) 在無(wú)監(jiān)督或自組織學(xué)習(xí)系統(tǒng)中，不再有外在的老在無(wú)監(jiān)督或自組織學(xué)習(xí)系統(tǒng)中，不再有外在的老 師或者評(píng)價(jià)來(lái)監(jiān)督學(xué)習(xí)的過(guò)程。提供獨(dú)立于任務(wù)的師或者評(píng)價(jià)來(lái)監(jiān)督學(xué)習(xí)的過(guò)程。提供獨(dú)立于任務(wù)的 表示質(zhì)量的度量，要求網(wǎng)絡(luò)學(xué)習(xí)該度量而且參數(shù)將表示質(zhì)量的度量，要求網(wǎng)絡(luò)學(xué)習(xí)該度量而且參數(shù)將 根據(jù)這個(gè)度量來(lái)逐步優(yōu)化網(wǎng)絡(luò)。根據(jù)這個(gè)度量來(lái)逐步優(yōu)化

23、網(wǎng)絡(luò)。 為了實(shí)際地使用無(wú)監(jiān)督系統(tǒng)，我們可能會(huì)使用競(jìng)為了實(shí)際地使用無(wú)監(jiān)督系統(tǒng)，我們可能會(huì)使用競(jìng) 爭(zhēng)性學(xué)習(xí)規(guī)則。爭(zhēng)性學(xué)習(xí)規(guī)則。 39 2.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 學(xué)習(xí)任務(wù)學(xué)習(xí)任務(wù) 模式聯(lián)想 存儲(chǔ)階段 回憶階段 模式聯(lián)想 xy 輸入向量輸出向量 模式聯(lián)想輸入輸出關(guān)系圖 40 2.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 學(xué)習(xí)任務(wù)學(xué)習(xí)任務(wù) 模式識(shí)別 模式識(shí)別將收 到的模式或信號(hào)置 以一個(gè)預(yù)先定義好 的分類號(hào)。 識(shí)別機(jī)設(shè)

24、計(jì) 成一個(gè)采用監(jiān)督學(xué) 習(xí)算法的多層前饋 網(wǎng)絡(luò)。 特征抽取 的非監(jiān)督 網(wǎng)絡(luò) 分類的 監(jiān)督網(wǎng) 絡(luò) 1 2 : r 輸入模式x 特征向量y 41 2.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 其中向量x 是輸入，向量d 為輸出。向量值函數(shù) 假定為未知。為了彌補(bǔ) 函數(shù) 未知的知識(shí)缺乏,我們假定有如下確定的訓(xùn)練樣本集合: 考慮下面的一個(gè)非線性輸入輸出映射函數(shù)關(guān)系式： |)()(|xfxFx T=(xi,di)i=1N 對(duì)于所有的 是一個(gè)很小的正數(shù). 其中 d = f(x) )(f ) (f 學(xué)習(xí)任務(wù)學(xué)習(xí)任務(wù)函數(shù)逼近函數(shù)逼

25、近 逼近問(wèn)題其實(shí)是一個(gè)很完整的監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)。其中xi是輸入向 量，而di是期望的反饋向量。反之，完全可以將監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)看成 是一個(gè)函數(shù)逼近問(wèn)題。 42 2.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 學(xué)習(xí)任務(wù)學(xué)習(xí)任務(wù)函數(shù)逼近函數(shù)逼近 神經(jīng) 網(wǎng)絡(luò)的函數(shù)逼 近問(wèn)題實(shí)際上 也是逼近一個(gè) 未知輸入輸出 映射函數(shù)問(wèn)題： 系統(tǒng)識(shí)別模塊圖系統(tǒng)識(shí)別模塊圖 43 2.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 學(xué)習(xí)任務(wù)學(xué)習(xí)任務(wù)函數(shù)逼近函數(shù)逼近

26、 逆模式系統(tǒng)圖逆模式系統(tǒng)圖 44 Hebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 按照生物學(xué)的條件反射原理，按照生物學(xué)的條件反射原理，Hebb構(gòu)造了一種簡(jiǎn)單的構(gòu)造了一種簡(jiǎn)單的 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)權(quán)值權(quán)值調(diào)整原則：調(diào)整原則：若第若第 i 與第與第 j 個(gè)神經(jīng)元同時(shí)處于興個(gè)神經(jīng)元同時(shí)處于興 奮狀態(tài)，則它們間的聯(lián)接應(yīng)加強(qiáng)奮狀態(tài)，則它們間的聯(lián)接應(yīng)加強(qiáng)。即：。即： w y y ijij a ，a 0 這和這和“條件反射條件反射”學(xué)說(shuō)一致學(xué)說(shuō)一致，并已得到證實(shí)。，并已得到證實(shí)。 Hebb 學(xué)習(xí)規(guī)則的相關(guān)假設(shè)，是許多學(xué)習(xí)規(guī)則的基礎(chǔ)。學(xué)習(xí)規(guī)則的相關(guān)假設(shè)，是許多學(xué)習(xí)規(guī)則的基礎(chǔ)。 2.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的

27、學(xué)習(xí)算法概述 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 45 Delta學(xué)習(xí)規(guī)則（學(xué)習(xí)規(guī)則（誤差校正規(guī)則誤差校正規(guī)則 如梯度方法、如梯度方法、BPBP算法算法） Widrow和和Hoff的寫法：的寫法： Wij(t+1)=Wij(t)+(yj- aj(t) neti(t) 也可以寫成：也可以寫成： Wij(t+1)=Wij(t)+ Wij(t) Wij(t)=jneti(t) j=yj- aj(t) Grossberg的寫法為：的寫法為： Wij(t)=ai(t)(netj(t)-Wij(t) 更一般的更一般的Delta規(guī)則為：規(guī)則為： Wij(t)=g(ai(t)，yj，netj(t)，Wij(t) 其中：其中：ai(t)是網(wǎng)絡(luò)目標(biāo)輸