人工神經(jīng)網(wǎng)絡(luò)的基本模型.PPT

1、2006-5-91第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 623349672006-5-92第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型 幾種典型的激活函數(shù)幾種典型的激活函數(shù) 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述 人工神經(jīng)網(wǎng)絡(luò)的基本拓?fù)浣Y(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的基本拓?fù)浣Y(jié)構(gòu)2006-5-93 （1）細(xì)胞體細(xì)胞體: 細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜。細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜。（2）樹(shù)突：樹(shù)突：胞體短而多分枝的突起。相當(dāng)于神經(jīng)元的輸入端。胞體短而多分枝的突起。相當(dāng)于神經(jīng)元的輸入端。（3）軸突：）軸突：胞體上最長(zhǎng)枝的突起，也稱神

2、經(jīng)纖維。胞體上最長(zhǎng)枝的突起，也稱神經(jīng)纖維。端部有很多神經(jīng)末稍傳出神經(jīng)沖動(dòng)。端部有很多神經(jīng)末稍傳出神經(jīng)沖動(dòng)。（4）突觸：突觸：神神經(jīng)元間的連接接口，每個(gè)神經(jīng)元約有經(jīng)元間的連接接口，每個(gè)神經(jīng)元約有1萬(wàn)萬(wàn)10萬(wàn)個(gè)突萬(wàn)個(gè)突觸。神經(jīng)元通過(guò)其軸突的神經(jīng)末稍，經(jīng)突觸與另一觸。神經(jīng)元通過(guò)其軸突的神經(jīng)末稍，經(jīng)突觸與另一神經(jīng)元的樹(shù)突聯(lián)接，實(shí)現(xiàn)信息的傳遞。由于突觸的神經(jīng)元的樹(shù)突聯(lián)接，實(shí)現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，形成了神經(jīng)元間聯(lián)接的柔信息傳遞特性是可變的，形成了神經(jīng)元間聯(lián)接的柔性，稱為性，稱為結(jié)構(gòu)的可塑性結(jié)構(gòu)的可塑性。（5）細(xì)胞膜電位：細(xì)胞膜電位：神經(jīng)細(xì)神經(jīng)細(xì)胞 在 受 到 電 的 、 化 學(xué) 的

3、 、 機(jī) 械 的 刺 激 后 ， 能胞 在 受 到 電 的 、 化 學(xué) 的 、 機(jī) 械 的 刺 激 后 ， 能 產(chǎn)生興奮與抑制。產(chǎn)生興奮與抑制。2.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-942.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-95（1）興奮與抑制：當(dāng)傳入神經(jīng)元沖動(dòng)，經(jīng)整和使細(xì)胞）興奮與抑制：當(dāng)傳入神經(jīng)元沖動(dòng)，經(jīng)整和使細(xì)胞 膜電位升高，超過(guò)動(dòng)作電位的閾值時(shí)，為興奮狀膜電位升高，超過(guò)動(dòng)作電位的閾值時(shí)，為興奮狀 態(tài)，產(chǎn)生神經(jīng)

4、沖動(dòng)，由軸突經(jīng)神經(jīng)末稍傳出。態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突經(jīng)神經(jīng)末稍傳出。 當(dāng)傳入神經(jīng)元的沖動(dòng)，經(jīng)整和，使細(xì)胞膜電當(dāng)傳入神經(jīng)元的沖動(dòng)，經(jīng)整和，使細(xì)胞膜電 位降低，低于閾值時(shí)，為抑制狀態(tài)，不產(chǎn)生神經(jīng)位降低，低于閾值時(shí)，為抑制狀態(tài)，不產(chǎn)生神經(jīng) 沖動(dòng)。沖動(dòng)。（2）學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的）學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的 傳遞作用可增強(qiáng)與減弱，因此，神經(jīng)元具有學(xué)習(xí)傳遞作用可增強(qiáng)與減弱，因此，神經(jīng)元具有學(xué)習(xí) 與遺忘的功能。與遺忘的功能。2.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-962.1 2.1

5、 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 1 1）神經(jīng)元及其聯(lián)接；）神經(jīng)元及其聯(lián)接；2 2）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱；）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱；3 3）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的；）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的；4 4）信號(hào)可以是起刺激作用，也可以是起抑制作用；）信號(hào)可以是起刺激作用，也可以是起抑制作用；5 5）一個(gè)神經(jīng)元接受的信號(hào)的累積效果決定該神經(jīng)元）一個(gè)神經(jīng)元接受的信號(hào)的累積效果決定該神經(jīng)元的狀態(tài)；的狀態(tài)；6) 6) 每個(gè)神經(jīng)元可以有一個(gè)每個(gè)神經(jīng)元可以有一個(gè)“閾值閾值”。 神經(jīng)

6、元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。 人工神經(jīng)元模型應(yīng)具有生物神經(jīng)元的六個(gè)基本特性。人工神經(jīng)元模型應(yīng)具有生物神經(jīng)元的六個(gè)基本特性。2006-5-97 0 )(xf 1 x (b) 作用函數(shù) 圖圖2.1 MP神經(jīng)元模型神經(jīng)元模型 )(ixf i （a）2.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 神經(jīng)元神經(jīng)元i i的輸入的輸入yj 輸出輸出yi 描述描述: :設(shè)設(shè)則則每一神經(jīng)元的輸出，或每一神經(jīng)元的輸出，或0 0或或1 1，0 0表示表示抑制抑制，1 1表示表示興奮興奮：1(),ni

7、ijjjjyfw yij1niijjjjxw y( )iiyf x10( )00iiiixyf xx2006-5-98f(x)：作用（激發(fā)）函數(shù)：作用（激發(fā)）函數(shù)是一種階躍函數(shù)。是一種階躍函數(shù)。從神經(jīng)元的結(jié)構(gòu)示意圖上可見(jiàn)：當(dāng)輸入從神經(jīng)元的結(jié)構(gòu)示意圖上可見(jiàn)：當(dāng)輸入yj的加權(quán)和的加權(quán)和 大于大于域值域值 時(shí)，神經(jīng)元的輸出時(shí)，神經(jīng)元的輸出yi =1，即神經(jīng)元處于，即神經(jīng)元處于“興奮狀態(tài)興奮狀態(tài)”；反之，當(dāng)輸入反之，當(dāng)輸入yj的加權(quán)和的加權(quán)和 大于域值大于域值 時(shí)，神經(jīng)元的輸時(shí)，神經(jīng)元的輸出出yi =0，即神經(jīng)元處于，即神經(jīng)元處于“抑制狀態(tài)抑制狀態(tài)” 在基本在基本MP模型中取整數(shù)。模型中取整數(shù)。jj1

8、nijjjwy1nijjjw y2.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型ijw2006-5-99輸入輸入：Y=（ y0， y1，y2，yn）聯(lián)接權(quán)：聯(lián)接權(quán)：W=（ w0， w1，w2，wn）T網(wǎng)絡(luò)輸入：網(wǎng)絡(luò)輸入：netj=wjiyi向量形式：向量形式：netj=WYyn wny1 w1y2 w2neti=WY令令 ，則，則MP神經(jīng)元模型可以表示為：神經(jīng)元模型可以表示為：0(),niijjjyfw yij0jjw01jy 2.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)

9、絡(luò)的基本模型2006-5-9102.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型M-PM-P模型從哪些方面刻畫(huà)了自然神經(jīng)元？模型從哪些方面刻畫(huà)了自然神經(jīng)元？前面已介紹過(guò)生物（自然）神經(jīng)元具有如下特點(diǎn)： 兩態(tài)工作：即工作于興奮或抑制兩種狀態(tài)； 閾值作用：即超過(guò)某一閾值則神經(jīng)元興奮； 多輸入單輸出特性； 空間疊加性； 可塑性聯(lián)接：即突觸部分的聯(lián)接強(qiáng)度可以調(diào)節(jié)。 雖然M-P模型無(wú)法實(shí)現(xiàn)生物神經(jīng)元的空間、時(shí)間的交叉疊加性，但其它生物神經(jīng)元功能都具備。 2006-5-911M-PM-P模型在人工神經(jīng)網(wǎng)絡(luò)中的地位模型在人工神經(jīng)網(wǎng)絡(luò)中的地位

10、首先M-P模型是所有人工神經(jīng)元中第一個(gè)被建立起來(lái)的，它在多個(gè)方面都顯示出生物神經(jīng)元所具有的基本特性。 其次，目前其它形式的人工神經(jīng)元已有很多，但大多數(shù)都是在M-P模型的基礎(chǔ)上經(jīng)過(guò)不同的修正，改進(jìn)變換而發(fā)展起來(lái)。因此M-P人工神經(jīng)元是整個(gè)人工神經(jīng)網(wǎng)的基礎(chǔ)。2.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-9122.1 2.1 人工神經(jīng)元的基本模型人工神經(jīng)元的基本模型第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型對(duì)對(duì)M-PM-P人工神經(jīng)元進(jìn)行改進(jìn)的主要方式有如下幾個(gè)方面人工神經(jīng)元進(jìn)行改進(jìn)的主要方式有如下幾個(gè)方

11、面: : 神經(jīng)元的內(nèi)部改造：對(duì)人工神經(jīng)元取不同的非線性函數(shù)； 對(duì)輸入和輸出做不同的限制：離散的（某些離散點(diǎn)）和連續(xù)的（整個(gè)實(shí)數(shù)域）。 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)上的改造：人工神經(jīng)元之間的聯(lián)接形式不同。 算法的改進(jìn)：在人工神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值取求的方法上 不同。其它形式的改造。2006-5-913 激活函數(shù)激活函數(shù)執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也常稱為激勵(lì)函數(shù)、活化函數(shù)：換，也常稱為激勵(lì)函數(shù)、活化函數(shù)：o=f(net) f(net)=k*net+c netooc2.2 2.2 幾種典型的激活函數(shù)幾種典型的激活函數(shù) 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本

12、模型2006-5-914 if netf（net）= k*net if |net|0為一常數(shù)，被稱為飽和值，為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。為該神經(jīng)元的最大輸出。 - - net o 2.2 2.2 幾種典型的激活函數(shù)幾種典型的激活函數(shù) 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-915if netf（net）=-if net均為非負(fù)實(shí)數(shù)，均為非負(fù)實(shí)數(shù)，為閾值。為閾值。二值形式：二值形式：1if netf（net）=0if net雙極形式：雙極形式：1if netf（net）=-1if net -onet02.2 2.2 幾種典型的激活函數(shù)幾種典型的激

13、活函數(shù) 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-9162.2 2.2 幾種典型的激活函數(shù)幾種典型的激活函數(shù) 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型不同的作用函數(shù)，可構(gòu)成不同的神經(jīng)元不同的作用函數(shù)，可構(gòu)成不同的神經(jīng)元模型。模型。 圖 2-2-3 （a）1 （b） 2 非對(duì)稱型非對(duì)稱型Sigmoid函數(shù)函數(shù):簡(jiǎn)稱簡(jiǎn)稱S型作用函數(shù)，是可微的，用下式表示：型作用函數(shù)，是可微的，用下式表示：如圖如圖(a)和和(b) f xex( ) +11 或或 fxex( ) +11 02006-5-917第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型

14、圖 2-2-3 （c）1 （d） 2 對(duì)稱型對(duì)稱型Sigmoid函數(shù)函數(shù) 是可微的，是可微的，用下式表示：如用下式表示：如圖圖(a)(a)和和(b)(b) fxeexx( ) +11 或或 fxeexx() +11 ， 0或或 f xeeeexxxx( ) + ， 02006-5-918對(duì)稱型階躍函數(shù)對(duì)稱型階躍函數(shù)圖圖（e），用下式表示：），用下式表示： +0,10,1)(xxxf 用階躍作用函數(shù)的神經(jīng)元，稱用階躍作用函數(shù)的神經(jīng)元，稱閾值邏輯單元閾值邏輯單元。第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-919第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型

15、高斯函數(shù)高斯函數(shù): 是可微的，分一維和高維，用下式表示：如圖是可微的，分一維和高維，用下式表示：如圖(a)和和(b)22()2()netf nete一維2() ()2()Tiiiijxxf Xe二維2006-5-9202.2 2.2 幾種典型的激活函數(shù)幾種典型的激活函數(shù) 第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-921非線性作用函數(shù)非線性作用函數(shù)1 1 2 非對(duì)稱型非對(duì)稱型Sigmoid函數(shù)函數(shù)2006-5-922非線性作用函數(shù)非線性作用函數(shù)2對(duì)稱型對(duì)稱型Sigmoid函數(shù)函數(shù) 1 2 2006-5-923非線性作用函數(shù)非線性作用函數(shù)3 非對(duì)稱型階躍函數(shù)非對(duì)稱型階

16、躍函數(shù)2006-5-924非線性作用函數(shù)非線性作用函數(shù)4 對(duì)稱型階躍函數(shù)對(duì)稱型階躍函數(shù)2006-5-925非線性作用函數(shù)非線性作用函數(shù)2006-5-926非線性作用函數(shù)非線性作用函數(shù)5高斯高斯RBF(RBF(一維一維) )2006-5-927非線性作用函數(shù)非線性作用函數(shù)5高斯高斯RBFRBF（二維）（二維）2006-5-928非線性作用函數(shù)非線性作用函數(shù)5高斯高斯RBFRBF（二維）（二維）2006-5-929非線性作用函數(shù)非線性作用函數(shù)6B樣條函數(shù)（次）樣條函數(shù)（次） 2006-5-930非線性作用函數(shù)非線性作用函數(shù)6B樣條函數(shù)（樣條函數(shù)（1 1次）次）2006-5-931非線性作用函數(shù)非線

17、性作用函數(shù) 2006-5-9322.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型學(xué)習(xí)過(guò)程就是調(diào)整權(quán)值的過(guò)程。學(xué)習(xí)過(guò)程就是調(diào)整權(quán)值的過(guò)程。1、競(jìng)爭(zhēng)學(xué)習(xí)2、有監(jiān)督學(xué)習(xí)3、無(wú)監(jiān)督學(xué)習(xí)4、Hebb和Delta學(xué)習(xí)5、有、無(wú)監(jiān)督混合學(xué)習(xí)6、隨即自適應(yīng)學(xué)習(xí)模擬退火7、模糊學(xué)習(xí) 等等幾種常見(jiàn)類型學(xué)習(xí)算法：2006-5-933對(duì)于競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則，有三個(gè)基本元素：1.一個(gè)神經(jīng)元集合，這些神經(jīng)元除了一些隨機(jī)分布的突觸權(quán)值之外是完全相同的，并且由于突觸權(quán)值的不同而對(duì)一個(gè)給定的輸入模式集合由不同的響應(yīng)。2.在每個(gè)神經(jīng)元的強(qiáng)度上給定一個(gè)極限。3

18、.一個(gè)機(jī)制，它允許神經(jīng)元為響應(yīng)一個(gè)給定輸入子集的權(quán)利而競(jìng)爭(zhēng)，從而使得每次只有一個(gè)輸出神經(jīng)元或者每組只有一個(gè)神經(jīng)元是激活的（即，“開(kāi)”）.競(jìng)爭(zhēng)獲勝神經(jīng)元被叫做勝者通吃（winner-takes-all）神經(jīng)元。2.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型競(jìng)爭(zhēng)學(xué)習(xí)競(jìng)爭(zhēng)學(xué)習(xí)2006-5-9342.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型競(jìng)爭(zhēng)學(xué)習(xí)競(jìng)爭(zhēng)學(xué)習(xí) 0, 1否則對(duì)于所有如果kjjvvyjkkkj() kw0 kjkjxw如果神經(jīng)元 競(jìng)

19、爭(zhēng)成功如果神經(jīng)元 競(jìng)爭(zhēng)失敗按照標(biāo)準(zhǔn)的競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則，作用于突觸權(quán)值wkj的改變量wkj定義為獲勝神經(jīng)元k的輸出信號(hào)yk被置為1；競(jìng)爭(zhēng)失敗的所有神經(jīng)元的輸出信號(hào)被置為0。我們有:2006-5-9352.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型有教師學(xué)習(xí)（稱為監(jiān)督學(xué)習(xí)）有教師學(xué)習(xí)（稱為監(jiān)督學(xué)習(xí)） 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的參數(shù)可以綜的參數(shù)可以綜合訓(xùn)練向量和合訓(xùn)練向量和反饋回的誤差反饋回的誤差信號(hào)進(jìn)行適當(dāng)信號(hào)進(jìn)行適當(dāng)調(diào)整。調(diào)整。 2006-5-9362.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章第二章

20、 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 如果我們能給定一個(gè)設(shè)計(jì)好的算法來(lái)使成本如果我們能給定一個(gè)設(shè)計(jì)好的算法來(lái)使成本費(fèi)用最小，而且有足夠的輸入費(fèi)用最小，而且有足夠的輸入/輸出的數(shù)據(jù)集，那輸出的數(shù)據(jù)集，那么有指導(dǎo)的學(xué)習(xí)系統(tǒng)往往可以較好地完成諸如模么有指導(dǎo)的學(xué)習(xí)系統(tǒng)往往可以較好地完成諸如模式分類，函數(shù)逼近之類的任務(wù)。式分類，函數(shù)逼近之類的任務(wù)。有教師學(xué)習(xí)（稱為監(jiān)督學(xué)習(xí)）有教師學(xué)習(xí)（稱為監(jiān)督學(xué)習(xí)） 誤差信號(hào)可以定義為：神經(jīng)網(wǎng)絡(luò)實(shí)際輸出與預(yù)誤差信號(hào)可以定義為：神經(jīng)網(wǎng)絡(luò)實(shí)際輸出與預(yù)期響應(yīng)之差。這種調(diào)節(jié)可以逐步而又不斷反復(fù)地進(jìn)期響應(yīng)之差。這種調(diào)節(jié)可以逐步而又不斷反復(fù)地進(jìn)行，其最終目的就是要讓神經(jīng)網(wǎng)

21、絡(luò)模擬老師行，其最終目的就是要讓神經(jīng)網(wǎng)絡(luò)模擬老師學(xué)學(xué)習(xí)樣本；從統(tǒng)計(jì)的角度來(lái)看，這種模擬是最優(yōu)的。習(xí)樣本；從統(tǒng)計(jì)的角度來(lái)看，這種模擬是最優(yōu)的。2006-5-9372.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型 無(wú)教師學(xué)習(xí)模式中無(wú)教師學(xué)習(xí)模式中沒(méi)有老師來(lái)監(jiān)視學(xué)習(xí)過(guò)沒(méi)有老師來(lái)監(jiān)視學(xué)習(xí)過(guò)程的。即神經(jīng)網(wǎng)絡(luò)沒(méi)有程的。即神經(jīng)網(wǎng)絡(luò)沒(méi)有任何帶標(biāo)號(hào)的例子可以任何帶標(biāo)號(hào)的例子可以學(xué)習(xí)參考。這學(xué)習(xí)模式學(xué)習(xí)參考。這學(xué)習(xí)模式又分又分2類：類：無(wú)教師學(xué)習(xí)（稱為無(wú)監(jiān)督學(xué)習(xí)）無(wú)教師學(xué)習(xí)（稱為無(wú)監(jiān)督學(xué)習(xí)）加強(qiáng)學(xué)習(xí)加強(qiáng)學(xué)習(xí)/神經(jīng)動(dòng)神經(jīng)動(dòng)態(tài)規(guī)劃態(tài)規(guī)劃20

22、06-5-9382.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型無(wú)教師學(xué)習(xí)（稱為無(wú)監(jiān)督學(xué)習(xí)）無(wú)教師學(xué)習(xí)（稱為無(wú)監(jiān)督學(xué)習(xí)）無(wú)監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí) 在無(wú)監(jiān)督或自組織學(xué)習(xí)系統(tǒng)中，不再有外在的老在無(wú)監(jiān)督或自組織學(xué)習(xí)系統(tǒng)中，不再有外在的老師或者評(píng)價(jià)來(lái)監(jiān)督學(xué)習(xí)的過(guò)程。提供獨(dú)立于任務(wù)的師或者評(píng)價(jià)來(lái)監(jiān)督學(xué)習(xí)的過(guò)程。提供獨(dú)立于任務(wù)的表示質(zhì)量的度量，要求網(wǎng)絡(luò)學(xué)習(xí)該度量而且參數(shù)將表示質(zhì)量的度量，要求網(wǎng)絡(luò)學(xué)習(xí)該度量而且參數(shù)將根據(jù)這個(gè)度量來(lái)逐步優(yōu)化網(wǎng)絡(luò)。根據(jù)這個(gè)度量來(lái)逐步優(yōu)化網(wǎng)絡(luò)。 為了實(shí)際地使用無(wú)監(jiān)督系統(tǒng)，我們可能會(huì)使用競(jìng)為了實(shí)際地使用無(wú)監(jiān)督

23、系統(tǒng)，我們可能會(huì)使用競(jìng)爭(zhēng)性學(xué)習(xí)規(guī)則。爭(zhēng)性學(xué)習(xí)規(guī)則。2006-5-9392.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型學(xué)習(xí)任務(wù)學(xué)習(xí)任務(wù)模式聯(lián)想 存儲(chǔ)階段回憶階段模式聯(lián)想xy輸入向量輸出向量模式聯(lián)想輸入輸出關(guān)系圖2006-5-9402.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型學(xué)習(xí)任務(wù)學(xué)習(xí)任務(wù)模式識(shí)別 模式識(shí)別將收到的模式或信號(hào)置以一個(gè)預(yù)先定義好的分類號(hào)。 識(shí)別機(jī)設(shè)計(jì)成一個(gè)采用監(jiān)督學(xué)習(xí)算法的多層前饋網(wǎng)絡(luò)。特征抽取的非監(jiān)督網(wǎng)絡(luò)分類的監(jiān)督網(wǎng)絡(luò)1

24、2:r 輸入模式x 特征向量y 模式分類的經(jīng)典分類方法圖解模式分類的經(jīng)典分類方法圖解. .mm維觀維觀察空間察空間g g維特維特征空間征空間r r 維 決維 決策空間策空間2006-5-9412.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型其中向量x 是輸入，向量d 為輸出。向量值函數(shù) 假定為未知。為了彌補(bǔ)函數(shù) 未知的知識(shí)缺乏,我們假定有如下確定的訓(xùn)練樣本集合:考慮下面的一個(gè)非線性輸入輸出映射函數(shù)關(guān)系式： |)()(|xfxFxT=(xi,di)i=1N 對(duì)于所有的是一個(gè)很小的正數(shù).其中d = f(x) )(f) (

25、f學(xué)習(xí)任務(wù)學(xué)習(xí)任務(wù)函數(shù)逼近函數(shù)逼近 逼近問(wèn)題其實(shí)是一個(gè)很完整的監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)。其中xi是輸入向量，而di是期望的反饋向量。反之，完全可以將監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)看成是一個(gè)函數(shù)逼近問(wèn)題。2006-5-9422.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型學(xué)習(xí)任務(wù)學(xué)習(xí)任務(wù)函數(shù)逼近函數(shù)逼近 神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近問(wèn)題實(shí)際上也是逼近一個(gè)未知輸入輸出映射函數(shù)問(wèn)題：系統(tǒng)識(shí)別模塊圖系統(tǒng)識(shí)別模塊圖 2006-5-9432.3 2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模

26、型 學(xué)習(xí)任務(wù)學(xué)習(xí)任務(wù)函數(shù)逼近函數(shù)逼近 逆模式系統(tǒng)圖逆模式系統(tǒng)圖 2006-5-944 Hebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 按照生物學(xué)的條件反射原理，按照生物學(xué)的條件反射原理，Hebb構(gòu)造了一種簡(jiǎn)單的構(gòu)造了一種簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)權(quán)值權(quán)值調(diào)整原則：調(diào)整原則：若第若第 i 與第與第 j 個(gè)神經(jīng)元同時(shí)處于興個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)，則它們間的聯(lián)接應(yīng)加強(qiáng)奮狀態(tài)，則它們間的聯(lián)接應(yīng)加強(qiáng)。即：。即： wy yijija，a 0這和這和“條件反射條件反射”學(xué)說(shuō)一致學(xué)說(shuō)一致，并已得到證實(shí)。，并已得到證實(shí)。 Hebb 學(xué)習(xí)規(guī)則的相關(guān)假設(shè)，是許多學(xué)習(xí)規(guī)則的基礎(chǔ)。學(xué)習(xí)規(guī)則的相關(guān)假設(shè)，是許多學(xué)習(xí)規(guī)則的基礎(chǔ)。2.3 2.3 人工

27、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述第二章第二章 人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-945Delta學(xué)習(xí)規(guī)則（學(xué)習(xí)規(guī)則（誤差校正規(guī)則誤差校正規(guī)則 如梯度方法、如梯度方法、BPBP算法算法） Widrow和和Hoff的寫(xiě)法：的寫(xiě)法： Wij(t+1)=Wij(t)+(yj- aj(t) neti(t) 也可以寫(xiě)成：也可以寫(xiě)成： Wij(t+1)=Wij(t)+ Wij(t) Wij(t)=jneti(t) j=yj- aj(t) Grossberg的寫(xiě)法為：的寫(xiě)法為： Wij(t)=ai(t)(netj(t)-Wij(t) 更一般的更一般的Delta規(guī)則為：規(guī)則為： Wij(t)=g(ai(t)，yj，netj(t)，Wij(t)其中：其中：ai(t)是網(wǎng)絡(luò)目標(biāo)輸出；是網(wǎng)絡(luò)目標(biāo)輸出； y