第2章 人工神經(jīng)網(wǎng)絡(luò)的基本模型

2006-5-9北京科技大學(xué)自動(dòng)化系1第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型北京科技大學(xué)信息工程學(xué)院付冬梅fdm2003@163.com623349672006-5-9北京科技大學(xué)自動(dòng)化系2第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)元的基本模型幾種典型的激活函數(shù)人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法概述人工神經(jīng)網(wǎng)絡(luò)的基本拓?fù)浣Y(jié)構(gòu)2006-5-9北京科技大學(xué)自動(dòng)化系3

生物神經(jīng)元結(jié)構(gòu)

（1）細(xì)胞體:細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜。（2）樹突：胞體短而多分枝的突起。相當(dāng)于神經(jīng)元的輸入端。（3）軸突：胞體上最長(zhǎng)枝的突起，也稱神經(jīng)纖維。端部有很多神經(jīng)末稍傳出神經(jīng)沖動(dòng)。（4）突觸：神經(jīng)元間的連接接口，每個(gè)神經(jīng)元約有1萬(wàn)～10萬(wàn)個(gè)突觸。神經(jīng)元通過其軸突的神經(jīng)末稍，經(jīng)突觸與另一神經(jīng)元的樹突聯(lián)接，實(shí)現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，形成了神經(jīng)元間聯(lián)接的柔性，稱為結(jié)構(gòu)的可塑性。（5）細(xì)胞膜電位：神經(jīng)細(xì)胞在受到電的、化學(xué)的、機(jī)械的刺激后，能產(chǎn)生興奮與抑制。2.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-9北京科技大學(xué)自動(dòng)化系4

生物神經(jīng)元結(jié)構(gòu)2.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-9北京科技大學(xué)自動(dòng)化系5

生物神經(jīng)元功能（1）興奮與抑制：當(dāng)傳入神經(jīng)元沖動(dòng)，經(jīng)整和使細(xì)胞膜電位升高，超過動(dòng)作電位的閾值時(shí)，為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突經(jīng)神經(jīng)末稍傳出。當(dāng)傳入神經(jīng)元的沖動(dòng)，經(jīng)整和，使細(xì)胞膜電位降低，低于閾值時(shí)，為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動(dòng)。（2）學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)與減弱，因此，神經(jīng)元具有學(xué)習(xí)與遺忘的功能。2.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-9北京科技大學(xué)自動(dòng)化系62.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型

人工神經(jīng)元的六個(gè)基本特征：1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱；3）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的；4）信號(hào)可以是起刺激作用，也可以是起抑制作用；5）一個(gè)神經(jīng)元接受的信號(hào)的累積效果決定該神經(jīng)元的狀態(tài)；6)每個(gè)神經(jīng)元可以有一個(gè)“閾值”。神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。人工神經(jīng)元模型應(yīng)具有生物神經(jīng)元的六個(gè)基本特性。2006-5-9北京科技大學(xué)自動(dòng)化系7圖2.1MP神經(jīng)元模型（a）2.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型

神經(jīng)元i的輸入yj輸出yi

描述:設(shè)則每一神經(jīng)元的輸出，或‘0’或‘1’，‘0’表示’抑制’，‘1’表示‘興奮’：

基本MP模型2006-5-9北京科技大學(xué)自動(dòng)化系8f(x)：作用（激發(fā)）函數(shù)——是一種階躍函數(shù)。從神經(jīng)元的結(jié)構(gòu)示意圖上可見：當(dāng)輸入yj的加權(quán)和大于域值時(shí)，神經(jīng)元的輸出yi

=1，即神經(jīng)元處于“興奮狀態(tài)”；反之，當(dāng)輸入yj的加權(quán)和大于域值時(shí)，神經(jīng)元的輸出yi=0，即神經(jīng)元處于“抑制狀態(tài)”在基本MP模型中取整數(shù)。2.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-9北京科技大學(xué)自動(dòng)化系9人工神經(jīng)元模擬生物神經(jīng)元的一階特性。輸入：Y=（y0，y1，y2，…，yn）聯(lián)接權(quán)：W=（w0，w1，w2，…，wn）T網(wǎng)絡(luò)輸入：

netj=∑wjiyi向量形式：

netj=WYynwn∑y1w1y2w2neti=WY…MP模型的另一種形式令，則MP神經(jīng)元模型可以表示為：2.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-9北京科技大學(xué)自動(dòng)化系102.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型M-P模型從哪些方面刻畫了自然神經(jīng)元？前面已介紹過生物（自然）神經(jīng)元具有如下特點(diǎn)：兩態(tài)工作：即工作于興奮或抑制兩種狀態(tài)；閾值作用：即超過某一閾值則神經(jīng)元興奮；多輸入單輸出特性；空間疊加性；可塑性聯(lián)接：即突觸部分的聯(lián)接強(qiáng)度可以調(diào)節(jié)。雖然M-P模型無(wú)法實(shí)現(xiàn)生物神經(jīng)元的空間、時(shí)間的交叉疊加性，但其它生物神經(jīng)元功能都具備。2006-5-9北京科技大學(xué)自動(dòng)化系11M-P模型在人工神經(jīng)網(wǎng)絡(luò)中的地位首先M-P模型是所有人工神經(jīng)元中第一個(gè)被建立起來的，它在多個(gè)方面都顯示出生物神經(jīng)元所具有的基本特性。其次，目前其它形式的人工神經(jīng)元已有很多，但大多數(shù)都是在M-P模型的基礎(chǔ)上經(jīng)過不同的修正，改進(jìn)變換而發(fā)展起來。因此M-P人工神經(jīng)元是整個(gè)人工神經(jīng)網(wǎng)的基礎(chǔ)。2.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-9北京科技大學(xué)自動(dòng)化系122.1人工神經(jīng)元的基本模型第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型對(duì)M-P人工神經(jīng)元進(jìn)行改進(jìn)的主要方式有如下幾個(gè)方面:神經(jīng)元的內(nèi)部改造：對(duì)人工神經(jīng)元取不同的非線性函數(shù)；對(duì)輸入和輸出做不同的限制：離散的（某些離散點(diǎn)）和連續(xù)的（整個(gè)實(shí)數(shù)域）。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)上的改造：人工神經(jīng)元之間的聯(lián)接形式不同。算法的改進(jìn)：在人工神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值取求的方法上不同。其它形式的改造。2006-5-9北京科技大學(xué)自動(dòng)化系13

激活函數(shù)——執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也常稱為激勵(lì)函數(shù)、活化函數(shù)：o=f(net)線性函數(shù)（LinerFunction）

f(net)=k*net+c

netooc2.2幾種典型的激活函數(shù)(ActivationFunction)

第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-9北京科技大學(xué)自動(dòng)化系142、非線性斜面函數(shù)(RampFunction)

γ ifnet≥θf(wàn)（net）=k*netif|net|<θ -γ ifnet≤-θ

γ>0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。

γ-γθ

-θ

net

o

2.2幾種典型的激活函數(shù)(ActivationFunction)

第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-9北京科技大學(xué)自動(dòng)化系15

β ifnet>θf(wàn)（net）= -γ ifnet≤θβγθ均為非負(fù)實(shí)數(shù)，θ為閾值。二值形式：

1 ifnet>θf(wàn)（net）= 0 ifnet≤θ雙極形式：

1 ifnet>θf(wàn)（net）= -1 ifnet≤θβ

-γθonet02.2幾種典型的激活函數(shù)(ActivationFunction)

第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型閾值函數(shù)（ThresholdFunction）階躍函數(shù)2006-5-9北京科技大學(xué)自動(dòng)化系162.2幾種典型的激活函數(shù)(ActivationFunction)

第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型

其他形式的作用函數(shù):不同的作用函數(shù)，可構(gòu)成不同的神經(jīng)元模型。

非對(duì)稱型Sigmoid函數(shù):簡(jiǎn)稱S型作用函數(shù)，是可微的，用下式表示：如圖(a)和(b)

fxex()=+-11

或

fxex()=+-11b

b>02006-5-9北京科技大學(xué)自動(dòng)化系17第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型對(duì)稱型Sigmoid函數(shù)

是可微的，用下式表示：如圖(a)和(b)

fxeexx()=-+--11

或

fxeexx()=-+--11bb

，

b>0或

fxeeeexxxx()=-+--bbbb

，

b>02006-5-9北京科技大學(xué)自動(dòng)化系18對(duì)稱型階躍函數(shù)第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-9北京科技大學(xué)自動(dòng)化系19第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型高斯函數(shù):是可微的，分一維和高維，用下式表示：如圖(a)和(b)2006-5-9北京科技大學(xué)自動(dòng)化系20神經(jīng)元演示

非線性作用函數(shù)（激發(fā)函數(shù)）2.2幾種典型的激活函數(shù)(ActivationFunction)

第二章人工神經(jīng)網(wǎng)絡(luò)的基本模型2006-5-9北京科技大學(xué)自動(dòng)化系21非線性作用函數(shù)1非對(duì)稱型Sigmoid函數(shù)2006-5-9北京科技大學(xué)自動(dòng)化系22非線性作用函數(shù)2對(duì)稱型Sigmoid函數(shù)2006-5-9北京科技大學(xué)自動(dòng)化系23非線性作用函數(shù)3

非對(duì)稱型階躍函數(shù)2006-5-9北京科技大學(xué)自動(dòng)化系24非線性作用函數(shù)4

對(duì)稱型階躍函數(shù)2006-5-9北京科技大學(xué)自動(dòng)化系25非線性作用函數(shù)2006-5-9北京科技大學(xué)自動(dòng)化系26非線性作用函數(shù)5高斯RBF(一維)2006-5-9北京科技大學(xué)自動(dòng)化系27非線性作用函數(shù)5高斯RBF（二維）2006-5-9北京科技大學(xué)自動(dòng)化系28非線性作用函數(shù)5高斯RBF（二維）2006-5-9北京科技大學(xué)自動(dòng)化系29非線性作用函數(shù)6B樣條函數(shù)（０次）2006-5-9北京科技大學(xué)自動(dòng)化