神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)

神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)第1頁(yè)/共46頁(yè)2.1人工神經(jīng)網(wǎng)絡(luò)的生物基礎(chǔ)

神經(jīng)元(Neuron)也稱(chēng)神經(jīng)細(xì)胞，它是生物神經(jīng)系統(tǒng)的最基本單元，它和人體中其他細(xì)胞的關(guān)鍵區(qū)別在于具有產(chǎn)生、處理和傳遞信號(hào)的功能。2.1.1生物神經(jīng)元結(jié)構(gòu)每個(gè)神經(jīng)元都包括四個(gè)部分：細(xì)胞體(cellbody)、樹(shù)突(dendrite)和軸突(axon)和突觸(synapse)。每個(gè)神經(jīng)元大約有1000~100000個(gè)突觸。若干神經(jīng)元以突觸相連構(gòu)成神經(jīng)網(wǎng)絡(luò)。第2頁(yè)/共46頁(yè)

(a)簡(jiǎn)單神經(jīng)元網(wǎng)絡(luò)圖c)簡(jiǎn)化后的網(wǎng)絡(luò)示意圖圖2.1簡(jiǎn)單神經(jīng)元網(wǎng)絡(luò)及其簡(jiǎn)化結(jié)構(gòu)圖b)突觸結(jié)構(gòu)圖第3頁(yè)/共46頁(yè)2.1.2生物神經(jīng)元的信息處理機(jī)理一、信息的產(chǎn)生

研究認(rèn)為，神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動(dòng)。由膜內(nèi)外離子濃度決定。

神經(jīng)元狀態(tài)：靜息興奮抑制

膜電位：極化polarization去極化depolarization超極化hypeypolarization第4頁(yè)/共46頁(yè)膜電位變化圖第5頁(yè)/共46頁(yè)神經(jīng)元對(duì)信息的傳遞與接收通過(guò)突觸進(jìn)行。

二信息的傳遞與接收神經(jīng)電脈沖神經(jīng)質(zhì)產(chǎn)生神經(jīng)質(zhì)釋放結(jié)合過(guò)程電生理反應(yīng)突觸信息傳遞過(guò)程第6頁(yè)/共46頁(yè)三、信息的整合空間整合：同一時(shí)刻產(chǎn)生的刺激所引起的膜電位變化，大致等于各單獨(dú)刺激引起的膜電位變化的代數(shù)和。時(shí)間整合：各輸入脈沖抵達(dá)神經(jīng)元的時(shí)間先后不一樣?？偟耐挥|后膜電位為一段時(shí)間內(nèi)的累積。四、生物神經(jīng)網(wǎng)絡(luò)

以確定方式和拓?fù)浣Y(jié)構(gòu)互連而成，完成信息采集、存儲(chǔ)、綜合處理等功能。人類(lèi)社會(huì)關(guān)系亦如此。第7頁(yè)/共46頁(yè)2.2人工神經(jīng)元模型

2.2.1神經(jīng)元的建模最早提出且影響巨大的是1943年McCulloch和W.Pitts提出的M-P模型，具有6點(diǎn)假設(shè)：(1)每個(gè)神經(jīng)元都是一個(gè)多輸入單輸出的信息處理單元；(2)神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類(lèi)型；(6)神經(jīng)元本身是非時(shí)變的，即其突觸時(shí)延和突觸強(qiáng)度均為常數(shù)。(3)神經(jīng)元具有空間整合特性和閾值特性；(4)神經(jīng)元輸入與輸出間有固定的時(shí)滯,主要取決于突觸延擱；(5)忽略時(shí)間整合作用和不應(yīng)期；第8頁(yè)/共46頁(yè)(a)表明人工神經(jīng)元有許多輸入信息，一個(gè)輸出信息；(b)表示突觸強(qiáng)度和性質(zhì)不同，導(dǎo)致作用不同，即權(quán)重不同；(c)表明信號(hào)整合；(d)總和超過(guò)閾值時(shí)，神經(jīng)元被激活。第9頁(yè)/共46頁(yè)2.2.2神經(jīng)元的數(shù)學(xué)模型

令xi(t)表示t時(shí)刻神經(jīng)元j接收的來(lái)自神經(jīng)元i的輸入信息，oj(t)表示t時(shí)刻神經(jīng)元j的輸出信息，則神經(jīng)元j的狀態(tài)可用如下數(shù)學(xué)式表示：τij——輸入輸出間的突觸時(shí)延；

Tj——神經(jīng)元j的閾值；

wij——神經(jīng)元i到j(luò)的突觸連接系數(shù)或稱(chēng)權(quán)重值；

f()——神經(jīng)元轉(zhuǎn)移函數(shù)。(2.1)第10頁(yè)/共46頁(yè)若取突觸時(shí)延為單位時(shí)間，則式(2.2)全面表達(dá)了神經(jīng)元模型的6點(diǎn)假設(shè)。令：(2.2)(2.3)

上式是神經(jīng)元j在t時(shí)刻的凈輸入，體現(xiàn)了神經(jīng)元j的空間整合特性，但未考慮時(shí)間整合。第11頁(yè)/共46頁(yè)利用矩陣表示如下：

net'j=WjTX其中：

Wj=(w1,w2,…,wn)TX=(x1,x2,…,xn)T(2.4)(2.5)

oj=f(netj)=f(WjTX)(2.6)

令x0=-1，w0=Tj

則有

-Tj=x0w0第12頁(yè)/共46頁(yè)2.2.3神經(jīng)元的轉(zhuǎn)移函數(shù)主要區(qū)別為轉(zhuǎn)移函數(shù)，常用的有四種：(1)閾值型轉(zhuǎn)移函數(shù)

1x≥0

f(x)=(2.7) 0x＜0

M-P模型屬于此類(lèi)。

單極性閾值函數(shù)雙極性閾值函數(shù)

第13頁(yè)/共46頁(yè)(2)非線性轉(zhuǎn)移函數(shù)

單極性S型函數(shù)雙極性S型函數(shù)

第14頁(yè)/共46頁(yè)(3)分段線性轉(zhuǎn)移函數(shù)

0x≤0 f(x)= cx

0＜

x≤xc(2.9) 1xc＜

x 第15頁(yè)/共46頁(yè)(4)概率型轉(zhuǎn)移函數(shù)溫度參數(shù)玻爾茲曼熱力學(xué)模型第16頁(yè)/共46頁(yè)人工神經(jīng)元－信息處理單元第17頁(yè)/共46頁(yè)人工神經(jīng)元－信息處理單元信息輸入第18頁(yè)/共46頁(yè)人工神經(jīng)元－信息處理單元信息傳播與處理：加權(quán)求和第19頁(yè)/共46頁(yè)人工神經(jīng)元－信息處理單元信息傳播第20頁(yè)/共46頁(yè)人工神經(jīng)元－信息處理單元信息傳播與處理：非線性第21頁(yè)/共46頁(yè)人工神經(jīng)元－信息處理單元信息輸出轉(zhuǎn)換函數(shù)是神經(jīng)網(wǎng)絡(luò)特征的第一大要素。第22頁(yè)/共46頁(yè)單純層次型結(jié)構(gòu)2.3人工神經(jīng)網(wǎng)絡(luò)模型兩種分類(lèi)方法：拓?fù)浣Y(jié)構(gòu)、信息流向2.3.1網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類(lèi)型

1、層次型結(jié)構(gòu)：3種第23頁(yè)/共46頁(yè)輸出層到輸入層有連接第24頁(yè)/共46頁(yè)層內(nèi)有連接層次型結(jié)構(gòu)第25頁(yè)/共46頁(yè)2、互連型結(jié)構(gòu)全互連型結(jié)構(gòu)第26頁(yè)/共46頁(yè)局部互連型網(wǎng)絡(luò)結(jié)構(gòu)還有一種稀疏連接型第27頁(yè)/共46頁(yè)2.3.2網(wǎng)絡(luò)信息流向類(lèi)型：2種前饋型網(wǎng)絡(luò)第28頁(yè)/共46頁(yè)

拓?fù)浣Y(jié)構(gòu)是神經(jīng)網(wǎng)絡(luò)特征的第二大要素反饋型網(wǎng)絡(luò)第29頁(yè)/共46頁(yè)2.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)能夠通過(guò)對(duì)樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過(guò)程稱(chēng)為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動(dòng)態(tài)調(diào)整。第30頁(yè)/共46頁(yè)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類(lèi)型：有導(dǎo)師學(xué)習(xí)(有監(jiān)督學(xué)習(xí))無(wú)導(dǎo)師學(xué)習(xí)(無(wú)監(jiān)督、自組織)死記式學(xué)習(xí)(灌輸式)第31頁(yè)/共46頁(yè)

日本學(xué)者Amari在1990年提出了一種神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整的通用學(xué)習(xí)規(guī)則，如下圖：

通用學(xué)習(xí)規(guī)則：權(quán)向量Wj在t時(shí)刻的調(diào)整量ΔWj(t)與t時(shí)刻的輸入X(t)和學(xué)習(xí)信號(hào)r的乘積成正比，即：第32頁(yè)/共46頁(yè)

2.4.1Hebb學(xué)習(xí)規(guī)則學(xué)習(xí)信號(hào)：權(quán)調(diào)整公式：權(quán)分量調(diào)整公式：要求：使用小的隨機(jī)數(shù)初始化權(quán)值特點(diǎn)：前饋、無(wú)導(dǎo)師學(xué)習(xí)第33頁(yè)/共46頁(yè)例2.1設(shè)有4個(gè)輸入和1個(gè)輸出的神經(jīng)網(wǎng)絡(luò)，閾值T=0，學(xué)習(xí)率η=1，三個(gè)樣本為：X1=(1,-2,1.5,0)T，X2=(1,-0.5,-2,-1.5)T,X3=(0,1,-1,1.5)T,初始權(quán)：W(0)=(1,-1,0,0.5)T。

利用Hebb學(xué)習(xí)法計(jì)算權(quán)值。解：設(shè)轉(zhuǎn)換函數(shù)為符號(hào)函數(shù)f(x)=sgn(net)(1)(2)(3)第34頁(yè)/共46頁(yè)

2.4.2Perceptron學(xué)習(xí)規(guī)則學(xué)習(xí)信號(hào)：權(quán)調(diào)整公式：權(quán)分量調(diào)整公式：

由于采用符號(hào)函數(shù)，符合期望時(shí)不調(diào)整，否則，權(quán)值特征公式為：要求：只適應(yīng)二進(jìn)制神經(jīng)元特點(diǎn)：有導(dǎo)師學(xué)習(xí)第35頁(yè)/共46頁(yè)

2.4.3δ學(xué)習(xí)規(guī)則學(xué)習(xí)信號(hào)：權(quán)調(diào)整公式：權(quán)分量調(diào)整公式：要求：轉(zhuǎn)換函數(shù)連續(xù)可導(dǎo)特點(diǎn)：多層前饋，有導(dǎo)師學(xué)習(xí)第36頁(yè)/共46頁(yè)例2.2設(shè)有4個(gè)輸入1個(gè)輸出的神經(jīng)網(wǎng)絡(luò)，閾值內(nèi)含，學(xué)習(xí)率η=0.1，三個(gè)樣本為：X1=(-1,1,-2,0)T，X2=(-1,0,1.5,-0.5)T,X3=(-1,-1,1,0.5)T,初始權(quán)：W(0)=(0.5,1,-1,0)T，期望輸出：d1=-1，d2=-1，d3=1。

利用δ學(xué)習(xí)法計(jì)算權(quán)值。解：設(shè)轉(zhuǎn)換函數(shù)為：(1)第37頁(yè)/共46頁(yè)(2)第38頁(yè)/共46頁(yè)(3)第39頁(yè)/共46頁(yè)

2.4.4LMS學(xué)習(xí)規(guī)則(最小均方)學(xué)習(xí)信號(hào)：權(quán)調(diào)整公式：權(quán)分量調(diào)整公式：LMS是δ學(xué)習(xí)規(guī)則的特例特點(diǎn)：有導(dǎo)師學(xué)習(xí)第40頁(yè)/共46頁(yè)

2.4.5Correlation（相關(guān)）學(xué)習(xí)規(guī)則學(xué)習(xí)信號(hào)：權(quán)調(diào)整公式：權(quán)分量調(diào)整公式：要求：權(quán)值初始化為0特點(diǎn)：有導(dǎo)師學(xué)習(xí)第41頁(yè)/共46頁(yè)