三神經(jīng)網(wǎng)絡(luò)控制及應(yīng)用基礎(chǔ)課件

第三章人工神經(jīng)網(wǎng)絡(luò)

控制及應(yīng)用2024/1/51人工神經(jīng)網(wǎng)絡(luò)定義

人工神經(jīng)網(wǎng)絡(luò)是一個(gè)由許多簡(jiǎn)單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強(qiáng)度以及各單元的處理方式。

人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。

神經(jīng)網(wǎng)絡(luò)是由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計(jì)算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對(duì)外部輸入信息的動(dòng)態(tài)響應(yīng)來(lái)處理信息的。2024/1/523.1.1神經(jīng)網(wǎng)絡(luò)的基本特征與功能結(jié)構(gòu)特征：并行式處理分布式存儲(chǔ)容錯(cuò)性能力特征：自學(xué)習(xí)自組織自適應(yīng)性3.1.1神經(jīng)網(wǎng)絡(luò)的基本特征與功能聯(lián)想記憶功能2024/1/54非線性映射功能3.1.1

神經(jīng)網(wǎng)絡(luò)的基本特征與功能2024/1/55分類(lèi)與識(shí)別功能3.1.1

神經(jīng)網(wǎng)絡(luò)的基本特征與功能2024/1/56優(yōu)化計(jì)算功能3.1.1

神經(jīng)網(wǎng)絡(luò)的基本特征與功能2024/1/57知識(shí)處理功能3.1.1

神經(jīng)網(wǎng)絡(luò)的基本特征與功能3.1.2

生物神經(jīng)元及其信息處理生物神經(jīng)元人工神經(jīng)元模型9

人類(lèi)大腦大約包含有1.4

1011個(gè)神經(jīng)元，每個(gè)神經(jīng)元與大約103～105個(gè)其它神經(jīng)元相連接，構(gòu)成一個(gè)極為龐大而復(fù)雜的網(wǎng)絡(luò)，即生物神經(jīng)網(wǎng)絡(luò)。3.1.2

生物神經(jīng)元及其信息處理2024/1/510

神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元(Neuron)是腦組織的基本單元，是人腦信息處理系統(tǒng)的最小單元。3.1.2

生物神經(jīng)元及其信息處理2024/1/5113.1.2.1生物神經(jīng)元的結(jié)構(gòu)

生物神經(jīng)元在結(jié)構(gòu)上由細(xì)胞體(Cellbody)

樹(shù)突(Dendrite)

軸突(Axon)

突觸(Synapse)

四部分組成。用來(lái)完成神經(jīng)元間信息的接收、傳遞和處理。3.1.2

生物神經(jīng)元及其信息處理2024/1/5122024/1/5132024/1/5143.1.2.2生物神經(jīng)元的信息處理機(jī)理信息的產(chǎn)生

神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動(dòng)。

神經(jīng)元狀態(tài)：靜息興奮抑制

膜電位：極化去極化超極化2024/1/515信息的傳遞與接收3.1.2.2生物神經(jīng)元的信息處理機(jī)理2024/1/516信息的整合空間整合：同一時(shí)刻產(chǎn)生的刺激所引起的膜電位變化，大致等于各單獨(dú)刺激引起的膜電位變化的代數(shù)和。時(shí)間整合：各輸入脈沖抵達(dá)神經(jīng)元的時(shí)間先后不一樣。總的突觸后膜電位為一段時(shí)間內(nèi)的累積。3.1.2.2生物神經(jīng)元的信息處理機(jī)理2024/1/5173.1.2.3生物神經(jīng)網(wǎng)絡(luò)

由多個(gè)生物神經(jīng)元以確定方式和拓?fù)浣Y(jié)構(gòu)

相互連接即形成生物神經(jīng)網(wǎng)絡(luò)。

生物神經(jīng)網(wǎng)絡(luò)的功能不是單個(gè)神經(jīng)元信息

處理功能的簡(jiǎn)單疊加。

神經(jīng)元之間的突觸連接方式和連接強(qiáng)度不

同并且具有可塑性，這使神經(jīng)網(wǎng)絡(luò)在宏觀

呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力。THANKYOUSUCCESS2024/1/518可編輯2024/1/5193.1.3人工神經(jīng)元模型及人工神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡(luò)的基本器件。因此，模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元。在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元常被稱為“處理單元”。有時(shí)從網(wǎng)絡(luò)的觀點(diǎn)出發(fā)常把它稱為“節(jié)點(diǎn)”。人工神經(jīng)元是對(duì)生物神經(jīng)元的一種形式化描述。2024/1/5203.1.3.1人工神經(jīng)元模型神經(jīng)元模型示意圖2024/1/521神經(jīng)元的數(shù)學(xué)模型τij——輸入輸出間的突觸時(shí)延；

Tj——神經(jīng)元j的閾值；

wij——神經(jīng)元i到j(luò)的突觸連接系數(shù)或稱權(quán)重值；

f()——神經(jīng)元轉(zhuǎn)移函數(shù)。(3-1)(3-2)3.1.3.1人工神經(jīng)元模型2024/1/522(3-3)

net’j=WjTX

(3-4)

Wj=(w1w2…wn)TX=(x1x2…xn)T

令x0=-1，w0=Tj，則有-Tj=x0w03.1.3.1人工神經(jīng)元模型神經(jīng)元的數(shù)學(xué)模型2024/1/523(3-5)oj=f(netj)=f(WjTX)

(3-6)神經(jīng)元的數(shù)學(xué)模型3.1.3.1人工神經(jīng)元模型2024/1/524神經(jīng)元的轉(zhuǎn)移函數(shù)(1)閾值型轉(zhuǎn)移函數(shù) 1x≥0 f(x)=(3-7)

0x＜0 3.1.3.1人工神經(jīng)元模型2024/1/525(2)非線性轉(zhuǎn)移函數(shù)神經(jīng)元的轉(zhuǎn)移函數(shù)(3-8)3.1.3.1人工神經(jīng)元模型2024/1/526(3)分段線性轉(zhuǎn)移函數(shù)

0x≤0 f(x)= cx0＜

x≤xc(3-9)

1xc＜

x 神經(jīng)元的轉(zhuǎn)移函數(shù)3.1.3.1人工神經(jīng)元模型2024/1/527層次型結(jié)構(gòu)3.1.3.2人工神經(jīng)網(wǎng)絡(luò)模型按神經(jīng)元連接方式分類(lèi)

2024/1/528輸出層到輸入層有連接3.1.3.2人工神經(jīng)網(wǎng)絡(luò)模型按神經(jīng)元連接方式分類(lèi)

2024/1/529層內(nèi)有連接的層次型結(jié)構(gòu)3.1.3.2人工神經(jīng)網(wǎng)絡(luò)模型按神經(jīng)元連接方式分類(lèi)

2024/1/530全互連型結(jié)構(gòu)按神經(jīng)元連接方式分類(lèi)

3.1.3.2人工神經(jīng)網(wǎng)絡(luò)模型2024/1/531按網(wǎng)絡(luò)信息流向分類(lèi)前饋型網(wǎng)絡(luò)3.1.3.2人工神經(jīng)網(wǎng)絡(luò)模型2024/1/532反饋型網(wǎng)絡(luò)按網(wǎng)絡(luò)信息流向分類(lèi)3.1.3.2人工神經(jīng)網(wǎng)絡(luò)模型2024/1/533

神經(jīng)網(wǎng)絡(luò)能夠通過(guò)對(duì)樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過(guò)程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動(dòng)態(tài)調(diào)整。3.1.3.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)2