第三章：神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

1、第三章第三章 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)山東大學(xué)控制科學(xué)與工程學(xué)院提要：提要： 第一講第一講 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 第二講第二講 前向神經(jīng)網(wǎng)絡(luò)前向神經(jīng)網(wǎng)絡(luò) 第三講第三講 反饋神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò) 第四講第四講 隨機神經(jīng)網(wǎng)絡(luò)隨機神經(jīng)網(wǎng)絡(luò)第一講第一講 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 大腦是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡(luò)，它在本質(zhì)上不大腦是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡(luò)，它在本質(zhì)上不同于計算機，是一種大規(guī)模的并行處理系統(tǒng)，它具有學(xué)習(xí)、同于計算機，是一種大規(guī)模的并行處理系統(tǒng)，它具有學(xué)習(xí)、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方法。聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方法。 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)( (簡稱神經(jīng)網(wǎng)絡(luò)

2、簡稱神經(jīng)網(wǎng)絡(luò)) )也是由大量的、功能比也是由大量的、功能比較簡單的形式神經(jīng)元互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用較簡單的形式神經(jīng)元互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用它可以模擬大腦的許多基本功能和簡單的思維方式。它可以模擬大腦的許多基本功能和簡單的思維方式。 第一講第一講 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 人工神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)（artificial neural networks,簡記簡記作作ann），是對人類大腦系統(tǒng)的一階特性的一種描述。），是對人類大腦系統(tǒng)的一階特性的一種描述。簡單的講，它是一個數(shù)學(xué)模型，可以用電子線路來實現(xiàn)，簡單的講，它是一個數(shù)學(xué)模型，可以用電子線路來實現(xiàn)，也可以用計算機程序來模擬

3、，是人工智能研究的一種方也可以用計算機程序來模擬，是人工智能研究的一種方法。法。 神經(jīng)網(wǎng)絡(luò)主要用于非線性系統(tǒng)的辨識建模、非線性神經(jīng)網(wǎng)絡(luò)主要用于非線性系統(tǒng)的辨識建模、非線性過程的預(yù)測、神經(jīng)網(wǎng)絡(luò)控制及故障診斷等。美國軍方認(rèn)過程的預(yù)測、神經(jīng)網(wǎng)絡(luò)控制及故障診斷等。美國軍方認(rèn)為，神經(jīng)網(wǎng)絡(luò)技術(shù)是比原子彈工程更重要的技術(shù)。為，神經(jīng)網(wǎng)絡(luò)技術(shù)是比原子彈工程更重要的技術(shù)。第一講第一講 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)一神經(jīng)網(wǎng)絡(luò)定義：基于模仿生物大腦的結(jié)構(gòu)或一神經(jīng)網(wǎng)絡(luò)定義：基于模仿生物大腦的結(jié)構(gòu)或功能構(gòu)成的信息處理系統(tǒng)或計算機。功能構(gòu)成的信息處理系統(tǒng)或計算機。 8080年代美國的年代美國的h.nidsen定義：神經(jīng)網(wǎng)絡(luò)定義

4、：神經(jīng)網(wǎng)絡(luò)是由多個非常簡單的處理單元（神經(jīng)元）彼此是由多個非常簡單的處理單元（神經(jīng)元）彼此以某種方式相聯(lián)接而形成的計算機系統(tǒng)。該系以某種方式相聯(lián)接而形成的計算機系統(tǒng)。該系統(tǒng)是靠其狀態(tài)對外部輸入信息的動態(tài)響應(yīng)來處統(tǒng)是靠其狀態(tài)對外部輸入信息的動態(tài)響應(yīng)來處理信息的。理信息的。第一講第一講 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)二二 生物神經(jīng)元的結(jié)構(gòu)和動作原理以及功能生物神經(jīng)元的結(jié)構(gòu)和動作原理以及功能 1.1.生物神經(jīng)元的結(jié)構(gòu)生物神經(jīng)元的結(jié)構(gòu) 人腦大約由人腦大約由10101212個神經(jīng)元組成，神經(jīng)元互相連接成個神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)。 生物神經(jīng)元是大腦處理信息的基本單元，以細(xì)胞生物神經(jīng)元是大

5、腦處理信息的基本單元，以細(xì)胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細(xì)胞，其形狀很像一棵枯樹的枝干。它主要成的神經(jīng)細(xì)胞，其形狀很像一棵枯樹的枝干。它主要由細(xì)胞體、樹突、軸突和突觸由細(xì)胞體、樹突、軸突和突觸(synapse(synapse，又稱神經(jīng)鍵，又稱神經(jīng)鍵) )組成。組成。 細(xì)胞體樹突軸突軸突末梢細(xì)胞核圖圖1-11-1a a 神經(jīng)元的解剖神經(jīng)元的解剖圖圖1-11-1b b 神經(jīng)元的解剖神經(jīng)元的解剖第一講第一講 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)n細(xì)胞體細(xì)胞體：細(xì)胞體是由很多分子形成的綜合體：細(xì)胞體是由很多分子形成的綜合體, ,內(nèi)部含有內(nèi)部含

6、有一個細(xì)胞核、核糖體、原生質(zhì)網(wǎng)狀結(jié)構(gòu)等一個細(xì)胞核、核糖體、原生質(zhì)網(wǎng)狀結(jié)構(gòu)等, ,它是神經(jīng)元它是神經(jīng)元活動的能量供應(yīng)地活動的能量供應(yīng)地, ,在這里進行新陳代謝等各種生化過在這里進行新陳代謝等各種生化過程。包括細(xì)胞核，細(xì)胞膜和細(xì)胞質(zhì)。程。包括細(xì)胞核，細(xì)胞膜和細(xì)胞質(zhì)。n軸突軸突：細(xì)胞體突起的最長的外伸管狀纖維稱為軸突，軸：細(xì)胞體突起的最長的外伸管狀纖維稱為軸突，軸突是把神經(jīng)元興奮的信息傳出到其它神經(jīng)元的出口。突是把神經(jīng)元興奮的信息傳出到其它神經(jīng)元的出口。n樹突樹突：細(xì)胞體的伸延部分產(chǎn)生的一至多個突起，呈放射：細(xì)胞體的伸延部分產(chǎn)生的一至多個突起，呈放射狀的分枝稱為樹突狀的分枝稱為樹突, ,它是細(xì)胞體向

7、外伸出的許多較短的它是細(xì)胞體向外伸出的許多較短的樹狀分支樹狀分支, ,相當(dāng)于細(xì)胞的輸入。樹突具有接受刺激并將相當(dāng)于細(xì)胞的輸入。樹突具有接受刺激并將沖動傳入細(xì)胞體的功能，樹突與其樹突末梢是接受從其沖動傳入細(xì)胞體的功能，樹突與其樹突末梢是接受從其它神經(jīng)元傳入的信息的入口。每個神經(jīng)元有大約它神經(jīng)元傳入的信息的入口。每個神經(jīng)元有大約1000010000個樹突連接。個樹突連接。第一講第一講 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)n突觸突觸：突觸是神經(jīng)元的樹突末梢連接另一神經(jīng)元的突觸：突觸是神經(jīng)元的樹突末梢連接另一神經(jīng)元的突觸后膜后膜 (postsynaptic membrane)(postsynaptic membr

8、ane)的部分。它是神經(jīng)元之的部分。它是神經(jīng)元之間相聯(lián)系并進行信息傳送的結(jié)構(gòu)間相聯(lián)系并進行信息傳送的結(jié)構(gòu), ,是神經(jīng)元之間連接的是神經(jīng)元之間連接的接口。接口。兩個神經(jīng)元的細(xì)胞質(zhì)并不直接連通兩個神經(jīng)元的細(xì)胞質(zhì)并不直接連通, ,兩者彼此聯(lián)兩者彼此聯(lián)系是通過突觸這種結(jié)構(gòu)接口的。系是通過突觸這種結(jié)構(gòu)接口的。n膜電位膜電位：神經(jīng)元細(xì)胞膜內(nèi)外之間存在電位差，稱為膜電神經(jīng)元細(xì)胞膜內(nèi)外之間存在電位差，稱為膜電位。膜外為正，膜內(nèi)為負(fù)。膜電壓接受神經(jīng)其它神經(jīng)元位。膜外為正，膜內(nèi)為負(fù)。膜電壓接受神經(jīng)其它神經(jīng)元的輸入后的輸入后, ,電位上升或下降。當(dāng)傳入沖動的時空整合結(jié)電位上升或下降。當(dāng)傳入沖動的時空整合結(jié)果，使膜電

9、位上升，而且當(dāng)超過叫做動作電位的閾值時果，使膜電位上升，而且當(dāng)超過叫做動作電位的閾值時, ,細(xì)胞進入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突輸出，這個細(xì)胞進入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突輸出，這個過程稱為興奮。過程稱為興奮。第一講第一講 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2 2 突觸傳遞信息動作原理突觸傳遞信息動作原理興奮期興奮期, , 大于動作閾值大于動作閾值絕對不應(yīng)期：不響應(yīng)任何刺激絕對不應(yīng)期：不響應(yīng)任何刺激相對不應(yīng)期：很難相應(yīng)相對不應(yīng)期：很難相應(yīng)l 根據(jù)突觸傳遞信息的動作過根據(jù)突觸傳遞信息的動作過l程可以分為兩種類型：興奮型程可以分為兩種類型：興奮型l和抑制型。神經(jīng)沖動使得細(xì)胞和抑制型。神經(jīng)沖動使得細(xì)胞l

10、膜電壓升高超過動作電壓進入膜電壓升高超過動作電壓進入l興奮狀態(tài)產(chǎn)生神經(jīng)沖動，若使膜電壓下降，低于閾值細(xì)興奮狀態(tài)產(chǎn)生神經(jīng)沖動，若使膜電壓下降，低于閾值細(xì)胞膜進入抑制狀態(tài)，無神經(jīng)沖動輸出。胞膜進入抑制狀態(tài)，無神經(jīng)沖動輸出。t (ms)膜電位（mv）-70-553ms1ms1ms123動作閾值圖1-2 生物神經(jīng)元動作原理第一講第一講 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)n 第第j j路輸入信號，路輸入信號，n 從第從第j j路與第路與第i i個神經(jīng)元的連接權(quán)，個神經(jīng)元的連接權(quán)，n 第第i i個神經(jīng)元的閾值，個神經(jīng)元的閾值，n 第第i i個神經(jīng)元的輸出。個神經(jīng)元的輸出。jxijwiiyxn winisx1 wi1x2 wi2.iyi直接刺激三三 神經(jīng)元的數(shù)學(xué)模型神經(jīng)元的數(shù)學(xué)模型圖1-3 神經(jīng)元數(shù)學(xué)模型第一講第一講 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)n數(shù)學(xué)模型數(shù)學(xué)模型mp模型：模型：1943年由美國心理學(xué)家年由美國心理學(xué)家mcloch和數(shù)學(xué)家和數(shù)學(xué)家pitts提出的。提出的。 n其中常用的有閾值型，其中常用的有閾值型，sgnx為符號函數(shù)。為符號函數(shù)。1niijjjiw x為第i個神經(jīng)元的凈輸入1sgnniijjijyw x()( )( ()()iiiiiiufyg ug fh式中涉及的符號如1-3圖所示。第一講第一講 神經(jīng)網(wǎng)