第4章 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)課件

第四章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)引言1生物神經(jīng)元2人工神經(jīng)元3人工神經(jīng)網(wǎng)絡(luò)的模型分類41第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)第4.1節(jié)引言4.1.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡史4.1.2人工神經(jīng)網(wǎng)絡(luò)的特性4.1.3人工神經(jīng)網(wǎng)絡(luò)研究的基本內(nèi)容2第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)第4.1節(jié)引言4.1.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡史4.1.2人工神經(jīng)網(wǎng)絡(luò)的特性4.1.3人工神經(jīng)網(wǎng)絡(luò)研究的基本內(nèi)容3第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)4.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡史1943年1943-1969初創(chuàng)期

心理學(xué)家McCulloch和數(shù)學(xué)家Pitts提出形式神經(jīng)元數(shù)學(xué)模型（MP模型），揭開神經(jīng)科學(xué)理論的新時(shí)代。Hebb提出改變神經(jīng)元連接強(qiáng)度的Hebb規(guī)則。

Rosenblatt提出感知器概念，由閾值型神經(jīng)元組成，試圖模擬人的感知、學(xué)習(xí)能力。

Minsky與Papert發(fā)表《Perceptrons》。1944年1957年1969年4第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)4.1.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡史1982年1970-1986過渡期Hopfield提出了HNN模型，引入“計(jì)算能量函數(shù)”概念，給出網(wǎng)絡(luò)穩(wěn)定性判據(jù)。Boltzmann機(jī)提出，設(shè)計(jì)、研制電子電路，為工程實(shí)現(xiàn)指明方向。

Rumelhart等PDP（并行分布式處理）研究小組提出了多層前向傳播網(wǎng)絡(luò)的BP算法，開辟了NN的應(yīng)用新途徑。1985年1986年5第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)4.1.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡史1987年1987-現(xiàn)在發(fā)展期美國圣地亞哥第一屆世界神經(jīng)網(wǎng)絡(luò)會(huì)議。美國國防部高等研究工程局:發(fā)展NN及應(yīng)用研究的8年計(jì)劃。NN的國際會(huì)議增多。IEEETrans.onNN創(chuàng)刊。

NN的模型有幾百個(gè)?；A(chǔ)理論、模型與算法的研究。

1989年，廣東第一屆神經(jīng)網(wǎng)絡(luò)-信號(hào)處理會(huì)議。

1990年開始，神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議，年會(huì)。90年代后國內(nèi)情況6第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)第4.1節(jié)引言4.1.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡史4.1.2人工神經(jīng)網(wǎng)絡(luò)的特性4.1.3人工神經(jīng)網(wǎng)絡(luò)研究的基本內(nèi)容7第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)4.1.2人工神經(jīng)網(wǎng)絡(luò)的特性非線性映射近似任意非線性映射，適用于非線性辨識(shí)與控制。通過訓(xùn)練具有歸納數(shù)據(jù)的能力，更適用于非模型描述的控制。

可在線運(yùn)行和信息融合，適用于復(fù)雜、大規(guī)模和多變量系統(tǒng)的控制。

硬件實(shí)現(xiàn)，神經(jīng)網(wǎng)絡(luò)成為具有快速和大規(guī)模處理能力的實(shí)現(xiàn)網(wǎng)絡(luò)?？蓪W(xué)習(xí)適應(yīng)與集成硬件實(shí)現(xiàn)具有高度的并行結(jié)構(gòu)和并行實(shí)現(xiàn)能力，適用于在線控制。并行性8第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)第4.1節(jié)引言4.1.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡史4.1.2人工神經(jīng)網(wǎng)絡(luò)的特性4.1.3人工神經(jīng)網(wǎng)絡(luò)研究的基本內(nèi)容9第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)4.1.3人工神經(jīng)網(wǎng)絡(luò)研究的基本內(nèi)容理論研究應(yīng)用研究實(shí)現(xiàn)研究單神經(jīng)元數(shù)學(xué)模型神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)泛化能力神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)圖像處理與識(shí)別語音信號(hào)處理與識(shí)別

數(shù)據(jù)的存儲(chǔ)與記憶

組合優(yōu)化

復(fù)雜系統(tǒng)控制硬件實(shí)現(xiàn)電路NN模型的通用硬件系統(tǒng)（神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)）Matlab神經(jīng)網(wǎng)絡(luò)工具箱10第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)4.2.1生物神經(jīng)元的結(jié)構(gòu)4.2.2生物神經(jīng)元的信息處理機(jī)制第4.2節(jié)生物神經(jīng)元11第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)來自其它細(xì)胞軸突的神經(jīng)末稍軸突樹突細(xì)胞膜神經(jīng)末稍來自其它細(xì)胞軸突的神經(jīng)末稍軸突樹突突觸細(xì)胞膜神經(jīng)末稍細(xì)胞體細(xì)胞核細(xì)胞體細(xì)胞核細(xì)胞質(zhì)細(xì)胞膜樹突：胞體上短而多分支的突起，相當(dāng)于神經(jīng)元的輸入端，接收傳入的神經(jīng)沖動(dòng)。軸突（神經(jīng)纖維）：胞體上最長枝的突起，端部有很多神經(jīng)末梢，傳出神經(jīng)沖動(dòng)。細(xì)胞膜電位：神經(jīng)細(xì)胞在受到電的、化學(xué)的、機(jī)械的刺激后能產(chǎn)生興奮，此時(shí)細(xì)胞膜內(nèi)外有電位差，稱為膜電位，其電位膜內(nèi)為正，膜外為負(fù)。4.2.1生物神經(jīng)元的結(jié)構(gòu)12第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)來自其它細(xì)胞軸突的神經(jīng)末稍軸突樹突細(xì)胞膜神經(jīng)末稍來自其它細(xì)胞軸突的神經(jīng)末稍軸突樹突突觸細(xì)胞膜神經(jīng)末稍細(xì)胞體細(xì)胞核突觸：是神經(jīng)元之間的連接接口。一個(gè)神經(jīng)元，通過其軸突的神經(jīng)末梢，經(jīng)突觸與另一個(gè)神經(jīng)元的樹突連接，以實(shí)現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，隨著神經(jīng)沖動(dòng)傳遞方式的變化，傳遞作用強(qiáng)弱不同，形成了神經(jīng)元之間連接的柔性，稱為結(jié)構(gòu)的可塑性。4.2.1生物神經(jīng)元的結(jié)構(gòu)13第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)來自其它細(xì)胞軸突的神經(jīng)末稍軸突樹突細(xì)胞膜神經(jīng)末稍來自其它細(xì)胞軸突的神經(jīng)末稍軸突樹突突觸細(xì)胞膜神經(jīng)末稍細(xì)胞體細(xì)胞核興奮與抑制：若傳入神經(jīng)元的沖動(dòng)經(jīng)整合后使細(xì)胞膜電位升高，超過動(dòng)作電位的閾值時(shí)即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突經(jīng)神經(jīng)末梢傳出；若傳入神經(jīng)元的沖動(dòng)經(jīng)整合后使細(xì)胞膜電位降低，低于閾值時(shí)即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動(dòng)。學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)與減弱，因此神經(jīng)元具有學(xué)習(xí)與遺忘的功能。4.2.1生物神經(jīng)元的結(jié)構(gòu)14第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)4.2.2生物神經(jīng)元的信息處理機(jī)制神經(jīng)元形式化結(jié)構(gòu)

神經(jīng)元具有的特征1.時(shí)空整合空間整合時(shí)間整合時(shí)空整合輸入信號(hào)的影響會(huì)短時(shí)間地持續(xù)，和后到達(dá)的輸入信號(hào)的影響同時(shí)起作用，也就是說，神經(jīng)元對于不同時(shí)間通過同一突觸的輸入信號(hào)具有時(shí)間整合的功能。15第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)元具有的特征2.閾值特性神經(jīng)元輸入和輸出是非線性的關(guān)系3.不應(yīng)期無輸出信號(hào)。上升為無窮大。4.疲勞閾值慢慢增加時(shí)，神經(jīng)元很難興奮5.突觸的可塑性突觸的結(jié)合強(qiáng)度會(huì)隨著輸入信號(hào)和輸出信號(hào)發(fā)生變化，使得神經(jīng)細(xì)胞具有學(xué)習(xí)和記憶的能力6.輸出信號(hào)的種類離散的（脈沖信號(hào)）；連續(xù)信號(hào)4.2.2生物神經(jīng)元的信息處理機(jī)制16第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)第4.3節(jié)人工神經(jīng)元4.3.1人工神經(jīng)元的數(shù)學(xué)模型4.3.2人工神經(jīng)元的激勵(lì)函數(shù)17第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)出發(fā)點(diǎn)：模擬生物神經(jīng)元的結(jié)構(gòu)和功能，從數(shù)學(xué)角度抽象出來一個(gè)基本單元。神經(jīng)元模型：是生物神經(jīng)元的抽象和模擬；是人工神經(jīng)網(wǎng)絡(luò)的最基本組成部分；是一多輸入單輸出的非線性處理單元。神經(jīng)網(wǎng)絡(luò)直觀理解：神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，它一般由許多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元只有一個(gè)輸出，它可以連接到很多其它的神經(jīng)元，每個(gè)神經(jīng)元輸入有多個(gè)連接通道，每個(gè)連接通道對應(yīng)于一個(gè)連接權(quán)系數(shù)。引言18第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

結(jié)構(gòu)數(shù)學(xué)描述輸入：狀態(tài)：輸出：通常有：則：:閾值；:輸入信號(hào)，可理解為其它神經(jīng)元的輸出；:從ui到xj的連接權(quán)值（注意其下標(biāo)與方向）；:外部輸入信號(hào)；:神經(jīng)元的輸出4.3.1人工神經(jīng)元的數(shù)學(xué)模型19第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)０１f閾值型分段線性型4.3.2人工神經(jīng)元的激勵(lì)函數(shù)20第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)Tan函數(shù)型T：比例因子，調(diào)整函數(shù)的上升坡度。T越大，f上升越慢；T越小，f上升越快，很快飽和。Sigmoid函數(shù)型4.3.2人工神經(jīng)元的激勵(lì)函數(shù)21第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)控制輸入對輸出的激活作用；對輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。激勵(lì)函數(shù)的作用：4.3.2人工神經(jīng)元的激勵(lì)函數(shù)22第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)第4.4節(jié)人工神經(jīng)元網(wǎng)絡(luò)的模型分類4.4.1根據(jù)組織和抽象層次分類4.4.2根據(jù)連接方式和信息流向分類23第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)元層次模型：僅研究單一神經(jīng)元的動(dòng)態(tài)和自適應(yīng)特性，探索神經(jīng)元對輸入信息的處理和存儲(chǔ)能力。組合式模型：由多個(gè)不同神經(jīng)元組成，功能比單一神經(jīng)元強(qiáng)大。網(wǎng)絡(luò)層次模型：由多個(gè)相同神經(jīng)元組成的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)的整體性能為研究重點(diǎn)。神經(jīng)系統(tǒng)層次模型（多種網(wǎng)絡(luò)）：由多個(gè)不同性質(zhì)的神經(jīng)網(wǎng)絡(luò)構(gòu)成，以模擬生物神經(jīng)系統(tǒng)更復(fù)雜，更抽象的特性。4.4.1根據(jù)組織和抽象層次分類24第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)前向網(wǎng)絡(luò)特點(diǎn)神經(jīng)元分層排列，組成輸入層、隱含層（可以有若干層）和輸出層；每一層的神經(jīng)元只接收前一層神經(jīng)元的輸入；各神經(jīng)元之間不存在反饋，信號(hào)在各層中順序傳播。典型網(wǎng)絡(luò)BP網(wǎng)絡(luò)，感知器4.4.2根據(jù)連接方式和信息流向分類25第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)特點(diǎn)僅在輸出層到輸入層存在反饋，即每一個(gè)輸入節(jié)點(diǎn)都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋，故可用來存儲(chǔ)某種模式序列。應(yīng)用神經(jīng)認(rèn)知機(jī)，動(dòng)態(tài)時(shí)間序列過程的神經(jīng)網(wǎng)絡(luò)建模反饋網(wǎng)絡(luò)4.4.2根據(jù)連接方式和信息流向分類26第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)特點(diǎn)網(wǎng)狀結(jié)構(gòu)；任兩個(gè)神經(jīng)元之間都有可能存在連接（反饋）。典型網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)，Boltzmann機(jī)網(wǎng)絡(luò)注：在無反饋的前向網(wǎng)絡(luò)中，信號(hào)一旦通過某個(gè)神經(jīng)元，過程就結(jié)束了。而在相互結(jié)合網(wǎng)絡(luò)中，信號(hào)在神經(jīng)元之間反復(fù)往返傳遞，網(wǎng)絡(luò)處在一種不斷改變狀態(tài)的動(dòng)態(tài)之中。相互結(jié)合型網(wǎng)絡(luò)（全互連）4.4.2根據(jù)連接方式和信息流向分類27第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)特點(diǎn)前兩者的混合；同層內(nèi)神經(jīng)元相互連接；可以實(shí)現(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興奮機(jī)制。這樣可以限制每層內(nèi)能同時(shí)動(dòng)作的神經(jīng)元數(shù)，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每組作為一個(gè)整體來動(dòng)作。典型網(wǎng)絡(luò)回歸神經(jīng)網(wǎng)絡(luò)（RNN）混合型網(wǎng)絡(luò)（層內(nèi)互連）4.4.2根據(jù)連接方式和信息流向分類28第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)連接權(quán)的確定方法：（1）根據(jù)具體要求，直接計(jì)算出來，如Hopfield網(wǎng)絡(luò)作優(yōu)化計(jì)算時(shí)就屬于這種情況。（2）通過學(xué)習(xí)得到的，大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都用這種方法。學(xué)習(xí)實(shí)質(zhì)：針對一組給定輸入Xp(p=1,2,…,

N)，通過學(xué)習(xí)使網(wǎng)絡(luò)動(dòng)態(tài)改變權(quán)值，從而使其產(chǎn)生相應(yīng)的期望輸出Yd的過程。學(xué)習(xí)算法分類：有導(dǎo)師學(xué)習(xí)、無導(dǎo)師學(xué)習(xí)、強(qiáng)化學(xué)習(xí)

第4.5節(jié)人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)29第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)偏差e注：在訓(xùn)練過程中，存在一個(gè)期望的網(wǎng)絡(luò)輸出。它是基于誤差來調(diào)整網(wǎng)絡(luò)權(quán)值的。應(yīng)用：感知器網(wǎng)絡(luò);多層前向傳播網(wǎng)絡(luò);Ｂoltzmann機(jī)網(wǎng)絡(luò)。有導(dǎo)師學(xué)習(xí)學(xué)習(xí)算法30第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)注：網(wǎng)絡(luò)不存在一個(gè)期望的輸出，通過建立一個(gè)間接評價(jià)函數(shù)，對網(wǎng)絡(luò)的某種行為趨向作出評價(jià)，改變神經(jīng)網(wǎng)絡(luò)數(shù)值。應(yīng)用：ART網(wǎng)絡(luò)；Kohonen自組織網(wǎng)絡(luò)。無導(dǎo)師學(xué)習(xí)學(xué)習(xí)算法31第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)強(qiáng)化學(xué)習(xí)把學(xué)習(xí)看做試探性評價(jià)（獎(jiǎng)或懲）過程。學(xué)習(xí)機(jī)選擇一種動(dòng)作作用于環(huán)境之后，使環(huán)境的狀態(tài)改變，并產(chǎn)生強(qiáng)化信號(hào)（獎(jiǎng)或懲）反饋至學(xué)習(xí)機(jī)。學(xué)習(xí)機(jī)依據(jù)強(qiáng)化信號(hào)與環(huán)境當(dāng)前的狀態(tài)，再選擇下一動(dòng)作作用于環(huán)境，選擇的原則是使受到獎(jiǎng)勵(lì)的可能性最大?？梢姡瑥?qiáng)化信號(hào)是環(huán)境對學(xué)習(xí)機(jī)學(xué)習(xí)結(jié)果的一個(gè)評價(jià)。再勵(lì)學(xué)習(xí)學(xué)習(xí)算法32第4章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)相關(guān)學(xué)習(xí)：僅根據(jù)連接間的激活水平改變權(quán)系數(shù)。Hebb學(xué)習(xí)規(guī)則：糾錯(cuò)學(xué)習(xí)：根據(jù)輸出節(jié)點(diǎn)的外部反饋改變權(quán)系數(shù)。學(xué)習(xí)規(guī)則：無導(dǎo)師學(xué)習(xí)：學(xué)習(xí)表現(xiàn)為自動(dòng)實(shí)現(xiàn)輸入空間的檢測和分類。關(guān)鍵不在于實(shí)際節(jié)點(diǎn)的輸出怎樣與外部的期望輸出相一致，而在于調(diào)整參數(shù)以反映所觀察事件的分布。學(xué)習(xí)規(guī)則33第