智能控制(第三版)chap6-神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)2課件

第6章神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)6.1神經(jīng)網(wǎng)絡(luò)的發(fā)展簡史6.2神經(jīng)網(wǎng)絡(luò)的原理6.3神經(jīng)網(wǎng)絡(luò)的分類6.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法6.5神經(jīng)網(wǎng)絡(luò)的特征及要素(自學(xué))6.6神經(jīng)網(wǎng)絡(luò)控制的研究領(lǐng)域(自學(xué))第6章神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)模糊控制從人的經(jīng)驗(yàn)出發(fā)，解決了不確定性語言的描述和推理問題，從而在機(jī)器模擬人腦的感知、推理等智能行為方面邁出了重大的一步。人工神經(jīng)網(wǎng)絡(luò)從另一個(gè)角度出發(fā)，即從模擬人腦的工作機(jī)理來實(shí)現(xiàn)機(jī)器的部分智能行為。20世紀(jì)80年代以來，取得了重大進(jìn)展。神經(jīng)網(wǎng)絡(luò)控制是將神經(jīng)網(wǎng)絡(luò)與控制理論相結(jié)合而發(fā)展起來的智能控制方法。2可分為4個(gè)階段：1、啟蒙期（1890-1969年）1943年，心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.Pitts提出了描述腦神經(jīng)細(xì)胞動(dòng)作的數(shù)學(xué)模型，即M-P模型（第一個(gè)神經(jīng)網(wǎng)絡(luò)模型）。

6.1神經(jīng)網(wǎng)絡(luò)發(fā)展歷史3WalterPittsWarrenMcCulloch1949年，心理學(xué)家Hebb提出了Hebb學(xué)習(xí)法則。

1958年，E.Rosenblatt提出了著名的感知器模型（Perceptron）。41962年，Widrow和Hoff提出了Widrow和Hoff學(xué)習(xí)規(guī)則（即δ學(xué)習(xí)規(guī)則）。2、低潮期（1969-1982）神經(jīng)網(wǎng)絡(luò)的研究陷入低谷。1972年，Kohonen提出了自組織映射的SOM模型。3、復(fù)興期（1982-1986）

1982年，物理學(xué)家Hopfield提出了Hopfield神經(jīng)網(wǎng)絡(luò)模型，解決旅行商路徑優(yōu)化問題(TSP)。在1986年，在Rumelhart和McCelland提出了多層神經(jīng)網(wǎng)絡(luò)模型，即BP網(wǎng)絡(luò)。56.2神經(jīng)網(wǎng)絡(luò)原理人腦由一千多億個(gè)神經(jīng)元交織在一起的網(wǎng)狀結(jié)構(gòu)構(gòu)成，其中大腦皮層約140億個(gè)神經(jīng)元，小腦皮層約1000億個(gè)神經(jīng)元。為了能用數(shù)學(xué)模型來模擬人腦的活動(dòng)，導(dǎo)致了神經(jīng)網(wǎng)絡(luò)的研究。7

神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細(xì)胞)，它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。每個(gè)神經(jīng)元都由一個(gè)細(xì)胞體，一個(gè)連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支—樹突組成。8人工神經(jīng)元模型：M-P模型輸入信號(hào)輸出信號(hào)神經(jīng)元計(jì)算：通常為某已知函數(shù)10

神經(jīng)元具有如下功能：(1)

興奮與抑制：如果傳入神經(jīng)元的沖動(dòng)經(jīng)整和后使細(xì)胞膜電位升高，超過動(dòng)作電位的閾值時(shí)即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突經(jīng)神經(jīng)末梢傳出。如果傳入神經(jīng)元的沖動(dòng)經(jīng)整和后使細(xì)胞膜電位降低，低于動(dòng)作電位的閾值時(shí)即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動(dòng)。(2)學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)和減弱，因此神經(jīng)元具有學(xué)習(xí)與遺忘的功能。116.3神經(jīng)網(wǎng)絡(luò)的分類目前神經(jīng)網(wǎng)絡(luò)模型的種類相當(dāng)豐富，已有近40余種神經(jīng)網(wǎng)絡(luò)模型。典型的神經(jīng)網(wǎng)絡(luò)有多層前向傳播網(wǎng)絡(luò)（BOP網(wǎng)絡(luò)）、Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART網(wǎng)絡(luò)、BAM雙向聯(lián)想記憶網(wǎng)絡(luò)、SOM自組織網(wǎng)絡(luò)、Blotzman機(jī)網(wǎng)絡(luò)和Madaline網(wǎng)絡(luò)等。12（2）反饋網(wǎng)絡(luò)該網(wǎng)絡(luò)結(jié)構(gòu)在輸出層到輸入層存在反饋。這種神經(jīng)網(wǎng)絡(luò)是一種反饋動(dòng)力學(xué)系統(tǒng)，它需要工作一段時(shí)間才能達(dá)到穩(wěn)定。

Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡單且應(yīng)用最廣泛的模型，具有聯(lián)想記憶的功能。14反饋型神經(jīng)網(wǎng)絡(luò)156.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法按有無導(dǎo)師分類，可分為有教師學(xué)習(xí)（SupervisedLearning）、無教師學(xué)習(xí)（UnsupervisedLearning）和再勵(lì)學(xué)習(xí)（ReinforcementLearning）等幾類。17有導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)18圖無導(dǎo)師指導(dǎo)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)19

最基本的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法：6.4.1Hebb學(xué)習(xí)規(guī)則

Hebb學(xué)習(xí)規(guī)則是一種聯(lián)想式學(xué)習(xí)算法。生物學(xué)家D.O.Hebbian認(rèn)為兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)，它們之間的連接強(qiáng)度將得到加強(qiáng)，這一論述的數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)則，即20其中，wij(k)為連接從神經(jīng)元i到神經(jīng)元j的當(dāng)前權(quán)值，Ii

和Ij為神經(jīng)元的激活水平。

Hebb學(xué)習(xí)規(guī)則是一種無教師的學(xué)習(xí)方法。216.4.2Delta(δ)學(xué)習(xí)規(guī)則假設(shè)誤差準(zhǔn)則函數(shù)為：其中，dp代表期望的輸出（教師信號(hào)）；yp為網(wǎng)絡(luò)的實(shí)際輸出，yp=f(WTXp)；W為