智能控制簡明教程第4章神經網絡基礎

第四章神經網絡基礎

(ArtificialNeuralNetworks-ANN)本章介紹神經網絡的基本概念和基本理論，它包括引言、神經網絡基本模型和學習規(guī)則。智能控制簡明教程第2版4.1引言4.2神經網絡基本概念4.3前饋神經網絡4.4徑向基神經網絡4.5反饋神經網絡4.6神經網絡的輸入輸出處理智能控制簡明教程第2版4.1引言

神經網絡的研究是從20世紀40年代開始的，諸如大腦功能心理學研究，神經元的電生理實驗等

神經科學研究。1943年心理學家M.McCulloch

數學家W.H.Pitts首先提出了第一個人工神經元模型，簡稱MP模型。智能控制簡明教程第2版1949年心理學家D.O.Hebb提出了Hebb學習規(guī)則，用來改變神經元之間連接強度。1958年F.Rodenblatt提出了感知器(Perceptron)模型。經過了20多年的低潮之后，20世紀80年代神經網絡研究又重新興起，成為智能控制的一個新分支，為解決復雜的非線性、不確定系統(tǒng)的控制開辟了一個新途徑。智能控制簡明教程第2版1982年，美國物理學家Hopfield教授提出了Hopfield神經網絡模型，可用微電子器件實現它，并解決TSP問題。1988年，提出了BP網絡算法——多層網絡學習的誤差逆?zhèn)鞑ァ?987年，IEEE召開了第一屆ANN國際會議。1990年，我國也召開了首屆ANN學術會議。人工神經網絡——ArtificialNeuralNetworks(ANN)智能控制簡明教程第2版神經網絡的主要特征:1.并行處理、信息的分布存儲與容錯性——結構特征。

ANN是由大量簡單處理元件相互連接構成高度并行的非線性系統(tǒng)。信息存儲采用分布式。信息存儲：空間上分布，時間上并行

良好的容錯性。智能控制簡明教程第2版2.自學習、自組織、自適應性

自適應

自學習+自組織，而自學習是指外界變化，經過訓練和感知，ANN通過自動調整網絡結構參數，輸出

期望輸出。ANN在外部輸入條件下調整連接權

自組織，逐漸構建起ANN。智能控制簡明教程第2版ANN的功能:①聯想記憶

ANN通過預先存儲信息和自適應學習機制，從不完整信息和噪聲干擾中恢復原始的完整信息。②非線性映射功能

通過輸入輸出樣本對的學習自動提取映射規(guī)則?？梢匀我饩葦M合任意復雜的非線性函數。

智能控制簡明教程第2版神經網絡在控制方面的應用:1.基于神經網絡的系統(tǒng)辨識

已知模型結構，估計模型參數2.神經網絡控制器

實時控制系統(tǒng)，達到動、靜態(tài)性能3.神經網絡與專家系統(tǒng)、模糊邏輯、GAs（遺傳算法）相結合

非參數模型控制4.優(yōu)化計算

求解約束優(yōu)化、全局優(yōu)化5.控制系統(tǒng)的故障診斷

可靠性、安全性智能控制簡明教程第2版神經網絡控制解決的問題（發(fā)展趨勢）:1.神經網絡的穩(wěn)定性與收斂性問題。2.神經網絡的學習速度研究

如何滿足實時性要求。3.神經網絡的非線性函數的逼近問題研究。4.神經網絡模型的選擇。智能控制簡明教程第2版4.2基本概念1.生物神經元結構ANN是受人腦的啟發(fā)而構成的一種信息處理系統(tǒng)。人腦有數量級神經元，但沒有任何兩個神經元的形狀完全相同。①結構神經元：由細胞體、樹突和軸突構成；細胞體：由細胞核、細胞質和細胞膜組成；智能控制簡明教程第2版輸入輸出連接智能控制簡明教程第2版軸突：又稱神經纖維，它粗細均勻、表面光滑。功能：傳送細胞體發(fā)出的神經信息，是該細胞的輸出通道；突觸：神經元之間通過一個神經元的軸突末梢和其他神經元的細胞體或樹突通信連接，這種連接相當于神經元之間的輸入輸出接口

突觸樹突：從細胞體向外延伸出的許多突起的神經纖維，形狀較短。神經元靠樹突接受來自其他神經元的輸入信號。智能控制簡明教程第2版②功能興奮與抑制：a.當傳入神經元的沖動，經整合使細胞膜電位升高，超過動作電位的閾值時

興奮狀態(tài)，產生神經沖動。b.當傳入神經元的沖動，經整合使細胞膜電位降低，低于閾值時

抑制狀態(tài)，不產生神經沖動。智能控制簡明教程第2版學習與遺忘：神經元結構的可塑性，由突觸傳遞作用調整。細胞膜電位：神經細胞在受到電的、化學的、機械刺激后，產生興奮，此時細胞膜內外有電位差——20~100mv。智能控制簡明教程第2版2.人工神經元

1943年，由美國心理學家McCulloch和數學家Pitts共同建立的MP人工神經元模型，是神經網絡理論基礎。智能控制簡明教程第2版

——神經元j的輸出

——神經元j的輸入(i=1,2···n；)

——神經元的連接權值(j=1,2···n)

——神經元的閾值（不是常值，隨興奮而變化）

——非線性函數智能控制簡明教程第2版MP模型輸出智能控制簡明教程第2版還可以寫為智能控制簡明教程第2版3.作用函數（轉移函數，激活函數）a.非對稱型S函數智能控制簡明教程第2版b.對稱型S函數智能控制簡明教程第2版c.對稱型階躍函數（符號函數）智能控制簡明教程第2版d.線性函數智能控制簡明教程第2版智能控制簡明教程第2版4.神經網絡的拓撲結構網絡的拓撲結構：各神經元間相互連接的方式a.前饋式網絡（前向）智能控制簡明教程第2版前向網絡智能控制簡明教程第2版

1.神經元分層排列，可多層

2.層間無連接

3.方向由入到出

感知網絡（perceptron即為此）應用最為廣泛

前向網絡特點智能控制簡明教程第2版智能控制簡明教程第2版注意：構成多層網絡時，各層間的轉移函數應是非線性的，否則多層等價一個單層網絡。另外，隱層的加入大大提高NN對信息的處理能力，經過訓練的多層網絡，具有較好的性能，可實現X→Y的任意非線性映射的能力。智能控制簡明教程第2版智能控制簡明教程第2版5.神經網絡的學習功能a.學習方法學習是NN最重要的特征，學習learning，訓練training。方法：給NN輸入一些樣本模式，按一定規(guī)則（學習算法）調整網絡各層的權矩陣，待各權值都收斂到一定值時，學習完成。實質：NN的權陣隨外部環(huán)境的激勵作自適應變化。智能控制簡明教程第2版智能控制簡明教程第2版①有監(jiān)督學習（有導師學習）②無監(jiān)督學習（無導師學習）

③再勵學習（強化學習）智能控制簡明教程第2版再勵學習：模擬人適應環(huán)境的學習過程的一種機器學習模型。

有導師的監(jiān)督學習：雖學習效率高，但在控制中導師信號一般不易獲得。

無導師學習：效率低。

再勵學習：介于有導師與無導師之間的一種學習方式。智能控制簡明教程第2版學習系統(tǒng)依據re和環(huán)境當前狀態(tài)，再選擇下一動作作用于環(huán)境，使受獎勵的可能性增大。學習系統(tǒng)環(huán)境學習系統(tǒng)環(huán)境智能控制簡明教程第2版智能控制簡明教程第2版智能控制簡明教程第2版

智能控制簡明教程第2版①Hebb學習規(guī)則（無導師學習）

在Hebb學習規(guī)則中，取神經元的輸出為學習信號：智能控制簡明教程第2版神經網絡調整權值的原則：若第i個與第j個神經元同時處于興奮狀態(tài)，則它們之間的連接權應加強。符合心理學中條件反射的機理

兩個神經元同時興奮（輸出同時為‘1’態(tài)）時w加強，否則應削弱。智能控制簡明教程第2版例：Hebb學習規(guī)則智能控制簡明教程第2版智能控制簡明教程第2版智能控制簡明教程第2版4.3感知器（perceptron)

感知器是模擬人的視覺，接受環(huán)境信息，并由神經沖動進行信息傳遞的神經網絡。分為單層與多層感知器，是一種具有學習能力的神經網絡。①單層感知器

感知器模型是由美國學者F.Rosenblatt于1957年建立的，它是一個具有單層處理單元的神經網絡。智能控制簡明教程第2版智能控制簡明教程第2版感知器的輸出：智能控制簡明教程第2版智能控制簡明教程第2版學習規(guī)則：智能控制簡明教程第2版向量形式：智能控制簡明教程第2版智能控制簡明教程第2版智能控制簡明教程第2版

智能控制簡明教程第2版智能控制簡明教程第2版智能控制簡明教程第2版下面討論單層感知器實現邏輯運算問題：a.單層感知器的邏輯“與”運算智能控制簡明教程第2版000-1.50o001-0.50o010-0.50o1110.51*智能控制簡明教程第2版b.單層感知器的邏輯“或”運算000-0.50o1010.51*1100.51*1111.51*智能控制簡明教程第2版c.“異或”運算

線性不可分00