計算機先進控制-第五章-神經(jīng)網(wǎng)絡(luò)匯編

1、第5章 神經(jīng)網(wǎng)絡(luò)控制2022/9/24By Zhaona Chen25.1 概述5.2 神經(jīng)網(wǎng)絡(luò)發(fā)展歷史5.3 神經(jīng)網(wǎng)絡(luò)原理與分類5.4 神經(jīng)網(wǎng)絡(luò)學習算法5.5 神經(jīng)網(wǎng)絡(luò)控制的研究領(lǐng)域5.6單神經(jīng)元網(wǎng)絡(luò)5.7 BP神經(jīng)網(wǎng)絡(luò)5.8 神經(jīng)網(wǎng)絡(luò)控制結(jié)構(gòu)5.9 單神經(jīng)元網(wǎng)絡(luò)控制2022/9/24By Zhaona Chen35.1 概述 模糊控制從人的經(jīng)驗出發(fā)，解決了智能控制中人類語言的描述和推理問題，尤其是一些不確定性語言的描述和推理問題，從而在機器模擬人腦的感知、推理等智能行為方面邁出了重大的一步。2022/9/24By Zhaona Chen4 模糊控制在處理數(shù)值數(shù)據(jù)、自學習能力等方面還遠沒有達

2、到人腦的境界。人工神經(jīng)網(wǎng)絡(luò)從另一個角度出發(fā)，即從人惱的生理學和心理學著手，通過人工模擬人腦的工作機理來實現(xiàn)機器的部分智能行為。2022/9/24By Zhaona Chen5 人工神經(jīng)網(wǎng)絡(luò)（簡稱神經(jīng)網(wǎng)絡(luò)，Neural Network）是模擬人腦思維方式的數(shù)學模型。 神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代生物學研究人腦組織成果的基礎(chǔ)上提出的，用來模擬人類大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。神經(jīng)網(wǎng)絡(luò)反映了人腦功能的基本特征，如并行信息處理、學習、聯(lián)想、模式分類、記憶等。2022/9/24By Zhaona Chen6 20世紀80年代以來，人工神經(jīng)網(wǎng)絡(luò)（ANN，Artificial Neural Network）研究所取得的突破

3、性進展。神經(jīng)網(wǎng)絡(luò)控制是將神經(jīng)網(wǎng)絡(luò)與控制理論相結(jié)合而發(fā)展起來的智能控制方法。它已成為智能控制的一個新的分支，為解決復雜的非線性、不確定、未知系統(tǒng)的控制問題開辟了新途徑。2022/9/24By Zhaona Chen7 神經(jīng)網(wǎng)絡(luò)是一種具有高度非線性的連續(xù)時間動力系統(tǒng)，它有著很強的自學習功能和對非線性系統(tǒng)的強大映射能力，已廣泛應(yīng)用于復雜對象的控制中。神經(jīng)網(wǎng)絡(luò)所具有的大規(guī)模并行性、冗余性、容錯性、本質(zhì)的非線性及自組織、自學習、自適應(yīng)能力，給不斷面臨挑戰(zhàn)的控制理論帶來生機。2022/9/24By Zhaona Chen8 從控制角度來看，神經(jīng)網(wǎng)絡(luò)用于控制的優(yōu)越性主要表現(xiàn)為：（1）神經(jīng)網(wǎng)絡(luò)可是處理那些難以

4、用模型或規(guī)則描述的對象；（2）神經(jīng)網(wǎng)絡(luò)采用并行分布式信息處理方式，具有很強的容錯性； （3）神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是非線性系統(tǒng)，可以實現(xiàn)任意非線性映射。神經(jīng)網(wǎng)絡(luò)在非線性控制系統(tǒng)中具有很大的發(fā)展前途；2022/9/24By Zhaona Chen9（4）神經(jīng)網(wǎng)絡(luò)具有很強的信息綜合能力，它能夠同時處理大量不同類型的輸入，能夠很好地解決輸入信息之間的互補性和冗余性問題；（5）神經(jīng)網(wǎng)絡(luò)的硬件實現(xiàn)愈趨方便。大規(guī)模集成電路技術(shù)的發(fā)展為神經(jīng)網(wǎng)絡(luò)的硬件實現(xiàn)提供了技術(shù)手段，為神經(jīng)網(wǎng)絡(luò)在控制中的應(yīng)用開辟了廣闊的前景。2022/9/24By Zhaona Chen10神經(jīng)網(wǎng)絡(luò)控制所取得的進展為：(1)基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨

5、識：可在已知常規(guī)模型結(jié)構(gòu)的情況下，估計模型的參數(shù)；或利用神經(jīng)網(wǎng)絡(luò)的線性、非線性特性，建立線性、非線性系統(tǒng)的靜態(tài)、動態(tài)、逆動態(tài)及預測模型；(2)神經(jīng)網(wǎng)絡(luò)控制器：神經(jīng)網(wǎng)絡(luò)作為控制器，可實現(xiàn)對不確定系統(tǒng)或未知系統(tǒng)進行有效的控制，使控制系統(tǒng)達到所要求的動態(tài)、靜態(tài)特性；(3)神經(jīng)網(wǎng)絡(luò)與其他算法相結(jié)合：神經(jīng)網(wǎng)絡(luò)與專家系統(tǒng)、模糊邏輯、遺傳算法等相結(jié)合可構(gòu)成新型控制器；2022/9/24By Zhaona Chen11(4)優(yōu)化計算：在常規(guī)控制系統(tǒng)的設(shè)計中，常遇到求解約束優(yōu)化問題，神經(jīng)網(wǎng)絡(luò)為這類問題提供了有效的途徑；(5)控制系統(tǒng)的故障診斷：利用神經(jīng)網(wǎng)絡(luò)的逼近特性，可對控制系統(tǒng)的各種故障進行模式識別，從而實現(xiàn)

6、控制系統(tǒng)的故障診斷。2022/9/24By Zhaona Chen12 神經(jīng)網(wǎng)絡(luò)控制在理論和實踐上，以下問題是研究的重點：(1)神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性與收斂性問題；(2)神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)的穩(wěn)定性與收斂性問題；(3)神經(jīng)網(wǎng)絡(luò)學習算法的實時性；(4)神經(jīng)網(wǎng)絡(luò)控制器和辨識器的模型和結(jié)構(gòu)；2022/9/24By Zhaona Chen13 神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程經(jīng)過4個階段。1 啟蒙期（1890-1969年）1890年，W.James發(fā)表專著心理學，討論了腦的結(jié)構(gòu)和功能。1943年，心理學家W.S.McCulloch和數(shù)學家W.Pitts提出了描述腦神經(jīng)細胞動作的數(shù)學模型，即M-P模型（第一個神經(jīng)網(wǎng)絡(luò)模型）。5

7、.2 神經(jīng)網(wǎng)絡(luò)發(fā)展歷史2022/9/24By Zhaona Chen141949年，心理學家Hebb實現(xiàn)了對腦細胞之間相互影響的數(shù)學描述，從心理學的角度提出了至今仍對神經(jīng)網(wǎng)絡(luò)理論有著重要影響的Hebb學習法則。1958年，E.Rosenblatt提出了描述信息在人腦中貯存和記憶的數(shù)學模型，即著名的感知機模型（Perceptron）。2022/9/24By Zhaona Chen151962年，Widrow和Hoff提出了自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)，即Adaline網(wǎng)絡(luò)，并提出了網(wǎng)絡(luò)學習新知識的方法，即Widrow和Hoff學習規(guī)則（即學習規(guī)則），并用電路進行了硬件設(shè)計。2 低潮期（1969-1982）

8、 受當時神經(jīng)網(wǎng)絡(luò)理論研究水平的限制及馮諾依曼式計算機發(fā)展的沖擊等因素的影響，神經(jīng)網(wǎng)絡(luò)的研究陷入低谷。2022/9/24By Zhaona Chen16 在美、日等國有少數(shù)學者繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學習算法的研究，提出了許多有意義的理論和方法。例如，1969年，S.Groisberg和A.Carpentet提出了至今為止最復雜的ART網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以對任意復雜的二維模式進行自組織、自穩(wěn)定和大規(guī)模并行處理。1972年，Kohonen提出了自組織映射的SOM模型。3 復興期（1982-1986）2022/9/24By Zhaona Chen171982年，物理學家Hoppield提出了Hoppield

9、神經(jīng)網(wǎng)絡(luò)模型，該模型通過引入能量函數(shù)，實現(xiàn)了問題優(yōu)化求解，1984年他用此模型成功地解決了旅行商路徑優(yōu)化問題(TSP)。在1986年，在Rumelhart和McCelland等出版Parallel Distributed Processing一書，提出了一種著名的多層神經(jīng)網(wǎng)絡(luò)模型，即BP網(wǎng)絡(luò)。該網(wǎng)絡(luò)是迄今為止應(yīng)用最普遍的神經(jīng)網(wǎng)絡(luò)。2022/9/24By Zhaona Chen184 新連接機制時期（1986-現(xiàn)在） 神經(jīng)網(wǎng)絡(luò)從理論走向應(yīng)用領(lǐng)域，出現(xiàn)了神經(jīng)網(wǎng)絡(luò)芯片和神經(jīng)計算機。 神經(jīng)網(wǎng)絡(luò)主要應(yīng)用領(lǐng)域有：模式識別與圖象處理（語音、指紋、故障檢測和圖象壓縮等）、控制與優(yōu)化、預測與管理（市場預測、風險

10、分析）、通信等。2022/9/24By Zhaona Chen195.3 神經(jīng)網(wǎng)絡(luò)原理與分類 神經(jīng)生理學和神經(jīng)解剖學的研究表明，人腦極其復雜，由一千多億個神經(jīng)元交織在一起的網(wǎng)狀結(jié)構(gòu)構(gòu)成，其中大腦皮層約140億個神經(jīng)元，小腦皮層約1000億個神經(jīng)元。 人腦能完成智能、思維等高級活動，為了能利用數(shù)學模型來模擬人腦的活動，導致了神經(jīng)網(wǎng)絡(luò)的研究。2022/9/24By Zhaona Chen20 神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細胞)，它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。 每個神經(jīng)元都由一個細胞體，一個連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支樹突組成。 軸突功能是將本神經(jīng)元的輸出信

11、號(興奮)傳遞給別的神經(jīng)元，其末端的許多神經(jīng)末梢使得興奮可以同時傳送給多個神經(jīng)元。2022/9/24By Zhaona Chen21 樹突的功能是接受來自其它神經(jīng)元的興奮。 神經(jīng)元細胞體將接收到的所有信號進行簡單地處理后，由軸突輸出。 神經(jīng)元的軸突與另外神經(jīng)元神經(jīng)末梢相連的部分稱為突觸。2022/9/24By Zhaona Chen22圖 單個神經(jīng)元的解剖圖2022/9/24By Zhaona Chen23 神經(jīng)元由三部分構(gòu)成：（1）細胞體（主體部分）：包括細胞質(zhì)、細胞膜和細胞核；（2）樹突：用于為細胞體傳入信息；（3）軸突：為細胞體傳出信息，其末端是軸突末梢，含傳遞信息的化學物質(zhì)；（4）突觸

12、：是神經(jīng)元之間的接口（104105個/每個神經(jīng)元）。 通過樹突和軸突，神經(jīng)元之間實現(xiàn)了信息的傳遞。2022/9/24By Zhaona Chen24神經(jīng)元具有如下功能：(1)興奮與抑制：如果傳入神經(jīng)元的沖動經(jīng)整和后使細胞膜電位升高，超過動作電位的閾值時即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突經(jīng)神經(jīng)末梢傳出。如果傳入神經(jīng)元的沖動經(jīng)整和后使細胞膜電位降低，低于動作電位的閾值時即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動。2022/9/24By Zhaona Chen25(2) 學習與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強和減弱，因此神經(jīng)元具有學習與遺忘的功能。 決定神經(jīng)網(wǎng)絡(luò)模型性能三大要素為：(1)神經(jīng)元（

13、信息處理單元）的特性；(2)神經(jīng)元之間相互連接的形式拓撲結(jié)構(gòu)；(3)為適應(yīng)環(huán)境而改善性能的學習規(guī)則。2022/9/24By Zhaona Chen263 神經(jīng)網(wǎng)絡(luò)的分類 目前神經(jīng)網(wǎng)絡(luò)模型的種類相當豐富，已有近40余種神經(jīng)網(wǎng)絡(luò)模型。 典型的神經(jīng)網(wǎng)絡(luò)有多層前向傳播網(wǎng)絡(luò) （BOP網(wǎng)絡(luò)）、Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART網(wǎng)絡(luò)、BAM雙向聯(lián)想記憶網(wǎng)絡(luò)、SOM自組織網(wǎng)絡(luò)、Blotzman機網(wǎng)絡(luò)和Madaline網(wǎng)絡(luò)等。2022/9/24By Zhaona Chen27 根據(jù)神經(jīng)網(wǎng)絡(luò)的連接方式，神經(jīng)網(wǎng)絡(luò)可分為兩種形式：（1）前向網(wǎng)絡(luò) 如圖所示，神經(jīng)元分層排列，組成輸入層、隱含層和輸出層。每一層

14、的神經(jīng)元只接受前一層神經(jīng)元的輸入。輸入模式經(jīng)過各層的順次變換后，由輸出層輸出。在各神經(jīng)元之間不存在反饋。感知器和誤差反向傳播網(wǎng)絡(luò)采用前向網(wǎng)絡(luò)形式。2022/9/24By Zhaona Chen28圖 前饋型神經(jīng)網(wǎng)絡(luò)2022/9/24By Zhaona Chen29（2）反饋網(wǎng)絡(luò) 該網(wǎng)絡(luò)結(jié)構(gòu)在輸出層到輸入層存在反饋，即每一個輸入節(jié)點都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋。這種神經(jīng)網(wǎng)絡(luò)是一種反饋動力學系統(tǒng)，它需要工作一段時間才能達到穩(wěn)定。 Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡單且應(yīng)用最廣泛的模型，它具有聯(lián)想記憶的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfield神經(jīng)網(wǎng)絡(luò)

15、還可以解決尋優(yōu)問題。2022/9/24By Zhaona Chen30圖 反饋型神經(jīng)網(wǎng)絡(luò)2022/9/24By Zhaona Chen31(3) 自組織網(wǎng)絡(luò) 網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。Kohonen網(wǎng)絡(luò)是最典型的自組織網(wǎng)絡(luò)。Kohonen認為，當神經(jīng)網(wǎng)絡(luò)在接受外界輸入時，網(wǎng)絡(luò)將會分成不同的區(qū)域，不同區(qū)域具有不同的響應(yīng)特征，即不同的神經(jīng)元以最佳方式響應(yīng)不同性質(zhì)的信號激勵，從而形成一種拓撲意義上的特征圖，該圖實際上是一種非線性映射。這種映射是通過無監(jiān)督的自適應(yīng)過程完成的，所以也稱為自組織特征圖。2022/9/24By Zhaona Chen32 Kohonen網(wǎng)絡(luò)通過無導師的學習方式進行權(quán)值的學習，穩(wěn)定后

16、的網(wǎng)絡(luò)輸出就對輸入模式生成自然的特征映射，從而達到自動聚類的目的。2022/9/24By Zhaona Chen33圖 自組織神經(jīng)網(wǎng)絡(luò)2022/9/24By Zhaona Chen345.4 神經(jīng)網(wǎng)絡(luò)學習算法 神經(jīng)網(wǎng)絡(luò)學習算法是神經(jīng)網(wǎng)絡(luò)智能特性的重要標志，神經(jīng)網(wǎng)絡(luò)通過學習算法，實現(xiàn)了自適應(yīng)、自組織和自學習的能力。 目前神經(jīng)網(wǎng)絡(luò)的學習算法有多種，按有無導師分類，可分為有教師學習（Supervised Learning）、無教師學習（Unsupervised Learning）和再勵學習（Reinforcement Learning）等幾大類。2022/9/24By Zhaona Chen35 在

17、有教師的學習方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號）進行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。 在無教師的學習方式中，輸入模式進入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照一預先設(shè)定的規(guī)則（如競爭規(guī)則）自動調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。 再勵學習是介于上述兩者之間的一種學習方式。2022/9/24By Zhaona Chen36圖 有導師指導的神經(jīng)網(wǎng)絡(luò)學習2022/9/24By Zhaona Chen37圖 無導師指導的神經(jīng)網(wǎng)絡(luò)學習2022/9/24By Zhaona Chen38 最基本的神經(jīng)網(wǎng)絡(luò)學習算法：4.1 Hebb學習規(guī)則 Hebb學習規(guī)則是一種聯(lián)想式學習算法。生物學家D.

18、O.Hebbian基于對生物學和心理學的研究，認為兩個神經(jīng)元同時處于激發(fā)狀態(tài)時，它們之間的連接強度將得到加強，這一論述的數(shù)學描述被稱為Hebb學習規(guī)則，即2022/9/24By Zhaona Chen39其中， 為連接從神經(jīng)元 到神經(jīng)元 的當前權(quán)值， 和 為神經(jīng)元的激活水平。 Hebb學習規(guī)則是一種無教師的學習方法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此，這種方法又稱為相關(guān)學習或并聯(lián)學習。2022/9/24By Zhaona Chen404.2 Delta（）學習規(guī)則假設(shè)誤差準則函數(shù)為：其中， 代表期望的輸出（教師信號）； 為網(wǎng)絡(luò)的實際輸出， ； 為網(wǎng)絡(luò)所有權(quán)值組成的向量： 為輸入模式：

19、2022/9/24By Zhaona Chen41其中訓練樣本數(shù)為 。 神經(jīng)網(wǎng)絡(luò)學習的目的是通過調(diào)整權(quán)值W，使誤差準則函數(shù)最小。 權(quán)值的調(diào)整采用梯度下降法來實現(xiàn)，其基本思想是沿著E的負梯度方向不斷修正W值，直到E達到最小。數(shù)學表達式為：2022/9/24By Zhaona Chen42其中令 ，則W的修正規(guī)則為2022/9/24By Zhaona Chen43上式稱為學習規(guī)則，又稱誤差修正規(guī)則。5 神經(jīng)網(wǎng)絡(luò)特征 神經(jīng)網(wǎng)絡(luò)具有以下幾個特征：（1）能逼近任意非線性函數(shù)；（2）信息的并行分布式處理與存儲；2022/9/24By Zhaona Chen44(3) 可以多輸入、多輸出；（4）便于用超大規(guī)

20、模集成電路（VISI）或光學集成電路系統(tǒng)實現(xiàn)，或用現(xiàn)有的計算機技術(shù)實現(xiàn)；（5）能進行學習，以適應(yīng)環(huán)境的變化。2022/9/24By Zhaona Chen455.5 神經(jīng)網(wǎng)絡(luò)控制的研究領(lǐng)域 1 基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識 將神經(jīng)網(wǎng)絡(luò)作為被辨識系統(tǒng)的模型，可在已知常規(guī)模型結(jié)構(gòu)的情況下，估計模型的參數(shù)。 利用神經(jīng)網(wǎng)絡(luò)的線性、非線性特性，可建立線性、非線性系統(tǒng)的靜態(tài)、動態(tài)、逆動態(tài)及預測模型，實現(xiàn)非線性系統(tǒng)的建模和辨識。2022/9/24By Zhaona Chen46(2) 神經(jīng)網(wǎng)絡(luò)控制器 神經(jīng)網(wǎng)絡(luò)作為實時控制系統(tǒng)的控制器，對不確定、不確知系統(tǒng)及擾動進行有效的控制，使控制系統(tǒng)達到所要求的動態(tài)、靜態(tài)特性。

21、 (3) 神經(jīng)網(wǎng)絡(luò)與其他算法相結(jié)合 將神經(jīng)網(wǎng)絡(luò)與專家系統(tǒng)、模糊邏輯、遺傳算法等相結(jié)合，可設(shè)計新型智能控制系統(tǒng)。2022/9/24By Zhaona Chen47(4) 優(yōu)化計算 在常規(guī)的控制系統(tǒng)中，常遇到求解約束優(yōu)化問題，神經(jīng)網(wǎng)絡(luò)為這類問題的解決提供了有效的途徑。 目前，神經(jīng)網(wǎng)絡(luò)控制已經(jīng)在多種控制結(jié)構(gòu)中得到應(yīng)用，如PID控制、模型參考自適應(yīng)控制、前饋反饋控制、內(nèi)?？刂?、預測控制、模糊控制等。2022/9/24By Zhaona Chen485.6單神經(jīng)元網(wǎng)絡(luò)神經(jīng)元模型 圖7-1中 為神經(jīng)元的內(nèi)部狀態(tài)， 為閾值， 為輸入信號， ， 為表示從單元 到單元 的連接權(quán)系數(shù)， 為外部輸入信號。 單神經(jīng)元

22、模型可描述為：2022/9/24By Zhaona Chen49通常情況下，取即2022/9/24By Zhaona Chen50圖7-1 單神經(jīng)元模型2022/9/24By Zhaona Chen51常用的神經(jīng)元非線性特性有以下四種：（1）閾值型圖7-2 閾值型函數(shù)2022/9/24By Zhaona Chen52（2）分段線性型圖7-3 分段線性函數(shù)2022/9/24By Zhaona Chen53（3）Sigmoid函數(shù)型圖7-4 Sigmoid函數(shù)2022/9/24By Zhaona Chen545.7 BP神經(jīng)網(wǎng)絡(luò) 1986年，Rumelhart等提出了誤差反向傳播神經(jīng)網(wǎng)絡(luò)，簡稱BP

23、網(wǎng)絡(luò)（Back Propagation），該網(wǎng)絡(luò)是一種單向傳播的多層前向網(wǎng)絡(luò)。 誤差反向傳播的BP算法簡稱BP算法，其基本思想是梯度下降法。它采用梯度搜索技術(shù)，以期使網(wǎng)絡(luò)的實際輸出值與期望輸出值的誤差均方值為最小。 2022/9/24By Zhaona Chen551.BP網(wǎng)絡(luò)特點（1）是一種多層網(wǎng)絡(luò)，包括輸入層、隱含層和輸出層；（2）層與層之間采用全互連方式，同一層神經(jīng)元之間不連接；（3）權(quán)值通過學習算法進行調(diào)節(jié)；（4）神經(jīng)元激發(fā)函數(shù)為S函數(shù)；（5）學習算法由正向傳播和反向傳播組成；（6）層與層的連接是單向的，信息的傳播是雙向的。2022/9/24By Zhaona Chen562.BP網(wǎng)絡(luò)

24、結(jié)構(gòu) 含一個隱含層的BP網(wǎng)絡(luò)結(jié)構(gòu)如圖7-5所示，圖中 為輸入層神經(jīng)元， 為隱層神經(jīng)元， 為輸出層神經(jīng)元。 圖7-5 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 2022/9/24By Zhaona Chen583 BP網(wǎng)絡(luò)的逼近 BP網(wǎng)絡(luò)逼近的結(jié)構(gòu)如圖7-6所示，圖中k為網(wǎng)絡(luò)的迭代步驟，u(k)和y(k)為逼近器的輸入。BP為網(wǎng)絡(luò)逼近器，y(k)為被控對象實際輸出，yn(k)為BP的輸出。將系統(tǒng)輸出y(k)及輸入u(k)的值作為逼近器BP的輸入，將系統(tǒng)輸出與網(wǎng)絡(luò)輸出的誤差作為逼近器的調(diào)整信號。圖7-6 BP神經(jīng)網(wǎng)絡(luò)逼近 2022/9/24By Zhaona Chen60用于逼近的BP網(wǎng)絡(luò)如圖7-7所示。圖7-7 用于逼

25、近的BP網(wǎng)絡(luò)。2022/9/24By Zhaona Chen61 BP算法的學習過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱層逐層處理，并傳向輸出層，每層神經(jīng)元（節(jié)點）的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)至反向傳播，將誤差信號（理想輸出與實際輸出之差）按聯(lián)接通路反向計算，由梯度下降法調(diào)整各層神經(jīng)元的權(quán)值，使誤差信號減小。2022/9/24By Zhaona Chen62（1）前向傳播：計算網(wǎng)絡(luò)的輸出。隱層神經(jīng)元的輸入為所有輸入的加權(quán)之和：隱層神經(jīng)元的輸出采用S函數(shù)激發(fā)：則2022/9/24By Zhaona Chen63（1）前向傳播：計

26、算網(wǎng)絡(luò)的輸出。隱層神經(jīng)元的輸入為所有輸入的加權(quán)之和：隱層神經(jīng)元的輸出采用S函數(shù)激發(fā)：則2022/9/24By Zhaona Chen64輸出層神經(jīng)元的輸出：網(wǎng)絡(luò)輸出與理想輸出誤差為：誤差性能指標函數(shù)為：2022/9/24By Zhaona Chen65（2）反向傳播：采用學習算法，調(diào)整各層間的權(quán)值。根據(jù)梯度下降法，權(quán)值的學習算法如下： 輸出層及隱層的連接權(quán)值學習算法為： k+1時刻網(wǎng)絡(luò)的權(quán)值為：2022/9/24By Zhaona Chen66隱層及輸入層連接權(quán)值學習算法為：其中 k+1時刻網(wǎng)絡(luò)的權(quán)值為：2022/9/24By Zhaona Chen67 如果考慮上次權(quán)值對本次權(quán)值變化的影響，

27、需要加入動量因子 ，此時的權(quán)值為：其中, 為學習速率， 為動量因子。2022/9/24By Zhaona Chen68 陣(即為對象的輸出對控制輸入的靈敏度信息)算法為：其中取2022/9/24By Zhaona Chen694 BP網(wǎng)絡(luò)的優(yōu)缺點 BP網(wǎng)絡(luò)的優(yōu)點為：（1）只要有足夠多的隱層和隱層節(jié)點，BP網(wǎng)絡(luò)可以逼近任意的非線性映射關(guān)系；（2）BP網(wǎng)絡(luò)的學習算法屬于全局逼近算法，具有較強的泛化能力。（3）BP網(wǎng)絡(luò)輸入輸出之間的關(guān)聯(lián)信息分布地存儲在網(wǎng)絡(luò)的連接權(quán)中，個別神經(jīng)元的損壞只對輸入輸出關(guān)系有較小的影響，因而BP網(wǎng)絡(luò)具有較好的容錯性。2022/9/24By Zhaona Chen70BP網(wǎng)絡(luò)

28、的主要缺點為：（1）待尋優(yōu)的參數(shù)多，收斂速度慢；（2）目標函數(shù)存在多個極值點，按梯度下降法進行學習，很容易陷入局部極小值；（3）難以確定隱層及隱層節(jié)點的數(shù)目。目前，如何根據(jù)特定的問題來確定具體的網(wǎng)絡(luò)結(jié)構(gòu)尚無很好的方法，仍需根據(jù)經(jīng)驗來試湊。2022/9/24By Zhaona Chen71 由于BP網(wǎng)絡(luò)具有很好的逼近非線性映射的能力，該網(wǎng)絡(luò)在模式識別、圖像處理、系統(tǒng)辨識、函數(shù)擬合、優(yōu)化計算、最優(yōu)預測和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。 由于BP網(wǎng)絡(luò)具有很好的逼近特性和泛化能力，可用于神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計。但由于BP網(wǎng)絡(luò)收斂速度慢，難以適應(yīng)實時控制的要求。2022/9/24By Zhaona C

29、hen725. BP網(wǎng)絡(luò)逼近仿真實例 使用BP網(wǎng)絡(luò)逼近對象： BP網(wǎng)絡(luò)逼近程序見chap7_1.m 2022/9/24By Zhaona Chen736. BP網(wǎng)絡(luò)模式識別 由于神經(jīng)網(wǎng)絡(luò)具有自學習、自組織和并行處理等特征，并具有很強的容錯能力和聯(lián)想能力，因此，神經(jīng)網(wǎng)絡(luò)具有模式識別的能力。 2022/9/24By Zhaona Chen74 根據(jù)神經(jīng)網(wǎng)絡(luò)在控制器中的作用不同，神經(jīng)網(wǎng)絡(luò)控制器可分為兩類，一類為神經(jīng)控制，它是以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)而形成的獨立智能控制系統(tǒng)；另一類為混合神經(jīng)網(wǎng)絡(luò)控制，它是指利用神經(jīng)網(wǎng)絡(luò)學習和優(yōu)化能力來改善傳統(tǒng)控制的智能控制方法，如自適應(yīng)神經(jīng)網(wǎng)絡(luò)控制等。 綜合目前的各種分類方法

30、，可將神經(jīng)網(wǎng)絡(luò)控制的結(jié)構(gòu)歸結(jié)為以下七類。5.8 神經(jīng)網(wǎng)絡(luò)控制結(jié)構(gòu) 2022/9/24By Zhaona Chen751 神經(jīng)網(wǎng)絡(luò)監(jiān)督控制 通過對傳統(tǒng)控制器進行學習，然后用神經(jīng)網(wǎng)絡(luò)控制器逐漸取代傳統(tǒng)控制器的方法，稱為神經(jīng)網(wǎng)絡(luò)監(jiān)督控制。神經(jīng)網(wǎng)絡(luò)監(jiān)督控制的結(jié)構(gòu)如圖9-1所示。 神經(jīng)網(wǎng)絡(luò)控制器實際上是一個前饋控制器，它建立的是被控對象的逆模型。神經(jīng)網(wǎng)絡(luò)控制器通過對傳統(tǒng)控制器的輸出進行學習，在線調(diào)整網(wǎng)絡(luò)的權(quán)值，使反饋控制輸入趨近于零，從而使神經(jīng)網(wǎng)絡(luò)控制器逐漸在控制作用中占據(jù)主導地位，最終取消反饋控制器的作用。一旦系統(tǒng)出現(xiàn)干擾，反饋控制器重新起作用。這種前饋加反饋的監(jiān)督控制方法，不僅可以確?？刂葡到y(tǒng)的穩(wěn)定

31、性和魯棒性，而且可有效地提高系統(tǒng)的精度和自適應(yīng)能力。2022/9/24By Zhaona Chen76圖9-1 神經(jīng)網(wǎng)絡(luò)監(jiān)督控制 2022/9/24By Zhaona Chen772 神經(jīng)網(wǎng)絡(luò)直接逆動態(tài)控制 神經(jīng)網(wǎng)絡(luò)直接逆控制就是將被控對象的神經(jīng)網(wǎng)絡(luò)逆模型直接與被控對象串聯(lián)起來，以便使期望輸出與對象實際輸出之間的傳遞函數(shù)為1。則將此網(wǎng)絡(luò)作為前饋控制器后，被控對象的輸出為期望輸出。 顯然，神經(jīng)網(wǎng)絡(luò)直接逆控制的可用性在相當程度上取決于逆模型的準確精度。由于缺乏反饋，簡單連接的直接逆控制缺乏魯棒性。為此，一般應(yīng)使其具有在線學習能力，即作為逆模型的神經(jīng)網(wǎng)絡(luò)連接權(quán)能夠在線調(diào)整。2022/9/24By Z

32、haona Chen78 圖9-2為神經(jīng)網(wǎng)絡(luò)直接逆控制的兩種結(jié)構(gòu)方案。在圖9-2(a)中，NN1和NN2為具有完全相同的網(wǎng)絡(luò)結(jié)構(gòu)，并采用相同的學習算法，分別實現(xiàn)對象的逆。在圖9-2(b)中，神經(jīng)網(wǎng)絡(luò)NN通過評價函數(shù)進行學習，實現(xiàn)對象的逆控制。 2022/9/24By Zhaona Chen79（a） 2022/9/24By Zhaona Chen80圖9-2 神經(jīng)網(wǎng)絡(luò)直接逆控制（b） 2022/9/24By Zhaona Chen813 神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制 與傳統(tǒng)自適應(yīng)控制相同，神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制也分為神經(jīng)網(wǎng)絡(luò)自校正控制和神經(jīng)網(wǎng)絡(luò)模型參考自適應(yīng)控制兩種。自校正控制根據(jù)對系統(tǒng)正向或逆模型的結(jié)果調(diào)

33、節(jié)控制器內(nèi)部參數(shù)，使系統(tǒng)滿足給定的指標，而在模型參考自適應(yīng)控制中，閉環(huán)控制系統(tǒng)的期望性能由一個穩(wěn)定的參考模型來描述。 2022/9/24By Zhaona Chen823.1神經(jīng)網(wǎng)絡(luò)自校正控制 神經(jīng)網(wǎng)絡(luò)自校正控制分為直接自校正控制和間接自校正控制。間接自校正控制使用常規(guī)控制器，神經(jīng)網(wǎng)絡(luò)估計器需要較高的建模精度。直接自校正控制同時使用神經(jīng)網(wǎng)絡(luò)控制器和神經(jīng)網(wǎng)絡(luò)估計器。（1）神經(jīng)網(wǎng)絡(luò)直接自校正控制 在本質(zhì)上同神經(jīng)網(wǎng)絡(luò)直接逆控制，其結(jié)構(gòu)如圖9-2所示。2022/9/24By Zhaona Chen83（2）神經(jīng)網(wǎng)絡(luò)間接自校正控制 其結(jié)構(gòu)如圖9-3所示。假設(shè)被控對象為如下單變量仿射非線性系統(tǒng)： 若利用神

34、經(jīng)網(wǎng)絡(luò)對非線性函數(shù) 和 進行逼近，得到 和 ，則控制器為：其中 為 時刻的期望輸出值。2022/9/24By Zhaona Chen84圖9-3 神經(jīng)網(wǎng)絡(luò)間接自校正控制2022/9/24By Zhaona Chen853.2. 神經(jīng)網(wǎng)絡(luò)模型參考自適應(yīng)控制 分為直接模型參考自適應(yīng)控制和間接模型參考自適應(yīng)控制兩種。（1）直接模型參考自適應(yīng)控制 如圖9-4所示。神經(jīng)網(wǎng)絡(luò)控制器的作用是使被控對象與參考模型輸出之差為最小。但該方法需要知道對象的 信息 。 2022/9/24By Zhaona Chen86圖9-4 神經(jīng)網(wǎng)絡(luò)直接模型參考自適應(yīng)控制2022/9/24By Zhaona Chen87（2）間接

35、模型參考自適應(yīng)控制 如圖9-5所示。神經(jīng)網(wǎng)絡(luò)辨識器NNI向神經(jīng)網(wǎng)絡(luò)控制器NNC提供對象的信息，用于控制器NNC的學習。2022/9/24By Zhaona Chen88圖9-5 神經(jīng)網(wǎng)絡(luò)間接模型參考自適應(yīng)控制 2022/9/24By Zhaona Chen894 神經(jīng)網(wǎng)絡(luò)內(nèi)?？刂?經(jīng)典的內(nèi)模控制將被控系統(tǒng)的正向模型和逆模型直接加入反饋回路，系統(tǒng)的正向模型作為被控對象的近似模型與實際對象并聯(lián)，兩者輸出之差被用作反饋信號，該反饋信號又經(jīng)過前向通道的濾波器及控制器進行處理?？刂破髦苯优c系統(tǒng)的逆有關(guān)，通過引入濾波器來提高系統(tǒng)的魯棒性。 圖9-6為神經(jīng)網(wǎng)絡(luò)內(nèi)?？刂?，被控對象的正向模型及控制器均由神經(jīng)網(wǎng)絡(luò)來實現(xiàn)。2022/9/24By Zhaona Chen90圖9-6 神經(jīng)網(wǎng)