智能控制導(dǎo)論 第4版 課件 第5、6章 神經(jīng)控制系統(tǒng)、進(jìn)化控制

智能控制導(dǎo)論IntroductiontoIntelligentControl智能控制導(dǎo)論第4版蔡自興編著

國(guó)家精品課程配套教材中國(guó)水利水電出版社2024

Textbooks

教材第二篇基于數(shù)據(jù)的智能控制第5章神經(jīng)控制系統(tǒng)Ch.5NeuralControl5.1人工神經(jīng)網(wǎng)絡(luò)的初步知識(shí)5.2神經(jīng)控制的結(jié)構(gòu)方案5.3深層神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4神經(jīng)控制系統(tǒng)的設(shè)計(jì)5.5本章小結(jié)

本章將首先介紹人工神經(jīng)網(wǎng)絡(luò)的特性、結(jié)構(gòu)、模型和算法及神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理；接著討論神經(jīng)控制的典型結(jié)構(gòu)；然后研討神經(jīng)控制系統(tǒng)的設(shè)計(jì)、示例與實(shí)現(xiàn)。

5.1人工神經(jīng)網(wǎng)絡(luò)的初步知識(shí)Introductionto

ArtificialNeuralNetwork人工神經(jīng)網(wǎng)絡(luò)的起源與發(fā)展(ANN)1943年，麥卡洛克和皮茨提出一種似腦機(jī)器，由基于生物神經(jīng)元特性的互連模型構(gòu)造。1960年神經(jīng)網(wǎng)絡(luò)用于自動(dòng)控制研究以來(lái)，對(duì)這一課題的研究艱難地取得一些進(jìn)展。60年代末期至80年代中期，神經(jīng)網(wǎng)絡(luò)控制與整個(gè)神經(jīng)網(wǎng)絡(luò)研究一樣，處于低潮。單層神經(jīng)網(wǎng)絡(luò)功能有限感知器不能實(shí)現(xiàn)復(fù)雜邏輯多層神經(jīng)網(wǎng)絡(luò)沒有有效的學(xué)習(xí)算法人工神經(jīng)網(wǎng)絡(luò)的起源與發(fā)展(續(xù))每個(gè)構(gòu)造的網(wǎng)絡(luò)神經(jīng)元模型模擬一個(gè)生物神經(jīng)元。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是由基本處理單元及其互連方式?jīng)Q定連接機(jī)制結(jié)構(gòu)的基本處理單元與神經(jīng)生理學(xué)類比往往稱為神經(jīng)元。5.1.1神經(jīng)元及其特性

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是由基本處理單元及其互連方法決定的。

連接機(jī)制結(jié)構(gòu)的基本處理單元稱為神經(jīng)元。每個(gè)神經(jīng)元網(wǎng)絡(luò)模型模擬一個(gè)生物神經(jīng)元，如圖6.1所示。該神經(jīng)元單元由多個(gè)輸入xi(i=1,2,…n)和一個(gè)輸出y組成。中間狀態(tài)由輸入信號(hào)的權(quán)和表示，而輸出為:神經(jīng)元模型80年代后期以來(lái)，隨著人工神經(jīng)網(wǎng)絡(luò)研究的復(fù)蘇和發(fā)展，對(duì)神經(jīng)網(wǎng)絡(luò)控制的研究也十分活躍。用于訓(xùn)練多層感知器的反向傳播算法取得進(jìn)展Hopfield采用全連接型神經(jīng)網(wǎng)絡(luò)模型，解決了典型難題——TSP。主要在神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制和模糊神經(jīng)網(wǎng)絡(luò)控制，及其在機(jī)器人控制中的應(yīng)用的研究上獲得進(jìn)展。5.1.1神經(jīng)元及其特性（續(xù)）5.1.1神經(jīng)元及其特性（續(xù)）圖6.1神經(jīng)元模型圖6.1中，[x1,…,xn]T為輸入向量，y為輸出，f(·)為激發(fā)函數(shù)，θ為神經(jīng)元單元的閾值。wi為神經(jīng)元與其它神經(jīng)元的連接強(qiáng)度系數(shù)，也稱權(quán)值。5.1.1神經(jīng)元及其特性（續(xù)）圖6.2神經(jīng)元中的某些激發(fā)函數(shù)常用的激發(fā)函數(shù)f

的種類：1）閾值型函數(shù)2）飽和型S函數(shù)3）雙曲正切函數(shù)5.1.2神經(jīng)網(wǎng)絡(luò)與智能控制神經(jīng)網(wǎng)絡(luò)的下列特性對(duì)控制至關(guān)重要：

1.并行分布處理神經(jīng)網(wǎng)絡(luò)對(duì)信息的并行處理能力和快速性，適于實(shí)時(shí)控制和動(dòng)力學(xué)控制。2.非線性映射任意的連續(xù)非線性函數(shù)映射關(guān)系可由多層神經(jīng)網(wǎng)絡(luò)以任意精度加以逼近。神經(jīng)網(wǎng)絡(luò)具有固有的非線性特性，為非線性控制帶來(lái)新的希望。3.通過訓(xùn)練進(jìn)行學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠解決那些用數(shù)學(xué)模型或規(guī)則描述難以處理或無(wú)法處理的控制過程。

5.1.2神經(jīng)網(wǎng)絡(luò)與智能控制（續(xù)）神經(jīng)網(wǎng)絡(luò)的下列特性對(duì)控制至關(guān)重要（續(xù)）：

4.適應(yīng)與集成神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的自適應(yīng)能力和信息綜合能力，解決輸入信息之間的互補(bǔ)性和冗余性問題。實(shí)現(xiàn)信息融合處理，適用于復(fù)雜、大規(guī)模和多變量系統(tǒng)的控制。5.硬件實(shí)現(xiàn)

神經(jīng)網(wǎng)絡(luò)不僅能夠通過軟件而且可借助硬件實(shí)現(xiàn)并行處理。越來(lái)越多越先進(jìn)的超大規(guī)模集成電路實(shí)現(xiàn)硬件已經(jīng)問世，而且可從市場(chǎng)上購(gòu)買到。這使得神經(jīng)網(wǎng)絡(luò)具有快速和大規(guī)模處理能力的實(shí)現(xiàn)網(wǎng)絡(luò)。5.1.3人工神經(jīng)網(wǎng)絡(luò)的基本類型和學(xué)習(xí)算法1.人工神經(jīng)網(wǎng)絡(luò)的基本特性和結(jié)構(gòu)

人工神經(jīng)網(wǎng)絡(luò)由神經(jīng)元模型構(gòu)成，具有并行分布結(jié)構(gòu)。每個(gè)神經(jīng)元具有單一輸出，能夠與其它神經(jīng)元連接。存在許多輸出連接方法，每種對(duì)應(yīng)一個(gè)連接權(quán)系數(shù)。人工神經(jīng)網(wǎng)絡(luò)是一種具有下列特性的有向圖：對(duì)于每個(gè)節(jié)點(diǎn)i

存在一個(gè)狀態(tài)變量xi從節(jié)點(diǎn)j

至節(jié)點(diǎn)i，存在一個(gè)連接權(quán)系數(shù)wij對(duì)于每個(gè)節(jié)點(diǎn)i，存在一個(gè)閾值θi對(duì)于每個(gè)節(jié)點(diǎn)i，定義一個(gè)變換函數(shù)；對(duì)于最一般的情況，此函數(shù)取形式。5.1.3人工神經(jīng)網(wǎng)絡(luò)的基本類型和學(xué)習(xí)算法（續(xù)）1.人工神經(jīng)網(wǎng)絡(luò)的基本特性和結(jié)構(gòu)（續(xù)）人工神經(jīng)網(wǎng)絡(luò)基本分為兩類（1）遞歸（反饋）網(wǎng)絡(luò)多個(gè)神經(jīng)元互連以組織一個(gè)互連神經(jīng)網(wǎng)絡(luò)神經(jīng)元輸出被反饋至同層或前層神經(jīng)元每個(gè)輸入節(jié)點(diǎn)能接受來(lái)自外部輸入和神經(jīng)元反饋（2）前饋（多層）網(wǎng)絡(luò)具有遞階分層結(jié)構(gòu)，同層神經(jīng)元間不存在互連的層級(jí)組成輸入層至輸出層的信號(hào)通過單向連接流通，各神經(jīng)元間不存在反饋5.1.3人工神經(jīng)網(wǎng)絡(luò)的基本類型和學(xué)習(xí)算法（續(xù)）2.人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法（1）有師學(xué)習(xí)在學(xué)習(xí)過程中，網(wǎng)絡(luò)根據(jù)實(shí)際輸出與期望輸出的比較，進(jìn)行連接權(quán)系的調(diào)整，將期望輸出稱導(dǎo)師信號(hào).是評(píng)價(jià)學(xué)習(xí)的標(biāo)準(zhǔn).有師學(xué)習(xí)算法的例子包括Delta規(guī)則、廣義Delta規(guī)則或反向傳播算法以及LVQ算法等。期望輸出實(shí)際輸出學(xué)習(xí)機(jī)輸入NN比較5.1.3人工神經(jīng)網(wǎng)絡(luò)的基本類型和學(xué)習(xí)算法（續(xù)）2.人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法（續(xù)）期望輸出實(shí)際輸出學(xué)習(xí)機(jī)輸入NN自我比較（2）無(wú)師學(xué)習(xí)無(wú)導(dǎo)師信號(hào)提供給網(wǎng)絡(luò)，網(wǎng)絡(luò)能根據(jù)特有的結(jié)構(gòu)和學(xué)習(xí)規(guī)則，進(jìn)行連接權(quán)系調(diào)整，此時(shí)，網(wǎng)絡(luò)的學(xué)習(xí)評(píng)價(jià)標(biāo)準(zhǔn)隱含于其內(nèi)部。不需要知道期望輸出。在訓(xùn)練過程中，只要向神經(jīng)網(wǎng)絡(luò)提供輸入模式神經(jīng)網(wǎng)絡(luò)就能夠自動(dòng)地適應(yīng)連接權(quán)，以便按相似特征把輸入模式分組聚集。5.1.3人工神經(jīng)網(wǎng)絡(luò)的基本類型和學(xué)習(xí)算法（續(xù)）2.人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法（續(xù)）（3）強(qiáng)化（增強(qiáng)）學(xué)習(xí)是有師學(xué)習(xí)的特例不需要老師給出目標(biāo)輸出。強(qiáng)化學(xué)習(xí)算法采用一個(gè)“評(píng)論員”來(lái)評(píng)價(jià)①學(xué)習(xí)機(jī)選擇一動(dòng)作作用于環(huán)境；②環(huán)境的狀態(tài)改變，并產(chǎn)生再勵(lì)信號(hào)反饋至學(xué)習(xí)機(jī)；③學(xué)習(xí)機(jī)依據(jù)再勵(lì)信號(hào)與環(huán)境當(dāng)前的狀態(tài)，再選擇下一動(dòng)作作用于環(huán)境，選擇的原則是使受到獎(jiǎng)勵(lì)的可能性增大。狀態(tài)輸入NN1NN2

學(xué)習(xí)機(jī)輸出-動(dòng)作

環(huán)境5.1.4人工神經(jīng)網(wǎng)絡(luò)的典型模型1.常用人工神經(jīng)網(wǎng)絡(luò)模型（續(xù)）（1）自適應(yīng)諧振理論（AdaptiveResonanceTheory，ART）（2）雙向聯(lián)想存儲(chǔ)器（BidirectionalAssociativeMemory，

BAM）（3）Boltzmann機(jī)（BoltzmannMachine，

BM）（4）反向傳播網(wǎng)絡(luò)（Back-PropagationNetwork，

BP）（5）對(duì)流傳播網(wǎng)絡(luò)(CounterPropagationNetwork，CPN)（6）Hopfield網(wǎng)（HopfieldNetwork)（7）Madaline算法（MadalineAlgorithm）（8）認(rèn)知機(jī)（Neocognition）（9）自組織映射網(wǎng)（Self-OrganizingMap，SOM）（10）感知器（Perceptron）

5.1.4人工神經(jīng)網(wǎng)絡(luò)的典型模型（續(xù)）1.常用人工神經(jīng)網(wǎng)絡(luò)模型（續(xù)）

在眾多的神經(jīng)網(wǎng)絡(luò)模型中，BP是經(jīng)典的一類神經(jīng)網(wǎng)絡(luò)類型。下面利用MATLAB仿真環(huán)境，討論BP神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近能力。例題5-2采用單一感知器神經(jīng)元解決一個(gè)分類問題，將四個(gè)輸入矢量分為兩類。其中兩個(gè)矢量對(duì)應(yīng)的目標(biāo)值為1，另兩個(gè)矢量對(duì)應(yīng)的目標(biāo)值為0，即輸入矢量為P=[-0.5,-0.5,0.3,0.0;-0.5,0.5,-0.5,1.0]，目標(biāo)分類矢量為T=[1,1,0,0]。

[解]設(shè)P為輸入矢量，T為目標(biāo)矢量：

P=[-0.5,-0.5,0.3,0.0;-0.5,0.5,-0.5,1.0];T=[1,1,0,0];

定義感知器神經(jīng)元并對(duì)其進(jìn)行初始化；

利用訓(xùn)練完的感知器神經(jīng)元分類。5.1.4人工神經(jīng)網(wǎng)絡(luò)的典型模型（續(xù)）1.常用人工神經(jīng)網(wǎng)絡(luò)模型（續(xù)）

在該單一感知器神經(jīng)元分類過程中，圖5.6（a）表示以P為輸入的矢量示意圖，圖5.6（b）為單一感知器神經(jīng)元對(duì)四個(gè)輸入矢量分為兩類的分類結(jié)果，其誤差收斂和變化趨勢(shì)如圖5.6（c）所示。（a）輸入矢量圖

（b）分類結(jié)果（c）誤差變化曲線

圖5.6單一感知器神經(jīng)元分類5.2神經(jīng)控制的結(jié)構(gòu)方案StructuralSchemesofNeurocontrol

神經(jīng)網(wǎng)絡(luò)在控制中主要起以下作用：（1）基于精確模型的各種控制結(jié)構(gòu)中充當(dāng)對(duì)象的模型；（2）在反饋控制系統(tǒng)中直接充當(dāng)控制器的作用；（3）在傳統(tǒng)控制系統(tǒng)中起優(yōu)化計(jì)算作用；（4）在與其它智能控制方法和優(yōu)化算法相融合中,為其提供對(duì)象模型、優(yōu)化參數(shù)、推理模型及故障診斷等。5.2.1NN學(xué)習(xí)控制

基于神經(jīng)網(wǎng)絡(luò)的監(jiān)督式控制實(shí)現(xiàn)NN監(jiān)督式控制的步驟：（1）通過傳感器和傳感信息處理，調(diào)用控制信息。（2）構(gòu)造神經(jīng)網(wǎng)絡(luò)，選擇NN類型、結(jié)構(gòu)參數(shù)和學(xué)習(xí)算法等。（3）訓(xùn)練NN控制器，實(shí)現(xiàn)輸入和輸出間的映射，以便進(jìn)行控制。圖5.7基于神經(jīng)網(wǎng)絡(luò)的監(jiān)督式控制

1.NN直接逆?？刂圃砗吞匦裕╝）（b）圖5.8NN直接逆控制采用受控系統(tǒng)的一個(gè)逆模型，與受控系統(tǒng)串接，以便使系統(tǒng)在期望響應(yīng)（網(wǎng)絡(luò)輸入）與受控系統(tǒng)輸出間得到一個(gè)相同映射。

由于不存在反饋，本法魯棒性不足；逆模型參數(shù)可通過在線學(xué)習(xí)調(diào)整，以期把受控系統(tǒng)的魯棒性提高至一定程度。NN直接逆控制的兩種結(jié)構(gòu)方案：5.2.2

NN直接逆?？刂婆c內(nèi)?？刂?/p>

2.神經(jīng)網(wǎng)絡(luò)內(nèi)模控制圖5.9NN內(nèi)?？刂?.2.2

NN直接逆?？刂婆c內(nèi)模控制（續(xù)）自適應(yīng)逆控制的基本思想就是用被控對(duì)象傳遞函數(shù)的逆模型作為串聯(lián)控制器對(duì)控制對(duì)象實(shí)施開環(huán)控制。神經(jīng)網(wǎng)絡(luò)先離線學(xué)習(xí)被控對(duì)象的逆動(dòng)力學(xué)模型，然后用作對(duì)象的前饋串聯(lián)控制器。由于開環(huán)控制缺乏穩(wěn)定性，所以神經(jīng)網(wǎng)絡(luò)還需要根據(jù)系統(tǒng)的反饋誤差在線繼續(xù)學(xué)習(xí)逆動(dòng)力學(xué)模型。如果神經(jīng)網(wǎng)絡(luò)充分逼近對(duì)象的逆動(dòng)力學(xué)模型，則從神經(jīng)網(wǎng)絡(luò)的輸入端至輸出端的傳函近似為1.

3.神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制圖5.10NN間接自校正控制5.2.3

NN自適應(yīng)控制（1）NN自校正控制（STC）①直接自校正控制(直接逆控制)

由一個(gè)常規(guī)控制器和一個(gè)具有離線辨識(shí)能力的識(shí)別器組成，后者具有很高的建模精度。控制結(jié)構(gòu)基本上與直接逆控制相同。②間接自校正控制

本控制系統(tǒng)由一個(gè)NN控制器和一個(gè)能夠在線修正的NN識(shí)別器組成；圖5.10表示出NN間接STC的結(jié)構(gòu)。

3.神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制圖5.11NN直接模型參考自適應(yīng)控制5.2.3

NN自適應(yīng)控制（續(xù)）（2）NN模型參考自適應(yīng)控制①NN直接模型參考自適應(yīng)控制

從圖5.11的結(jié)構(gòu)可知，直接MRAC神經(jīng)網(wǎng)絡(luò)控制器力圖維持受控對(duì)象輸出與參考模型輸出之間的差。ec(t)=y(t)–ym(t)→∞

3.神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制5.2.3

NN自適應(yīng)控制（續(xù)）（2）NN模型參考自適應(yīng)控制（續(xù)）②NN間接模型參考自適應(yīng)控制

該控制系統(tǒng)結(jié)構(gòu)如圖5.12所示，圖中，NN識(shí)別器（NNI）首先離線辨識(shí)受控對(duì)象的前饋模型，然后由ei(t)進(jìn)行在線學(xué)習(xí)與修正。圖5.12NN間接模型參考自適應(yīng)控制5.3深層神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

5.3.1深層神經(jīng)網(wǎng)絡(luò)5.3.2深度學(xué)習(xí)的定義與特點(diǎn)5.3.3深度學(xué)習(xí)的常用模型1.自動(dòng)編碼器2.受限波爾茲曼機(jī)3.深度信念網(wǎng)絡(luò)4.卷積神經(jīng)網(wǎng)絡(luò)5.3.4深度學(xué)習(xí)應(yīng)用舉例

5.3.1深層神經(jīng)網(wǎng)絡(luò)1.深度學(xué)習(xí)與分布式表示

分布式表示（Distributedrepresentation）是深度學(xué)習(xí)的基礎(chǔ)，其前提是假定觀測(cè)值由不同因子相互作用。深度學(xué)習(xí)采用多重抽象的學(xué)習(xí)模型，進(jìn)一步假定上述的相互作用關(guān)系可細(xì)分為多個(gè)層次：從低層次的概念學(xué)習(xí)得到高層次的概念，概念抽象的程度直接反映在層次數(shù)目和每一層的規(guī)模上。貪婪算法常被用來(lái)逐層構(gòu)建該類層次結(jié)構(gòu)，并從中選取有助于機(jī)器學(xué)習(xí)更有效的特征。5.3深層神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

5.3.1深層神經(jīng)網(wǎng)絡(luò)（續(xù)）

2.深度學(xué)習(xí)與人工神經(jīng)網(wǎng)絡(luò)

許多成功的深度學(xué)習(xí)方法都涉及到了人工神經(jīng)網(wǎng)絡(luò)，所以，不少研究者認(rèn)為深度學(xué)習(xí)就是傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的一種發(fā)展和延伸。GeoffreyHinton2006年，加拿大GeoffreyHinton提出了兩個(gè)觀點(diǎn)：（1）多隱含層的人工神經(jīng)網(wǎng)絡(luò)具有非常突出的特征學(xué)習(xí)能力。如果用機(jī)器學(xué)習(xí)算法得到的特征來(lái)刻畫數(shù)據(jù)，可以更加深層次地描述數(shù)據(jù)的本質(zhì)特征，在可視化或分類應(yīng)用中非常有效。（2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上存在一定難度，但這些可以通過“逐層預(yù)訓(xùn)練”來(lái)有效克服。

定義6.13

深度學(xué)習(xí)算法是一類基于生物學(xué)對(duì)人腦進(jìn)一步認(rèn)識(shí)，將神經(jīng)-中樞-大腦的工作原理設(shè)計(jì)成一個(gè)不斷迭代、不斷抽象的過程，以便得到最優(yōu)數(shù)據(jù)特征表示的機(jī)器學(xué)習(xí)算法；該算法從原始信號(hào)開始，先做低層抽象，然后逐漸向高層抽象迭代，由此組成深度學(xué)習(xí)算法的基本框架。5.3.2

深度學(xué)習(xí)的定義和特點(diǎn)1.深度學(xué)習(xí)的定義

5.3.2

深度學(xué)習(xí)的定義和特點(diǎn)（續(xù)）2.深度學(xué)習(xí)的一般特點(diǎn)使用多重非線性變換對(duì)數(shù)據(jù)進(jìn)行多層抽象以尋求更適合的概念表示方法為目標(biāo)形成一類具有代表性的特征表示學(xué)習(xí)（Learningrepresentation）方法3.深度學(xué)習(xí)的優(yōu)點(diǎn)采用非線性處理單元組成的多層結(jié)構(gòu)，使得概念提取可以由簡(jiǎn)單到復(fù)雜架構(gòu)非常靈活，有利于根據(jù)實(shí)際需要調(diào)整學(xué)習(xí)策略學(xué)習(xí)無(wú)標(biāo)簽數(shù)據(jù)優(yōu)勢(shì)明顯

5.3.3深度學(xué)習(xí)的常用模型

1.卷積神經(jīng)網(wǎng)絡(luò)

由一個(gè)或多個(gè)卷積層和頂端的全連通層組成，同時(shí)也包括關(guān)聯(lián)權(quán)重和緩沖層。這一結(jié)構(gòu)使得卷積神經(jīng)網(wǎng)絡(luò)能夠利用輸入數(shù)據(jù)的二維結(jié)構(gòu)。為識(shí)別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。圖6.20卷積神經(jīng)網(wǎng)絡(luò)的原理圖

5.3.3深度學(xué)習(xí)的常用模型（續(xù)）

2.循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetworks，RNNs）是深度網(wǎng)絡(luò)中的常用模型，它的輸入為序列數(shù)據(jù)，網(wǎng)絡(luò)中節(jié)點(diǎn)之間的連接沿時(shí)間序列形成一個(gè)有向圖，使其能夠顯示時(shí)間動(dòng)態(tài)行為。1982年，美國(guó)學(xué)者JohnHopfield發(fā)現(xiàn)一種特殊類型的循環(huán)神經(jīng)網(wǎng)絡(luò)——Hopfield網(wǎng)絡(luò)。作為一個(gè)包含外部記憶的循環(huán)神經(jīng)網(wǎng)絡(luò)，Hopfiled網(wǎng)絡(luò)內(nèi)部所有節(jié)點(diǎn)都相互連接，同時(shí)使用能量函數(shù)進(jìn)行學(xué)習(xí)。1986年，DavidRumelhart提出反向誤差傳播算法（ErrorBackPropagtionTraining，BP），系統(tǒng)解決了多層神經(jīng)網(wǎng)絡(luò)隱含層連接權(quán)學(xué)習(xí)問題。

5.3.3深度學(xué)習(xí)的常用模型（續(xù)）

2.循環(huán)神經(jīng)網(wǎng)絡(luò)（續(xù)）圖6.21基本循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖1986年，Jordan在此基礎(chǔ)上建立了新的循環(huán)神經(jīng)網(wǎng)絡(luò)，即Jordan網(wǎng)絡(luò)。1990年，JeffreyElman提出了第一個(gè)全連接的循環(huán)神經(jīng)網(wǎng)絡(luò)，Elman網(wǎng)絡(luò)。

5.3.3深度學(xué)習(xí)的常用模型（續(xù)）

3.受限波耳茲曼機(jī)圖6.22受限玻耳茲曼機(jī)一類可通過輸入數(shù)據(jù)集學(xué)習(xí)概率分布的隨機(jī)生成神經(jīng)網(wǎng)絡(luò)，是一種玻耳茲曼機(jī)的變體，但限定模型必須為二分圖。4.自動(dòng)編碼器基本過程：(1)給定無(wú)標(biāo)簽數(shù)據(jù)，用無(wú)監(jiān)督學(xué)習(xí)學(xué)習(xí)特征(2)通過編碼器產(chǎn)生特征，訓(xùn)練下一層，然后逐層訓(xùn)練(3)有監(jiān)督微調(diào)圖6.23自編碼系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)

5.3.3深度學(xué)習(xí)的常用模型（續(xù)）

5.深度信念網(wǎng)絡(luò)圖6.24深度信念網(wǎng)絡(luò)結(jié)構(gòu)圖一個(gè)貝葉斯概率生成模型，由多層隨機(jī)隱變量組成。上面的兩層具有無(wú)向?qū)ΨQ連接，下面的層得到來(lái)自上一層的自頂向下的有向連接，最底層單元構(gòu)成可視層。也可以這樣理解，深度信念網(wǎng)絡(luò)就是在靠近可視層的部分使用貝葉斯信念網(wǎng)絡(luò)（即有向圖模型），并在最遠(yuǎn)離可見層的部分使用受限波耳茲曼機(jī)的復(fù)合結(jié)構(gòu)。

5.3.4深度學(xué)習(xí)應(yīng)用舉例深度學(xué)習(xí)獲得日益廣泛的應(yīng)用，已在計(jì)算機(jī)視覺、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域取得良好的應(yīng)用效果。前饋神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)中的最新方法是交替使用卷積層和最大緩沖層（max-poolinglayers）并加入單純的分類層作為頂端，訓(xùn)練過程無(wú)需引入無(wú)監(jiān)督的預(yù)訓(xùn)練。典型案例2012年，谷歌大腦（Googlebrain）2016年3月，Google人工智能團(tuán)隊(duì)DeepMind創(chuàng)造的AlphaGo的深度學(xué)習(xí)圍棋人工智能模型擊敗國(guó)際圍棋冠軍李世石。2023年3月，OpenAI公司發(fā)布的一種基于深度學(xué)習(xí)的自然語(yǔ)言處理技術(shù)ChatGPT，它是在大型語(yǔ)料庫(kù)上訓(xùn)練出來(lái)的一個(gè)深度學(xué)習(xí)模型，可以模擬人類的自然語(yǔ)言交流。

5.4神經(jīng)控制系統(tǒng)的設(shè)計(jì)1．神經(jīng)控制系統(tǒng)的設(shè)計(jì)內(nèi)容

對(duì)神經(jīng)控制系統(tǒng)和神經(jīng)控制器的設(shè)計(jì)，在許多情況下可以采用設(shè)計(jì)計(jì)算工具，如MATLAB工具箱等方法。但在實(shí)際應(yīng)用中，根據(jù)受控對(duì)象及其控制要求，人們可以應(yīng)用神經(jīng)網(wǎng)絡(luò)的基本原理，采用各種控制結(jié)構(gòu)，設(shè)計(jì)出許多行之有效的神經(jīng)控制系統(tǒng)。從已有的設(shè)計(jì)情況看來(lái)，神經(jīng)控制系統(tǒng)的設(shè)計(jì)一般應(yīng)包括(但不是全部)下列內(nèi)容：

（1）建立受控對(duì)象的數(shù)學(xué)計(jì)算模型或知識(shí)表示模型。

（2）選擇神經(jīng)網(wǎng)絡(luò)及其算法，進(jìn)行初步辨識(shí)與訓(xùn)練。

（3）設(shè)計(jì)神經(jīng)控制器的結(jié)構(gòu)、功能表示與推理。

（4）控制系統(tǒng)仿真試驗(yàn)，并通過試驗(yàn)結(jié)果改進(jìn)設(shè)計(jì)。5.4.1神經(jīng)控制系統(tǒng)的設(shè)計(jì)內(nèi)容和結(jié)構(gòu)

2．控制器的結(jié)構(gòu)和工作原理

綜合反饋誤差學(xué)習(xí)法和直接自適應(yīng)控制的特點(diǎn)，提出的神經(jīng)網(wǎng)絡(luò)在線學(xué)習(xí)模糊自適應(yīng)控制結(jié)構(gòu)，如圖5.18所示。它由一個(gè)普通的反饋控制器（FC）和一個(gè)神經(jīng)控制器（NNC）組成，二者的輸入信號(hào)之和作為實(shí)際控制量對(duì)系統(tǒng)進(jìn)行控制。圖5.18神經(jīng)模糊自適應(yīng)控制系統(tǒng)結(jié)構(gòu)5.4.1神經(jīng)控制系統(tǒng)的設(shè)計(jì)內(nèi)容和結(jié)構(gòu)（續(xù)）

由于一個(gè)三層神經(jīng)網(wǎng)絡(luò)就具有任意逼近能力，因此NNC采用一個(gè)單隱含層線性輸出前饋網(wǎng)絡(luò)，其模型結(jié)構(gòu)如圖5.19所示。圖5.18神經(jīng)模糊自適應(yīng)控制系統(tǒng)結(jié)構(gòu)5.4.2神經(jīng)控制器的訓(xùn)練與學(xué)習(xí)算法

采用分目標(biāo)學(xué)習(xí)方式不僅能使NNC在每個(gè)采樣周期中的學(xué)習(xí)目標(biāo)易于實(shí)現(xiàn)，保證系統(tǒng)的跟蹤控制更符合工業(yè)過程實(shí)際，而且可有效避免NNC的輸出產(chǎn)生振蕩或進(jìn)入飽和狀態(tài)。

神經(jīng)網(wǎng)絡(luò)在線學(xué)習(xí)模糊自適應(yīng)控制的算法如下：

（1）初始化FC及NNC的結(jié)構(gòu)、參數(shù)及各種訓(xùn)練參數(shù)。

（2）在時(shí)刻k，采樣y(k)和r(k)，并計(jì)算系統(tǒng)輸出偏差。（3）計(jì)算反饋控制器FC的輸出信號(hào)

及其變化量

。

（4）根據(jù)模糊推理規(guī)則，求出NNC分目標(biāo)學(xué)習(xí)誤差

。

（5）若

，修正NNC的權(quán)值，否則繼續(xù)下一步。

（6）構(gòu)造NNC的輸入向量

，并計(jì)算其輸出

。

（7）計(jì)算控制器輸出u(k),并送給被控對(duì)象，產(chǎn)生下一步輸出y(k+1)。

（8）令k=k+1,對(duì){y(k)}、{u(k)}、{e(k)}移位處理，返回步驟（2）。5.4.2神經(jīng)控制器的訓(xùn)練與學(xué)習(xí)算法（續(xù)）

5.5小結(jié)

5.1節(jié)簡(jiǎn)介人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)，包括神經(jīng)元的特性、人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)、基本類型、學(xué)習(xí)算法、典型模型及基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理。5.2節(jié)介紹神經(jīng)控制器的各種基本結(jié)構(gòu)方案，包括基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)控制器、基于神經(jīng)網(wǎng)絡(luò)的直接逆?？刂破?、基于神經(jīng)網(wǎng)絡(luò)的自適應(yīng)控制器、基于神經(jīng)網(wǎng)絡(luò)的內(nèi)?？刂破鞯?。

5.3節(jié)概括深層神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的基本原理，討論深度學(xué)習(xí)的定義、一般特點(diǎn)和優(yōu)點(diǎn)，逐一介紹了卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、受限玻爾茲曼機(jī)、自動(dòng)編碼器和深度信念網(wǎng)絡(luò)等深度學(xué)習(xí)常用模型，并簡(jiǎn)介了深度學(xué)習(xí)應(yīng)用情況。5.4節(jié)討論了神經(jīng)控制系統(tǒng)的設(shè)計(jì)，即神經(jīng)網(wǎng)絡(luò)模糊自適應(yīng)控制器的設(shè)計(jì)。謝謝！

智能控制導(dǎo)論IntroductiontoIntelligentControl智能控制導(dǎo)論第4版蔡自興編著

國(guó)家精品課程配套教材中國(guó)水利水電出版社2024

Textbooks

教材第6章進(jìn)化控制Ch.6EvoluionaryControl6.1遺傳算法簡(jiǎn)介7.1.1遺傳算法的基本原理7.1.2遺傳算法的求解步驟6.2進(jìn)化控制基本原理7.2.1進(jìn)化控制原理與系統(tǒng)結(jié)構(gòu)7.2.2進(jìn)化控制的形式化描述6.3進(jìn)化控制系統(tǒng)示例7.3.1一種在線混合進(jìn)化伺服控制器7.3.2一個(gè)移動(dòng)機(jī)器人進(jìn)化控制系統(tǒng)6.4小結(jié)

6.1遺傳算法簡(jiǎn)介IntroductiontoGeneticAlgorithm6.1.1遺傳算法基本原理遺傳算法是模仿生物遺傳學(xué)和自然選擇機(jī)理，通過人工方式所構(gòu)造的一類優(yōu)化搜索算法，是對(duì)生物進(jìn)化過程進(jìn)行的一種數(shù)學(xué)仿真，是進(jìn)化計(jì)算的最重要的形式。遺傳算法為那些難以找到傳統(tǒng)數(shù)學(xué)模型的難題指出了一個(gè)解決方法。進(jìn)化計(jì)算和遺傳算法借鑒了生物科學(xué)中的某些知識(shí)，這也體現(xiàn)了人工智能這一交叉學(xué)科的特點(diǎn)。6.1.1遺傳算法基本原理（續(xù)）霍蘭德的遺傳算法通常稱為簡(jiǎn)單遺傳算法（SGA）。現(xiàn)以此作為討論主要對(duì)象，加上適應(yīng)的改進(jìn)，來(lái)分析遺傳算法的結(jié)構(gòu)和機(jī)理。1.編碼與解碼（Encoding&Decoding）將問題結(jié)構(gòu)變換為位串形式編碼表示的過程叫做編碼；而相反將位串形式編碼表示變換為原問題結(jié)構(gòu)的過程叫做解碼或譯碼。把位串形式編碼表示叫染色體，有時(shí)也叫個(gè)體。遺傳算法最常用的編碼方法是二進(jìn)制編碼，其編碼方法如下。

假設(shè)某一參數(shù)的取值范圍是[A,B]，A<B。用長(zhǎng)度為l的二進(jìn)制編碼串來(lái)表示該參數(shù)，將[A,B]等分成2l-1個(gè)子部分，記每一個(gè)等分的長(zhǎng)度為δ，則它能夠產(chǎn)生2l種不同的編碼，參數(shù)編碼的對(duì)應(yīng)關(guān)系如下。6.1.1遺傳算法基本原理（續(xù)）1.編碼與解碼（續(xù)）00000000……00000000=0——→A00000000……00000001=1——→A+δ┆┆┆11111111……11111111=2l-1——→B其中：

假設(shè)某一個(gè)體的編碼是

X：xlxl-1xl-2…x2x1則上述二進(jìn)制編碼所對(duì)應(yīng)的解碼公式為：6.1.1遺傳算法基本原理（續(xù)）2.適應(yīng)度函數(shù)

度量染色體對(duì)問題適應(yīng)能力的函數(shù)，叫適應(yīng)度函數(shù)（fitnessfunction）。通過適應(yīng)度函數(shù)來(lái)決定染色體的優(yōu)劣程度，體現(xiàn)了自然進(jìn)化中的優(yōu)勝劣汰原則。對(duì)優(yōu)化問題，適應(yīng)度函數(shù)就是目標(biāo)函數(shù)。TSP的目標(biāo)是路徑總長(zhǎng)度為最短，自然地，路徑總長(zhǎng)度就可作為TSP問題的適應(yīng)度函數(shù)其中wn+1＝w1。

適應(yīng)度函數(shù)要有效反映每一個(gè)染色體與問題的最優(yōu)解染色體之間的差距。若一個(gè)染色體與問題的最優(yōu)解染色體之間的差距小，則對(duì)應(yīng)的適應(yīng)度函數(shù)值之差就小，否則就大。6.1.1遺傳算法基本原理（續(xù)）3.遺傳操作

簡(jiǎn)單遺傳算法的遺傳操作主要有三種：選擇(selection)、交叉(crossover)、變異(mutation)。（1）選擇操作也叫復(fù)制操作

根據(jù)個(gè)體的適應(yīng)度函數(shù)值所度量的優(yōu)劣程度決定它在下一代是被淘汰或被遺傳。一般地說(shuō)，選擇將使適應(yīng)度較大（優(yōu)良）的個(gè)體有較大的存在機(jī)會(huì)，而適應(yīng)度較?。ǖ土樱┑膫€(gè)體繼續(xù)存在的機(jī)會(huì)也較小。簡(jiǎn)單遺傳算法采用賭輪選擇機(jī)制，令Σfi表示群體的適應(yīng)度值之總和，fi表示群體中第i個(gè)染色體的適應(yīng)度值，它產(chǎn)生后代的能力正好為其適應(yīng)度值所占份額

fi/Σfi。6.1.1遺傳算法基本原理（續(xù)）3.遺傳操作（續(xù)）（2）交叉操作

將被選擇出的兩個(gè)個(gè)體P1和P2作為父母?jìng)€(gè)體，將兩者的部分碼值進(jìn)行交換。假設(shè)有如下8位長(zhǎng)的兩個(gè)個(gè)體產(chǎn)生一個(gè)在1到7之間的隨機(jī)數(shù)c，假如現(xiàn)在產(chǎn)生的是3，將P1和P2的低三位交換：P1的高五位與P2的低三位組成數(shù)串10001001，這就是P1和P2的一個(gè)后代Q1個(gè)體；P2的高五位與P1的低三位組成數(shù)串11011110，這就是P1和P2的另一個(gè)后代Q2個(gè)體。交換過程如下：6.1.1遺傳算法基本原理（續(xù)）3.遺傳操作（續(xù)）（3）變異操作

是改變數(shù)碼串的某個(gè)位置上的數(shù)碼，先以最簡(jiǎn)單的二進(jìn)制編碼表示方式來(lái)說(shuō)明：二進(jìn)制編碼表示的每一個(gè)位置的數(shù)碼只有0與1這兩個(gè)可能，比如有如下二進(jìn)制編碼表示：

二進(jìn)制編碼表示的簡(jiǎn)單變異操作是將0與1互換

現(xiàn)在對(duì)TSP的變異操作做個(gè)簡(jiǎn)單介紹，隨機(jī)產(chǎn)生一個(gè)1至n之間的數(shù)k，決定對(duì)回路中的第k個(gè)城市的代碼wk作變異操作；又產(chǎn)生一個(gè)1至n之間的數(shù)wk，并將wk加到尾部，得到

w1w2……wk-1wkwk+1……wnwk這個(gè)串有n+1個(gè)數(shù)碼，注意數(shù)wk在此串中重復(fù)了，必須刪除與數(shù)wk相重復(fù)的數(shù)得到合法的染色體。6.1.2

遺傳算法的求解步驟1.遺傳算法的特點(diǎn)(1)遺傳算法是對(duì)參數(shù)集合的編碼而非針對(duì)參數(shù)本身進(jìn)行進(jìn)化。(2)遺傳算法從問題解的編碼組開始搜索而非從單個(gè)解開始搜索。(3)

遺傳算法利用目標(biāo)函數(shù)的適應(yīng)度這一信息而非利用導(dǎo)數(shù)或其它輔助信息來(lái)指導(dǎo)搜索。(4)

遺傳算法利用選擇、交叉、變異等算子而不是利用確定性規(guī)則進(jìn)行隨機(jī)操作。

遺傳算法不受搜索空間的限制性假設(shè)的約束，不要求連續(xù)性、導(dǎo)數(shù)存在和單峰等假設(shè)，能從離散的、多極值的、含有噪音的高維問題中以很大的概率找到全局最優(yōu)解。由于它固有的并行性，遺傳算法非常適用于大規(guī)模并行計(jì)算，已在優(yōu)化、機(jī)器學(xué)習(xí)和并行處理等領(lǐng)域得到越來(lái)越廣泛的應(yīng)用。6.1.2

遺傳算法的求解步驟（續(xù)）2.遺傳算法的框圖

簡(jiǎn)單遺傳算法框圖如圖6.2所示。

遺傳算法通過隨機(jī)方式產(chǎn)生若干個(gè)所求解問題的數(shù)字編碼，即染色體，形成初始群體；通過適應(yīng)度函數(shù)給每個(gè)個(gè)體一個(gè)數(shù)值評(píng)價(jià)，淘汰低適應(yīng)度的個(gè)體，選擇高適應(yīng)度的個(gè)體參加遺傳操作；經(jīng)過遺傳操作后的個(gè)體集合形成下一代新的群體。再對(duì)這個(gè)新群體進(jìn)行下一輪進(jìn)化。這就是遺傳算法的基本原理。圖6.2簡(jiǎn)單遺傳算法框圖6.1.2

遺傳算法的求解步驟（續(xù)）2.遺傳算法的框圖（續(xù)）

簡(jiǎn)單遺傳算法的求解步驟如下：(1)初始化群體;(2)計(jì)算群體上每個(gè)個(gè)體的適應(yīng)度值;(3)按個(gè)體適應(yīng)度值決定的某個(gè)規(guī)則選擇將進(jìn)入下一代的個(gè)體;(4)按概率pc進(jìn)行交叉操作;(5)按概率pc進(jìn)行突變操作;(6)若無(wú)滿足某種停止條件，則轉(zhuǎn)第(2)步，否則進(jìn)入下一步。(7)輸出群體中適應(yīng)度值最優(yōu)的染色體作為問題的滿意解或最優(yōu)解。

6.1.2

遺傳算法的求解步驟（續(xù)）2.遺傳算法的框圖（續(xù)）一般遺傳算法的主要步驟如下：(1)隨機(jī)產(chǎn)生一個(gè)由確定長(zhǎng)度的特征字符串組成的初始群體。(2)對(duì)該字符串群體迭代地執(zhí)行下面的步驟①和步驟②，直到滿足停止標(biāo)準(zhǔn)：①計(jì)算群體中每個(gè)個(gè)體字符串的適應(yīng)值，其中GEN是當(dāng)前代數(shù)；②應(yīng)用復(fù)制、交叉和變異等遺傳算子產(chǎn)生下一代群體。(3)把在后代中出現(xiàn)的最好個(gè)體字符串指定為遺傳算法的執(zhí)行結(jié)果，這個(gè)結(jié)果可以表示問題的一個(gè)解。

圖6.3基本遺傳算法框圖6.1.2

遺傳算法的求解步驟（續(xù)）2.遺傳算法的框圖（續(xù)）也可將遺傳算法的一般結(jié)構(gòu)表示為如下形式：Procedure:GeneticAlgorithmsbegint←0;initializeP(t);evaluateP(t);while(notterminationcondition)dobeginrecombineP(t)toyieldC(t);evaluateC(t);selectP(t+1)fromP(t)andC(t);t←t+1;endend6.2

進(jìn)化控制基本原理6.2.1進(jìn)化控制原理與系統(tǒng)結(jié)構(gòu)1.進(jìn)化控制及基本思想

進(jìn)化控制源于生物的進(jìn)化機(jī)制。20世紀(jì)90年代末，在生物醫(yī)學(xué)界和自動(dòng)控制界出現(xiàn)了研究進(jìn)化控制的苗頭。現(xiàn)在，進(jìn)化控制在理論研究和應(yīng)用兩方面都得到長(zhǎng)足進(jìn)展。

進(jìn)化控制是建立在進(jìn)化計(jì)算（尤其是遺傳算法）和反饋機(jī)制的基礎(chǔ)上的。從控制角度看，進(jìn)化計(jì)算的基本概念和要素（如編碼與解碼、適應(yīng)度函數(shù)、遺傳操作等）中都或多或少地隱含了反饋原理。進(jìn)化機(jī)制與反饋控制機(jī)制的結(jié)合是可行的。對(duì)這種結(jié)合的進(jìn)一步理論分析和研究將有助于對(duì)進(jìn)化計(jì)算收斂可控性、時(shí)間復(fù)雜度等方面的深入研究，并有利于進(jìn)化計(jì)算中一些基本問題的解決。6.2.1進(jìn)化控制原理與系統(tǒng)結(jié)構(gòu)（續(xù)）2.進(jìn)化控制系統(tǒng)的基本結(jié)構(gòu)（1）直接進(jìn)化控制

由GA直接作用于控制器，構(gòu)成進(jìn)化控制器，對(duì)受控對(duì)象進(jìn)行控制，再通過反饋形成進(jìn)化控制系統(tǒng)。（2）間接進(jìn)化控制

由進(jìn)化學(xué)習(xí)機(jī)制(進(jìn)化控制器