人工神經(jīng)元網(wǎng)絡(luò)控制論

1、人工神經(jīng)元網(wǎng)絡(luò)控制論第1頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日2/1533.1 引言3.2 前向神經(jīng)網(wǎng)絡(luò)模型3.6 神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)3.7 非線性動(dòng)態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識(shí)3.8 神經(jīng)網(wǎng)絡(luò)控制的學(xué)習(xí)機(jī)制3.9 神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計(jì)3.3 動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型 3.10 單一神經(jīng)元控制法目錄第2頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日3/1533.1 引言 人工神經(jīng)網(wǎng)絡(luò)就是模擬人腦細(xì)胞的分布式工作特點(diǎn)和自組織功能，且能實(shí)現(xiàn)并行處理、自學(xué)習(xí)和非線性映射等能力的一種系統(tǒng)模型。 第3頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日4/153發(fā)展歷史 194

2、3年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts合作提出形式神經(jīng)元數(shù)學(xué)模型(MP)，揭開了神經(jīng)科學(xué)理論的新時(shí)代。 1944年Hebb提出了改變神經(jīng)元連接強(qiáng)度的Hebb規(guī)則。 1957年Rosenblatt首次引進(jìn)了感知器概念(Perceptron)。 1976年，Grossberg提出了自適應(yīng)共振理論。 1982年，美國(guó)加州工學(xué)院物理學(xué)家Hopfield提出了HNN模型，他引入了“計(jì)算能量函數(shù)”的概念，給出了網(wǎng)絡(luò)的穩(wěn)定性判據(jù)。 1986年，Rumelhart等PDP研究小組提出了多層前向傳播網(wǎng)絡(luò)的BP學(xué)習(xí)算法。第4頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日5/153主要內(nèi)容

3、第5頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日6/1533.1.1 神經(jīng)元模型3.1.2 神經(jīng)網(wǎng)絡(luò)的模型分類3.1.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法 3.1.4 神經(jīng)網(wǎng)絡(luò)的泛化能力 3.1 引言第6頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日7/1533.1.1 神經(jīng)元模型 神經(jīng)元模型是生物神經(jīng)元的抽象和模擬?？煽醋鞫噍斎?單輸出的非線性器件 。xi 輸入信號(hào)，j=1,2,n; wij 表示從單元uj 到單元ui 的 連接權(quán)值;si 外部輸入信號(hào)；ui 神經(jīng)元的內(nèi)部狀態(tài)；i 閾值； yi 神經(jīng)元的輸出信號(hào)； 通常假設(shè)yi=f(Neti)，而激勵(lì)函數(shù)f有4種類型。第7頁(yè)，

4、共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日8/153激勵(lì)函數(shù)類型 閾值型 分段線性型第8頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日9/153激勵(lì)函數(shù)類型 Sigmoid 函數(shù)型 Tan函數(shù)型 第9頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日10/1533.1.1 神經(jīng)元模型3.1.2 神經(jīng)網(wǎng)絡(luò)的模型分類3.1.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法 3.1.4 神經(jīng)網(wǎng)絡(luò)的泛化能力 3.1 引言第10頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日11/1533.1.2 神經(jīng)網(wǎng)絡(luò)的模型分類前向網(wǎng)絡(luò)反饋網(wǎng)絡(luò)(c)相互結(jié)合型網(wǎng)絡(luò)(d)混合型網(wǎng)絡(luò)第11頁(yè)，共

5、153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日12/1533.1.1 神經(jīng)元模型3.1.2 神經(jīng)網(wǎng)絡(luò)的模型分類3.1.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法 3.1.4 神經(jīng)網(wǎng)絡(luò)的泛化能力 3.1 引言第12頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日13/1533.1.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法 有導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí) 有導(dǎo)師學(xué)習(xí)：直接利用誤差信息 無導(dǎo)師學(xué)習(xí)：建立間接的評(píng)價(jià)函數(shù)第13頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日14/153學(xué)習(xí)規(guī)則第14頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日15/153 僅僅根據(jù)連接間的激活水平改變權(quán)系數(shù)。它常用于自聯(lián)

6、想網(wǎng)絡(luò) 。 最常見的學(xué)習(xí)算法是Hebb規(guī)則。若第i個(gè)與第j個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)，它們之間的連接應(yīng)加強(qiáng)，即 表示神經(jīng)元j到神經(jīng)元i的連接權(quán)值，表示學(xué)習(xí)步長(zhǎng)，Oj表示神經(jīng)元j的輸出，yi表示神經(jīng)元i的輸出。相關(guān)學(xué)習(xí)第15頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日16/153糾錯(cuò)學(xué)習(xí) 有導(dǎo)師學(xué)習(xí)方法 ，依賴關(guān)于輸出節(jié)點(diǎn)的外部反饋改變權(quán)系數(shù)。它常用于感知器網(wǎng)絡(luò)、多層前向傳播網(wǎng)絡(luò)和Boltzmann機(jī)網(wǎng)絡(luò)。其學(xué)習(xí)的方法是梯度下降法。 最常見的學(xué)習(xí)算法有規(guī)則、模擬退火學(xué)習(xí)規(guī)則。 Delta規(guī)則。定義指標(biāo)函數(shù) 連接權(quán)陣的更新規(guī)則為第16頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17

7、分，星期日17/153無導(dǎo)師學(xué)習(xí) 學(xué)習(xí)表現(xiàn)為自適應(yīng)實(shí)現(xiàn)輸入空間的檢測(cè)規(guī)則。它常用于ART、Kohonen自組織網(wǎng)絡(luò)。 在這類學(xué)習(xí)規(guī)則中,關(guān)鍵不在于實(shí)際節(jié)點(diǎn)的輸出怎樣與外部的期望輸出相一致，而在于調(diào)整參數(shù)以反映觀察事件的分布。 例如Winner-Take-All 學(xué)習(xí)規(guī)則 ?；舅枷胧?，假設(shè)輸出層有no個(gè)輸出神經(jīng)元，且當(dāng)輸入為x時(shí)，第m個(gè)神經(jīng)元的輸出值最大，則稱此神經(jīng)元為勝者，并將與此勝者神經(jīng)元相連的權(quán)系數(shù)進(jìn)行更新。其更新公式為第17頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日18/1533.1.1 神經(jīng)元模型3.1.2 神經(jīng)網(wǎng)絡(luò)的模型分類3.1.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法 3.1.

8、4 神經(jīng)網(wǎng)絡(luò)的泛化能力 3.1 引言第18頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日19/1533.1.4 神經(jīng)網(wǎng)絡(luò)的泛化能力 當(dāng)輸入矢量與樣本輸入矢量存在差異時(shí)，其神經(jīng)網(wǎng)絡(luò)的輸出同樣能夠準(zhǔn)確地呈現(xiàn)出應(yīng)有的輸出。這種能力就稱為神經(jīng)網(wǎng)絡(luò)的泛化能力。 在有導(dǎo)師指導(dǎo)下的學(xué)習(xí)中，泛化能力可以定義為訓(xùn)練誤差和測(cè)試誤差之差。 與輸入矢量的個(gè)數(shù)、網(wǎng)絡(luò)的節(jié)點(diǎn)數(shù)、權(quán)值和訓(xùn)練樣本集數(shù)目之間存在密切的關(guān)系。 第19頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日20/1533.1 引言3.2 前向神經(jīng)網(wǎng)絡(luò)模型3.6 神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)3.7 非線性動(dòng)態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識(shí)3.8 神經(jīng)網(wǎng)絡(luò)控

9、制的學(xué)習(xí)機(jī)制3.9 神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計(jì)3.3 動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型 3.10 單一神經(jīng)元控制法目錄第20頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日21/1533.2.1 網(wǎng)絡(luò)結(jié)構(gòu) 3.2.2 多層傳播網(wǎng)絡(luò)的BP學(xué)習(xí)算法3.2.3 快速的BP改進(jìn)算法3.2 前向神經(jīng)網(wǎng)絡(luò)模型第21頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日22/1533.2.1 網(wǎng)絡(luò)結(jié)構(gòu) 單一神經(jīng)元123第22頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日23/153單一神經(jīng)元 w0 為閾值， wj 決定第j個(gè)輸入的突觸權(quán)系數(shù)。第23頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17

10、分，星期日24/153單層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) x0=1閾值未畫出第24頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日25/153多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 以單隱含層網(wǎng)絡(luò)為例：Oj為隱含層的激勵(lì)第25頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日26/1533.2.1 網(wǎng)絡(luò)結(jié)構(gòu) 3.2.2 多層傳播網(wǎng)絡(luò)的BP學(xué)習(xí)算法3.2.3 快速的BP改進(jìn)算法3.2 前向神經(jīng)網(wǎng)絡(luò)模型第26頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日27/1533.2.2 多層傳播網(wǎng)絡(luò)的BP學(xué)習(xí)算法 有導(dǎo)師學(xué)習(xí)的基本思想 單層網(wǎng)絡(luò)的學(xué)習(xí)算法 多層前向網(wǎng)絡(luò)學(xué)習(xí)算法第27頁(yè)，共153頁(yè)，2022年，5

11、月20日，20點(diǎn)17分，星期日28/153 性能指標(biāo)為 ()是一個(gè)正定的、可微的凸函數(shù) ，常取 1. 有導(dǎo)師學(xué)習(xí)的基本思想 神經(jīng)網(wǎng)絡(luò)可以通過對(duì)合適樣本集來進(jìn)行訓(xùn)練。網(wǎng)絡(luò)的訓(xùn)練實(shí)質(zhì)上是根據(jù)對(duì)所有樣本的誤差指標(biāo)Ep達(dá)到極小的方法來實(shí)現(xiàn)突觸權(quán)陣的調(diào)整，以滿足當(dāng)輸入為Xp時(shí)其輸出為Tp 。第28頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日29/153 激勵(lì)函數(shù)為線性函數(shù)時(shí)，可通過最小二乘法來 學(xué)習(xí)。 激勵(lì)函數(shù)為非線性函數(shù)時(shí)，可采用Delta規(guī)則，即梯度法，有2. 單層網(wǎng)絡(luò)的學(xué)習(xí)算法 是學(xué)習(xí)因子 第29頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日30/1533. 多層前向

12、網(wǎng)絡(luò)的學(xué)習(xí)算法 網(wǎng)絡(luò)模型 第1個(gè)隱含層： 第r1個(gè)隱含層： 輸出層第30頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日31/153 采用梯度法： 其中： 定義廣義誤差 ： 可得：BP學(xué)習(xí)算法第31頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日32/153 輸出層時(shí)，有： 隱含層時(shí)，有：反向誤差傳播第32頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日33/153 假設(shè)對(duì)于輸入 期望的輸出網(wǎng)絡(luò)權(quán)系數(shù)的初始值見圖。試用BP算法訓(xùn)練此網(wǎng)絡(luò)（只給出一步迭代學(xué)習(xí)過程）。這里，取神經(jīng)元激勵(lì)函數(shù)： ，學(xué)習(xí)步長(zhǎng)為 。例3-1 第33頁(yè)，共153頁(yè)，2022年，5月20日

13、，20點(diǎn)17分，星期日34/153當(dāng)前輸出第34頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日35/153計(jì)算廣義誤差 第35頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日36/153連接權(quán)系數(shù)更新 第36頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日37/153學(xué)習(xí)流程第37頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日38/153(1) 初始化 設(shè)置學(xué)習(xí)因子0。較大時(shí)，收斂快，但易振蕩。較小時(shí)，反之。 最大容許誤差Emax。用于判斷學(xué)習(xí)是否結(jié)束。 隨機(jī)賦網(wǎng)絡(luò)初始權(quán)值。一般選擇比較小的隨機(jī)數(shù)。 第38頁(yè)，共153頁(yè)，2022年，5月20

14、日，20點(diǎn)17分，星期日39/153 增量型學(xué)習(xí)：保證最近樣本的逼近精度，速度快。 累積型學(xué)習(xí)：保證所有樣本的學(xué)習(xí)精度，速度慢。(2) 學(xué)習(xí)方式第39頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日40/153 激勵(lì)函數(shù)如用Sigmoid函數(shù)，應(yīng)增大斜率，減少飽和的情況，來提高訓(xùn)練速度。 調(diào)節(jié)學(xué)習(xí)因子：學(xué)習(xí)速率越大，收斂越快，但容易產(chǎn)生振蕩；而學(xué)習(xí)速率越小，收斂越慢。 增加Momentum項(xiàng) (3) 學(xué)習(xí)速率第40頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日41/153 目標(biāo)函數(shù)：例3-2:非線性函數(shù)逼近第41頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星

15、期日42/153學(xué)習(xí)設(shè)置 采用傳統(tǒng)的BP學(xué)習(xí)算法激勵(lì)函數(shù)都為Sigmoid函數(shù)。初始權(quán)系數(shù)陣由（0，1）之間的隨機(jī)數(shù)組成。學(xué)習(xí)步長(zhǎng) = 0.09。 學(xué)習(xí)樣本取20點(diǎn)，即： 校驗(yàn)樣本取30點(diǎn)，即：第42頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日43/153兩種MLP模型的學(xué)習(xí)效果第43頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日44/1533.2.1 網(wǎng)絡(luò)結(jié)構(gòu) 3.2.2 多層傳播網(wǎng)絡(luò)的BP學(xué)習(xí)算法3.2.3 快速的BP改進(jìn)算法3.2 前向神經(jīng)網(wǎng)絡(luò)模型第44頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日45/153 Fahlman在1988年首先提

16、出 當(dāng)問題滿足以下條件時(shí)：誤差表面呈拋物面、極值點(diǎn)附近凹面向上；某一權(quán)系數(shù)的梯度變化與其它權(quán)系數(shù)變化無關(guān)。 可采取如下的更新公式1. 快速BP算法第45頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日46/1532. 共軛梯度學(xué)習(xí)算法 共軛梯度學(xué)習(xí)算法具有堅(jiān)實(shí)的理論基礎(chǔ)。 特點(diǎn)：使用目標(biāo)函數(shù)的二階導(dǎo)數(shù)信息，可以明顯改善優(yōu)化算法的收斂速度。 不計(jì)算Hessian矩陣的逆，而是利用共軛梯度來間接地構(gòu)成Hessian矩陣的逆矩陣值。第46頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日47/1533.1 引言3.2 前向神經(jīng)網(wǎng)絡(luò)模型3.6 神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)3.7 非線性動(dòng)態(tài)系

17、統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識(shí)3.8 神經(jīng)網(wǎng)絡(luò)控制的學(xué)習(xí)機(jī)制3.9 神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計(jì)3.3 動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型 3.10 單一神經(jīng)元控制法目錄第47頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日48/153動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)帶時(shí)滯的多層感知器網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò) 回歸神經(jīng)網(wǎng)絡(luò) 3.3 動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型第48頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日49/1533.3.1 帶時(shí)滯的多層感知器網(wǎng)絡(luò) 有兩種實(shí)現(xiàn)：無輸出反饋 有輸出反饋 第49頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日50/153帶時(shí)滯的多層感知器網(wǎng)絡(luò)1 圖3-20 時(shí)滯神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第50頁(yè)，共1

18、53頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日51/153帶時(shí)滯的多層感知器網(wǎng)絡(luò)2 圖3-21 帶反饋時(shí)滯神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第51頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日52/1533.3.2 Hopfield神經(jīng)網(wǎng)絡(luò) 具有相互連接的反饋型神經(jīng)網(wǎng)絡(luò)模型 將其定義的“能量函數(shù)”概念引入到神經(jīng)網(wǎng)絡(luò)研究中，給出了網(wǎng)絡(luò)的穩(wěn)定性判據(jù)。 用模擬電子線路實(shí)現(xiàn)了所提出的模型，并成功地用神經(jīng)網(wǎng)絡(luò)方法實(shí)現(xiàn)了4位A/D轉(zhuǎn)換。 第52頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日53/153類型12第53頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日54/153 全連接

19、單層網(wǎng)絡(luò) 神經(jīng)元模型1. 二值型的Hopfield網(wǎng)絡(luò)yi取值通常為0和1或-1和1 第54頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日55/153例3-4：狀態(tài)轉(zhuǎn)移關(guān)系 假設(shè)一個(gè)3節(jié)點(diǎn)的離散Hopfield神經(jīng)網(wǎng)絡(luò)，已知網(wǎng)絡(luò)權(quán)值與閾值如圖3-23(a)所示。 采取隨機(jī)異步更新策略，計(jì)算狀態(tài)轉(zhuǎn)移關(guān)系。V1興奮：V2和V3狀態(tài)保持不變。初始狀態(tài)第55頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日56/153狀態(tài)轉(zhuǎn)移圖第56頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日57/153 能量函數(shù) 能量井 ：能量極小狀態(tài)（與網(wǎng)絡(luò)的穩(wěn)定狀態(tài)一一對(duì)應(yīng)） 用途：聯(lián)想

20、記憶、優(yōu)化動(dòng)力學(xué)特征：能量井第57頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日58/153能量井設(shè)計(jì) 能量井的分布是由連接權(quán)值決定的。一是根據(jù)求解問題的要求直接計(jì)算出所需要的連接權(quán)值。這種方法為靜態(tài)產(chǎn)生方法，一旦權(quán)值確定下來就不再改變；二是通過提供一種學(xué)習(xí)機(jī)制來訓(xùn)練網(wǎng)絡(luò)，使其能夠自動(dòng)調(diào)整連接權(quán)值，產(chǎn)生期望的能量井。這種方法為動(dòng)態(tài)產(chǎn)生方法。第58頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日59/153如下圖3節(jié)點(diǎn)DHNN模型為例，要求設(shè)計(jì)的能量井為狀態(tài)y1y2y3=010和111。權(quán)值和閾值可在-1,1區(qū)間取值，確定網(wǎng)絡(luò)權(quán)值和閾值。 （1）權(quán)值的靜態(tài)設(shè)計(jì)方法：例3

21、-6 第59頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日60/153解 對(duì)于狀態(tài)A，y1y2y3=010，當(dāng)系統(tǒng)處于穩(wěn)態(tài)時(shí)，有 W12+10 W23+30 W12+ W23+20 W23+ W13+30 第60頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日61/153特解 W12=0.5, W13=0.4, W23=0.1, 1=-0.7, 2=0.2, 3=-0.4. 對(duì)于任何一個(gè)初始狀態(tài)，最終都將達(dá)到所期望的穩(wěn)態(tài)A或B。 W12=-0.5, W13=0.5, W23=0.4, 1=0.1, 2=0.2, 3=-0.7. 出現(xiàn)了假能量井100 W12+10W23

22、+30 W12+ W23+20 W23+ W13+30第61頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日62/153 Hebb學(xué)習(xí)規(guī)則（主要方法）學(xué)習(xí)規(guī)則（2）基于學(xué)習(xí)規(guī)則的設(shè)計(jì)方法第62頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日63/153 原則為：若i與j兩個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)，則它們之間的連接應(yīng)加強(qiáng)，即：Hebb學(xué)習(xí)規(guī)則 第63頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日64/153對(duì)于一給定的需記憶的樣本向量t1,t2,.,tN ,如果初始權(quán)值為0，tk的狀態(tài)值為+1或-1，則其連接權(quán)系數(shù)的學(xué)習(xí)可以利用“外積規(guī)則”，即：標(biāo)量形式：活

23、躍值為1或0時(shí) ：外積規(guī)則 第64頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日65/1532. 網(wǎng)絡(luò)的穩(wěn)定性 定理3-2： 令S=（W，）代表神經(jīng)網(wǎng)絡(luò)，W為一對(duì)稱矩陣。則有：如果S工作在串行模式，W的對(duì)角元素非負(fù)（包括對(duì)角元為0的情況），則網(wǎng)絡(luò)總是收斂于穩(wěn)定狀態(tài)。（即在狀態(tài)空間沒有極限環(huán)存在）；如果S工作在并行模式時(shí)，網(wǎng)絡(luò)總是收斂于穩(wěn)定狀態(tài)或Hamming距離小于2的極限環(huán)。第65頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日66/153證明 定義能量函數(shù)為： 將E(k+1)在Y(k)展開Talyor級(jí)數(shù)，有： 其中， 第66頁(yè)，共153頁(yè)，2022年，5月20日

24、，20點(diǎn)17分，星期日67/153證明 不失一般性，假設(shè)閾值函數(shù)f()為符號(hào)函數(shù)sgn()，則 其中：第67頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日68/153證明 顯然 在串行工作方式下， 第68頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日69/153例3-7： 假設(shè)神經(jīng)元的閾值矢量=0，網(wǎng)絡(luò)輸出只取兩值0，1。要求Hopfield網(wǎng)絡(luò)記憶如下穩(wěn)定狀態(tài)， t1=(1 0 1 0)T。設(shè)采取并行更新，并對(duì)以下三種初始狀態(tài)下的網(wǎng)絡(luò)行為作出評(píng)價(jià)。y1（0）=(1 0 0 1)T， y2（0）=(1 0 0 0)T，y3（0）=(0 0 0 1)T。 第69頁(yè)，共

25、153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日70/153步驟1：權(quán)值設(shè)計(jì) 根據(jù) 得第70頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日71/153步驟2：穩(wěn)定性分析 對(duì)于y1(0)有：1,0,0,1T 0,0,0,0T 0,0,0,0T,因此 y1=0,0,0,0T,是一個(gè)穩(wěn)定態(tài)。 對(duì)于y2(0)有：1,0,0,0T 0,0,1,0T 1,0,0,0T,所以初始狀態(tài)2不屬于此Hopfield網(wǎng)絡(luò)記憶范圍。無法實(shí)現(xiàn)聯(lián)想。 對(duì)于y3(0)有：0,0,0,1T 0,1,0,0T 0,0,0,1T,也不屬于此Hopfield區(qū)的記憶范圍。第71頁(yè)，共153頁(yè)，2022年，5月2

26、0日，20點(diǎn)17分，星期日72/1533. 應(yīng)用：聯(lián)想記憶功能 必須具備兩個(gè)基本條件：能夠收斂于穩(wěn)定狀態(tài)，利用此穩(wěn)態(tài)來記憶樣本信息；具有回憶能力，能夠從某一局部輸入信息回憶起與其相關(guān)的其它記憶，或者由某一殘缺的信息回憶起比較完整的記憶。第72頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日73/153舉例：數(shù)字識(shí)別X=x1,x2,.,xNT 、X-1,1N ，N=1012=120 第73頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日74/153存在的問題 假能量井現(xiàn)象 并非任何一組樣本經(jīng)訓(xùn)練都可構(gòu)成一組穩(wěn)定的狀態(tài)。 給定一個(gè)偏離樣本的初始狀態(tài)，最終不一定收斂到與其Ha

27、mming距離最近的標(biāo)準(zhǔn)樣本狀態(tài)。 各樣本之間的Hamming距離分布對(duì)聯(lián)想記憶功能的正確實(shí)現(xiàn)有重要影響。若樣本之間相互正交(dH=N/2)效果最好。反之，若樣本特征相近則易出現(xiàn)錯(cuò)誤識(shí)別。 樣本數(shù)M越小，聯(lián)想記憶功能出現(xiàn)的錯(cuò)誤的可能性越小。仿真研究表明，取M=0.15N時(shí)，聯(lián)想的正確率較高。第74頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日75/153與二值型的Hopfield網(wǎng)絡(luò)模型具有相同的拓?fù)浣Y(jié)構(gòu) 神經(jīng)元的狀態(tài)oj滿足 ： N為網(wǎng)絡(luò)中神經(jīng)元的個(gè)數(shù)； oj 為神經(jīng)元j的狀態(tài)； cj 為常數(shù)且大于0； Rj 為正數(shù)； xj 為外部輸入； yi 為神經(jīng)元i的輸出，滿足 yi=f

28、(oi) 。4. 連續(xù)型的Hopfield網(wǎng)絡(luò) 第75頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日76/153 引入一個(gè)能量函數(shù)E： 定理3-3：若f-1 為單調(diào)遞增且連續(xù)， ，則沿系統(tǒng)軌道有：且當(dāng)且僅當(dāng) 時(shí)，穩(wěn)定性第76頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日77/153 因?yàn)?且當(dāng) 時(shí)，證明第77頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日78/153旅行商最優(yōu)路徑問題(Travelling Salesman Problem, 簡(jiǎn)稱TSP) 5. 優(yōu)化問題的應(yīng)用：TSP問題第78頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日

29、79/153 設(shè)計(jì)如下能量函數(shù)：式中 A、B、C、D均為正常數(shù)。第一項(xiàng)表示當(dāng)且僅當(dāng)每一城市行只包含一個(gè)“1” 時(shí)取極小值0；第二項(xiàng)表示當(dāng)且僅當(dāng)每一旅行位置只包含一個(gè)“1” 時(shí)取極小值0；第三項(xiàng)表示當(dāng)且僅當(dāng)置換矩陣中“1” 之和為n時(shí)取極小值0；第四項(xiàng)表示路徑長(zhǎng)度信息，它隨著路徑長(zhǎng)度的減小而減小。能量函數(shù)第79頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日80/153 f呈硬限幅特性 ，則有 其中化作標(biāo)準(zhǔn)型第80頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日81/153網(wǎng)絡(luò)模型第81頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日82/153算例 A=B=

30、D=500， C=200， RakCak=1, O0=0.02 微分方程的初值選為： Oak=O00+Oak 其中： O00為常數(shù)項(xiàng)，滿足在t=0時(shí)， 以利于收斂； Oak是擾動(dòng)項(xiàng)，其取值范圍為： -0.1O0Oak0.1O0 第82頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日83/153優(yōu)化結(jié)果第83頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日84/1533.3.3 回歸（Recurrent）神經(jīng)網(wǎng)絡(luò) 與Hopfield神經(jīng)網(wǎng)絡(luò)非常相似。 保留了部分前向傳播網(wǎng)絡(luò)的特性又具備部分Hopfield網(wǎng)絡(luò)的動(dòng)態(tài)聯(lián)想記憶能力。 Pineda在1987年首先將傳統(tǒng)的BP學(xué)

31、習(xí)算法引入到回歸神經(jīng)網(wǎng)絡(luò)中來，并提出回歸反向傳播算法。 第84頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日85/153 神經(jīng)元模型： 其中：離散型回歸神經(jīng)網(wǎng)絡(luò)(DTRNN)N是神經(jīng)網(wǎng)絡(luò)的輸出節(jié)點(diǎn)數(shù)，M是輸入矢量X的維數(shù) 第85頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日86/153網(wǎng)絡(luò)結(jié)構(gòu)第86頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日87/153 展成多層前向網(wǎng)絡(luò)學(xué)習(xí)方法1第87頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日88/153 迭代學(xué)習(xí)算法 梯度下降法實(shí)現(xiàn)學(xué)習(xí)方法2第88頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)1

32、7分，星期日89/153 權(quán)系數(shù)矩陣W初始化,置k=1; 取下一組訓(xùn)練樣本集，置所有狀態(tài)為零，所有 迭代： 流程第89頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日90/1533.1 引言3.2 前向神經(jīng)網(wǎng)絡(luò)模型3.6 神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)3.7 非線性動(dòng)態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識(shí)3.8 神經(jīng)網(wǎng)絡(luò)控制的學(xué)習(xí)機(jī)制3.9 神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計(jì)3.3 動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型 3.10 單一神經(jīng)元控制法目錄第90頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日91/1533.6.1 引言 神經(jīng)網(wǎng)絡(luò)控制的優(yōu)越性 神經(jīng)網(wǎng)絡(luò)控制器的分類 神經(jīng)網(wǎng)絡(luò)的逼近能力 對(duì)象第91頁(yè)，共153頁(yè)，2022年，5

33、月20日，20點(diǎn)17分，星期日92/153神經(jīng)網(wǎng)絡(luò)控制的優(yōu)越性 1神經(jīng)網(wǎng)絡(luò)可以處理那些難以用模型或規(guī)則描述的過程或系統(tǒng)2神經(jīng)網(wǎng)絡(luò)采用并行分布式信息處理，具有很強(qiáng)的容錯(cuò)性。 3神經(jīng)網(wǎng)絡(luò)是本質(zhì)的非線性系統(tǒng)4很強(qiáng)的信息綜合能力5神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)愈趨方便第92頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日93/153神經(jīng)網(wǎng)絡(luò)控制器的分類 逆控制器 自適應(yīng)網(wǎng)絡(luò)控制器 前饋控制結(jié)構(gòu) 自適應(yīng)評(píng)價(jià)網(wǎng)絡(luò)* 混合控制系統(tǒng) * 神經(jīng)網(wǎng)絡(luò)控制器 導(dǎo)師指導(dǎo)下的控制器 第93頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日94/153(1) 導(dǎo)師指導(dǎo)下的控制器 網(wǎng)絡(luò)的訓(xùn)練只涉及靜態(tài)過程，缺乏在

34、線學(xué)習(xí)機(jī)制。第94頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日95/153(2) 逆控制器 網(wǎng)絡(luò)訓(xùn)練 的目的就是為了逼近系統(tǒng)的逆動(dòng)力學(xué)模型。系統(tǒng)的逆動(dòng)力學(xué)模型不可逆時(shí)，不能用。第95頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日96/153 模型參考自適應(yīng)網(wǎng)絡(luò)控制器 (3) 自適應(yīng)網(wǎng)絡(luò)控制器 第96頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日97/153(4) 前饋控制結(jié)構(gòu) 控制器設(shè)計(jì)的主要困難是如何找到一種有效的學(xué)習(xí)方法實(shí)現(xiàn)對(duì)系統(tǒng)模型未知條件下網(wǎng)絡(luò)控制的在線學(xué)習(xí)。 第97頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日98/1533.

35、6.2 神經(jīng)網(wǎng)絡(luò)的逼近能力 相關(guān)結(jié)論：含一個(gè)隱層以上的多層前向傳播神經(jīng)網(wǎng)絡(luò)不僅可以以任意精度逼近連續(xù)函數(shù)本身，還可以逼近函數(shù)的導(dǎo)數(shù)項(xiàng)。 第98頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日99/1533.1 引言3.2 前向神經(jīng)網(wǎng)絡(luò)模型3.6 神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)3.7 非線性動(dòng)態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識(shí)3.8 神經(jīng)網(wǎng)絡(luò)控制的學(xué)習(xí)機(jī)制3.9 神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計(jì)3.3 動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型 3.10 單一神經(jīng)元控制法目錄第99頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日100/1533.7.1 辨識(shí)基礎(chǔ)3.7.2 神經(jīng)網(wǎng)絡(luò)辨識(shí)模型的結(jié)構(gòu) 3.7.3 非線性動(dòng)態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識(shí)

36、3.7 非線性動(dòng)態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識(shí)第100頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日101/153 L.A.Zadeh曾經(jīng)下過這樣的定義：“辨識(shí)是在輸入和輸出數(shù)據(jù)的基礎(chǔ)上，從一組給定的模型中，確定一個(gè)與所測(cè)系統(tǒng)等價(jià)的模型”。 使用非線性系統(tǒng)的輸入輸出數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)可認(rèn)為是非線性函數(shù)的逼近問題。 多層前向傳播網(wǎng)絡(luò)能夠逼近任意L2非線性函數(shù)。 3.7.1 辨識(shí)基礎(chǔ)第101頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日102/153 模型的選擇 輸入信號(hào)的選擇 誤差準(zhǔn)則的選擇 三大要素第102頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日103/1

37、533.7.1 辨識(shí)基礎(chǔ)3.7.2 神經(jīng)網(wǎng)絡(luò)辨識(shí)模型的結(jié)構(gòu) 3.7.3 非線性動(dòng)態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識(shí)3.7 非線性動(dòng)態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識(shí)第103頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日104/1533.7.2 神經(jīng)網(wǎng)絡(luò)辨識(shí)模型的結(jié)構(gòu) 逆模型法 前向建模法第104頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日105/153 所謂前向建模法是利用神經(jīng)網(wǎng)絡(luò)來逼近非線性系統(tǒng)的前向動(dòng)力學(xué)模型。前向建模法 TDLTapped Delay Line（按拍延遲線）第105頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日106/153 直接法：逆模型法第106頁(yè)，共

38、153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日107/153 存在的問題學(xué)習(xí)過程不一定是目標(biāo)最優(yōu)的。 一旦非線性系統(tǒng)對(duì)應(yīng)關(guān)系不是一對(duì)一的，所建立的逆模型可能不準(zhǔn)確。 克服方法存在的問題？第107頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日108/1533.7.1 辨識(shí)基礎(chǔ)3.7.2 神經(jīng)網(wǎng)絡(luò)辨識(shí)模型的結(jié)構(gòu) 3.7.3 非線性動(dòng)態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識(shí)3.7 非線性動(dòng)態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識(shí)第108頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日109/153 并行結(jié)構(gòu)：利用辨識(shí)模型的輸出，收斂性差。 串行結(jié)構(gòu)：利用系統(tǒng)的實(shí)際輸出，收斂性好。根據(jù)可分離性和線性性，有4

39、種結(jié)構(gòu)。辨識(shí)的兩種結(jié)構(gòu)第109頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日110/153含線性部分的辨識(shí)問題（模型1、2） 模型1 模型2第110頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日111/153線性部分的參數(shù)已知 模型1： 模型2：第111頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日112/153線性部分的參數(shù)未知 模型的辨識(shí)問題簡(jiǎn)單地歸結(jié)為帶時(shí)滯的多層感知器網(wǎng)絡(luò)模型的學(xué)習(xí)和線性系統(tǒng)的參數(shù)估計(jì)問題。第112頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日113/153 最小二乘法 其中 初始條件完全未知時(shí)，可取線性部分學(xué)習(xí)方

40、法第113頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日114/153 BP學(xué)習(xí)非線性部分學(xué)習(xí)方法第114頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日115/153例38 考慮以下模型： y(k+1）=ay(k)+by(k-1)+g(u) 其中a=0.3, b=0.6，g(u)=u3+0.3u2-0.4u 。 試辨識(shí)該系統(tǒng)第115頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日116/153 線性部分，采用遞推最小二乘學(xué)習(xí)法 非線性部分采用前向傳播多層神經(jīng)網(wǎng)絡(luò)來逼近。選擇神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為解第116頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期

41、日117/153 校驗(yàn)輸入信號(hào) ：辨識(shí)效果第117頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日118/153非線性可分離系統(tǒng)（模型3）第118頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日119/153BP學(xué)習(xí)第119頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日120/153 考慮如下非線性離散系統(tǒng)： 求：采用雙模型法解決該系統(tǒng)的辨識(shí)問題。例3- 9第120頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日121/153 單一模型網(wǎng)絡(luò)： 兩模型網(wǎng)絡(luò)均為：兩種方法的學(xué)習(xí)曲線第121頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日

42、122/153兩模型法的辨識(shí)效果第122頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日123/1533.1 引言3.2 前向神經(jīng)網(wǎng)絡(luò)模型3.6 神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)3.7 非線性動(dòng)態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識(shí)3.8 神經(jīng)網(wǎng)絡(luò)控制的學(xué)習(xí)機(jī)制3.9 神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計(jì)3.3 動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型 3.10 單一神經(jīng)元控制法目錄第123頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日124/1533.8 神經(jīng)網(wǎng)絡(luò)控制的學(xué)習(xí)機(jī)制 神經(jīng)元控制器的目的在于如何設(shè)計(jì)一個(gè)有效的神經(jīng)元網(wǎng)絡(luò)去完成代替?zhèn)鹘y(tǒng)控制器的作用，使得系統(tǒng)的輸出跟隨系統(tǒng)的期望輸出。為了達(dá)到這個(gè)目的，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法就是尋找一種有

43、效的途徑進(jìn)行網(wǎng)絡(luò)連接權(quán)陣或網(wǎng)絡(luò)結(jié)構(gòu)的修改，從而使得網(wǎng)絡(luò)控制器輸出的控制信號(hào)能夠保證系統(tǒng)輸出跟隨系統(tǒng)的期望輸出。 第124頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日125/153分類 3.8.1 監(jiān)督式學(xué)習(xí)離線學(xué)習(xí)法在線學(xué)習(xí)法反饋誤差學(xué)習(xí)法多網(wǎng)絡(luò)學(xué)習(xí)法 3.8.2 增強(qiáng)式學(xué)習(xí)第125頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日126/1531. 離線學(xué)習(xí)法適合靜態(tài)環(huán)境第126頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日127/1532. 在線學(xué)習(xí)法適合模型已知的動(dòng)態(tài)環(huán)境第127頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日128/1

44、53 采用最速下降法 學(xué)習(xí)方法假設(shè)系統(tǒng)的Jacobian矩陣已知性能指標(biāo)函數(shù)：第128頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日129/1533. 反饋誤差學(xué)習(xí)法適用于非線性系統(tǒng)線性絕對(duì)占優(yōu)條件下的網(wǎng)絡(luò)學(xué)習(xí)第129頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日130/1534. 多神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)法1 前向建模多網(wǎng)絡(luò)控制 第130頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日131/153多神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)法2 逆模型建模的多網(wǎng)絡(luò)控制結(jié)構(gòu)圖 第131頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日132/1533.8.2 增強(qiáng)式學(xué)習(xí) 利用當(dāng)前控

45、制是否成功來決定下一次控制該如何走的學(xué)習(xí)方式。 修正的辦法是對(duì)某一成功的行為進(jìn)行鼓勵(lì)，而對(duì)不成功的行為進(jìn)行懲罰。 用神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)時(shí)， 則可在權(quán)值空間進(jìn)行調(diào)整。第132頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日133/1533.1 引言3.2 前向神經(jīng)網(wǎng)絡(luò)模型3.6 神經(jīng)網(wǎng)絡(luò)控制基礎(chǔ)3.7 非線性動(dòng)態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識(shí)3.8 神經(jīng)網(wǎng)絡(luò)控制的學(xué)習(xí)機(jī)制3.9 神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計(jì)3.3 動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型 3.10 單一神經(jīng)元控制法目錄第133頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日134/1533.9.1 直接逆模型控制法 3.9.2 直接網(wǎng)絡(luò)控制法 3.9.3 多網(wǎng)絡(luò)自學(xué)習(xí)控制法 3.9 神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計(jì)第134頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日135/1533.9.1 直接逆模型控制法 訓(xùn)練結(jié)構(gòu)示意圖 第135頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日136/153直接逆模型控制的結(jié)構(gòu)示意圖 運(yùn)行于靜態(tài)參數(shù)環(huán)境第136頁(yè)，共153頁(yè)，2022年，5月20日，20點(diǎn)17分，星期日137/1533.9.1 直接逆模型控制法 3.9.2 直接網(wǎng)絡(luò)控制法 3.9.3 多網(wǎng)絡(luò)自學(xué)習(xí)控制法 3.9 神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計(jì)第137頁(yè)，共153頁(yè)，2022