人工神經(jīng)網(wǎng)絡(luò)講義培訓課件

人工神經(jīng)網(wǎng)絡(luò)講義引言定義幾個基本問題NNI的原理NNI的理論依據(jù)NNI的優(yōu)點神經(jīng)網(wǎng)絡(luò)原理2人工神經(jīng)網(wǎng)絡(luò)講義定義辨識就是在輸入輸出數(shù)據(jù)的基礎(chǔ)上，從一組給定的模型中確定一個與所測系統(tǒng)等價的模型L.A.Zadeh辨識的三要素：I/O數(shù)據(jù)、系統(tǒng)結(jié)構(gòu)模型、等價準則原理框圖神經(jīng)網(wǎng)絡(luò)原理3人工神經(jīng)網(wǎng)絡(luò)講義系統(tǒng)辨識的原理圖系統(tǒng)辨識模型W(k)Z(k)-+e(k)u(k)神經(jīng)網(wǎng)絡(luò)原理4人工神經(jīng)網(wǎng)絡(luò)講義基本問題模型的選擇原則：兼顧復雜性和精確性

NNI：網(wǎng)絡(luò)隱節(jié)點個數(shù)選擇由仿真確定輸入信號選擇對動態(tài)系統(tǒng)而言，輸入信號要充分激勵，（基本要求）進一步，最優(yōu)輸入信號設(shè)計

NNI：噪聲或偽隨機信號

誤差準則的確定神經(jīng)網(wǎng)絡(luò)原理5人工神經(jīng)網(wǎng)絡(luò)講義誤差準則的確定誤差的三種形式輸出誤差逆模型辨識誤差廣義誤差例神經(jīng)網(wǎng)絡(luò)原理6人工神經(jīng)網(wǎng)絡(luò)講義輸出誤差神經(jīng)網(wǎng)絡(luò)原理7人工神經(jīng)網(wǎng)絡(luò)講義逆模型辨識誤差神經(jīng)網(wǎng)絡(luò)原理8人工神經(jīng)網(wǎng)絡(luò)講義廣義誤差神經(jīng)網(wǎng)絡(luò)原理9人工神經(jīng)網(wǎng)絡(luò)講義例:s的差分方程準則L為學習序列長度，為數(shù)值NNI：NNI：實質(zhì)為最優(yōu)化問題神經(jīng)網(wǎng)絡(luò)原理10人工神經(jīng)網(wǎng)絡(luò)講義NNI原理線性模型（ARMA模型)原對非線性系統(tǒng)無統(tǒng)一數(shù)學模型描述現(xiàn)用NN逼近，給出基于輸出誤差的NNINNI原理：在學習系統(tǒng)的I/O數(shù)據(jù)，建立系統(tǒng)的辨識格式，使誤差準則最小，從中得出隱含的I/O關(guān)系神經(jīng)網(wǎng)絡(luò)原理11人工神經(jīng)網(wǎng)絡(luò)講義神經(jīng)網(wǎng)絡(luò)辨識系統(tǒng)結(jié)構(gòu)示意圖神經(jīng)網(wǎng)絡(luò)原理12人工神經(jīng)網(wǎng)絡(luò)講義TDLX(t)y(t)神經(jīng)網(wǎng)絡(luò)原理13人工神經(jīng)網(wǎng)絡(luò)講義NNI的理論依據(jù)定理：具有任意數(shù)目隱單元的三層前向網(wǎng)絡(luò)可一致逼近平方可積分函數(shù)神經(jīng)網(wǎng)絡(luò)原理14人工神經(jīng)網(wǎng)絡(luò)講義NNI的優(yōu)點無需建立實際系統(tǒng)的辨識格式，可省去系統(tǒng)結(jié)構(gòu)建模這一步，可調(diào)參數(shù)為NN的權(quán)值;可對本質(zhì)非線性系統(tǒng)進行辨識，在網(wǎng)絡(luò)外部含系統(tǒng)I/O特征，非算法式的;辨識算法不依賴于辨識系統(tǒng)的維數(shù)，僅與NN本身和學習算法有關(guān);NN為實際系統(tǒng)的物理實現(xiàn)，可用于在在線控制。神經(jīng)網(wǎng)絡(luò)原理15人工神經(jīng)網(wǎng)絡(luò)講義NNI的一般結(jié)構(gòu)引言對象的NLmodel描述神經(jīng)網(wǎng)絡(luò)原理16人工神經(jīng)網(wǎng)絡(luò)講義引言NN：多層前饋網(wǎng)絡(luò)（BP等）可實現(xiàn)任意NL靜態(tài)映射；反饋網(wǎng)絡(luò)（Hopfield）有動態(tài)環(huán)節(jié)，不可去映射NN問題：希望構(gòu)造新網(wǎng)絡(luò)，保持2者優(yōu)點，可映射任意NL動態(tài)網(wǎng)絡(luò)解決：將Hopfield網(wǎng)絡(luò)形式由單層變多層神經(jīng)網(wǎng)絡(luò)原理17人工神經(jīng)網(wǎng)絡(luò)講義對象NLmodel描述狀態(tài)方程NLmodel的四種形式得出的四種辨識結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)原理18人工神經(jīng)網(wǎng)絡(luò)講義狀態(tài)方程系統(tǒng)為具有未知參數(shù)的線性對象時，系統(tǒng)可控且可觀，有串－并聯(lián)、并聯(lián)兩種形式神經(jīng)網(wǎng)絡(luò)原理19人工神經(jīng)網(wǎng)絡(luò)講義四種形式神經(jīng)網(wǎng)絡(luò)原理20人工神經(jīng)網(wǎng)絡(luò)講義辨識結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)原理21人工神經(jīng)網(wǎng)絡(luò)講義并聯(lián)模型+-ym(k+1)對象y(k+1)u(k)

(a)

e(k+1)NN模型Z-1神經(jīng)網(wǎng)絡(luò)原理22人工神經(jīng)網(wǎng)絡(luò)講義串并聯(lián)模型+-對象y(k+1)u(k)

(b)

e(k+1)NN模型Z-1神經(jīng)網(wǎng)絡(luò)原理23人工神經(jīng)網(wǎng)絡(luò)講義基于BP網(wǎng)絡(luò)的辨識(p177)考慮SISO問題NN的學習算法例神經(jīng)網(wǎng)絡(luò)原理24人工神經(jīng)網(wǎng)絡(luò)講義流程圖YN圖2.9BP網(wǎng)絡(luò)模型辨識框圖樣本{u(k-1),y(k-1)}進行數(shù)據(jù)預處理網(wǎng)絡(luò)權(quán)值初始化開始由網(wǎng)絡(luò)輸出ym(k-1)，計算e(k-1)修正網(wǎng)絡(luò)權(quán)值e(k-1)<ε輸出網(wǎng)絡(luò)模型參數(shù)結(jié)束神經(jīng)網(wǎng)絡(luò)原理25人工神經(jīng)網(wǎng)絡(luò)講義考慮SISO問題設(shè)NN結(jié)構(gòu)為3層，各層神經(jīng)元的選擇：輸入層：設(shè)n、m分別為y(t)、u(t)之階次則隱層H：a+(n+m)-1/2

輸出層O：輸出向量組成：神經(jīng)網(wǎng)絡(luò)原理26人工神經(jīng)網(wǎng)絡(luò)講義NN的輸入輸出關(guān)系各層的輸入輸出關(guān)系權(quán)系數(shù)修改法則算法步驟（仿真時）神經(jīng)網(wǎng)絡(luò)原理27人工神經(jīng)網(wǎng)絡(luò)講義各層輸入輸出關(guān)系性能指標：神經(jīng)網(wǎng)絡(luò)原理28人工神經(jīng)網(wǎng)絡(luò)講義權(quán)系數(shù)修改法則神經(jīng)網(wǎng)絡(luò)原理29人工神經(jīng)網(wǎng)絡(luò)講義算法步驟初始化權(quán)值選擇之一計算由形成計算按以上算法修正加權(quán)系數(shù)將移位，轉(zhuǎn)第二步神經(jīng)網(wǎng)絡(luò)原理30人工神經(jīng)網(wǎng)絡(luò)講義3.2.5BP網(wǎng)絡(luò)逼近仿真實例使用BP網(wǎng)絡(luò)逼近對象：

BP網(wǎng)絡(luò)逼近程序見chap7_1.m神經(jīng)網(wǎng)絡(luò)原理31人工神經(jīng)網(wǎng)絡(luò)講義仿真例例1電加熱爐辨識仿真

例2

例3神經(jīng)網(wǎng)絡(luò)原理32人工神經(jīng)網(wǎng)絡(luò)講義神經(jīng)網(wǎng)絡(luò)原理33人工神經(jīng)網(wǎng)絡(luò)講義模型辨識前數(shù)據(jù)的預處理①去除趨勢項②數(shù)據(jù)濾波③數(shù)據(jù)的歸一化處理神經(jīng)網(wǎng)絡(luò)原理34人工神經(jīng)網(wǎng)絡(luò)講義三溫區(qū)電加熱爐系統(tǒng)辨識

本系統(tǒng)BP神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層、輸出層三層組成。系統(tǒng)的輸入層取6個神經(jīng)元、隱含層取10個神經(jīng)元輸出層取3個神經(jīng)元，目標誤差平方和為1.5e-006，加入二位式偽隨機信號（PRBS），得到實際觀測3400樣本，進行歸一化處理。從測試樣本中選取970個樣本進行訓練，溫度從400升至428。神經(jīng)網(wǎng)絡(luò)原理35人工神經(jīng)網(wǎng)絡(luò)講義網(wǎng)絡(luò)爐溫目標輸出與實際輸出神經(jīng)網(wǎng)絡(luò)原理36人工神經(jīng)網(wǎng)絡(luò)講義局部放大圖神經(jīng)網(wǎng)絡(luò)原理37人工神經(jīng)網(wǎng)絡(luò)講義幾種算法學習訓練時間比較項目標準BP算法加動量因子的BP算法LM算法時間（秒）1209030次數(shù)5000300073

比較標準BP網(wǎng)絡(luò)與改進算法后的BP網(wǎng)絡(luò)，前者存在著學習速度慢，需要較長時間，平均訓練次數(shù)很多，有時訓練次數(shù)到了后仍達不到目標期望誤差；后者學習速度快，只時間短，平均訓練次數(shù)少，網(wǎng)絡(luò)的輸出與系統(tǒng)實測輸出擬合得很好。神經(jīng)網(wǎng)絡(luò)原理38人工神經(jīng)網(wǎng)絡(luò)講義對象輸出與模型輸出曲線圖

神經(jīng)網(wǎng)絡(luò)原理39人工神經(jīng)網(wǎng)絡(luò)講義3.2RBF網(wǎng)絡(luò)的逼近采用RBF網(wǎng)絡(luò)逼近一對象的結(jié)構(gòu)如圖3-14所示。

神經(jīng)網(wǎng)絡(luò)原理40人工神經(jīng)網(wǎng)絡(luò)講義圖3-14RBF神經(jīng)網(wǎng)絡(luò)逼近

神經(jīng)網(wǎng)絡(luò)原理41人工神經(jīng)網(wǎng)絡(luò)講義使用RBF網(wǎng)絡(luò)逼近下列對象：RBF網(wǎng)絡(luò)逼近程序見chap7_3.m。

3.3RBF網(wǎng)絡(luò)逼近仿真實例神經(jīng)網(wǎng)絡(luò)原理42人工神經(jīng)網(wǎng)絡(luò)講義7.4回歸神經(jīng)網(wǎng)絡(luò)對角回歸型神經(jīng)網(wǎng)絡(luò)（DRNN：DiagonalRecurrentNeuralNetwork）是具有反饋的動態(tài)神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠更直接更生動地反映系統(tǒng)的動態(tài)特性，它在BP網(wǎng)絡(luò)基本結(jié)構(gòu)的基礎(chǔ)上，通過存儲內(nèi)部狀態(tài)使其具備映射動態(tài)特征的功能，從而使系統(tǒng)具有適應(yīng)時變特性的能力，DRNN網(wǎng)絡(luò)代表了神經(jīng)網(wǎng)絡(luò)建模和控制的方向。神經(jīng)網(wǎng)絡(luò)原理43人工神經(jīng)網(wǎng)絡(luò)講義3.4.1DRNN網(wǎng)絡(luò)結(jié)構(gòu)

DRNN網(wǎng)絡(luò)是一種三層前向網(wǎng)絡(luò)，其隱含層為回歸層。正向傳播是輸入信號從輸入層經(jīng)隱層傳向輸出層，若輸出層得到了期望的輸出，則學習算法結(jié)束；否則，轉(zhuǎn)至反向傳播。反向傳播就是將誤差信號（理想輸出與實際輸出之差）按聯(lián)接通路反向計算，由梯度下降法調(diào)整各層神經(jīng)元的權(quán)值和閾值，使誤差信號減小。

DRNN網(wǎng)絡(luò)結(jié)構(gòu)如圖7-18所示。神經(jīng)網(wǎng)絡(luò)原理44人工神經(jīng)網(wǎng)絡(luò)講義圖3-18DRNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)原理45人工神經(jīng)網(wǎng)絡(luò)講義圖3-19DRNN神經(jīng)網(wǎng)絡(luò)逼近

神經(jīng)網(wǎng)絡(luò)原理46人工神經(jīng)網(wǎng)絡(luò)講義3.4.3DRNN網(wǎng)絡(luò)逼近仿真實例使用DRNN網(wǎng)絡(luò)逼近下列對象：DRNN網(wǎng)絡(luò)逼近程序見chap7_4.m。

神經(jīng)網(wǎng)絡(luò)原理47人工神經(jīng)網(wǎng)絡(luò)講義基于Hopfield網(wǎng)絡(luò)的辨識(p216)系統(tǒng)NN為Hopfield網(wǎng)絡(luò)時神經(jīng)網(wǎng)絡(luò)原理48人工神經(jīng)網(wǎng)絡(luò)講義系統(tǒng)線性系統(tǒng)：

用Hopfield網(wǎng)絡(luò)來模擬系統(tǒng)，使在所有狀態(tài)下平方誤差最小。神經(jīng)網(wǎng)絡(luò)原理49人工神經(jīng)網(wǎng)絡(luò)講義Hopfield網(wǎng)絡(luò)辨識框圖神經(jīng)網(wǎng)絡(luò)原理50人工神經(jīng)網(wǎng)絡(luò)講義式中神經(jīng)網(wǎng)絡(luò)原理51人工神經(jīng)網(wǎng)絡(luò)講義NN為Hopfield網(wǎng)絡(luò)時在R充分大時，可忽略項后一項不為0時在X(t),u(t),在[0,T]上線性獨立時，[M]不為0神經(jīng)網(wǎng)絡(luò)原理52人工神經(jīng)網(wǎng)絡(luò)講義例二階系統(tǒng)n=2，此時神經(jīng)網(wǎng)絡(luò)原理53人工神經(jīng)網(wǎng)絡(luò)講義神經(jīng)網(wǎng)絡(luò)原理54人工神經(jīng)網(wǎng)絡(luò)講義神經(jīng)網(wǎng)絡(luò)原理55人工神經(jīng)網(wǎng)絡(luò)講義神經(jīng)網(wǎng)絡(luò)原理56人工神經(jīng)網(wǎng)絡(luò)講義逆動力學系統(tǒng)的建模問題的提出NL系統(tǒng)的可逆性逆系統(tǒng)的建模方法基于3層MADALINE網(wǎng)的逆模型算法神經(jīng)網(wǎng)絡(luò)原理57人工神經(jīng)網(wǎng)絡(luò)講義問題的提出機器人系統(tǒng)逆動力學問題：尋找控制T，實現(xiàn)已知的軌跡解答：求出逆模型神經(jīng)網(wǎng)絡(luò)原理58人工神經(jīng)網(wǎng)絡(luò)講義NL系統(tǒng)的可逆性線性系統(tǒng)：SISO可逆性一目了然

MIMO能觀即可逆NL系統(tǒng)：SISO定義定理：如果對于u(k)是嚴格單調(diào)的，則系統(tǒng)在

是可逆的，系統(tǒng)任意時刻k成立，則系統(tǒng)可逆神經(jīng)網(wǎng)絡(luò)原理59人工神經(jīng)網(wǎng)絡(luò)講義定義如果存在的子集A，使得對于當時，即有則稱系統(tǒng)在點是可逆的。反之，對于任意存在兩個不同的使得輸出相等，即則稱系統(tǒng)是奇異的。神經(jīng)網(wǎng)絡(luò)原理60人工神經(jīng)網(wǎng)絡(luò)講義建模方法有直接逆系統(tǒng)法正逆系統(tǒng)法對象—正模型—逆模型學習法等介紹直接逆系統(tǒng)法

NN可以用BP網(wǎng)絡(luò)、CMAC網(wǎng)絡(luò)、MADALINE網(wǎng)絡(luò)等神經(jīng)網(wǎng)絡(luò)原理61人工神經(jīng)網(wǎng)絡(luò)講義直接逆系統(tǒng)法神經(jīng)網(wǎng)絡(luò)原理62人工神經(jīng)網(wǎng)絡(luò)講義正逆系統(tǒng)法神經(jīng)網(wǎng)絡(luò)原理63人工神經(jīng)網(wǎng)絡(luò)講義對象—正模型—逆模型學習法神經(jīng)網(wǎng)絡(luò)原理64人工神經(jīng)網(wǎng)絡(luò)講義基于BP網(wǎng)絡(luò)的逆模型辨識例chap7_1_inv.m神經(jīng)網(wǎng)絡(luò)原理66人工神經(jīng)網(wǎng)絡(luò)講義基于3層MADALINE網(wǎng)的逆模型算法系統(tǒng)結(jié)構(gòu)學習算法神經(jīng)網(wǎng)絡(luò)原理67人工神經(jīng)網(wǎng)絡(luò)講義神經(jīng)網(wǎng)絡(luò)原理68人工神經(jīng)網(wǎng)絡(luò)講義學習算法3層網(wǎng)絡(luò)權(quán)陣修正算法定義實例神經(jīng)網(wǎng)絡(luò)原理69人工神經(jīng)網(wǎng)絡(luò)講義權(quán)陣則有神經(jīng)網(wǎng)絡(luò)原理70人工神經(jīng)網(wǎng)絡(luò)講義修正算法神經(jīng)網(wǎng)絡(luò)原理71人工神經(jīng)網(wǎng)絡(luò)講義定義對系統(tǒng)S若存在控制u，使之滿足則稱上存在一個擬滑動狀態(tài)即系統(tǒng)可逆本系統(tǒng)算法：原始的：改進：神經(jīng)網(wǎng)絡(luò)原理72人工神經(jīng)網(wǎng)絡(luò)講義例(p216)線性系統(tǒng)非線性系統(tǒng)2種情況仿真單層：多層：6-3-3-1結(jié)構(gòu)結(jié)果為：單層、多層均可很好擬合系統(tǒng)多層對初始值不敏感，改進算法更快神經(jīng)網(wǎng)絡(luò)原理73人工神經(jīng)網(wǎng)絡(luò)講義基于神經(jīng)網(wǎng)絡(luò)的

系統(tǒng)辨識工具箱1NNSYSID:丹麥工業(yè)大學自動化系M.Norgaard博士開發(fā)神經(jīng)網(wǎng)絡(luò)原理74人工神經(jīng)網(wǎng)絡(luò)講義訓練算法訓練算法含義batbpIglsincbpmarpmarplmrpe批處理形式的BP算法多輸入神經(jīng)網(wǎng)絡(luò)的迭代廣義最小二乘(LS)算法遞推（/增量）形式的BP算法基本Levenberg-Marquart算法節(jié)省內(nèi)存的Levenberg-Marquart算法遞推預報誤差（RPE）算法神經(jīng)網(wǎng)絡(luò)原理75人工神經(jīng)網(wǎng)絡(luò)講義非線性系統(tǒng)的模型形式模型形式含義nnarmax1nnarmax2nnarxnnarxmnniglsnnio1nnoennssifnnrarmax1nnrarmax2nnrarx辨識ARMAX(或ARMA)神經(jīng)網(wǎng)絡(luò)模型（線性噪聲濾波器）辨識ARMAX(或ARMA)神經(jīng)網(wǎng)絡(luò)模型辨識ARX(或AR)神經(jīng)網(wǎng)絡(luò)模型辨識多輸入ARX(或AR)神經(jīng)網(wǎng)絡(luò)模型迭代廣義最小二乘(LS)算法訓練多輸入NN