《神經(jīng)網(wǎng)絡(luò)第三章》PPT課件課件

1、1 第3章 神經(jīng)控制中的系統(tǒng)辨識 3.1 系統(tǒng)辨識過程中神經(jīng)網(wǎng)絡(luò)的作用 3.2 非線性動態(tài)系統(tǒng)辨識 3.3 多層前向網(wǎng)絡(luò)辨識中的快速算法 3.4 非線性模型的預(yù)報誤差神經(jīng)網(wǎng)絡(luò)辨識 3.5 非線性系統(tǒng)逆模型的神經(jīng)網(wǎng)絡(luò)辨識 3.6 線性連續(xù)動態(tài)系統(tǒng)辨識的參數(shù)估計 3.7 利用神經(jīng)網(wǎng)絡(luò)聯(lián)想功能的辨識系統(tǒng) 3.7 小結(jié) 習題與思考題 2 3.1 3.1 辨識模型辨識模型 辨識模型只是被測系統(tǒng)在一定環(huán)境下的近似描述，選擇只能在以下情況 中確定： 是選擇靜態(tài)模型，還是選擇動態(tài)模型？ 是選擇參數(shù)模型，還是選擇非參數(shù)模型？ 必須考慮：1) 模型的用途；(2) 被測對象的精確度與復(fù)雜程度；(3) 系統(tǒng) 的控制方

2、式，是自適應(yīng)控制還是實時控制；(4) 使用神經(jīng)網(wǎng)絡(luò)，可以選擇三 層網(wǎng)絡(luò)通過仿真比對完成，當前神經(jīng)網(wǎng)絡(luò)理論尚未明確指出需要幾個隱層節(jié) 點數(shù)才能模擬出系統(tǒng)。 3 一、使用參數(shù)模型辨識的方法 從輸入輸出數(shù)據(jù)中提取被測系統(tǒng)S的數(shù)學(xué)模型M，使下式成 立： YmYo=M(u)S(u) 式中Ym、Yo分別是系統(tǒng)輸入u作用下模型和系統(tǒng)的輸出。為預(yù)設(shè) 的辨識精度。設(shè)e=YmYo，則辨識準則 om minminYYe ff 二、使用非參數(shù)模型辨識的方法 無需事先確定模型的具體結(jié)構(gòu)，只需要知道運行過程為線 性。 這一類模型有階躍響應(yīng)、脈沖響應(yīng)、頻率特性 4 三、人工神經(jīng)網(wǎng)絡(luò)用于系統(tǒng)辨識 用神經(jīng)網(wǎng)絡(luò)構(gòu)成辨識模型，辨識

3、方法就是用神經(jīng)網(wǎng)絡(luò)辨識模型逼近被測系統(tǒng)。用 作辨識模型的神經(jīng)網(wǎng)絡(luò)通常有多層感知器、BP網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)等。 四、 辨識系統(tǒng)的輸入和輸出辨識系統(tǒng)的輸入和輸出 被測系統(tǒng)與辨識模型使用相同的輸入信號。輸入信號滿足條件 1、辨識時間內(nèi)的輸入信號必須持續(xù)激勵，充分激勵系統(tǒng)的所有模態(tài)，輸入信號 的頻譜必須足夠覆蓋系統(tǒng)的頻譜； 2、輸入信號要求最優(yōu)化。辨識系統(tǒng)常用的輸入信號有偽隨機序列或白噪聲。 辨識系統(tǒng)的輸出是系統(tǒng)的誤差。在確定系統(tǒng)誤差時，選擇誤差準則，用來衡 量辨識模型接近被測系統(tǒng)的程度。 5 四、誤差準則函數(shù)的泛函表示 M k kefJ 1 f() 用得較多的是平方函數(shù)： fe(k)=e2(

4、k) e(k)是誤差函數(shù)，定義區(qū)間為0，M，是辨識模型的輸出與被測系統(tǒng)的輸 出之差。 如果e(k)=0，則說明被測系統(tǒng)與辨識模型等價。 6 3.2 3.2 系統(tǒng)辨識過程中神經(jīng)網(wǎng)絡(luò)的作用系統(tǒng)辨識過程中神經(jīng)網(wǎng)絡(luò)的作用 3.2.1 3.2.1 神經(jīng)網(wǎng)絡(luò)辨識原理神經(jīng)網(wǎng)絡(luò)辨識原理 一、一、系統(tǒng)辨識 實質(zhì)上是一個優(yōu)化問題，優(yōu)化準則依靠辨識目的、辨識算法的復(fù)雜程度 進行選擇。 二、辨識方法 基于算法的辨識方法，適用于線性系統(tǒng)；基于神經(jīng)網(wǎng)絡(luò)的辨識方法，適用于 非線性系統(tǒng)。 1. 1. 基于算法的辨識方法基于算法的辨識方法 要求建立一個模型，該模型依賴于某個參數(shù)，把辨識轉(zhuǎn)化成了對模型 參數(shù)的估計。 1) 最小二

5、乘法 利用最小二乘法原理，通過極小化廣義誤差的二次方和函數(shù)來確定模型 的參數(shù)。例如一個線性系統(tǒng)模型，在經(jīng)過一系列的數(shù)學(xué)變換后轉(zhuǎn)換成最小二 乘格式： z(k)=hT(k)+e(k) 7 hT(k)是系統(tǒng)的廣義輸入，內(nèi)含原系統(tǒng)輸入u(k)和原系統(tǒng)輸出y(k)；e(k)是系 統(tǒng)的廣義噪聲。 2) 梯度校正法 沿著誤差準則函數(shù)關(guān)于模型參數(shù)的負梯度方向，逐步修改模型的參數(shù)估 計值，直到誤差準則函數(shù)達到最小。 3) 極大似然法 極大似然法通過極大化似然函數(shù)來確定模型參數(shù)。 最小二乘法辨識系統(tǒng) 8 2. 2. 基于神經(jīng)網(wǎng)絡(luò)的辨識方法基于神經(jīng)網(wǎng)絡(luò)的辨識方法 人工神經(jīng)網(wǎng)絡(luò)辨識那些非線性系統(tǒng)，不需預(yù)先知道被測系統(tǒng)

6、的模型。 辨識并不在意神經(jīng)網(wǎng)絡(luò)以什么形式去逼近實際系統(tǒng)，只關(guān)心神經(jīng)網(wǎng)絡(luò)的輸 出與被辨識系統(tǒng)的輸出相差多少，誤差e(k)能否為0。從辨識的角度出發(fā)，只 要e(k)小于某一個事先認可的值，對被辨識系統(tǒng)的辨識任務(wù)告一段落。 9 3、神經(jīng)網(wǎng)絡(luò)的辨識方法的特點： (1) 辨識器由神經(jīng)網(wǎng)絡(luò)構(gòu)成，被辨識對象允許是本質(zhì)上不能線性化的非線性 系統(tǒng)； (2) 辨識過程非算法式，由神經(jīng)網(wǎng)絡(luò)的訓(xùn)練來實施。辨識結(jié)果是網(wǎng)絡(luò)外部特 性擬合系統(tǒng)的輸入輸出特性，網(wǎng)絡(luò)內(nèi)部特性歸納隱藏在輸入輸出數(shù)據(jù)中； (3) 辨識之前無須對被辨識系統(tǒng)建模，神經(jīng)網(wǎng)絡(luò)辨識器的權(quán)值反映了被辨識 對象的可調(diào)參數(shù)； (4) 辨識過程是否收斂以及收斂速度僅

7、取決于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及其算法，與 被辨識系統(tǒng)及其維數(shù)無關(guān)，有別于與模型參數(shù)的維數(shù)密切相關(guān)的傳統(tǒng)算法； (5) 神經(jīng)網(wǎng)絡(luò)可用于在線控制； (6) 神經(jīng)網(wǎng)絡(luò)連接權(quán)的權(quán)值在辨識中對應(yīng)于模型參數(shù)，只要調(diào)節(jié)這些參數(shù)， 就能使網(wǎng)絡(luò)輸出逼近系統(tǒng)輸出。 10 3.2.2 3.2.2 多層前向網(wǎng)絡(luò)的辨識能力多層前向網(wǎng)絡(luò)的辨識能力 1. 1. 三層前向網(wǎng)絡(luò)的逼近能力三層前向網(wǎng)絡(luò)的逼近能力 僅含一個隱層的三層前向網(wǎng)絡(luò)可以逼近某個函數(shù)。 ,; : 1 T n jj n jj g n RWRvRXWXv XRRg 設(shè)輸入層有n個節(jié)點，能接納n個輸入xi(i=1，2，3，n)，隱層有q個節(jié) 點vj(j=1，2，3，q)，

8、輸出層僅有一個節(jié)點。網(wǎng)絡(luò)的輸入矢量為X，輸 入層到隱層第j個神經(jīng)元的連接權(quán)值矢量用Wj表示，網(wǎng)絡(luò)的輸出為單輸出， 用y表示。 qj,.,2 , 1 ()是隱層節(jié)點的作用函數(shù)。 11 給定函數(shù)空間S、映射p，若函數(shù)f，g，hS，且滿足： (1) p(f，g)0，且僅當f=g時取等號，具有正定性； (2) p(f，g)=p(g，f)，具有對稱性； (3) 三角不等式p(f，g)p(f，h)+ p(h，g)成立。 (s，p)為賦范空間，映射p稱為距離函數(shù)或范數(shù)。 如果URn是n維單位立方體，C(U)是定義在U上的所有連續(xù)函數(shù)f(X)的集 合，定義范數(shù) p=sup|f(X)| 定理定理1 1 若神經(jīng)元

9、特性(t)是連續(xù)函數(shù)，且 12 函數(shù)f(x)不僅限于連續(xù)函數(shù)，f(x)是一個非連續(xù)函數(shù)時定理仍然成立， 只要求f(x)在1，1上有定義，且滿足平方可積條件。利用傅里葉積分 將f(x)展開成傅里葉級數(shù)若干個連續(xù)函數(shù)之和，對每一連續(xù)函數(shù)，定理 1均成立。設(shè)f(x)連續(xù)，且在連續(xù)點處，有限次級數(shù)和的三角級數(shù)形式為 N k kk kxbkxa a f,x,NF 1 0 2sin2cos 2 13 問題推廣到n維(n1)，定義矢量的絕對值為其各分量的最大絕對 值，在單位空間中定義下列積分: xXf U d 2 其中將函數(shù)f(x)的集合記為L2(U)。定義范數(shù) 2 1 2 2 d, U xXfgfp 則下

10、列定理成立: 定理定理2 2 若神經(jīng)元特性(t)是閾值特性，那么()在L2(U)中是p稠 密的，即對于fL2(U)及0，g(X)，使得 xXfXg U d 2 三層前向網(wǎng)絡(luò)能以任意精度逼近任意連續(xù)函數(shù)、任意非連續(xù)函數(shù)及其各階導(dǎo) 數(shù)(如果存在導(dǎo)數(shù))。這一性質(zhì)能用于動態(tài)系統(tǒng)辨識，要求神經(jīng)網(wǎng)絡(luò)具備逼近 各階導(dǎo)數(shù)的能力。 14 2. 2. 多層前向網(wǎng)絡(luò)的基本結(jié)構(gòu)多層前向網(wǎng)絡(luò)的基本結(jié)構(gòu) 1）靜態(tài)網(wǎng)絡(luò)的典型例子就是BP網(wǎng)絡(luò)，該網(wǎng)絡(luò)的三個特征是多層次結(jié)構(gòu)、S型神 經(jīng)元及反向傳播算法(BackPropogation)。靜態(tài)網(wǎng)絡(luò)已在模式識別、系統(tǒng)識別、 圖像處理等方面受到較大的關(guān)注。 2）動態(tài)多層前向網(wǎng)絡(luò) 回歸

11、網(wǎng)絡(luò)是一種動態(tài)網(wǎng)絡(luò)，它的結(jié)構(gòu)特點存在反饋。 15 或用一段時間內(nèi)的均方誤差值 i ike T J 2 2 1 1 T選用適宜的一個正整數(shù)，并要求輸入模式為動態(tài)信號。 設(shè)網(wǎng)絡(luò)的全部可調(diào)參數(shù)(例如連接權(quán)值和閾值)的集合用表示，網(wǎng)絡(luò)的當 前參數(shù)為，J為當前時刻指標函數(shù)的梯度，由BP算法知當前參數(shù) 增量與梯度成正比： =J 比值是學(xué)習速率或步長。 16 (1) 圖 (a)，有 v zW kye 式中，用W(z)表示一個動態(tài)系統(tǒng)，只需要用BP算法靜態(tài)計 算 ，就能得到當前時刻的。設(shè)網(wǎng)絡(luò)期望輸出為vv 2 q 41 4 u u zWky W(z)是一個特定的脈沖傳遞標量函數(shù)。選取多層網(wǎng)N的結(jié)構(gòu) 為四層：輸

12、入層1個節(jié)點，第一隱層20個節(jié)點，第二隱層10 個節(jié)點，輸出層1個節(jié)點。用多層網(wǎng)N逼近: 17 2 2 41 4 u u uf 逼近過程中W(z)可能有三種情況出現(xiàn)： 第一種，取W(z)是純滯后q步的線性系統(tǒng)，傳遞函數(shù) W(z)=zq，計算并時延q步得 當前值。如取q=5, 訓(xùn)練指標用J1，=0.1時訓(xùn)練50 000步可得較好效果。訓(xùn)練指 標用J2，=0.2時訓(xùn)練50 000步得相同結(jié)果。 第二種，取W(z)是有限脈沖響應(yīng)模型(FIRM)，傳遞函數(shù) W(z)=aiz1，計算線性組合以前各時刻的值后可得 。 如設(shè) vv v W(z)=0.1z1+1.0z2+0.5z3 18 訓(xùn)練指標用J2，每三

13、步調(diào)整一次參數(shù)(T=3)，=0.01時訓(xùn)練50 000次后N與f基本相同。 第三種，取W(z)是穩(wěn)定的有限傳遞函數(shù)，且能用參數(shù)模 型描述，如描述模型用ARMA模型。取 21 21 59501501 80 z.z. z.z W(z) 訓(xùn)練指標用J1，=0.005時訓(xùn)練10萬次，發(fā)現(xiàn)y與yq仍有差別。 訓(xùn)練指標改用J2，=0.005時訓(xùn)練10萬次，取T=5，最終效果 較好。 (2) 對圖 (b)，多層前向網(wǎng)絡(luò)的映射有兩個，現(xiàn)分別確定。 19 對于N1網(wǎng)絡(luò)映射，用靜態(tài)BP算法計算 ，其中是 N1的參數(shù)。 對于N2網(wǎng)絡(luò)映射，使用靜態(tài)BP算法計算 和 ，求得 y vy v v v yy 或?qū)懗?zgzW

14、fyq 其中，f代表了非線性的關(guān)系，有此函數(shù)關(guān)系的非線性 系統(tǒng)均可以用神經(jīng)網(wǎng)絡(luò)來逼近。盡管如此，也不能簡單地 認為：N1能訓(xùn)練成f，N2能訓(xùn)練成g(u)。 20 用例說明，設(shè)N1是結(jié)構(gòu)為120101的單輸入單輸出 系統(tǒng)，取 21 21 15. 08 . 01 3 . 0 )( zz zz zW 2 3 41 4 u u ug 3 5 . 3 x xf 訓(xùn)練用的輸入信號是分布在2，2之間的隨機信號。訓(xùn) 練好以后，實際輸出y與期望輸出yq之間無多大的差別。 21 (3) 圖 (c)，設(shè)和是當前點上取值的 Jacobian矩陣矢量，它們能夠在每一時刻求得，成為以下線 性差分方程的系數(shù)矩陣矢量 vvN

15、 vN vNy zW v vNy 式中，是n維矢量，系統(tǒng)傳遞函數(shù)W(z)僅對其后的 產(chǎn)生延時作用。如果離散系統(tǒng)通過零階保持器采樣，W(z)至 少有一步時延效應(yīng)，使得W(z)總只包括當前時刻前的 各值。按照差分方程能遞推出各時刻的值。 yy y yy 22 (4) 圖 (d)，N1的可用與圖 (c)相同的線性差分方 程計算出來，N2則有 y vNy zW v vNy 21 仿真結(jié)果表明這種動態(tài)BP算法能使網(wǎng)絡(luò)較好地跟蹤期望輸 出。 動態(tài)反向傳播算法比靜態(tài)反向傳播算法復(fù)雜得多，導(dǎo) 致這種算法存在諸多缺點，其中突出的有兩個缺點：一個 是必須假設(shè)系統(tǒng)可以分成線性系統(tǒng)和非線性系統(tǒng)；另一個 是需要已知線性

16、系統(tǒng)的傳遞函數(shù)。 23 3.2.3 辨識系統(tǒng)中的非線性模型辨識系統(tǒng)中的非線性模型 神經(jīng)網(wǎng)絡(luò)作系統(tǒng)辨識，主要用于非線性辨識和自適應(yīng)。 非線性系統(tǒng)在能控性、能觀性、負反饋調(diào)節(jié)、狀態(tài)觀測器設(shè) 計等方面，還沒有成熟的做法，難度是非線性系統(tǒng)的辨識模 型和控制模型不易選取。為此，用神經(jīng)網(wǎng)絡(luò)辨識非線性系統(tǒng)， 必須作一些假設(shè)限制： (1) 被控對象具有能控能觀性； (2) 對所有可能的輸入控制量u，被控對象的輸出y存在 并有界； (3) 在辨識模型中的神經(jīng)網(wǎng)絡(luò)允許一個或幾個，選用的 結(jié)構(gòu)同于被控對象； 24 (4) 辨識模型的基本結(jié)構(gòu)為包含神經(jīng)網(wǎng)絡(luò)的串并聯(lián)結(jié) 構(gòu)。 以上第(1)、(2)條限制是為了保證整個系統(tǒng)

17、的穩(wěn)定性及 可辨性；第(3)條限制是為了方便選擇模型，簡化數(shù)學(xué)處理 過程；第(4)條限制源于串并聯(lián)結(jié)構(gòu)有以下優(yōu)點： 由于被控對象的輸出y存在并有界，那么串并聯(lián)模 型中所有用作辨識的信號均有界，使辨識模型易于穩(wěn)定； 串并聯(lián)模型無反饋網(wǎng)絡(luò)，使從后向前的靜態(tài)反向 傳播算法成為可能； 當辨識誤差足夠小時，不使用串并聯(lián)結(jié)構(gòu)，只使 用并聯(lián)結(jié)構(gòu)也能有好的效果。 25 在上述四種假設(shè)限制下，能夠?qū)懗龀Ｓ玫囊恍┓蔷€性典 型模型，現(xiàn)舉例如下： 第一種，這種模型的輸出輸入關(guān)系為 1 0 111 n i i mk，u，k，ukugkyaky n=2，m=0時的并聯(lián)結(jié)構(gòu)和串并聯(lián)結(jié)構(gòu)如圖4-6所示。 第二種， m i i

18、 ikubnk，y，k，ykyfky 0 11 第三種， mk，u，k，ukugnk，y，k，ykyfky111 26 并聯(lián)及串并聯(lián)模型 (a) n=2，m=0時的并聯(lián)模型；(b) n=2，m=0時的串并聯(lián)模型 第四種， y(k+1)=f(y(k)，y(k1)，y(kn)，u(k)，u(k1)，u(km) 27 3.3 非線性動態(tài)系統(tǒng)辨識非線性動態(tài)系統(tǒng)辨識 3.3.1 非線性動態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識非線性動態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識 設(shè)非線性離散動態(tài)系統(tǒng)的狀態(tài)方程為 X(k+1)=X(k)，U(k) Y(k)=X(k)，U(k) 式中，X，Y，U分別是系統(tǒng)的狀態(tài)矩陣、輸出矩陣和輸入矩 陣，并設(shè) X(k

19、)Rn，Y(k)Rp，U(k)Rm 28 設(shè)狀態(tài)方程描述的系統(tǒng)滿足以下三個條件： 第一條，定義U的取值范圍組成的集合為Rm，則 U。若X(0)Rm，則對有限個M，系統(tǒng)是穩(wěn)定的，表 現(xiàn)為：X(M)+Y(M)。 第二條，函數(shù)和當Rn+mRn時連續(xù)且滿足 Lipschitz條件，系統(tǒng)解唯一。 由于神經(jīng)網(wǎng)絡(luò)用作非線性離散系統(tǒng)辨識模型時屬靜態(tài)網(wǎng) 絡(luò)，用作非線性離散系統(tǒng)的動態(tài)模型時還需要滿足下一個條 件。 29 第三條，設(shè)任意連續(xù)函數(shù)f：CRp，其中C為閉集， CRp，均存在網(wǎng)絡(luò)參數(shù)W，使網(wǎng)絡(luò)輸出F(X，W)滿足 ，XfWXF Cx max 其中，是一個大于0的小正數(shù)。 滿足以上三個條件的神經(jīng)網(wǎng)絡(luò)非線性動

20、態(tài)系統(tǒng)結(jié)構(gòu)圖如 圖4-7所示，用作系統(tǒng)辨識時有如下定理。 定理定理 考慮到滿足第三條的系統(tǒng)狀態(tài)方程為 ，Wk，UkXkY ，Wk，UkXkX 1 30 對于X(0)=X0Rm，U Rm，為閉集，對于每一0， 必存在網(wǎng)絡(luò)參數(shù)W，使得 U，都有滿足上述第一條、 第二條條件的系統(tǒng)充分接近輸出，存在： maxy(k)Y(k) 證明過程從略。此定理說明用BP網(wǎng)絡(luò)組成非線性動態(tài)系統(tǒng) 時，按上圖結(jié)構(gòu)，能構(gòu)成非線性離散動態(tài)系統(tǒng)的精確模型， 且有唯一穩(wěn)定解。 31 圖 神經(jīng)網(wǎng)絡(luò)非線性動態(tài)系統(tǒng)結(jié)構(gòu)圖 32 3.3.2 單輸入單輸出非線性動態(tài)系統(tǒng)的單輸入單輸出非線性動態(tài)系統(tǒng)的BP網(wǎng)絡(luò)辨識網(wǎng)絡(luò)辨識 選用BP網(wǎng)絡(luò)辨識，

21、網(wǎng)絡(luò)的結(jié)構(gòu)可選三層前向網(wǎng)絡(luò)。其 中輸入層用u(k)作輸入，神經(jīng)元個數(shù)為n1，則 n1 n + m +1 隱層的神經(jīng)元個數(shù)假設(shè)為n2個，可取 n2n1 隱層神經(jīng)元個數(shù)n2在420個范圍內(nèi)選取，通過仿真比較， 選取性能好的那個值。 輸出層神經(jīng)元個數(shù)設(shè)為n3，大小等于被辨識系統(tǒng)的輸出 個數(shù)。 33 現(xiàn)考慮一個單輸入單輸出非線性動態(tài)系統(tǒng)，設(shè)系統(tǒng)的輸 入及階次分別為u(k)和m，輸出及階次分別為y(k)和p，系統(tǒng) 方程為 Y(k+1)=f(y(k)，y(k1)，u(k)，u(km+1) 單輸入單輸出的n1n31。 BP網(wǎng)絡(luò)的輸入矢量可寫成 x(k)=x1(k)，x2(k)，xn1(k)T 因m、p未知，

22、可進行的幾種組合，比較性能后選最優(yōu)的一 組。 34 設(shè)輸入層用“I” 表示，隱層用“H”表示，輸入層到隱 層的連接權(quán)矩陣為wji，對應(yīng)輸入輸出關(guān)系為 kxwk n j jjii 0 net Ij(k)=Hneti(k) t t t e1 e1 H 閾值對應(yīng)的狀態(tài)為x0=1。 設(shè)輸出層用“O”表示，從隱層到輸出層的連接權(quán)矩陣 為Pi, 相應(yīng)輸入輸出關(guān)系為 35 閾值對應(yīng)的狀態(tài)為I0=1。 選用的性能指標為： 2 0 I n i ii kPky min 2 1 2 kykyJ q 學(xué)習規(guī)則采用廣義規(guī)則，為加快收斂，規(guī)則帶慣性項，格式 如下： Pi(k)=Pi(k+1)Pi(k)=a1e(k)Ii(

23、k)+a2Pi(k1) wji(k)=a1e(k)Hneti(k)Pi(k)xi(k)+a2wji(k1) e(k)=y(k)yq(k) Hneti(k)=neti(k)(1neti(k) 36 式中，i=1，2，n2；j=1，2，n1，以下同。 基于BP網(wǎng)絡(luò)的系統(tǒng)辨識分6步實施，各步如下。 (1) 初始化連接權(quán)為小的隨機值。 設(shè)Random()為1，+1內(nèi)均勻分布的隨機函數(shù)，初 始值 wji(0)=aRandom()0.1，0.1 Pi(0)=aRandom()0.1，0.1 (2) 選擇輸入信號u(k)，候選的有階躍、斜坡、正弦波、 偽隨機二進制序列(PRBS)等信號，只選一種加入系統(tǒng)。

24、(3) 仿真計算y(k)。 (4) 形成輸入矢量X(k)，計算e(k)。 37 (5) 計算Pi(k)、wji(k)。 (6) 將u(k)、y(k)移位轉(zhuǎn)入第二步繼續(xù)。 如果是離線辨識，結(jié)束循環(huán)的判斷條件為(預(yù)先選定為 小的正數(shù)) |e(k)|=|y(k)yq(k)| 例例1 水輪發(fā)電機組模型BP網(wǎng)絡(luò)辨識。本例選自參考文 獻3。 水輪發(fā)電機組在線辨識系統(tǒng)結(jié)構(gòu)如圖4-8所示。從結(jié)構(gòu) 圖中看到，水輪發(fā)電機組模型的輸入信號除正常PC調(diào)節(jié)器 調(diào)節(jié)信號外，還疊加有一個二位式偽隨機M序列信號PRES， 由STD工控機參數(shù)在線辨識產(chǎn)生。 38 39 辨識系統(tǒng)運行狀態(tài)如下：水輪發(fā)電機組在三種典型工況下運行，分

25、 別是空載、帶地區(qū)小負荷、并入大電網(wǎng)。機組工作于空載運行時，轉(zhuǎn)換 開關(guān)S接入“電氣手動”時，水輪發(fā)電機組呈現(xiàn)開環(huán)調(diào)節(jié)系統(tǒng)運行。機 組工作于帶地區(qū)小負荷運行時，轉(zhuǎn)換開關(guān)S接入“PC調(diào)節(jié)器”輸出，整 個系統(tǒng)是一個受命于給定值的負反饋調(diào)節(jié)系統(tǒng)，由于負載較輕，參數(shù)在 線辨 識裝置的輸入基本上與“空載運行”相同。機組工作于“并入大電網(wǎng)” 時，S仍撥在“PC調(diào)節(jié)器”輸出位置上，負反饋調(diào)節(jié)繼續(xù)有效，但辨識 裝置的輸入?yún)s不同于“帶地區(qū)小負荷運行”，由于機組的頻率同于外電 網(wǎng)的頻率，辨識裝置的輸入為水輪機導(dǎo)葉開度和機組所帶的外部有功負 荷。對于混流式機組，在小波動工況下，轉(zhuǎn)速v(s)對導(dǎo)葉開度k(s)的傳遞 函

26、數(shù)表示成 STbaTS eTSe sG 0 0 1 1 40 式中，T、T0分別是機組及引水道的慣性時間常數(shù)，e0、e、 a、b均是水輪機組的特性參數(shù)。 水輪發(fā)電機組啟動后，先空載運行，隨后切換到電氣手 動運行，頻率基準50 Hz，此時實際空載開度約20%。輸入 信號選用5級PRBS，單位游歷t=4 s，采樣周期為0.4 s，幅 值取導(dǎo)水機構(gòu)接力器全行程的2%，記錄1000次，用時6 min 40 s，記錄下三個完整的PRBS周期。數(shù)據(jù)處理時去掉穩(wěn)態(tài) 分量，得到機組頻率的相對變化曲線，如圖3-9(a)所示。 41 使用三層BP神經(jīng)網(wǎng)絡(luò)辨識，網(wǎng)絡(luò)結(jié)構(gòu)選用321，學(xué) 習率=0.65，初始連接權(quán)在0

27、，1間隨機取值，用基本 BP算法得到的BP輸出如圖b)所示，圖 (c)給出了實際 輸出與BP網(wǎng)絡(luò)輸出之間的差別，從差別極微可以看到，BP 網(wǎng)絡(luò)能較理想辨識出水輪發(fā)電機組非線性動態(tài)模型。 42 3-9 水輪發(fā)電機組的BP動態(tài)辨識曲線 (a) 實際機組頻率輸出變化；(b) BP網(wǎng)絡(luò)辨識結(jié)果；(c) 實際測出結(jié)果與BP辨識之差 43 例例2 煤氣加熱爐的BP動態(tài)辨識。 煤氣加熱爐是典型的單輸入單輸出系統(tǒng)，輸入u(t)是煤 氣流量，輸出y(t)是排除煙道中CO2的濃度。輸入輸出的數(shù) 據(jù)能夠測得。模型的動態(tài)結(jié)構(gòu)可以寫成 Y(k)=f(y(k1), y(k2), y(k3), u(k3), , u(k7)

28、+cq1(k) 式中，取模型的階次n=3，m=5，時滯d=2。c、q、是系統(tǒng) 結(jié)構(gòu)參數(shù)。 用來辨識的前向網(wǎng)絡(luò)選用三層，輸入層、隱層、輸出層 的神經(jīng)元個數(shù)分別為n1=8、n2=7、n3=1。 44 在進行訓(xùn)練前測得有289對u(i)，y(i)數(shù)據(jù)對，可選擇 其中200對訓(xùn)練隱層(如果隱層選取10個神經(jīng)元，則可選用 170對數(shù)據(jù)進行訓(xùn)練)。在訓(xùn)練前，所有數(shù)據(jù)對應(yīng)進行正規(guī)化 處理。 訓(xùn)練使用帶修正項的BP算法，性能指標選擇均方誤差 函數(shù)： P k q kyky P J 1 2 2 1 兩種不同模型訓(xùn)練后的辨識結(jié)果比較如表4-1所示。 45 系統(tǒng)經(jīng)過學(xué)習后，可將測量所得289對數(shù)據(jù)中的余下數(shù) 據(jù)對與B

29、P網(wǎng)絡(luò)的輸出進行比對，就可以測得使用BP網(wǎng)絡(luò)的 辨識準確程度。圖4-10給出了BP網(wǎng)絡(luò)辨識結(jié)果及預(yù)報曲 線，從圖中觀察到，預(yù)報時間較長，但預(yù)報的準確程度較為 滿意。 網(wǎng)絡(luò)學(xué)習過程中均方誤差(MSPE)變化曲線如圖4-11所 示。變化趨勢顯示出BP網(wǎng)絡(luò)能夠用于辨識，但與隱層神經(jīng) 元個數(shù)、輸入輸出階次等有密切的關(guān)系。 46 圖 BP網(wǎng)絡(luò)辨識結(jié)果及預(yù)報 (a) 辨識結(jié)果；(b) 預(yù)報 47 圖 BP網(wǎng)絡(luò)學(xué)習過程中的均方誤差變化 48 例例3 多輸入多輸出動態(tài)系統(tǒng)的BP網(wǎng)絡(luò)動態(tài)辨識。 現(xiàn)以兩輸入兩輸出系統(tǒng)為例介紹，設(shè)系統(tǒng)為一線性系統(tǒng)， 傳遞矩陣為 1 22 1 1 12 1 11 1 21 1 zBz

30、B zBzB zA zG 其中， A(z1)=1+0.883z1+0.471z2+0.083z3 B11(z1)=3z13.5z21.5zz B12(z1)=z10.167z20.167z3 B21(z1)=4z22z3z4 B22(z1)=z10.167z20.083z30.167z4 49 系統(tǒng)輸入輸出分別為 這時網(wǎng)絡(luò)輸入量設(shè)為14，分別是n1=3，n2=3，m1=4，m2=4。 y1(k)和y2(k)用兩個神經(jīng)網(wǎng)絡(luò)學(xué)習：y1網(wǎng)絡(luò)結(jié)構(gòu)為9101， y2網(wǎng)絡(luò)結(jié)構(gòu)為10121，辨識信號為010間的均勻分布隨 機數(shù)，學(xué)習算法使用帶慣性項的BP算法： 50 kwaykw ijij q 1 式中，、

31、是相關(guān)系數(shù)，取=0.9，由輸出層或隱層選定， =0.3；yq是網(wǎng)絡(luò)的輸出值，作用函數(shù)為 x Xf e1 1 取40個樣本，兩個網(wǎng)絡(luò)分別學(xué)習8500次和8800次后的辨識 結(jié)果如表4-2所示，表內(nèi)數(shù)據(jù)已經(jīng)經(jīng)過轉(zhuǎn)換轉(zhuǎn)到區(qū)間(0，1) 內(nèi)取值。 51 設(shè)u1=u2=0.5作為系統(tǒng)常值輸入，系統(tǒng)的5組輸出及測試 網(wǎng)絡(luò)后所得輸出，列在表4-3中。最大相對誤差(0.661 0.543)/0.6612.7%，表示神經(jīng)網(wǎng)絡(luò)辨識的精度相當高。 52 3.4 多層前向網(wǎng)絡(luò)辨識中的快速算法多層前向網(wǎng)絡(luò)辨識中的快速算法 在多層神經(jīng)網(wǎng)絡(luò)極值訓(xùn)練中，BP算法存在收斂較慢及 局部極小點問題。為此提出了多種修改算法，力圖克服

32、收斂 較慢或避免陷入局部極小點。這些修正算法有增加慣性項、 改變學(xué)習率或?qū)W習步長、引入高階導(dǎo)數(shù)項等等。 本節(jié)討論使用遞推最小二乘法(RLS)學(xué)習訓(xùn)練神經(jīng)網(wǎng)絡(luò) 的連接權(quán)系數(shù)，這種方法有較快的收斂速度。 53 1. 神經(jīng)元模型神經(jīng)元模型 考慮有M層的多層前向網(wǎng)絡(luò)，輸入層為1層，輸出層為 M層，其中的每個神經(jīng)元均可表示成 kfRx kxwR n j jiij net net 1 1 式中，n是第n層神經(jīng)元個數(shù)，wij是第i個神經(jīng)元到第j個神 經(jīng)元的連接權(quán)，f()是單調(diào)單值連接的S型函數(shù)，且 x x x xfxf e1 e1 e1 1 或 54 每個神經(jīng)元的輸入輸出關(guān)系可以分解成線性輸入或非線 性輸出

33、兩部分，從線性輸入到非線性輸出之間存在一一對應(yīng) 的映射和逆映射關(guān)系。其中逆映射可將輸出信息轉(zhuǎn)換到輸入 端，使用線性參數(shù)估計技術(shù)對神經(jīng)網(wǎng)絡(luò)的連續(xù)權(quán)進行訓(xùn)練， 便于使用遞推最小二乘法。 55 2. RLS訓(xùn)練算法訓(xùn)練算法 設(shè)輸出層神經(jīng)元的期望輸入r(k)和期望輸出d(k)之間有 一定的關(guān)系： d(k)=fr(k) 對d(k)的逆變換可寫成 r(k)=f1d(k) 式中，f1()是f()的反函數(shù)。定義性能指標： N k KN knkrJ 1 )()( 2 1 56 式中，稱為遺忘因子。神經(jīng)元的輸入輸出重新寫出如下： t in t i t iit tnttt itit ittu wwwW kxkxkx

34、kX kfkx WXk , , net net 21 T 1,1, 21, 1 T 1 T 1 性能指標改寫成 N k KN WkXkrJ 1 2 T )()( 2 1 考慮到 0 W J 57 令 kX,Xk KNN 1 1T 可得W的LS估計為 W(k)=T(k)(k)1T(k)R(k) 相應(yīng)的RLS估計為 WL(k)=WL1(k)+ML1(k)rL(k)XTL1(k)WL1(k1) 式中， kXkPkX kXkP kM LLL LL L 11 T 1 11 1 58 1 1 1 T 11 1 kPkXkMI kP LLL L 遞推時取初值： PL1(0)=(103106)I 對于中間層每

35、個神經(jīng)元，定義其期望輸入與期望輸出滿足 d(k)=fr(k) 定義反傳誤差為 it(k)=dit(k)xit(k)=fnetit(k)rit(k)netit(k) 相應(yīng)神經(jīng)元期望輸入為 Rit(k)=f1dit(k) 59 定義 2 2 1 knkrkJ KN it 式中，(k)為非負遺忘因子。在t=L1時，對第i個神經(jīng)元， 由于 0 net net 1 1 1 1 1 T 1 L L L L L L LL kN L it W k K kX KX kn knkrk W J 令反傳誤差 L(k)=rL(k)nL(k) 及 L1(k)=L(k)wiLf netiL(k) 有 60 0 21 T 1

36、 1 kXkk W J LL KN L L 求解此式，可得神經(jīng)元i的連接權(quán)系數(shù)RLS估計： WL1(k)=WL1(k1)+WL1 由此類推直至t=1，可得RLS估計如下： Wit(k)=Wit(k1)+Mt1(k)rit(k)netit(k) 由此可計算各神經(jīng)元的輸出。 現(xiàn)舉一個仿真實例，設(shè)非線性系統(tǒng)為 211 213121 22 kyky kukykukyky ky 式中，u(k)=sin(2/250)。u(k)和y(k)是該系統(tǒng)的輸入與輸出， 而該系統(tǒng)的結(jié)構(gòu)未知。 61 現(xiàn)在使用4層前向網(wǎng)絡(luò)描述該非線性系統(tǒng)，4層的節(jié)點分 別為520101，輸入層的輸入矢量 X0T (k)=y(k1), y

37、(k2), y(k3), u(k1), u(k2) 取初始值Pi(0)103I，t=0.99，使用RLS估計，經(jīng)過400步學(xué) 習后均方誤差收斂且小于0.075，學(xué)習時間小于31 s。 圖3-12和圖3-13分別是RLS估計均方誤差和BP算法均方 誤差, 當比較兩條曲線時, 能夠明顯發(fā)現(xiàn), RLS估計只要較少 的學(xué)習步驟，例如400步便產(chǎn)生收斂，誤差就能限制在一個 事先確定的較小范圍。而BP算法要想達到相同的目的，約 需4000步費時4 min 13 s(仿真結(jié)果)，收斂才能達到0.1。如 果要想達到RLS估計的收斂值0.075，則還需要更長的時間。 62 圖3-12 RLS算法估計均方誤差 6

38、3 圖3-13 BP算法估計均方誤差 64 用BP算法估計神經(jīng)網(wǎng)絡(luò)的連接權(quán)時，所用的算法為 wij(k)=wij(k1) ait(k)xji(k) 式中，it是反傳誤差，a是學(xué)習步長。輸出層的反傳誤差為 L(k)=fn(k)d(k)x(k) 中間層的反傳誤差為 it(k)=fn(k)jt(k)wji(k1) 步長為 a(k)=amax+(aminamax)e 65 3.5 非線性模型的預(yù)報誤差神經(jīng)網(wǎng)絡(luò)辨識非線性模型的預(yù)報誤差神經(jīng)網(wǎng)絡(luò)辨識 除RLS外，還有諸多提高收斂速度的算法，預(yù)報誤差 算法就是其中的一種。 3.5.1 非動態(tài)模型建模非動態(tài)模型建模 預(yù)報誤差算法簡稱RPE算法，它具有預(yù)報精度高

39、、收斂 速度快等特點，同樣該算法也能用于非動態(tài)模型的神經(jīng)網(wǎng)絡(luò) 建模。 考慮圖4-14的三層前向網(wǎng)絡(luò)，設(shè)三層結(jié)構(gòu)n1n21，輸 入層有n1個神經(jīng)元，隱層有n2個神經(jīng)元，輸出層僅一個節(jié)點。 66 圖3-14 三層前向網(wǎng)絡(luò) 67 網(wǎng)絡(luò)輸入為xi，i=1，2，n1。網(wǎng)絡(luò)的輸出為y。zj和qj 是隱層中第j個神經(jīng)元的輸出值和閾值，j=1，2，n2。 Wkij表示第k1層中第i個神經(jīng)元，對第k層中的第j個神經(jīng)元 的連接權(quán)。 隱含層中節(jié)點的作用函數(shù)取成S型函數(shù)： x xg e1 1 網(wǎng)絡(luò)的輸入輸出關(guān)系為 y(t)=WX X=g(WijXi+Qi) 68 該網(wǎng)絡(luò)能辨識的非線性系統(tǒng)具有如下的輸出輸入關(guān)系： y(

40、t)=fy(t1)，y(tm)，x(t1)，x(tn)+d(t) 其中，y(t)和x(t)是非線性系統(tǒng)的輸出和輸入；m與n分別是輸 出與輸入的最大滯后；d(t)是影響該系統(tǒng)的非線性隨機因素， 如隨機噪音；f()是非線性函數(shù)。 在三層前向網(wǎng)絡(luò)中，設(shè)Q=Q1，Q2，QnT是神經(jīng)網(wǎng) 絡(luò)中待求的神經(jīng)元閾值，n1+n2是待定的神經(jīng)元個數(shù)。e(t)是 實際輸出與神經(jīng)網(wǎng)絡(luò)輸出之差，又稱為偏差。訓(xùn)練算法讓 Q1Qn在一定的條件準則下得到確定值。 69 RPE算法是一種將預(yù)報誤差極小化來估計參數(shù)的方法。 算法中同樣需要準則函數(shù)。這里不妨設(shè)準則函數(shù)為 式中，N是數(shù)據(jù)長度，e(t)是預(yù)報誤差。有了準則函數(shù)，RPE

41、算法便可沿著J的高斯牛頓(Gauss-Newton)方向搜索，不 斷修正未知參數(shù)矢量，直至使J趨近于最小。 QteQte N QJ, 2 1 T 70 3.5.2 遞推預(yù)報誤差算法遞推預(yù)報誤差算法 遞推預(yù)報誤差算法的原則是先選定參數(shù)矢量的修正算式， 再求對Q的一階及二階微分。設(shè)修正算式為 Q(t)=Q(t1)+S(t)Q(t1) 式中，(Q)就是高斯牛頓搜索方向，可定義成 (Q)=H(Q)1 J(Q) 其中，J(Q)是J(Q)關(guān)于Q的梯度，H(Q)是J(Q)的Hessian矩 陣。J(Q)和H(Q)表示成 QteQtQ QteQt N QJ ,H , 1 它們分別是J(Q)對Q的一階和二階微分

42、。 71 1. 遞推預(yù)報流程遞推預(yù)報流程 遞推預(yù)報誤差算法如下式： e(t)=y(t)yq(t) tettPtQtQ tPtttPt tttPtP t tP TT 1 1)111 11( 1 1 式中，(t)是遺忘因子，對收斂速度有影響。改變的方法是 迭代開始時取(t)1；t時取(t)1?；蛟O(shè)置的初值， 例如取(0)=0.950.99，而后有 (t)=(0)(t1)+(1(0) 72 若將RPE用于三層前向神經(jīng)網(wǎng)絡(luò)，隱層取一層，相應(yīng)的 為n1矩陣，矩陣中各元素為 2 1 2 2 11 2 11 1 1 1 d d ki ki ki mkkk kkk k i i wQ dQ wQ xwxx wx

43、x x Q y 由此設(shè)計的RPE流程如下： (1) 用較小隨機值初始化連接權(quán)值和閾值，得： W(0)=a Random() Q(0)=b Random() 73 (2) 選P(0)為對角矩陣。 (3) 按照網(wǎng)絡(luò)輸入分別計算隱層節(jié)點x1k及輸出節(jié)點yq的 值。 (4) 形成陣并求預(yù)報誤差e(t)、P(t)陣及參數(shù)序列Q(t)。 (5) 重復(fù)以上(2)(4)，直至收斂。 從以上的分析可以看到，RPE算法實際上是一種求高階 導(dǎo)數(shù)的學(xué)習算法。在計算H(Q)的逆矩陣上使用遞推最小二 乘法，與基本BP算法(僅利用一階導(dǎo)數(shù))相比，高階導(dǎo)數(shù)的計 算加快了收斂速度。 74 2. RPE算法的具體應(yīng)用算法的具體應(yīng)

44、用 例例1 帶電流內(nèi)環(huán)和轉(zhuǎn)速外環(huán)的PWM直流脈寬調(diào)速系統(tǒng)， 具有如圖4-15所示的系統(tǒng)結(jié)構(gòu)。轉(zhuǎn)速環(huán)處于外環(huán)，能有效克 服環(huán)內(nèi)出現(xiàn)的干擾以及外特性引起的速度變化。但電機 轉(zhuǎn)速卻會因電機運行工況、電源電壓的波動或畸變、機械負 荷的突然變化而發(fā)生改變，因此雙環(huán)調(diào)速系統(tǒng)本身是一個非 線性時變系統(tǒng)。另外，還有許多非線性因素也廣為存在系統(tǒng) 中，如：時磁滯、齒輪間隙、庫侖摩擦、調(diào)節(jié)器限幅、脈沖 調(diào)制放大器和運算放大器飽和產(chǎn)生的非線性等。 75 圖43-15 轉(zhuǎn)速電流雙閉環(huán)PWM調(diào)速系統(tǒng) 76 在轉(zhuǎn)速環(huán)基礎(chǔ)上增加位置環(huán)，將構(gòu)成位置伺服系統(tǒng)，該 系統(tǒng)有一系列典型的非線性特征，這是PWM調(diào)制所產(chǎn)生的。 為了動態(tài)辨

45、識轉(zhuǎn)速環(huán)，便于使用RPE算法，選用321的 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。同時選擇輸入信號為2 V0.2 V，其中2 V 是系統(tǒng)轉(zhuǎn)速環(huán)給定值，對應(yīng)需要恒定運轉(zhuǎn)的速度，0.2 V是 迭加的幅值，用于考慮一定的波動允許范圍。輸入信號可用 矢量表示成 X(t)=u(t1)，u(t2)，y(t1)T 輸出信號為測速發(fā)電機的輸出電壓。在用RPE算法訓(xùn)練 900次后，神經(jīng)網(wǎng)絡(luò)預(yù)報輸出及殘余序列實測曲線如圖3-16 所示。實測階躍響應(yīng)擬合曲線如圖3-17所示。 77 圖3-16 神經(jīng)網(wǎng)絡(luò)預(yù)報輸出及殘余序列實測曲線 78 圖3-17 實測階躍擬合曲線 79 對比擬合曲線可以看到，神經(jīng)網(wǎng)絡(luò)辨識PWM系統(tǒng)動態(tài) 模型的效果令人滿意

46、。通常為了評價模型的擬合精度，常引 入誤差指數(shù)E，定義成 ty te E 2 2 式中，e(t)是偏差值，為系統(tǒng)實際輸出與神經(jīng)網(wǎng)絡(luò)輸出之差。 改變隱層節(jié)點數(shù)目后，不同的E值如表4-4所示。輸入矢量及 輸入節(jié)點不同時的E值如表4-5所示。 80 由此可見，選擇如此結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型較為合理，輸 入節(jié)點數(shù)及輸入矢量的合理搭配在很大程度上能影響擬合精 度。通常情況下合理選擇隱層節(jié)點數(shù)量，適當增加輸入節(jié) 點數(shù)量及延遲y(t)，對提高辨識精度較為有利。 例例2 設(shè)SISO非線性模型為 1 . 014 . 015 . 0exp1 6 . 0 tytu ty 選用辨識的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為211，輸入信號為六級

47、偽隨機二進制序列PRBS，用u(t)表示，設(shè)輸入矢量為 X(t)=u(t1)，y(t1)T 81 參數(shù)矢量(t)和分別為 (t)=1，2，3，4T =1，2，3，4T 遞推1000次后得參數(shù)矢量(t)=0.4999，0.3999，0.09985， 0.6000T ，表示結(jié)果十分理想。如果改用BP算法，因?qū)W習 率等一系列參數(shù)難于折中表示，得不到滿意結(jié)果。 82 4.6 非線性系統(tǒng)逆模型的神經(jīng)網(wǎng)絡(luò)辨識非線性系統(tǒng)逆模型的神經(jīng)網(wǎng)絡(luò)辨識 無論是線性系統(tǒng)還是非線性系統(tǒng)，都存在一個可逆性問 題。 在正常情況下，對系統(tǒng)進行分析的主要任務(wù)就是：系統(tǒng) 在一個控制信號的作用下，將會產(chǎn)生什么樣的輸出，產(chǎn)生什 么樣的運

48、動軌跡。例如一個系統(tǒng)可用以下方程表示出來： y=f(u，x，T) 83 其中，y是輸出，u 是輸入，x是狀態(tài)變量，T是系統(tǒng)的控制 作用。當輸入一定、系統(tǒng)狀態(tài)不變時，系統(tǒng)輸出y應(yīng)直接與 控制作用T有關(guān)，式中的f(u，x，T)事實上是系統(tǒng)在外力作用 下的非線性函數(shù)。 正常的系統(tǒng)分析過程是已知控制信號T(t)，確定其運動 軌跡u(t)和x(t)。 已知系統(tǒng)的運動軌跡u(t)和x(t)，尋找控制信號T(t)，被 稱為系統(tǒng)分析的逆過程。系統(tǒng)分析過程與逆過程如圖3-18所 示。 84 圖3-18 系統(tǒng)分析過程及逆過程 (a) 系統(tǒng)分析過程；(b) 系統(tǒng)分析逆過程 85 3.6.1 系統(tǒng)分析逆過程的存在性系

49、統(tǒng)分析逆過程的存在性 在一個控制系統(tǒng)中，如果已經(jīng)知道了運動軌跡u(t)、x(t)，要想求出 它的控制信號T(t)，首先必然要問：這個控制信號是否存在? 系統(tǒng)是否 可逆? 在求解系統(tǒng)運行的正向過程和逆向過程中，神經(jīng)網(wǎng)絡(luò)具有的獨特的 作用與功能，尤其是對于非線性系統(tǒng)。神經(jīng)網(wǎng)絡(luò)的學(xué)習方式有監(jiān)督學(xué)習 和非監(jiān)督學(xué)習兩種。監(jiān)督學(xué)習中存在導(dǎo)師信號，導(dǎo)師信號的功能恰好是 演示期望的運動軌跡，而不是起控制作用的，不是直接教會網(wǎng)絡(luò)實施運 動神經(jīng)的控制。由此可見，在清晰明了的導(dǎo)師信號前，系統(tǒng)的運動軌跡 也清晰可見，尋找相應(yīng)的控制指令更加方便與直觀。事實上，神經(jīng)網(wǎng)絡(luò) 在獲取了所期望的運動軌跡后，將產(chǎn)生相應(yīng)的各種運動神

50、經(jīng)指令，傳送 給網(wǎng)絡(luò)的各層以實現(xiàn)這個期望值，并由相應(yīng)的感覺系統(tǒng)完成測量。 86 在比較實際軌跡與期望運動軌跡的基礎(chǔ)上，神經(jīng)網(wǎng)絡(luò)產(chǎn) 生一個它們之間的差值。如果將這個差值作為導(dǎo)師信號完成 對相應(yīng)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，那就能從神經(jīng)網(wǎng)絡(luò)的輸出中產(chǎn)生 “控制信號”，從而實現(xiàn)系統(tǒng)分析的逆過程。 一個系統(tǒng)是否可逆，是否能用神經(jīng)網(wǎng)絡(luò)建立逆模型實現(xiàn) 辨識，與系統(tǒng)自身的性質(zhì)密切相關(guān)，與系統(tǒng)是否線性無關(guān)。 線性系統(tǒng)的可逆性問題比非線性系統(tǒng)的可逆性問題要簡單得 多。 線性系統(tǒng)的可逆性問題實際上是一個能控性問題，凡具 有能控性的系統(tǒng)，可逆性必存在，系統(tǒng)必然可逆。例如對單 變量線性系統(tǒng)，可逆性十分清晰；對多變量線性系統(tǒng)，利用

51、能控性判據(jù)也能得出可逆存在。 87 非線性系統(tǒng)的可逆性問題則要復(fù)雜得多，目前尚無一個 普遍適用的方法對應(yīng)所有的非線性系統(tǒng)，既然無通用解法， 只能遇到一個，辨識一個(非線性系統(tǒng))。 現(xiàn)考察離散單輸入單輸出非線性系統(tǒng)，設(shè)該系統(tǒng)的輸入 和輸出分別是 u(k)R，y(k)R 又設(shè)mi，系統(tǒng)的傳輸關(guān)系為 y(k+1)=fy(k)，y(kn)，u(k)，u(km) 式中，f()是輸出、輸入之間的函數(shù)關(guān)系。系統(tǒng)可逆性有如 下定義： 如果存在R(n+m+1)的子集A，且 y(k)，y(kn)，u(k1)，u(km)TA 88 當任意一個u(k)=u(k)時，必有 fy(k)，y(kn)，u(k1)，u(km)

52、 fy(k)，y(kn)，u(k1)，u(km) 則稱系統(tǒng)在點y(k)，y(kn)，u(k1)，u(km) 處是可逆的，否則稱系統(tǒng)在該點處是奇異(即不可逆)的。 對于奇異系統(tǒng)，有 fy，u=fy，u 89 上述對系統(tǒng)可逆性的定義僅僅定義了系統(tǒng)在某些點上是 可逆或奇異的。系統(tǒng)的奇異是一種極端情況，非線性系統(tǒng)在 某一點上可逆并不等于說該系統(tǒng)就是一個可逆系統(tǒng)，這是 因為系統(tǒng)在某些點上是可逆的，但在另一些點上卻是奇異的。 介于可逆系統(tǒng)與奇異系統(tǒng)之間的系統(tǒng)是存在的，一個系統(tǒng)能 夠在某些點表現(xiàn)出存在兩個不同的輸入u(t)u(t)，但能引起 相同的輸出，例如帶滯環(huán)特性的閥門就有這種特征。 系統(tǒng)可逆性的充分條

53、件由下述定理給出。 90 定理定理 如果對于u(k)，fy(k)，y(kn)，u(k)，u(k 1)，u(km)嚴格單調(diào)，那么系統(tǒng)在點y(k)，y(k n)，u(k1)，u(km)T處可逆。只有在所有點處可逆 都成立，系統(tǒng)才是可逆系統(tǒng)。 定理的證明較為簡單，由于系統(tǒng)嚴格單調(diào)，則 f(y，u)f(y，u) 表明系統(tǒng)在該點處單調(diào)。 多值非線性系統(tǒng)不一定都是可逆系統(tǒng)。是否可逆就看它 是否符合定理的三個條件。例如磁滯回線是否為可逆系統(tǒng)， 可作如下分析： 91 表面上看，磁滯的一個輸入對應(yīng)兩個輸出，每個輸出可 找到相應(yīng)的兩個控制信號，似乎磁滯回線不可逆。但是磁滯 控制有一個特征，就是有向性，升磁和消磁經(jīng)

54、過的路徑不同， 如果是磁化過程，一個輸入僅對應(yīng)一個輸出；反之，退磁過 程是一個輸入僅對應(yīng)一個輸出。必然能逆向辨識，由此可見 磁滯回線是可逆系統(tǒng)，只是正向過程和逆向過程所走的路徑 不同罷了。 又如系統(tǒng)y=(u1)u(u+1)就是一個不可逆系統(tǒng)，它不符 合定理提出的三個條件，如y=0時，有1，0，1三個解。 92 3.6.2 非線性系統(tǒng)的逆模型非線性系統(tǒng)的逆模型 非線性系統(tǒng)的逆模型研究包括逆系統(tǒng)建模及逆模型辨識 兩部分內(nèi)容。逆系統(tǒng)建模的主要任務(wù)是對非線性系統(tǒng)的逆運 行過程建立一個數(shù)學(xué)模型；逆模型辨識是對非線性系統(tǒng)的逆 運行進行辨認識別，看其與哪一種已知模型更接近。 神經(jīng)網(wǎng)絡(luò)辨識是逆模型建立和辨識的

55、核心內(nèi)容。本節(jié)所 述逆模型的建立方法突出了神經(jīng)網(wǎng)絡(luò)的功能與作用。 非線性系統(tǒng)的逆模型建立方法有如下幾種：直接逆系統(tǒng) 建模、正逆系統(tǒng)建模及逆正系統(tǒng)建模。 93 1. 非線性系統(tǒng)逆模型的直接建立非線性系統(tǒng)逆模型的直接建立 非線性系統(tǒng)逆模型的直接建立依靠直接逆系統(tǒng)建模法， 該方法又稱為泛化學(xué)習法。泛化學(xué)習的本意是網(wǎng)絡(luò)訓(xùn)練所覆 蓋的范圍要比未知的逆系統(tǒng)所可能涉及的范圍大一些，這樣 設(shè)置有利于獲得更佳的逆動力學(xué)特性。 逆模型直接建立的結(jié)構(gòu)框圖如圖4-19所示，系統(tǒng)的給定 值為u，輸出值為y，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練信號取自一個誤差值e， e是系統(tǒng)輸入u和神經(jīng)網(wǎng)絡(luò)輸出v之差：e=uv。 94 圖3-19 逆模型直接

56、建立 95 神經(jīng)網(wǎng)絡(luò)的輸入信號為系統(tǒng)的輸出信號y。訓(xùn)練方法是： 把未知被控對象的輸出y作為神經(jīng)網(wǎng)絡(luò)的輸入，神經(jīng)網(wǎng)絡(luò)的 輸出v如果不等于系統(tǒng)的輸入u，將產(chǎn)生偏差e對網(wǎng)絡(luò)進行訓(xùn) 練，直至v=u為止，或uv小到一個允許的范圍為止。 用于直接逆系統(tǒng)建模的網(wǎng)絡(luò)較多，有BP網(wǎng)絡(luò)、CMAC 網(wǎng)絡(luò)、多層感知器等。不同的網(wǎng)絡(luò)結(jié)構(gòu)有不同的優(yōu)缺點，如 BP網(wǎng)絡(luò)，優(yōu)點是訓(xùn)練簡單、結(jié)構(gòu)簡練，不足之處是不能快 速進行，要想在線實時獲取逆動力學(xué)模型，就有一定難度。 96 2. 正正逆系統(tǒng)建模逆系統(tǒng)建模 非線性系統(tǒng)逆模型還可以依靠“正逆系統(tǒng)建模”的方 法獲得，這種方法的要點是在非線性系統(tǒng)的正模型(未知對 象的動力學(xué)模型)基礎(chǔ)

57、上，獲得逆動力學(xué)模型，有三種方案 值 得考慮。 (1) 被控對象逆模型建模，建模示意圖如圖4-20所示。 本方案中的神經(jīng)網(wǎng)絡(luò)作逆系統(tǒng)辨識用，它的輸入是整個 系統(tǒng)的輸入給定值u，系統(tǒng)的實際輸出是未知被控對象的輸 出y，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練信號e取自二者之差： e=yu 97 圖3-20 被控對象逆模型建模 98 這種建模方法存在一個嚴重的缺憾，那就是要求知道未 知對象的模型，恰恰在系統(tǒng)中它又是未知的，解決這個問題 的方法是將未知對象改用直接自適應(yīng)控制器，避免可能出現(xiàn) 的致命差錯。 (2) 正模型逆系統(tǒng)建模，建模示意圖如圖3-21所示。 本方案中的神經(jīng)網(wǎng)絡(luò)用于模擬被控對象的正模型(圖4- 21中的“正模

58、型”)，在前饋通道上的神經(jīng)網(wǎng)絡(luò)用于辨識逆 模型。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練信號是兩值之差，一個值u是神經(jīng)網(wǎng) 絡(luò)的期望輸入，另一個值v則是正模型的期望輸出， e=uv 99 圖3-21 正模型逆系統(tǒng)建模 100 誤差e用來訓(xùn)練辨識逆模型的神經(jīng)網(wǎng)絡(luò)連接權(quán)值。 本方案的突出優(yōu)點是正模型一旦建立便成為已知條件， 未知被控對象的各種運算都能從正模型計算出來。方案的不 足之處在于逆模型的精確程度依賴于正模型的精確程度，如 果正模型本身精度低、誤差大，相應(yīng)逆模型也不能正常反映 被控對象的實際情況。產(chǎn)生這種狀態(tài)的直接原因是被控對象 不在逆系統(tǒng)的反饋回路中，這是系統(tǒng)結(jié)構(gòu)造成的，沒辦法解 決。 (3) 被控對象正模型逆模型建

59、模，建模示意圖如圖 3-22所示。 101 圖3-22 被控對象正模型逆模型建模 102 本方案以直接建模為基礎(chǔ)，神經(jīng)網(wǎng)絡(luò)作逆模型辨識用， 它的訓(xùn)練信號來自于兩值之差：一個值是它的期望輸入u， 另一個是被控對象的實際輸出y， e=uy 在調(diào)節(jié)過程中，未知被控對象使用正模型神經(jīng)網(wǎng)絡(luò)代替。 未知被控對象處在逆系統(tǒng)的反饋環(huán)中，通過正模型能反映出 未知被控對象的真實情況，避免出現(xiàn)“正模型逆系統(tǒng)建?！?方案的弊病。 103 本方案的第二個優(yōu)點在于：如果正反模型都采用BP網(wǎng) 絡(luò)，則逆模型神經(jīng)網(wǎng)絡(luò)在誤差回傳時的最后一層誤差，通過 正模型神經(jīng)網(wǎng)絡(luò)的誤差回傳傳遞。既然正模型神經(jīng)網(wǎng)絡(luò)的功 能僅僅只是回傳誤差，那么

60、即便存在誤差也無關(guān)緊要，僅影 響收斂速度而不至于影響是否收斂。 104 3. 逆逆逆系統(tǒng)建模逆系統(tǒng)建模 這種建模方法使用兩個逆系統(tǒng)模型，與未知被控對象 一起構(gòu)成訓(xùn)練回路。處于系統(tǒng)前饋通道上的神經(jīng)網(wǎng)絡(luò)，功能 是一個控制器，控制未知被控對象，讓被控對象產(chǎn)生相應(yīng)的 輸出。逆逆系統(tǒng)建模示意圖如圖4-23所示。 105 圖3-23 逆逆系統(tǒng)建模 106 逆模型的輸入信號e為神經(jīng)網(wǎng)絡(luò)控制器的輸入u與未知被 控對象的輸出y之差： e=uy 如果神經(jīng)網(wǎng)絡(luò)控制器與未知被控對象的逆動力學(xué)特性不相等， 則逆模型的輸入不為0，神經(jīng)網(wǎng)絡(luò)控制器的訓(xùn)練將繼續(xù)進行。 只要系統(tǒng)中的逆模型是未知被控對象的另一個逆模型，就可 以利