第四章-最小二乘參數(shù)辨識方法及原理

1、建模與辨識第第4章章 最小二乘參數(shù)辨識方法最小二乘參數(shù)辨識方法4.1、輸入輸出模型、輸入輸出模型4.2 最小二乘法（最小二乘法（LS）4.3 遞推最小二乘法（遞推最小二乘法（RLS）4.4 數(shù)據(jù)飽和現(xiàn)象及適應性算法數(shù)據(jù)飽和現(xiàn)象及適應性算法 4.4.1 數(shù)據(jù)飽和現(xiàn)象數(shù)據(jù)飽和現(xiàn)象 4.4.2 漸消記憶法漸消記憶法(遺忘因子法遺忘因子法) 4.4.3 限定記憶法（固定窗）法限定記憶法（固定窗）法 4.4.4 輔助變量法（輔助變量法（IV） 4.4.5 遞推輔助變量法（遞推輔助變量法（RIV）4.5 廣義最小二乘法（廣義最小二乘法（GLS）4.6 遞推廣義最小二乘法（遞推廣義最小二乘法（RGLS）4.

2、7 增廣矩陣法（增廣矩陣法（ELS/RELS）（增廣最小二乘法）（增廣最小二乘法）4.8 多階段最小二乘法（多階段最小二乘法（MSLS）4.9 幾種最小二乘類辨識算法的比較幾種最小二乘類辨識算法的比較 本章內(nèi)容本章內(nèi)容 本章的學習目的本章的學習目的1、掌握最小二乘參數(shù)辨識方法的基本原理2、掌握常用的最小二乘辨識方法3、熟練應用最小二乘參數(shù)辨識方法進行模型參數(shù)辨識4、能夠編程實現(xiàn)最小二乘參數(shù)辨識回回 顧顧辨識目的：辨識目的：根據(jù)過程所提供的測量信息，在某種準則意 義下，估計模型的未知參數(shù)。ProcessInputOutput工程實踐 目 的模型結構參數(shù)辨識模型校驗模型確定 )(kG ( )u k

3、( )x k)(kv( )y k )(kG ( )u k)(ky4.1 輸入輸出模型輸入輸出模型( )( )( )y kx kv k隨機模型隨機模型確定性模型確定性模型1.確定性模型確定性模型 )(kG )(ku)(kyn階差分方程描述：012012a( )(1)(2)()b( )(1)(2)()nmy ka y ka y ka y knu kbu kb u kb u km010( )()()nmiiiia y ka y kibu ki01,amn令10( )()()nniiiiy ka y kibu ki1.確定性模型確定性模型 )(zG )(ku)(ky脈沖傳遞函數(shù)描述：1101111(

4、)()( )=( )1()nnnnbb zb zY zB zG zU za za zA z2.隨機模型隨機模型10 x( )x()()nniiiikakibu ki觀測值可表示為：( )x( )v( )y kkk系統(tǒng)真實輸入輸出之間的關系為： )(kG u( )kx( )k)(kvy( )k整理得：101( )()()+v(k)+v()nnniiiiiiy ka y kibu kiaki( )k2.隨機模型隨機模型 )(kG u( )kx( )k)(kvy( )k10( )()+()(k)nniiiiy ka y kibu ki 相當于進行m次獨立試驗，得到11( ,)u y22(,)uy(,

5、)mmuy(1)(2)( )myyYy m(1)(0)(1)(0)(1)(2)(1)(2)(1)(2)( )(1)()(1)()myynuunyynuunmy my m nu mu m n 10Tnnaabb(1)(2)( )TmVmmmmYV m次獨立試驗的數(shù)據(jù)11( ,)u y22(,)uy(,)mmuy yu( )f u1795年，高斯提出了最小二乘方法。 )(kG ( )u k( )x k)(kv( )y k 未知量的最可能值是使各項實際觀測值和計算值之間差的平方乘以其精確度的數(shù)值以后的和為最小。1795年，高斯提出的最小二乘的基本原理是Gauss（1777-1855）( )( )(

6、)y kx kv k使使 最小最小21( )| ( )( )|mkw ky kx k 未知量的最可能值是使各項實際觀測值和計算值之間差的平方乘以其精確度的數(shù)值以后的和為最小。1795年，高斯提出的最小二乘的基本原理是Gauss（1777-1855）)()()(kvkykz使使 最小最小mkkykzkw12| )()(| )(3、最小二乘辨識方法的基本概念、最小二乘辨識方法的基本概念通過試驗確定熱敏電阻阻值和溫度間的關系 當測量沒有任何誤差時，僅需2個測量值。 每次測量總是存在隨機誤差。btaRiiiiiibtayvRyv或3利用最小二乘法求模型參數(shù)利用最小二乘法求模型參數(shù)根據(jù)最小二乘的準則有N

7、iiiNiibtaRvJ1212min)(根據(jù)求極值的方法，對上式求導NiiiibbNiiiaatbtaRbJbtaRaJ110)(20)(2NiiiibbNiiiaatbtaRbJbtaRaJ110)(20)(2NiNiiiNiiiNiNiiitRtbtaRtbaN1112112112111211211121NiiNiiNiiNiiNiiiNiiNiiNiiNiiiNiiNiittNtRtRNbttNttRtRa3 利用最小二乘法求模型參數(shù)利用最小二乘法求模型參數(shù)762.702 a4344. 3bCt 70168.943R2112111211211121NiiNiiNiiNiiNiiiNii

8、NiiNiiNiiiNiiNiittNtRtRNbttNttRtRabtaRmmmYV zt)(tf4.2 最小二乘法 一個單輸入單輸出線性定常系統(tǒng)可用圖4-1表示。系統(tǒng)的差分方程為 120112121,2,nnx ka x ka x ka x knb u kbu kb u knk(4-1) )(kG )(ku)(kx)(kv)(ky為隨機干擾。由上式得 把式 (4-3)代入式(4-1)，得 12011212112nnny ka y ka y ka y knb u kbu kb u knv ka v ka v ka v kn觀測值 用下式表示： y k y kx kv k(4-2) v k x

9、 ky kv k(4-3)即 101nnniiiiiiy ka y kibu kiv ka v ki (4-4)如果 也有測量誤差，則在 中應包含這一測量誤差。 u k k則式(4-4)變成 10( )nniiiiy ka y kibu kik (4-6)假設 是均值為零的獨立分布的平穩(wěn)隨機序列，且與序列 相互獨立。設 1,2,v kkn 1,2,u kkn 0niikv ka v ki(4-5) 現(xiàn)在分別測出個 輸出值和輸入值： 及 。則可寫出N個方程：nN 12yyy nN， ， 12uuu nN， ，)()()()() 2() 1()() 1() 1 ()() 1() 1 () 1()(

10、) 1(0211021NnNubNnubNyaNnyaNnyaNnynubnubnubyanyanyanynnnn1201(1)( )(1)(1)(1)(1)(2)(1)(2)(2)(2)(2)()(1)() ()()()nnaay ny nyu nunay ny nyu nunby nNy nNy N u nNu NnNbb上述N個方程可寫成下列向量矩陣形式 式中 為N個輸出值組成的向量； 所組成的n維向量， 所組成的 維向量；所組成的N維噪聲， 即 y12naaaa， ， ，為01nbbbb， ， ，為1n 12nnnN， ，為101122,nnay nnay nnby nNnNb ayb

11、，或 ayY Ub(4-7) 為輸出值 所組成的 陣塊； 為輸入值 所組成的 矩陣塊。即Y 121yyy nN，N nU 12uuu nN，1Nn 111112112121y ny nyu nu nuy ny nyu nu nuy n Ny n Ny Nu n N u n Nu N Y U(4-8)式(4-7)也可寫成 y(4-9)式中 aY Ub， 為 維測量矩陣， 為 維參數(shù)向量。因此，式(4-9)是一個含有 個未知參數(shù)的N個方程組成的聯(lián)立方程組。如果 ，則方程組是不定的，不能唯一地確定參數(shù)向量。如果 ，則當測量誤差 時，就能準確地解出參數(shù)向量，即21Nn21n21n21Nn21Nn 01

12、 y(4-10)如果測量誤差不等于零，則11 y(4-11) 從上式可看出，隨機測量噪聲 對參數(shù) 的估計值有影響，為了盡量減小 對 的估值的影響，應該取 ，即方程數(shù)目大于未知數(shù)數(shù)目。在這種情況下，不能用解方程的方法求 ，而要采用數(shù)理統(tǒng)計的方法求 的估值。這樣可減小 對 的估值的影響。這種給定測量向量 和測量矩陣 求參數(shù) 估值的問題，就是系統(tǒng)參數(shù)的辨識問題。21Nny式中12,y ny ny nN ayb寫出式(4-12)的某一行，得 1012nniiiiy ka y kibu kiknnnN ， ，(4-13)設 表示 的最優(yōu)估值， 表示 的最優(yōu)估值，則有 yy y(4-12)設 表示 與 之

13、差，通常稱它為殘差。 e k y k y k 1012nniiiie ky ky ky ka y kibu kiknnnN ， ，(4-14)由式(4-14)得 10nniiiiy ka y kibu kie k (4-15) 把 分別代入式(4-14)，可得殘差 把這些殘差寫成向量形式：12knnnN， ，1e n ，2e ne nN， ，12e ne ne nNeyy(4-16)最小二乘法估計要求殘差的平方和為最小，即按照指標函數(shù) TTJe eyy為最小確定估值 。 (4-17)可按 來求 的最小二乘法估計值 。0J20TJy 即TT y由此式用 左乘等號的兩邊，得 1T 1TT y(4-

14、18)顯然，當矩陣 存在時，式(4-18)才有解。一般說來，如果 是隨機序列或偽隨機二位式序列，則矩陣 是非奇異的，即 存在，式(4-18)有解。1T u k1T T J為極小值的充分條件是為極小值的充分條件是220TJ (4-19) 因為 有解與 正定等價，所以可以保證 正定來確定對輸入 序列的要求。由式(4-9)可知T T u k Y U(4-20)則TTTTTTTY YYY UY UUU YU U 因此，要求 正定，根據(jù)正定矩陣的性質(zhì)，必須保證 正定。這個條件稱為 階持續(xù)激勵條件。通常，輸入 序列采用隨機序列或M序列時，它們都滿足這個持續(xù)激勵條件。顯然，若為常值序列時， 為奇異陣，不滿足

15、持續(xù)激勵條件。T TU Un u k u kTU U 因輸出值 是隨機的，所以 是隨機的，但要注意到 不是隨機的。如果y EE 則稱 是 的無偏估計。 如果式(4-6)中的 是不相關隨機序列，且其均值為零（實際上 往往是相關隨機序列，對這種情況，以后專門討論。并假設序列 與 不相關。當 為不相關隨機序列時， 只與 及其以前的 有關，而與 及其以后的 等無關。從 的展開式可看出， 與 不相關。 k k k n k k y k k12kk， ，1k23kk， ， ，T 的展開式如下所示：T 11112212121112Ty ny ny nNny ny ny nNnyyy Nu nu nu nNu

16、nu nu nNnNuuu N(4-22) 1TTEEE 對上式等號兩邊取數(shù)學期望 由于 與 不相關， 則式(4-18)給出的 是 的無偏估計。把式(4-9)代入式(4-18)，得11TTTT (4-23)只要 ，便有 0E 1TTEEE 式(4-24)表明 ， 是 的無偏估計。(4-24) 顯然，根據(jù)這一條件，要使最小二乘估計為無偏，可不必要求 。當 時，如何構造無偏估計，這是本章將要討論的輔助變量法所要解決的問題。 0E 0E 在上面我們要求 是零均值的不相關隨機序列，并要求 與 無關，則 與 無關。這是最小二乘估計為無偏估計的充分條件，但不是必要條件。 k k u k10TTE (4-2

17、5) 以上分析表明，當 時， 以概率1趨近于 。因此，當 為不相關隨機序列時，最小二乘估計具有一致性和無偏性。如果系統(tǒng)的參數(shù)估計具有這種特性，就說系統(tǒng)具有可辨識性。N k例4.2 考慮仿真對象)() 2(5 . 0) 1() 2(7 . 0) 1(5 . 1)(kVkukukzkzkz)() 2() 1() 2() 1()(2121kVkubkubkzakzakz選擇如下的辨識模型進行一般的最小二乘參數(shù)辨識。 4階M序列輸出信號)16()4() 3(zzzZm(3)(2)(1)(2)(1)(4)(3)(2)(3)(2)(16)(15)(14)(15)(14)mzzuuzzuuzzuu2121b

18、baa1()TTmmmmZ 開始 產(chǎn)生輸入信號 M 序列 產(chǎn)生輸出信號 y（k） 給出樣本矩陣m和mY 估計參數(shù) 分離估計參數(shù)1a、2a、01,b b和2b 結束 畫圖：輸入/輸出信號和估計參數(shù) 一般最小二乘參數(shù)辨識流程圖作業(yè)作業(yè)11111113101012113110110110110110120122133TTTTTTYVrYRrrrrER y其中：，由最小二乘法計算公式可得：均方誤差為：1233rr4.3 遞推最小二乘法原理及算法遞推最小二乘法原理及算法 )(kG )(ku( )x k)(kv( )y k圖 SISO 系統(tǒng)的“灰箱”結構 一般最小二乘或加權最小二乘為一次完成算法或批處理算

19、法。 計算量大、存儲大、不適合在線辨識。 采用參數(shù)遞推估計遞推最小二乘算法。 4.3 遞推最小二乘法辨識 遞推最小二乘法辨識是一種在線算法。這種方法的辨識精度隨著觀測次數(shù)的增加而提高。 設已得到的觀測數(shù)據(jù)長度為N，把式(4-9) 中的 分別用 代替，即y、和NNNy 、及NNN y(4-32)用 表示 的最小二乘估計，則N1TTNNNNN y(4-33)估計誤差為1TTNNNNNN (4-34)估計誤差 的方差陣為N122VarTNNNN P (4-35)上式中，設1TNNN P (4-36)于是，式(4-33)變成 TNNNNyP (4-37)式中1111,111 ,11NNTNyy nNn

20、Ny nNy nNy Nu nNu N ， ， ， 如果再獲得一組新的觀測值 和 ，則又增加一個方程1y nN1u nN111TNNNy(4-38)將式(4-32)和式(4-33)合并，寫成分塊矩陣形式，可得111TNNNTNNNyy(4-39)由上式給出新的參數(shù)估值111111111TTNNNNNTTTNNNNTNNNNN yyPyy(4-40)式中11111111111TNNTTNNNNNTTNNTNNN PP(4-41)令A=PN-1 ，B=C= 展開式(4-41)的右端， 于是得到 和 的遞推關系式：1NPNP111111TTNNNNNNNNNPPPIPP(4-42)111111()(

21、)TTTABCAA B IC A BC A應用矩陣求逆引理，1N 矩陣 為 矩陣，求這個矩陣的逆陣的逆陣是很麻煩的。應用矩陣求逆引理之后，就可把求 的逆陣轉變?yōu)榍髽肆?的倒數(shù)，這樣可大大節(jié)省計算量，同時又得到 與 的簡單遞推關系式。111TNNNP2121nn2121nn111TNNNP1NPNP由于 為標量，因此式(4-42)可寫成11TNNNP111111TNNNNNNTNNNPPPPP(4-43)由式(4-40)和式(4-37)得111111111111TNNNNNNTNNNNNNNNNNNNPyyPP PyyPPy把式(4-43)代入上式得11111111111111111111111111TTNNNNNNNNNNNNNTTNNNNNNNNNNNTTNNNNNNNNNPPPPPyPPPyPPPy上式的后兩項為 111111111111111111111111111111111TTNNNNNNNNNNNNTTNNNNNNNNNTTNNNNNNNNNTNNNNNNPyPPPy