Chapter1最優(yōu)估計(jì)的基本概念

1、Chapter1 最優(yōu)估計(jì)的基本概念1.6 最小二乘估計(jì) 最小方差估計(jì)須知道X,Z的全部統(tǒng)計(jì)特性。 線性最小方差估計(jì)精度低一些，但只需知道X,Z的一階，二階矩，降低了對(duì)X,Z統(tǒng)計(jì)特性的要求。 若對(duì)X,Z的統(tǒng)計(jì)特性一無可知，仍需對(duì)X進(jìn)行估計(jì)，可利用最小二乘法。(Ganes,1809年)方法：被估量X:n維向量，進(jìn)行k次線性觀測(cè)（最小二乘估計(jì)一定是線性估計(jì)）Zi=HiX+Ui （i=1，2，k）Zi：m維觀測(cè)向量；Hi：mxn測(cè)矩陣； Ui：均值為零的m維觀測(cè)誤差向量Z：km維向量；H：kmxn維矩陣；V：km維向量Km =n時(shí)，方程數(shù)目多余未知數(shù)的數(shù)目，可根據(jù)Z來估計(jì)X kkkvvvVhhhHz

2、zzZ.,.,.212121 Z=HX+Vw 若估計(jì)值 使J( )=L( )=(Z-H )T(Z-H ). w或Jw( )=L( )=(Z-H )TW(Z-H )極小.稱之為最小二乘（加權(quán)最小二乘）估計(jì).Wkmxkm ：對(duì)稱正定加權(quán)陣w 因?yàn)镴( )，Jw( )是標(biāo)量函數(shù)，據(jù)確定性求極小值的問題可采用使J( )/JW( )的 梯度等于0的方法求XLs(Z)或XLsw(Z). 上式全為零 當(dāng)HTH或HTWH為非奇異矩陣 XLs(Z)=(HTH)-1HTZ (3) 或XLsw(Z)=(HTWH)-1HTWZ(4) xxxxxxxxxxxx( )2()(1)( )2()(2)TTwJ xHZH Xx

3、JxH W ZH Xx xxw 使(1),(2)達(dá)到極小的充分條件：w 即(HTH)或(HTWH)為正定陣. (3),(4)是觀測(cè)數(shù)據(jù)Z求X的最小二乘估計(jì)或加權(quán)最小二乘估計(jì)的表達(dá)式. XLs(Z)或XLsw(Z)是觀測(cè)數(shù)據(jù)Z的線性函數(shù)，是線性估計(jì)，是以誤差的二次型為性能指標(biāo). Zi是標(biāo)量時(shí)，性能指標(biāo)： J(X)=(Z-H )T(Z-H )= 是估計(jì)誤差的平方和函數(shù). 所以，上述最優(yōu)估計(jì)XLs(Z)和XLsw(Z)為最小二乘估計(jì)或加權(quán)最小二乘估計(jì). ( )22( )( )|20( )|20Ls xLswTx xTTwTx xzJ xH Hx xJxH WHx x xx21()kiiiZH Xw說

4、明：w1.該方法是線性觀測(cè)，不需要知道任何實(shí)驗(yàn)知識(shí)。但wZ是可有觀測(cè)數(shù)據(jù)的全體。需將所有觀測(cè)數(shù)據(jù)儲(chǔ)存起來統(tǒng)一處理。因此計(jì)算量大。w2.XLs(Z)，XLsw(Z)是無偏估計(jì)w求X時(shí)不要求Vi的平均值為0,但當(dāng)Vi平均值為0時(shí)w3.估計(jì)誤差的方差陣 11( )()()TTTTLsLswXzH HH ZXH WHH WZ或1111( )()( )() () ( )( )( )()( )()( )( )TTTTLsTTTTLswE XzH HH E zH HH H E xE xE XzH WHH WE zH WHH WHE xE xR=Var(V)=E(VVT)對(duì)稱正定陣以上考慮E(V)=01111

5、1111111()( )( ) ()() ()()()( ()()()() ()() ()TTTTTTLsLsLsTTTTTTTTTTTTTTTTTTTTVar XE XXzXXzE XH HH Z XH HH ZE XH HHHX VXH HHHX VE XH HH HXH HH V XH HH HXH HH VE H HH VV H H HH HH E1111111111 ()()()()( ) ( )()() ()()()() ()() ;()TTTTTTTTTTTLswLswLswTTTTTTTTTTTTVVH H HH HH RH H HVar XE XXzXXzE XH WHH W

6、Z XH WHH WZE XH WHH W HX VXH WHH W HX VE H WHH WVV H H WHWWH WHH WE VV111()()()TTTTTWH H WHH WHH WRWH H WHw4.W=R-1可得加權(quán)最小二乘w5.W=R-1時(shí)，加權(quán)最小二乘的方差陣達(dá)到最小。w 對(duì)觀測(cè)誤差獲得一些統(tǒng)計(jì)知識(shí)，即EV=0，VarV=E(VVT)=R。若W=R-1可使估計(jì)誤差的方差陣Var（XLsw）|W=R-1達(dá)到最小。w 若R=STS，S為可逆陣，w 則許百茨不等式 BTB=(AB)T(AAT)-1(AB)，其中A=HTS-1，B=SWH(HTWH)-1，AB=HTS-1SWH

7、(HTWH)-1=Iw 加權(quán)W (HTWH)-1HTWRWH(HTWH)-1=BTB=(AB)T (AAT)-1(AB)= (AAT)-1=(HTR-1H)-1 當(dāng)W=R-1時(shí)，上式取等號(hào)，此估計(jì)為Matlab估計(jì) XLSR -1(Z)=(HTR-1H)-1HTR-1Z1111111111()|()()()()TTTTLswLswW RVar XVar XH R HH R RR H H R HH R H最小二乘類參數(shù)辨識(shí)方法w 包括最小二乘，增廣最小二乘，廣義最小二乘，輔助變量法，相關(guān)二重法。w5.1 引言w 將過程看作黑箱，只考慮過程的IO特性，不強(qiáng)調(diào)過程的機(jī)理w輸入U(xiǎn)(k)輸出Z(k)可觀

8、測(cè)；G(z-1)稱為過程模型w描述過程：w 過程除受輸入量u(k)作用外，還受不確定因素影響，歸結(jié)為噪聲u(k)，n(k)平穩(wěn)s.p.均值為零。譜容度是cosw的有理函數(shù)。121121111()()()1bbaannnnb zb zb zB zG zA za za z n(k)=N(z-1)V(k) V(k)白噪音;N(z-1)噪音模型 最小二乘模型 A(z-1)Z(k)=B(z-1)U(k)+V(k) 增廣最小二乘模型 A(z-1)Z(k)=B(z-1)U(k)+D(z-1)V(k) 廣義最小二乘模型 A(z-1)Z(k)=B(z-1)U(k)+V(k)/C(Z-1) 不同的辨識(shí)方法，可用的

9、過程模型一樣，只有噪聲模型不同。 解決一個(gè)實(shí)際問題，采用哪種方法取決于模型類的選擇，這需要通過多次試驗(yàn)比較最后才確認(rèn)。11111111()()()1ddccnnnnd zd zD zN zC zc zc z5.2最小二乘的基本概念w1795年高斯提出，估計(jì)理論的奠基石w最小二乘法的兩種形式： w1.一次完成算法w2.現(xiàn)代遞推算法w過程的IO關(guān)系描述成以下最小二乘形式wZ(k)=hT(k) +n(k)w其中，Z(k)：過程的輸出分量；h(k)：可觀測(cè)的數(shù)據(jù)向量；n(k)：均值為零的隨機(jī)噪聲。w利用Z(k)和N(k)極小化，下列準(zhǔn)則函數(shù)：w 21( ) ( )( ) ( )minlTkJZ khk

10、J的 估計(jì)值記作 稱為參數(shù) 的最小二乘估計(jì)weg：w離散SISO 輸入序列u(1),u(2),u(L)w觀測(cè)到的輸出序列Z(1),Z(2)，,Z(L)w選擇下列模型wZ(k)+aZ(k-1)=bU(k-1)+N(k) a,b待辨識(shí)w寫成：Z(k)=-aZ(k-1)+bU(k-1)+N(k)=-z(k-1)u(k-1)w w ；N(k)=Z(k)+aZ(k-1)-bU(k-1) 使J=min求a,bw 21( )lkJn k( )aN kb 5.3 最小二乘問題的提法w時(shí)不變SISO動(dòng)態(tài)過程的數(shù)學(xué)模型為wA(z-1)Z(k)=B(z-1)U(k)+N(k) (1) wU(k)輸入量；Z(k)輸出

11、量；N(k)噪聲 A(z-1)=1+a1Z-1+an0Z-n0wB(z-1)=b1z-1+bnbZ-nbw假定模型降次na和nb已經(jīng)設(shè)定，且nanb，當(dāng)取相同的降次n= na = nbw寫成最小二乘格式 Z(k)=hT(k) +n(k)121( )(1),(),(1),(), ;1,2,3,(2)bTabTnnh kZ kZ knU kU kna aabbkL w則方程(2)構(gòu)成一個(gè)線性方程組，寫成ZL=HL+nLw(1)的噪聲n(k)完全可用一階和二階矩描述。設(shè)它的均值和協(xié)方差陣為 (1), ( ) (1), ( )(0),(1), (0), (1)(1)(1),(), (1), ()( )

12、TLTLTabLTabZzz LNnn LzznuunhHz Lz Lnu Lu LnhL22(1)( )(1),( (1) (2),(1) ( )()()( ( ) (1),( ( ) (2),( )LTLLLnEnE nEn lE nE nnEnn LCov nE n nE n L nE n L nE nLw推導(dǎo)最小二乘結(jié)果時(shí)，不需要考慮噪聲n(k)的統(tǒng)計(jì)特性w1.評(píng)價(jià)最小二乘估計(jì)的性質(zhì)時(shí)，需進(jìn)一步假設(shè)n(k)不相關(guān)，且同分布。w即假設(shè)n(k)是白噪聲序列，即w2.有時(shí)假設(shè)w3.記憶長(zhǎng)度LwL(na+nb)2 0 llnE nCov nI2n是噪聲n(k)的方差2( )( ,)( )( )

13、En(k)u(k-1)=0;,n kNn ku kk l 與不相關(guān)5.4 最小二乘問題的解w引入目的是便于考慮觀測(cè)數(shù)據(jù)的可信度weg:現(xiàn)時(shí)刻加權(quán)值大于過去時(shí)刻加權(quán)值，可選w若線性時(shí)不變系統(tǒng)，或數(shù)據(jù)的可信度難以肯定，可簡(jiǎn)單選擇w根據(jù)噪聲的方差對(duì) 進(jìn)行最佳選擇。得到的估計(jì)值稱為Markov估計(jì)21( )( )( );( ), ( )( )( ) ( )( ) ( ):k,(k)0TLTkZ khkn kZ k h kJk Z khkn k是可觀測(cè)數(shù)據(jù)， ：待估計(jì)參數(shù)則加權(quán)因子；使( );01l kk( )1k( )kw J( )看作衡量模型輸出與實(shí)際過程輸出的臨近情況，求極小化J( )的參數(shù) 的估

14、計(jì)值將使模型輸出最好地反應(yīng)過程的輸出。J( )=(Z -H)()(1)=( )00TLLLLLLLLZHlH則是加權(quán)陣，一般為正定的對(duì)角陣，與n(k)的關(guān)系是代表了模型的輸出，或者說是過程的輸出預(yù)極值, . , ( )|min()()( )|0()();2;();wLswLswLswLsTlllllTTTTTTwLsllllllst JZHZHJxx Axx A AxxHHHZ 設(shè)為對(duì)稱陣w通過極小化的計(jì)算 的方法稱為加權(quán)最小二乘法。 為加權(quán)最小估計(jì)值w若加權(quán)陣取w 簡(jiǎn)稱為最小二乘估計(jì)值，對(duì)應(yīng)的方法叫做最小二乘法。222T()( )|2;( )|0( )|minwLswLswlsTLLLTTT

15、wLslllllTTlllllHHHHHZJHHHHJJ當(dāng)為正定矩陣時(shí)正定，正定唯一wls1TwlsLslllllIH Z則退化為（H H）wlsLsw獲得數(shù)據(jù)后，可用w求相應(yīng)的參數(shù)估計(jì)值，這是一次完成的算法。w1.理論研究方便w2.計(jì)算方面碰到矩陣求逆困難w 一次完成算法要求 則矩陣（可逆矩陣），其充要條件是輸出信號(hào)必須是2n階持續(xù)激勵(lì)信號(hào)w 上述條件稱為開環(huán)可辨識(shí)性條件，這意味著辨識(shí)可用的輸入信號(hào)不能隨意選擇，否則造成不可辨識(shí)。11();()TTTTwlslslllllllllllHHHZH HHZTlllHH22,0, (1),(2),( )00max(,)00TllnllllTll labU UUFU F UF UUUUU lFnn n即其中w目前常用信號(hào)：w1.隨機(jī)序列（eg：白噪聲）w2.偽隨機(jī)序列（eg：M序列或逆M序列）w3.離散序列，對(duì)含有n種頻率（各頻率不滿足整數(shù)信關(guān)系）的正弦組合信號(hào)進(jìn)行采樣處理獲得的離散序列。weg：過程脈沖響應(yīng)的識(shí)別w設(shè)線性過程的輸入Z(k)用輸入序列u(k)與脈沖響應(yīng)序列g(shù)(i) i=0,1,2,n的卷積和形式表示1212eg：仿真對(duì)象z(k)-1.5z(k-1)+0.7z(k-2)=u(k-1)+0.5u(k-2)+u(k);u(k) N(0,1),u(k)采用4階從序列