最小二乘估計

1、信號檢測與估計信號檢測與估計Signal Detection and Estimation最小二乘估計最小二乘估計內(nèi)容安排12345引言線性最小二乘估計序貫最小二乘估計非線性最小二乘估計小結(jié)最小二乘估計內(nèi)容安排12345引言線性最小二乘估計序貫最小二乘估計非線性最小二乘估計小結(jié)最小二乘估計引言第一次觀測：38.0第二次觀測：37.9第三次觀測：38.1第四次觀測：38.1第五次觀測：37.9前后觀測五次溫度值如下：取個平均！38攝氏度攝氏度最小二乘估計引言l假設信號是 ，經(jīng)過N次觀測，觀測數(shù)據(jù)為： s nA (0,1,2,1)x n nN如何得到A？取個平均！101 NnAx nxN最小二乘估

2、計引言101 NnAx nxN樣本均值估計即是一種特殊的最小二乘估計最小二乘估計引言無偏估計的類型確定最小方差觀測數(shù)據(jù)的概率描述各種限制。之前學過的估計方法對觀測數(shù)據(jù)不做任何概率或統(tǒng)計描述僅僅假設一個數(shù)學模型最小二乘估計古老但實用！最小二乘估計引言最小二乘估計（Least Square Estimate，LSE）估計的目的是使得所有觀測數(shù)據(jù)和假設信號之間的平方誤差最小120( ),0,1,2,1( )NnJnNx ns n2mse( )E均方誤差準則最小二乘估計引言假設取決于未知參量 的信號 ，由于噪聲或模型不準確，觀測信號是受干擾的信號，用觀測數(shù)據(jù) 表示， 的最小二乘估計就是選擇使得 最小的

3、 值( )J s n x n通常用于數(shù)據(jù)的準確統(tǒng)計特性未知，或不能找出最優(yōu)估計的場合最小二乘估計引言l假設信號是 ，經(jīng)過N次觀測，觀測數(shù)據(jù)為： s nA (0,1,2,1)x n nN101 NnAx nxN120( )( )NnJ Ax nA使得最小,上式對A求導，并令結(jié)果為0，可得：100( )NnA x n10*0 NnNAx n最小二乘估計引言最 小 二 乘 估 計最 小 方 差 無 偏 估 計 , x nAw n w n是高斯白噪聲最小二乘估計引言l考慮正弦信號，信號模型為：0 cos(2)s nAf n若A是待估計參量， 是已知的：0f若 是待估計參量，A是已知的：0f1200 (

4、 cos(2)NnJ Ax nAf n12000( cos(2)NnJ fx nAf n線性最小二乘非線性最小二乘最小二乘估計內(nèi)容安排12345引言線性最小二乘估計序貫最小二乘估計非線性最小二乘估計小結(jié)最小二乘估計線性最小二乘估計表1中是在不同溫度下測量同一熱敏電阻的阻值，根據(jù)測量值確定該電阻的數(shù)學模型，并求出當溫度在70攝氏度時的電阻值。最小二乘估計線性最小二乘估計btaRRt數(shù)學模型：最小二乘估計線性最小二乘估計21( ( )( )NnJR nabt nLS為：12( ( )( )0NnJR nabt na 12( ( )( ) ( )0NnJR nabt n t nb 求極值，對上式求導

5、：11( )( )NNnnNabt nR n2111( )( )( ( ) ( )NNNnnnat nbtnR n t n二元一次方程！最小二乘估計線性最小二乘估計211112211( )( )( ( ) ( )( )( )( )NNNNnnnnNNnnR ntnR n t nt naNtnt n1112211( ( ) ( )( )( )( )( )NNNnnnNNnnNR n t nR nt nbNtnt n最小二乘估計線性最小二乘估計702.762a 3.4344b tR4344. 3762.702最小二乘估計線性最小二乘估計l矢量最小二乘假設矢量參量 是 維的，信號是待估計參量的線性函

6、數(shù)，假設：1pTNssss,2,1 Hs 觀測矩陣pN滿秩矩陣)()()(HxHxJTLS為：VHx最小二乘估計線性最小二乘估計HHHxxxJTTTT2)(對 求導，并令其值為0，有：022HHxHTT所以：xHHHTT1)(l定理4.1 若觀測數(shù)據(jù)可表示為2(0,)NI則則MVU估計量估計量最小二乘估計線性最小二乘估計當系統(tǒng)測量噪聲V是均值為0，方差為R時性質(zhì)1. 最小二乘估計即是無偏估計，有：)(E0)()()()()()()()()(11111VEHHHxHEHHHxHHHHHHHExHHHEETTTTTTTTTT證 明最小二乘估計線性最小二乘估計當系統(tǒng)測量噪聲V是均值為0，方差為R時性

7、質(zhì)2. 最小二乘估計的均方誤差為：11)()(HHRHHHHTTT自行證明最小二乘估計線性最小二乘估計VHx21zzx11HrrR400)(2111111121211zzzz因此：VHx最小二乘估計線性最小二乘估計估計的均方誤差為：11)()(HHRHHHHTTT4511111140011111111rrrr缺點：對所有測量數(shù)據(jù) 同等看待最小二乘估計線性最小二乘估計l加權(quán)最小二乘法對不同置信度的測量值采用加權(quán)的辦法分別對待強調(diào)可靠數(shù)據(jù)的重要性)()()(HxWHxJTLS改為：NN維加權(quán)矩陣最小二乘估計線性最小二乘估計WxHWHHTT1)(此時的LSE為：11)()(WHHWRWHHWHHTT

8、T此時估計的均方誤差為：l加權(quán)最小二乘法xHHHTT1)(一般的LSE為：11)()(HHRHHHHTTT一般的均方誤差為：最小二乘估計線性最小二乘估計l加權(quán)最小二乘法 ) 1(,),1 (),0(diagNwwwW如果 是零均值和具有方差 的不相關(guān)噪聲，那么加權(quán)因子的合理選擇是：)(nw2n21)(nnw當 時，加權(quán)最小二乘退化為普通的最小二乘IW最小二乘估計線性最小二乘估計使用加權(quán)最小二乘估計)4/(100/1rrW2121151544100111114100111zzzzrrrr第一次測量的權(quán)重大了！最小二乘估計線性最小二乘估計使用加權(quán)最小二乘估計)4/(100/1rrW11HrrR40

9、0rrrrrrrr54114100111114001111410011111估計的均方誤差為：最小二乘估計線性最小二乘估計l小 結(jié)WxHWHHTT1)(LSE為：11)()(WHHWRWHHWHHTTT估計的均方誤差為：最小二乘估計內(nèi)容安排12345引言線性最小二乘估計序貫最小二乘估計非線性最小二乘估計小結(jié)最小二乘估計序貫最小二乘估計l前面的方法均是等到所有可供使用的數(shù)據(jù)全部采樣后再進行處理。序貫最小二乘估計不必得到全部數(shù)據(jù)后批處理！求出基于1,1 ,0Nxxx=的最小二乘估計得到Nx對 進行更新，得到新的xHHHTT1)(而不是利用全部數(shù)據(jù)，套用求得最小二乘估計序貫最小二乘估計l假設信號是

10、，經(jīng)過N次觀測，觀測數(shù)據(jù)為： s nA (0,1,2,1)x n nN1011 NnA Nx nxN利用前面的知識，容易得到：又得到新的樣本x N，那么此時的估計為：01 1NnA Nx nN1011( )(* 1)111111NnA Nx nx NNA Nx NNNNA Nx NNN利用前面的LSE和新的觀測，可求得新的LSE!最小二乘估計序貫最小二乘估計1111NA NA Nx NNN11( 1)1A NA Nx NA NN老的估計修正項改寫形式最小二乘估計序貫最小二乘估計l若對觀測數(shù)據(jù)加權(quán)， 21)(nnw120120 11NnnNnnx nA N那么，2202200 11( 1)11N

11、nnNNNnnnnx nA NA Nx NA N2N2N0K N式1最小二乘估計序貫最小二乘估計l若 ，其中 是均值為零，方差為 的噪聲 x nAv n2n v n1201var( 1)1NnnA N則：2var( 1)var( 1)NA NK NA N因此有：2201var( 1)var( )1var( 1)1var( 1)NnnnA NA NA NA Nvar( )1 var( 1)A NK NA N式2式3最小二乘估計序貫最小二乘估計1( 1)A NA NK Nx NA N式12var( 1)var( 1)NA NK NA N式2var( )1 var( 1)A NK NA N式3200

12、0var( 0)AxA最小二乘估計內(nèi)容安排12345引言線性最小二乘估計序貫最小二乘估計非線性最小二乘估計小結(jié)最小二乘估計非線性最小二乘估計x1 2 3 4 5 6 7 8y15.3 20.5 27.4 36.6 49.1 65.6 87.8 117.6bxaey y不是待估計參量a,b的線性函數(shù)！使用參數(shù)變換方法最小二乘估計非線性最小二乘估計x1 2 3 4 5 6 7 8y15.3 20.5 27.4 36.6 49.1 65.6 87.8 117.6bxaey bxay lnlnlny是lna和b的線性函數(shù)！取對數(shù)VHx最小二乘估計非線性最小二乘估計xHHHTT1)(,lnba,12111NH6 .117ln5 .20ln3 .15lnx的最小二乘估計！和后，就等于得到和求取baba ln最小二乘估計非線性最小二乘估計l例：設有一個正弦信號模型為： 1, 2 , 1 , 0),2cos(0NnnfAns和已知，希望估計Af0nfAnfns002sinsin2cosAcos參數(shù)變換：已知！已知！* sAsinAcos2121n則，令已知量已知量線性了！最小二乘估計內(nèi)容安排12345引言線性最小二乘估計序貫最小二乘估計非線性最