學習信號統(tǒng)計分析講義chapter

1、信號統(tǒng)計分析第5章信號估計理論本章內(nèi)容5.1引言5.2估計準則5.3多參量的常用估計準則5.4估計量評價的指標5.5克拉美-羅不等式5.6應用5.1引言信號檢測：是否存在信號或存在哪種信號信號估計：對信號的參量甚至波形進行定量的推斷從信號檢測到信號估計，是對事物從定性的量的描述。到定不同應用領域：數(shù)理統(tǒng)計領域：估計總體的均值、方差、各階矩、相關函數(shù)等；信息與通信工程領域：估計信號的振幅、相位、頻率、時延等；工程領域：估計動態(tài)系統(tǒng)的參量和狀態(tài)，如飛行體的質(zhì)量、位置、速度、度等；領域：估計、各種反應運行的指標，如人均生產(chǎn)總值、物價指數(shù)等。分類確定參量估計和隨機參量估計單維（標量）參量估計和（矢量）

2、參量估計時變參量估計和時不變參量估計線性參量估計與非線性參量估計5.2估計準則5.2.1最大后驗概率估計5.2.2最大似然估計5.2.3最小均方誤差估計5.2.4線性最小均方誤差估計5.2.5最小平均絕對誤差估計5.2.6貝葉斯估計5.2.7最小二乘估計觀測信號x (t ) =(t )0 £ t £ T其中 s (t;q ,q ,"q)為有用信號， = q ,qT 為待估,",q12M12M計參量，n (t ) 為觀測噪聲。利用N個觀測樣本 x = 記為 = g (x )xN T進行估計,估計量5.2.1最大后驗概率估計使后驗概率密度最大的一種估計，即=

3、 arg max f (q | x)qMAPqf (q | x)為單個待估計量q 的后驗概率密度函數(shù)。其中估計量q可以通過如下方程得到MAPé ¶êë ¶qé ¶êë ¶qf (q | x)ùln f (q | x)ù= 0= 0orúúûûq =qq =qMAPMAP利用 f (q )f (q |進一步可得é ¶êë ¶qln f (x |q ) + ¶ln f (q )&#

4、249;= 0ú¶qûq =qMAP例 5.1已知如下觀測樣本xi = s + ni ,i = 1, 2,", N()()s % N0,sn % N0,s2s2n,其中信號噪聲同分布，i并且信號與噪聲不相關。sMAP求。5.2.2最大似然估計使觀測樣本的似然函數(shù) f (x | q )計，即取得最大值的一種估= arg max f (x | q )qMLq估計量q可以通過如下方程得到ML ¶¶q ¶¶qf (x | q )ln f (x |q )= 0= 0orq =qq =qMLML 適用于確定參量估計和先驗分布未

5、知的隨機參量估計。例 5.2已知如下觀測樣本xi = s + ni ,i = 1, 2,", N()()s % N0,sn % N0,s2s2n,其中信號噪聲同分布，i并且信號與噪聲不相關。sML求。5.2.3最小均方誤差估計使估計的均方誤差最小的一種估計。定義估計誤差e (q) = q - q估計的均方誤差x (q) = E e2 (q)= ò ò (q - q)2(q ) ( x ) | x) f (x)dxf (q( x )則= arg min x (q) = arg min x (q | x)qMSqq利用¶¶qx (q | x)= 0

6、q=qMS可得q f (q | x)dq = E q | xqò(q )=MS例 5.3已知如下觀測樣本xi = s + ni ,i = 1, 2,", N()()s % N0,sn % N0,s2s2n,其中信號噪聲同分布，i并且信號與噪聲不相關。sMS求。5.2.4線性最小均方誤差估計最小均方誤差估計的一種特例，要求估計量與觀測樣本之間必須滿足線性關系，即：Nq = g (x) = a + åb x= a + bT xkkk =1其中和b = b , b ,", bT是待定系數(shù)，根據(jù)最小均方12N誤差準則確定。估計的均方誤差為ìï

7、éöù2 üï( )æNå kkx q= Eq- a +b xíýþïê÷úçèøûîïëk =1則ìöü¶( )æN- åbk xkE x q=E-2 q- a÷ý = 0íç¶Laèøþîk =1ìæü&#

8、182;( )öN- åbk xk ÷ xk ý = 0E x q= -2Eq- aíçL¶bîèøþk =1k求解得aL = E q - Covx, xE x= Covqx, xbTLùLMS= a+ bT即ûLL正交條件：線性最小均方誤差估計的估計誤差與觀測樣本是正交的。)xT = 0(Eq- qLMSe = - LMSe = - LMSc2 x2x2c1 x1 = xx2LMS1x1 = LMS例 5.4已知如下觀測樣本xi = s + ni ,i = 1,

9、2,", N()()s % N0,sn % N0,s2s2n,其中信號噪聲同分布，i并且信號與噪聲不相關。sLMS求。5.2.5最小平均絕對誤差估計使絕對估計誤差的統(tǒng)計平均值最小的一種估計。定義絕對估計誤差eABS(q) = q - q其統(tǒng)計平均絕對誤差éùúúû(q) =f (x) dxq - qò òx,ABSêë(q ) ( x )( x )(q )( = ò xABS( x )x(q) = arg min x(q | x)q= arg min x則ABSABSABSqq(q x

10、) ¶¶qx= 0即ABSq=qABS解得qf (q x)dq = ò+¥f (q x)dqòABSq-¥ABS可見，q是條件概率密度的中位數(shù)，故又稱作條件中ABS位數(shù)估計。例 5.5已知如下觀測樣本xi = s + ni ,i = 1, 2,", N()()s % N0,s噪聲 n % N0,s其中信號2s2n同分布，,i并且信號與噪聲不相關。sABS求。5.2.6貝葉斯估計使估計所承擔的平均風險最小的一種估計。定義 q所承擔的風險（代價函數(shù)）c (q ,q), 則估計的q估計為平均風險為C (q) = ò &#

11、242; c (q ,( x ) (q )f (| x) f (x) dx(x )即= arg min C (q) = arg min C (q | x)qBAYqq（1）最小均方誤差估計與貝葉斯估計若定義c (q ,q) = (q - q)2平均風險C (q) = ò ò (q - q)2 f (q , x) dqdx = E (q - q)2 (x) (q )則q= qBAYMS（2）最小平均絕對誤差估計與貝葉斯估計若定義c (q ,q) = q - q則平均風險f (q , x) dqdx = E q - qC (q) = ò ò q - q(x)

12、 (q )q= q則BAYABS（3）最大后驗概率估計與貝葉斯估計若定義q - q ³ Dì1,c (q ,q) = ï2D2D>0是很小的常數(shù)íï0,q - q<ïîq= q則BAYMAP5.2.7最小二乘估計基于參量的線性觀測模型，把估計作為確定的最優(yōu)化問題來處理。線性觀測方程為xi = hiq + ni ,估計的誤差平方和為i = 1, 2,", N2( )(- hiq)Nåx q=xii=12( )(x - hiq)Nåi=1q= arg min xq= arg min則LS

13、iqq ¶¶qx (q)= -2å(Nx- h q)h= 0即iiii=1q =qLS解得Nåhi xi i=1Nq=LSåi=12hi線性觀測方程的矢量形式x = hq + nT, h = h , h ,", hT, n = n , n ,", nT"N12N12ND誤差平方和為x (q) = (x - hq)T (x - hq)解得= (hT h)-1 hT xqLS例 5.6已知如下觀測樣本xi = s + ni ,i = 1, 2,", N()()s % N0,sn % N0,s其中信號2s噪聲2

14、n同分布，,i并且信號與噪聲不相關。sLS求。5.3多參量的常用估計準則多參量矢量 = q1,q2 ,",qMT估計量ùT = éq ,q ,",qëû12M估計誤差矢量e ( ) = - = é(q - q ), (q- q ),", (q)Tù- qëû1122MM（1）多參量最大后驗概率估計= arg max f ( | x) MAP即é ¶êë ¶ln f ( | x)ù= 0úû=MAP其中第 i

15、個方程為é ¶ln f ( | x)ù= 0 ,i = 1, 2,", Mê¶qúëû =iMAP（2）多參量最大似然估計= arg max f (x | ) ML即é ¶êë ¶ln f (x | )ù= 0úû=ML其中第 i個方程為é ¶ln f (x | )ù= 0 , i = 1, 2,", Mê¶qúëû =iML（3）多參量

16、最小均方誤差估計= arg min ( ) = arg min ( | x ) MS得(x) = ò f ( | x) d MS()其中第 i 個方程估計量為(x) =q f ( | x) dqò()i = 1, 2,", MiMSi（4）多參量線性最小均方誤差估計 = a + Bx線性關系估計的均方誤差為x ( ) = E - a - BxT - a - Bx則E x ( )E x ( ) ¶¶a ¶¶B= 0= 0a=aLB=BLa=aLB=BL解得E + Covx, xéëx - E xù

17、û LMSE ( - LMS )x = 0T正交條件（5）多參量最小平均絕對誤差估計= arg min ( ) = arg min ( | x ) ABS解得q+¥f ( | x) d = òf ( | x) dòi = 1, 2,", MiABSq-¥iABS（6）多參量貝葉斯估計平均風險為C ( ) = ò ò c (e) f (x, )ddx(x) ()則= arg min C ( ) = arg min C ( | x) BAYc ( ) = e ()e ()T= eBAY當MSMc (e) = å

18、; i - = BAYABS當ii=1（7）多參量最小二乘估計x = H + n多參量線性觀測方程為()Téx - Hùéùx =x - H誤差的平方和為ëûëû= arg min x ( ) LS則 ¶ x ( )(x - H ) = 0= -2HT即¶=LS= (HT H)-1 HT x LS解得（8）多參量最小二乘估計對x ( )性能指標后做最小二乘估計，獲得更好的估計結(jié)果。( ) = éx - HûùTW ëx - Hùéx&#

19、235;ûW是 N ´ N維的對稱正定矩陣。則( ) LSW= arg min xW ¶ x( )= -2HT W éëx - Hùû = 0即¶W=LSW解得= (HT WH)-1 HT Wx LSW估計誤差矩陣為()H WR WH (HT WH)-1T-1ù é - éùE - = H WHTTëLSW û ëLSW ûn= E nnT 是對稱正定矩陣，可分解為Rn = D DT其中Rn利用矩陣施瓦茲不等式BT B ³ (

20、AB)T (AAT)-1 (AB)A = HT D-1, B = DWH (HT WH)-1令()T-1ù é - éùE - ³H RH-1T可得ëû ëLSW ûLSWn當 W = R-1時上式中等式成立，即估計誤差達到最小。n()-1T-T-= H RH11H Rx此時LSWnn例 5.7已知線性觀測方程為x = Cs + n其中n 是N 維高斯噪聲列矢量，E n = 0,Varn = Vn ;s 是M 維高斯信號列矢量，E s = 0,Vars = Vs ;，C是 N ´ M 維觀測矩陣

21、信號與噪聲相互sMAP , sMS , sLMS試求。例 5.8對某二維矢量 做了兩次觀測，觀測方程如下x1 = H1 + n1x2 = h2 + n2其中= é1ù,= é01ù,xHê2úê12ú11ë ûëû2,h2 = 2x2 = 4, LS試求。5.4估計量評價的指標（1）無偏性對于確定參量 ，若估計量 滿足E = 或?qū)τ陔S機參量 ，若估計量E = E 則稱所求的估計量 具有無偏性，是無偏估計，否則就是有偏估計。滿足E - E - E 確定參量有偏估計的偏差量為隨機

22、參量有偏估計的偏差量為當觀測樣本數(shù)趨于無窮時，若lim E = N ®+¥或lim E = E N ®+¥則稱估計量 具有漸進無偏性，是漸近無偏估計。（2）有效性均方誤差衡量了估計量在真值附近的密集程度。如果某個無偏估計量的均方誤差是所有估計量均方誤差的最小值，稱該估計量是有效估計量。均方誤差的最小值由克拉美-羅不等式給出。無偏估計量的有效率Varh =min- )() (TVar = E - 111Var 1h 越大估計質(zhì)量越好，對于有效估計h = 1 。當觀測樣本數(shù)N趨于無窮時，若lim h = 1N ®+¥則稱該估計量為漸近有效

23、估計量。對某一估計量，若lim h = h0 ¹ 1N ®+¥則稱 h0 為漸進有效率。（3）一致性若觀測樣本數(shù)N 趨于無窮時，估計量越來越接近其真值，則此時的估計量稱為一致估計量。一致估計的兩種度量方法：A 當 N ® +¥時，估計量 在概率意義上收斂于lim P ( - < e ) = 1N ®+¥B 當 N ® +¥ 時，估計量 在均方意義上趨近于lim E - 2 = 0N ®+¥（4）充分性對待定參量 及其估計量 (x ),如果似然函數(shù)滿足f (x | ) = g &#

24、233;ë | ùû h (x)其中，h (x) ³ 0且與 無關，g éë | ùû是 , 的函數(shù)，則稱 (x)為充分估計量。表明g (×) 中的 包含了觀測樣本中關于待定參量的全部信息。即：從充分估計量中可以獲取待定參量的全部信息，而其它估計量中關于待定參量的信息總是小于充分估計量的。5.5克拉美-羅不等式5.5.1確定單參量估計的克拉美-羅不等式5.5.2隨機單參量估計的克拉美-羅不等式5.5.3確定矢量估計的克拉美-羅不等式5.5.4隨機矢量估計的克拉美-羅不等式5.5.1確定單參量估計的克拉美-

25、羅不等式對于確定單參量q 的無偏估計為q ，有() 1 12Eq - q³= -ïìé ¶ù2 ïüì ¶2üln f (x |q )ý()ln fx |qEíEíýêúq¶2q¶îþïîëûïþ ¶ln f (x |q ) = K (q )(q - q )當且僅當¶q時等號成立，此時的估計量 q為有效估計量

26、。確定單參量的有效估計是它的最大似然估計。5.5.2隨機單參量估計的克拉美-羅不等式對隨機單參量 q 的無偏估計q ，為定義 q 給定時估計誤差的條件數(shù)學期望為g (q ) = ò (q - q ) f (x |q ) dx( x )若f (x | q ) 對q 并滿足的一二階導數(shù)都存在且絕對可積，lim f (q ) g (q ) = 0,lim f (q ) g (q ) = 0q ®+¥q ®-¥有() 1 12Eq - q³= -ìïé ¶ù2 ïü

27、6; ¶2üln f (x,q )ý()ln fx,qEíEíýêúq¶2q¶îþïîëûïþ ¶¶qln f (x,q ) = K (q - q )當且僅當時，等號成立。q此時為有效估計量。隨機單參量的有效估計是它的最大后驗概率估計。5.5.3確定矢量估計的克拉美-羅不等式對確定矢量 的無偏估計為 ,有()()2Eq- q-³i = 1, 2,", M1Jiiii其中

28、9;ìé ¶ïüïì ¶ïüùTùTù é ¶é ¶()()()J = E= -Eln fx | ln fx | ln fx | íýíýêú êúêú¶¶¶¶ëû ëûëûîïþïîïþï ¶¶qM= åj=1ln f (x | )當且僅當q - qi