學(xué)習(xí)信號(hào)統(tǒng)計(jì)分析講義chapter

1、信號(hào)統(tǒng)計(jì)分析第5章信號(hào)估計(jì)理論本章內(nèi)容5.1引言5.2估計(jì)準(zhǔn)則5.3多參量的常用估計(jì)準(zhǔn)則5.4估計(jì)量評(píng)價(jià)的指標(biāo)5.5克拉美-羅不等式5.6應(yīng)用5.1引言信號(hào)檢測(cè)：是否存在信號(hào)或存在哪種信號(hào)信號(hào)估計(jì)：對(duì)信號(hào)的參量甚至波形進(jìn)行定量的推斷從信號(hào)檢測(cè)到信號(hào)估計(jì)，是對(duì)事物從定性的量的描述。到定不同應(yīng)用領(lǐng)域：數(shù)理統(tǒng)計(jì)領(lǐng)域：估計(jì)總體的均值、方差、各階矩、相關(guān)函數(shù)等；信息與通信工程領(lǐng)域：估計(jì)信號(hào)的振幅、相位、頻率、時(shí)延等；工程領(lǐng)域：估計(jì)動(dòng)態(tài)系統(tǒng)的參量和狀態(tài)，如飛行體的質(zhì)量、位置、速度、度等；領(lǐng)域：估計(jì)、各種反應(yīng)運(yùn)行的指標(biāo)，如人均生產(chǎn)總值、物價(jià)指數(shù)等。分類(lèi)確定參量估計(jì)和隨機(jī)參量估計(jì)單維（標(biāo)量）參量估計(jì)和（矢量）

2、參量估計(jì)時(shí)變參量估計(jì)和時(shí)不變參量估計(jì)線(xiàn)性參量估計(jì)與非線(xiàn)性參量估計(jì)5.2估計(jì)準(zhǔn)則5.2.1最大后驗(yàn)概率估計(jì)5.2.2最大似然估計(jì)5.2.3最小均方誤差估計(jì)5.2.4線(xiàn)性最小均方誤差估計(jì)5.2.5最小平均絕對(duì)誤差估計(jì)5.2.6貝葉斯估計(jì)5.2.7最小二乘估計(jì)觀測(cè)信號(hào)x (t ) =(t )0 £ t £ T其中 s (t;q ,q ,"q)為有用信號(hào)， = q ,qT 為待估,",q12M12M計(jì)參量，n (t ) 為觀測(cè)噪聲。利用N個(gè)觀測(cè)樣本 x = 記為 = g (x )xN T進(jìn)行估計(jì),估計(jì)量5.2.1最大后驗(yàn)概率估計(jì)使后驗(yàn)概率密度最大的一種估計(jì)，即=

3、 arg max f (q | x)qMAPqf (q | x)為單個(gè)待估計(jì)量q 的后驗(yàn)概率密度函數(shù)。其中估計(jì)量q可以通過(guò)如下方程得到MAPé ¶êë ¶qé ¶êë ¶qf (q | x)ùln f (q | x)ù= 0= 0orúúûûq =qq =qMAPMAP利用 f (q )f (q |進(jìn)一步可得é ¶êë ¶qln f (x |q ) + ¶ln f (q )&#

4、249;= 0ú¶qûq =qMAP例 5.1已知如下觀測(cè)樣本xi = s + ni ,i = 1, 2,", N()()s % N0,sn % N0,s2s2n,其中信號(hào)噪聲同分布，i并且信號(hào)與噪聲不相關(guān)。sMAP求。5.2.2最大似然估計(jì)使觀測(cè)樣本的似然函數(shù) f (x | q )計(jì)，即取得最大值的一種估= arg max f (x | q )qMLq估計(jì)量q可以通過(guò)如下方程得到ML ¶¶q ¶¶qf (x | q )ln f (x |q )= 0= 0orq =qq =qMLML 適用于確定參量估計(jì)和先驗(yàn)分布未

5、知的隨機(jī)參量估計(jì)。例 5.2已知如下觀測(cè)樣本xi = s + ni ,i = 1, 2,", N()()s % N0,sn % N0,s2s2n,其中信號(hào)噪聲同分布，i并且信號(hào)與噪聲不相關(guān)。sML求。5.2.3最小均方誤差估計(jì)使估計(jì)的均方誤差最小的一種估計(jì)。定義估計(jì)誤差e (q) = q - q估計(jì)的均方誤差x (q) = E e2 (q)= ò ò (q - q)2(q ) ( x ) | x) f (x)dxf (q( x )則= arg min x (q) = arg min x (q | x)qMSqq利用¶¶qx (q | x)= 0

6、q=qMS可得q f (q | x)dq = E q | xqò(q )=MS例 5.3已知如下觀測(cè)樣本xi = s + ni ,i = 1, 2,", N()()s % N0,sn % N0,s2s2n,其中信號(hào)噪聲同分布，i并且信號(hào)與噪聲不相關(guān)。sMS求。5.2.4線(xiàn)性最小均方誤差估計(jì)最小均方誤差估計(jì)的一種特例，要求估計(jì)量與觀測(cè)樣本之間必須滿(mǎn)足線(xiàn)性關(guān)系，即：Nq = g (x) = a + åb x= a + bT xkkk =1其中和b = b , b ,", bT是待定系數(shù)，根據(jù)最小均方12N誤差準(zhǔn)則確定。估計(jì)的均方誤差為ìï

7、éöù2 üï( )æNå kkx q= Eq- a +b xíýþïê÷úçèøûîïëk =1則ìöü¶( )æN- åbk xkE x q=E-2 q- a÷ý = 0íç¶Laèøþîk =1ìæü&#

8、182;( )öN- åbk xk ÷ xk ý = 0E x q= -2Eq- aíçL¶bîèøþk =1k求解得aL = E q - Covx, xE x= Covqx, xbTLùLMS= a+ bT即ûLL正交條件：線(xiàn)性最小均方誤差估計(jì)的估計(jì)誤差與觀測(cè)樣本是正交的。)xT = 0(Eq- qLMSe = - LMSe = - LMSc2 x2x2c1 x1 = xx2LMS1x1 = LMS例 5.4已知如下觀測(cè)樣本xi = s + ni ,i = 1,

9、2,", N()()s % N0,sn % N0,s2s2n,其中信號(hào)噪聲同分布，i并且信號(hào)與噪聲不相關(guān)。sLMS求。5.2.5最小平均絕對(duì)誤差估計(jì)使絕對(duì)估計(jì)誤差的統(tǒng)計(jì)平均值最小的一種估計(jì)。定義絕對(duì)估計(jì)誤差eABS(q) = q - q其統(tǒng)計(jì)平均絕對(duì)誤差éùúúû(q) =f (x) dxq - qò òx,ABSêë(q ) ( x )( x )(q )( = ò xABS( x )x(q) = arg min x(q | x)q= arg min x則ABSABSABSqq(q x

10、) ¶¶qx= 0即ABSq=qABS解得qf (q x)dq = ò+¥f (q x)dqòABSq-¥ABS可見(jiàn)，q是條件概率密度的中位數(shù)，故又稱(chēng)作條件中ABS位數(shù)估計(jì)。例 5.5已知如下觀測(cè)樣本xi = s + ni ,i = 1, 2,", N()()s % N0,s噪聲 n % N0,s其中信號(hào)2s2n同分布，,i并且信號(hào)與噪聲不相關(guān)。sABS求。5.2.6貝葉斯估計(jì)使估計(jì)所承擔(dān)的平均風(fēng)險(xiǎn)最小的一種估計(jì)。定義 q所承擔(dān)的風(fēng)險(xiǎn)（代價(jià)函數(shù)）c (q ,q), 則估計(jì)的q估計(jì)為平均風(fēng)險(xiǎn)為C (q) = ò &#

11、242; c (q ,( x ) (q )f (| x) f (x) dx(x )即= arg min C (q) = arg min C (q | x)qBAYqq（1）最小均方誤差估計(jì)與貝葉斯估計(jì)若定義c (q ,q) = (q - q)2平均風(fēng)險(xiǎn)C (q) = ò ò (q - q)2 f (q , x) dqdx = E (q - q)2 (x) (q )則q= qBAYMS（2）最小平均絕對(duì)誤差估計(jì)與貝葉斯估計(jì)若定義c (q ,q) = q - q則平均風(fēng)險(xiǎn)f (q , x) dqdx = E q - qC (q) = ò ò q - q(x)

12、 (q )q= q則BAYABS（3）最大后驗(yàn)概率估計(jì)與貝葉斯估計(jì)若定義q - q ³ Dì1,c (q ,q) = ï2D2D>0是很小的常數(shù)íï0,q - q<ïîq= q則BAYMAP5.2.7最小二乘估計(jì)基于參量的線(xiàn)性觀測(cè)模型，把估計(jì)作為確定的最優(yōu)化問(wèn)題來(lái)處理。線(xiàn)性觀測(cè)方程為xi = hiq + ni ,估計(jì)的誤差平方和為i = 1, 2,", N2( )(- hiq)Nåx q=xii=12( )(x - hiq)Nåi=1q= arg min xq= arg min則LS

13、iqq ¶¶qx (q)= -2å(Nx- h q)h= 0即iiii=1q =qLS解得Nåhi xi i=1Nq=LSåi=12hi線(xiàn)性觀測(cè)方程的矢量形式x = hq + nT, h = h , h ,", hT, n = n , n ,", nT"N12N12ND誤差平方和為x (q) = (x - hq)T (x - hq)解得= (hT h)-1 hT xqLS例 5.6已知如下觀測(cè)樣本xi = s + ni ,i = 1, 2,", N()()s % N0,sn % N0,s其中信號(hào)2s噪聲2

14、n同分布，,i并且信號(hào)與噪聲不相關(guān)。sLS求。5.3多參量的常用估計(jì)準(zhǔn)則多參量矢量 = q1,q2 ,",qMT估計(jì)量ùT = éq ,q ,",qëû12M估計(jì)誤差矢量e ( ) = - = é(q - q ), (q- q ),", (q)Tù- qëû1122MM（1）多參量最大后驗(yàn)概率估計(jì)= arg max f ( | x) MAP即é ¶êë ¶ln f ( | x)ù= 0úû=MAP其中第 i

15、個(gè)方程為é ¶ln f ( | x)ù= 0 ,i = 1, 2,", Mê¶qúëû =iMAP（2）多參量最大似然估計(jì)= arg max f (x | ) ML即é ¶êë ¶ln f (x | )ù= 0úû=ML其中第 i個(gè)方程為é ¶ln f (x | )ù= 0 , i = 1, 2,", Mê¶qúëû =iML（3）多參量

16、最小均方誤差估計(jì)= arg min ( ) = arg min ( | x ) MS得(x) = ò f ( | x) d MS()其中第 i 個(gè)方程估計(jì)量為(x) =q f ( | x) dqò()i = 1, 2,", MiMSi（4）多參量線(xiàn)性最小均方誤差估計(jì) = a + Bx線(xiàn)性關(guān)系估計(jì)的均方誤差為x ( ) = E - a - BxT - a - Bx則E x ( )E x ( ) ¶¶a ¶¶B= 0= 0a=aLB=BLa=aLB=BL解得E + Covx, xéëx - E xù

17、û LMSE ( - LMS )x = 0T正交條件（5）多參量最小平均絕對(duì)誤差估計(jì)= arg min ( ) = arg min ( | x ) ABS解得q+¥f ( | x) d = òf ( | x) dòi = 1, 2,", MiABSq-¥iABS（6）多參量貝葉斯估計(jì)平均風(fēng)險(xiǎn)為C ( ) = ò ò c (e) f (x, )ddx(x) ()則= arg min C ( ) = arg min C ( | x) BAYc ( ) = e ()e ()T= eBAY當(dāng)MSMc (e) = å

18、; i - = BAYABS當(dāng)ii=1（7）多參量最小二乘估計(jì)x = H + n多參量線(xiàn)性觀測(cè)方程為()Téx - Hùéùx =x - H誤差的平方和為ëûëû= arg min x ( ) LS則 ¶ x ( )(x - H ) = 0= -2HT即¶=LS= (HT H)-1 HT x LS解得（8）多參量最小二乘估計(jì)對(duì)x ( )性能指標(biāo)后做最小二乘估計(jì)，獲得更好的估計(jì)結(jié)果。( ) = éx - HûùTW ëx - Hùéx&#

19、235;ûW是 N ´ N維的對(duì)稱(chēng)正定矩陣。則( ) LSW= arg min xW ¶ x( )= -2HT W éëx - Hùû = 0即¶W=LSW解得= (HT WH)-1 HT Wx LSW估計(jì)誤差矩陣為()H WR WH (HT WH)-1T-1ù é - éùE - = H WHTTëLSW û ëLSW ûn= E nnT 是對(duì)稱(chēng)正定矩陣，可分解為Rn = D DT其中Rn利用矩陣施瓦茲不等式BT B ³ (

20、AB)T (AAT)-1 (AB)A = HT D-1, B = DWH (HT WH)-1令()T-1ù é - éùE - ³H RH-1T可得ëû ëLSW ûLSWn當(dāng) W = R-1時(shí)上式中等式成立，即估計(jì)誤差達(dá)到最小。n()-1T-T-= H RH11H Rx此時(shí)LSWnn例 5.7已知線(xiàn)性觀測(cè)方程為x = Cs + n其中n 是N 維高斯噪聲列矢量，E n = 0,Varn = Vn ;s 是M 維高斯信號(hào)列矢量，E s = 0,Vars = Vs ;，C是 N ´ M 維觀測(cè)矩陣

21、信號(hào)與噪聲相互sMAP , sMS , sLMS試求。例 5.8對(duì)某二維矢量 做了兩次觀測(cè)，觀測(cè)方程如下x1 = H1 + n1x2 = h2 + n2其中= é1ù,= é01ù,xHê2úê12ú11ë ûëû2,h2 = 2x2 = 4, LS試求。5.4估計(jì)量評(píng)價(jià)的指標(biāo)（1）無(wú)偏性對(duì)于確定參量 ，若估計(jì)量 滿(mǎn)足E = 或?qū)τ陔S機(jī)參量 ，若估計(jì)量E = E 則稱(chēng)所求的估計(jì)量 具有無(wú)偏性，是無(wú)偏估計(jì)，否則就是有偏估計(jì)。滿(mǎn)足E - E - E 確定參量有偏估計(jì)的偏差量為隨機(jī)

22、參量有偏估計(jì)的偏差量為當(dāng)觀測(cè)樣本數(shù)趨于無(wú)窮時(shí)，若lim E = N ®+¥或lim E = E N ®+¥則稱(chēng)估計(jì)量 具有漸進(jìn)無(wú)偏性，是漸近無(wú)偏估計(jì)。（2）有效性均方誤差衡量了估計(jì)量在真值附近的密集程度。如果某個(gè)無(wú)偏估計(jì)量的均方誤差是所有估計(jì)量均方誤差的最小值，稱(chēng)該估計(jì)量是有效估計(jì)量。均方誤差的最小值由克拉美-羅不等式給出。無(wú)偏估計(jì)量的有效率Varh =min- )() (TVar = E - 111Var 1h 越大估計(jì)質(zhì)量越好，對(duì)于有效估計(jì)h = 1 。當(dāng)觀測(cè)樣本數(shù)N趨于無(wú)窮時(shí)，若lim h = 1N ®+¥則稱(chēng)該估計(jì)量為漸近有效

23、估計(jì)量。對(duì)某一估計(jì)量，若lim h = h0 ¹ 1N ®+¥則稱(chēng) h0 為漸進(jìn)有效率。（3）一致性若觀測(cè)樣本數(shù)N 趨于無(wú)窮時(shí)，估計(jì)量越來(lái)越接近其真值，則此時(shí)的估計(jì)量稱(chēng)為一致估計(jì)量。一致估計(jì)的兩種度量方法：A 當(dāng) N ® +¥時(shí)，估計(jì)量 在概率意義上收斂于lim P ( - < e ) = 1N ®+¥B 當(dāng) N ® +¥ 時(shí)，估計(jì)量 在均方意義上趨近于lim E - 2 = 0N ®+¥（4）充分性對(duì)待定參量 及其估計(jì)量 (x ),如果似然函數(shù)滿(mǎn)足f (x | ) = g &#

24、233;ë | ùû h (x)其中，h (x) ³ 0且與 無(wú)關(guān)，g éë | ùû是 , 的函數(shù)，則稱(chēng) (x)為充分估計(jì)量。表明g (×) 中的 包含了觀測(cè)樣本中關(guān)于待定參量的全部信息。即：從充分估計(jì)量中可以獲取待定參量的全部信息，而其它估計(jì)量中關(guān)于待定參量的信息總是小于充分估計(jì)量的。5.5克拉美-羅不等式5.5.1確定單參量估計(jì)的克拉美-羅不等式5.5.2隨機(jī)單參量估計(jì)的克拉美-羅不等式5.5.3確定矢量估計(jì)的克拉美-羅不等式5.5.4隨機(jī)矢量估計(jì)的克拉美-羅不等式5.5.1確定單參量估計(jì)的克拉美-

25、羅不等式對(duì)于確定單參量q 的無(wú)偏估計(jì)為q ，有() 1 12Eq - q³= -ïìé ¶ù2 ïüì ¶2üln f (x |q )ý()ln fx |qEíEíýêúq¶2q¶îþïîëûïþ ¶ln f (x |q ) = K (q )(q - q )當(dāng)且僅當(dāng)¶q時(shí)等號(hào)成立，此時(shí)的估計(jì)量 q為有效估計(jì)量

26、。確定單參量的有效估計(jì)是它的最大似然估計(jì)。5.5.2隨機(jī)單參量估計(jì)的克拉美-羅不等式對(duì)隨機(jī)單參量 q 的無(wú)偏估計(jì)q ，為定義 q 給定時(shí)估計(jì)誤差的條件數(shù)學(xué)期望為g (q ) = ò (q - q ) f (x |q ) dx( x )若f (x | q ) 對(duì)q 并滿(mǎn)足的一二階導(dǎo)數(shù)都存在且絕對(duì)可積，lim f (q ) g (q ) = 0,lim f (q ) g (q ) = 0q ®+¥q ®-¥有() 1 12Eq - q³= -ìïé ¶ù2 ïü

27、6; ¶2üln f (x,q )ý()ln fx,qEíEíýêúq¶2q¶îþïîëûïþ ¶¶qln f (x,q ) = K (q - q )當(dāng)且僅當(dāng)時(shí)，等號(hào)成立。q此時(shí)為有效估計(jì)量。隨機(jī)單參量的有效估計(jì)是它的最大后驗(yàn)概率估計(jì)。5.5.3確定矢量估計(jì)的克拉美-羅不等式對(duì)確定矢量 的無(wú)偏估計(jì)為 ,有()()2Eq- q-³i = 1, 2,", M1Jiiii其中

28、9;ìé ¶ïüïì ¶ïüùTùTù é ¶é ¶()()()J = E= -Eln fx | ln fx | ln fx | íýíýêú êúêú¶¶¶¶ëû ëûëûîïþïîïþï ¶¶qM= åj=1ln f (x | )當(dāng)且僅當(dāng)q - qi