估計(jì)理論隨機(jī)信號(hào)理

1、2021/2/111 2021/2/112 聲納系統(tǒng)聲納系統(tǒng)-利用聲波信號(hào)確定船只的位置利用聲波信號(hào)確定船只的位置 圖象處理圖象處理-使用紅外檢測(cè)是否有飛機(jī)出現(xiàn)使用紅外檢測(cè)是否有飛機(jī)出現(xiàn) 圖象分析圖象分析-根據(jù)照相機(jī)的圖象估計(jì)目標(biāo)的位置根據(jù)照相機(jī)的圖象估計(jì)目標(biāo)的位置 和方向和方向, ,用機(jī)器人抓目標(biāo)時(shí)是必須的用機(jī)器人抓目標(biāo)時(shí)是必須的 生物醫(yī)學(xué)生物醫(yī)學(xué)-估計(jì)胎兒的心率估計(jì)胎兒的心率 控制控制-估計(jì)汽艇的位置估計(jì)汽艇的位置, ,以便采用正確的導(dǎo)航行以便采用正確的導(dǎo)航行 為為, ,如如LoranLoran系統(tǒng)系統(tǒng) 地震學(xué)地震學(xué)-檢測(cè)地下是否有油田檢測(cè)地下是否有油田, ,并根據(jù)油層和巖并根據(jù)油層和巖

2、層的密度層的密度, ,根據(jù)聲反射來(lái)估計(jì)油田的地下距離。根據(jù)聲反射來(lái)估計(jì)油田的地下距離。 2021/2/113 所有這些問(wèn)題都有一個(gè)共同的特點(diǎn)所有這些問(wèn)題都有一個(gè)共同的特點(diǎn), ,那就是從含有那就是從含有 噪聲的數(shù)據(jù)集中去提取我們所需要的有用信息噪聲的數(shù)據(jù)集中去提取我們所需要的有用信息, ,這這 些有用信息可能是些有用信息可能是“目標(biāo)出現(xiàn)與否目標(biāo)出現(xiàn)與否”、“數(shù)字源數(shù)字源 發(fā)射的是發(fā)射的是0 0還是還是1 1”或者或者“目標(biāo)的距離目標(biāo)的距離”、“目標(biāo)的目標(biāo)的 方位方位”, ,或或”目標(biāo)的速度目標(biāo)的速度”等等, ,由于噪聲固有的隨由于噪聲固有的隨 機(jī)性機(jī)性, ,因此因此, ,有用信息的提取必須采用統(tǒng)

3、計(jì)的方法有用信息的提取必須采用統(tǒng)計(jì)的方法, , 這些統(tǒng)計(jì)方法的基礎(chǔ)就是檢測(cè)理論與估計(jì)理論這些統(tǒng)計(jì)方法的基礎(chǔ)就是檢測(cè)理論與估計(jì)理論, ,就就 是本課程后續(xù)章節(jié)學(xué)習(xí)的內(nèi)容。是本課程后續(xù)章節(jié)學(xué)習(xí)的內(nèi)容。 2021/2/114 7.1 估計(jì)的基本概念估計(jì)的基本概念 7.2 性能指標(biāo)性能指標(biāo) 7.3 Cramer-Rao Bound:估計(jì)性能界估計(jì)性能界 7.4 最大似然估計(jì)最大似然估計(jì) 使似然函數(shù)最大使似然函數(shù)最大,適用于常量估計(jì)適用于常量估計(jì) 7.5 貝葉斯估計(jì)貝葉斯估計(jì):已知代價(jià)函數(shù)及先驗(yàn)概率已知代價(jià)函數(shù)及先驗(yàn)概率,使估計(jì)付出的平均代價(jià)最小使估計(jì)付出的平均代價(jià)最小 7.6 線性最小均方誤差估計(jì)線性

4、最小均方誤差估計(jì):已知估計(jì)量的一、二階矩已知估計(jì)量的一、二階矩,使均方使均方 誤差最小的誤差最小的 7.7 最小二乘估計(jì)最小二乘估計(jì):觀測(cè)與估計(jì)偏差的平方和最小觀測(cè)與估計(jì)偏差的平方和最小 2021/2/115 估計(jì)問(wèn)題通常是以下三種情況估計(jì)問(wèn)題通常是以下三種情況: n 根據(jù)觀測(cè)樣本直接對(duì)觀測(cè)樣本的各類(lèi)統(tǒng)計(jì)特性作出估計(jì)根據(jù)觀測(cè)樣本直接對(duì)觀測(cè)樣本的各類(lèi)統(tǒng)計(jì)特性作出估計(jì); n 根據(jù)觀測(cè)樣本根據(jù)觀測(cè)樣本,對(duì)觀測(cè)樣本中的信號(hào)中的未知的待定參量作對(duì)觀測(cè)樣本中的信號(hào)中的未知的待定參量作 出估計(jì)出估計(jì),稱(chēng)為信號(hào)的參量估計(jì)問(wèn)題稱(chēng)為信號(hào)的參量估計(jì)問(wèn)題,又分為又分為點(diǎn)估計(jì)點(diǎn)估計(jì)和和區(qū)間估計(jì)區(qū)間估計(jì); n 根據(jù)觀測(cè)樣

5、本對(duì)隨時(shí)間變化的信號(hào)作出波形估計(jì)根據(jù)觀測(cè)樣本對(duì)隨時(shí)間變化的信號(hào)作出波形估計(jì),又稱(chēng)為又稱(chēng)為過(guò)過(guò) 程估計(jì)程估計(jì)。 2021/2/116 信源信源s( ) P( ) 混合混合 P(n) n 估計(jì)規(guī)則估計(jì)規(guī)則 估計(jì)估計(jì) ( ) z 觀測(cè)空間觀測(cè)空間 信號(hào)參量估計(jì)的統(tǒng)計(jì)推斷模型信號(hào)參量估計(jì)的統(tǒng)計(jì)推斷模型 2021/2/117 例例 2021/2/118 一般情況下一般情況下,可以認(rèn)為估計(jì)結(jié)果與觀測(cè)數(shù)據(jù)由一個(gè)映射關(guān)系確定可以認(rèn)為估計(jì)結(jié)果與觀測(cè)數(shù)據(jù)由一個(gè)映射關(guān)系確定 ),( 21N zzzf 2021/2/119 1 1、估計(jì)量的性能標(biāo)準(zhǔn)、估計(jì)量的性能標(biāo)準(zhǔn) 無(wú)偏性無(wú)偏性 如果估計(jì)量的均值等于非隨機(jī)參量或等于

6、隨機(jī)參量的均如果估計(jì)量的均值等于非隨機(jī)參量或等于隨機(jī)參量的均 值值,則稱(chēng)估計(jì)量具有無(wú)偏性。即滿足則稱(chēng)估計(jì)量具有無(wú)偏性。即滿足: 對(duì)于確定量對(duì)于確定量,有有: 對(duì)于隨機(jī)量對(duì)于隨機(jī)量,有有: E EE 2021/2/1110 有效性有效性 對(duì)于無(wú)偏估計(jì)對(duì)于無(wú)偏估計(jì),如果估計(jì)的方差越小如果估計(jì)的方差越小,表明估計(jì)量的取值越表明估計(jì)量的取值越 集中于真值附近集中于真值附近,估計(jì)的性能越好。估計(jì)的性能越好。 2 ( )( ) VarEE 2021/2/1111 對(duì)于有偏估計(jì)對(duì)于有偏估計(jì),盡管估計(jì)的方差很小盡管估計(jì)的方差很小,但估計(jì)的但估計(jì)的 誤差可能仍然很大。誤差可能仍然很大。 2021/2/1112

7、有效性有效性 對(duì)于無(wú)偏估計(jì)對(duì)于無(wú)偏估計(jì),如果估計(jì)的方差越小如果估計(jì)的方差越小,表明估計(jì)量的取值越表明估計(jì)量的取值越 集中于真值附近集中于真值附近,估計(jì)的性能越好。估計(jì)的性能越好。 2 ( )( ) VarEE 用估計(jì)的方差還不能準(zhǔn)確地描述估計(jì)的性能用估計(jì)的方差還不能準(zhǔn)確地描述估計(jì)的性能,所以我們可以所以我們可以 用均方誤差作為評(píng)價(jià)估計(jì)量性能的一個(gè)指標(biāo)。用均方誤差作為評(píng)價(jià)估計(jì)量性能的一個(gè)指標(biāo)。 2 ( ) MseE 2021/2/1113 一致性一致性 即對(duì)于任意小數(shù)即對(duì)于任意小數(shù) ,若有若有: 則估計(jì)量則估計(jì)量 為為一致一致估計(jì)量。估計(jì)量。 若滿足若滿足 則稱(chēng)為則稱(chēng)為均方一致均方一致估計(jì)量。估

8、計(jì)量。 12 lim( ,)0 N N Pz zz 2 lim()0 N N E z 2021/2/1114 2021/2/1115 2021/2/1116 2021/2/1117 0 0 )(m 1N ) 1( N 2 . 0 4 . 0 6 . 0 8 . 0 1 2021/2/1118 2021/2/1119 2021/2/1120 2021/2/1121 2021/2/1122 Fisher信息量信息量 2021/2/1123 2021/2/1124 2021/2/1125 CRLB的其他拓展應(yīng)用的其他拓展應(yīng)用 隨機(jī)參量估計(jì)的隨機(jī)參量估計(jì)的CRLB 21 ( )() MseEI 2 2

9、 2 ln( , )ln( , ) p zp z IEE 參量函數(shù)的參量函數(shù)的CRLB:估計(jì)目標(biāo)為估計(jì)目標(biāo)為 1 ( )( ) ( )T TT TT CI ( )T 2 2 2 ( ) () ( ) ln( | ) T Var p z E 標(biāo)量函數(shù)關(guān)系標(biāo)量函數(shù)關(guān)系 矢量函數(shù)關(guān)系矢量函數(shù)關(guān)系 2021/2/1126 應(yīng)用舉例應(yīng)用舉例 2021/2/1127 應(yīng)用舉例應(yīng)用舉例 1 42 2 0 1 1 2 44 46 0 0 1 ()() 0 ( ) 1 1 ()0 () 22 N ix i N N ix ix i i N N ExmE NN Exm Exm I 信息矩陣最終結(jié)果信息矩陣最終結(jié)果

10、2021/2/1128 1 1、最大似然估計(jì)、最大似然估計(jì) (Maximum Likelihood Estimate) 似然函數(shù)似然函數(shù) 0 (| )pxx 2021/2/1129 例例1、高斯白噪聲中的直流電平估計(jì)、高斯白噪聲中的直流電平估計(jì)-未知參數(shù)。設(shè)有未知參數(shù)。設(shè)有N次次 獨(dú)立觀測(cè)獨(dú)立觀測(cè)zi=A+vi ,i=1,2,.N,其中其中viN(0, 2),A為未知參為未知參 數(shù)數(shù), 2已知已知,求求A的最大似然估計(jì)。的最大似然估計(jì)。 /2 2 22 1 11 ( /)exp() 22 N N i i fAzA z 1 1 N mli i Azz N 2021/2/1130 例例2、設(shè)有、設(shè)

11、有N次獨(dú)立觀測(cè)次獨(dú)立觀測(cè)zi=vi ,i=1,2,.N,其中其中viN(0, 2), 求求 2 的最大似然估計(jì)。的最大似然估計(jì)。 /2 22 22 1 11 ( /)exp 22 N N i i fz z 22 1 1 N mli i z N 2021/2/1131 例例3、高斯白噪聲中的直流電平估計(jì)、高斯白噪聲中的直流電平估計(jì)-未知參數(shù)與未知方未知參數(shù)與未知方 差。設(shè)有差。設(shè)有N次獨(dú)立觀測(cè)次獨(dú)立觀測(cè)zi=A+vi ,i=1,2,.N,其中其中 vN(0, 2), 2、A均為未知參數(shù)均為未知參數(shù),求求A和和 2的最大似然估計(jì)。的最大似然估計(jì)。 /2 2 22 1 11 ( / )exp() 2

12、2 N N i i fzA z =A 2T 2 2 1 1 () ml N ml i i z A zz N 2021/2/1132 2021/2/1133 1 1、貝葉斯估計(jì)、貝葉斯估計(jì) 在已知代價(jià)函數(shù)及先驗(yàn)概率基礎(chǔ)上在已知代價(jià)函數(shù)及先驗(yàn)概率基礎(chǔ)上,使估計(jì)付出的平均使估計(jì)付出的平均 代價(jià)最小。代價(jià)最小。 設(shè)觀測(cè)值為設(shè)觀測(cè)值為z,待估參量為待估參量為 。 估計(jì)誤差估計(jì)誤差: 設(shè)代價(jià)函數(shù)設(shè)代價(jià)函數(shù): 貝葉斯估計(jì)準(zhǔn)則貝葉斯估計(jì)準(zhǔn)則: ( ) z ( ) min ( )zE C ( )C 2021/2/1134 ( )( ,( ) ( ,( )( , ) ( ,( )(| )( ) (| ) ( )

13、E CE Cz Czfz d dz Czfz df z dz Cz f z dz ( , ( ) ( | )Czfz d 最小 條件平均代價(jià)條件平均代價(jià) 統(tǒng)計(jì)平均代價(jià)統(tǒng)計(jì)平均代價(jià): 等價(jià)于使下式最小等價(jià)于使下式最小: 2021/2/1135 2 ( ,)()C 2 2、典型代價(jià)函數(shù)及貝葉斯估計(jì)、典型代價(jià)函數(shù)及貝葉斯估計(jì) 平方代價(jià)平方代價(jià): ( , )|C 絕對(duì)值代價(jià)：絕對(duì)值代價(jià)： 1,| 2 () 0,| 2 C ， 均勻代價(jià)：均勻代價(jià)： 2021/2/1136 最小均方估計(jì)最小均方估計(jì)(Minimal Square) 對(duì)對(duì) 求導(dǎo)數(shù)求導(dǎo)數(shù),并使其等于零并使其等于零: 得得: 即即 ,也稱(chēng)為也稱(chēng)

14、為條件均值估計(jì)條件均值估計(jì)。 2 (| )()(| )Czfz d 最小 ( | ) 2( | )2( | ) dCz fz dfz d d (| )fz d | Ez 2 ( ,)()C 平方代價(jià)平方代價(jià): 2021/2/1137 條件中位數(shù)估計(jì)條件中位數(shù)估計(jì)(Median)(Median) 對(duì)對(duì) 求導(dǎo)數(shù)求導(dǎo)數(shù),并使其等于零并使其等于零,得得: 可見(jiàn)可見(jiàn),估計(jì)為條件概率密度估計(jì)為條件概率密度 的中位數(shù)。的中位數(shù)。 (| )|(| ) ()(| )()(| ) Czfz d fz dfz d (| )(| ) abs abs fz dfz d (| )fz ( , )|C 絕對(duì)值代價(jià)：絕對(duì)值代

15、價(jià)： 2021/2/1138 最大后驗(yàn)概率估計(jì)最大后驗(yàn)概率估計(jì)( (maximal posterior probability) 應(yīng)當(dāng)選擇應(yīng)當(dāng)選擇 ,使它處在后驗(yàn)概率使它處在后驗(yàn)概率 的最大處。的最大處。 最大后驗(yàn)概率方程最大后驗(yàn)概率方程: 或或 2 2 (| )1(| ) map map Czfz d (| ) 0 map fz (| )fz ln(| ) 0 map fz 1,| 2 () 0,| 2 C ， 均勻代價(jià)：均勻代價(jià)： 2021/2/1139 由關(guān)系式由關(guān)系式: 兩邊取對(duì)數(shù)并對(duì)兩邊取對(duì)數(shù)并對(duì) 求導(dǎo)求導(dǎo),得最大后驗(yàn)概率方程的另一形式得最大后驗(yàn)概率方程的另一形式: ( |)( )

16、(| ) ( ) f zf fz f z ln( |)ln( ) 0 map f zf 2021/2/1140 例例1設(shè)觀測(cè)為設(shè)觀測(cè)為 ,其中被估計(jì)量其中被估計(jì)量A在在-A0,A0上均勻分布上均勻分布, 測(cè)量噪聲測(cè)量噪聲vN(0, ),求求A的最大后驗(yàn)概率估計(jì)和最小均方估計(jì)。的最大后驗(yàn)概率估計(jì)和最小均方估計(jì)。 zAv 2 v 2 2 1() ( |)exp 22 v v zA f z A ( |) ( ) (| ) ( ) f z A f A f A z f z ( |) ( ) ( |) ( ) (| ) ( ) ( |) ( ) ms Af z A f A dA f z A f A AAf

17、 A z dAAdA f z f z A f A dA 2021/2/1141 例例2 高斯白噪聲中的直流電平估計(jì)高斯白噪聲中的直流電平估計(jì)- -高斯先驗(yàn)分布。設(shè)有高斯先驗(yàn)分布。設(shè)有N N次獨(dú)立次獨(dú)立 觀測(cè)觀測(cè)z zi i=A+v=A+vi i,i=1,2,.N,i=1,2,.N, ,其中其中vN(0, )vN(0, ), ,A A , ,求求A A的的 估計(jì)。估計(jì)。 2 2 (,) AA N ( |) ( ) (| ) ( |) ( ) fA f A f A fA f A dA z z z 2 | 2 2 | | 11 exp() 2 2 A z A z A z A 2021/2/1142

18、1 1、線性最小均方估計(jì)、線性最小均方估計(jì)(linear minimum mean (linear minimum mean square error estimation) square error estimation) 前提前提:不知道不知道 ,知道知道 的一、二階矩特性的一、二階矩特性 準(zhǔn)則準(zhǔn)則:使均方誤差最小的線性估計(jì)使均方誤差最小的線性估計(jì) 實(shí)現(xiàn)實(shí)現(xiàn): 選擇適當(dāng)?shù)南禂?shù)選擇適當(dāng)?shù)南禂?shù)ai及及b,使估計(jì)均方誤差最小。使估計(jì)均方誤差最小。 1 N lmsii i a zb ( )f 2 2 1 ( )() min N ii i MseEEa zb 2021/2/1143 ()0 jlms

19、j EzEz 1 N ii i bEa E z 正交條件正交條件 1 0 N iij i Ea zb z 正交條件是信號(hào)最佳線性濾波和估計(jì)算法的基礎(chǔ)正交條件是信號(hào)最佳線性濾波和估計(jì)算法的基礎(chǔ),在隨機(jī)信在隨機(jī)信 號(hào)處理中占有十分重要的地位。號(hào)處理中占有十分重要的地位。 2021/2/1144 性能分析性能分析: 線性最小均方估計(jì)為無(wú)偏估計(jì)線性最小均方估計(jì)為無(wú)偏估計(jì),即有即有: 線性最小均方估計(jì)的均方誤差等于誤差與被估計(jì)量乘線性最小均方估計(jì)的均方誤差等于誤差與被估計(jì)量乘 積的統(tǒng)計(jì)均值積的統(tǒng)計(jì)均值,即即: 其中其中: lms EE 2 EE lms 2021/2/1145 例例1、設(shè)觀測(cè)模型為設(shè)觀測(cè)

20、模型為zi=s+vi ,i=1,2,.,其中隨機(jī)參量其中隨機(jī)參量s以等概以等概 率取率取-2,-1,0,1,2諸值諸值,噪聲干擾噪聲干擾vi以等概率取以等概率取-1,0,1諸值諸值, 且且Esvi=0, ,試根據(jù)一次、二次、三次觀測(cè)數(shù)試根據(jù)一次、二次、三次觀測(cè)數(shù) 據(jù)求參量據(jù)求參量s的線性最小均方估計(jì)。的線性最小均方估計(jì)。 2 ijv Ev v = ij 2021/2/1146 1 1、最小二乘估計(jì)（、最小二乘估計(jì)（Least square estimationLeast square estimation） 前提前提:適用于線性觀測(cè)模型適用于線性觀測(cè)模型; 不規(guī)定估計(jì)的概率或統(tǒng)計(jì)描述不規(guī)定估計(jì)

21、的概率或統(tǒng)計(jì)描述; 需要關(guān)于被估計(jì)量的觀測(cè)信號(hào)模型需要關(guān)于被估計(jì)量的觀測(cè)信號(hào)模型 ; 準(zhǔn)則準(zhǔn)則:使觀測(cè)與估計(jì)偏差的平方和最小。使觀測(cè)與估計(jì)偏差的平方和最小。 假定觀測(cè)模型為線性假定觀測(cè)模型為線性,即觀測(cè)數(shù)據(jù)即觀測(cè)數(shù)據(jù)zk與參量與參量 1, 2, M之之 間服從間服從: 其中其中hk1,hk2,hkM為已知常系數(shù)。為已知常系數(shù)。 1122kkkkMMk zhhhnNk, 2 , 1 2021/2/1147 將觀測(cè)方程用矢量及矩陣表示將觀測(cè)方程用矢量及矩陣表示: 最小二乘估計(jì)是使觀測(cè)與估計(jì)偏差的平方和最小最小二乘估計(jì)是使觀測(cè)與估計(jì)偏差的平方和最小,即即: zHn min T JzHzH ( )min T W JzHW zH 1 TT ls H HH z最小二乘估計(jì)為：最小二乘估計(jì)為： 1 () TT lsw H WHH Wz 加權(quán)最小二乘估計(jì)為：加權(quán)最小二乘估計(jì)為： 2021/2/1148 性能分析性能分析: 對(duì)于線性觀測(cè)模型對(duì)于線性觀測(cè)模型,最小二乘估計(jì)是線性估計(jì)最小二乘估計(jì)是線性估計(jì),對(duì)測(cè)量噪聲對(duì)測(cè)量噪聲 的統(tǒng)計(jì)特性無(wú)任何假設(shè)的統(tǒng)計(jì)特性無(wú)任何假設(shè),應(yīng)用十分廣泛應(yīng)用十分廣泛; 若噪聲均值為零若噪聲均值為零,最小二乘估計(jì)為無(wú)偏估計(jì)最小二乘估計(jì)為無(wú)偏估計(jì),即有即有