信號參數(shù)與估計(jì)分析

1、信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 信號處理的根本任務(wù)是要提取有用的信息，有信號處理的根本任務(wù)是要提取有用的信息，有 用信息是通過檢測、估計(jì)的方法對信號進(jìn)行處用信息是通過檢測、估計(jì)的方法對信號進(jìn)行處 理后提取出來的，所以、檢測、估計(jì)的信號處理后提取出來的，所以、檢測、估計(jì)的信號處 理方法是信號處理技術(shù)的理論基礎(chǔ)，它的應(yīng)用理方法是信號處理技術(shù)的理論基礎(chǔ)，它的應(yīng)用 領(lǐng)域十分廣泛。領(lǐng)域十分廣泛。 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 聲納系統(tǒng)聲納系統(tǒng)-利用聲波信號確定船只的位置利用聲波信號確定船只的位置 圖象處理圖象處理-使用紅外檢測是否有飛機(jī)出現(xiàn)使用紅外檢測

2、是否有飛機(jī)出現(xiàn) 圖象分析圖象分析-根據(jù)照相機(jī)的圖象估計(jì)目標(biāo)的位置根據(jù)照相機(jī)的圖象估計(jì)目標(biāo)的位置 和方向，用機(jī)器人抓目標(biāo)時是必須的和方向，用機(jī)器人抓目標(biāo)時是必須的 生物醫(yī)學(xué)生物醫(yī)學(xué)-估計(jì)胎兒的心率估計(jì)胎兒的心率 控制控制-估計(jì)汽艇的位置，以便采用正確的導(dǎo)航估計(jì)汽艇的位置，以便采用正確的導(dǎo)航 行為，如行為，如LoranLoran系統(tǒng)系統(tǒng) 地震學(xué)地震學(xué)-檢測地下是否有油田，并根據(jù)油層和檢測地下是否有油田，并根據(jù)油層和 巖層的密度，根據(jù)聲反射來估計(jì)油田的地下距離。巖層的密度，根據(jù)聲反射來估計(jì)油田的地下距離。 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 所有這些問題都有一個共同的特點(diǎn)，那就是從含所有這些問題都

3、有一個共同的特點(diǎn)，那就是從含 有噪聲的數(shù)據(jù)集中去提取我們所需要的有用信息，有噪聲的數(shù)據(jù)集中去提取我們所需要的有用信息， 這些有用信息可能是這些有用信息可能是“目標(biāo)出現(xiàn)與否目標(biāo)出現(xiàn)與否”、“數(shù)字?jǐn)?shù)字 源發(fā)射的是源發(fā)射的是0 0還是還是1 1”或者或者“目標(biāo)的距離目標(biāo)的距離”、“目標(biāo)目標(biāo) 的方位的方位”，或，或”目標(biāo)的速度目標(biāo)的速度”等，由于噪聲固有等，由于噪聲固有 的隨機(jī)性，因此，有用信息的提取必須采用統(tǒng)計(jì)的隨機(jī)性，因此，有用信息的提取必須采用統(tǒng)計(jì) 的方法，這些統(tǒng)計(jì)方法的基礎(chǔ)就是檢測理論與估的方法，這些統(tǒng)計(jì)方法的基礎(chǔ)就是檢測理論與估 計(jì)理論，就是本課程后續(xù)章節(jié)學(xué)習(xí)的內(nèi)容。計(jì)理論，就是本課程后續(xù)章

4、節(jié)學(xué)習(xí)的內(nèi)容。 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 5.5.估計(jì)理論估計(jì)理論 5.1 估計(jì)的基本概念估計(jì)的基本概念 5.2 貝葉斯估計(jì)：貝葉斯估計(jì)：已知代價函數(shù)及先驗(yàn)概率，使估計(jì)付出的平均代價最小已知代價函數(shù)及先驗(yàn)概率，使估計(jì)付出的平均代價最小 5.3 最大似然估計(jì)：最大似然估計(jì)：使似然函數(shù)最大使似然函數(shù)最大 5.4 估計(jì)量的性能估計(jì)量的性能 5.5 線性最小均方估計(jì)：線性最小均方估計(jì)：已知估計(jì)量的一、二階矩已知估計(jì)量的一、二階矩,使均方誤差最小的使均方誤差最小的 線性估計(jì)線性估計(jì) 5.6 最小二乘估計(jì)：最小二乘估計(jì)：觀測與估計(jì)偏差的平方和最小觀測與估計(jì)偏差的平方和最小 5.7 波形估計(jì)波形

5、估計(jì) 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 估計(jì)問題通常是以下三種情況：估計(jì)問題通常是以下三種情況： n 根據(jù)觀測樣本直接對觀測樣本的各類統(tǒng)計(jì)特性作出估計(jì)；根據(jù)觀測樣本直接對觀測樣本的各類統(tǒng)計(jì)特性作出估計(jì)； n 根據(jù)觀測樣本，對觀測樣本中的信號中的未知的待定參量根據(jù)觀測樣本，對觀測樣本中的信號中的未知的待定參量 作出估計(jì)，稱為信號的參量估計(jì)問題，又分為點(diǎn)估計(jì)和區(qū)間作出估計(jì)，稱為信號的參量估計(jì)問題，又分為點(diǎn)估計(jì)和區(qū)間 估計(jì)；估計(jì)； n 根據(jù)觀測樣本對隨時間變化的信號作出波形估計(jì)，又稱為根據(jù)觀測樣本對隨時間變化的信號作出波形估計(jì)，又稱為 過程估計(jì)。過程估計(jì)。 5.15.1估計(jì)的基本概念估計(jì)的基本概

6、念 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 信源s( ) P( ) 混合 P(n) n 估計(jì)規(guī)則估計(jì)規(guī)則 估計(jì)估計(jì) ( ) z 觀測空間觀測空間 信號參量估計(jì)的統(tǒng)計(jì)推斷模型信號參量估計(jì)的統(tǒng)計(jì)推斷模型 5.15.1估計(jì)的基本概念估計(jì)的基本概念 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 估計(jì)問題基本要素估計(jì)問題基本要素 5.15.1估計(jì)的基本概念估計(jì)的基本概念 概率傳遞機(jī)制概率傳遞機(jī)制估計(jì)準(zhǔn)則估計(jì)準(zhǔn)則 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 1 1、貝葉斯估計(jì)、貝葉斯估計(jì) 在已知代價函數(shù)及先驗(yàn)概率基礎(chǔ)上，使估計(jì)付出的平均在已知代價函數(shù)及先驗(yàn)概率基礎(chǔ)上，使估計(jì)付出的平均 代價最小。代價最小。 設(shè)觀測值為設(shè)觀

7、測值為z，待估參量為，待估參量為 。 估計(jì)誤差：估計(jì)誤差： 設(shè)代價函數(shù)：設(shè)代價函數(shù)： 貝葉斯估計(jì)準(zhǔn)則：貝葉斯估計(jì)準(zhǔn)則： ( ) z ( ) min ( )zE C ( )C 5.25.2貝葉斯估計(jì)貝葉斯估計(jì) 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 ( )( ,( ) ( ,( )( , ) ( ,( )(| )( ) (| ) ( ) E CE Cz Czfz d dz Czfz df z dz Cz f z dz ( , ( ) ( | )Czfz d 最小 條件平均代價條件平均代價 統(tǒng)計(jì)平均代價：統(tǒng)計(jì)平均代價： 等價于使下式最?。旱葍r于使下式最?。?5.25.2貝葉斯估計(jì)貝葉斯估計(jì) 信號參數(shù)

8、與估計(jì)分析信號參數(shù)與估計(jì)分析 2 ( ,)()C 2 2、典型代價函數(shù)及貝葉斯估計(jì)、典型代價函數(shù)及貝葉斯估計(jì) 5.25.2貝葉斯估計(jì)貝葉斯估計(jì) 平方代價：平方代價： ( , )|C 絕對值代價：絕對值代價： 1,| 2 () 0,| 2 C ， 均勻代價：均勻代價： 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 最小均方估計(jì)最小均方估計(jì)(Minimal Square) 對對 求導(dǎo)數(shù)，并使其等于零：求導(dǎo)數(shù)，并使其等于零： 得：得： 即即 ，也稱為條件均值估計(jì)。，也稱為條件均值估計(jì)。 2 (| )()(| )Czfz d 最小 ( | ) 2( | )2( | ) dCz fz dfz d d (| )f

9、z d | Ez 5.25.2貝葉斯估計(jì)貝葉斯估計(jì) 2 ( ,)()C 平方代價：平方代價： 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 條件中位數(shù)估計(jì)條件中位數(shù)估計(jì)(Median)(Median) 對對 求導(dǎo)數(shù)，并使其等于零，得：求導(dǎo)數(shù)，并使其等于零，得： 可見，估計(jì)為條件概率密度可見，估計(jì)為條件概率密度 的中位數(shù)。的中位數(shù)。 (| )|(| ) ()(| )()(| ) Czfz d fz dfz d (| )(| ) abs abs fz dfz d (| )fz 5.25.2貝葉斯估計(jì)貝葉斯估計(jì) ( , )|C 絕對值代價：絕對值代價： 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 最大后驗(yàn)概率估計(jì)

10、最大后驗(yàn)概率估計(jì)( (maximal posterior probability) 應(yīng)當(dāng)選擇應(yīng)當(dāng)選擇 ，使它處在后驗(yàn)概率，使它處在后驗(yàn)概率 的最大處。的最大處。 最大后驗(yàn)概率方程：最大后驗(yàn)概率方程： 或或 2 2 (| )1(| ) map map Czfz d (| ) 0 map fz (| )fz ln(| ) 0 map fz 5.25.2貝葉斯估計(jì)貝葉斯估計(jì) 1,| 2 () 0,| 2 C ， 均勻代價：均勻代價： 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 由關(guān)系式：由關(guān)系式： 兩邊取對數(shù)并對兩邊取對數(shù)并對 求導(dǎo)，得最大后驗(yàn)概率方程的另一形式：求導(dǎo)，得最大后驗(yàn)概率方程的另一形式： (

11、|)( ) (| ) ( ) f zf fz f z ln( |)ln( ) 0 map f zf 5.25.2貝葉斯估計(jì)貝葉斯估計(jì) 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 例例1設(shè)觀測為設(shè)觀測為 ，其中被估計(jì)量，其中被估計(jì)量A在在-A0,A0上均勻分布上均勻分布, 測量噪聲測量噪聲vN(0, )，求，求A的最大后驗(yàn)概率估計(jì)和最小均方估計(jì)。的最大后驗(yàn)概率估計(jì)和最小均方估計(jì)。 5.25.2貝葉斯估計(jì)貝葉斯估計(jì) zAv 2 v 2 2 1() ( |)exp 22 v v zA f z A ( |) ( ) (| ) ( ) f z A f A f A z f z ( |) ( ) ( |) ( )

12、 (| ) ( ) ( |) ( ) ms Af z A f A dA f z A f A AAf A z dAAdA f z f z A f A dA 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 例例2 高斯白噪聲中的直流電平估計(jì)高斯白噪聲中的直流電平估計(jì)- -高斯先驗(yàn)分布。設(shè)有高斯先驗(yàn)分布。設(shè)有N N次獨(dú)立次獨(dú)立 觀測觀測z zi i=A+v=A+vi i,i=1,2,.N,i=1,2,.N，其中，其中vN(0, )vN(0, )，A A ，求，求 A A的估計(jì)。的估計(jì)。 5.25.2貝葉斯估計(jì)貝葉斯估計(jì) 習(xí)題：習(xí)題：7.3、7.6 2 2 (,) AA N ( |) ( ) (| ) ( |)

13、 ( ) fA f A f A fA f A dA z z z 2 | 2 2 | | 11 exp() 2 2 A z A z A z A 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 由最大后驗(yàn)概率估計(jì)由最大后驗(yàn)概率估計(jì) 若先驗(yàn)概率密度函數(shù)若先驗(yàn)概率密度函數(shù) 未知，則由左邊第一項(xiàng)求解未知，則由左邊第一項(xiàng)求解 參量參量 ，即最大似然估計(jì)，用，即最大似然估計(jì)，用 表示。最大似然方程為：表示。最大似然方程為： ln( |)ln( ) 0 map f zf ( )f mL ln( |) 0 mL f z 1 1、最大似然估計(jì)、最大似然估計(jì) 5.35.3最大似然估計(jì)最大似然估計(jì) (Maximum Likel

14、ihood Estimate) 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 例例1、高斯白噪聲中的直流電平估計(jì)、高斯白噪聲中的直流電平估計(jì)-未知參數(shù)。設(shè)有未知參數(shù)。設(shè)有N次次 獨(dú)立觀測獨(dú)立觀測zi=A+vi ，i=1,2,.N，其中，其中viN(0, 2)，A為未知為未知 參數(shù)，參數(shù)， 2已知，求已知，求A的最大似然估計(jì)。的最大似然估計(jì)。 5.35.3最大似然估計(jì)最大似然估計(jì) /2 2 22 1 11 ( /)exp() 22 N N i i fAzA z 1 1 N mli i Azz N 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 例例2、設(shè)有、設(shè)有N次獨(dú)立觀測次獨(dú)立觀測zi=vi ，i=1,2,.N

15、，其中，其中 viN(0, 2)，求，求 2 的最大似然估計(jì)。的最大似然估計(jì)。 5.35.3最大似然估計(jì)最大似然估計(jì) /2 22 22 1 11 ( /)exp 22 N N i i fz z 22 1 1 N mli i z N 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 例例3、高斯白噪聲中的直流電平估計(jì)、高斯白噪聲中的直流電平估計(jì)-未知參數(shù)與未知方未知參數(shù)與未知方 差。設(shè)有差。設(shè)有N次獨(dú)立觀測次獨(dú)立觀測zi=A+vi ，i=1,2,.N，其中，其中 vN(0, 2)， 2、A均為未知參數(shù)，求均為未知參數(shù)，求A和和 2的最大似然估的最大似然估 計(jì)。計(jì)。 5.35.3最大似然估計(jì)最大似然估計(jì) /2

16、 2 22 1 11 ( / )exp() 22 N N i i fzA z =A 2T 2 2 1 1 () ml N ml i i z A zz N 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 1 1、估計(jì)量的性能標(biāo)準(zhǔn)、估計(jì)量的性能標(biāo)準(zhǔn) 無偏性無偏性 如果估計(jì)量的均值等于非隨機(jī)參量或等于隨機(jī)參量的均如果估計(jì)量的均值等于非隨機(jī)參量或等于隨機(jī)參量的均 值，則稱估計(jì)量具有無偏性。即滿足：值，則稱估計(jì)量具有無偏性。即滿足： 對于確定量，有：對于確定量，有： 對于隨機(jī)量，有：對于隨機(jī)量，有： E EE 5.45.4估計(jì)量的性能估計(jì)量的性能 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 有效性有效性 5.45.4估

17、計(jì)量的性能估計(jì)量的性能 對于無偏估計(jì)，如果估計(jì)的方差越小，表明估計(jì)量的取對于無偏估計(jì)，如果估計(jì)的方差越小，表明估計(jì)量的取 值越集中于真值附近，估計(jì)的性能越好。值越集中于真值附近，估計(jì)的性能越好。 2 ( )( ) VarEE 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 對于有偏估計(jì)，盡管估計(jì)的方差很小，但估對于有偏估計(jì)，盡管估計(jì)的方差很小，但估 計(jì)的誤差可能仍然很大。計(jì)的誤差可能仍然很大。 5.45.4估計(jì)量的性能估計(jì)量的性能 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 有效性有效性 5.45.4估計(jì)量的性能估計(jì)量的性能 對于無偏估計(jì)，如果估計(jì)的方差越小，表明估計(jì)量的取對于無偏估計(jì)，如果估計(jì)的方差越小，表

18、明估計(jì)量的取 值越集中于真值附近，估計(jì)的性能越好。值越集中于真值附近，估計(jì)的性能越好。 2 ( )( ) VarEE 用估計(jì)的方差還不能準(zhǔn)確地描述估計(jì)的性能用估計(jì)的方差還不能準(zhǔn)確地描述估計(jì)的性能，所以我們可，所以我們可 以用均方誤差作為評價估計(jì)量性能的一個指標(biāo)。以用均方誤差作為評價估計(jì)量性能的一個指標(biāo)。 2 ( ) MseE 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 一致性一致性 即對于任意小數(shù)即對于任意小數(shù) ，若有：，若有： 則估計(jì)量則估計(jì)量 為一致估計(jì)量。為一致估計(jì)量。 若滿足若滿足 則稱為均方一致估計(jì)量。則稱為均方一致估計(jì)量。 12 lim( ,)0 N N Pz zz 2 lim()0 N

19、 N E z 5.45.4估計(jì)量的性能估計(jì)量的性能 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 5.45.4估計(jì)量的性能估計(jì)量的性能 例例1、高斯白噪聲中的直流電平估計(jì)、高斯白噪聲中的直流電平估計(jì)-未知參數(shù)。設(shè)有未知參數(shù)。設(shè)有N次次 獨(dú)立觀測獨(dú)立觀測zi=A+vi ，i=1,2,.N，其中，其中viN(0, 2)， 2已知。已知。 00 00 00 map AzA AzAzA AzA 1 1 N mli i Azz N 1 1 () N mli i E AEzA N ()() mlmap Mse AMse A () map E AA 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 2 2、克拉美羅限、克拉美羅

20、限(Cramer-Rao Low bound)(Cramer-Rao Low bound) 無偏估計(jì)量的估計(jì)方差的最小值無偏估計(jì)量的估計(jì)方差的最小值 非隨機(jī)參量非隨機(jī)參量 5.45.4估計(jì)量的性能估計(jì)量的性能 21 ( ) VarEJ 任何無偏估計(jì)量的方差滿足任何無偏估計(jì)量的方差滿足 2 2 2 ln( | )ln( | )f zf z JEE ln( | ) () ( ) f k z 等號成立的條件：等號成立的條件： 克拉美克拉美- -羅限羅限 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 2 2、克拉美羅限、克拉美羅限(Cramer-Rao bound)(Cramer-Rao bound) 5.4

21、5.4估計(jì)量的性能估計(jì)量的性能 如果一個無偏估計(jì)，它的方差達(dá)到如果一個無偏估計(jì)，它的方差達(dá)到CRLBCRLB，那么，這個估計(jì)必，那么，這個估計(jì)必 定是最大似然估計(jì)。這時最大似然估計(jì)是最好的。但如果不定是最大似然估計(jì)。這時最大似然估計(jì)是最好的。但如果不 存在達(dá)到存在達(dá)到CRLBCRLB的估計(jì)，最大似然估計(jì)就不一定是最好的估計(jì)。的估計(jì)，最大似然估計(jì)就不一定是最好的估計(jì)。 ln( | ) 0 ml f z ln( | ) () ()0 ml mlml f k z 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 例例2、高斯白噪聲中的高斯白噪聲中的DCDC電平。電平。DCDC電平的最大似然估計(jì)的方電平的最大似然

22、估計(jì)的方 差是否達(dá)到差是否達(dá)到CRLBCRLB？它的估計(jì)方差是多少？它的估計(jì)方差是多少？ 5.45.4估計(jì)量的性能估計(jì)量的性能 1 1 N mli i Azz N 11 11 NN mlii ii E AEzE zA NN 22 1 ln( /)1 () N iml i fANN zAAA AN z 2 2 2 1 () ln( /) ml Var A Nf z A E A 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 2 2、克拉美羅限、克拉美羅限(Cramer-Rao Low bound)(Cramer-Rao Low bound) 無偏估計(jì)量的估計(jì)方差的最小值無偏估計(jì)量的估計(jì)方差的最小值 隨機(jī)參

23、量隨機(jī)參量 5.45.4估計(jì)量的性能估計(jì)量的性能 21 ( ) MseEJ 任何無偏估計(jì)量的均方誤差滿足任何無偏估計(jì)量的均方誤差滿足 2 2 2 ln( , )ln( , )f zf z JEE ln( , ) () f k z 等號成立的條件：等號成立的條件： 克拉美克拉美- -羅限羅限 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 2 2、克拉美羅限、克拉美羅限(Cramer-Rao Low bound)(Cramer-Rao Low bound) 無偏估計(jì)量的估計(jì)方差的最小值無偏估計(jì)量的估計(jì)方差的最小值 隨機(jī)參量隨機(jī)參量 5.45.4估計(jì)量的性能估計(jì)量的性能 如果有某個無偏估計(jì)達(dá)到如果有某個無偏

24、估計(jì)達(dá)到CRLB,CRLB,那么該估計(jì)必定是最大后驗(yàn)概那么該估計(jì)必定是最大后驗(yàn)概 率估計(jì)率估計(jì). .而最小均方估計(jì)的均方誤差也是最小的而最小均方估計(jì)的均方誤差也是最小的, ,所以這時最小所以這時最小 均方估計(jì)與最大后驗(yàn)概率估計(jì)等價均方估計(jì)與最大后驗(yàn)概率估計(jì)等價. . ln( , ) () f k z 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 5.45.4估計(jì)量的性能估計(jì)量的性能 例例2 高斯白噪聲中的直流電平估計(jì)高斯白噪聲中的直流電平估計(jì)- -高斯先驗(yàn)分布。設(shè)有高斯先驗(yàn)分布。設(shè)有N N次獨(dú)立次獨(dú)立 觀測觀測z zi i=A+v=A+vi i,i=1,2,.N,i=1,2,.N，其中，其中vN(0,

25、 )vN(0, )，A A ，求，求 A A的估計(jì)的的估計(jì)的CRLBCRLB。 2 2 (,) AA N 2 2 2/222 2 1 ( ,)( |) ( ) 1111 exp()exp (2)22 2 N iA N i A A fAfA f A zAA zz 22 ln( , )1 map A fAN AA A z ()( ) map E AE A 2 222 ln( , )1 A fAN A z 1 22 2 2222 1 ( )() A AA N MseE N 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 1 1、線性最小均方估計(jì)、線性最小均方估計(jì)(linear minimum mean (li

26、near minimum mean square error estimation) square error estimation) 前提：不知道前提：不知道 ，知道，知道 的一、二階矩特性的一、二階矩特性 準(zhǔn)則：使均方誤差最小的線性估計(jì)準(zhǔn)則：使均方誤差最小的線性估計(jì) 實(shí)現(xiàn)：實(shí)現(xiàn)： 選擇適當(dāng)?shù)南禂?shù)選擇適當(dāng)?shù)南禂?shù)ai及及b，使估計(jì)均方誤差最小。，使估計(jì)均方誤差最小。 1 N lmsii i a zb 5.55.5線性最小均方估計(jì)線性最小均方估計(jì) ( )f 2 2 1 ( )() min N ii i MseEEa zb 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 ()0 jlmsj EzEz 1 N

27、 ii i bEa E z 5.55.5線性最小均方估計(jì)線性最小均方估計(jì) 正交條件正交條件 1 0 N iij i Ea zb z 正交條件是信號最佳線性濾波和估計(jì)算法的基礎(chǔ)，在隨機(jī)正交條件是信號最佳線性濾波和估計(jì)算法的基礎(chǔ)，在隨機(jī) 信號處理中占有十分重要的地位。信號處理中占有十分重要的地位。 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 性能分析：性能分析： 線性最小均方估計(jì)為無偏估計(jì)，即有：線性最小均方估計(jì)為無偏估計(jì)，即有： 線性最小均方估計(jì)的均方誤差等于誤差與被估計(jì)量乘線性最小均方估計(jì)的均方誤差等于誤差與被估計(jì)量乘 積的統(tǒng)計(jì)均值，即：積的統(tǒng)計(jì)均值，即： 其中：其中： lms EE 2 EE lm

28、s 5.55.5線性最小均方估計(jì)線性最小均方估計(jì) 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 例例1、設(shè)觀測模型為設(shè)觀測模型為zi=s+vi ，i=1,2,.，其中隨機(jī)參量，其中隨機(jī)參量s以等以等 概率取概率取-2,-1,0,1,2諸值，噪聲干擾諸值，噪聲干擾vi以等概率取以等概率取-1,0,1諸諸 值，且值，且Esvi=0， ，試根據(jù)一次、二次、三，試根據(jù)一次、二次、三 次觀測數(shù)據(jù)求參量次觀測數(shù)據(jù)求參量s的線性最小均方估計(jì)。的線性最小均方估計(jì)。 5.55.5線性最小均方估計(jì)線性最小均方估計(jì) 2 ijv Ev v = ij 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 1 1、最小二乘估計(jì)（、最小二乘估計(jì)（

29、Least square estimationLeast square estimation） 前提：前提：適用于線性觀測模型；適用于線性觀測模型； 不規(guī)定估計(jì)的概率或統(tǒng)計(jì)描述；不規(guī)定估計(jì)的概率或統(tǒng)計(jì)描述； 需要關(guān)于被估計(jì)量的觀測信號模型需要關(guān)于被估計(jì)量的觀測信號模型 ; 準(zhǔn)則：準(zhǔn)則：使觀測與估計(jì)偏差的平方和最小。使觀測與估計(jì)偏差的平方和最小。 假定觀測模型為線性，即觀測數(shù)據(jù)假定觀測模型為線性，即觀測數(shù)據(jù)zk與參量與參量 1， 2， M之間服從：之間服從： 其中其中hk1，hk2，hkM為已知常系數(shù)。為已知常系數(shù)。 1122kkkkMMk zhhhnNk, 2 , 1 5.65.6最小二乘估計(jì)

30、最小二乘估計(jì) 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 將觀測方程用矢量及矩陣表示：將觀測方程用矢量及矩陣表示： 最小二乘估計(jì)是使觀測與估計(jì)偏差的平方和最小，即：最小二乘估計(jì)是使觀測與估計(jì)偏差的平方和最小，即： zHn min T JzHzH 5.65.6最小二乘估計(jì)最小二乘估計(jì) ( )min T W JzHW zH 1 TT ls H HH z最小二乘估計(jì)為：最小二乘估計(jì)為： 1 () TT lsw H WHH Wz 加權(quán)最小二乘估計(jì)為：加權(quán)最小二乘估計(jì)為： 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 性能分析：性能分析： 對于線性觀測模型，最小二乘估計(jì)是線性估計(jì)，對測量對于線性觀測模型，最小二乘估計(jì)

31、是線性估計(jì)，對測量 噪聲的統(tǒng)計(jì)特性無任何假設(shè)，應(yīng)用十分廣泛；噪聲的統(tǒng)計(jì)特性無任何假設(shè)，應(yīng)用十分廣泛； 若噪聲均值為零，若噪聲均值為零，最小二乘估計(jì)為無偏估計(jì)，即有：最小二乘估計(jì)為無偏估計(jì)，即有： ls E 5.65.6最小二乘估計(jì)最小二乘估計(jì) lsw E 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 性能分析：性能分析： 最小二乘估計(jì)的均方誤差為：最小二乘估計(jì)的均方誤差為： 對于加權(quán)最小二乘估計(jì)，如果有一些模型的知識，如對于加權(quán)最小二乘估計(jì)，如果有一些模型的知識，如 E(v)=0， ，當(dāng)，當(dāng) 時，估計(jì)誤差的方時，估計(jì)誤差的方 差陣達(dá)到最小，這個最小的方差陣為：差陣達(dá)到最小，這個最小的方差陣為： 11

32、2TTT lsn E H HH V H H H T n EVnn 5.65.6最小二乘估計(jì)最小二乘估計(jì) 211 ()() TTT lsw E H WHH WRWH H WH T ER nn 111 1 () () TT lsRlsRlsR VarE H WH 1 WR 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 例例1、觀測數(shù)據(jù)為：、觀測數(shù)據(jù)為： 其中其中a為待估參量，為待估參量，nk為觀測噪聲，求為觀測噪聲，求a的最小二乘估計(jì)。的最小二乘估計(jì)。 1,2, kk zankN 5.65.6最小二乘估計(jì)最小二乘估計(jì) 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 例例2、根據(jù)以下對二維矢量、根據(jù)以下對二維矢量 的

33、兩次觀測，的兩次觀測， 求求 的線性最小二乘估計(jì)。的線性最小二乘估計(jì)。 11 22 211 101 412 zn zn 5.65.6最小二乘估計(jì)最小二乘估計(jì) 1 1 1 1111112 1 236 ()0101011 4 3611 12121243 TT ls TT H HH z 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 最小二乘估計(jì)在目標(biāo)跟蹤中的應(yīng)用最小二乘估計(jì)在目標(biāo)跟蹤中的應(yīng)用 5.65.6最小二乘估計(jì)最小二乘估計(jì) 勻速直線運(yùn)動的觀測模型：勻速直線運(yùn)動的觀測模型： 00 ( )( ) i z ixx tw i 000 T xxX ( )1 i itH 0 ( )( )( )z iiw iHX 習(xí)題：7.26,7.31 信號參數(shù)與估計(jì)分析信號參數(shù)與估計(jì)分析 1 1、波形估計(jì)、波形估計(jì) 參量估計(jì)適用于非時變參量，無法解決時變參量估計(jì)問參量估計(jì)適用于非時變參量，無法解決時變參量估計(jì)問 題。題。 關(guān)于時變參量甚至?xí)r變信號本身的估計(jì)稱為時變信號估關(guān)于時變參量甚至?xí)r變信號本身的估計(jì)稱為時變信號估 計(jì)或波形估計(jì)，因此波形估計(jì)又稱過程估計(jì)。計(jì)或波形估計(jì)，因此波形估計(jì)又稱過程估計(jì)。 波形估計(jì)其實(shí)質(zhì)就是給定有用信號和加性噪聲的混合波波形估計(jì)其實(shí)質(zhì)就是給定有用信號和加性噪聲的混合波 形，尋求一種線性運(yùn)算作用于此混合波形，