雷達數(shù)據(jù)處理及應(yīng)用（第四版） 課件 第2章 參數(shù)估計

于洪波雷達數(shù)據(jù)處理及應(yīng)用雷達數(shù)據(jù)處理及應(yīng)用

第2章參數(shù)估計2參數(shù)估計1.參數(shù)估計定義參數(shù)估計狀態(tài)估計1參數(shù)估計的概念參數(shù)估計為根據(jù)一組與未知參數(shù)有關(guān)的觀測數(shù)據(jù)按照某種準則推算出未知參數(shù)的值。這時得到的估計在該準則下是最優(yōu)的。參數(shù)估計示意圖黑盒子

設(shè)z(j)是參數(shù)x的量測值(2.1)對于k個這樣的量測Zk={z(1),

z(2),…,

z(k)}={z(j),j=1,2,…,k}

按照某種準則構(gòu)造函數(shù)

(2.2)就是在該準則下對參數(shù)x的估計。2.估計準則

代價函數(shù)(風險函數(shù))：是真實值和估計值的函數(shù)，通常用表示。對于單參量估計常把代價函數(shù)設(shè)定為估計誤差的函數(shù)，即。貝葉斯提出的平均代價最小的估計準則。選擇估計使平均代價達到最小。平均代價（平均風險）z的函數(shù)由條件概率密度函數(shù)可得條件平均代價或條件平均風險此時所得到的估計為貝葉斯估計。(1)均勻代價函數(shù)

均勻代價函數(shù)-Δ/2Δ/210最大后驗估計三種典型的代價函數(shù)(2)

誤差平方代價函數(shù)

誤差平方代價函數(shù)0最小均方誤差估計(3)誤差絕對值代價函數(shù)誤差絕對值代價函數(shù)條件中位數(shù)估計0將均勻代價函數(shù)代入條件平均代價函數(shù)中可得2四種基本的估計方法后驗概率密度函數(shù)圖1.最大后驗估計(maximumaposterior

estimate

)意義：在給定量測Zk的條件下，參數(shù)x落在最大后驗估計某個鄰域內(nèi)的概率要比落在其它任何值相同鄰域內(nèi)的概率要大。最大后驗估計由貝葉斯準則

參數(shù)x的ML，即

2.最大似然估計(maximumlikelihoodestimate)最大后驗估計和最大似然估計哪個更好？例2.1設(shè)觀測數(shù)據(jù)為其中：x為待估計的參數(shù)，w為量測噪聲，且w~N(0,σ2)，參數(shù)x與噪聲w是不相關(guān)的。(1)求最大似然估計;(2)當參數(shù)x具有單邊指數(shù)先驗概率密度函數(shù)，即求它的最大后驗估計。解:（1）最大似然估計w~N(0,σ2)由題意可知，且z=x+w，則z~N(x,σ2)參數(shù)x的似然函數(shù)從數(shù)學上講，估計算法的實際就是求某個給定的指數(shù)函數(shù)的極值問題。似然方程參數(shù)x的似然函數(shù)=0(2)最大后驗估計由于可得最大后驗方程由最大后驗方程確定的估計即為最大后驗估計。即當時，可使達到極大。若并且a→0，此時由已知條件可知將誤差平方代價函數(shù)代入條件平均代價函數(shù)中可得3.最小均方誤差估計(MinimumMean-SquareErrorEstimation)選取使達到極小，即可得到最小均方誤差估計。使均方誤差達到極小的x值的估計稱為最小均方誤差估計。最小均方誤差估計(MMSE)(2.9)它的解是條件均值，用條件概率密度函數(shù)可表示為

(2.10)最小均方誤差估計是無偏估計；估計的均方誤差即為估計誤差的方差；最小均方誤差估計的均方誤差陣小于任何其它估計準則所得到的均方誤差陣。最小均方誤差估計的性質(zhì)4.最小二乘估計(Least-SquaresEstimation)對于量測

(2.6)k時刻參數(shù)x的最小二乘估計是指使該時刻誤差的平方和達到最小的x值，即

(2.7)最大后驗估計

最大似然估計

最小二乘估計

最小均方誤差估計最大后驗估計需要知道似然函數(shù)和待估計參數(shù)的先驗概率密度函數(shù)；最大似然估計只需要知道似然函數(shù)；最小均方誤差估計只需要知道一、二階統(tǒng)計矩，而不需要其它概率假定；最小二乘估計去掉了全部概率假定，把估計問題作為確定性的最優(yōu)化問題來處理，其可看作不斷放寬統(tǒng)計要求的最后一步。隨機模型：參數(shù)是具有先驗的概率密度函數(shù)p(x)的隨機變量，估計常用的方法為貝葉斯方法，包括最大后驗估計(MAP)、最小均方誤差估計(MMSE)。非隨機模型：參數(shù)有一個未知的真實值x0，估計常用的方法為非貝葉斯方法，包括最大似然估計(ML)、最小二乘估計(LS)。例題2.2

假定接收到的目標量測數(shù)據(jù)為k個，即其中x為待估計的隨機變量，求(1)參數(shù)x的最小二乘估計；(2)若w(j)為獨立、同分布的零均值高斯分布隨機變量，方差為σ2，求參數(shù)x的最大似然估計。解：（1）最小二乘估計，由定義有設(shè)由則可得即該情況下參數(shù)x的最小二乘估計是樣本均值。對其求一階和二階導數(shù)有(2)最大似然估計

高斯情況下，隨機變量X和Y相互獨立的充要條件為相關(guān)系數(shù)ρ=0。即ρ=0，所以不同時刻測量數(shù)據(jù)z(i)和z(j)(i≠j)之間是統(tǒng)計獨立的。例題2.3

雷達測量數(shù)據(jù)為z=x+w(2.11)其中：x為待估計的參數(shù)，w為量測噪聲，且w~N(0,σ2)。若已知參數(shù)x的先驗信息為：x是高斯隨機變量，且其均值為、方差為σ02，參數(shù)x與噪聲w是不相關(guān)的，試利用測量數(shù)據(jù)對參數(shù)x做出估計，要求得到的估計值圍繞著待估計參數(shù)波動最小。解：參數(shù)x的最小均方誤差估計似然函數(shù)為

通過對x配平和重新排列指數(shù)，可得參數(shù)x的后驗概率密度函數(shù)為

(2.20)其中：最大后驗估計

最大似然估計

最小均方誤差估計小結(jié)

最小二乘估計于洪波雷達數(shù)據(jù)處理及應(yīng)用雷達數(shù)據(jù)處理及應(yīng)用

第2章參數(shù)估計1．無偏性對于具有真實值x0的非隨機參數(shù)x，如果則說估計是無偏的。若在的極限情況下上式成立，則稱為漸近無偏估計，否則為有偏估計。

一、估計性質(zhì)稱為以作為參數(shù)x的估計的系統(tǒng)誤差。

對于具有先驗概率密度函數(shù)p(x)的隨機變量x，如果則說估計是無偏的。如果在的極限情況下上式成立，則稱為漸近無偏估計，否則為有偏估計。稱為以作為參數(shù)x的估計的系統(tǒng)誤差。無偏估計的實際意義:無系統(tǒng)誤差.2．估計誤差的方差設(shè)和都是根據(jù)觀測值z1,z2,…,zk做出的隨機參數(shù)x的無偏估計，若有則稱估計較有效。對于具有真實值x0的非隨機參數(shù)x的無偏估計對于隨機參數(shù)x的無偏估計

一致估計是指隨著可利用的觀測數(shù)據(jù)數(shù)量的增加，估計器給出的估計值越來越趨近于真實值。3．一致估計X(t)x1(t)x2(t)x3(t)┇xn(t)┇如果則稱隨機序列{ξ

n}均方收斂于ξ。

如果隨著接收樣本數(shù)量的增加，均方誤差的極限等于零，即則稱估計是均方一致（相合）的。若某個估計為一致估計，則隨著接收樣本數(shù)的增加估計性能將變得更好。4．有效估計(EfficientEstimators)

有效估計：若某參數(shù)估計為無偏估計，且對應(yīng)的均方誤差達到克拉美-羅下界(CRLB)，則稱該估計為有效估計。

克拉美-羅下限揭示了無偏估計量估計方差的最小值，稱此最小值為克拉美-羅下限（Cramer-Rao-CRLB）。

如果非隨機參數(shù)x的估計是無偏估計，并且參數(shù)估計對應(yīng)的均方誤差不小于Cramer-Rao下界(CRLB)

則估計誤差方差等于CRLB的估計稱為非隨機參數(shù)x的有效估計。其中：是Fisher信息

對于非隨機參數(shù)而言，如果存在達到CRLB的估計量，那么這個估計就是最大似然估計，這時最大似然估計就是最好的，若有效估計不存在，其最大似然估計則不能認為是有效估計。結(jié)論：

如果隨機參數(shù)x的估計是無偏估計，并且其均方誤差是有界的

則估計誤差方差等于CRLB的估計稱為隨機參數(shù)x的有效估計。其中：

例題2.3

量測方程z=x+w，其中x為待估計的參數(shù)，量測噪聲w~N(0,σ2)，參數(shù)x與噪聲w是不相關(guān)的。(1)當參數(shù)x為未知常數(shù)時，可求得其最大似然估計和最小二乘估計為(2)當參數(shù)x是具有均值、方差σ02的高斯隨機變量時，可求得其最大后驗估計和最小均方誤差估計為例題2.5

判斷例題2.3給出的四種估計是不是無偏估計？哪一個估計效果更好？是否為有效估計？解：參數(shù)x的ML估計、LS估計、MAP估計和MMSE估計都是無偏估計。

參數(shù)x的ML估計和MAP估計誤差的方差分別為當參數(shù)x為未知的常數(shù)時當參數(shù)x為隨機變量時由隨機變量有效估計的定義有

最小均方誤差估計是使均方誤差達到極小的x值，即二、靜態(tài)向量情況下的參數(shù)估計高斯情況下

1.最小均方誤差估計2.線性最小均方誤差估計所謂線性最小均方誤差估計，就是假定所求的估計量是觀測量的線性函數(shù)，以估計誤差方差矩陣達到最小作為最優(yōu)估計的性能指標的估計方法。步驟：(1)估計是觀測量的線性函數(shù);(2)無偏性;(3)均方誤差最小。x線性最小均方誤差估計的幾何表示觀測空間估計誤差-正交性設(shè)估計量是觀測量z

的線性函數(shù)其中：b為非隨機向量，A為非隨機矩陣。(1)構(gòu)造觀測量的線性函數(shù)(2)無偏性(3)正交性(4)估計的均方誤差例題：設(shè)觀測模型為zi=x+vi,i=1,2,…其中隨機變量x以等概率取{-2,-1,0,1,2}諸值，噪聲干擾vi以等概率取{-1,0,1}諸值，且E{xvi}=0，E{vivj}=，試根據(jù)1次、2次、3次測量數(shù)據(jù)求參量x的線性最小均方誤差估計，并問隨著觀測數(shù)據(jù)的增多線性最小均方估計呈現(xiàn)什么趨勢？

解：無偏性由正交條件2次測量數(shù)據(jù)3次測量數(shù)據(jù)線性最小均方誤差估計需要知道被估計量x和觀測量z的一、二階矩，即均值E[x]、E[z]，方差Var[x]、Var[z]和協(xié)方差Cov[x,z]。一、估計性質(zhì)無偏性方差有效估計一致估計小結(jié)二、線性最小均方誤差估計于洪波雷達數(shù)據(jù)處理及應(yīng)用雷達數(shù)據(jù)處理及應(yīng)用

第2章參數(shù)估計1．無偏性對于具有真實值x0的非隨機參數(shù)x，如果則說估計是無偏的。若在的極限情況下上式成立，則稱為漸近無偏估計，否則為有偏估計。

一、估計性質(zhì)稱為以作為參數(shù)x的估計的系統(tǒng)誤差。

對于具有先驗概率密度函數(shù)p(x)的隨機變量x，如果則說估計是無偏的。如果在的極限情況下上式成立，則稱為漸近無偏估計，否則為有偏估計。稱為以作為參數(shù)x的估計的系統(tǒng)誤差。無偏估計的實際意義:無系統(tǒng)誤差.2．估計誤差的方差設(shè)和都是根據(jù)觀測值z1,z2,…,zk做出的隨機參數(shù)x的無偏估計，若有則稱估計較有效。對于具有真實值x0的非隨機參數(shù)x的無偏估計對于隨機參數(shù)x的無偏估計

一致估計是指隨著可利用的觀測數(shù)據(jù)數(shù)量的增加，估計器給出的估計值越來越趨近于真實值。3．一致估計X(t)x1(t)x2(t)x3(t)┇xn(t)┇如果則稱隨機序列{ξ

n}均方收斂于ξ。

如果隨著接收樣本數(shù)量的增加，均方誤差的極限等于零，即則稱估計是均方一致（相合）的。若某個估計為一致估計，則隨著接收樣本數(shù)的增加估計性能將變得更好。4．有效估計(EfficientEstimators)

有效估計：若某參數(shù)估計為無偏估計，且對應(yīng)的均方誤差達到克拉美-羅下界(CRLB)，則稱該估計為有效估計。

克拉美-羅下限揭示了無偏估計量估計方差的最小值，稱此最小值為克拉美-羅下限（Cramer-Rao-CRLB）。

如果非隨機參數(shù)x的估計是無偏估計，并且參數(shù)估計對應(yīng)的均方誤差不小于Cramer-Rao下界(CRLB)

則估計誤差方差等于CRLB的估計稱為非隨機參數(shù)x的有效估計。其中：是Fisher信息

對于非隨機參數(shù)而言，如果存在達到CRLB的估計量，那么這個估計就是最大似然估計，這時最大似然估計就是最好的，若有效估計不存在，其最大似然估計則不能認為是有效估計。結(jié)論：

如果隨機參數(shù)x的估計是無偏估計，并且其均方誤差是有界的

則估計誤差方差等于CRLB的估計稱為隨機參數(shù)x的有效估計。其中：

例題2.3

量測方程z=x+w，其中x為待估計的參數(shù)，量測噪聲w~N(0,σ2)，參數(shù)x與噪聲w是不相關(guān)的。(1)當參數(shù)x為未知常數(shù)時，可求得其最大似然估計和最小二乘估計為(2)當參數(shù)x是具有均值、方差σ02的高斯隨機變量時，可求得其最大后驗估計和最小均方誤差估計為例題2.5

判斷例題2.3給出的四種估計是不是無偏估計？哪一個估計效果更好？是否為有效估計？解：參數(shù)x的ML估計、LS估計、MAP估計和MMSE估計都是無偏估計。

參數(shù)x的ML估計和MAP估計誤差的方差分別為當參數(shù)x為未知的常數(shù)時當參數(shù)x