信號(hào)檢測(cè)及估計(jì)

1、Chapter 6Chapter 6Parameter EstimationParameter Estimation成員：董春波 馬和峰 李聘婷目 錄6.1 最大似然估計(jì)6.2 廣義似然比檢驗(yàn)6.3 優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn)6.4 貝葉斯估計(jì)6.5 Cramer-Rao不等式6.6 多參數(shù)估計(jì)6.7 最佳線性無(wú)偏估計(jì)6.8 最小二乘估計(jì)6.9 遞歸最小二乘估計(jì)序言序言在第5章中，我們學(xué)習(xí)了關(guān)于檢測(cè)理論的問(wèn)題，主要是解決在M個(gè)可能的假設(shè)中來(lái)確定哪個(gè)假設(shè)是正確。本章主要介紹假設(shè)接受的信號(hào)是正確的，但是有些相關(guān)聯(lián)的參數(shù)是未知的，主要的目的就是利用有限的樣本參數(shù)用最佳的方式估計(jì)這些參數(shù)。令Y1，Y2，.，YK

2、為K個(gè)獨(dú)立同分布的隨機(jī)變量Y的樣本，其密度函數(shù)取決于未知參數(shù)。 y 1，y 2，.，y K為樣本Y1，Y2，.，YK所對(duì)應(yīng)的值，函數(shù) g（Y1，Y2，.，YK）用來(lái)估計(jì)參數(shù)。 表示為 稱為參數(shù)的估計(jì)。通常，估計(jì)的參數(shù)可以是隨機(jī)的或非隨機(jī)的。 隨機(jī)參數(shù)的估計(jì)被稱為貝葉斯估計(jì)，而非隨機(jī)參數(shù)的估計(jì)被稱為最大似然估計(jì)（MLE）。12(,.)Kg Y YY12( , ,. )Kg Y YY6.1 最大似然估計(jì)最大似然估計(jì)如在前面的函數(shù)中所提到的，通常用最大似然（ML）估計(jì)來(lái)估計(jì)非隨機(jī)參數(shù)。 令Y1，Y2，.，YK具有樣本值y 1，y 2，.，y K的隨機(jī)變量Y的K個(gè)觀測(cè)值，并且這些隨機(jī)變量是獨(dú)立同分布的

3、。令 表示隨機(jī)變量Y的條件密度函數(shù)。Y的密度函數(shù)取決于需要估計(jì)的參數(shù)，記最大似然函數(shù)為L(zhǎng)()，式6.1.1 (6.1.1)似然函數(shù)最大的值 稱為的最大似然估計(jì)量。為求最大似然估計(jì)量，我們利用數(shù)學(xué)中所學(xué)的微積分。為了計(jì)算簡(jiǎn)單，利用對(duì)數(shù)函數(shù)，由于對(duì)數(shù)函數(shù)lnx是關(guān)于變量x的遞增函數(shù)，由第五章可知最大化L()與ln(L()等價(jià)。可以用最大似然函數(shù)的對(duì)數(shù)函數(shù)式求解，對(duì)參數(shù)求導(dǎo)數(shù)可以求的最大似然估計(jì)量。如式6.1.2 (6.1.2)不變性：令L()是的似然函數(shù),并且g()是參數(shù)一一對(duì)應(yīng)的函數(shù)，即g(1)=g(2) 1=2如果 是參數(shù)的最大似然估計(jì)量，則 是g()最大似然估計(jì)量。|(|)Yfy( )g6.

4、1 最大似然估計(jì)最大似然估計(jì)Examle6.1the received signal under hypotheses H1 and H0 was(a) Assuming the constant m is not known, obtain the ML estimate of the mean.(b) Suppose now that the mean m is known, but the variance 2 is unknown. Obtain the MLE of = 2 . 在第五章中，是確定假設(shè)中的那個(gè)假設(shè)是真的。而在本章中，假設(shè)H1是真的，參數(shù)是未知的需要用最大似然估計(jì)來(lái)估計(jì)

5、。 (a) 在例題中需要確定的參數(shù) 對(duì)應(yīng)為 ，mM,由于樣本參數(shù)是獨(dú)立同分布的，由式6.1.1得似然函數(shù)：mlmmlm6.1 最大似然估計(jì)最大似然估計(jì)等式兩邊同取對(duì)數(shù)得利用式6.1.2 解似然方程得到似然估計(jì)得得到 。 Thus, the ML estimator is 6.1 最大似然估計(jì)最大似然估計(jì)(b) 最大似然估計(jì)式為方程兩邊取對(duì)數(shù)得其中對(duì)lnL( 2)最大化等價(jià)于對(duì) 2最小化由似然函數(shù)的不變性得6.1 最大似然估計(jì)最大似然估計(jì)因此， 2的最大似然估計(jì)為6.2 廣義似然比檢驗(yàn)廣義似然比檢驗(yàn)在例5.9中，我們解決了復(fù)合假設(shè)檢驗(yàn)問(wèn)題。參數(shù)m在假設(shè)H1下雖然已知m是正或負(fù)，但是值是未知。 當(dāng)

6、m僅為正值（僅為負(fù)值）時(shí)，在UMP測(cè)試，判決規(guī)則為m0時(shí)m0。因此，上式等價(jià)于下式判決門(mén)限圖如圖6.2.1Figure 6.2.1 Decision regions of the generalized likelihood ratio test設(shè)定期望的失警概率，可以確定1的值。 在得到失警概率PF的表達(dá)式之前，我們需要確定Z的密度函數(shù)。6.2 廣義似然比檢測(cè)廣義似然比檢測(cè)在假設(shè)H0下Y的均值為零和方差2，所有的觀察數(shù)據(jù)都是統(tǒng)計(jì)獨(dú)立的高斯過(guò)程。 因此， 的密度函數(shù)均是均值為零和方差K2的高斯過(guò)程。因此，Z也是具有均值為零和方差2的高斯過(guò)程。失警的概率為，如圖6.2.2所示Figure 6.2

7、.2 Density function of Z under H0.11KkkZyK11KkkZy6.2 廣義似然比檢驗(yàn)廣義似然比檢驗(yàn) 從上面可以在沒(méi)有m的失警概率中確定1的值。然而，檢測(cè)的概率不能在沒(méi)有m的情況下確定，但可以對(duì)m做參數(shù)估計(jì)。在假設(shè)H1下， 是具有均值為Km和方差K2的高斯過(guò)程。因此，Z的密度函數(shù)是具有均K m和方差2。給定m的檢測(cè)概率為，概率密度圖如圖6.2.3所示6.2 廣義似然比檢驗(yàn)廣義似然比檢驗(yàn)通過(guò)比較，廣義似然比檢驗(yàn)和奈曼-皮爾遜檢驗(yàn)效果一樣好。Figure 6.2.3 Density function of Z under H1.6.3 優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn)優(yōu)良估計(jì)評(píng)價(jià)

8、標(biāo)準(zhǔn)由于估計(jì)參量 是隨機(jī)變量，所對(duì)應(yīng)的值不止一個(gè)。因此需要確定最優(yōu)估計(jì)。無(wú)偏估計(jì)： 是無(wú)偏估計(jì)，滿足6.3.1式（6.3.1）有偏估計(jì)：如式6.3.2（6.3.2）1.如果b()不依賴于(b()=b)，就認(rèn)為估計(jì)量 具有已知的偏差，也就是說(shuō)( -b)是無(wú)偏估計(jì)。2.當(dāng)b()b，由于是未知的，所以不能獲得無(wú)偏估計(jì)。在這種情況下，就認(rèn)為估計(jì)量具有 未知的偏差。當(dāng)參數(shù)既滿足式（6.3.1）并且不是隨機(jī)的（沒(méi)有的先驗(yàn)概率分布），這有時(shí)稱為絕對(duì)無(wú)偏估計(jì)。6.3 優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn)優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn)如果估計(jì)是無(wú)偏的，其意味著估計(jì)值與真實(shí)值接近，但是不一定是最優(yōu)估計(jì)?？梢酝ㄟ^(guò)圖6.3.1中所示的估計(jì)的條件密度函

9、數(shù)容易地看出。從圖中觀察到，即使是無(wú)偏估計(jì)，因估計(jì)的方差很大也可能發(fā)生相當(dāng)大的誤差。然而如果方差小，估計(jì)量和期望值的相差也很小。因此，可以認(rèn)為估計(jì)的優(yōu)良性可以有方差大小判斷。Figure 6.3.1 Density function of the unbiased estimator .6.3 優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn)優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn)無(wú)偏最小方差： 是的最小方差和無(wú)偏估計(jì)，對(duì)所有的參數(shù)都有E()=,則對(duì)所有var( )var() 也就是說(shuō)，對(duì)于所有無(wú)偏估計(jì)， 具有最小的方差。 一致估計(jì)： 是基于K個(gè)觀察樣本的參數(shù)的一致估計(jì)，如果滿足式6.3.3(6.3.3)P(.)代表概率。應(yīng)用上述定義并不能驗(yàn)證估計(jì)

10、的一致性。 可以用以下定理定理： 是基于K個(gè)觀察樣本的參數(shù)的無(wú)偏估計(jì)，如果滿足式6.3.4（6.3.4）（6.3.5） 是參數(shù)的一致估計(jì)量。如果滿足式6.3.56.3 優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn)優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn) Example 6.3(a) Verify if the estimator of Example 6.1 is an unbiased estimate of m.(b) Is the estimator unbiased?mlm2mlSolution(a) The estimator is unbiased if E = m . After substitution, we obtainml

11、mmlm11111KKmlkkkkE mEyEyKmmKKKHence, is unbiased.mlm(b) The estimator is unbiased if E = 2. That is,2ml2ml222211111() 2KKKkkkkkkEymE KmYmyKKHence, is unbiased.2ml6.4 貝葉斯估計(jì)貝葉斯估計(jì)在貝葉斯估計(jì)中，引入了代價(jià)(損失)函數(shù)，對(duì)所有的 定義為 。代價(jià)函數(shù)是兩個(gè)隨機(jī)變量和 的非負(fù)實(shí)函數(shù)。在貝葉斯檢測(cè)中，代價(jià)函數(shù)的平均代價(jià)定義為風(fēng)險(xiǎn)函數(shù)，如式6.4.1 。 ( ,) ( , )C （6.4.1） 貝葉斯估計(jì)就是尋找使得風(fēng)險(xiǎn)函數(shù)（即平均

12、代價(jià)）達(dá)到最小的判決準(zhǔn)則。一般情況是估計(jì)單變量，所以利用估計(jì)誤差 來(lái)進(jìn)行估計(jì)。估計(jì)誤差如式6.4.2（6.4.2）下面有三種常用的代價(jià)函數(shù)，其圖形如圖6.4.1所示。1.平方代價(jià)函數(shù)2. 絕對(duì)值代價(jià)函數(shù)（6.4.3）（6.4.4）6.4 貝葉斯估計(jì)貝葉斯估計(jì)3.均勻代價(jià)函數(shù)（6.4.5）表示一個(gè)很小的量，可見(jiàn)所謂的均勻代價(jià)函數(shù)是指當(dāng)誤差超過(guò)某一門(mén)限值時(shí)，代價(jià)是相同的，而當(dāng)誤差小于該門(mén)限值時(shí)，代價(jià)為零。Figure 6.4.1 Cost functions: (a) squared error, (b) absolute value of error, and (c) uniform.6.4 貝

13、葉斯估計(jì)貝葉斯估計(jì)未知參數(shù)假定為密度函數(shù)為 的連續(xù)隨機(jī)變量，風(fēng)險(xiǎn)函數(shù)可以用是6.4.6表示。( )f（6.4.6）可以取所有和Y的平均代價(jià)，Y可以由向量Y1 ,Y2,.,YK T表示。6.4.1 最小均方誤差估計(jì)最小均方誤差估計(jì) 式（6.4.2）中給出的代價(jià)函數(shù)使風(fēng)險(xiǎn)函數(shù)最小的估計(jì)稱為最小均方估計(jì)（MMSE）。相應(yīng)的風(fēng)險(xiǎn)函數(shù)用ms表示。 得式6.4.7（6.4.7）由式1.91，風(fēng)險(xiǎn)函數(shù)可以化為式6.4.8（6.4.8）6.4 貝葉斯估計(jì)貝葉斯估計(jì)由于密度函數(shù)fY(y)是非負(fù)的，最小化ms就等價(jià)于最小化括號(hào)中的方程。因此對(duì)括號(hào)中的方程對(duì)參數(shù) 求導(dǎo)，得式6.4.9(6.4.9)用式（1.38）給

14、出的萊布尼茨準(zhǔn)則，得式6.4.10（6.4.10）6.4 貝葉斯估計(jì)貝葉斯估計(jì)也就是說(shuō)， 的最小均方估計(jì)是在Y的條件下參數(shù)的均值（的后驗(yàn)均值）?？梢缘贸?，關(guān)于 的二階導(dǎo)數(shù)是正定的，所以是對(duì)應(yīng)于ms唯一的最小值，并且由6.4.11式給出msms（6.4.11） 給定Y的條件下的方差為式6.4.12（6.4.12）因此，ms是給定所有可能Y的值條件下的方差。平方誤差準(zhǔn)則的該估計(jì)過(guò)程有時(shí)稱為誤差估計(jì)的最小方差（MV）。6.4 貝葉斯估計(jì)貝葉斯估計(jì)6.4.2 條件中位數(shù)估計(jì)條件中位數(shù)估計(jì)這種情況下，把式6.4.4代入風(fēng)險(xiǎn)函數(shù)得式6.4.13（6.4.13）使用與上節(jié)相同的方法，可以通過(guò)最小化括號(hào)中的積

15、分來(lái)最小化風(fēng)險(xiǎn)函數(shù)，括號(hào)中的方程由6.4.14式給出（6.4.14）相對(duì)于式6.4.14 的微分，并且設(shè)結(jié)果等于零，得式6.4.15（6.4.15）6.4 貝葉斯估計(jì)貝葉斯估計(jì)也就是說(shuō)，估計(jì) 是密度函數(shù) 條件的中值 ，該估計(jì)稱為誤差的最小平均絕對(duì)值（MAVE）估計(jì)，因此 。abs|( | )Yfyabsmave6.4.3 最大后驗(yàn)概率最大后驗(yàn)概率對(duì)于式6.4.5給出的代價(jià)函數(shù)，貝葉斯風(fēng)險(xiǎn)函數(shù)變?yōu)槭?.4.16（6.4.16）6.4 貝葉斯估計(jì)貝葉斯估計(jì)然而（6.4.17）P(.)表示概率。因此，通過(guò)最大化式（6.4.17）對(duì)unf最小化。 的后驗(yàn)密度函數(shù)為 ，尋求 的使其滿足條件 最大，則稱

16、的最大后驗(yàn)估計(jì)量。 定義為式6.4.18|( | )Yfy|( | )Yfymapmapmapmap（6.4.18）對(duì)式6.4.18兩邊取對(duì)數(shù)得式6.4.19（6.4.19）6.4 貝葉斯估計(jì)貝葉斯估計(jì)方程（6.4.19）稱為MAP方程。 但是要注意這是必要不充分條件，因?yàn)?可以具有幾個(gè)局部最大值。由貝葉斯準(zhǔn)則得式6.4.20|( | )Yfy（6.4.20）兩邊取對(duì)數(shù)變換得式6.4.21（6.4.21）由最大后驗(yàn)估計(jì)準(zhǔn)則得式6.4.22（6.4.22）總是假設(shè)足夠小，使得估計(jì) 由最大后驗(yàn)概率方程給出。也就是說(shuō)，圖6.4.1中所示的成本函數(shù)可以定義為式6.4.23map（6.4.23）6.4

17、貝葉斯估計(jì)貝葉斯估計(jì)Example 6.4Consider the problem where the observed samples areM and Nk are statistically independent Gaussian random variables with zero meanand variance 2 . Find , and msmmapmmavem從6.4.10，估計(jì) 是在Y條件下m的均值。密度函數(shù)f M | Y（m | y）可表示為msm同時(shí)6.4 貝葉斯估計(jì)貝葉斯估計(jì)邊緣密度函數(shù) 為( )Yf y注意，函數(shù)f M | Y（m | y）是關(guān)于m的函數(shù)，但是fY（y）是y作為條件密度函數(shù)下的面積維持為1常數(shù)。因此展開(kāi)指數(shù)項(xiàng)得6.4 貝葉斯估計(jì)貝葉斯估計(jì)指數(shù)中的最后兩項(xiàng)不涉及m，可以在