信號(hào)檢測(cè)與估計(jì)

Chapter6ParameterEstimation成員：董春波馬和峰李聘婷當(dāng)前1頁(yè)，總共35頁(yè)。目錄6.1最大似然估計(jì)6.2廣義似然比檢驗(yàn)6.3優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn)6.4貝葉斯估計(jì)6.5Cramer-Rao不等式6.6多參數(shù)估計(jì)6.7最佳線性無(wú)偏估計(jì)6.8最小二乘估計(jì)6.9遞歸最小二乘估計(jì)當(dāng)前2頁(yè)，總共35頁(yè)。序言在第5章中，我們學(xué)習(xí)了關(guān)于檢測(cè)理論的問(wèn)題，主要是解決在M個(gè)可能的假設(shè)中來(lái)確定哪個(gè)假設(shè)是正確。本章主要介紹假設(shè)接受的信號(hào)是正確的，但是有些相關(guān)聯(lián)的參數(shù)是未知的，主要的目的就是利用有限的樣本參數(shù)用最佳的方式估計(jì)這些參數(shù)。令Y1，Y2，...，YK為K個(gè)獨(dú)立同分布的隨機(jī)變量Y的樣本，其密度函數(shù)取決于未知參數(shù)θ。y1，y2，...，yK為樣本Y1，Y2，...，YK所對(duì)應(yīng)的值，函數(shù)g（Y1，Y2，...，YK）用來(lái)估計(jì)參數(shù)θ。表示為稱為參數(shù)θ的估計(jì)。通常，估計(jì)的參數(shù)可以是隨機(jī)的或非隨機(jī)的。隨機(jī)參數(shù)的估計(jì)被稱為貝葉斯估計(jì)，而非隨機(jī)參數(shù)的估計(jì)被稱為最大似然估計(jì)（MLE）。當(dāng)前3頁(yè)，總共35頁(yè)。6.1最大似然估計(jì)如在前面的函數(shù)中所提到的，通常用最大似然（ML）估計(jì)來(lái)估計(jì)非隨機(jī)參數(shù)。令Y1，Y2，...，YK具有樣本值y1，y2，...，yK的隨機(jī)變量Y的K個(gè)觀測(cè)值，并且這些隨機(jī)變量是獨(dú)立同分布的。令表示隨機(jī)變量Y的條件密度函數(shù)。Y的密度函數(shù)取決于需要估計(jì)的參數(shù)θ，記最大似然函數(shù)為L(zhǎng)(θ)，式

(6.1.1)似然函數(shù)最大的值稱為θ的最大似然估計(jì)量。為求最大似然估計(jì)量，我們利用數(shù)學(xué)中所學(xué)的微積分。為了計(jì)算簡(jiǎn)單，利用對(duì)數(shù)函數(shù)，由于對(duì)數(shù)函數(shù)lnx是關(guān)于變量x的遞增函數(shù)，由第五章可知最大化L(θ)與ln(L(θ))等價(jià)?？梢杂米畲笏迫缓瘮?shù)的對(duì)數(shù)函數(shù)式求解，對(duì)參數(shù)θ求導(dǎo)數(shù)可以求的最大似然估計(jì)量。如式

(6.1.2)不變性：令L(θ)是θ的似然函數(shù),并且g(θ)是參數(shù)θ一一對(duì)應(yīng)的函數(shù)，即g(θ1)=g(θ2)θ1=θ2如果是參數(shù)θ的最大似然估計(jì)量，則是g(θ)最大似然估計(jì)量。當(dāng)前4頁(yè)，總共35頁(yè)。6.1最大似然估計(jì)Examle6.1thereceivedsignalunderhypothesesH1andH0was(a)Assumingtheconstantmisnotknown,obtaintheMLestimateofthemean.(b)Supposenowthatthemeanmisknown,butthevarianceσ2isunknown.ObtaintheMLEofθ=σ2.在第五章中，是確定假設(shè)中的那個(gè)假設(shè)是真的。而在本章中，假設(shè)H1是真的，參數(shù)是未知的需要用最大似然估計(jì)來(lái)估計(jì)。(a)在例題中需要確定的參數(shù)對(duì)應(yīng)為，m∈M,由于樣本參數(shù)是獨(dú)立同分布的，由式得似然函數(shù)：當(dāng)前5頁(yè)，總共35頁(yè)。6.1最大似然估計(jì)等式兩邊同取對(duì)數(shù)得利用式6.1.2解似然方程得到似然估計(jì)得得到。Thus,theMLestimatoris當(dāng)前6頁(yè)，總共35頁(yè)。6.1最大似然估計(jì)(b)最大似然估計(jì)式為方程兩邊取對(duì)數(shù)得其中對(duì)lnL(σ2)最大化等價(jià)于對(duì)σ2最小化由似然函數(shù)的不變性得當(dāng)前7頁(yè)，總共35頁(yè)。6.1最大似然估計(jì)因此，σ2的最大似然估計(jì)為當(dāng)前8頁(yè)，總共35頁(yè)。6.2廣義似然比檢驗(yàn)在例5.9中，我們解決了復(fù)合假設(shè)檢驗(yàn)問(wèn)題。參數(shù)m在假設(shè)H1下雖然已知m是正或負(fù)，但是值是未知。當(dāng)m僅為正值（僅為負(fù)值）時(shí)，在UMP測(cè)試，判決規(guī)則為m>0時(shí)m<0時(shí)由于設(shè)置參數(shù)m的正負(fù)致使實(shí)驗(yàn)結(jié)果不同，因此，對(duì)所有的參數(shù)m，UMP測(cè)試是不行的。因此運(yùn)用了上節(jié)所講的最大似然估計(jì)。也就是說(shuō)，假設(shè)H1是真，要用已有的樣本來(lái)估計(jì)θ。如果假設(shè)是正確的，我們可以用最大似然比檢驗(yàn)。當(dāng)前9頁(yè)，總共35頁(yè)。6.2廣義似然比檢驗(yàn)如果所使用的估計(jì)是最大似然估計(jì)，則稱為廣義似然比檢驗(yàn)，并且由下式給出

(6.2.1)θ0和θ1是在假設(shè)H0和H1估計(jì)的未知參數(shù)。Example6.2ConsidertheproblemofExample5.9,wheremisanunknownparameter.ObtainthegeneralizedlikelihoodratiotestandcompareittotheoptimumNeyman-Pearsontest.當(dāng)前10頁(yè)，總共35頁(yè)。6.2廣義似然比檢驗(yàn)Example5.9ConsiderthesituationwheretheobservationsundereachhypothesisaregivenbywhereNdenotesawhiteGaussiannoiseofzeromeanandvarianceσ2,andmisunknown.Then,wesaythatH0isasimplehypothesis,andH1acompositehypothesis.由于K個(gè)觀測(cè)值是獨(dú)立的，所以在假設(shè)H1和H0下的條件密度函數(shù)是當(dāng)前11頁(yè)，總共35頁(yè)。6.2廣義似然比檢驗(yàn)其中m是未知參數(shù)。由于假設(shè)H0不包含m，所以估計(jì)過(guò)程僅適用于假設(shè)H1。根據(jù)（6.1.2）給出的似然方程，假設(shè)H1下的m的似然估計(jì)由下式給出代入式得或者則似然比檢驗(yàn)為當(dāng)前12頁(yè)，總共35頁(yè)。6.2廣義似然比檢驗(yàn)

代入在上述表達(dá)式中獲得的的值，并在取對(duì)數(shù)之后進(jìn)行簡(jiǎn)化得由于是非負(fù)的，如果η小于等于1（lnη負(fù)），則判定H1總是真的。因此，η可以設(shè)置為大于等于1的數(shù)。因此，不等式變換得當(dāng)前13頁(yè)，總共35頁(yè)。6.2廣義似然比檢驗(yàn)其中γ1>0。因此，上式等價(jià)于下式判決門限圖如圖Figure6.2.1Decisionregionsofthegeneralizedlikelihoodratiotest設(shè)定期望的失警概率，可以確定γ1的值。在得到失警概率PF的表達(dá)式之前，我們需要確定Z的密度函數(shù)。當(dāng)前14頁(yè)，總共35頁(yè)。6.2廣義似然比檢測(cè)在假設(shè)H0下Y的均值為零和方差σ2，所有的觀察數(shù)據(jù)都是統(tǒng)計(jì)獨(dú)立的高斯過(guò)程。因此，的密度函數(shù)均是均值為零和方差Kσ2的高斯過(guò)程。因此，Z也是具有均值為零和方差σ2的高斯過(guò)程。失警的概率為，如圖所示Figure6.2.2DensityfunctionofZunderH0.當(dāng)前15頁(yè)，總共35頁(yè)。6.2廣義似然比檢驗(yàn)

從上面可以在沒(méi)有m的失警概率中確定γ1的值。然而，檢測(cè)的概率不能在沒(méi)有m的情況下確定，但可以對(duì)m做參數(shù)估計(jì)。在假設(shè)H1下，是具有均值為Km和方差Kσ2的高斯過(guò)程。因此，Z的密度函數(shù)是具有均√Km和方差σ2。給定m的檢測(cè)概率為，概率密度圖如圖所示當(dāng)前16頁(yè)，總共35頁(yè)。6.2廣義似然比檢驗(yàn)通過(guò)比較，廣義似然比檢驗(yàn)和奈曼-皮爾遜檢驗(yàn)效果一樣好。Figure6.2.3DensityfunctionofZunderH1.當(dāng)前17頁(yè)，總共35頁(yè)。6.3優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn)由于估計(jì)參量是隨機(jī)變量，所對(duì)應(yīng)的值不止一個(gè)。因此需要確定最優(yōu)估計(jì)。無(wú)偏估計(jì)：是無(wú)偏估計(jì)，滿足式（）有偏估計(jì)：如式（）1.如果b(θ)不依賴于θ(b(θ)=b)，就認(rèn)為估計(jì)量具有已知的偏差，也就是說(shuō)(-b)是無(wú)偏估計(jì)。2.當(dāng)b(θ)≠b，由于θ是未知的，所以不能獲得無(wú)偏估計(jì)。在這種情況下，就認(rèn)為估計(jì)量具有未知的偏差。當(dāng)參數(shù)θ既滿足式（）并且不是隨機(jī)的（沒(méi)有θ的先驗(yàn)概率分布），這有時(shí)稱為絕對(duì)無(wú)偏估計(jì)。當(dāng)前18頁(yè)，總共35頁(yè)。6.3優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn)如果估計(jì)是無(wú)偏的，其意味著估計(jì)值與真實(shí)值接近，但是不一定是最優(yōu)估計(jì)?？梢酝ㄟ^(guò)圖6.3.1中所示的估計(jì)的條件密度函數(shù)容易地看出。從圖中觀察到，即使是無(wú)偏估計(jì)，因估計(jì)的方差很大也可能發(fā)生相當(dāng)大的誤差。然而如果方差小，估計(jì)量和期望值的相差也很小。因此，可以認(rèn)為估計(jì)的優(yōu)良性可以有方差大小判斷。Figure6.3.1Densityfunctionoftheunbiasedestimatorθ?.當(dāng)前19頁(yè)，總共35頁(yè)。6.3優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn)無(wú)偏最小方差：是θ的最小方差和無(wú)偏估計(jì)，對(duì)所有的參數(shù)θ'都有E(θ')=θ,則對(duì)所有var()≤var(θ')

也就是說(shuō)，對(duì)于所有θ無(wú)偏估計(jì)，具有最小的方差。一致估計(jì)：是基于K個(gè)觀察樣本的參數(shù)θ的一致估計(jì)，如果滿足式(6.3.3)P(.)代表概率。應(yīng)用上述定義并不能驗(yàn)證估計(jì)的一致性?？梢杂靡韵露ɡ矶ɡ恚菏腔贙個(gè)觀察樣本的參數(shù)θ的無(wú)偏估計(jì)，如果滿足式（）（）

是參數(shù)θ的一致估計(jì)量。如果滿足式當(dāng)前20頁(yè)，總共35頁(yè)。6.3優(yōu)良估計(jì)評(píng)價(jià)標(biāo)準(zhǔn)

Example6.3(a)VerifyiftheestimatorofExample6.1isanunbiasedestimateofm.(b)Istheestimatorunbiased?Solution(a)

TheestimatorisunbiasedifE[]=m.Aftersubstitution,weobtainHence,isunbiased.(b)

TheestimatorisunbiasedifE[]=σ2.Thatis,Hence,isunbiased.當(dāng)前21頁(yè)，總共35頁(yè)。6.4貝葉斯估計(jì)在貝葉斯估計(jì)中，引入了代價(jià)(損失)函數(shù)，對(duì)所有的定義為。代價(jià)函數(shù)是兩個(gè)隨機(jī)變量θ和的非負(fù)實(shí)函數(shù)。在貝葉斯檢測(cè)中，代價(jià)函數(shù)的平均代價(jià)定義為風(fēng)險(xiǎn)函數(shù)，如式。（）

貝葉斯估計(jì)就是尋找使得風(fēng)險(xiǎn)函數(shù)（即平均代價(jià)）達(dá)到最小的判決準(zhǔn)則。一般情況是估計(jì)單變量，所以利用估計(jì)誤差來(lái)進(jìn)行估計(jì)。估計(jì)誤差如式（）下面有三種常用的代價(jià)函數(shù)，其圖形如圖所示。1.平方代價(jià)函數(shù)2.絕對(duì)值代價(jià)函數(shù)（）（）當(dāng)前22頁(yè)，總共35頁(yè)。6.4貝葉斯估計(jì)3.均勻代價(jià)函數(shù)（）△表示一個(gè)很小的量，可見(jiàn)所謂的均勻代價(jià)函數(shù)是指當(dāng)誤差超過(guò)某一門限值時(shí)，代價(jià)是相同的，而當(dāng)誤差小于該門限值時(shí)，代價(jià)為零。Figure6.4.1Costfunctions:(a)squarederror,(b)absolutevalueoferror,and(c)uniform.當(dāng)前23頁(yè)，總共35頁(yè)。6.4貝葉斯估計(jì)未知參數(shù)假定為密度函數(shù)為的連續(xù)隨機(jī)變量，風(fēng)險(xiǎn)函數(shù)可以用是表示。（）可以取所有θ和Y的平均代價(jià)，Y可以由向量[Y1

,Y2,...,YK]T表示。6.4.1最小均方誤差估計(jì)

式（6.4.2）中給出的代價(jià)函數(shù)使風(fēng)險(xiǎn)函數(shù)最小的估計(jì)稱為最小均方估計(jì)（MMSE）。相應(yīng)的風(fēng)險(xiǎn)函數(shù)用?ms表示。得式（）由式1.91，風(fēng)險(xiǎn)函數(shù)可以化為式（）當(dāng)前24頁(yè)，總共35頁(yè)。6.4貝葉斯估計(jì)由于密度函數(shù)fY(y)是非負(fù)的，最小化?ms就等價(jià)于最小化括號(hào)中的方程。因此對(duì)括號(hào)中的方程對(duì)參數(shù)求導(dǎo)，得式(6.4.9)用式（1.38）給出的萊布尼茨準(zhǔn)則，得式（）當(dāng)前25頁(yè)，總共35頁(yè)。6.4貝葉斯估計(jì)也就是說(shuō)，的最小均方估計(jì)是在Y的條件下參數(shù)θ的均值（θ的后驗(yàn)均值）?？梢缘贸?，關(guān)于的二階導(dǎo)數(shù)是正定的，所以是對(duì)應(yīng)于?ms唯一的最小值，并且由式給出（）

給定Y的條件下θ的方差為式（）因此，?ms是給定所有可能Y的值條件下θ的方差。平方誤差準(zhǔn)則的該估計(jì)過(guò)程有時(shí)稱為誤差估計(jì)的最小方差（MV）。當(dāng)前26頁(yè)，總共35頁(yè)。6.4貝葉斯估計(jì)6.4.2條件中位數(shù)估計(jì)這種情況下，把式代入風(fēng)險(xiǎn)函數(shù)得式（）使用與上節(jié)相同的方法，可以通過(guò)最小化括號(hào)中的積分來(lái)最小化風(fēng)險(xiǎn)函數(shù)，括號(hào)中的方程由式給出（）相對(duì)于式6.4.14的微分，并且設(shè)結(jié)果等于零，得式（）當(dāng)前27頁(yè)，總共35頁(yè)。6.4貝葉斯估計(jì)也就是說(shuō)，估計(jì)是密度函數(shù)條件的中值，該估計(jì)稱為誤差的最小平均絕對(duì)值（MAVE）估計(jì)，因此。6.4.3最大后驗(yàn)概率對(duì)于式給出的代價(jià)函數(shù)，貝葉斯風(fēng)險(xiǎn)函數(shù)變?yōu)槭剑ǎ┊?dāng)前28頁(yè)，總共35頁(yè)。6.4貝葉斯估計(jì)然而（）P(.)表示概率。因此，通過(guò)最大化式（6.4.17）對(duì)?unf最小化。的后驗(yàn)密度函數(shù)為，尋求的使其滿足條件最大，則稱的最大后驗(yàn)估計(jì)量。定義為式（）對(duì)式兩邊取對(duì)數(shù)得式（）當(dāng)前29頁(yè)，總共35頁(yè)。6.4貝葉斯估計(jì)方程（6.4.19）稱為MAP方程。但是要注意這是必要不充分條件，因?yàn)榭梢跃哂袔讉€(gè)局部最大值。由貝葉斯準(zhǔn)則得式（）兩邊取對(duì)數(shù)變換得式（）由最大后驗(yàn)估計(jì)準(zhǔn)則得式（）總是假設(shè)Δ足夠小，使得估計(jì)由最