第八章經(jīng)典估計理論1 -2

1、1第八章第八章 經(jīng)典估計理論經(jīng)典估計理論n本章重點：1、Bayes估計、最大后驗估計和最大似然估計三個經(jīng)典估計準則的內(nèi)容及應(yīng)用。2、估計量的性質(zhì):無偏性、一致性、充分性和有效性。n本章難點：運用估計準則求參數(shù)估計并分析其性質(zhì)28.6 估計量的性質(zhì)估計量的性質(zhì) 前面已經(jīng)討論了幾種構(gòu)造估計量的方法。 既然對于同一個未知信號參數(shù)，可用多種不同的方法來構(gòu)造估計量，可能產(chǎn)生不同的結(jié)果，這就涉及到評價估計量性能的標準。 本節(jié)討論估計量的性質(zhì)，給出衡量估計量逼近給出衡量估計量逼近真值程度的一些度量真值程度的一些度量。實質(zhì)上就是評價估計量好壞的一些性能指標。其目的是了解估計量和更好地選用估計量。38.6.1

2、無偏性無偏性 n由于樣本的隨機性，對于個別樣本，其估計值可能偏大或偏小。然而一個好的估計量，從平均值來看，應(yīng)該等于被估計參數(shù)。即 作為一個隨機變量，它所取的值應(yīng)集中在未知參數(shù)的真值或均值附近。 n如果估計量估計量 的均值的均值(數(shù)學(xué)期望數(shù)學(xué)期望)等于被估計等于被估計參量參量 的均值的均值，則稱此估計量具有無偏性，則稱此估計量具有無偏性，為無偏估計量，數(shù)學(xué)表達式為）（）（EE）（E）（ En若被估計參量為確定的，即 ，則無偏性可表示為 4n無偏性是一個所期望的性能，但是有時候一個有偏的估計量也可能是非常有用的，如果它具有漸近性的話。 n若 滿足關(guān)系式 （其中 n為樣本數(shù)），則稱為漸近無偏估計漸近

3、無偏估計。n“漸近”一詞是指樣本數(shù)n趨向無限大時的極限性能。 ）（ limEnn若 不等于 ，則稱 為有偏估計量，差值 稱為估計量的偏差或偏量。估計量的偏差或偏量。 n估計量的無偏性保證保證了估計值總是分布在被估計量的均值附近，是估計量應(yīng)具有的一種良好性質(zhì)。 ）（ E ）（）（Eb58.6.2 一致性一致性 n對于一個好的估計量，當樣本數(shù)無限增大時，其值便趨近于被估量的真值。 n設(shè) 是未知參數(shù) 的估計量，當觀測樣本數(shù) 時，估計量 依一定概率收斂于被估計參量 ，則稱 為 的簡單一致估計量簡單一致估計量。 n即對任意給定的 ，有 n或等價于 n nn n 01limnnP0limnnP6n可以看出

4、，簡單一致估計量隨著觀測樣本數(shù)的隨著觀測樣本數(shù)的增加而變得更好增加而變得更好，即估計誤差 的絕對值為任意小的概率，隨著n的增加而趨近于1。 n若隨著接收樣本數(shù)n的增加，估計均方誤差的極限 則稱 為 的均方一致估計量均方一致估計量。 n0lim2）（nnEn 若 為無偏估計量，則 即估計誤差為零均值估計誤差為零均值。0）（）（）（）（EEEEnnn 的方差就是其均方誤差，即22）（）（nEE7一致估計的特點一致估計的特點是：估計量的性質(zhì)與漸近是：估計量的性質(zhì)與漸近無偏估計量一樣，與觀測樣本數(shù)目有關(guān)。無偏估計量一樣，與觀測樣本數(shù)目有關(guān)。隨著隨著n的增大，估計值的概率密度分布必的增大，估計值的概率密

5、度分布必然越來越集中于真值的附近。然越來越集中于真值的附近。這就是通過這就是通過重復(fù)測量來減小測量誤差的理論根據(jù)。重復(fù)測量來減小測量誤差的理論根據(jù)。均方一致估計表明：隨著接收樣本數(shù)n的增加，均方一致估計量估計誤差的方差減小。88.6.3 充分性充分性 n設(shè)未知參量的估計量為 。如果似然函數(shù)可以分解為下列乘積形式：n其中， 為 已知條件下，估計量 的概率密度函數(shù)，函數(shù) 與 無關(guān)，則稱 具有充分性，為充分估計量具有充分性，為充分估計量。n充分估計量的意義的意義是指沒有別的估計量可以提供比充分估計量更多的關(guān)于被估計參量 的信息。 ）（）（）（xffxf）（f）（xf x （ ）98.6.4 有效性有

6、效性 n在符合一致性和無偏性的估計量中，應(yīng)選擇數(shù)值最集中的估計量。估計量 方差越小，說明估計值 相對于被估計值 的偏離程度就越小，就更集中于 的均值附近。 n設(shè) 、 為未知參量 的兩個無偏估計量，若他們的方差滿足不等式 則稱 比 更有效。 具有最小方差的無偏估計量稱為有效估計量。具有最小方差的無偏估計量稱為有效估計量。 1 2 ）（）（21VarVar1 2 10幾種性質(zhì)的特點：幾種性質(zhì)的特點：無偏性是說估計量雖有誤差，但在重復(fù)觀無偏性是說估計量雖有誤差，但在重復(fù)觀測的條件下，測的條件下，估計量總是在參數(shù)真值附近估計量總是在參數(shù)真值附近隨機分布隨機分布;有效性則說明有效性則說明估計量接近于真值的程度估計量接近于真值的程度，它實際上給出了估計量誤差的理論極限它實際上給出了估計量誤差的理論極限;漸近無偏性和一致性則漸近無偏性和一致性則給出了改善估計精給出了改善估計精度度的途徑，即通過增加觀測樣本數(shù)的途徑，即通過增加觀測樣本數(shù)n來改善來改善估計精度。估計精度。118.7 克拉美克拉美羅不等式羅不等式 (Cramer-Rao) 一個估計量最基本的特征體現(xiàn)在偏差和方差偏差和方差上。精確地表示方差往往是困難的。在這些情況下，希望得到方差(或均方誤差)可能達