五、估計(jì)量的比較

1、五、 估計(jì)量的比較( )g g(|( )|)(|( )|),0,PggaPggaa 2.1.28 在一個(gè)估計(jì)問(wèn)題中，對(duì)一個(gè)參數(shù)函數(shù)往往可以提出多個(gè)不同的估計(jì)量。這時(shí)就有一個(gè)如何評(píng)價(jià)其優(yōu)劣的問(wèn)題。直觀上， 的一個(gè)理想的估計(jì) ，它的分布應(yīng)該集中在 的附近，且該估計(jì)要適應(yīng)參數(shù)所有可能出現(xiàn)的情況。這樣，若 比估計(jì)量 好，它應(yīng)滿足但上式不易滿足和驗(yàn)證，為了處理方便改而要求 g( )g g22|( )|( )| ,EggEgg 該式稱為均方誤差準(zhǔn)則。事實(shí)上，均方誤差準(zhǔn)則也是個(gè)很高的要求。這是因?yàn)樵摐?zhǔn)則下最優(yōu)的估計(jì) 應(yīng)滿足：22|( )|min|( )| ,gEggEgg 其中 為存在二階矩的估計(jì)量全體。往

2、往 不存在，常用的解決辦法是對(duì) 施加限制。在一個(gè)相對(duì)較小的類中尋求最優(yōu)的估計(jì)。一個(gè)常用的限制就是無(wú)偏性。 g定義定義2.1.29 設(shè) 為參數(shù)函數(shù) 的估計(jì)量，若成立則稱 為參數(shù)函數(shù) 的無(wú)偏估計(jì)(unbiased estimator)。若 不滿足(2.1)式，則稱 為有偏的(biased)，并將 g ( ),(2.1)E gg ( )g g( )g g g g ( ) ( )gbE gg稱為估計(jì)量 的偏(bias)。由于估計(jì)量是隨機(jī)變量，故評(píng)價(jià)它否合理，不能根據(jù)一次估計(jì)的結(jié)果，而應(yīng)該根據(jù)多次反復(fù)使用這個(gè)統(tǒng)計(jì)量的“平均”效果來(lái)評(píng)價(jià)由此給出無(wú)偏估計(jì)的“頻率解釋”。假定在同一個(gè)模型（同樣的總體分布與樣本

3、容量）下，對(duì)同一個(gè)參數(shù)函數(shù) 用同一個(gè)無(wú)偏估計(jì)進(jìn)行多次估計(jì)，記第m次估計(jì)為 ，由大數(shù)定律得也就是說(shuō)，當(dāng)反復(fù)使用該估計(jì)多次時(shí)，其偏差將能夠正負(fù)抵消，從而沒(méi)有系統(tǒng)的偏差。 g(),1,mgmM ( )g()11( )01limMmMmPggM無(wú)偏估計(jì)的例子例例 2.1.32 樣本均值和 分別為總體均值和方差的無(wú)偏估計(jì)。注：注：樣本方差 不是總體方差的無(wú)偏估計(jì)。這也是我們對(duì)樣 本方差進(jìn)行如此修正的原因。2nS2nS例例2.1.33 設(shè)樣本 為取自指數(shù)分布總體的簡(jiǎn)單隨機(jī)樣本，總體分布的密度為 ，其中 未知參數(shù)。則樣本均值 是 的無(wú)偏估計(jì)，但 不是 的無(wú)偏估計(jì)。注：注：此處可用逆Gamma分布的結(jié)論。)(

4、);(), 0(xIexfx1,nXXX1X1例例2.1.34 對(duì)于正態(tài)總體，由命題1.4.4和1.3.16可知( )22,11()2nnnnE Skknn其中可見(jiàn) 不是總體標(biāo)準(zhǔn)差的無(wú)偏估計(jì) 。 nS對(duì)無(wú)偏估計(jì)的三點(diǎn)說(shuō)明：（1）無(wú)偏估計(jì)不一定存在 例：例：設(shè)容量為1的樣本 ，其中n已知p為未知參數(shù)，考慮 ，則它不存在無(wú)偏估計(jì)。（2）無(wú)偏估計(jì)一般不唯一 書例2.1.34（3）無(wú)偏估計(jì)不一定是好估計(jì) 例：例：設(shè)是貝努里試驗(yàn)的成功概率 ， 表示首次成功發(fā)生之前的試驗(yàn)次數(shù)，則 服從幾何分布，其概率函數(shù)為：( , )XB n p( )1/g pp) 1 , 0(pXX( ; )()(1) ,0,1,2x

5、f x pP Xxppx則可以求出參數(shù) 唯一的無(wú)偏估計(jì)為p顯然，它是一個(gè)很差的估計(jì)。但是，要求估計(jì)具有無(wú)偏性確實(shí)可以排除一些不合理的估計(jì)。如常數(shù)往往就不是無(wú)偏估計(jì)。,2, 1,00, 1)(XXXT g g估計(jì)的效估計(jì)的效若無(wú)偏估計(jì)量 和 滿足則稱 比 有效(effective)，進(jìn)一步，規(guī)定 為 關(guān)于 的相對(duì)效率(relative efficiency) ,Var gVar g g g ( ,) Var ge g gVar g g g若記 為參數(shù)函數(shù) 的無(wú)偏估計(jì)全體，則參數(shù)函數(shù) 可估等價(jià)于 非空。2.2 一致最小方差無(wú)偏估計(jì)一致最小方差無(wú)偏估計(jì) gggUg2.2.2 定義定義 參數(shù)函數(shù) ，若

6、它存在無(wú)偏估計(jì)，則稱 為可估的(estimable).( )g( )ggU2.2.5 定義定義 若 為參數(shù)函數(shù) 的無(wú)偏估計(jì)，且對(duì)任一 都成立ggU( )g ,Var gVar g 則稱 為參數(shù)函數(shù) 的一致最小方差無(wú)偏估計(jì)(Uniform Minimum Variance Unbiased Estimator)，簡(jiǎn)記為UMVUE。 g( )g注：注：UMVUE存在則a.s.唯一二、二、Cramer-Rao不等式（信息不等式）不等式（信息不等式）(1) 參數(shù)空間為開(kāi)集(2) 分布的支撐與參數(shù)無(wú)關(guān)(3) 存在關(guān)于參數(shù)的偏導(dǎo)且求導(dǎo)和積分可以換序(4) 對(duì)數(shù)偏導(dǎo)存在二階矩C-R不等式在樣本分布族滿足一定

7、的條件下給出了參數(shù)函數(shù)無(wú)偏估計(jì)的方差下界。滿足此條件的樣本分布族通常稱為C-R正則族，即要求樣本分布族滿足：一維參數(shù)無(wú)偏估計(jì)的方差下界一維參數(shù)無(wú)偏估計(jì)的方差下界定理定理2.2.10 當(dāng)樣本分布族為C-R正則族時(shí)，可導(dǎo)的待估參數(shù) 的無(wú)偏估計(jì)的方差下界為)(g2)(2);(log(/)(nnXfEg( )2log(; )( )()nnXfXIE若記則有2inf ( ) /( )gXg UVar ggIC-R不等式與不等式與UMVUE的關(guān)系的關(guān)系首先，要注意C-R不等式的成立是有條件的。其次，對(duì)滿足正則條件的分布族，如果存在一個(gè)無(wú)偏估計(jì)達(dá)到方差的下界則它一定是UMVUE。 2.2.11 定義定義 C

8、-R不等式中定義的 稱為Fisher信息量(Fisher Information) 。通常表示樣本中包含的信息量。 ( )XI注：i) 當(dāng)樣本量 n=1時(shí)，樣本的Fisher信息量稱為總體的Fisher信息量，常記 。對(duì)于簡(jiǎn)單隨機(jī)樣本，樣本信息量是總體信息量的n倍。ii) C-R不等式表明，樣本包含參數(shù)的信息越多，無(wú)偏估計(jì)的方差下界越小。iii) 充分統(tǒng)計(jì)量與樣本包含參數(shù)的信息量相同。iv) 一定條件下，F(xiàn)isher信息的另一表達(dá)式。( )I有關(guān)例子見(jiàn) P79 2.2.14-2.2.15C-R下界達(dá)到的充要條件( ),Xpx( )g( )g2.2.16 命題命題 若分布族 為C-R正則族，參數(shù)

9、函數(shù) 不恒為常數(shù)，則存在 的無(wú)偏估計(jì)量 其方差達(dá)到C-R下界的充要條件是樣本分布族可表為下列形式：( )( )exp ( ) ( ) ( ),2.2(16)pxCg x h x 且 ， 關(guān)于 為可微的，這時(shí)必有( ) ( )C1ln( )( ) ()( )dCgE g Xd ()g X注：注：由該命題表明滿足2.2(16)規(guī)定的指數(shù)族分布，僅 存在達(dá)到C-R下界的無(wú)偏估計(jì)量。無(wú)偏估計(jì)量。 1ln( )( )dCd 有效估計(jì)2( )( , )1( ) ngegnIVar g g為估計(jì)量 的效率， 的估計(jì)稱為有效(efficient)的。2.2.19 定義定義 對(duì)參數(shù)函數(shù) 的基于樣本量n的樣本的無(wú)

10、偏估計(jì)量 ，則稱( )gng( , )1neg注：有效估計(jì)一定是UMVUE，但由命題2.2.16知有效估計(jì)并不多，故考慮較普遍的UMVUE。例 2.2.18三、三、UMVUE與充分完備統(tǒng)計(jì)量與充分完備統(tǒng)計(jì)量 ()|( )( ) ()|EXTth th TEXT ( ) ()|( ) ()|E g TXTg T EXT ()| ()E EXTEX2.2.20 關(guān)于條件期望的補(bǔ)充1、定義 2、性質(zhì)(1) (2) 平滑公式(3) 若 為參數(shù) 的充分統(tǒng)計(jì)量，則()T X ()| ()|EXTEXT與 無(wú)關(guān)，可記為，故為統(tǒng)計(jì)量。點(diǎn)估計(jì)中的充分性原則點(diǎn)估計(jì)中的充分性原則2.2.21 定理定理(Rao-Bl

11、ackwell) 設(shè) 是參數(shù)函數(shù) 的無(wú)偏估計(jì)，統(tǒng)計(jì)量 是參數(shù) 的充分統(tǒng)計(jì)量，則 ( ) ()Var h TVarX ，,( ( )()1,P h TX ()T Xi) 是 的無(wú)偏估計(jì)ii) 且等式成立的充要條件是( )g()X( ) ()|h TEXT( )g注: (1) 該定理表明無(wú)偏估計(jì)關(guān)于充分統(tǒng)計(jì)量的條件期望總比該無(wú)偏估計(jì)更有效。 (2) 若參數(shù)存在充分統(tǒng)計(jì)量，則UMVUE只需在充分統(tǒng)計(jì)量統(tǒng)計(jì)量的函數(shù)構(gòu)成的無(wú)偏估計(jì)類中去尋找。完備統(tǒng)計(jì)量2.2.24 定義定義 設(shè) 是一個(gè)參數(shù)分布族，假如對(duì)任一實(shí)函數(shù) ，由 總可推出則稱該分布族是完備的(complete)。( ; ):Ppx( )x( (

12、)0E ( ( )0)1P 若統(tǒng)計(jì)量 對(duì)應(yīng)的可能分布族是完備的，則稱該統(tǒng)計(jì)量稱該統(tǒng)計(jì)量為完備統(tǒng)計(jì)量(complete statistics) 。()T X注：(1) 分布族完備性的定義類似于函數(shù)族完備性的定義。 (2) 樣本分布族是完備的，則相應(yīng)的統(tǒng)計(jì)量亦然；反之并不成立。 (3) 指數(shù)族在一定的條件下，其中統(tǒng)計(jì)量 為完備統(tǒng)計(jì)量。1( (),()kTT XTX:F1 性質(zhì)(1)若統(tǒng)計(jì)量T(X)完備，則其函數(shù)S(X)=f(T(X)也完備(2) 對(duì)分布族 ，設(shè)該分布族中分布的支撐與參數(shù)無(wú)關(guān)， ，若分布族 完備，則分布族 也完備。1:F:F例2.2.25 二項(xiàng)分布族是完備的。例2.2.26 Gamm

13、a分布族是完備的。例2.2.27 正態(tài)分布族 是不完備的。但是，基于該總體的簡(jiǎn)單隨機(jī)樣本X的統(tǒng)計(jì)量 ，該分布族是完備族，從而統(tǒng)計(jì)量 為完備統(tǒng)計(jì)量。0: ), 0(2N2211(,)2 2nniinTXnT2.2.30 定理定理(Lehmann-Schffe) 若 i) 統(tǒng)計(jì)量 是參數(shù) 的充分完備統(tǒng)計(jì)量；ii) 為參數(shù)函數(shù) 的方差有限的無(wú)偏估計(jì)。則 為 的唯一的UMVUE。()X( )g()T X( ) ()|h TEXT( )g注：由該定理可知，如果存在參數(shù)的充分完備統(tǒng)計(jì)量，則可估參數(shù)函數(shù)的UMVUE可以如下得到：(1) 找充分完備統(tǒng)計(jì)量的函數(shù)使之為可估參數(shù)函數(shù)的無(wú)偏估計(jì)。(2) 對(duì)參數(shù)函數(shù)的一個(gè)無(wú)偏估計(jì)關(guān)于充分完備統(tǒng)計(jì)量求條件期望得UMVUE。例2.2.31：例2.2.32：Gamma分布位置參數(shù)已知時(shí)，刻度參數(shù)的UMVUE。例2.2.33：Poisson總體分布律的UMVUE。例2.2.34：正態(tài)總體標(biāo)準(zhǔn)差的UMVUE。 UMVUE的一個(gè)充要條件( ()Var T X 定理：(零無(wú)偏估計(jì)法 ) 設(shè) 是 的無(wú)偏估計(jì)， ，則 為參數(shù)函數(shù) 的UMVUE的充要條件是，對(duì)任一0的方差有限的無(wú)偏估計(jì) 有 。即 與所有的零無(wú)偏估計(jì)均不相關(guān)。見(jiàn)Ex2.