最小方差無(wú)偏估計(jì)

最小方差無(wú)偏估計(jì)第1頁(yè)，課件共18頁(yè)，創(chuàng)作于2023年2月以下定理說(shuō)明：好的無(wú)偏估計(jì)都是充分統(tǒng)計(jì)量的函數(shù)。

定理6.3.2

設(shè)總體概率函數(shù)是

p(x,)，x1,x2

,

…,xn

是其樣本，T=T(x1,x2

,

…,xn)是的充分統(tǒng)計(jì)量，則對(duì)的任一無(wú)偏估計(jì)，令，則也是的無(wú)偏估計(jì)，且

第2頁(yè)，課件共18頁(yè)，創(chuàng)作于2023年2月

定理6.3.2說(shuō)明：如果無(wú)偏估計(jì)不是充分統(tǒng)計(jì)量的函數(shù)，則將之對(duì)充分統(tǒng)計(jì)量求條件期望可以得到一個(gè)新的無(wú)偏估計(jì)，該估計(jì)的方差比原來(lái)的估計(jì)的方差要小，從而降低了無(wú)偏估計(jì)的方差。換言之，考慮的估計(jì)問(wèn)題只需要在基于充分統(tǒng)計(jì)量的函數(shù)中進(jìn)行即可，該說(shuō)法對(duì)所有的統(tǒng)計(jì)推斷問(wèn)題都是正確的，這便是所謂的充分性原則。

第3頁(yè)，課件共18頁(yè)，創(chuàng)作于2023年2月例6.3.1

設(shè)x1,x2

,

…,xn是來(lái)自b(1,p)的樣本，則是p的充分統(tǒng)計(jì)量。為估計(jì)

=p2，可令由于，所以是的無(wú)偏估計(jì)。這個(gè)只使用了兩個(gè)觀測(cè)值的估計(jì)并不好.下面我們用Rao-Blackwell定理對(duì)之加以改進(jìn)：求關(guān)于充分統(tǒng)計(jì)量的條件期望，得第4頁(yè)，課件共18頁(yè)，創(chuàng)作于2023年2月6.3.2

最小方差無(wú)偏估計(jì)

定義6.3.1

對(duì)參數(shù)估計(jì)問(wèn)題，設(shè)是的一個(gè)無(wú)偏估計(jì)，如果對(duì)另外任意一個(gè)的無(wú)偏估計(jì)，在參數(shù)空間Θ上都有

則稱(chēng)是的一致最小方差無(wú)偏估計(jì)，簡(jiǎn)記為

UMVUE。如果UMVUE存在，則它一定是充分統(tǒng)計(jì)量的函數(shù)。第5頁(yè)，課件共18頁(yè)，創(chuàng)作于2023年2月

定理6.3.3

設(shè)x=(x1,x2

,

…,xn)是來(lái)自某總體的一個(gè)樣本，是的一個(gè)無(wú)偏估計(jì)，如果對(duì)任意一個(gè)滿(mǎn)足E((x))=0的(x)，都有則是的UMVUE。關(guān)于UMVUE，有如下一個(gè)判斷準(zhǔn)則。第6頁(yè)，課件共18頁(yè)，創(chuàng)作于2023年2月

例6.3.2

設(shè)x1,x2

,…,xn是來(lái)自指數(shù)分布Exp(1/)的樣本，則T=x1+…+xn是的充分統(tǒng)計(jì)量，而是的無(wú)偏估計(jì)。設(shè)=(x1,x2,

…,xn)是0的任一無(wú)偏估計(jì)，則

兩端對(duì)求導(dǎo)得這說(shuō)明，從而由定理6.3.3，它是的UMVUE。第7頁(yè)，課件共18頁(yè)，創(chuàng)作于2023年2月6.3.3Cramer-Rao不等式

定義6.3.2

設(shè)總體的概率函數(shù)P(x,),

∈Θ滿(mǎn)足下列條件：

(1)參數(shù)空間Θ是直線(xiàn)上的一個(gè)開(kāi)區(qū)間；

(2)支撐

S={x:P(x,)>0}與無(wú)關(guān)；

(3)

導(dǎo)數(shù)對(duì)一切∈Θ都存在；

(4)對(duì)P(x,

)，積分與微分運(yùn)算可交換次序；

(5)期望存在；則稱(chēng)

為總體分布的費(fèi)希爾(Fisher)

信息量。

第8頁(yè)，課件共18頁(yè)，創(chuàng)作于2023年2月

費(fèi)希爾信息量是數(shù)理統(tǒng)計(jì)學(xué)中一個(gè)基本概念，很多的統(tǒng)計(jì)結(jié)果都與費(fèi)希爾信息量有關(guān)。如極大似然估計(jì)的漸近方差，無(wú)偏估計(jì)的方差的下界等都與費(fèi)希爾信息量I()有關(guān)。I()的種種性質(zhì)顯示，“I()越大”可被解釋為總體分布中包含未知參數(shù)的信息越多。第9頁(yè)，課件共18頁(yè)，創(chuàng)作于2023年2月例6.3.3

設(shè)總體為泊松分布P()分布，則于是第10頁(yè)，課件共18頁(yè)，創(chuàng)作于2023年2月例6.3.4

設(shè)總體為指數(shù)分布，其密度函數(shù)為

可以驗(yàn)證定義6.3.2的條件滿(mǎn)足，且于是第11頁(yè)，課件共18頁(yè)，創(chuàng)作于2023年2月定理6.3.4（Cramer-Rao不等式）

設(shè)定義6.3.2的條件滿(mǎn)足，x1,x2

,

…,xn是來(lái)自該總體的樣本，T=T(x1,x2

,

…,xn)是g()的任一個(gè)無(wú)偏估計(jì)，存在，且對(duì)一切∈Θ

，微分可在積分號(hào)下進(jìn)行，則有第12頁(yè)，課件共18頁(yè)，創(chuàng)作于2023年2月

上式稱(chēng)為克拉美-羅（C-R）不等式;

[g’(θ)]2/(nI())稱(chēng)為g()的無(wú)偏估計(jì)的方差

的C-R下界，簡(jiǎn)稱(chēng)g()的C-R下界。特別，對(duì)的無(wú)偏估計(jì),有;如果等號(hào)成立，則稱(chēng)T=T(x1,

…,xn)是

g()的有效估計(jì)，有效估計(jì)一定是UMVUE。第13頁(yè)，課件共18頁(yè)，創(chuàng)作于2023年2月例6.3.5

設(shè)總體分布列為p(x,

)=

x(1-

)1-x,x=0,1，它滿(mǎn)足定義6.3.2的所有條件，可以算得該分布的費(fèi)希爾信息量為，若x1,x2,

…,xn是該總體的樣本，則

的C-R下界為(nI(

))-1=

(1-

)/n。因?yàn)槭?/p>

的無(wú)偏估計(jì)，且其方差等于(1-)/n，達(dá)到C-R下界，所以是

的有效估計(jì)，它也是的UMVUE。第14頁(yè)，課件共18頁(yè)，創(chuàng)作于2023年2月例6.3.6

設(shè)總體為指數(shù)分布Exp(1/

)，它滿(mǎn)足定義6.3.2的所有條件，例6.3.4中已經(jīng)算出該分布的費(fèi)希爾信息量為I()=-2，若x1,x2,

…,xn是樣本，則

的C-R下界為(nI(

))-1=

2/n。而是

的無(wú)偏估計(jì)，且其方差等于

2/n，達(dá)到了C-R下界，所以，是

的有效估計(jì)，它也是的UMVUE。第15頁(yè)，課件共18頁(yè)，創(chuàng)作于2023年2月能達(dá)到C-R下界的無(wú)偏估計(jì)不多:例6.3.7

設(shè)總體為N(0,2)，滿(mǎn)足定義6.3.2的條件，且費(fèi)希爾信息量為，令,

則的C-R下界為,

而的UMVUE為其方差大于C-R下界。這表明所有的無(wú)偏估計(jì)的方差都大于其C-R下界。第16頁(yè)，課件共18頁(yè)，創(chuàng)作于2023年2月費(fèi)希爾信息量的主要作用體現(xiàn)在極大似然估計(jì)。

定理6.3.5

設(shè)總體X有密度函數(shù)p(x;)，∈Θ，

Θ為非退化區(qū)間，假定

(1)對(duì)任意的x，偏導(dǎo)數(shù)，和對(duì)所有∈Θ都存在；

(2)?∈Θ,有，其中函數(shù)F1(x),F2(x),F3(x)可積.第17頁(yè)，課件共18頁(yè)，創(chuàng)作于2023年2月(3)