華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)估計課件市公開課一等獎省賽課微課金獎?wù)n件

第六章參數(shù)預(yù)計

§6.1

點預(yù)計幾個方法§6.2

點預(yù)計評價標(biāo)準(zhǔn)§6.3

最小方差無偏預(yù)計§6.4

貝葉斯預(yù)計§6.5

區(qū)間預(yù)計華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第1頁1/105普通慣用

表示參數(shù)，參數(shù)

全部可能取值組成集合稱為參數(shù)空間，慣用

表示。參數(shù)預(yù)計問題就是依據(jù)樣本對上述各種未知參數(shù)作出預(yù)計。參數(shù)預(yù)計形式有兩種：點預(yù)計與區(qū)間預(yù)計。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第2頁2/105設(shè)x1,x2,…,xn是來自總體X一個樣本，我們用一個統(tǒng)計量取值作為

預(yù)計值，稱為

點預(yù)計（量），簡稱預(yù)計。在這里怎樣結(jié)構(gòu)統(tǒng)計量并沒有明確要求，只要它滿足一定合理性即可。這就包含到兩個問題：

其一

是怎樣給出預(yù)計，即預(yù)計方法問題；

其二

是怎樣對不一樣預(yù)計進(jìn)行評價，即估計好壞判斷標(biāo)準(zhǔn)。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第3頁3/105§6.1

點預(yù)計幾個方法

6.1.1

替換原理和矩法預(yù)計

一、矩法預(yù)計

替換原理是指用樣本矩及其函數(shù)去替換對應(yīng)總體矩及其函數(shù)，譬如：用樣本均值預(yù)計總體均值E(X)，即；用樣本方差預(yù)計總體方差Var(X)，即用樣本p分位數(shù)預(yù)計總體p分位數(shù)，用樣本中位數(shù)預(yù)計總體中位數(shù)。

華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第4頁4/105例6.1.1

對某型號20輛汽車統(tǒng)計其每加侖汽油行駛里程(km)，觀察數(shù)據(jù)以下：

29.827.628.327.930.128.729.928.027.928.728.427.229.528.528.030.029.129.829.626.9

經(jīng)計算有

由此給出總體均值、方差和中位數(shù)預(yù)計分別為:28.695,0.9185

和28.6。矩法預(yù)計實質(zhì)是用經(jīng)驗分布函數(shù)去替換總體分布，其理論基礎(chǔ)是格里紋科定理。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第5頁5/105二、概率函數(shù)P(x,θ)已知時未知參數(shù)矩法預(yù)計

設(shè)總體含有已知概率函數(shù)P(x,

1,

…,

k)，

x1,x2

,

…,xn是樣本，假定總體k階原點矩

k存在，若

1,

…,

k能夠表示成

1,

…,

k函數(shù)

j=

j(

1,

…,

k)，則可給出諸

j矩法預(yù)計為

其中華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第6頁6/105例6.1.2

設(shè)總體服從指數(shù)分布，因為EX=1/

，即

=1/EX，故

矩法預(yù)計為另外，因為Var(X)=1/

2，其反函數(shù)為所以，從替換原理來看，

矩法預(yù)計也可取為

s為樣本標(biāo)準(zhǔn)差。這說明矩預(yù)計可能是不唯一，這是矩法預(yù)計一個缺點，此時通常應(yīng)該盡可能采取低階矩給出未知參數(shù)預(yù)計。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第7頁7/105例6.1.3

x1,x2,

…,xn是來自(a,b)上均勻分布U(a,b)樣本，a與b均是未知參數(shù)，這里k=2，因為不難推出由此即可得到a,b矩預(yù)計：華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第8頁8/1056.1.2

極(最)大似然預(yù)計

定義6.1.1

設(shè)總體概率函數(shù)為P(x;

)，

是參數(shù)

可能取值參數(shù)空間，x1,x2

,…,xn是樣本，將樣本聯(lián)合概率函數(shù)看成

函數(shù)，用L(

;x1,x2,

…,xn)表示，簡記為L(

)，

稱為樣本似然函數(shù)。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第9頁9/105

假如某統(tǒng)計量滿足

則稱是

極(最)大似然預(yù)計，簡記為MLE（MaximumLikelihoodEstimate）。

人們通常更習(xí)慣于由對數(shù)似然函數(shù)lnL(

)出發(fā)尋找

極大似然預(yù)計。當(dāng)L(

)是可微函數(shù)時，求導(dǎo)是求極大似然預(yù)計最慣用方法，對lnL(

)求導(dǎo)愈加簡單些。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第10頁10/105例6.1.6

設(shè)一個試驗有三種可能結(jié)果，其發(fā)生概率分別為現(xiàn)做了n次試驗，觀察到三種結(jié)果發(fā)生次數(shù)分別為n1,n2,n3(n1+n2+n3=n)，則似然函數(shù)為其對數(shù)似然函數(shù)為華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第11頁11/105將之關(guān)于

求導(dǎo)，并令其為0得到似然方程解之，得因為所以是極大值點。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第12頁12/105例6.1.7

對正態(tài)總體N(,2)，θ=(,2)是二維參數(shù)，設(shè)有樣本x1,x2

,

…,xn，則似然函數(shù)及其對數(shù)分別為

華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第13頁13/105

將lnL(,2)分別關(guān)于兩個分量求偏導(dǎo)并令其為0,即得到似然方程組

(6.1.9)

(6.1.10)華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第14頁14/105

解此方程組，由(6.1.9)可得

極大似然預(yù)計為將之代入(6.1.10)，得出

2極大似然預(yù)計利用二階導(dǎo)函數(shù)矩陣非正定性能夠說明上述預(yù)計使得似然函數(shù)取極大值。

華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第15頁15/105

即使求導(dǎo)函數(shù)是求極大似然預(yù)計最慣用方法，但并不是在全部場所求導(dǎo)都是有效。

例6.1.8

設(shè)x1,x2

,

…,xn是來自均勻總體

U(0,

)樣本，試求

極大似然預(yù)計。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第16頁16/105

解似然函數(shù)要使L(

)抵達(dá)最大，首先一點是示性函數(shù)取值應(yīng)該為1，其次是1/

n盡可能大。因為1/

n是

單調(diào)減函數(shù)，所以

取值應(yīng)盡可能小，但示性函數(shù)為1決定了

不能小于x(n)，由此給出

極大似然預(yù)計：。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第17頁17/105

極大似然預(yù)計有一個簡單而有用性質(zhì)：假如是

極大似然預(yù)計，則對任一函數(shù)g(

)，其極大似然預(yù)計為。該性質(zhì)稱為極大似然預(yù)計不變性，從而使一些復(fù)雜結(jié)構(gòu)參數(shù)極大似然預(yù)計取得變得輕易了。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第18頁18/105

例6.1.9

設(shè)x1,x2,

…,xn是來自正態(tài)總體N(

,

2)

樣本，則

和

2極大似然預(yù)計為，于是由不變性可得以下參數(shù)極大似然預(yù)計，它們是:

標(biāo)準(zhǔn)差

MLE是；華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第19頁19/105概率MLE是；總體0.90分位數(shù)x0.90=+

u0.90

MLE是，其中u0.90為標(biāo)準(zhǔn)正態(tài)分布0.90分位數(shù)。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第20頁20/105§6.2

點預(yù)計評價標(biāo)準(zhǔn)

6.2.1

相合性

我們知道，點預(yù)計是一個統(tǒng)計量，所以它是一個隨機(jī)變量，在樣本量一定條件下，我們不可能要求它完全等同于參數(shù)真實取值。但假如我們有足夠觀察值，依據(jù)格里紋科定理，伴隨樣本量不停增大，經(jīng)驗分布函數(shù)迫近真實分布函數(shù)，所以完全能夠要求預(yù)計量伴隨樣本量不停增大而迫近參數(shù)真值，這就是相合性，嚴(yán)格定義以下。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第21頁21/105定義6.2.1

設(shè)

∈Θ為未知參數(shù)，是

一個預(yù)計量，n是樣本容量，若對任何一個ε>0，有

(6.2.1)

則稱為

參數(shù)相合預(yù)計。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第22頁22/105

相合性被認(rèn)為是對預(yù)計一個最基本要求,假如一個預(yù)計量,在樣本量不停增大時，它都不能把被估參數(shù)預(yù)計到任意指定精度,那么這個預(yù)計是很值得懷疑。通常,不滿足相合性要求預(yù)計普通不予考慮。證實預(yù)計相合性普通可應(yīng)用大數(shù)定律或直接由定義來證.華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第23頁23/105

若把依賴于樣本量n預(yù)計量看作一個隨機(jī)變量序列,相合性就是依概率收斂于

,所以證實預(yù)計相合性可應(yīng)用依概率收斂性質(zhì)及各種大數(shù)定律。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第24頁24/105在判斷預(yù)計相合性時下述兩個定理是很有用。定理6.2.1

設(shè)是

一個預(yù)計量，若

則是

相合預(yù)計，定理6.2.2

若分別是

1,

…,

k相合估計，

=g(

1

,

…,

k)是

1,

…,

k連續(xù)函數(shù)，則是

相合預(yù)計。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第25頁25/105例6.2.2

設(shè)x1,x2

,

…,xn是來自均勻總體U(0,

)樣本，證實

極大似然預(yù)計是相合預(yù)計。證實：在例6.1.7中我們已經(jīng)給出

極大似然預(yù)計是x(n)。由次序統(tǒng)計量分布，我們知道x(n)分布密度函數(shù)為p(y)=nyn-1/

n,y<

,

故有由定理6.2.1可知，x(n)是

相合預(yù)計。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第26頁26/105

由大數(shù)定律及定理6.2.2，我們能夠看到：矩預(yù)計普通都含有相合性。比如：

樣本均值是總體均值相合預(yù)計；樣本標(biāo)準(zhǔn)差是總體標(biāo)準(zhǔn)差相合預(yù)計；樣本變異系數(shù)是總體變異系數(shù)相合預(yù)計。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第27頁27/1056.2.2

無偏性

定義6.2.2

設(shè)是

一個預(yù)計，

參數(shù)空間為Θ，若對任意

∈Θ，有

則稱是

無偏預(yù)計，不然稱為有偏預(yù)計。

華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第28頁28/105例6.2.4

對任一總體而言，樣本均值是總體均值無偏預(yù)計。當(dāng)總體k階矩存在時，樣本k階原點矩ak是總體k階原點矩

k無偏預(yù)計。但對中心矩則不一樣，譬如，因為，樣本方差s*2不是總體方差

2無偏預(yù)計，對此，有以下兩點說明：

(1)當(dāng)樣本量趨于無窮時，有E(s*2)

2，我們稱s*2為

2漸近無偏預(yù)計。

(2)若對s*2作以下修正：，則s2是總體方差無偏預(yù)計。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第29頁29/105例6.2.5

設(shè)總體為N(

,

2)，x1,x2,

…,xn是樣本，則s2是

2無偏預(yù)計，且可求出這說明s不是

無偏預(yù)計.

利用修正技術(shù)可得cns是

無偏預(yù)計，其中是修偏系數(shù).

能夠證實，當(dāng)n

時,有cn1.

這說明s是

漸近無偏預(yù)計。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第30頁30/1056.2.3

有效性

定義6.2.3

設(shè)是

兩個無偏預(yù)計，假如對任意

∈Θ,有且最少有一個

∈Θ使得上述不等號嚴(yán)格成立，則稱比有效。

華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第31頁31/105例6.2.6

設(shè)x1,x2

,

…,xn是取自某總體樣本，記總體均值為

，總體方差為

2，則,,都是

無偏預(yù)計，但顯然，只要n>1，比有效。這表明用全部數(shù)據(jù)平均預(yù)計總體均值要比只使用部分?jǐn)?shù)據(jù)更有效。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第32頁32/105例6.2.7

均勻總體U(0,

)中

極大似然預(yù)計是x(n)，因為，所以x(n)不是

無偏預(yù)計，而是

漸近無偏預(yù)計。經(jīng)過修偏后能夠得到

一個無偏預(yù)計：。且另首先，由矩法我們能夠得到

另一個無偏預(yù)計，且由此，當(dāng)n>1時，比有效。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第33頁33/1056.2.4

均方誤差

無偏預(yù)計不一定比有偏預(yù)計更優(yōu)。評價一個點預(yù)計好壞普通能夠用：點預(yù)計值與參數(shù)真值

距離平方期望，這就是下式給出均方誤差

均方誤差是評價點預(yù)計最普通標(biāo)準(zhǔn)。我們希望預(yù)計均方誤差越小越好。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第34頁34/105

注意到，所以

(1)

若是

無偏預(yù)計，則，這說明用方差考查無偏預(yù)計有效性是合理。

(2)

當(dāng)不是

無偏預(yù)計時，就要看其均方誤差。下面例子說明：在均方誤差含義下有些有偏預(yù)計優(yōu)于無偏預(yù)計。

華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第35頁35/105例6.2.8對均勻總體U(0,

)，由

極大似然預(yù)計得到無偏預(yù)計是，它均方誤差

現(xiàn)我們考慮θ形如預(yù)計，其均方差為

用求導(dǎo)方法不難求出當(dāng)時上述均方誤差抵達(dá)最小，且其均方誤差

所以在均方誤差標(biāo)準(zhǔn)下，有偏預(yù)計優(yōu)于無偏預(yù)計。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第36頁36/105§6.3

最小方差無偏預(yù)計

6.3.1

Rao-Blackwell定理

以下定理說明：好無偏預(yù)計都是充分統(tǒng)計量函數(shù)。

定理6.3.2

設(shè)總體概率函數(shù)是

p(x,

)，x1,x2

,

…,xn

是其樣本，T=T(x1,x2

,

…,xn)是

充分統(tǒng)計量，則對

任一無偏預(yù)計，令，則也是

無偏預(yù)計，且

華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第37頁37/105

定理6.3.2說明：假如無偏預(yù)計不是充分統(tǒng)計量函數(shù)，則將之對充分統(tǒng)計量求條件期望能夠得到一個新無偏預(yù)計，該預(yù)計方差比原來預(yù)計方差要小，從而降低了無偏預(yù)計方差。換言之，考慮

估計問題只需要在基于充分統(tǒng)計量函數(shù)中進(jìn)行即可，該說法對全部統(tǒng)計推斷問題都是正確，這便是所謂充分性標(biāo)準(zhǔn)。

華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第38頁38/105例6.3.1

設(shè)x1,x2

,

…,xn是來自b(1,p)樣本，則是p充分統(tǒng)計量。為預(yù)計

=p2，可令因為，所以是

無偏預(yù)計。這個只使用了兩個觀察值預(yù)計并不好.下面我們用Rao-Blackwell定理對之加以改進(jìn)：求關(guān)于充分統(tǒng)計量條件期望，得華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第39頁39/1056.3.2

最小方差無偏預(yù)計

定義6.3.1

對參數(shù)預(yù)計問題，設(shè)是

一個無偏預(yù)計，假如對另外任意一個

無偏預(yù)計，在參數(shù)空間Θ上都有

則稱是

一致最小方差無偏預(yù)計，簡記為

UMVUE。假如UMVUE存在，則它一定是充分統(tǒng)計量函數(shù)。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第40頁40/105

定理6.3.3

設(shè)x=(x1,x2

,

…,xn)是來自某總體一個樣本，是

一個無偏預(yù)計，假如對任意一個滿足E(

(x))=0

(x)，都有則是

UMVUE。關(guān)于UMVUE，有以下一個判斷準(zhǔn)則。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第41頁41/105

例6.3.2

設(shè)x1,x2

,…,xn是來自指數(shù)分布Exp(1/

)樣本，則T=x1+…+xn是

充分統(tǒng)計量，而是

無偏預(yù)計。設(shè)

=

(x1,x2,

…,xn)是0任一無偏預(yù)計，則兩端對

求導(dǎo)得這說明，從而，由定理6.3.3，它是

UMVUE。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第42頁42/1056.3.3Cramer-Rao不等式

定義6.3.2

設(shè)總體概率函數(shù)P(x,

),

∈Θ滿足以下條件：

(1)參數(shù)空間Θ是直線上一個開區(qū)間；

(2)支撐S={x:P(x,

)>0}與

無關(guān)；

(3)導(dǎo)數(shù)對一切

∈Θ都存在；

(4)對P(x,

)，積分與微分運(yùn)算可交換次序；

(5)期望存在；則稱為總體分布費(fèi)希爾(Fisher)

信息量。

華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第43頁43/105

費(fèi)希爾信息量是數(shù)理統(tǒng)計學(xué)中一個基本概念，很多統(tǒng)計結(jié)果都與費(fèi)希爾信息量相關(guān)。如極大似然預(yù)計漸近方差，無偏預(yù)計方差下界等都與費(fèi)希爾信息量I(

)相關(guān)。I(

)種種性質(zhì)顯示，“I(

)越大”可被解釋為總體分布中包含未知參數(shù)

信息越多。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第44頁44/105例6.3.3

設(shè)總體為泊松分布P(

)分布，則于是華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第45頁45/105例6.3.4

設(shè)總體為指數(shù)分布，其密度函數(shù)為

能夠驗證定義6.3.2條件滿足，且于是華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第46頁46/105定理6.3.4（Cramer-Rao不等式）

設(shè)定義6.3.2條件滿足，x1,x2

,

…,xn是來自該總體樣本，T=T(x1,x2

,

…,xn)是g(

)任一個無偏預(yù)計，存在，且對

∈Θ

中一切

，微分可在積分號下進(jìn)行，則有華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第47頁47/105

上式稱為克拉美-羅（C-R）不等式;

[g’(θ)]2/(nI(

))稱為g(

)無偏預(yù)計方差

C-R下界，簡稱g(

)C-R下界。尤其，對

無偏預(yù)計,有;

假如等號成立，則稱T=T(x1,

…,xn)是

g(

)有效預(yù)計，有效預(yù)計一定是UMVUE。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第48頁48/105例6.3.5

設(shè)總體分布列為p(x,

)=

x(1-

)1-x,x=0,1，它滿足定義6.3.2全部條件，能夠算得該分布費(fèi)希爾信息量為，若x1,x2,

…,xn是該總體樣本，則

C-R下界為(nI(

))-1=

(1-

)/n。因為是

無偏預(yù)計，且其方差等于

(1-

)/n，抵達(dá)C-R下界，所以是

有效預(yù)計，它也是

UMVUE。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第49頁49/105例6.3.6

設(shè)總體為指數(shù)分布Exp(1/

)，它滿足定義6.3.2全部條件，例6.3.4中已經(jīng)算出該分布費(fèi)希爾信息量為I(

)=

-2，若x1,x2,

…,xn是樣本，則

C-R下界為(nI(

))-1=

2/n。而是

無偏預(yù)計，且其方差等于

2/n，抵達(dá)了C-R下界，所以，是

有效預(yù)計，它也是

UMVUE。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第50頁50/105能抵達(dá)C-R下界無偏預(yù)計不多:例6.3.7

設(shè)總體為N(0,

2)，滿足定義6.3.2條件，且費(fèi)希爾信息量為，令,

則

C-R下界為,

而

UMVUE為其方差大于C-R下界。這表明全部

無偏預(yù)計方差都大于其C-R下界。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第51頁51/105費(fèi)希爾信息量主要作用表示在極大似然預(yù)計。

定理6.3.5

設(shè)總體X有密度函數(shù)p(x;

)，

∈Θ，

Θ為非退化區(qū)間，假定

(1)對任意x，偏導(dǎo)數(shù)，和對全部

∈Θ都存在；

(2)?

∈Θ,有，其中函數(shù)F1(x),F2(x),F3(x)可積.華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第52頁52/105(3)?

∈Θ,

若x1,x2

,

…,xn是來自該總體樣本，則存在未知參數(shù)

極大似然預(yù)計，且含有相合性和漸近正態(tài)性:

華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第53頁53/105§6.4

貝葉斯預(yù)計

6.4.1

統(tǒng)計推斷基礎(chǔ)

經(jīng)典學(xué)派觀點：統(tǒng)計推斷是依據(jù)樣本信息對總體分布或總體特征數(shù)進(jìn)行推斷，這里用到兩種信息：總體信息和樣本信息；貝葉斯學(xué)派觀點：除了上述兩種信息以外，統(tǒng)計推斷還應(yīng)該使用第三種信息：先驗信息。

華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第54頁54/105（1）總體信息:總體分布提供信息。（2）樣本信息:抽取樣本所得觀察值提供信息。（3）先驗信息:人們在試驗之前對要做問題在經(jīng)驗上和資料上總是有所了解，這些信息對統(tǒng)計推斷是有益。先驗信息即是抽樣（試驗）之前相關(guān)統(tǒng)計問題一些信息。普通說來，先驗信息起源于經(jīng)驗和歷史資料。先驗信息在日常生活和工作中是很主要。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第55頁55/105

基于上述三種信息進(jìn)行統(tǒng)計推斷統(tǒng)計學(xué)稱為貝葉斯統(tǒng)計學(xué)。它與經(jīng)典統(tǒng)計學(xué)差異就在于是否利用先驗信息。貝葉斯統(tǒng)計在重視使用總體信息和樣本信息同時，還注意先驗信息搜集、挖掘和加工，使它數(shù)量化，形成先驗分布，參加到統(tǒng)計推斷中來，以提升統(tǒng)計推斷質(zhì)量。忽略先驗信息利用，有時是一個浪費(fèi)，有時還會導(dǎo)出不合理結(jié)論。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第56頁56/105

貝葉斯學(xué)派基本觀點：任一未知量

都可看作隨機(jī)變量，可用一個概率分布去描述，這個分布稱為先驗分布；在取得樣本之后，總體分布、樣本與先驗分布經(jīng)過貝葉斯公式結(jié)合起來得到一個關(guān)于未知量

新分布—后驗分布；任何關(guān)于

統(tǒng)計推斷都應(yīng)該基于

后驗分布進(jìn)行。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第57頁57/1056.4.2

貝葉斯公式密度函數(shù)形式

總體依賴于參數(shù)

概率函數(shù)在貝葉斯統(tǒng)計中記為P(x|

)，它表示在隨機(jī)變量θ取某個給定值時總體條件概率函數(shù)；

依據(jù)參數(shù)

先驗信息可確定先驗分布

(

)；

從貝葉斯觀點看，樣本x1,x2

,

…,xn產(chǎn)生分兩步進(jìn)行:首先從先驗分布

(

)產(chǎn)生一個樣本

0，然后從P(x|

0)中產(chǎn)生一組樣本。這時樣本聯(lián)合條件概率函數(shù)為，這個分布綜合了總體信息和樣本信息；華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第58頁58/105

0

是未知，它是按先驗分布

(

)產(chǎn)生。為把先驗信息綜合進(jìn)去，不能只考慮

0，對

其它值發(fā)生可能性也要加以考慮，故要用

(

)進(jìn)行綜合。這么一來，樣本x1

,

…,xn和參數(shù)

聯(lián)合分布為:h(x1,x2

,

…,xn,

)=p(x1,x2

,

…,xn

)

(

)，

這個聯(lián)合分布把總體信息、樣本信息和先驗信息三種可用信息都綜合進(jìn)去了；華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第59頁59/105在沒有樣本信息時，人們只能依據(jù)先驗分布對

作出推斷。在有了樣本觀察值x1,x2

,

…,xn之后，則應(yīng)依據(jù)h(x1,x2

,

…,xn,

)對

作出推斷。因為h(x1,x2

,…,xn,

)=

(

x1,x2

,…,xn)m(x1,x2

,…,xn)，其中是x1,x2

,

…,xn邊際概率函數(shù)，它與

無關(guān)，不含

任何信息。所以能用來對

作出推斷僅是條件分布

(

x1,x2

,

…,xn)，它計算公式是華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第60頁60/105

這個條件分布稱為

后驗分布，它集中了總體、樣本和先驗中相關(guān)

一切信息。

后驗分布

(

x1,x2

,

…,xn)計算公式就是用密度函數(shù)表示貝葉斯公式。它是用總體和樣本對先驗分布

(

)作調(diào)整結(jié)果，貝葉斯統(tǒng)計一切推斷都基于后驗分布進(jìn)行。

華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第61頁61/1056.4.3

貝葉斯預(yù)計基于后驗分布

(

x1,x2

,

…,xn)對

所作貝葉斯預(yù)計有各種，慣用有以下三種：使用后驗分布密度函數(shù)最大值作為

點預(yù)計，稱為最大后驗預(yù)計；使用后驗分布中位數(shù)作為

點預(yù)計，稱為后驗中位數(shù)預(yù)計；使用后驗分布均值作為

點預(yù)計，稱為后驗期望預(yù)計。用得最多是后驗期望預(yù)計，它普通也簡稱為貝葉斯預(yù)計，記為。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第62頁62/105例6.4.2

設(shè)某事件A在一次試驗中發(fā)生概率為

，為預(yù)計

，對試驗進(jìn)行了n次獨立觀察，其中事件A發(fā)生了X次，顯然X

b(n,

)，即假若我們在試驗前對事件A沒有什么了解，從而對其發(fā)生概率

也沒有任何信息。在這種場所，貝葉斯本人提議采取“同等無知”標(biāo)準(zhǔn)使用區(qū)間（0,1）上均勻分布U(0,1)作為

先驗分布，因為它?。?,1）上每一點機(jī)會均等。貝葉斯這個提議被后人稱為貝葉斯假設(shè)。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第63頁63/105

由此即可利用貝葉斯公式求出

后驗分布。詳細(xì)以下：先寫出X和

聯(lián)合分布然后求X邊際分布最終求出

后驗分布最終止果說明

XBe(x+1,n-x+1)，其后驗期望預(yù)計為

(6.4.4)華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第64頁64/105一些場所，貝葉斯預(yù)計要比極大似然預(yù)計更合理一點。比如:“抽檢3個全是合格品”與“抽檢10個全是合格品”，后者質(zhì)量比前者更信得過。這種差異在不合格品率極大似然預(yù)計中反應(yīng)不出來（兩者都為0），而用貝葉斯預(yù)計兩者分別是0.2和0.83。由此能夠看到，在這些極端情況下，貝葉斯預(yù)計比極大似然預(yù)計更符合人們理念。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第65頁65/105例6.4.3

設(shè)x1,x2

,

…,xn是來自正態(tài)分布N(,02)一個樣本，其中

02已知，

未知，假設(shè)

先驗分布亦為正態(tài)分布N(

,2)，其中先驗均值

和先驗方差

2均已知，試求

貝葉斯預(yù)計。解：樣本x分布和

先驗分布分別為華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第66頁66/105由此能夠?qū)懗鰔與

聯(lián)合分布其中，。若記則有華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第67頁67/105

注意到A,B,C均與

無關(guān)，由此輕易算得樣本邊際密度函數(shù)應(yīng)用貝葉斯公式即可得到后驗分布這說明在樣本給定后，

后驗分布為

N(B/A,1/A)，即

華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第68頁68/105

后驗均值即為其貝葉斯預(yù)計：它是樣本均值與先驗均值

加權(quán)平均。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第69頁69/1056.4.4

共軛先驗分布

若后驗分布

(

x)與

(

)屬于同一個分布族，則稱該分布族是

共軛先驗分布(族)。二項分布b(n,

)中成功概率

共軛先驗分布是貝塔分布Be(a,b)；泊松分布P(

)中均值

共軛先驗分布是伽瑪分布Ga(

,

)；在方差已知時，正態(tài)均值

共軛先驗分布是正態(tài)分布N(,2);在均值已知時，正態(tài)方差

2共軛先驗分布是倒伽瑪分布IGa(

,

)。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第70頁70/105§6.5

區(qū)間預(yù)計

6.5.1區(qū)間預(yù)計概念

定義6.5.1

設(shè)

是總體一個參數(shù)，其參數(shù)空間為Θ，x1,x2

,

…,xn是來自該總體樣本，對給定一個

(0<

<1)，若有兩個統(tǒng)計量和，若對任意

∈Θ，有（6.5.1）華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第71頁71/105

則稱隨機(jī)區(qū)間[]為

置信水平為1-

置信區(qū)間，或簡稱[]是

1-

置信區(qū)間.

和分別稱為

（雙側(cè)）置信下限和置信上限.

這里置信水平1-

含義是指在大量使用該置信區(qū)間時，最少有100(1-

)%區(qū)間含有

。

華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第72頁72/105例6.5.1

設(shè)x1,x2

,

…,x10是來自N(,

2)樣本，則

置信水平為1-

置信區(qū)間為其中，,s分別為樣本均值和樣本標(biāo)準(zhǔn)差。這個置信區(qū)間由來將在6.5.3節(jié)中說明，這里用它來說明置信區(qū)間含義。若取

=0.10，則t0..95(9)=1.8331，上式化為華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第73頁73/105

現(xiàn)假定

=15,

2=4，則我們能夠用隨機(jī)模擬方法由N(15,4)產(chǎn)生一個容量為10樣本，以下即是這么一個樣本：14.8513.0113.5014.9316.9713.8017.953313.3716.2912.38

由該樣本能夠算得從而得到

一個區(qū)間預(yù)計為該區(qū)間包含

真值--15?，F(xiàn)重復(fù)這么方法100次，能夠得到100個樣本，也就得到100個區(qū)間，我們將這100個區(qū)間畫在圖6.5.1上。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第74頁74/105

由圖6.5.1能夠看出，這100個區(qū)間中有91個包含參數(shù)真值15，另外9個不包含參數(shù)真值。圖6.5.1

置信水平為0.90置信區(qū)間華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第75頁75/105

取

=0.50，我們也能夠給出100個這么區(qū)間，見圖6.5.2。能夠看出，這100個區(qū)間中有50個包含參數(shù)真值15，另外50個不包含參數(shù)真值。圖6.5.2

置信水平為0.50置信區(qū)間華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第76頁76/105定義6.5.2

沿用定義6.5.1記號，如對給定

(0<

<1)，對任意

∈Θ，有

（6.5.2）

稱為

1-

同等置信區(qū)間。

同等置信區(qū)間是把給定置信水平1-

用足了。常在總體為連續(xù)分布場所下能夠?qū)崿F(xiàn)。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第77頁77/105定義

若對給定

(0<

<1)和任意

∈Θ，有，則稱為

置信水平為1-

（單側(cè)）置信下限。假如等號對一切

∈Θ成立，則稱為

1-

同等置信下限。若對給定

(0<

<1)和任意

∈Θ，有,則稱為

置信水平為1-

（單側(cè)）置信上限。若等號對一切

∈Θ成立，則稱為1-

同等置信上限。單側(cè)置信限是置信區(qū)間特殊情形。所以，尋求置信區(qū)間方法能夠用來尋找單側(cè)置信限。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第78頁78/1056.5.2樞軸量法

結(jié)構(gòu)未知參數(shù)

置信區(qū)間最慣用方法是樞軸量法，其步驟能夠概括為以下三步：1.設(shè)法結(jié)構(gòu)一個樣本和

函數(shù)G=G(x1,x2

,

…,xn,

)使得G分布不依賴于未知參數(shù)。普通稱含有這種性質(zhì)G為樞軸量。2.適當(dāng)?shù)剡x擇兩個常數(shù)c,d，使對給定

(0<

<1)有P(c≤G≤d)=1-

3.假如能將c≤G

≤d進(jìn)行不等式等價變形化為則[，]是

1-

同等置信區(qū)間。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第79頁79/105關(guān)于置信區(qū)間結(jié)構(gòu)有兩點說明：

滿足置信度要求c與d通常不唯一。若有可能，應(yīng)選平均長度抵達(dá)最短c與d，這在G分布為對稱分布場所通常輕易實現(xiàn)。實際中，選平均長度盡可能短c與d，這往往極難實現(xiàn)，所以，常這么選擇c與d，使得兩個尾部概率各為

/2，即P(G<c)=P(G>d)=

/2，這么置信區(qū)間稱為等尾置信區(qū)間。這是在G分布為偏態(tài)分布場所常采取方法。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第80頁80/105例6.5.2

設(shè)x1,x2

,

…,xn是來自均勻總體U(0,

)一個樣本，試對給定

(0<

<1)給出

1-

同等置信區(qū)間。解:（1）取x(n)作為樞軸量，其密度函數(shù)為p(y;

)=nyn

，0<y<1；

（2）x(n)/

分布函數(shù)為F(y)=yn,0<y<1，故P(c≤x(n)/

≤d)=dn-cn，所以我們能夠適當(dāng)?shù)剡x擇c和d滿足dn-cn=1-

華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第81頁81/105（3）利用不等式變形可輕易地給出

1-

同等置信區(qū)間為[x(n)/d，x(n)/c]，該區(qū)間平均長度為。不難看出，在0≤c<d≤1及dn-cn=1-

條件下，當(dāng)d=1,c=

時，取得最小值，這說明是

置信水平1-

為最短置信區(qū)間。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第82頁82/1056.5.3單個正態(tài)總體參數(shù)置信區(qū)間

一、

已知時

置信區(qū)間在這種情況下，樞軸量可選為，c和d應(yīng)滿足P(c≤G≤d)=

(d)-

(c)=1-

，經(jīng)過不等式變形可得該區(qū)間長度為。當(dāng)d=-c=u1-

/2時，d-c抵達(dá)最小，由此給出了同等置信區(qū)間為

[，]。（6.5.8）這是一個以為中心，半徑為對稱區(qū)間，常將之表示為。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第83頁83/105例6.5.3

用天平秤某物體重量9次，得平均值為（克），已知天平秤量結(jié)果為正態(tài)分布，其標(biāo)準(zhǔn)差為0.1克。試求該物體重量0.95置信區(qū)間。解：此處1-

=0.95，

=0.05，查表知u0.975=1.96，于是該物體重量

0.95置信區(qū)間為，從而該物體重量0.95置信區(qū)間為

[15.3347，15.4653]。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第84頁84/105例6.5.4

設(shè)總體為正態(tài)分布N(

,1)，為得到

置信水平為0.95置信區(qū)間長度不超出1.2，樣本容量應(yīng)為多大？解：由題設(shè)條件知

0.95置信區(qū)間為

其區(qū)間長度為，它僅依賴于樣本容量n而與樣本詳細(xì)取值無關(guān)?，F(xiàn)要求，馬上有n(2/1.2)2u21-

/2.現(xiàn)1-

=0.95，故u1-

/2=1.96，從而n(5/3)21.962=

10.6711。即樣本容量最少為11時才能使得

置信水平為0.95置信區(qū)間長度不超出1.2。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第85頁85/105二、

2未知時

置信區(qū)間

這時可用t統(tǒng)計量，因為，所以t能夠用來作為樞軸量。完全類似于上一小節(jié)，可得到

1-

置信區(qū)間為

此處是

2無偏預(yù)計。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第86頁86/105例6.5.5

假設(shè)輪胎壽命服從正態(tài)分布。為預(yù)計某種輪胎平均壽命，現(xiàn)隨機(jī)地抽12只輪胎試用，測得它們壽命（單位：萬公里）以下：4.684.854.324.854.615.025.204.604.584.724.384.70

此處正態(tài)總體標(biāo)準(zhǔn)差未知，可使用t分布求均值置信區(qū)間。經(jīng)計算有=4.7092，s2=0.0615。取

=0.05，查表知t0.975(11)=2.，于是平均壽命0.95置信區(qū)間為（單位：萬公里）華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第87頁87/105

在實際問題中，因為輪胎壽命越長越好，所以能夠只求平均壽命置信下限，也即結(jié)構(gòu)單邊置信下限。因為由不等式變形可知

1-

置信下限為

將t0.95(11)=1.7959代入計算可得平均壽命

0.95置信下限為4.5806（萬公里）。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第88頁88/105三、

2置信區(qū)間

取樞軸量，因為

2分布是偏態(tài)分布，尋找平均長度最短區(qū)間極難實現(xiàn)，普通都用等尾置信區(qū)間：采取

2兩個分位數(shù)

2

/2(n-1)和

21-

/2(n-1)，在

2分布兩側(cè)各截面積為

/2部分，使得由此給出

21-

置信區(qū)間為華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第89頁89/105例6.5.6某廠生產(chǎn)零件重量服從正態(tài)分布N(,

2)，現(xiàn)從該廠生產(chǎn)零件中抽取9個，測得其重量為（單位：克）45.345.445.145.345.545.745.445.345.6

試求總體標(biāo)準(zhǔn)差

0.95置信區(qū)間。解：由數(shù)據(jù)可算得s2=0.0325，(n-1)s2=8

0325=0.26.

查表知

20.025(8)=2.1797，

20.975(8)=17.5345，代入可得

20.95置信區(qū)間為

從而

0.95置信區(qū)間為:[0.1218，0.3454]。華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第90頁90/105

在樣本容量充分大時，能夠用漸近分布來結(jié)構(gòu)近似置信區(qū)間。一個經(jīng)典例子是關(guān)于百分比p置信區(qū)間。6.5.4大樣本置信區(qū)間

華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第91頁91/105

設(shè)x1,…,xn是來自b(1,p)樣本,有對給定

，，經(jīng)過變形，可得到置信區(qū)間為

其中記

=u21-

/2，實用中通常略去

/n項，于是可將置信區(qū)間近似為華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第92頁92/105例6.5.7

對某事件A作120次觀察，A發(fā)生36次。試給出事件A發(fā)生概率p0.95置信區(qū)間。解：此處n=120，=36/120=0.3

而u0.975=1.96，于是p0.95（雙側(cè)）置信下限和上限分別為故所求置信區(qū)間為[0.218，0.382]華東師范大學(xué)茆詩松概率論與數(shù)理統(tǒng)計教程參數(shù)預(yù)計課件第93頁93/105例6.5.8

某傳媒企業(yè)欲調(diào)查電視臺某綜藝節(jié)目收視率p，為使得p1-

置信區(qū)間長度不超出d0，問應(yīng)調(diào)查多少用戶？解：這是關(guān)于二點分布百分比p置信區(qū)間問題，由（6.5.11）知，1-

置信區(qū)間長度為這是一個隨機(jī)變量，但因為，所以對任意觀察值有。這也就是說p1-

置信區(qū)間長度不會超出?，F(xiàn)要求p置信區(qū)間長度不超出d0