第6章 參數(shù)估計(ok)

第六章參數(shù)估計

§6.1點估計的幾種方法§6.2點估計的評價標準§6.3最小方差無偏估計§6.4貝葉斯估計§6.5區(qū)間估計

參數(shù)

所有可能取值組成的集合稱為參數(shù)空間

參數(shù)估計有兩種：點估計、區(qū)間估計參數(shù)的種類：（1）分布中所含的未知參數(shù)

（2）分布中所含的未知參數(shù)

的函數(shù)（3）分布的各種數(shù)字特征第六章參數(shù)估計

設x1,x2,…,xn

是來自總體X的一個樣本，用統(tǒng)計量稱為

的點估計（量），1.如何給出估計?2.如何對不同的估計進行評價?§6.1點估計的幾種方法

定義（點估計）簡稱估計。估計方法的問題估計好壞的判斷標準兩個問題：的值作為

的估計值，§6.1

點估計的幾種方法

常用的點估計方法：1.矩估計法2.極大似然法3.

貝葉斯方法一、矩法估計

用樣本矩替換總體矩英國統(tǒng)計學家K.皮爾遜§6.1

點估計的幾種方法

用樣本矩的函數(shù)替換相應的總體矩的函數(shù)1.

基本思想:替換原理用樣本均值估計總體均值E(X)，用樣本方差估計總體方差Var(X)，用樣本的p分位數(shù)估計總體的p分位數(shù)，用樣本中位數(shù)估計總體中位數(shù)…思考：原理？用樣本矩及其函數(shù)去替換相應的總體矩及其函數(shù)1.

基本思想:一、矩法估計

§6.1

點估計的幾種方法

替換原理例1

對某型號的20輛汽車記錄其每加侖汽油的行駛里程(km)，觀測數(shù)據(jù)如下：

29.827.628.327.930.128.729.9

28.027.928.728.427.229.528.5

28.030.029.129.829.626.9

計算

總體均值、方差和中位數(shù)的估計分別為:2.總體分布已知時，未知參數(shù)的矩法估計

設總體的概率函數(shù)P(x；

1,

…,

k)

，

x1,x2

,

…,xn

是樣本,

一、矩法估計

總體的k階原點矩

k

存在，樣本的j階原點矩：(分布類型已知)若

1,

…,

k

能夠表示成

1,

…,

k的函數(shù)

j=

j(

1,

…,

k)則

j的矩法估計：解:

令例2

x1,x2,

…,xn是來自均勻分布U(a,b)

的樣本，

a與b均是未知參數(shù)，求a與b的矩估計.a,b的矩估計：解：例3總體X的概率密度：x1,x2,

…,xn是總體的樣本，是未知參數(shù)，求的矩估計.例4

設總體X～E(

)，x1,x2,

…,xn是總體的一個樣本,

求參數(shù)

的矩估計.解：

令

的矩法估計：

另外，

令

的矩法估計：EX

=1/

=1/

Var(X)=1/

2=1/

2總體的分布類型已知德國數(shù)學家高斯(Gauss)1821年提出。英國統(tǒng)計學家費希爾(Fisher)

1922年再次提出該方法，并證明了方法的一些性質(zhì)，給出了參數(shù)極大似然估計一般方法——極大似然估計原理。二、極（最）大似然估計§6.1

點估計的幾種方法

二、極（最）大似然估計1.

定義（似然函數(shù)）

設總體X的概率函數(shù)為P(x;

)，

x1,x2

,…,xn

是來自總體的一個樣本，樣本的聯(lián)合概率函數(shù)：

是參數(shù)空間關于

的函數(shù)L(

)稱為樣本的似然函數(shù)

如果統(tǒng)計量似然函數(shù)：二、極（最）大似然估計滿足則稱簡記為MLE是

的極(最)大似然估計，（MaximumLikelihoodEstimate）2.求極大似然估計(MLE)的一般步驟（1）求樣本的似然函數(shù)L(

)

連續(xù)型：聯(lián)合概率密度

離散型：聯(lián)合概率分布（2）求

L(

)的最大值點

求ln

L(

)的最大值點二、極（最）大似然估計例5

設總體X~B(1,p)

，X1,

X2

,…,Xn

是來自總體的一個樣本，試求參數(shù)p的極大似然估計。解：

似然函數(shù)：對數(shù)似然函數(shù):令p

的極大似然估計：例5

設總體X~B(1,p)

，X1,

X2

,…,Xn

是來自總體的一個樣本，試求參數(shù)p的極大似然估計。解：

對數(shù)似然函數(shù):例6

x1,x2

,

…,xn是正態(tài)總體N(,2)的一個樣本，試求

,2的極大似然估計。解：似然函數(shù)：對數(shù)似然函數(shù)：似然方程組：例6

x1,x2

,

…,xn是正態(tài)總體N(,2)的一個樣本，試求

,2的極大似然估計。解：對數(shù)似然函數(shù)：

,2的極大似然估計:例6

x1,x2

,

…,xn是正態(tài)總體N(,2)的一個樣本，試求

,2的極大似然估計。解：

似然方程組例7

設x1,x2

,

…,xn

是來自均勻總體U(0,

)的樣本，試求

的極大似然估計。解：似然函數(shù)要使L(

)達到最大，

1）1/

n盡可能大

2）示性函數(shù)值為1

的極大似然估計：

盡可能小

3.

極大似然估計的不變性如果是

的極大似然估計，則對

的任一函數(shù)g(

)，其極大似然估計為

.二、極（最）大似然估計例8

設x1,x2,

…,xn是來自正態(tài)總體N(

,

2)的樣本，則

和

2的極大似然估計：1）標準差

的MLE：2）概率的MLE：3）總體0.90分位數(shù)的MLE：x0.90=

+

u0.90u0.90為N(0,1)的0.90分位數(shù)§6.2

點估計的評價標準

一、相合性二、無偏性三、有效性四、均方誤差

定義

設

∈Θ為某總體分布中的未知參數(shù)，

是

的一個估計量，

若對任何一個ε>0，有

則稱一、相合性（一致性）n

是樣本容量，為

參數(shù)的相合估計。把估計量看作一個隨機變量序列,相合性就是依概率收斂于

,證明估計的相合性可應用依概率收斂的性質(zhì)及各種大數(shù)定律。注意:一、相合性（一致性）例1

x1,x2

,

…,xn是正態(tài)總體N(,2)的一個樣本，則

(1)是

的相合估計；

(2)s*2是

2的相合估計；

(3)s2是

2的相合估計；解：

Exi=

,i=1,2,…,且x1,x2

,

…,xn相互獨立辛欽大數(shù)定律一、相合性（一致性）設若

則是

的相合估計。一、相合性（一致性）是

的一個估計量，定理1例2

設x1,x2

,

…,xn

是來自均勻總體U(0,

)的樣本，證明：

的極大似然估計x(n)是

的相合估計。第k個次序統(tǒng)計量x(k)的密度函數(shù)為證明:分析:均勻分布：x(n)的密度函數(shù)：p(y)=nyn-1/

n,

0<y<

0<y<

例2

設x1,x2

,

…,xn

是來自均勻總體U(0,

)的樣本，證明：

的極大似然估計x(n)是

的相合估計。證明：x(n)的密度函數(shù)為

p(y)=nyn-1/

n,0<y<

定理2

若分別是

1,

…,

k的相合估計，

=g(

1

,

…,

k)是

1,

…,

k的連續(xù)函數(shù)，則是

的相合估計。一、相合性（一致性）二、無偏性

設

的參數(shù)空間為Θ，若對任意的

∈Θ，有定義則稱是

的無偏估計，否則稱為有偏估計。是

的一個估計，定理

設總體X具有二階矩，即E(X)=

,Var(X)=

2

,

x1,x2,…,xn

為從總體的一個樣本，則和s2

分別是樣本均值和樣本方差，3)E(s2)=

2復習結論說明：樣本均值是總體均值

的無偏估計樣本方差

s

2

是總體方差

2的無偏估計例3

樣本方差s*2

不是總體方差

2的無偏估計.當樣本量n

，

E(s*2)

稱s*2為

2的漸近無偏估計。

2例4

證明：樣本標準差s不是總體標準差

的無偏估計.E(s2

)=

2證明：

=Var(s)+(Es)2Var(s)＞0

(Es)2

=

2-Var(s)

E(s)＜

故s

不是

的無偏估計＜

2

三、有效性

設是

的兩個無偏估計，如果對任意的

∈Θ,

有且至少有一個

∈Θ使得上述不等號嚴格成立，則稱比有效。定義例5

設x1,x2

,

…,xn

是取自某總體的樣本，總體均值為

，總體方差為

2，都是

的無偏估計，當n>1，比有效。說明：用全部數(shù)據(jù)的平均估計總體均值比只使用部分數(shù)據(jù)更有效。例6

均勻總體U(0,

)中

的極大似然估計是x(n)，x(n)

是

的漸近無偏估計

修正：無偏估計

的矩估計：例6

均勻總體U(0,

)中

的極大似然估計是x(n)

當n>1

時，比有效。無偏估計無偏估計：哪個有效？四、均方誤差

設是

的一個點估計,

該點估計與參數(shù)真值

的

稱為該點估計的均方誤差，

簡記為MSE

定義距離平方的期望（MeanSquaredError)，證明:四、均方誤差

(1)若是

的無偏估計，

說明：用方差考察無偏估計有效性是合理的。

(2)當不是

的無偏估計時，考察均方誤差四、均方誤差注意：在均方誤差的含義下，有些有偏估計優(yōu)于無偏估計。例7

均勻總體U(0,

)，由

的極大似然估計x(n)得到1)無偏估計：2)考慮有偏估計：均方誤差的標準下，有偏估計優(yōu)于無偏估計作業(yè)：

P312—2，4(1)P322—1，9§6.5區(qū)間估計

一、區(qū)間估計的概念二、樞軸量法三、單個正態(tài)總體下參數(shù)的置信區(qū)間四、兩個正態(tài)總體下參數(shù)的置信區(qū)間五、比例p

的置信區(qū)間一、區(qū)間估計的概念

設

是總體的一個參數(shù)，參數(shù)空間為Θ，

x1,x2

,

…,xn是來自該總體的樣本，對給定的

(0<

<1)，若統(tǒng)計量對任意的

∈Θ，則稱隨機區(qū)間

的置信區(qū)間，定義1為

的置信水平為1-

簡稱

的1-

置信區(qū)間.一、區(qū)間估計的概念

稱為

的置信水平為1-

的置信區(qū)間，簡稱

的1-

置信區(qū)間.—稱為

的（雙側）置信下限—稱為

的（雙側）置信上限置信水平1-

：在大量使用該置信區(qū)間時，至少有100(1-

)%的區(qū)間含有

。例1

設x1,x2

,

…,x10是來自N(,

2)的樣本，則

的置信水平為1-

的置信區(qū)間為

,

s分別為樣本均值和樣本標準差取

=0.1

，查表t0.95(9)=

1.8331

假設總體N(15,22)，容量為10樣本：14.8513.0113.5014.9316.97

13.8017.9513.3716.2912.38由樣本算得

的區(qū)間估計：該區(qū)間包含

的真值15。現(xiàn)重復抽樣100次，可以得到100個樣本，就得到100個區(qū)間，將這100個區(qū)間畫在圖上。例1

=0.10

，

的置信水平為0.90的置信區(qū)間100個區(qū)間中有91個包含參數(shù)真值15可以得到100個置信區(qū)間。例1取

=0.50，

的置信水平為1-=

0.50的置信區(qū)間為：=

t0.75(9)=0.7027100個區(qū)間中有50個包含參數(shù)真值15

的置信水平為0.50的置信區(qū)間對給定的

(0<

<1)，對任意的

∈Θ，稱為

的1-

同等置信區(qū)間

定義2定義1

—的置信水平為1-

的置信區(qū)間簡稱

的1-

置信區(qū)間若對給定的

(0<

<1)和任意的

∈Θ，定義3則稱置信下限。若等號對一切

∈Θ成立，則稱為

的置信水平為1-

的（單側）為

的1-

同等置信下限。置信上限同等置信上限二、樞軸量法

1.

構造樣本和

的函數(shù)

使得G的分布已知，

具有這種性質(zhì)的G稱為樞軸量2.選擇兩個常數(shù)c、d，使對給定的

(0<

<1)，

3.將c≤G

≤d

等價變形，

則是

的1-

同等置信區(qū)間構造未知參數(shù)

的置信區(qū)間

G=G(x1,…,xn;

)

且不依賴于未知參數(shù)P(

c≤

G≤d

)=1-

二、樞軸量法

1.構造一個樣本和

的函數(shù)

2.選擇兩個常數(shù)c、d，3.等價變形：

則是

的1-

同等置信區(qū)間構造未知參數(shù)

的置信區(qū)間G=G(x1,…,xn;

)P(

c≤

G≤d

)=1-

注意：

2）實際中常選擇c與d，使得兩個尾部概率各為

/2

P(G

<c

)

=P(G

>

d

)

=

/2等尾置信區(qū)間1）c

與d不唯一，選平均長度最短的c與d三、單個正態(tài)總體下參數(shù)的置信區(qū)間

1.

的置信區(qū)間（

已知）樞軸量

選擇c

、d，滿足P(c

≤G≤d

)=

1-

總體:N(,

2)；樣本:x1,x2

,

…,xn1.

的置信區(qū)間（

已知）樞軸量:

的1-

同等置信區(qū)間:三、單個正態(tài)總體下參數(shù)的置信區(qū)間

對稱區(qū)間：中心：，半徑：例3已知天平秤量結果為正態(tài)分布,其標準差為0.1克。用天平秤某物體的重量9次，得平均值為（克），試求該物體重量的置信水平1-=0.95置信區(qū)間。u0.975=1.96

1-

=0.95，=[15.3347，15.4653]該物體重量

的0.95置信區(qū)間：

=0.05，解：

=0.1樞軸量：解：

=1已知，例4

設總體為正態(tài)分布N(

,1)，為得到

的置信水平為0.95的置信區(qū)間長度不超過1.2，樣本容量應為多大？區(qū)間長度：n

1-

=0.95，u1-

/2=

u0.975=1.96

n

(1/0.6)2

1.962(2u1-

/2

/1.2)2=

10.67n11

的置信區(qū)間：2.

的置信區(qū)間（

2未知）三、單個正態(tài)總體下參數(shù)的置信區(qū)間

樞軸量:

的1-

同等置信區(qū)間:例5

假設輪胎的壽命服從正態(tài)分布N(

,

2)。為估計某種輪胎的平均壽命，現(xiàn)隨機地抽12只輪胎試用，測得它們的壽命（單位：萬公里）如下：4.684.854.324.854.615.025.204.604.584.724.384.70

求平均壽命的置信水平1-=0.95置信區(qū)間。解：

未知，=4.7092，s2

=0.0615，

=0.05，平均壽命的0.95置信區(qū)間：t0.975(11)=2.201

樞軸量:在實際問題中，由于輪胎的壽命越長越好，可以只求平均壽命的置信下限，構造單邊的置信下限。n=12，=4.7092，s2

=0.0615，

=0.05，t0.95(11)=

1.7959

的0.95置信下限：=4.5806（萬公里）

由于

的1-

置信下限為：3.

2的置信區(qū)間（

未知）

2的1-

同等置信區(qū)間:三、單個正態(tài)總體下參數(shù)的置信區(qū)間

樞軸量:例6

某廠生產(chǎn)的零件重量服從正態(tài)分布N(,

2),

現(xiàn)從生產(chǎn)的零件中抽取9個,測得重量為(單位:克)

45.345.445.145.345.545.745.445.345.6

試求總體標準差

的0.95置信區(qū)間。解：

未知，

2的1-

置信區(qū)間：

s2

=0.0325

20.025(8)

=2.1797

20.975(8)=17.5345

的0.95置信區(qū)間:

[0.1218，0.3454]樞軸量:被估參數(shù)條件樞軸量及其分布置信區(qū)間

2已知

2未知

2

未知單個正態(tài)總體均值和方差的置信區(qū)間四、兩個正態(tài)總體下參數(shù)的置信區(qū)間

x1

,…,xm

是來自N(

1,12)的樣本，y1

,…,yn

是來自N(

2,22)的樣本，兩個樣本相互獨立樣本均值：樣本方差：問題：討論均值差和方差比的置信區(qū)間1）

1-

2的置信區(qū)間2）

12/

22的置信區(qū)間1.

1-

2的置信區(qū)間1）

12與

22

已知x1

,…,xm

來自N(

1,12)y1

,…,yn

來自N(

2,22)樞軸量：

1-

2

的1-

置信區(qū)間：1.

1-

2的置信區(qū)間2）

12

與

22

未知，但

12=

22=

2x1

,…,xm

來自N(

1,

2)y1

,…,yn

來自N(

2,

2)獨立1.

1-

2的置信區(qū)間2）

12

與

22未知，

12=

22=

2獨立1.

1-

2的置信區(qū)間2）

12

與

22未知，

12=

22=

2樞軸量：1.

1-

2的置信區(qū)間2）

12

與

22未知，

12=

22=

2樞軸量：

1-

2

的1-

置信區(qū)間：3）

12,

22未知，但

22/

12=

已知1.

1-

2的置信區(qū)間3）

12,

22未知，但

22/

12=

已知獨立1.

1-

2的置信區(qū)間3）

12,

22未知，但

22/

12=

已知1.

1-

2的置信區(qū)間樞軸量：

1-

2的1-

置信區(qū)間3）

12,

22未知，但

22/

12=

已知1.

1-

2的置信區(qū)間4）當m和n都很大，近似置信區(qū)間

樞軸量：

1.

1-

2的置信區(qū)間4）當m和n都很大，近似置信區(qū)間

樞軸量：

1-

2的1-

置信區(qū)間：1.

1-

2的置信區(qū)間5）一般情況下，近似置信區(qū)間樞軸量：

其中：

1.

1-

2的置信區(qū)間（m

、n

不很大）

1-

2的1-

置信區(qū)間：例9

為比較兩個小麥品種的產(chǎn)量，選擇18塊條件相似的試驗田，采用相同的耕作方法作試驗，播種甲品種的8塊試驗田的畝產(chǎn)量和播種乙品種的10塊試驗田的畝產(chǎn)量（單位：千克/畝）分別為:

甲品種

628583510554612523530615

乙品種

535433398470567480498560

503426

假定畝產(chǎn)量均服從正態(tài)分布，

問題：求這兩個品種平均畝產(chǎn)量差的置信區(qū)間。（

=0.05）解：用x1

,…,x8表示甲品種的畝產(chǎn)量，

y1

,…,y10表示乙品種的畝產(chǎn)量，由樣本數(shù)據(jù)，n=10=487.0000

sy2=3256.2222

m=8=569.3750

sx2

=2140.5536下面分兩種情況討論：

例9

為比較兩個小麥品種的產(chǎn)量，選擇18塊條件相似的試驗田，采用相同的耕作方法作試驗，播種甲品種的8塊試驗田的畝產(chǎn)量和播種乙品種的10塊試驗田的畝產(chǎn)量（單位：千克/畝）分別為:

甲品種

628583510554612523530615

乙品種