數(shù)理統(tǒng)計與隨機(jī)過程ch7

數(shù)理統(tǒng)計與隨機(jī)過程第七章第七章:參數(shù)估計數(shù)理統(tǒng)計的任務(wù)：

●總體分布類型的判斷；

●總體分布中未知參數(shù)的推斷(參數(shù)估計與

假設(shè)檢驗)。參數(shù)估計問題的一般提法設(shè)總體

X

的分布函數(shù)為

F(x,θ)，其中θ為未知參數(shù)或參數(shù)向量，現(xiàn)從該總體中抽樣,得到樣本X1,X2,…,Xn.

依樣本對參數(shù)θ做出估計，或估計參數(shù)θ的某個已知函數(shù)g(θ)。

這類問題稱為參數(shù)估計。參數(shù)估計包括：點估計和區(qū)間估計。尋求估計量的方法1.矩估計法2.極大似然法3.最小二乘法4.貝葉斯方法

…我們僅介紹前面的兩種參數(shù)估計法。其思想是:用同階、同類的樣本矩來估計總體矩。矩估計是基于“替換”思想建立起來的一種參數(shù)估計方法。最早由英國統(tǒng)計學(xué)家K.

皮爾遜

提出。§7.1矩估計矩估計就是用相應(yīng)的樣本矩去估計總體矩。步驟二：算出樣本的

m

階原點矩步驟三：令得到關(guān)于

1,2,…,k

的方程組(L≥k)。一般要求方程組(1)中有

k

個獨立方程。步驟四：解方程組(1),并記其解為這種參數(shù)估計法稱為參數(shù)的矩估計法，簡稱矩法。解：先求總體的期望例1：設(shè)總體

X

的概率密度為解:

先求總體的均值和

2

階原點矩。例2：設(shè)

X1,X2,…Xn是取自總體

X

的簡單樣本,X有概率密度函數(shù)用樣本矩估計總體矩得故，均值,方差2的矩估計為求解，得如：正態(tài)總體N(

,2)中

和2的矩估計為又如：若總體X～U(a,b)，求a,b的矩估計。解：列出方程組因

矩估計的優(yōu)點是：簡單易行,不需要事先知道總體是什么分布。

缺點是：當(dāng)總體的分布類型已知時，未充分利用分布所提供的信息；此外，一般情形下，矩估計不具有唯一性?！?.2極大似然估計極大似然估計法是在總體的分布類型已知前提下，使用的一種參數(shù)估計法。該方法首先由德國數(shù)學(xué)家高斯于1821年提出，其后英國統(tǒng)計學(xué)家費歇于1922年發(fā)現(xiàn)了這一方法，研究了方法的一些性質(zhì)，并給出了求參數(shù)極大似然估計一般方法——極大似然估計原理。I.極大似然估計原理設(shè)總體

X

的分布

(連續(xù)型時為概率密度，離散型時為概率分布)

為f(x,

θ)

,X1,

X2,

…,Xn是抽自總體

X

的簡單樣本。于是，樣本的聯(lián)合概率函數(shù)(連續(xù)型時為聯(lián)合概率密度，離散型時為聯(lián)合概率分布)為被看作固定，但未知的參數(shù)視為變量假定我們觀測到一組樣本X1,X2,…,

Xn，要去估計未知參數(shù)θ

。稱為θ的極大似然估計(MLE)。一種直觀的想法是：哪個參數(shù)(多個參數(shù)時是哪組參數(shù))使得這組樣本出現(xiàn)的可能性(概率)最大，就用那個參數(shù)(或哪組參數(shù))作為參數(shù)的估計。這就是極大似然估計原理。即，如果θ可能變化空間,稱為參數(shù)空間。(4).在最大值點的表達(dá)式中，代入樣本值，就得參數(shù)θ的極大似然估計。II.求極大似然估計(MLE)的一般步驟.由總體分布導(dǎo)出樣本的聯(lián)合概率函數(shù)(連續(xù)型時為聯(lián)合概率密度,離散型時為聯(lián)合概率分布)；(2).把樣本的聯(lián)合概率函數(shù)中的自變量看成已知常數(shù),參數(shù)θ看成自變量,得到似然函數(shù)L(θ)；(3).求似然函數(shù)L(θ

)的最大值點(常常轉(zhuǎn)化為求lnL(θ)的最大值點)，即θ的MLE;III.下面舉例說明如何求參數(shù)的MLE例1:

設(shè)X1,X2,…,Xn是取自總體X~B(1,p)的一個樣本，求參數(shù)p

的極大似然估計。解：似然函數(shù)為對數(shù)似然函數(shù)為：對

p

求導(dǎo)，并令其等于零，得上式等價于解上述方程，得換成換成例2：求正態(tài)總體

N(,2)參數(shù)

和

2

的極大似然估計(注:我們把

2

看作一個參數(shù))。解：似然函數(shù)為對數(shù)似然函數(shù)為似然方程組為由第一個方程，得到代入第二方程，得到是L(,2)的最大值點，即

和

2

的極大似然估計。下面驗證：似然方程組的唯一解是似然函數(shù)的最大值點。例3：設(shè)總體

X

服從泊松分布P(

)，求參數(shù)的極大似然估計。解：由

X

的概率分布函數(shù)為得的似然函數(shù)似然方程為對數(shù)似然函數(shù)為其解為換成換成得的極大似然估計例4：設(shè)

X

～U(a,b)，求a,b的極大似然估計。

解：因所以由上式看到：L(a,b)作為a和b的二元函數(shù)是不連續(xù)的，所以我們不能用似然方程組來求極大似然估計，而必須從極大似然估計的定義出發(fā)，求L(a,b)的最大值。為使

L(a,b)

達(dá)到最大，b-a

應(yīng)該盡量地小。但

b不能小于max{x1,x2,…,xn}。否則，L(a,b)=0。類似地，a

不能大于min{x1,x2,…,xn}。因此，a

和

b

的極大似然估計為解：似然函數(shù)為例5：設(shè)X1,X2,…,Xn是抽自總體

X

的一個樣本，X

有如下概率密度函數(shù)其中θ

>0為未知常數(shù)。求θ的極大似然估計。也可寫成求導(dǎo)并令其導(dǎo)數(shù)等于零，得解上述方程，得

從前面兩節(jié)的討論中可以看到:●同一參數(shù)可以有幾種不同的估計，這時就需要判斷采用哪一種估計為好的問題。●另一方面，對于同一個參數(shù)，用矩法和極大似然法即使得到的是同一個估計,也存在衡量這個估計優(yōu)劣的問題。估計量的優(yōu)良性準(zhǔn)則就是：評價一個估計量“好”與“壞”的標(biāo)準(zhǔn)?！?.3估計量的優(yōu)良性準(zhǔn)則

設(shè)總體的分布參數(shù)為θ

，對一切可能的θ成立,則稱為的無偏估計。7.3.1無偏性對于樣本X1,X2,,Xn的不同取值，取不同的值

)。如果的均值等于θ，即簡記為是θ

的一個估計(注意!它是一個統(tǒng)計量，是隨機(jī)變量。參數(shù)，有時可能估計偏高，有時可能偏低，但是平均來說它等于。“一切可能的

”是指：在參數(shù)估計問題中，參數(shù)

一切可能的取值。我們之所以要求對一切可能的

都成立，是因為在參數(shù)估計問題中,我們并不知道參數(shù)的真實取值。自然要求它在參數(shù)的一切可能取值的范圍內(nèi)都成立說明：無偏性的意義是：用估計量估計例1：設(shè)

X1,X2,…,Xn為抽自均值為的總體X的隨機(jī)樣本，考慮

的如下幾個估計量：例如：若指的是正態(tài)總體N(

,2)的均值,則其一切可能取值范圍是(-∞,∞)。若指的是方差2，則其一切可能取值范圍是(0,∞)。

定理1：設(shè)總體

X

的均值為,方差為2,X1,X2,…,Xn

為來自總體

X的隨機(jī)樣本，記與分別為樣本均值與樣本方差，即

即樣本均值和樣本方差分別是

總體均值

和總體方差

的無偏估計。證明：因為

X1,X2,…,Xn獨立同分布，且E(Xi

)=μ,所以另一方面，因于是，有注意到前面兩節(jié)中，我們曾用矩法和極大似然法分別求得了正態(tài)總體N(μ

,σ2)中參數(shù)

σ2的估計,均為很顯然，它不是

σ2

的無偏估計。這正是我們?yōu)槭裁匆獙⑵浞帜感拚秊閚-1，獲得樣本方差S2來估計

σ2

的理由。例2：求證：樣本標(biāo)準(zhǔn)差S不是總體標(biāo)準(zhǔn)差的無偏估計。證明：因

E(S2)=2，所以，D(S)+[E(S)]2=

2，由

D(S)＞0，知

[E(S)]2=

2-D(S)＜

2.所以，E(S)＜.故，S

不是

的無偏估計。例3：設(shè)總體

X的

k階原點距為

ak=E(Xk)，X1,X2,…,Xn是X的隨機(jī)樣本，樣本

k

階原點距為Ak,則Ak是ak的無偏估計，k=1,2,…。證明：因X1,X2,…,Xn獨立，且與

X

同分布，故即，Ak是

ak的無偏估計。這就是人們?yōu)槭裁闯Ｓ脴颖?/p>

k

階矩估計總體

k

階矩的主要原因之一。例4：設(shè)總體

X

服從參數(shù)為θ

的指數(shù)分布，即其概率密度函數(shù)為證明：設(shè)Z的分布函數(shù)為

FZ(z,θ)，先求分布函數(shù)，然后導(dǎo)出

Z

的概率密度函數(shù)及

E(nZ)。若

X1,X2,…,Xn是

X

的隨機(jī)樣本，記則

nZ

為θ

的無偏估計。

因X1,X2,…,Xn獨立，且與

X

同分布，所以，對任意給定的

Z>0,有于是，E(Z)=θ/n，E(nZ)=θ，即

nZ

為θ

的無偏估計。

用估計量估計，估計誤差7.3.2均方誤差準(zhǔn)則

是隨機(jī)變量，通常用其均值衡量估計誤差的大小。要注意:為了防止求均值時正、負(fù)誤差相互抵消，我們先將其平方后再求均值，并稱其為均方誤差，記成，即

哪個估計的均方誤差小，就稱哪個估計比較優(yōu)，這種判定估計優(yōu)劣的準(zhǔn)則為“均方誤差準(zhǔn)則”。注意：均方誤差可分解成兩部分:證明：上式表明，均方誤差由兩部分構(gòu)成：第一部分是估計量的方差，第二部分是估計量的偏差的平方和。

注意：如果一個估計量是無偏的，則第二部分是零，則有:

如果兩個估計都是無偏估計，這時哪個估計的方差小，哪個估計就較優(yōu)。這種判定估計量優(yōu)劣的準(zhǔn)則稱為方差準(zhǔn)則。例5：設(shè)

X1,X2,…,Xn為抽自均值為

的總體,考慮

的如下兩個估計的優(yōu)劣：

我們看到:顯然兩個估計都是的無偏估計。計算二者的方差：這表明：當(dāng)用樣本均值去估計總體均值時，使用全樣本總比不使用全樣本要好。

前面討論了參數(shù)的點估計。點估計就是利用樣本計算出的值

(即實軸上點)來估計未知參數(shù)?！?.4區(qū)間估計其優(yōu)點是：可直地告訴人們“未知參數(shù)大致是多少”；缺點是：并未反映出估計的誤差范圍(精度)。故，在使用上還有不盡如人意之處。而區(qū)間估計正好彌補(bǔ)了點估計的這一不足之處。

例如：在估計正態(tài)總體均值

μ

的問題中,若根據(jù)一組實際樣本，得到

μ

的極大似然估計為

10.12。一個可以想到的估計辦法是：給出一個區(qū)間，并告訴人們該區(qū)間包含未知參數(shù)

μ

的可靠度(也稱置信系數(shù))。實際上，μ的真值可能大于10.12，也可能小于10.12。也就是說，給出一個區(qū)間，使我們能以一定的可靠度相信區(qū)間包含參數(shù)μ

。這里的“可靠度”是用概率來度量的，稱為置信系數(shù)，常用表示置信系數(shù)的大小常根據(jù)實際需要來確定，通常取0.95或0.99，即

根據(jù)實際樣本，由給定的置信系數(shù)，可求出一個盡可能短的區(qū)間，使

為確定置信區(qū)間，我們先回顧前面給出的隨機(jī)變量的上α分位點的概念。書末附有χ2分布、t分布、F分布的上側(cè)分位數(shù)表可供使用。需要注意的地方在教材上均有說明?，F(xiàn)在回到尋找置信區(qū)間問題上來。區(qū)間估計的定義定義1：實際應(yīng)用上，一般取

α=0.05或

0.01?！?.5正態(tài)總體參數(shù)的區(qū)間估計根據(jù)基本定理(見定理6.4.1)，知7.5.1單正態(tài)總體參數(shù)的區(qū)間估計也可簡記為于是，μ的置信區(qū)間為例1:

某廠生產(chǎn)的零件長度

X

服從

N(

,0.04),現(xiàn)從該廠生產(chǎn)的零件中隨機(jī)抽取6個，長度測量值如下(單位:毫米):

14.6,15.l,14.9,14.8,15.2,15.1.求:μ的置信系數(shù)為0.95的區(qū)間估計。解：n=6，=0.05，z/2=z0.025=1.96，2=0.22

.所求置信區(qū)間為當(dāng)方差未知時，取●

μ

的區(qū)間估計于是，μ的置信系數(shù)為1-α

的區(qū)間估計為也可簡記為●

σ2

的區(qū)間估計例2：為估計一物體的重量μ，將其稱量10次,得到重量的測量值(單位:千克)如下:10.l,10.0,9.8,10.5,9.7,l0.l,9.9,10.2,10.3,9.9.設(shè)它們服從正態(tài)分布

N(,2)。求的置信系數(shù)為0.95的置信區(qū)間。解:

n=10,=0.05,t9(0.025)=2.2622,例3(續(xù)例2):

求2的置信系數(shù)為0.95的置信區(qū)間。解：n=10,

=0.05,S2=0.0583,查附表得，

于是，7.5.2兩個正態(tài)總體的情況

在實際應(yīng)用中，我們經(jīng)常會遇到兩個正態(tài)總體均值差和方差之比的區(qū)間估計問題。于是,評價新技術(shù)的效果問題，就歸結(jié)為研究兩個正態(tài)總體均值之差

1-2

與與方差之比12/22的問題。例如:考察一項新技術(shù)對提高產(chǎn)品某項質(zhì)量指標(biāo)的作用,將實施新技術(shù)前產(chǎn)品質(zhì)量指標(biāo)看成正態(tài)總體

N(1,

12)，實施新技術(shù)后產(chǎn)品質(zhì)量指標(biāo)看成正態(tài)總體

N(2,22)。

定理1：設(shè)

X1,X2,···,Xm是抽自正態(tài)總體X

的簡單樣本，X～N(1,12)，樣本均值與樣本方差分別為Y1,Y2,···,

Yn是抽自正態(tài)總體

Y

的簡單樣本，Y

～N(2,22)，樣本均值與樣本方差分別為I.兩個正態(tài)總體均值差的區(qū)間估計當(dāng)兩樣本相互獨立時，有證明:1).由基本定理(見定理6.4.1)，知

故，(4)式成立；且二者相互獨立。且(6)式與(7)式中的隨機(jī)變量相互獨立。由t分布的定義，有N(0,1)χ

2m+n-2換形式~t

m+n-2

.

分母互換利用該定理，我們可以得到μ1-μ2

的置信系數(shù)為

1-α的置信區(qū)間。例4

(比較棉花品種的優(yōu)劣)：假設(shè)用甲、乙兩種棉花紡出的棉紗強(qiáng)度分別為

X～N(1,2.182)和Y～N(2,1.762)。試驗者從這兩種棉紗中分別抽取樣本X1,X2,…,X200和Y1,Y2,…,Y100，樣本均值分別為:求1-2的置信系數(shù)為

0.95

的區(qū)間估計。

解:

1=2.18,2=1.76,m=200,n=100,=0.05,由(8)式，得

1-

2

的置信系數(shù)為

1-的置信區(qū)間為例5：某公司利用兩條自動化流水線灌裝礦泉水。設(shè)這兩條流水線所裝礦泉水的體積(單位:毫升)X～N(1,2)和

Y～N(2,2)?，F(xiàn)從生產(chǎn)線上分別抽取

X1,X2,…,X12

和

Y1,Y2,…,

Y17，樣本均值與樣本方差分別為:求

1-

2的置信系數(shù)為0.95的區(qū)間估計。解：m=12,n=17,=0.05，再由其他已知條件及(10)式，可算出查

t

分布表，得tm+n-2(α/2)=

t27(0.025)=2.05.再由(9)式，得

1-

2

的置信系數(shù)為

1-的置信區(qū)間

在這兩個例子中，

1-

2

的置信區(qū)間都包含了零，也就是說：

1可能大于

2，也可能小于

2。這時我們認(rèn)為二者沒有顯著差異。

II.兩個正態(tài)總體方差比的區(qū)間估計

定理2：設(shè)

X1,X2,···,Xm是抽自正態(tài)總體X

的簡單樣本，X～N(1,12)，樣本均值與樣本方差分別為Y1,Y2,···,

Yn是抽自正態(tài)總體

Y

的簡單樣本，Y

～N(2,22)，樣本均值與樣本方差為由定理2，易得到兩個正態(tài)總體方差之比的置信系數(shù)為1-α置信區(qū)間為：例5：研究機(jī)器A和機(jī)器B生產(chǎn)的鋼管的內(nèi)徑,隨機(jī)抽取A生產(chǎn)的鋼管18根,測得樣本方差0.34

(mm2);隨機(jī)抽取B生產(chǎn)的鋼管13根,測得樣本方差為0.29(mm2)。設(shè)兩樣本相互獨立,且機(jī)器A和機(jī)器B生產(chǎn)的鋼管的內(nèi)徑分別服從正態(tài)分布N(1,2)與

N(2,2)。求的置信水平為0.90的置信區(qū)間。

解:

由m=18,n=13,S12=0.34,S22=0.29,

=0.10及(11)式，得

的置信系數(shù)為

0.90

的置信區(qū)間為§7.6非正態(tài)總體的區(qū)間估計

前面兩節(jié)討論了正態(tài)總體分布參數(shù)的區(qū)間估計。但是在實際應(yīng)用中，我們有時不能判斷手中的數(shù)據(jù)是否服從正態(tài)分布，或者有足夠理由認(rèn)為它們不服從正態(tài)分布。這時，只要樣本大小

n

比較大，總體均值

μ

的置信區(qū)間仍可用正態(tài)總體情形的公式或σ2已知時σ2未知時所不同的是：這時的置信區(qū)間是近似的。

這是求一般總體均值的一種簡單有效的方法，其理論依據(jù)是中心極限定理，它要求樣本大小

n

比較大。因此，這個方法稱為大樣本方法。設(shè)總體均值為μ,方差為σ2,

X1,X2,…,Xn為來自總體的樣本。因為這些樣本獨立同分布的，根據(jù)中心極限定理，對充分大的n,下式近似成立因而，近似地有

于是，μ

的置信系數(shù)約為1-α的置信區(qū)間為當(dāng)σ2未知時，用σ2的某個估計，如

S2來代替，得到只要

n

很大，(2)式所提供的置信區(qū)間在應(yīng)用上是令人滿意的。

那么，n

究竟多大才算很大呢？

顯然，對于相同的

n

,(2)式所給出的置信區(qū)間的近似程度隨總體分布與正態(tài)分布的接近程度而變化，因此，理論上很難給出n很大的一個界限。但許多應(yīng)用實踐表明：當(dāng)n≥30時，近似程度是可以接受的；當(dāng)n≥50時，近似程度是很好的。例1：某公司欲估計自己生產(chǎn)的電池壽命?，F(xiàn)從其產(chǎn)品中隨機(jī)抽取

50

只電池做壽命試驗。這些電池壽命的平均值為

2.261

(單位：100小時)，標(biāo)準(zhǔn)差

S=1.935。求該公司生產(chǎn)的電池平均壽命的置信系數(shù)為

95%

的置信區(qū)間。

解：查正態(tài)分布表，得zα/2=z0.025=1.96，由公式(2)，得電池平均壽命的置信系數(shù)為

95%

的置