概率論第6章參數(shù)估計(jì)

第六章參數(shù)估計(jì)機(jī)動目錄上頁下頁返回結(jié)束第六章參數(shù)估計(jì)參數(shù)的點(diǎn)估計(jì)估計(jì)量的優(yōu)良準(zhǔn)則參數(shù)的區(qū)間估計(jì)0-1分布參數(shù)的區(qū)間估計(jì)單側(cè)置信區(qū)間上一節(jié),我們介紹了總體、樣本、簡單隨機(jī)樣本、統(tǒng)計(jì)量和抽樣分布的概念,介紹了統(tǒng)計(jì)中常用的三大分布,給出了幾個(gè)重要的抽樣分布定理.它們是進(jìn)一步學(xué)習(xí)統(tǒng)計(jì)推斷的基礎(chǔ).機(jī)動目錄上頁下頁返回結(jié)束總體樣本統(tǒng)計(jì)量描述作出推斷

研究統(tǒng)計(jì)量的性質(zhì)和評價(jià)一個(gè)統(tǒng)計(jì)推斷的優(yōu)良性,完全取決于其抽樣分布的性質(zhì).隨機(jī)抽樣機(jī)動目錄上頁下頁返回結(jié)束參數(shù)估計(jì)問題假設(shè)檢驗(yàn)問題點(diǎn)估計(jì)區(qū)間估計(jì)統(tǒng)計(jì)推斷的基本問題機(jī)動目錄上頁下頁返回結(jié)束

現(xiàn)在我們來介紹一類重要的統(tǒng)計(jì)推斷問題

參數(shù)估計(jì)問題,它是利用從總體抽樣得到的信息來估計(jì)總體的某些參數(shù)或者參數(shù)的某些函數(shù).估計(jì)廢品率估計(jì)新生兒的體重估計(jì)湖中魚數(shù)……估計(jì)降雨量

在參數(shù)估計(jì)問題中,假定總體分布形式已知,未知的僅僅是一個(gè)或幾個(gè)參數(shù).機(jī)動目錄上頁下頁返回結(jié)束這類問題稱為參數(shù)估計(jì).

參數(shù)估計(jì)問題的一般提法X1,

X2,

…,

Xn要依據(jù)該樣本對參數(shù)作出估計(jì),或估計(jì)的某個(gè)已知函數(shù).量).現(xiàn)從該總體抽樣,得樣本

設(shè)有一個(gè)統(tǒng)計(jì)總體,總體的分布函數(shù)為

,其中為未知參數(shù)(可以是向機(jī)動目錄上頁下頁返回結(jié)束機(jī)動目錄上頁下頁返回結(jié)束由總體的樣本(X1,

X2,

…,

Xn)對每一個(gè)未知參數(shù)

(i=1,

2,

…,

k)構(gòu)造統(tǒng)計(jì)量作為參數(shù)

的估計(jì),稱為參數(shù)

的估計(jì)量.樣本(X1,

X2,

…,

Xn)的一組取值(x1,

x2,

…,

xn)稱為樣本觀察值,將其代入估計(jì)量得到數(shù)值稱為參數(shù)

的估計(jì)值.iq參數(shù)估計(jì)類型

參數(shù)是刻畫總體某方面概率特性的數(shù)量.參數(shù)的類型有:若,2未知,通過構(gòu)造統(tǒng)計(jì)量,給出它們的估計(jì)值或取值范圍就是參數(shù)估計(jì)的內(nèi)容.區(qū)間估計(jì)參數(shù)估計(jì)的兩種類型點(diǎn)估計(jì)例如,

機(jī)動目錄上頁下頁返回結(jié)束1、分布中所含的未知參數(shù)

.

設(shè)這5個(gè)數(shù)是:1.651.671.681.781.69.現(xiàn)從該總體選取容量為5的樣本,我們的任務(wù)是要根據(jù)選出的樣本(5個(gè)數(shù))求出總體均值

的估計(jì).而全部信息就由這5個(gè)數(shù)組成.估計(jì)為1.68,這是點(diǎn)估計(jì).

機(jī)動目錄上頁下頁返回結(jié)束估計(jì)在區(qū)間(1.57,1.84)內(nèi),這是區(qū)間估計(jì).(假定身高服從正態(tài)分布)假如我們要估計(jì)某隊(duì)男生的平均身高.2、分布中所含的未知參數(shù)

的函數(shù)

3、分布的各種特征數(shù)例如:,分布中位數(shù)等.例如:

,其中,2未知,對于某定值a,

要估計(jì),即為

,

的函數(shù).機(jī)動目錄上頁下頁返回結(jié)束例

已知某地區(qū)新生嬰兒的體重X~隨機(jī)抽查100個(gè)嬰兒…得100個(gè)體重?cái)?shù)據(jù)10,

7,

6,

6.5,

5,

5.2,

…呢?據(jù)此,

我們應(yīng)如何估計(jì)和而全部信息就由這100個(gè)數(shù)組成.6.1參數(shù)的點(diǎn)估計(jì)機(jī)動目錄上頁下頁返回結(jié)束使用什么樣的統(tǒng)計(jì)量去估計(jì)?可以用樣本均值;也可以用樣本中位數(shù);還可以用別的統(tǒng)計(jì)量.問題是:

機(jī)動目錄上頁下頁返回結(jié)束尋求估計(jì)量的方法1.矩估計(jì)法2.極大似然法3.最小二乘法4.貝葉斯方法……這里我們主要介紹前面兩種方法.機(jī)動目錄上頁下頁返回結(jié)束

矩估計(jì)法其基本思想是用樣本矩估計(jì)總體矩.理論依據(jù):或格列汶科定理

它是基于一種簡單的“替換”思想建立起來的一種估計(jì)方法.是英國統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出的.大數(shù)定律機(jī)動目錄上頁下頁返回結(jié)束記總體k階矩為樣本k階矩為用相應(yīng)的樣本矩去估計(jì)總體矩的估計(jì)方法就稱為矩估計(jì)法.記總體k階中心矩為樣本k階中心矩為機(jī)動目錄上頁下頁返回結(jié)束機(jī)動目錄上頁下頁返回結(jié)束矩法估計(jì)步驟設(shè)總體X的分布為,k個(gè)參數(shù)

待估計(jì),(X1,

X2,

…,

Xn)是一個(gè)樣本.(1)計(jì)算總體分布的i

階原點(diǎn)矩(計(jì)算到k階矩為止,k個(gè)參數(shù));機(jī)動目錄上頁下頁返回結(jié)束(2)列方程從中解出方程組的解,記為,則分別為參數(shù)

的矩估計(jì).機(jī)動目錄上頁下頁返回結(jié)束解得矩法估計(jì)量為解例6.1設(shè)總體X的均值為

,方差為

,均未知.(X1,

X2,

…,

Xn)是總體的樣本,求

和

的矩估計(jì).機(jī)動目錄上頁下頁返回結(jié)束注:機(jī)動目錄上頁下頁返回結(jié)束例6.3設(shè)(X1,

X2,

…,

Xn)來自X的一個(gè)樣本,且求a,

b的矩估計(jì).解例6.2設(shè)總體,求

的矩估計(jì).機(jī)動目錄上頁下頁返回結(jié)束解

X~U(a,

b)例6.3設(shè)(X1,

X2,

…,

Xn)來自X的一個(gè)樣本,且求a,

b的矩估計(jì).解得矩估計(jì)為2階中心矩機(jī)動目錄上頁下頁返回結(jié)束解:由矩法,樣本矩總體矩從中解得的矩估計(jì).即為數(shù)學(xué)期望是一階原點(diǎn)矩例6.4

設(shè)總體X的概率密度為是未知參數(shù),其中X1,

X2,

…,

Xn是取自X的樣本,

求參數(shù)的矩估計(jì).機(jī)動目錄上頁下頁返回結(jié)束解:

由密度函數(shù)知具有均值為的指數(shù)分布機(jī)動目錄上頁下頁返回結(jié)束

例6.5設(shè)X1,

X2,

…,Xn是取自總體X的一個(gè)樣本其中,求的矩估計(jì).是未知參數(shù)故即解得令用樣本矩估計(jì)總體矩機(jī)動目錄上頁下頁返回結(jié)束即機(jī)動目錄上頁下頁返回結(jié)束矩法估計(jì)的優(yōu)點(diǎn):計(jì)算簡單.如例6.2中,不是用1階矩,而是用2階矩.(2)

求矩法估計(jì)時(shí),不同的做法會得到不同的解;(通常規(guī)定,在求矩法估計(jì)時(shí),要盡量使用低階矩).矩法估計(jì)的缺點(diǎn):(1)矩法估計(jì)有時(shí)會得到不合理的解;機(jī)動目錄上頁下頁返回結(jié)束與不同.解例6.2設(shè)總體,求

的矩估計(jì).(3)

總體分布的矩不一定存在,所以矩法估計(jì)不一定有解.如機(jī)動目錄上頁下頁返回結(jié)束

極大似然法

極大似然估計(jì)法是在總體類型已知條件下使用的一種參數(shù)估計(jì)方法.

它首先是由德國數(shù)學(xué)家高斯在1821年提出的,然而,GaussFisher這個(gè)方法常歸功于英國統(tǒng)計(jì)學(xué)家費(fèi)歇.

費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法,并首先研究了這種方法的一些性質(zhì).機(jī)動目錄上頁下頁返回結(jié)束

極大似然法的基本思想

先看一個(gè)簡單例子:一只野兔從前方竄過.是誰打中的呢?

某位同學(xué)與一位獵人一起外出打獵.如果要你推測,你會如何想呢?只聽一聲槍響,野兔應(yīng)聲倒下.機(jī)動目錄上頁下頁返回結(jié)束

下面我們再看一個(gè)例子,

進(jìn)一步體會極大似然法的基本思想.

只發(fā)一槍便打中,

獵人命中的概率一般大于這位同學(xué)命中的概率.看來這一槍是獵人射中的.這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.機(jī)動目錄上頁下頁返回結(jié)束例

設(shè)X~B(1,

p),p未知.

設(shè)想我們事先知道p只有兩種可能:問:

應(yīng)如何估計(jì)p?p=0.7或p=0.3如今重復(fù)試驗(yàn)3次,

得結(jié)果:0,0,0由概率論的知識,3次試驗(yàn)中出現(xiàn)“1”的次數(shù)k=0,

1,

2,

3機(jī)動目錄上頁下頁返回結(jié)束

將計(jì)算結(jié)果列表如下:應(yīng)如何估計(jì)p?p=0.7或p=0.3k=0,

1,

2,

3p值 P(Y=0)P(Y=1)P(Y=2)P(Y=3)0.7 0.0270.189 0.441 0.3430.3 0.3430.441 0.189 0.027 出現(xiàn)估計(jì)出現(xiàn)出現(xiàn)出現(xiàn)估計(jì)估計(jì)估計(jì)0.3430.4410.4410.343機(jī)動目錄上頁下頁返回結(jié)束

如果有p1,

p2,

…,

pm可供選擇,又如何合理地選p呢?從中選取使Qi

最大的pi

作為p的估計(jì).i=1,

2,

…,

m則估計(jì)參數(shù)p為時(shí)Qi

最大,比方說,

當(dāng)我們計(jì)算一切可能的

P(Y=k;pi

)=Qi

,

i=1,

2,

…,

m機(jī)動目錄上頁下頁返回結(jié)束若重復(fù)進(jìn)行試驗(yàn)n次,

結(jié)果“1”出現(xiàn)k次(

),如果只知道0<p<1,

并且實(shí)測記錄是Y=k(0≤

k≤n),

又應(yīng)如何估計(jì)p呢?注意到是p的函數(shù),

可用求導(dǎo)的方法找到使f(p)達(dá)到極大值的p.

但因f(p)與lnf(p)達(dá)到極大值的自變量相同,

故問題可轉(zhuǎn)化為求lnf(p)的極大值點(diǎn).機(jī)動目錄上頁下頁返回結(jié)束將ln

f(p)對p求導(dǎo)并令其為0,這時(shí),對一切0<p<1,

均有從中解得便得

p(n-k)=k(1-p)機(jī)動目錄上頁下頁返回結(jié)束

以上這種選擇一個(gè)參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率的思想就是極大似然法的基本思想.這時(shí),

對一切0<p<1,

均有則估計(jì)參數(shù)p為機(jī)動目錄上頁下頁返回結(jié)束

極大似然估計(jì)原理當(dāng)給定樣本X1,

X2,

…,Xn時(shí),定義似然函數(shù)為：機(jī)動目錄上頁下頁返回結(jié)束

設(shè)X1,

X2,

…,Xn是取自總體X的一個(gè)樣本,樣本的聯(lián)合密度(連續(xù)型)或聯(lián)合概率函數(shù)(離散型)為

似然函數(shù):極大似然估計(jì)法就是用使

達(dá)到最大值的去估計(jì).稱為的極大似然估計(jì)(MLE).

看作參數(shù)的函數(shù),它可作為將以多大可能產(chǎn)生樣本值X1,

X2,

…,Xn的一種度量.機(jī)動目錄上頁下頁返回結(jié)束機(jī)動目錄上頁下頁返回結(jié)束,稱為參數(shù)的對每一樣本值(x1,

x2,

…,

xn),在參數(shù)空間內(nèi)使似然函數(shù)達(dá)到最大的參數(shù)估計(jì)值極大似然估計(jì)值,它滿足稱統(tǒng)計(jì)量為參數(shù)

的極大似然估計(jì)量.記為機(jī)動目錄上頁下頁返回結(jié)束極大似然估計(jì)求解步驟如果X是連續(xù)型隨機(jī)變量,密度函數(shù)為f(x),則如果X是離散型隨機(jī)變量,分布律為P(X=k),則(1)寫出似然函數(shù)L的表達(dá)式設(shè)總體X的分布中,有m個(gè)未知參數(shù),它們的取值范圍.機(jī)動目錄上頁下頁返回結(jié)束(2)在內(nèi)求出使得似然函數(shù)L達(dá)到最大的參數(shù)的估計(jì)值它們就是未知參數(shù)

的極大似然估計(jì).一般地,先將似然函數(shù)取對數(shù)lnL,然后令lnL關(guān)于

的偏導(dǎo)數(shù)為0,得方程組機(jī)動目錄上頁下頁返回結(jié)束從中解出機(jī)動目錄上頁下頁返回結(jié)束x=1,2,…設(shè)(x1,

x2,

…,

xn)為樣本(X1,

X2,

…,

Xn)的一個(gè)觀察值,似然函數(shù)解總體X的分布律為例6.6

(X1,

X2,

…,

Xn)是來自總體

的樣本,

未知,求

的極大似然估計(jì)量.機(jī)動目錄上頁下頁返回結(jié)束對數(shù)似然函數(shù)的極大似然估計(jì)值為的極大似然估計(jì)量為機(jī)動目錄上頁下頁返回結(jié)束解設(shè)(x1,

x2,

…,

xn)為樣本(X1,

X2,

…,

Xn)的一個(gè)觀察值,則似然函數(shù)為例6.7設(shè)(X1,

X2,

…,X

n)是來自正態(tài)總體

的一個(gè)樣本,

未知,求

的極大似然估計(jì).機(jī)動目錄上頁下頁返回結(jié)束解得思考:當(dāng)

已知時(shí),所以的極大似然估計(jì)量分別為機(jī)動目錄上頁下頁返回結(jié)束例6.8設(shè)X~U[a,

b],a,

b未知,(X1,

X2,

…,

Xn)是總體X的一個(gè)樣本,求a,

b的極大似然估計(jì).設(shè)(x1,

x2,

…,

xn)為樣本(X1,

X2,

…,

Xn)的一個(gè)觀察值,則似然函數(shù)解

X的密度函數(shù)為機(jī)動目錄上頁下頁返回結(jié)束無法求出估計(jì)機(jī)動目錄上頁下頁返回結(jié)束設(shè)x1*=min(x1,

x2,

…,

xn),

xn*=max(x1,

x2,

…,

xn),則a的取值范圍a≤x1*,b的取值范圍b≥xn*L(a,

b)當(dāng)a=x1*,b=xn*時(shí)取得最大值.所以當(dāng)a=x1*,b=xn*時(shí),有兩點(diǎn)說明:可以得到的MLE.若是向量,上述方程必須用似然方程組代替.機(jī)動目錄上頁下頁返回結(jié)束1、求似然函數(shù)

的最大值點(diǎn),可以應(yīng)用微積分中的技巧.由于ln(x)是x的增函數(shù),

與

在的同一值處達(dá)到它的最大值,假定是一實(shí)數(shù),且

是的一個(gè)可微函數(shù).通過求解所謂“似然方程”:2、用上述求導(dǎo)方法求參數(shù)的MLE有時(shí)行不通,這時(shí)要用極大似然原則來求.兩點(diǎn)說明：機(jī)動目錄上頁下頁返回結(jié)束L(p)=f(X1,

X2,

…,Xn;p)例6.8設(shè)X1,

X2,

…,Xn是取自總體X~B(1,p)的一個(gè)樣本,求參數(shù)p的極大似然估計(jì).解:似然函數(shù)為:機(jī)動目錄上頁下頁返回結(jié)束對數(shù)似然函數(shù)為：對p求導(dǎo)并令其為0,得即為p

的MLE.機(jī)動目錄上頁下頁返回結(jié)束解:似然函數(shù)為對數(shù)似然函數(shù)為例6.9

設(shè)X1,

X2,

…,Xn是取自總體X的一個(gè)樣本求的極大似然估計(jì).機(jī)動目錄上頁下頁返回結(jié)束其中

求導(dǎo)并令其為0從中解得即為的MLE.對數(shù)似然函數(shù)為機(jī)動目錄上頁下頁返回結(jié)束解:似然函數(shù)為

例6.10設(shè)X1,

X2,

…,Xn是取自總體X的一個(gè)樣本其中

,

求的極大似然估計(jì).i=1,2,…,n機(jī)動目錄上頁下頁返回結(jié)束未知對數(shù)似然函數(shù)為解:似然函數(shù)為i=1,

2,

…,

n機(jī)動目錄上頁下頁返回結(jié)束(2)由(1)得(1)對分別求偏導(dǎo)并令其為0,對數(shù)似然函數(shù)為用求導(dǎo)方法無法最終確定用極大似然原則來求.機(jī)動目錄上頁下頁返回結(jié)束是對故使達(dá)到最大的即的MLE，于是取其它值時(shí),即為的MLE.且是的增函數(shù)由于機(jī)動目錄上頁下頁返回結(jié)束我們知道,

服從正態(tài)分布

的r.vX

由大數(shù)定律,機(jī)動目錄上頁下頁返回結(jié)束可以用樣本均值

估計(jì)類似地,用樣本修正方差

估計(jì)

樣本均值是否是

的一個(gè)好的估計(jì)量?(2)怎樣決定一個(gè)估計(jì)量是否比另一個(gè)估計(jì)量“好”?樣本方差是否是

的一個(gè)好的估計(jì)量?這就需要討論以下幾個(gè)問題:(1)我們希望一個(gè)“好的”估計(jì)量具有什么特性?(3)如何求得合理的估計(jì)量?那么要問:機(jī)動目錄上頁下頁返回結(jié)束

在介紹估計(jì)量優(yōu)良性的準(zhǔn)則之前,我們必須強(qiáng)調(diào)指出:

評價(jià)一個(gè)估計(jì)量的好壞,不能僅僅依據(jù)一次試驗(yàn)的結(jié)果,而必須由多次試驗(yàn)結(jié)果來衡量.

這是因?yàn)楣烙?jì)量是樣本的函數(shù),是隨機(jī)變量.因此,由不同的觀測結(jié)果,就會求得不同的參數(shù)估計(jì)值.因此一個(gè)好的估計(jì),應(yīng)在多次試驗(yàn)中體現(xiàn)出優(yōu)良性.6.2

估計(jì)的優(yōu)良準(zhǔn)則機(jī)動目錄上頁下頁返回結(jié)束

常用的幾條標(biāo)準(zhǔn)是:1．無偏性2．有效性3．相合性機(jī)動目錄上頁下頁返回結(jié)束

估計(jì)量是隨機(jī)變量,對于不同的樣本值會得到不同的估計(jì)值.我們希望估計(jì)值在未知參數(shù)真值附近擺動,而它的期望值等于未知參數(shù)的真值.這就導(dǎo)致無偏性這個(gè)標(biāo)準(zhǔn).

無偏性則稱為的無偏估計(jì).設(shè)是未知參數(shù)的估計(jì)量,若機(jī)動目錄上頁下頁返回結(jié)束機(jī)動目錄上頁下頁返回結(jié)束如果不是無偏的,就稱該估計(jì)是有偏的.稱為的偏差.如果,就稱該估計(jì)為漸進(jìn)無偏估計(jì).

例如,用樣本均值作為總體均值的估計(jì)時(shí),雖無法說明一次估計(jì)所產(chǎn)生的偏差,但這種偏差隨機(jī)地在0的周圍波動,對同一統(tǒng)計(jì)問題大量重復(fù)使用不會產(chǎn)生系統(tǒng)偏差.無偏性是對估計(jì)量的一個(gè)常見而重要的要求.無偏性的實(shí)際意義是指沒有系統(tǒng)性的偏差.機(jī)動目錄上頁下頁返回結(jié)束證明設(shè)X的k階矩(X1,

X2,

…,

Xn)是來自正態(tài)總體X的一個(gè)樣本,則例6.11設(shè)總體X的k階矩存在,則不論X的分布如何,樣本k階原點(diǎn)矩是總體k階矩的無偏估計(jì).機(jī)動目錄上頁下頁返回結(jié)束機(jī)動目錄上頁下頁返回結(jié)束所以Ak是

的無偏估計(jì).解設(shè)(X1,

X2,

…,

Xn)是取自總體X的一個(gè)樣本,由例6.7知機(jī)動目錄上頁下頁返回結(jié)束例6.12設(shè)

,其中

未知,問

的極大似然估計(jì)是否為

的無偏估計(jì)?若不是,請修正使它成為無偏估計(jì).是

的無偏估計(jì)機(jī)動目錄上頁下頁返回結(jié)束不是

的無偏估計(jì),而為

的無偏估計(jì).樣本均值為總體均值

的無偏估計(jì)樣本原點(diǎn)矩

為總體原點(diǎn)矩

的無偏估計(jì).是總體方差

的無偏估計(jì).一般的,二階或二階以上樣本中心矩不是總體中心矩的無偏估計(jì).機(jī)動目錄上頁下頁返回結(jié)束所以無偏估計(jì)以方差小者為好,這就引進(jìn)了有效性這一概念.的大小來決定二者和一個(gè)參數(shù)往往有不止一個(gè)無偏估計(jì),若和都是參數(shù)的無偏估計(jì)量，比較我們可以誰更優(yōu).由于機(jī)動目錄上頁下頁返回結(jié)束

有效性D()<D()則稱較有效.都是參數(shù)的無偏估計(jì)量,若有設(shè)和機(jī)動目錄上頁下頁返回結(jié)束在

的所有無偏估計(jì)量中,若是具有最小方差的無偏估計(jì)量,則稱為一致最小方差無偏估計(jì)量.機(jī)動目錄上頁下頁返回結(jié)束解

X的密度函數(shù)例6.12設(shè)總體

,

,未知,(X1,

X2,

…,

Xn)

是總體X的一個(gè)樣本,(1)求

的矩估計(jì)和極大似然估計(jì);(2)上述兩個(gè)估計(jì)是否為無偏估計(jì)量,若不是,請修正為無偏估計(jì)量;(3)問在(2)中的兩個(gè)無偏估計(jì)量哪一個(gè)更有效?機(jī)動目錄上頁下頁返回結(jié)束解

X的密度函數(shù)(1)設(shè)(x1,

x2,

…,

xn)為樣本觀察值,則似然函數(shù)i=1,

2,

…,n

的矩估計(jì)為令xn*=max(x1,

x2,

…,

xn),則機(jī)動目錄上頁下頁返回結(jié)束令xn*=max(x1,

x2,

…,

xn),則即

的極大似然估計(jì)為機(jī)動目錄上頁下頁返回結(jié)束(2)是

的無偏估計(jì).機(jī)動目錄上頁下頁返回結(jié)束為求,先求Xn*的密度函數(shù)機(jī)動目錄上頁下頁返回結(jié)束顯然,它不是

的無偏估計(jì),修正如下:則是

的無偏估計(jì).令機(jī)動目錄上頁下頁返回結(jié)束(3)機(jī)動目錄上頁下頁返回結(jié)束機(jī)動目錄上頁下頁返回結(jié)束因此比更有效.當(dāng)n>1時(shí),對任意在參數(shù)估計(jì)中,很容易想到,如果樣本容量越大,樣本所含的總體分布的信息越多.n越大,越能精確估計(jì)總體的未知參數(shù).隨著n的無限增大,一個(gè)好的估計(jì)量與被估參數(shù)的真值之間任意接近的可能性會越來越大,這就是所謂的相合性或一致性.機(jī)動目錄上頁下頁返回結(jié)束相合性機(jī)動目錄上頁下頁返回結(jié)束則稱

為的相合估計(jì).

設(shè)總體X具有概率函數(shù)為未知參數(shù),為的一個(gè)估計(jì)量,為樣本容量.若對任意,有定義機(jī)動目錄上頁下頁返回結(jié)束例6.13設(shè)是總體X的樣本均值,則作為總體期望E(X)的估計(jì)量時(shí),是E(X)的一致估計(jì)量.是E(X)的一致估計(jì)量.證明由大數(shù)定律可知,當(dāng)

時(shí)機(jī)動目錄上頁下頁返回結(jié)束證明由切貝雪夫不等式可知為

的一致估計(jì)量.例6.14設(shè)為

的無偏估計(jì)量,若則為

的一致估計(jì)量.機(jī)動目錄上頁下頁返回結(jié)束這一節(jié),我們介紹了參數(shù)點(diǎn)估計(jì),討論了估計(jì)量的優(yōu)良性準(zhǔn)則.給出了尋求估計(jì)量最常用的矩法和極大似然法.參數(shù)點(diǎn)估計(jì)是用一個(gè)確定的值去估計(jì)未知的參數(shù).看來似乎精確,實(shí)際上把握不大.為了使估計(jì)的結(jié)論更可信,需要引入?yún)^(qū)間估計(jì).

這是下一節(jié)的內(nèi)容.機(jī)動目錄上頁下頁返回結(jié)束上一節(jié)中,我們討論了參數(shù)的點(diǎn)估計(jì),只要給定樣本觀察值,就能算出參數(shù)的估計(jì)值.但用點(diǎn)估計(jì)的方法得到的估計(jì)值不一定是參數(shù)的真值,即使與真值相等也無法肯定這種相等(因?yàn)榭傮w參數(shù)本身是未知的),也就是說,由點(diǎn)估計(jì)得到的參數(shù)估計(jì)值沒有給出它與真值之間的可靠程度,在實(shí)際應(yīng)用中往往還需要知道參數(shù)的估計(jì)值落在其真值附近的一個(gè)范圍.6.3

區(qū)間估計(jì)為此我們要求由樣本構(gòu)造一個(gè)以較大的概率包含真實(shí)參數(shù)的一個(gè)范圍或區(qū)間,這種帶有概率的區(qū)間稱為置信區(qū)間,通過構(gòu)造一個(gè)置信區(qū)間對未知參數(shù)進(jìn)行估計(jì)的方法稱為區(qū)間估計(jì).機(jī)動目錄上頁下頁返回結(jié)束

譬如,在估計(jì)湖中魚數(shù)的問題中,若我們根據(jù)一個(gè)實(shí)際樣本,得到魚數(shù)N的極大似然估計(jì)為1000條.若我們能給出一個(gè)區(qū)間,在此區(qū)間內(nèi)我們合理地相信N的真值位于其中.這樣對魚數(shù)的估計(jì)就有把握多了.

實(shí)際上,N的真值可能大于1000條,也可能小于1000條.機(jī)動目錄上頁下頁返回結(jié)束

也就是說,我們希望確定一個(gè)區(qū)間,使我們能以比較高的可靠程度相信它包含真參數(shù)值.湖中魚數(shù)的真值[]

這里所說的“可靠程度”是用概率來度量的,稱為置信概率,置信度或置信水平.習(xí)慣上把置信水平記作,這里是一個(gè)很小的正數(shù).機(jī)動目錄上頁下頁返回結(jié)束置信水平的大小是根據(jù)實(shí)際需要選定的.

例如,通常可取置信水平=0.95或0.9等.根據(jù)一個(gè)實(shí)際樣本,由給定的置信水平,我們求出一個(gè)盡可能小的區(qū)間,使置信區(qū)間.稱區(qū)間為的置信水平為的機(jī)動目錄上頁下頁返回結(jié)束尋找置信區(qū)間的方法,

一般是從確定誤差限入手.使得稱

為與

之間的誤差限.

我們選取未知參數(shù)的某個(gè)估計(jì)量,根據(jù)置信水平,可以找到一個(gè)正數(shù)

,只要知道的概率分布,確定誤差限并不難.機(jī)動目錄上頁下頁返回結(jié)束下面我們就來正式給出置信區(qū)間的定義,并通過例子說明求置信區(qū)間的方法.由不等式可以解出:這個(gè)不等式就是我們所求的置信區(qū)間.機(jī)動目錄上頁下頁返回結(jié)束機(jī)動目錄上頁下頁返回結(jié)束使得

設(shè)總體X的分布函數(shù)族為對于給定的

,如果有兩個(gè)統(tǒng)計(jì)量對一切

成立,則稱隨機(jī)區(qū)間是

的置信度為

的雙側(cè)置信區(qū)間.雙側(cè)置信下限;雙側(cè)置信上限;

置信度.置信區(qū)間定義由定義可知,置信區(qū)間是以統(tǒng)計(jì)量為端點(diǎn)的隨機(jī)區(qū)間,對于給定的樣本觀察值(x1,

x2,

…,

xn),由統(tǒng)計(jì)量構(gòu)成的置信區(qū)間可能包含真值

,也可能不包含真值,但在多次觀察或試驗(yàn)中,每一個(gè)樣本皆得到一個(gè)置信區(qū)間,在這些區(qū)間中包含真值

的區(qū)間占,不包含

的僅占.機(jī)動目錄上頁下頁返回結(jié)束

一旦有了樣本,就把估計(jì)在區(qū)間內(nèi).這里有兩個(gè)要求:可見,

對參數(shù)作區(qū)間估計(jì),就是要設(shè)法找出兩個(gè)只依賴于樣本的界限(構(gòu)造統(tǒng)計(jì)量)機(jī)動目錄上頁下頁返回結(jié)束2.估計(jì)的精度要盡可能的高.如要求區(qū)間長度盡可能短,或能體現(xiàn)該要求的其它準(zhǔn)則.可靠度與精度是一對矛盾,一般是在保證可靠度的條件下盡可能提高精度.1.要求以很大的可能被包含在區(qū)間內(nèi),就是說,概率要盡可能大.即要求估計(jì)盡量可靠.機(jī)動目錄上頁下頁返回結(jié)束求參數(shù)的置信度為的置信區(qū)間.例設(shè)X1,

…,Xn是取自的樣本,已知,

置信區(qū)間的求法明確問題,是求什么參數(shù)的置信區(qū)間?置信水平是多少?尋找未知參數(shù)的一個(gè)良好估計(jì).解:尋找一個(gè)待估參數(shù)和估計(jì)量的函數(shù),要求其分布為已知.有了分布,就可以求出Z取值于任意區(qū)間的概率.機(jī)動目錄上頁下頁返回結(jié)束選的點(diǎn)估計(jì)為對給定的置信水平查正態(tài)分布表得對于給定的置信水平(大概率),根據(jù)Z的分布,確定一個(gè)區(qū)間,使得Z取值于該區(qū)間的概率為置信水平.使機(jī)動目錄上頁下頁返回結(jié)束對給定的置信水平查正態(tài)分布表得使從中解得機(jī)動目錄上頁下頁返回結(jié)束也可簡記為于是所求的置信區(qū)間為機(jī)動目錄上頁下頁返回結(jié)束從例解題的過程,我們歸納出求置信區(qū)間的一般步驟如下:1.明確問題,是求什么參數(shù)的置信區(qū)間?置信水平

是多少?2.尋找參數(shù)的一個(gè)良好的點(diǎn)估計(jì)T(X1,

X2,

…,Xn)稱

為樞軸量.

3.尋找一個(gè)待估參數(shù)和估計(jì)量T的函數(shù)

,且其分布為已知.機(jī)動目錄上頁下頁返回結(jié)束4.對于給定的置信水平

,根據(jù)

的分布,確定常數(shù)a,b,使得

5.對“

”作等價(jià)變形,

得到如下形式:機(jī)動目錄上頁下頁返回結(jié)束則就是的

的置信區(qū)間.

可見,確定區(qū)間估計(jì)很關(guān)鍵的是要尋找一個(gè)待估參數(shù)和估計(jì)量T的函數(shù)

,

且

的分布為已知,不依賴于任何未知參數(shù)(這樣我們才能確定一個(gè)大概率區(qū)間).

而這與總體分布有關(guān),所以,總體分布的形式是否已知,是怎樣的類型,至關(guān)重要.機(jī)動目錄上頁下頁返回結(jié)束這里,我們主要討論總體分布為正態(tài)的情形.

若樣本容量很大,即使總體分布未知,應(yīng)用中心極限定理,可得總體的近似分布,于是也可以近似求得參數(shù)的區(qū)間估計(jì).教材上討論了以下幾種情形:單個(gè)正態(tài)總體均值和方差的區(qū)間估計(jì).兩個(gè)正態(tài)總體均值差和方差比的區(qū)間估計(jì).比例p

的區(qū)間估計(jì).機(jī)動目錄上頁下頁返回結(jié)束

正態(tài)總體均值的置信區(qū)間1、已知,未知.則置信度為的

的置信區(qū)間為機(jī)動目錄上頁下頁返回結(jié)束未知,未知.2、由于方差

未知用

的無偏估計(jì)量代替(定理5.3)機(jī)動目錄上頁下頁返回結(jié)束則置信度為的

的置信區(qū)間為機(jī)動目錄上頁下頁返回結(jié)束(1)根據(jù)實(shí)際問題構(gòu)造樣本的函數(shù),要求僅含待估參數(shù)且分布已知;正態(tài)總體參數(shù)置信區(qū)間的解題步驟機(jī)動目錄上頁下頁返回結(jié)束(3)解不等式得隨機(jī)的置信區(qū)間;(4)由觀測值及值查表計(jì)算得所求置信區(qū)間.(2)令該函數(shù)落在由分位點(diǎn)確定的區(qū)間里的概率為給定的置信度,要求區(qū)間按幾何對稱或概率對稱;查標(biāo)準(zhǔn)正態(tài)分布表得解(1)由于,由樣本觀察值計(jì)算得例6.15已知某批燈泡的壽命

(單位:小時(shí)),現(xiàn)從這批燈泡中抽取10個(gè),測得壽命分別為1050,1100,1080,1120,1200,1250,1040,1130,1300,1200,若

,求

的置信區(qū)間(1),

(2)未知.n=10,機(jī)動目錄上頁下頁返回結(jié)束的置信度為0.95的置信區(qū)間[1145.25,1148.75].n=10機(jī)動目錄上頁下頁返回結(jié)束(2)由于

未知,由樣本觀察值計(jì)算得S=87.0568,n=10,,查t

分布表得的置信度為0.95的置信區(qū)間[1084.72,1209.28].機(jī)動目錄上頁下頁返回結(jié)束且由卡方分布分位點(diǎn)的概念可知

正態(tài)總體方差的置信區(qū)間機(jī)動目錄上頁下頁返回結(jié)束1、未知,已知.此時(shí)

的極大似然估計(jì)為機(jī)動目錄上頁下頁返回結(jié)束則置信度為的

的置信區(qū)間為此時(shí)取機(jī)動目錄上頁下頁返回結(jié)束2、未知,未知.則置信度為的

的置信區(qū)間為例6.16為測定某家具中的甲醛含量,取得4個(gè)獨(dú)立的測量值的樣本,并算得樣本均值為8.34%,樣本標(biāo)準(zhǔn)差為0.03%,設(shè)被測總體近似服從正態(tài)分布,

,求

的置信區(qū)間.查t分布表得機(jī)動目錄上頁下頁返回結(jié)束解由題意:

未知,n=4,S=0.03%,機(jī)動目錄上頁下頁返回結(jié)束對于

,由于

未知,查表則

的置信度為0.95的置信區(qū)間為[0.00029×10-4,0.0125×10-4]兩個(gè)正態(tài)總體均值差的置信區(qū)間,S22為Y的樣本均值和樣本方差.相互獨(dú)立.機(jī)動目錄上頁下頁返回結(jié)束設(shè)樣本X1,

X2,

…,

Xn1來自正態(tài)總體

樣本Y1,

Y2,

…,

Yn2來自正態(tài)總體且相互獨(dú)立,S12為X的樣本均值和樣本方差.機(jī)動目錄上頁下頁返回結(jié)束取1、

已知,

的區(qū)間估計(jì)是

的極大似然估計(jì).機(jī)動目錄上頁下頁返回結(jié)束1、

已知,

的區(qū)間估計(jì)可知

的置信度為的置信區(qū)間為(定理5.5)機(jī)動目錄上頁下頁返回結(jié)束2、若

未知,但已知

,的區(qū)間估計(jì).此時(shí),取機(jī)動目錄上頁下頁返回結(jié)束可知

的置信度為的置信區(qū)間為

兩個(gè)正態(tài)總體方差比的置信區(qū)間機(jī)動目錄上頁下頁返回結(jié)束可知

的置信度為的置信區(qū)間為1、

未知.根據(jù)

的估計(jì),構(gòu)造機(jī)動目錄上頁下頁返回結(jié)束2、

已知.可知

的置信度為的置信區(qū)間為例6.17研究機(jī)器A和機(jī)器B生產(chǎn)的鋼管的內(nèi)徑,測得設(shè)兩樣本相互獨(dú)立,取

求(1)

的置信區(qū)間,(2)若已知

,求

的置信區(qū)間.機(jī)動目錄上頁下頁返回結(jié)束解已知機(jī)動目錄上頁下頁返回結(jié)束(1)由

,

未知,查F分布表得機(jī)動目錄上頁下頁返回結(jié)束的置信度為0.90的置信區(qū)間為[0.4475,2.9076].(2)機(jī)動目錄上頁下頁返回結(jié)束

的置信度為0.90的置信區(qū)間為[-2.3785,-1.6615]取樞軸量由標(biāo)準(zhǔn)正態(tài)分布表,對任意a、b,我們可以求得P(a<Z<b).例如,設(shè)X1,

…,Xn是取自的樣本,

已知,求參數(shù)的置信水平為的置信區(qū)間.機(jī)動目錄上頁下頁返回結(jié)束

需要指出的是,給定樣本,給定置信水平,置信區(qū)間也不是唯一的.對同一個(gè)參數(shù),我們可以構(gòu)造許多置信區(qū)間.例如,由機(jī)動目錄上頁下頁返回結(jié)束置信區(qū)間為我們得到均值的置信水平為的由這個(gè)區(qū)間比前面一個(gè)要長一些.置信區(qū)間為我們得到均值的置信水平為的機(jī)動目錄上頁下頁返回結(jié)束我們總是希望置信區(qū)間盡可能短.

類似地,我們可得到若干個(gè)不同的置信區(qū)間.

任意兩個(gè)數(shù)a和b,只要它們的縱標(biāo)包含f(z)下95%的面積,就確定一個(gè)95%的置信區(qū)間.機(jī)動目錄上頁下頁返回結(jié)束

在概率密度為單峰且對稱的情形,當(dāng)a=-b時(shí)求得的置信區(qū)間的長度為最短.a=-b機(jī)動目錄上頁下頁返回結(jié)束

即使在概率密度不對稱的情形,如

分布,F分布,習(xí)慣上仍取對稱的百分位點(diǎn)來計(jì)算未知參數(shù)的置信區(qū)間.

我們可以得到未知參數(shù)的的任何置信水平小于1的置信區(qū)間,并且置信水平越高,相應(yīng)的置信區(qū)間平均長度越長.機(jī)動