概率統(tǒng)計(jì)學(xué)-參數(shù)估計(jì)

第一節(jié)參數(shù)的點(diǎn)估計(jì)一.點(diǎn)估計(jì)的概念

當(dāng)總體的分布形式為已知,而參數(shù)未知時(shí),欲通過(guò)樣本對(duì)未知參數(shù)進(jìn)行估計(jì),這種方法稱為點(diǎn)估計(jì)法.如:客流-泊松分布,但未知;燈管壽命-指數(shù)分布等。二.點(diǎn)估計(jì)的方法1、矩方法；2、極大似然函數(shù)法.第八章參數(shù)估計(jì)稱為的矩估計(jì)量,而稱為

的矩估計(jì)值.1.矩估計(jì)法如:設(shè)r.v.X:EX=,DX=2分別為X的一階原點(diǎn)矩和二階中心矩;而分別為樣本的一階原點(diǎn)矩和樣本方差.用樣本的k階矩估計(jì)總體的k階矩.稱為2的矩估計(jì)量,而稱為2

的矩估計(jì)值.例1

有一批零件，其長(zhǎng)度X~N(,2)，現(xiàn)從中任取4件，測(cè)的長(zhǎng)度(單位：mm)為12.6,13.4,12.8,13.2。試估計(jì)和2的值。解由

得和2的估計(jì)值分別為13(mm)和0.133(mm)2例2

設(shè)總體X的概率密度為

X1,X2,,Xn為來(lái)自于總體X的樣本,x1,x2,,xn為樣本值,求參數(shù)的矩估計(jì)。解先求總體矩

令

即得即有

解之得為的矩估計(jì)量,

為的矩估計(jì)值.例3

設(shè)總體X的概率密度為求的矩估計(jì)量

解法一雖然f(x,)中僅含有一個(gè)參數(shù)，但因

不含,不能由此解出,需繼續(xù)求總體的二階原點(diǎn)矩

解法二

即

用替換即得的另一矩估計(jì)量為得的矩估計(jì)量為用替換即你就會(huì)想,只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來(lái)這一槍是獵人射中的.先看一個(gè)簡(jiǎn)單的例子:

某位同學(xué)與一位獵人一起外出打獵,一只野兔從前方竄過(guò).只聽(tīng)到一聲槍響,野兔應(yīng)聲倒下.如果要你推測(cè),是誰(shuí)打中的呢？你會(huì)如何想呢？

這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.2、極大似然函數(shù)法例設(shè)袋中裝有許多白球和黑球。只知兩種球的數(shù)目之比為3:1，試判斷是白球多還是黑球多。解:從袋中有放回的任取3只球.設(shè)每次取到黑球的概率為p(p=1/4或3/4)設(shè)取到黑球的數(shù)目為X,則X~B(3,p)分別計(jì)算p=1/4,p=3/4時(shí)，P{X=x}的值，列于表結(jié)論:X0123p=1/4時(shí)27/6427/649/641/64p=3/4時(shí)1/649/6427/6427/64

定義1:(1)設(shè)r.v.X的概率密度函數(shù)為f(x,),其中為未知參數(shù)(f為已知函數(shù)).x1,x2,,xn為樣本X1,X2,,Xn的樣本觀察值,稱為r.v.X關(guān)于樣本觀察值x1,x2,,xn的似然函數(shù)。若X是離散型隨機(jī)變量，似然函數(shù)定義為

定義2如果似然函數(shù)在時(shí)達(dá)到最大值,則稱是參數(shù)的極大似然估計(jì)。

例1設(shè)總體X服從參數(shù)為的指數(shù)分布，即有概率密度

又x1,x2,,xn為來(lái)自于總體的樣本值，試求的極大似然估計(jì).解：第一步似然函數(shù)為于是

第二步第三步經(jīng)驗(yàn)證，在處達(dá)到最大，所以是的極大似然估計(jì)。令例2：設(shè)X服從(0－1)分布，P{X=1}=p,其中p未知，x1,x2,,xn為來(lái)自于總體的樣本值求p的極大似然估計(jì)。解:X01P1-pp得(0－1)分布之分布律的另一種表達(dá)形式令例3：設(shè)總體X服從參數(shù)為的泊松分布，即X有分布列(分布律)

是未知參數(shù)，(0,+)，試求的極大似然估計(jì)。解：樣本的似然函數(shù)為

從可以解出

是的極大似然估計(jì)。因此其中為未知參數(shù)，為樣本觀察值,多參數(shù)情形的極大似然估計(jì)若總體X的概率密度為：此時(shí)似然函數(shù)為：

求解方程組

即可得到極大似然估計(jì)

數(shù)學(xué)上可以嚴(yán)格證明，在一定條件下，只要樣本容量n足夠大，極大似然估計(jì)和未知參數(shù)的真值可相差任意小。例4：設(shè)為正態(tài)總體的一個(gè)樣本值，求:和的極大似然估計(jì).解：似然函數(shù)為

解方程組得

這就是和的極大似然估計(jì),即

例5設(shè)X為離散型隨機(jī)變量,其分布律如下(0<<1/2)X0123P22(-2)21-2

隨機(jī)抽樣得3，1，3，0，3，1，2，3，分別用矩方法和極大似然法估計(jì)參數(shù)。解：例6

設(shè)總體X的概率密度為又為來(lái)自于總體X的樣本值,求參數(shù)的極大似然估計(jì)。解：令

似然函數(shù)

當(dāng)時(shí),L()是的單調(diào)增函數(shù),處達(dá)到最大值，所以的極大似然估計(jì):L()在第二節(jié)點(diǎn)估計(jì)量的優(yōu)良性

一、無(wú)偏估計(jì)

則稱為的無(wú)偏估計(jì)。定義1

設(shè)(簡(jiǎn)記為)為未知參數(shù)的估計(jì)量，若(真值)例1：樣本均值和樣本方差分別是總體均值和總體方差的無(wú)偏估計(jì)量.解：設(shè)X1,X2,,Xn為來(lái)自于總體X的樣本,總體均值EX=,總體方差DX=2;則X1,X2,,Xn獨(dú)立且與X同分布,即

本題需要證明計(jì)算方法1

方法2：

注意：不是總體方差的無(wú)偏估計(jì)。所以,它是有偏的.事實(shí)上：例2

設(shè)總體X的概率密度為

(4)求的方差。X1,X2,,Xn為來(lái)自總體X的樣本.(1)求總體均值EX,總體方差DX；(2)求的矩估計(jì)量;

(3)是否為的無(wú)偏估計(jì)；解(1)總體均值

總體方差(2)令

得的矩估計(jì)量為

(3)所以是的無(wú)偏估計(jì);

(4)的方差

二、最小方差無(wú)偏估計(jì)

定義2

設(shè)是的一個(gè)無(wú)偏估計(jì)，若對(duì)于的任一無(wú)偏估計(jì)，成立

則稱是的最小方差無(wú)偏估計(jì)。例3

設(shè)X1,X2,,Xn為來(lái)自于總體X的樣本,總體均值EX=,總體方差DX=2,求的最小方差線性無(wú)偏估計(jì)。解已知X1,X2,,Xn獨(dú)立且與X同分布,的線性估計(jì)是將X1,X2,,Xn的線性函數(shù)

問(wèn)題是如何選取的值，使得無(wú)偏性和最小方差這兩個(gè)要求都能得到滿足。

作為的估計(jì)量。無(wú)偏性要求最小方差要求

這是一個(gè)求條件極值問(wèn)題，用拉格朗日乘數(shù)法，令達(dá)到最小，

易知由條件

得到于是

是的最小方差無(wú)偏估計(jì)。

得

若和都是的無(wú)偏估計(jì)量，且成立，則通常稱估計(jì)量較有效,或較佳,或較優(yōu).例設(shè)X1,X2,X3為總體的一個(gè)樣本,試證下列估計(jì)量

都是總體均值的無(wú)偏估計(jì)量,且問(wèn)哪一個(gè)最佳？三、一致估計(jì)

設(shè)為總體參數(shù)的估計(jì)量，顯然與樣本X1,X2,,Xn有關(guān)，我們希望會(huì)隨著樣本容量n的增大而越接近于，這一要求便是衡量估計(jì)量好壞的另一標(biāo)準(zhǔn)。

定義3

設(shè)為未知參數(shù)的估計(jì)量，若依概率收斂于，即對(duì)任意的>0,成立

則稱為的一致性估計(jì)。例4

試證樣本均值為總體均值的一致性估計(jì)。證因?yàn)?/p>

所以，對(duì)于相互獨(dú)立且服從同一分布的隨機(jī)變量X1,X2,,Xn，由大數(shù)定理，即得此外,還可證明樣本方差S2是總體方差2的一致性估計(jì).還有別的優(yōu)良性標(biāo)準(zhǔn),這里不再介紹。例5

證明正態(tài)總體N(,2)的樣本方差S2是總體方差2的一致性估計(jì)量。證由切比雪夫不等式有

而

例6

X~N(0,2),其中0為已知,X1