《概率論 參數(shù)估計》課件

第七章參數(shù)估計7-1參數(shù)估計問題假設(shè)檢驗問題點估計區(qū)間估計統(tǒng)計推斷

DE基本問題7-2

總體樣本統(tǒng)計量描述作出推斷研究統(tǒng)計量的性質(zhì)和評價一個統(tǒng)計推斷的優(yōu)良性，完全取決于其抽樣分布的性質(zhì).隨機抽樣

現(xiàn)在我們來介紹一類重要的統(tǒng)計推斷問題

參數(shù)估計問題是利用從總體抽樣得到的信息來估計總體的某些參數(shù)或者參數(shù)的某些函數(shù).參數(shù)估計估計廢品率估計新生兒的體重估計湖中魚數(shù)……估計降雨量在參數(shù)估計問題中，假定總體分布形式已知，未知的僅僅是一個或幾個參數(shù).這類問題稱為參數(shù)估計.參數(shù)估計問題的一般提法X1,X2,…,Xn要依據(jù)該樣本對參數(shù)作出估計，或估計的某個已知函數(shù).現(xiàn)從該總體抽樣，得樣本設(shè)有一個統(tǒng)計總體，總體的分布函數(shù)向量).為F(x,)，其中為未知參數(shù)(可以是參數(shù)估計的類型點估計——估計未知參數(shù)的值區(qū)間估計——估計未知參數(shù)的取值范圍，并使此范圍包含未知參數(shù)真值的概率為給定的值.（假定身高服從正態(tài)分布）設(shè)這5個數(shù)是:1.651.671.681.781.69估計為1.68，這是點估計.這是區(qū)間估計.估計在區(qū)間[1.57,1.84]內(nèi)，假如我們要估計某隊男生的平均身高.現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個數(shù)）求出總體均值的估計.而全部信息就由這5個數(shù)組成.一、點估計概念及討論的問題例1

已知某地區(qū)新生嬰兒的體重X~隨機抽查100個嬰兒…得100個體重數(shù)據(jù)10,7,6,6.5,5,5.2,

…呢?據(jù)此,我們應(yīng)如何估計和而全部信息就由這100個數(shù)組成.§7.1點估計方法

為估計

,我們需要構(gòu)造出適當(dāng)?shù)臉颖镜暮瘮?shù)T(X1,X2,…Xn)，每當(dāng)有了樣本，就代入該函數(shù)中算出一個值，用來作為的估計值.把樣本值代入T(X1,X2,…Xn)

中，得到的一個點估計值

.T(X1,X2,…Xn)稱為參數(shù)的點估計量，請注意，被估計的參數(shù)

是一個未知常數(shù)，而估計量T(X1,X2,…Xn)是一個隨機變量，是樣本的函數(shù),當(dāng)樣本取定后，它是個已知的數(shù)值,這個數(shù)常稱為

的估計值.二、尋求估計量的方法1.矩估計法2.極大似然法3.最小二乘法4.貝葉斯方法……這里我們主要介紹前面兩種方法.1.矩估計法其基本思想是用樣本矩估計總體矩.理論依據(jù):或P160-1結(jié)論它是基于一種簡單的“替換”思想建立起來的一種估計方法.是英國統(tǒng)計學(xué)家K.皮爾遜最早提出的.大數(shù)定律記總體k階矩為樣本k階矩為用相應(yīng)的樣本矩去估計總體矩的估計方法就稱為矩估計法.記總體k階中心矩為樣本k階中心矩為設(shè)總體的分布函數(shù)中含有k個未知參數(shù)都是這k個參數(shù)的函數(shù),記為：,那么它的前k階矩一般i=1,2,…,k從這k個方程中解出j=1,2,…,k那么用諸的估計量Ai分別代替上式中的諸,即可得諸的矩估計量：j=1,2,…,k

例2

設(shè)總體X在[a,b]上服從均勻分布,a,b未知.是來自X

的樣本,試求a,b

的矩估計量.解即解得于是a,b的矩估計量為樣本矩總體矩解

例3

設(shè)總體X的均值和方差都存在,未知.是來自X

的樣本,試求的矩估計量.解得于是的矩估計量為樣本矩總體矩例設(shè)總體X~N(,2),X1,X2,…,Xn為總體的樣本,求,2的矩法估計量.例

設(shè)總體X~E(

),X1,X2,…,Xn為總體的樣本,求

的矩法估計量.7-13一般,不論總體服從什么分布,總體期望

與方差

2存在,則它們的矩估計量分別為例4設(shè)從某燈泡廠某天生產(chǎn)的燈泡中隨機抽取10只燈泡，測得其壽命為(單位:小時)1050,1100,1080,1120,12001250,1040,1130,1300,1200試用矩法估計該廠這天生產(chǎn)的燈泡的平均壽命及壽命分布的方差.解7-14例

設(shè)總體X~U(a,b),a,b未知,求參數(shù)a,b

的矩法估計量.7-15

方法用樣本

k

階矩作為總體

k

階矩的估計量,建立含有待估參數(shù)的方程,從而解出待估參數(shù)7-9

矩法2種常用的點估計方法

矩法的優(yōu)點是簡單易行,并不需要事先知道總體是什么分布.

缺點是，當(dāng)總體類型已知時，沒有充分利用分布提供的信息

.一般場合下,矩估計量不具有唯一性.其主要原因在于建立矩法方程時，選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性.

2.極大似然法是在總體類型已知條件下使用的一種參數(shù)估計方法.它首先是由德國數(shù)學(xué)家高斯在1821年提出的,GaussFisher然而，這個方法常歸功于英國統(tǒng)計學(xué)家費歇.費歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).

極大似然法的基本思想先看一個簡單例子：一只野兔從前方竄過.是誰打中的呢？某位同學(xué)與一位獵人一起外出打獵.如果要你推測，你會如何想呢?只聽一聲槍響，野兔應(yīng)聲倒下.下面我們再看一個例子,進(jìn)一步體會極大似然法的基本思想.你就會想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來這一槍是獵人射中的.這個例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.

例

設(shè)X~B(1,p),p未知.設(shè)想我們事先知道p只有兩種可能:問:應(yīng)如何估計p?p=0.7或p=0.3如今重復(fù)試驗3次,得結(jié)果:0,0,0由概率論的知識,3次試驗中出現(xiàn)“1”的次數(shù)k=0,1,2,3

將計算結(jié)果列表如下：應(yīng)如何估計p?p=0.7或p=0.3k=0,1,2,3p值 P(Y=0)P(Y=1)P(Y=2)P(Y=3)0.7 0.0270.189 0.441 0.3430.3 0.3430.441 0.189 0.027 出現(xiàn)估計出現(xiàn)出現(xiàn)出現(xiàn)估計估計估計0.3430.4410.4410.343

以上這種選擇一個參數(shù)使得實驗結(jié)果具有最大概率的思想就是極大似然法的基本思想.例設(shè)總體X服從0-1分布,且P(X=1)=p,

用極大似然法求

p

的估計值.7-18L(p)=f(X1,X2,…Xn;p)解：似然函數(shù)為:對數(shù)似然函數(shù)為：對p求導(dǎo)并令其為0，=0得即為p

的MLE.對于不同的p,L(p)不同,見右下圖現(xiàn)經(jīng)過一次試驗，發(fā)生了，事件則

p

的取值應(yīng)使這個事件發(fā)生的概率最大.7-19在容許范圍內(nèi)選擇

p，使L(p)最大注意到，lnL(p)是L的單調(diào)增函數(shù),故若某個p

使lnL(p)最大,則這個p必使L(p)最大。7-20所以為所求p的估計值.

(4)在最大值點的表達(dá)式中,用樣本值代入就得參數(shù)的極大似然估計值.求極大似然估計(MLE)的一般步驟是：(1)由總體分布導(dǎo)出樣本的聯(lián)合概率函數(shù)

(或聯(lián)合密度);(2)把樣本聯(lián)合概率函數(shù)(或聯(lián)合密度)中自變量看成已知常數(shù),而把參數(shù)看作自變量,

得到似然函數(shù)L();(3)求似然函數(shù)L()的最大值點(常常轉(zhuǎn)化為求lnL()的最大值點)，即

的MLE;一般,設(shè)X為離散型隨機變量,其分布律為則樣本X1,X2,…,Xn的概率分布為7-21或稱L()為樣本的似然函數(shù)稱這樣得到的為參數(shù)

的極大似然估計值稱統(tǒng)計量為參數(shù)

的極大似然估計量7-22

MLE簡記

mle簡記選擇適當(dāng)?shù)?,使取最大值,即L()極大似然法的思想若X

連續(xù),取f(xi,

)為Xi

的密度函數(shù)似然函數(shù)為7-23注1注2未知參數(shù)可以不止一個,如

1,…,

k

設(shè)X

的密度(或分布)為則定義似然函數(shù)為若關(guān)于

1,…,

k可微,則稱為似然方程組若對于某組給定的樣本值x1,x2,…,xn，參數(shù)使似然函數(shù)取得最大值,即則稱為

1,…,

k

的極大似然估計值7-24顯然，稱統(tǒng)計量為

1,

2,…,

k

的極大似然估計量7-25例設(shè)總體X~N(

,

2),x1,x2,…,xn是

X

的樣本值,求

,

2的極大似然估計.7-26極大似然估計方法1）寫出似然函數(shù)L2）求出,使得7-28可得未知參數(shù)的極大似然估計值然后,再求得極大似然估計量.7-29L是的可微函數(shù),解似然方程組若

L不是的可微函數(shù),需用其它方法求極大似然估計值.請看下例：若例設(shè)X~U(a,b),x1,x2,…,xn是

X

的一個樣本值,求

a,b的極大似然估計值與極大似然估計量.解X的密度函數(shù)為似然函數(shù)為7-30似然函數(shù)只有當(dāng)a<xi<b,i=1,2,…,n時才能獲得最大值,且a越大,b越小,L越大.令xmin=min{x1,x2,…,xn}xmax=max{x1,x2,…,xn}取則對滿足的一切a<b,7-31都有故是a,b的極大似然估計值.分別是a,b的極大似然估計量.7-32極大似然估計的不變性設(shè)是

的極大似然估計值,u(

)(

)是

的函數(shù),且有單值反函數(shù)=(u),uU則是u(

)的極大似然估計值.7-35不變性如在正態(tài)總體N(

,

2)中,

2的極大似然估計值為是

2的單值函數(shù),且具有單值反函數(shù)，故

的極大似然估計值為lg

的極大似然估計值為7-36這一講，我們介紹了參數(shù)點估計，給出了尋求估計量最常用的矩法和極大似然法.參數(shù)點估計是用一個確定的值去估計未知的參數(shù).看來似乎精確，實際上把握不大.為了使估計的結(jié)論更可信，需要引入?yún)^(qū)間估計.這是下一講的內(nèi)容.例4：設(shè)

X

～U(a,b)，求a,b的極大似然估計。

解：因所以由上式看到：L(a,b)作為a和b的二元函數(shù)