《概率論 參數(shù)估計(jì)》課件

第七章參數(shù)估計(jì)7-1參數(shù)估計(jì)問(wèn)題假設(shè)檢驗(yàn)問(wèn)題點(diǎn)估計(jì)區(qū)間估計(jì)統(tǒng)計(jì)推斷

DE基本問(wèn)題7-2

總體樣本統(tǒng)計(jì)量描述作出推斷研究統(tǒng)計(jì)量的性質(zhì)和評(píng)價(jià)一個(gè)統(tǒng)計(jì)推斷的優(yōu)良性，完全取決于其抽樣分布的性質(zhì).隨機(jī)抽樣

現(xiàn)在我們來(lái)介紹一類重要的統(tǒng)計(jì)推斷問(wèn)題

參數(shù)估計(jì)問(wèn)題是利用從總體抽樣得到的信息來(lái)估計(jì)總體的某些參數(shù)或者參數(shù)的某些函數(shù).參數(shù)估計(jì)估計(jì)廢品率估計(jì)新生兒的體重估計(jì)湖中魚(yú)數(shù)……估計(jì)降雨量在參數(shù)估計(jì)問(wèn)題中，假定總體分布形式已知，未知的僅僅是一個(gè)或幾個(gè)參數(shù).這類問(wèn)題稱為參數(shù)估計(jì).參數(shù)估計(jì)問(wèn)題的一般提法X1,X2,…,Xn要依據(jù)該樣本對(duì)參數(shù)作出估計(jì)，或估計(jì)的某個(gè)已知函數(shù).現(xiàn)從該總體抽樣，得樣本設(shè)有一個(gè)統(tǒng)計(jì)總體，總體的分布函數(shù)向量).為F(x,)，其中為未知參數(shù)(可以是參數(shù)估計(jì)的類型點(diǎn)估計(jì)——估計(jì)未知參數(shù)的值區(qū)間估計(jì)——估計(jì)未知參數(shù)的取值范圍，并使此范圍包含未知參數(shù)真值的概率為給定的值.（假定身高服從正態(tài)分布）設(shè)這5個(gè)數(shù)是:1.651.671.681.781.69估計(jì)為1.68，這是點(diǎn)估計(jì).這是區(qū)間估計(jì).估計(jì)在區(qū)間[1.57,1.84]內(nèi)，假如我們要估計(jì)某隊(duì)男生的平均身高.現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個(gè)數(shù)）求出總體均值的估計(jì).而全部信息就由這5個(gè)數(shù)組成.一、點(diǎn)估計(jì)概念及討論的問(wèn)題例1

已知某地區(qū)新生嬰兒的體重X~隨機(jī)抽查100個(gè)嬰兒…得100個(gè)體重?cái)?shù)據(jù)10,7,6,6.5,5,5.2,

…呢?據(jù)此,我們應(yīng)如何估計(jì)和而全部信息就由這100個(gè)數(shù)組成.§7.1點(diǎn)估計(jì)方法

為估計(jì)

,我們需要構(gòu)造出適當(dāng)?shù)臉颖镜暮瘮?shù)T(X1,X2,…Xn)，每當(dāng)有了樣本，就代入該函數(shù)中算出一個(gè)值，用來(lái)作為的估計(jì)值.把樣本值代入T(X1,X2,…Xn)

中，得到的一個(gè)點(diǎn)估計(jì)值

.T(X1,X2,…Xn)稱為參數(shù)的點(diǎn)估計(jì)量，請(qǐng)注意，被估計(jì)的參數(shù)

是一個(gè)未知常數(shù)，而估計(jì)量T(X1,X2,…Xn)是一個(gè)隨機(jī)變量，是樣本的函數(shù),當(dāng)樣本取定后，它是個(gè)已知的數(shù)值,這個(gè)數(shù)常稱為

的估計(jì)值.二、尋求估計(jì)量的方法1.矩估計(jì)法2.極大似然法3.最小二乘法4.貝葉斯方法……這里我們主要介紹前面兩種方法.1.矩估計(jì)法其基本思想是用樣本矩估計(jì)總體矩.理論依據(jù):或P160-1結(jié)論它是基于一種簡(jiǎn)單的“替換”思想建立起來(lái)的一種估計(jì)方法.是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出的.大數(shù)定律記總體k階矩為樣本k階矩為用相應(yīng)的樣本矩去估計(jì)總體矩的估計(jì)方法就稱為矩估計(jì)法.記總體k階中心矩為樣本k階中心矩為設(shè)總體的分布函數(shù)中含有k個(gè)未知參數(shù)都是這k個(gè)參數(shù)的函數(shù),記為：,那么它的前k階矩一般i=1,2,…,k從這k個(gè)方程中解出j=1,2,…,k那么用諸的估計(jì)量Ai分別代替上式中的諸,即可得諸的矩估計(jì)量：j=1,2,…,k

例2

設(shè)總體X在[a,b]上服從均勻分布,a,b未知.是來(lái)自X

的樣本,試求a,b

的矩估計(jì)量.解即解得于是a,b的矩估計(jì)量為樣本矩總體矩解

例3

設(shè)總體X的均值和方差都存在,未知.是來(lái)自X

的樣本,試求的矩估計(jì)量.解得于是的矩估計(jì)量為樣本矩總體矩例設(shè)總體X~N(,2),X1,X2,…,Xn為總體的樣本,求,2的矩法估計(jì)量.例

設(shè)總體X~E(

),X1,X2,…,Xn為總體的樣本,求

的矩法估計(jì)量.7-13一般,不論總體服從什么分布,總體期望

與方差

2存在,則它們的矩估計(jì)量分別為例4設(shè)從某燈泡廠某天生產(chǎn)的燈泡中隨機(jī)抽取10只燈泡，測(cè)得其壽命為(單位:小時(shí))1050,1100,1080,1120,12001250,1040,1130,1300,1200試用矩法估計(jì)該廠這天生產(chǎn)的燈泡的平均壽命及壽命分布的方差.解7-14例

設(shè)總體X~U(a,b),a,b未知,求參數(shù)a,b

的矩法估計(jì)量.7-15

方法用樣本

k

階矩作為總體

k

階矩的估計(jì)量,建立含有待估參數(shù)的方程,從而解出待估參數(shù)7-9

矩法2種常用的點(diǎn)估計(jì)方法

矩法的優(yōu)點(diǎn)是簡(jiǎn)單易行,并不需要事先知道總體是什么分布.

缺點(diǎn)是，當(dāng)總體類型已知時(shí)，沒(méi)有充分利用分布提供的信息

.一般場(chǎng)合下,矩估計(jì)量不具有唯一性.其主要原因在于建立矩法方程時(shí)，選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性.

2.極大似然法是在總體類型已知條件下使用的一種參數(shù)估計(jì)方法.它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的,GaussFisher然而，這個(gè)方法常歸功于英國(guó)統(tǒng)計(jì)學(xué)家費(fèi)歇.費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).

極大似然法的基本思想先看一個(gè)簡(jiǎn)單例子：一只野兔從前方竄過(guò).是誰(shuí)打中的呢？某位同學(xué)與一位獵人一起外出打獵.如果要你推測(cè)，你會(huì)如何想呢?只聽(tīng)一聲槍響，野兔應(yīng)聲倒下.下面我們?cè)倏匆粋€(gè)例子,進(jìn)一步體會(huì)極大似然法的基本思想.你就會(huì)想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來(lái)這一槍是獵人射中的.這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.

例

設(shè)X~B(1,p),p未知.設(shè)想我們事先知道p只有兩種可能:問(wèn):應(yīng)如何估計(jì)p?p=0.7或p=0.3如今重復(fù)試驗(yàn)3次,得結(jié)果:0,0,0由概率論的知識(shí),3次試驗(yàn)中出現(xiàn)“1”的次數(shù)k=0,1,2,3

將計(jì)算結(jié)果列表如下：應(yīng)如何估計(jì)p?p=0.7或p=0.3k=0,1,2,3p值 P(Y=0)P(Y=1)P(Y=2)P(Y=3)0.7 0.0270.189 0.441 0.3430.3 0.3430.441 0.189 0.027 出現(xiàn)估計(jì)出現(xiàn)出現(xiàn)出現(xiàn)估計(jì)估計(jì)估計(jì)0.3430.4410.4410.343

以上這種選擇一個(gè)參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率的思想就是極大似然法的基本思想.例設(shè)總體X服從0-1分布,且P(X=1)=p,

用極大似然法求

p

的估計(jì)值.7-18L(p)=f(X1,X2,…Xn;p)解：似然函數(shù)為:對(duì)數(shù)似然函數(shù)為：對(duì)p求導(dǎo)并令其為0，=0得即為p

的MLE.對(duì)于不同的p,L(p)不同,見(jiàn)右下圖現(xiàn)經(jīng)過(guò)一次試驗(yàn)，發(fā)生了，事件則

p

的取值應(yīng)使這個(gè)事件發(fā)生的概率最大.7-19在容許范圍內(nèi)選擇

p，使L(p)最大注意到，lnL(p)是L的單調(diào)增函數(shù),故若某個(gè)p

使lnL(p)最大,則這個(gè)p必使L(p)最大。7-20所以為所求p的估計(jì)值.

(4)在最大值點(diǎn)的表達(dá)式中,用樣本值代入就得參數(shù)的極大似然估計(jì)值.求極大似然估計(jì)(MLE)的一般步驟是：(1)由總體分布導(dǎo)出樣本的聯(lián)合概率函數(shù)

(或聯(lián)合密度);(2)把樣本聯(lián)合概率函數(shù)(或聯(lián)合密度)中自變量看成已知常數(shù),而把參數(shù)看作自變量,

得到似然函數(shù)L();(3)求似然函數(shù)L()的最大值點(diǎn)(常常轉(zhuǎn)化為求lnL()的最大值點(diǎn))，即

的MLE;一般,設(shè)X為離散型隨機(jī)變量,其分布律為則樣本X1,X2,…,Xn的概率分布為7-21或稱L()為樣本的似然函數(shù)稱這樣得到的為參數(shù)

的極大似然估計(jì)值稱統(tǒng)計(jì)量為參數(shù)

的極大似然估計(jì)量7-22

MLE簡(jiǎn)記

mle簡(jiǎn)記選擇適當(dāng)?shù)?,使取最大值,即L()極大似然法的思想若X

連續(xù),取f(xi,

)為Xi

的密度函數(shù)似然函數(shù)為7-23注1注2未知參數(shù)可以不止一個(gè),如

1,…,

k

設(shè)X

的密度(或分布)為則定義似然函數(shù)為若關(guān)于

1,…,

k可微,則稱為似然方程組若對(duì)于某組給定的樣本值x1,x2,…,xn，參數(shù)使似然函數(shù)取得最大值,即則稱為

1,…,

k

的極大似然估計(jì)值7-24顯然，稱統(tǒng)計(jì)量為

1,

2,…,

k

的極大似然估計(jì)量7-25例設(shè)總體X~N(

,

2),x1,x2,…,xn是

X

的樣本值,求

,

2的極大似然估計(jì).7-26極大似然估計(jì)方法1）寫(xiě)出似然函數(shù)L2）求出,使得7-28可得未知參數(shù)的極大似然估計(jì)值然后,再求得極大似然估計(jì)量.7-29L是的可微函數(shù),解似然方程組若

L不是的可微函數(shù),需用其它方法求極大似然估計(jì)值.請(qǐng)看下例：若例設(shè)X~U(a,b),x1,x2,…,xn是

X

的一個(gè)樣本值,求

a,b的極大似然估計(jì)值與極大似然估計(jì)量.解X的密度函數(shù)為似然函數(shù)為7-30似然函數(shù)只有當(dāng)a<xi<b,i=1,2,…,n時(shí)才能獲得最大值,且a越大,b越小,L越大.令xmin=min{x1,x2,…,xn}xmax=max{x1,x2,…,xn}取則對(duì)滿足的一切a<b,7-31都有故是a,b的極大似然估計(jì)值.分別是a,b的極大似然估計(jì)量.7-32極大似然估計(jì)的不變性設(shè)是

的極大似然估計(jì)值,u(

)(

)是

的函數(shù),且有單值反函數(shù)=(u),uU則是u(

)的極大似然估計(jì)值.7-35不變性如在正態(tài)總體N(

,

2)中,

2的極大似然估計(jì)值為是

2的單值函數(shù),且具有單值反函數(shù)，故

的極大似然估計(jì)值為lg

的極大似然估計(jì)值為7-36這一講，我們介紹了參數(shù)點(diǎn)估計(jì)，給出了尋求估計(jì)量最常用的矩法和極大似然法.參數(shù)點(diǎn)估計(jì)是用一個(gè)確定的值去估計(jì)未知的參數(shù).看來(lái)似乎精確，實(shí)際上把握不大.為了使估計(jì)的結(jié)論更可信，需要引入?yún)^(qū)間估計(jì).這是下一講的內(nèi)容.例4：設(shè)

X

～U(a,b)，求a,b的極大似然估計(jì)。

解：因所以由上式看到：L(a,b)作為a和b的二元函數(shù)