極大似然估計(jì)課件

§6.2

極大似然估計(jì)

極大似然估計(jì)是在母體類(lèi)型已知條件下使用的一種參數(shù)估計(jì)方法.

它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的,費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).§6.2極大似然估計(jì)極大似然估計(jì)是在母體類(lèi)型已1

先通過(guò)一個(gè)簡(jiǎn)單的例子來(lái)說(shuō)明極大似然估計(jì)的基本思想一只野兔從前方竄過(guò)，是誰(shuí)打中的呢？某位同學(xué)與一位獵人一起外出打獵.如果要你推測(cè)，你會(huì)如何想呢?只聽(tīng)一聲槍響，野兔應(yīng)聲倒下.

下面我們?cè)倏磧蓚€(gè)例子,進(jìn)一步體會(huì)極大似然法的基本思想.

你就會(huì)想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來(lái)這一槍是獵人射中的.

這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.先通過(guò)一個(gè)簡(jiǎn)單的例子來(lái)說(shuō)明極大似然估計(jì)的基本思想2例1

一個(gè)箱子里裝有黑、白球共9個(gè),我們從中隨機(jī)地?zé)o放回地抽取三個(gè)球，發(fā)現(xiàn)恰有2個(gè)黑球，請(qǐng)猜一下(估計(jì))箱子里有幾個(gè)黑球，幾個(gè)白球.

這是典型的“黑箱”問(wèn)題.可以這樣來(lái)分析、推斷：隨機(jī)所以能取得“二個(gè)黑球一個(gè)白球”這是由箱中球的狀況決定的.我們就從這個(gè)“信息”出發(fā).例1一個(gè)箱子里裝有黑、白球共9個(gè),我們從中3

箱中球的狀況能取得二個(gè)黑球一個(gè)白球的(所有可能情形)可能性大小

黑球數(shù)白球數(shù)P1.1802.273.364.455.546.637.728.819.90010.090箱中球的狀況能取得二個(gè)黑球一4

比較這些概率的大小，我們可以推斷箱中黑球數(shù)最有可能是6個(gè)(顯然，這個(gè)推斷不是絕對(duì)正確的).

這是一種新的邏輯推理方法：根據(jù)概率最大，推斷“事情”發(fā)生的原因是什么.比較這些概率的大小，我們可以推斷箱中黑球5例2一批產(chǎn)品，合格品率為p，從中抽得子樣(1,1，0,1，1)，其中1為合格品，0為不合格品，試估計(jì)這批產(chǎn)品的合格品率p.它是p的一個(gè)函數(shù)解：該母體ξ服從兩點(diǎn)分布：

ξ

01

P1-p

p因此，出現(xiàn)此子樣的可能性的大小，是概率例2一批產(chǎn)品，合格品率為p，從中抽得子樣它是p的一個(gè)函6極大似然估計(jì)課件7這時(shí),對(duì)一切0<p<1,均有

以上這種選擇一個(gè)參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率的思想就是極大似然法的基本思想.這時(shí),對(duì)一切0<p<1,均有以上這種8

極大似然估計(jì)原理：

當(dāng)給定子樣觀測(cè)值x1,x2,…,xn時(shí),定義似然函數(shù)（likelihoodfunction）為：

設(shè)ξ1,ξ2,…,ξn是取自母體ξ的一個(gè)子樣，θ為未知參數(shù)，子樣的聯(lián)合密度(連續(xù)型）或聯(lián)合分布列(離散型)為

f(x1,x2,…,xn;θ)=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)極大似然估計(jì)原理：當(dāng)給定子樣觀測(cè)值x19

極大似然估計(jì)法就是用使L(θ)達(dá)到最大值的去估計(jì)θ，即

L(θ)看作參數(shù)θ的函數(shù)，它可作為θ將以多大可能產(chǎn)生子樣觀測(cè)值x1,x2,…,xn的一種度量.則稱(chēng)為θ的極大似然估計(jì)（MLE）.極大似然估計(jì)法就是用使L(θ)達(dá)到最大值的10§6.2

極大似然估計(jì)極大似然估計(jì)原理：

設(shè)ξ1,ξ2,…,ξn是取自母體ξ的一個(gè)子樣，θ為未知參數(shù)，子樣的聯(lián)合密度(連續(xù)型）或聯(lián)合分布列(離散型)為

f(x1,x2,…,xn;θ)定義似然函數(shù)（likelihoodfunction）=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)§6.2極大似然估計(jì)極大似然估計(jì)原理：設(shè)11

極大似然估計(jì)法就是用使L(θ)達(dá)到最大值的去估計(jì)θ，即

則稱(chēng)為θ的極大似然估計(jì)（MLE）.定義似然函數(shù)（likelihoodfunction）=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)極大似然估計(jì)法就是用使L(θ)達(dá)到最大值的12求極大似然估計(jì)(MLE)的一般步驟:(1)由母體分布寫(xiě)出子樣的聯(lián)合分布列(或聯(lián)合密度);(2)把子樣聯(lián)合分布列(或聯(lián)合密度)中的自變量看成已知常數(shù),而把參數(shù)θ看作自變量,得到似然函數(shù)L(θ);(3)求似然函數(shù)L(θ)的最大值點(diǎn)(常常轉(zhuǎn)化為求lnL(θ)的最大值點(diǎn))，即θ的MLE求極大似然估計(jì)(MLE)的一般步驟:(1)由母體分布寫(xiě)出子樣132、用上述求導(dǎo)方法求參數(shù)的MLE有時(shí)行不通，這時(shí)要用極大似然估計(jì)原理來(lái)求.說(shuō)明：2、用上述求導(dǎo)方法求參數(shù)的MLE有時(shí)行不通，這時(shí)要用極大似然14例1設(shè)ξ1,ξ2,…,ξn是取自母體ξ~b(1,p)的一個(gè)子樣，求參數(shù)p的極大似然估計(jì).例1設(shè)ξ1,ξ2,…,ξn是取自母體ξ~b(1,p)15注注16極大似然估計(jì)課件17極大似然估計(jì)課件18最大次序統(tǒng)計(jì)量注最大次序統(tǒng)計(jì)量注19極大似然估計(jì)課件20矩估計(jì)量矩估計(jì)量21極大似然估計(jì)課件22極大似然估計(jì)課件23注注24ЦЦ25例3一罐中裝有白球和黑球，有放回地抽取一個(gè)容量為n的子樣，其中有k個(gè)白球，求罐中黑球與白球之比R的極大似然估計(jì)值.解:設(shè)罐中有白球x個(gè)，則有黑球Rx個(gè)，從而罐中共有(R+1)x個(gè)球例3一罐中裝有白球和黑球，有放回地抽取一個(gè)容量為n的子樣26∴先求p的MLE：p的MLE為在前面例2中,我們已求得由前述極大似然估計(jì)的不變性不難求得的MLE是∴先求p的MLE：p的MLE為在前面例2中,我們已求得由前述27極大似然估計(jì)課件28作業(yè)：p.304-3056.7、6.8、6.12作業(yè)：p.304-3056.7、6.8、6.129§6.2

極大似然估計(jì)

極大似然估計(jì)是在母體類(lèi)型已知條件下使用的一種參數(shù)估計(jì)方法.

它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的,費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).§6.2極大似然估計(jì)極大似然估計(jì)是在母體類(lèi)型已30

先通過(guò)一個(gè)簡(jiǎn)單的例子來(lái)說(shuō)明極大似然估計(jì)的基本思想一只野兔從前方竄過(guò)，是誰(shuí)打中的呢？某位同學(xué)與一位獵人一起外出打獵.如果要你推測(cè)，你會(huì)如何想呢?只聽(tīng)一聲槍響，野兔應(yīng)聲倒下.

下面我們?cè)倏磧蓚€(gè)例子,進(jìn)一步體會(huì)極大似然法的基本思想.

你就會(huì)想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來(lái)這一槍是獵人射中的.

這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.先通過(guò)一個(gè)簡(jiǎn)單的例子來(lái)說(shuō)明極大似然估計(jì)的基本思想31例1

一個(gè)箱子里裝有黑、白球共9個(gè),我們從中隨機(jī)地?zé)o放回地抽取三個(gè)球，發(fā)現(xiàn)恰有2個(gè)黑球，請(qǐng)猜一下(估計(jì))箱子里有幾個(gè)黑球，幾個(gè)白球.

這是典型的“黑箱”問(wèn)題.可以這樣來(lái)分析、推斷：隨機(jī)所以能取得“二個(gè)黑球一個(gè)白球”這是由箱中球的狀況決定的.我們就從這個(gè)“信息”出發(fā).例1一個(gè)箱子里裝有黑、白球共9個(gè),我們從中32

箱中球的狀況能取得二個(gè)黑球一個(gè)白球的(所有可能情形)可能性大小

黑球數(shù)白球數(shù)P1.1802.273.364.455.546.637.728.819.90010.090箱中球的狀況能取得二個(gè)黑球一33

比較這些概率的大小，我們可以推斷箱中黑球數(shù)最有可能是6個(gè)(顯然，這個(gè)推斷不是絕對(duì)正確的).

這是一種新的邏輯推理方法：根據(jù)概率最大，推斷“事情”發(fā)生的原因是什么.比較這些概率的大小，我們可以推斷箱中黑球34例2一批產(chǎn)品，合格品率為p，從中抽得子樣(1,1，0,1，1)，其中1為合格品，0為不合格品，試估計(jì)這批產(chǎn)品的合格品率p.它是p的一個(gè)函數(shù)解：該母體ξ服從兩點(diǎn)分布：

ξ

01

P1-p

p因此，出現(xiàn)此子樣的可能性的大小，是概率例2一批產(chǎn)品，合格品率為p，從中抽得子樣它是p的一個(gè)函35極大似然估計(jì)課件36這時(shí),對(duì)一切0<p<1,均有

以上這種選擇一個(gè)參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率的思想就是極大似然法的基本思想.這時(shí),對(duì)一切0<p<1,均有以上這種37

極大似然估計(jì)原理：

當(dāng)給定子樣觀測(cè)值x1,x2,…,xn時(shí),定義似然函數(shù)（likelihoodfunction）為：

設(shè)ξ1,ξ2,…,ξn是取自母體ξ的一個(gè)子樣，θ為未知參數(shù)，子樣的聯(lián)合密度(連續(xù)型）或聯(lián)合分布列(離散型)為

f(x1,x2,…,xn;θ)=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)極大似然估計(jì)原理：當(dāng)給定子樣觀測(cè)值x138

極大似然估計(jì)法就是用使L(θ)達(dá)到最大值的去估計(jì)θ，即

L(θ)看作參數(shù)θ的函數(shù)，它可作為θ將以多大可能產(chǎn)生子樣觀測(cè)值x1,x2,…,xn的一種度量.則稱(chēng)為θ的極大似然估計(jì)（MLE）.極大似然估計(jì)法就是用使L(θ)達(dá)到最大值的39§6.2

極大似然估計(jì)極大似然估計(jì)原理：

設(shè)ξ1,ξ2,…,ξn是取自母體ξ的一個(gè)子樣，θ為未知參數(shù)，子樣的聯(lián)合密度(連續(xù)型）或聯(lián)合分布列(離散型)為

f(x1,x2,…,xn;θ)定義似然函數(shù)（likelihoodfunction）=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)§6.2極大似然估計(jì)極大似然估計(jì)原理：設(shè)40

極大似然估計(jì)法就是用使L(θ)達(dá)到最大值的去估計(jì)θ，即

則稱(chēng)為θ的極大似然估計(jì)（MLE）.定義似然函數(shù)（likelihoodfunction）=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)極大似然估計(jì)法就是用使L(θ)達(dá)到最大值的41求極大似然估計(jì)(MLE)的一般步驟:(1)由母體分布寫(xiě)出子樣的聯(lián)合分布列(或聯(lián)合密度);(2)把子樣聯(lián)合分布列(或聯(lián)合密度)中的自變量看成已知常數(shù),而把參數(shù)θ看作自變量,得到似然函數(shù)L(θ);(3)求似然函數(shù)L(θ)的最大