最大似然估計(jì)法實(shí)用教案

1、會(huì)計(jì)學(xué)1最大似然估計(jì)最大似然估計(jì)(gj)法法第一頁(yè)，共22頁(yè)。 極大極大(j d)似然法的基本思想似然法的基本思想 先看一個(gè)簡(jiǎn)單先看一個(gè)簡(jiǎn)單(jindn)例子：例子：一只野兔一只野兔(yt)從前方竄從前方竄過(guò)過(guò) .是誰(shuí)打中的呢？是誰(shuí)打中的呢？某位同學(xué)與一位獵人一起某位同學(xué)與一位獵人一起外出打獵外出打獵 .如果要你推測(cè)，如果要你推測(cè)，你會(huì)如何想呢你會(huì)如何想呢?只聽(tīng)一聲槍響，野兔應(yīng)聲倒下只聽(tīng)一聲槍響，野兔應(yīng)聲倒下 .第1頁(yè)/共22頁(yè)第二頁(yè)，共22頁(yè)。選擇選擇(xunz)一個(gè)參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率一個(gè)參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率第2頁(yè)/共22頁(yè)第三頁(yè)，共22頁(yè)。 極大似然估計(jì)極大似然估計(jì)(gj

2、)原理：原理： 當(dāng)給定樣本當(dāng)給定樣本X1,X2,Xn時(shí)，定義時(shí)，定義(dngy)似然函數(shù)為：似然函數(shù)為： 設(shè)設(shè)X1,X2,Xn是取自總體是取自總體X的一個(gè)樣本的一個(gè)樣本，樣本的聯(lián)合密度，樣本的聯(lián)合密度(連續(xù)型）或聯(lián)合概率函連續(xù)型）或聯(lián)合概率函數(shù)數(shù)(離散型離散型)為為 f (X1,X2,Xn; ) . )( Lf (X1,X2,Xn; ) 第3頁(yè)/共22頁(yè)第四頁(yè)，共22頁(yè)。 似然函數(shù)似然函數(shù)(hnsh)：)(max)( LL 極大似然估計(jì)法就是用使極大似然估計(jì)法就是用使 達(dá)到最達(dá)到最 大值的大值的 去估計(jì)去估計(jì) . )( L 稱稱 為為 的極大似然估計(jì)（的極大似然估計(jì)（MLE）. )( Lf (

3、X1,X2,Xn; ) 看作參數(shù)看作參數(shù) 的函數(shù)，它可作為的函數(shù)，它可作為 將以多將以多大可能產(chǎn)生樣本值大可能產(chǎn)生樣本值X1,X2,Xn的一種度量的一種度量 .)( L 第4頁(yè)/共22頁(yè)第五頁(yè)，共22頁(yè)。極大極大(j d)似然估似然估計(jì)法計(jì)法可能取值的范圍。可能取值的范圍。是是為待估參數(shù)，為待估參數(shù)，的形式為已知，的形式為已知，屬離散型，其分布律屬離散型，其分布律若總體若總體 ),;().1(xpxXPX的的聯(lián)聯(lián)合合分分布布律律：的的樣樣本本；則則是是來(lái)來(lái)自自設(shè)設(shè)nnXXXXX,11 niixp1);( 的的一一個(gè)個(gè)樣樣本本值值；是是又又設(shè)設(shè)nnXXxx,11發(fā)生的概率為：發(fā)生的概率為：事件事

4、件的概率，亦即的概率，亦即取取易知樣本易知樣本,1111nnnnxXxXxxXX 第5頁(yè)/共22頁(yè)第六頁(yè)，共22頁(yè)。)1 . 1(., );();,()(11 niinxpxxLL。似似然然函函數(shù)數(shù)稱稱為為樣樣本本的的的的函函數(shù)數(shù)。它它是是)( L使得：使得：即取即取的估計(jì)值，的估計(jì)值，作為，作為達(dá)到最大的參數(shù)達(dá)到最大的參數(shù)挑選使概率挑選使概率定定由極大似然估計(jì)法：固由極大似然估計(jì)法：固 );,(;, 11nnxxLxx)2 . 1();,(max);,(11 nnxxLxxL 。極大似然估計(jì)值極大似然估計(jì)值的的稱其為參數(shù)稱其為參數(shù)有關(guān)，記為有關(guān)，記為與與 );,(,11nnxxxx。極極大大

5、似似然然估估計(jì)計(jì)量量的的稱稱為為參參數(shù)數(shù) ),(1nXX 第6頁(yè)/共22頁(yè)第七頁(yè)，共22頁(yè)。;),;().2(為待估參數(shù)為待估參數(shù)的形式已知，的形式已知，屬連續(xù)型，其概率密度屬連續(xù)型，其概率密度若總體若總體 xfX的的聯(lián)聯(lián)合合密密度度：則則nXX,1 niixf1);( 似為：似為：維立方體）內(nèi)的概率近維立方體）內(nèi)的概率近的的的鄰域（邊長(zhǎng)分別為的鄰域（邊長(zhǎng)分別為落在落在機(jī)點(diǎn)機(jī)點(diǎn)的一個(gè)樣本值，則隨的一個(gè)樣本值，則隨是相應(yīng)是相應(yīng)設(shè)設(shè)ndxdxxxXXXXxxnnnnn,),(),(,11111)3 . 1( );(1iniidxxf 取到最大值。取到最大值。，使概率，使概率的估計(jì)值的估計(jì)值我們?nèi)∥?/p>

6、們?nèi)?3 . 1( 第7頁(yè)/共22頁(yè)第八頁(yè)，共22頁(yè)。而變，故只需考慮：而變，故只需考慮：不隨不隨但但 iidx)4 . 1( , );();,()(11 niinxfxxLL 。似似然然函函數(shù)數(shù)稱稱為為樣樣本本的的的的最最大大值值，這這里里)( L);,(max);,( 11 nnxxLxxL 若若。極極大大似似然然估估計(jì)計(jì)值值的的為為則則稱稱 ),(1nxx 。極極大大似似然然估估計(jì)計(jì)量量的的為為稱稱 ),(1nXX . 0)( );(),;( ddLxfxp可由下式求得：可由下式求得：可微，故可微，故關(guān)于關(guān)于一般，一般，第8頁(yè)/共22頁(yè)第九頁(yè)，共22頁(yè)。(1.5) . 0)(ln )(l

7、n)( LddLL也可從下述方程解得：也可從下述方程解得：大似然估計(jì)大似然估計(jì)的極的極處取到極值，因此處取到極值，因此在同一在同一與與又因又因個(gè)個(gè)參參數(shù)數(shù)，若若母母體體的的分分布布中中包包含含多多., 1, 0ln., 1, 0kiLkiLii 或或即可令即可令的的極極大大似似然然估估計(jì)計(jì)值值。個(gè)個(gè)方方程程組組求求得得解解kk ,1第9頁(yè)/共22頁(yè)第十頁(yè)，共22頁(yè)。例例1、設(shè)一批產(chǎn)品、設(shè)一批產(chǎn)品(chnpn)中有次品和正品。為了中有次品和正品。為了估計(jì)次品率估計(jì)次品率P，從這批產(chǎn)品，從這批產(chǎn)品(chnpn)中抽取容量為中抽取容量為n的樣本的樣本X1, X2, ,Xn, 則有則有PXi =0=1

8、-p PXi =1=p的的分分布布律律為為：iXnixpppxfixxiii, 2 , 1; 1 , 0,)1(;1 對(duì)于樣本對(duì)于樣本(yngbn)一次觀測(cè)值一次觀測(cè)值x1, x2, ,xn ，似然函數(shù)為，似然函數(shù)為,)1()1(),(1111;1 niiniiiixnxxxninpppppxxL第10頁(yè)/共22頁(yè)第十一頁(yè)，共22頁(yè)。現(xiàn)抽取一容量現(xiàn)抽取一容量(rngling)為為10的樣本，其的樣本，其觀測(cè)值為觀測(cè)值為（x1, x2, ,xn ）=（1，1，0， ，0）對(duì)這一樣對(duì)這一樣(yyng)本觀測(cè)值，似然函數(shù)為本觀測(cè)值，似然函數(shù)為,)1(),(82;1pppxxLn 0),(;1 pxx

9、Ldpdn由微分由微分(wi fn)法，可令法，可令得得0)1(8)1(2728 pppp2 . 0 , , ppp得得并記為并記為解出解出第11頁(yè)/共22頁(yè)第十二頁(yè)，共22頁(yè)。求參數(shù)的最大似然估計(jì)求參數(shù)的最大似然估計(jì)(gj)(gj)的步驟：的步驟： ),;( ),;,(),(12121121 nikiknkxfxxLL （1 1）寫出似然函數(shù)）寫出似然函數(shù)(hnsh)(hnsh)（2 2）取對(duì)數(shù)）取對(duì)數(shù)(du sh)(du sh) nikikxfL12121),;(ln ),(ln 第12頁(yè)/共22頁(yè)第十三頁(yè)，共22頁(yè)。（3 3）將對(duì)數(shù)似然函數(shù)對(duì)各參數(shù)）將對(duì)數(shù)似然函數(shù)對(duì)各參數(shù)(cnsh)(c

10、nsh)求求偏導(dǎo)數(shù)并令其為零，得對(duì)數(shù)似然方程組。若偏導(dǎo)數(shù)并令其為零，得對(duì)數(shù)似然方程組。若總體分布中只有一個(gè)未知參數(shù)總體分布中只有一個(gè)未知參數(shù)(cnsh)(cnsh)，則為一個(gè)方程，稱對(duì)數(shù)似然方程。則為一個(gè)方程，稱對(duì)數(shù)似然方程。（4 4）從方程組中解出）從方程組中解出 1 1， 2 2， k k，并記為，并記為 ),(),(),(1122111nkknnXXXXXX 第13頁(yè)/共22頁(yè)第十四頁(yè)，共22頁(yè)。的的一一個(gè)個(gè)樣樣本本，是是來(lái)來(lái)自自設(shè)設(shè)例例XXXpBXn,);, 1(. 21試求參數(shù)試求參數(shù)(cnsh)p(cnsh)p的極大似然估計(jì)量。的極大似然估計(jì)量。的的分分布布律律為為：是是一一個(gè)個(gè)樣

11、樣本本值值。解解：設(shè)設(shè)Xxxn,1; 1 , 0,)1(1 xppxXPxx故似然函數(shù)故似然函數(shù)(hnsh)(hnsh)為為,)1()1()(1111 niiniiiixnxxxnipppppL).1ln()(ln)()(ln11pxnpxpLniinii 而而. 01)(ln11 pxnpxpLdpdniinii令令p206第14頁(yè)/共22頁(yè)第十五頁(yè)，共22頁(yè)。xxpnii 1n1p 的極大似然估計(jì)值的極大似然估計(jì)值解得解得XXpnii 1n1p 的極大似然估計(jì)量為的極大似然估計(jì)量為第15頁(yè)/共22頁(yè)第十六頁(yè)，共22頁(yè)。的一個(gè)樣本值，的一個(gè)樣本值，是來(lái)自是來(lái)自為未知參數(shù)，為未知參數(shù)，設(shè)設(shè)例例

12、XxxNXn,);,(. 3122 的的極極大大似似然然估估計(jì)計(jì)量量。求求：2, 的概率密度為：的概率密度為：解：解：X)(21exp21),;(222 xxf似然函數(shù)似然函數(shù)(hnsh)為：為： niixL1222)(21exp21),( niixnnL1222)(21)ln(2)2ln(2ln p207第16頁(yè)/共22頁(yè)第十七頁(yè)，共22頁(yè)。 0)()(212n-01 0ln0ln21222122 niiniixnxLL即：即：令令 0)(n02121 niiniixnx整理得整理得第17頁(yè)/共22頁(yè)第十八頁(yè)，共22頁(yè)。 niixn11 解得：解得： niiXXn122)(1 XXnnii

13、11 代入，解得代入，解得將將X 第18頁(yè)/共22頁(yè)第十九頁(yè)，共22頁(yè)。是是一一個(gè)個(gè)樣樣本本值值，未未知知，設(shè)設(shè)例例nxxUX,;, 0. 41 的極大似然估計(jì)量。的極大似然估計(jì)量。求求 其它其它 , 0n),1,2,(i ;0 ,1);,(21 innxxxxL解：似然函數(shù)解：似然函數(shù)(hnsh)為為 其它其它 , 0n),1,2,(i ;max ,1 inx當(dāng)當(dāng)L0時(shí)，有時(shí)，有l(wèi)nL=-nln p210第19頁(yè)/共22頁(yè)第二十頁(yè)，共22頁(yè)。對(duì)對(duì) 求導(dǎo)，并令其為零，得求導(dǎo)，并令其為零，得0 n對(duì)數(shù)似然函數(shù)無(wú)解，只能應(yīng)用最大似然法基本對(duì)數(shù)似然函數(shù)無(wú)解，只能應(yīng)用最大似然法基本思想，選擇思想，選擇的最小可能的最小可能(knng)值，使最大值，使最大似然函數(shù)達(dá)到最大。似然函數(shù)達(dá)到最大。max1ixni 即即第20頁(yè)/共22頁(yè)第