第二節(jié)極大似然估計(jì)

1、概率統(tǒng)計(jì) 第二節(jié)第二節(jié) 極大似然法極大似然法極大似然法是在極大似然法是在總體類(lèi)型已總體類(lèi)型已知知條件下使用的一種參數(shù)估條件下使用的一種參數(shù)估計(jì)方法計(jì)方法 。它首先它首先是由德國(guó)數(shù)學(xué)家是由德國(guó)數(shù)學(xué)家高斯高斯（ Gauss）在在 1821 年提出的年提出的 。Fisher然而然而，這個(gè)方法常歸功于英國(guó)，這個(gè)方法常歸功于英國(guó)統(tǒng)計(jì)學(xué)家統(tǒng)計(jì)學(xué)家費(fèi)歇（費(fèi)歇（ Fisher ），費(fèi)），費(fèi)歇歇在在 1922 年重新發(fā)現(xiàn)了這一方年重新發(fā)現(xiàn)了這一方法，法， 并首先研究了這種方法的并首先研究了這種方法的一些性質(zhì)一些性質(zhì) 。Gauss概率統(tǒng)計(jì) 極大似然法的基本思想極大似然法的基本思想引例引例 1若某位同學(xué)與一位獵人一

2、起外若某位同學(xué)與一位獵人一起外出打獵出打獵 。一只野兔從前方竄過(guò)，只聽(tīng)一只野兔從前方竄過(guò)，只聽(tīng)一一聲槍響聲槍響，野兔應(yīng)聲倒下，野兔應(yīng)聲倒下 。試推測(cè)：試推測(cè)：這是誰(shuí)打中的呢這是誰(shuí)打中的呢 ？ 因?yàn)橹话l(fā)一槍便打中，獵人因?yàn)橹话l(fā)一槍便打中，獵人命中的概率一般命中的概率一般大于大于這位同這位同學(xué)命中的概率。于是可推測(cè)學(xué)命中的概率。于是可推測(cè)這一槍是獵人射中的這一槍是獵人射中的 . 概率統(tǒng)計(jì)引例引例 2 設(shè)設(shè)X B(1, p), p 未知未知，若，若事先知道事先知道 p 只有兩只有兩種可能種可能: 試問(wèn)：應(yīng)如何估計(jì)試問(wèn)：應(yīng)如何估計(jì) p ?P = 0.7 或或 p = 0.3如今重復(fù)試驗(yàn)如今重復(fù)試驗(yàn) 3

3、 次，得結(jié)果次，得結(jié)果: 0 , 0, 0由概率論的知識(shí)，可知：由概率論的知識(shí)，可知：3 次試驗(yàn)中出現(xiàn)次試驗(yàn)中出現(xiàn) “1” 的次數(shù)的次數(shù)), 3(pBYk = 0, 1, 2, 33()(1)kn kP Ykppk 分析：分析：且：且：現(xiàn)將這計(jì)算結(jié)果列出如下：現(xiàn)將這計(jì)算結(jié)果列出如下：概率統(tǒng)計(jì) 將計(jì)算結(jié)果列表如下：將計(jì)算結(jié)果列表如下：p值值P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.7 0.027 0.189 0.441 0.343 0.3 0.343 0.441 0.189 0.027出現(xiàn)出現(xiàn)估計(jì)估計(jì)出現(xiàn)出現(xiàn)出現(xiàn)出現(xiàn)出現(xiàn)出現(xiàn)估計(jì)估計(jì)估計(jì)估計(jì)估計(jì)估計(jì)0.3430.4410.44

4、10.343注注: 引例引例1與引例與引例2都體現(xiàn)了極大似然法的都體現(xiàn)了極大似然法的基本思想基本思想 ：當(dāng)試驗(yàn)中得到一個(gè)結(jié)果時(shí)，應(yīng)選擇使得這個(gè)試當(dāng)試驗(yàn)中得到一個(gè)結(jié)果時(shí)，應(yīng)選擇使得這個(gè)試驗(yàn)結(jié)果出現(xiàn)的概率達(dá)到驗(yàn)結(jié)果出現(xiàn)的概率達(dá)到最大最大的這個(gè)值作為參數(shù)的這個(gè)值作為參數(shù)的估計(jì)值的估計(jì)值概率統(tǒng)計(jì)定義定義:作作似然函數(shù)：似然函數(shù)：121(,)nlkkLf x 121(,)nlkkP x (1). 極大似然估計(jì)量的定義極大似然估計(jì)量的定義是相應(yīng)于樣本是相應(yīng)于樣本 12,nxxxnXXX,21的一組樣本值。的一組樣本值。其中：其中：設(shè)總體設(shè)總體X的概率密度函數(shù)為的概率密度函數(shù)為),(21lxf 或分布律為或

5、分布律為12( ,),lP x 12,l 為為未知參數(shù)未知參數(shù)。又設(shè)。又設(shè)使得似然函數(shù)使得似然函數(shù) L 達(dá)到達(dá)到極大值極大值的的12 ,l 或或概率統(tǒng)計(jì)稱(chēng)為稱(chēng)為參數(shù)參數(shù) 的的極大似然估計(jì)值極大似然估計(jì)值，記為：，記為：12,l 為參數(shù)為參數(shù) 的的極大似然估計(jì)量極大似然估計(jì)量12(,)inXXX i 注注:或或隨機(jī)點(diǎn)隨機(jī)點(diǎn) 取到取到 12(,)nXXX12,nxxx的概率。的概率。 12(,)inxxx (它與樣本值有關(guān)它與樣本值有關(guān))，似然函數(shù)似然函數(shù) L 是隨機(jī)點(diǎn)是隨機(jī)點(diǎn) 落在點(diǎn)落在點(diǎn)12(,)nXXX12(,)nxxx的鄰域的鄰域 （邊長(zhǎng)分別為（邊長(zhǎng)分別為ndxdxdx,21的的 n 維立

6、方體維立方體) 內(nèi)的概率；內(nèi)的概率；k 似然函數(shù)似然函數(shù) L 是是 的函數(shù)。的函數(shù)。記記統(tǒng)計(jì)量統(tǒng)計(jì)量：概率統(tǒng)計(jì)思路思路:從而此問(wèn)題就從而此問(wèn)題就轉(zhuǎn)化為轉(zhuǎn)化為一般的求函數(shù)的最大值問(wèn)題一般的求函數(shù)的最大值問(wèn)題. (2). 極大似然法的具體步驟極大似然法的具體步驟12(,)nXXX12,l 取到取到現(xiàn)要求現(xiàn)要求121211(,)(,)nnklklkkf xP x 或或的最大值，即求的最大值，即求 取什么值時(shí)函數(shù)取什么值時(shí)函數(shù) L達(dá)到最大。即其隨機(jī)點(diǎn)達(dá)到最大。即其隨機(jī)點(diǎn) 落在落在12(,)nxxx 的鄰域內(nèi)的概率或的鄰域內(nèi)的概率或 隨機(jī)點(diǎn)隨機(jī)點(diǎn)12(,)nxxx12(,)nXXX的概率最大。的概率最大

7、。概率統(tǒng)計(jì) 具體步驟具體步驟(1) 作似然函數(shù)作似然函數(shù)1( )(,)nkkLf x 1( )(,)nkkLP x (2)當(dāng)似然函數(shù)可微且當(dāng)似然函數(shù)可微且 的最大值能在參數(shù)空間的最大值能在參數(shù)空間取得時(shí)，求方程組取得時(shí)，求方程組: 的解，解得的解，解得( )L ln ( )0L 一解為一解為 ，則，則 為為極大似然估計(jì)量（值）極大似然估計(jì)量（值）。 注注: 因?yàn)橐驗(yàn)?與與 有相同的最大值點(diǎn)，而且有相同的最大值點(diǎn)，而且對(duì)數(shù)函數(shù)是單調(diào)增的，對(duì)數(shù)函數(shù)是單調(diào)增的， 求求 比求比求 方便，所以方便，所以常取常取前者作為似然函數(shù)。前者作為似然函數(shù)。 ln ( )L max ( )L ( )L maxln

8、( )L 或或概率統(tǒng)計(jì) 按照求函數(shù)極值的方法，在求方程組：按照求函數(shù)極值的方法，在求方程組：ln ( )0L 的解后還應(yīng)該用極值的的解后還應(yīng)該用極值的充分條件充分條件對(duì)解做進(jìn)一步的判斷；對(duì)解做進(jìn)一步的判斷； 當(dāng)似然函數(shù)當(dāng)似然函數(shù)不可微不可微或方程組或方程組無(wú)解無(wú)解時(shí)，則應(yīng)根據(jù)定時(shí)，則應(yīng)根據(jù)定義直接尋求能使義直接尋求能使 達(dá)到最大值的解作為極大達(dá)到最大值的解作為極大似然估計(jì)量。似然估計(jì)量。( )L 極大似然估計(jì)法適用于極大似然估計(jì)法適用于多個(gè)未知參數(shù)多個(gè)未知參數(shù)的情形。的情形。但又由最值原理，如果最值存在，此方程組求得但又由最值原理，如果最值存在，此方程組求得的駐點(diǎn)即為所求的最值點(diǎn)。極大似然估計(jì)

9、法一般的駐點(diǎn)即為所求的最值點(diǎn)。極大似然估計(jì)法一般屬于這種情況，所以可直接按步驟屬于這種情況，所以可直接按步驟(2)求的其值。求的其值。概率統(tǒng)計(jì)例例1.求求: 的極大似然估計(jì)量的極大似然估計(jì)量2, 是是 X 的一個(gè)樣本值的一個(gè)樣本值12,nxxx2( ,),XN 2,設(shè)設(shè) 為為未知參數(shù)未知參數(shù)， 解解:22()221( ;,)2xf xe X的密度函數(shù)為：的密度函數(shù)為： 作似然函數(shù)：作似然函數(shù)：22()2112ixniLe 2211()21()2niixne 為計(jì)算方便對(duì)為計(jì)算方便對(duì) L 兩邊兩邊取對(duì)數(shù)取對(duì)數(shù)得得:概率統(tǒng)計(jì)令：令：21ln10niiLxn 222221ln1()022()niiL

10、nx 解得所求為解得所求為:11niixXn 2221111()()nniiiixxXnn與矩估計(jì)法與矩估計(jì)法所得的的結(jié)所得的的結(jié)論是一致的論是一致的（見(jiàn)例（見(jiàn)例1） niixnnL1222)(21ln2)2ln(2ln 概率統(tǒng)計(jì)例例2. 設(shè)設(shè) 為為參數(shù)都是未知參數(shù)都是未知的正態(tài)總體的的正態(tài)總體的一個(gè)樣本一個(gè)樣本 nXXX21,求求: 的極大似然估計(jì)的極大似然估計(jì))(tXP 解解:211( ,)niiXXNnn ()XtPnn()tn 22( ,),iXN 未知未知()P Xt 概率統(tǒng)計(jì)由例由例 3可知：可知： 的極大似然估計(jì)為的極大似然估計(jì)為 X 的極大似然估計(jì)為的極大似然估計(jì)為2 211(

11、)niiXXn ()P Xt的的極大似然估計(jì)極大似然估計(jì)為：為：()Xtn 其中其中:211()niiXXn 設(shè)設(shè) X1, X2, Xn 是取自總體是取自總體 X 的一個(gè)樣本，其的一個(gè)樣本，其密度函數(shù)為：密度函數(shù)為：0 其中其中1,01( )0,xxf x 其其它它求求 的極大似然估計(jì)的極大似然估計(jì). 例例4.概率統(tǒng)計(jì)作似然函數(shù)：作似然函數(shù)： niixL11)( 11()nniix (01)ix 則則對(duì)數(shù)似然函數(shù)對(duì)數(shù)似然函數(shù)為：為：1ln ( )ln(1)lnniiLnx 1in 1ln( )ln0 ,niidLnxd 對(duì)上式求導(dǎo)并令其為零，得：對(duì)上式求導(dǎo)并令其為零，得：從中從中解得：解得：1lnniinx 解：解：概率統(tǒng)計(jì)(3). 性質(zhì)性質(zhì)的函數(shù)，的函數(shù)，是是 )(uu 且具有單值反函數(shù)且具有單值反函數(shù)( ),u 又設(shè)又設(shè) 是是 X 的概率的概率 密度函數(shù)密度函數(shù) 中參數(shù)中參數(shù) 的極大似然估計(jì)，的極大似然估計(jì)，( ,)f x 證證:1212(,)max (,)nnL xxxL xxx ( )( )uuu( )uu 是是 的極大似然估計(jì)。的極大似然估計(jì)。( )u 則則 是是 的取的取值范圍值范圍 是是的