參數(shù)估計(jì)極大似然法

1、極大似然估計(jì)法極大似然估計(jì)法 極大似然原理的直觀想法是極大似然原理的直觀想法是: :一個(gè)隨機(jī)試一個(gè)隨機(jī)試驗(yàn)如有若干個(gè)可能的結(jié)果驗(yàn)如有若干個(gè)可能的結(jié)果A,B,C,A,B,C,. .若在一次若在一次試驗(yàn)中試驗(yàn)中, ,結(jié)果結(jié)果A A出現(xiàn)出現(xiàn), , 則一般認(rèn)為則一般認(rèn)為A A出現(xiàn)的概出現(xiàn)的概率最大率最大, ,也即試驗(yàn)條件對(duì)也即試驗(yàn)條件對(duì)A A出現(xiàn)有利出現(xiàn)有利. .或者說或者說在試驗(yàn)的很多可能條件中，認(rèn)為應(yīng)該是使事在試驗(yàn)的很多可能條件中，認(rèn)為應(yīng)該是使事件件A A發(fā)生的概率為最大的那種條件存在發(fā)生的概率為最大的那種條件存在. . 極大似然估計(jì)的基本思想極大似然估計(jì)的基本思想kkkppCkXP33)1 ()

2、(X0123P=1/4 時(shí) PX=k27/6427/649/641/64P=3/4 時(shí) PX=k1/649/6427/6427/54例：假若一個(gè)盒子里有許多白球和紅球例：假若一個(gè)盒子里有許多白球和紅球, ,而且已知而且已知它們的數(shù)目之比是它們的數(shù)目之比是3:1,3:1,但不知是白球多還是紅球多但不知是白球多還是紅球多. .設(shè)隨機(jī)地在盒子中取一球?yàn)榘浊虻母怕适窃O(shè)隨機(jī)地在盒子中取一球?yàn)榘浊虻母怕适莗.p.如果有如果有放回地從盒子里取放回地從盒子里取3 3個(gè)球個(gè)球, ,那么白球數(shù)目那么白球數(shù)目X X服從二項(xiàng)服從二項(xiàng)分布分布如果樣本中白球數(shù)為如果樣本中白球數(shù)為0,0,則應(yīng)估計(jì)則應(yīng)估計(jì)p=1/4,p=1

3、/4,而不估計(jì)而不估計(jì)p=3/4.p=3/4.因?yàn)榫哂幸驗(yàn)榫哂蠿=0X=0的樣本來自的樣本來自p=1/4p=1/4的總體的可的總體的可能性比來自能性比來自p=3/4p=3/4的總體的可能性要大的總體的可能性要大. .一般當(dāng)一般當(dāng)X=0,1X=0,1時(shí)時(shí), ,應(yīng)估計(jì)應(yīng)估計(jì)p=1/4;p=1/4;而當(dāng)而當(dāng)X=2,3X=2,3時(shí)時(shí), ,應(yīng)估計(jì)應(yīng)估計(jì)p=3/4.p=3/4.極大似然估計(jì)法的思想極大似然估計(jì)法的思想：設(shè)總體設(shè)總體X的密度函數(shù)為的密度函數(shù)為f(x, )， 為未知參數(shù)，則為未知參數(shù)，則樣本（樣本（X1,X2,Xn）的聯(lián)合密度函數(shù)為）的聯(lián)合密度函數(shù)為121( , )( , )nniif x x

4、xf x121( )( , )( , )nniiLf x xxf x令令 參數(shù)參數(shù) 的估計(jì)量的估計(jì)量 ，使得樣本（，使得樣本（X1,X2,Xn）落在觀測(cè)）落在觀測(cè)值值 的鄰域內(nèi)的概率的鄰域內(nèi)的概率L( )達(dá)到最大，即達(dá)到最大，即12( ,)nx xx1212( , )max ( , )nnL x xxL x xx則稱則稱 為參數(shù)為參數(shù) 的極大似然估計(jì)值。的極大似然估計(jì)值。 0)(Ldd令求極大似然估計(jì)的一般步驟歸納如下： ,.2 , 1 , 0,!kkekXPk),.,;()(21nxxxLLniniiixxnL11) !ln(ln)(ln 例例:設(shè)隨機(jī)變量X服從泊松分布:其中0是一未知參數(shù),

5、求的極大似然估計(jì).解解 設(shè)(x1,x2,xn)是樣本 (X1,X2,Xn)的一組觀測(cè)值.于是似然函數(shù)兩邊取對(duì)數(shù)得)!(1exniixinniixexnii1101)(ln1niixndLd令0)(ln22xdLdx且X從而得出的極大似然估計(jì)量為 解這一方程得解解 總體X服從參數(shù)為的指數(shù)分布，則有 000);(xxexfx所以似然函數(shù)為 niixneL1)(取對(duì)數(shù) niixnL1ln)(ln令 0)(ln1niixnLdd解得的極大似然估計(jì)值為 xxnnii11極大似然估計(jì)量為 XXnnii11)x(21exp)2(1)x,.,x,x;,(LLn1i2i22/n2n212例例:設(shè)(X1,X2,X

6、n)是來自正態(tài)總體N(,2)的一個(gè)樣本,其中,2是未知參數(shù),參數(shù)空間=- 0.求與2的極大似然估計(jì).解解 正態(tài)分布的似 然函數(shù)為n1i2i22)x(21lnn2)2ln(2nLln兩邊取對(duì)數(shù)得由微積分知識(shí)易驗(yàn)證以上所求為與2的極大似然估計(jì).niiniixnLxL12422120)(212ln0)(1ln分別求關(guān)于與2的偏導(dǎo)數(shù),得似然方程組2n1ii2n1ii)xx(n1xxn1解這一方程組得0, 00,1);(其他xxpnixxxxLinn,.,2 , 1,0 ,1),.,;(21n,.,2 , 1i ,xmaxxx0ini1)n(imax1inixmax),.,(121ininXXXX例例:

7、設(shè)總體X具有均勻分布,其概率密度函數(shù)為求未知參數(shù)的極大似然估計(jì).解解 設(shè) (X1,X2,Xn)是來自總體X的一個(gè)樣本.似然函數(shù)為 要使L(; x1,x2,xn)達(dá)到最大,就要使達(dá)到最小,由于所以的極大似然估計(jì)值為：參數(shù)的極大似然估計(jì)量為：例例 假設(shè)（假設(shè)（X1，X2，Xn）是取自正態(tài)總體）是取自正態(tài)總體N( , 2)的樣本，求的樣本，求 和和 2的極大似然估計(jì)量。的極大似然估計(jì)量。解解 構(gòu)造似然函數(shù)構(gòu)造似然函數(shù) 22()211( )2ixniLe取對(duì)數(shù)取對(duì)數(shù) 22()211ln ( )ln2ixniLe221()ln2ln2niix求偏導(dǎo)數(shù)，并令其為求偏導(dǎo)數(shù)，并令其為0 1221()2()( 1)ln02niniiixxL222221()ln11022niixL解得解得 11niixxn2211()niixxn所以所以， 2的極大似然估計(jì)量為的極大似然估計(jì)量為 11niiXXn2211()niiXXn與矩估計(jì)量與矩估計(jì)量 相同相同例例 設(shè)總體 X N (, 2), x1, x2, xn 是 X 的樣本值, 求 , 2 的極大似然估計(jì).解解),;,(221nxxxLniixnne1222)(222)()2(1)ln(2)2ln(22)(ln2122nnxLnii222)(121ixnie7