概率論chapter7-2

1、第七章第七章 參數(shù)估計參數(shù)估計1 點估計三、三、 極大似然法極大似然法例例1如果一個射手擊中目標(biāo)的概率可能是如果一個射手擊中目標(biāo)的概率可能是.54,158,51 p現(xiàn)在讓他打三發(fā)子彈，在不同的命中目標(biāo)的次數(shù)現(xiàn)在讓他打三發(fā)子彈，在不同的命中目標(biāo)的次數(shù)下，我們應(yīng)該如何取下，我們應(yīng)該如何取 p 的估計值的估計值? p解解：用用 X 表示命中目標(biāo)的次數(shù)，表示命中目標(biāo)的次數(shù)， 則則 X B(3, p),即即).;()1()33pxPppCxXPxxx 計算結(jié)果列表如下：計算結(jié)果列表如下：退 出前一頁后一頁目 錄第七章 參數(shù)估計1 點估計x命中次數(shù)命中次數(shù)0123)51;(xP)158;(xP)54;(x

2、P3375172833751296337532433752733753433375117633751344337551233752733753243375129633751728),54; 0()158; 0()51; 0(PPP 因為因為這表明，這表明，.051的的概概率率最最大大數(shù)數(shù)為為使使得得打打三三發(fā)發(fā)子子彈彈命命中中次次 p由實際推斷原理知，由實際推斷原理知，.51 p此時應(yīng)取此時應(yīng)取例例1（續(xù)）（續(xù)）退 出前一頁后一頁目 錄第七章 參數(shù)估計1 點估計x命中次數(shù)命中次數(shù)0123)51;(xP)158;(xP)54;(xP33751728337512963375324337527337

3、53433375117633751344337551233752733753243375129633751728因此，由上表可得下面的結(jié)論：因此，由上表可得下面的結(jié)論：打三發(fā)命中次數(shù)打三發(fā)命中次數(shù) x=1 時，命中率時，命中率 p 的合理估計的合理估計;51 p打三發(fā)命中次數(shù)打三發(fā)命中次數(shù) x=2 時，命中率時，命中率 p 的合理估計的合理估計;158 p打三發(fā)命中次數(shù)打三發(fā)命中次數(shù) x=3 時，命中率時，命中率 p 的合理估計的合理估計.54 p例例1（續(xù)）（續(xù)）退 出前一頁后一頁目 錄屬屬離離散散型型，其其分分布布律律若若總總體體X)1 niixp1);( ),;(xpxXP可可能能取取值

4、值的的范范圍圍。是是為為待待估估參參數(shù)數(shù)，的的形形式式為為已已知知， 的的聯(lián)聯(lián)合合分分布布律律：則則的的樣樣本本是是來來自自設(shè)設(shè)nnXXXXX,11第七章 參數(shù)估計1 點估計的概率，亦即的概率，亦即取取易知樣本易知樣本nnxxXX,11,11的的一一個個樣樣本本值值是是又又設(shè)設(shè)nnXXxx退 出前一頁后一頁目 錄第七章 參數(shù)估計);,()(1 nxxLL .)(.稱稱為為樣樣本本的的似似然然函函數(shù)數(shù)的的函函數(shù)數(shù)它它是是 L使使得得：的的估估計計值值，即即取取，作作為為的的參參數(shù)數(shù)達(dá)達(dá)到到最最大大挑挑選選使使概概率率固固定定 );,(,11nnxxLxx極大似然法原理：極大似然法原理：1 點估計

5、發(fā)發(fā)生生的的概概率率為為：事事件件,11nnxXxX );,(max);,(11 nnxxLxxL );,(,11nnxxxx 有關(guān)，記為有關(guān)，記為與與.的的極極大大似似然然估估計計值值稱稱其其為為參參數(shù)數(shù) ., );(1 niixp退 出前一頁后一頁目 錄第七章 參數(shù)估計.)X,X(n的的極極大大似似然然估估計計量量稱稱為為參參數(shù)數(shù) 1的的方方法法稱稱為為極極大大似似然然法法這這種種求求未未知知參參數(shù)數(shù) 1 點估計.),;()2為為待待估估參參數(shù)數(shù)的的形形式式已已知知，屬屬連連續(xù)續(xù)型型，其其概概率率密密度度若若總總體體 xfX的的聯(lián)聯(lián)合合密密度度：則則nXX,1 niixf1);( 似似為為

6、：維維立立方方體體）內(nèi)內(nèi)的的概概率率近近的的別別為為的的鄰鄰域域（邊邊長長分分落落在在機機點點的的一一個個樣樣本本值值，則則隨隨是是相相應(yīng)應(yīng)設(shè)設(shè)ndxdxxxXXXXxxnnnnn,),(),(,11111 );(1iniidxxf ix)(ixf目 錄退 出前一頁后一頁第七章 參數(shù)估計 應(yīng)應(yīng)當(dāng)當(dāng)選選取取使使得得的的前前提提下下，自自然然，在在得得到到觀觀測測值值nxxx21的估計值的估計值值作為未知參數(shù)值作為未知參數(shù)達(dá)到最大的達(dá)到最大的 );(1iniidxxf 大大樣樣本本觀觀測測值值的的可可能能性性最最定定的的那那個個等等于于這這個個值值時時，出出現(xiàn)現(xiàn)給給因因為為當(dāng)當(dāng)未未知知參參數(shù)數(shù) 而

7、變，故只需考慮：而變，故只需考慮：不隨不隨但但 iidx , );();,()(11 niinxfxxLL .)(L稱稱為為樣樣本本的的似似然然函函數(shù)數(shù)的的最最大大值值，這這里里 1 點估計退 出前一頁后一頁目 錄第七章 參數(shù)估計);,(max);,( 11 nnxxLxxL 若若.)x,x(n的的極極大大似似然然估估計計值值為為則則稱稱 1.)X,X(n的的極極大大似似然然估估計計量量為為稱稱 1 );(),;(可由下式求得：可由下式求得：可微，故可微，故關(guān)于關(guān)于一般，一般， xfxp0)( ddL也也可可從從下下述述方方程程解解得得：大大似似然然估估計計的的極極處處取取到到極極值值，因因此

8、此在在同同一一與與又又因因 )(ln)(LL0)(ln Ldd1 點估計-對數(shù)似然方程對數(shù)似然方程-似然方程似然方程退 出前一頁后一頁目 錄第七章 參數(shù)估計個參數(shù)，個參數(shù)，若總體的分布中包含多若總體的分布中包含多kiLi, 1, 0 即可令即可令.,kk的的極極大大似似然然估估計計值值個個方方程程組組求求得得解解 1.,k的的極極大大似似然然估估計計量量即即可可得得 1能能地地使使用用極極大大似似然然估估計計應(yīng)應(yīng)用用中中，我我們們應(yīng)應(yīng)當(dāng)當(dāng)盡盡可可計計優(yōu)優(yōu)于于矩矩估估計計，因因而而在在一一般般來來講講，極極大大似似然然估估1 點估計kiLi, 1, 0ln 或或-對數(shù)似然方程組對數(shù)似然方程組-似

9、然方程組似然方程組退 出前一頁后一頁目 錄第七章 參數(shù)估計1 點估計極大似然法求估計量的步驟：極大似然法求估計量的步驟：(一般情況下一般情況下):)()1 L構(gòu)造似然函數(shù)構(gòu)造似然函數(shù),()()(1 niixPL離散型）離散型） niixfL1;()()(連連續(xù)續(xù)型型） );(ln)2 L取對數(shù)：取對數(shù)：; 0ln)3 dLd令令.)4 的的極極大大似似然然估估計計量量解解似似然然方方程程得得說明：若似然方程（組）無解，或似然函數(shù)不可導(dǎo)，說明：若似然方程（組）無解，或似然函數(shù)不可導(dǎo)， 此法失效，改用其它方法此法失效，改用其它方法.退 出前一頁后一頁目 錄第七章 參數(shù)估計的的一一個個樣樣本本，是是

10、來來自自設(shè)設(shè)XXXpBXn,);, 1(1試求參數(shù)試求參數(shù) p 的極大似然估計量的極大似然估計量.解：解：; 1 , 0,)1(1 xppxXPxx故似然函數(shù)為故似然函數(shù)為 nixxiipppL11)1()()(lnpL而而例例21 點估計,)1(11 niiniixnxpp).1ln()(ln)(11pxnpxniinii 的的分分布布律律為為：是是一一個個樣樣本本值值設(shè)設(shè)X.x,xn1退 出前一頁后一頁目 錄第七章 參數(shù)估計的的極極大大似似然然估估計計值值解解得得p的的極極大大似似然然估估計計量量為為p-它與矩估計量是相同的它與矩估計量是相同的.即即令令, 0)(ln pLdpd1 點估計

11、xxnpnii 11 XXnpnii 11 )1ln()(ln)()(ln11pxnpxpLniinii . 0111 pxnpxniinii例例2（續(xù)）（續(xù)）退 出前一頁后一頁目 錄第七章 參數(shù)估計:似似然然函函數(shù)數(shù)為為 niinx1222221exp2 例例31 點估計的的一一個個樣樣本本值值，是是來來自自為為未未知知參參數(shù)數(shù)，已已知知，設(shè)設(shè)XxxNXn,);,(122 .2的的極極大大似似然然估估計計量量求求 解解： niixL1222)(21exp21)( Lln)ln(22 n niix122)(21 )2ln(2 n )(21exp21);(222 xxf的的概概率率密密度度為為：

12、X退 出前一頁后一頁目 錄第七章 參數(shù)估計1 點估計 ，解此方程，得解此方程，得 niixn1221 的的極極大大似似然然估估計計量量為為因因此此 niiXn12221 ，令：令：0ln2 dLd得得似似然然方方程程例例3（續(xù)）（續(xù)） 02121242 niixn niixndLd12422212ln Lln)ln(22 n niix122)(21 )2ln(2 n 退 出前一頁后一頁目 錄第七章 參數(shù)估計的的一一個個樣樣本本值值，是是來來自自為為未未知知參參數(shù)數(shù)，設(shè)設(shè)XxxNXn,);,(122 .,2的的極極大大似似然然估估計計量量求求 解解：)(21exp21),;(222 xxf似然函

13、數(shù)為：似然函數(shù)為： niixL1222)(21exp21),( Lln1 點估計例例4)ln(22 n niix122)(21 )2ln(2 n 2122)(22)2( niixne的的概概率率密密度度為為：X退 出前一頁后一頁目 錄第七章 參數(shù)估計 0ln0ln2 LL令令, 11xxnnii 解得：解得：:,2的極大似然估計量為的極大似然估計量為故故 1 點估計)2ln(2ln nL )ln(22 n niix122)(21 即：即： .)(1 11221 niiniiXXnXXn 0)(1 12 niix0)(212-2142 niixn niixxn122)(1 例例4（續(xù)）（續(xù)）退

14、出前一頁后一頁目 錄似似然然函函數(shù)數(shù)為為的的密密度度函函數(shù)數(shù)為為設(shè)設(shè)總總體體 X解：解： ,11 niinxL niixnL1ln1lnln ., 0, 10,1其它其它xxxf 的的極極大大似似然然估估計計的的一一個個樣樣本本試試求求是是從從該該總總體體抽抽取取，未未知知，其其中中 nXX11 例例5第七章 參數(shù)估計1 點估計退 出前一頁后一頁目 錄得得似似然然方方程程為為 dLd ln，令：令：0ln dLd, 0ln1 niixn 解得解得,ln1 niixn 的的極極大大似似然然估估計計量量為為因因此此 .ln1 niiXn 例例5（續(xù)）（續(xù)）第七章 參數(shù)估計1 點估計 niixnL1

15、ln1lnln niixn1ln 退 出前一頁后一頁目 錄第七章 參數(shù)估計是是一一個個樣樣本本值值，未未知知，設(shè)設(shè)nxxbabaUX,;,1.b,a的的極極大大似似然然估估計計量量求求：X 的概率密度為：的概率密度為： 其它其它 , 0;,1),;(bxaabbaxf1 點估計 nabbaL)(1, ),ln(,lnabnbaL nibxai，21 ;0,ln abnbaLa例例6分析：分析：似然函數(shù)為似然函數(shù)為 , 0,ln abnbaLb 但這不能說明不存在極但這不能說明不存在極大似然估計量，只是不能由似然方程組求解大似然估計量，只是不能由似然方程組求解.顯然，似然方程組無解，顯然，似然方

16、程組無解，退 出前一頁后一頁目 錄第七章 參數(shù)估計1 點估計 其它其它 , 0;,)(1),()()1(bxxaabbaLnn解：解：有有的任意的任意對于滿足對于滿足babxxan,)()1( nnnxxabbaL)(1)(1),()1()( 例例6（續(xù)）（續(xù)）按按從從小小到到大大順順序序排排列列成成將將nxx,1,)()2()1(nxxx 則則退 出前一頁后一頁目 錄第七章 參數(shù)估計時，時，在在即：即：)()1(,),(nxbxabaL 的的極極大大似似然然估估計計值值為為：故故ba,max,min)()1(inixxbxxa 的的極極大大似似然然估估計計量量為為：故故ba,.max,min

17、iiXbXa 1 點估計nnxx)()1()( 取最大值取最大值例例6（續(xù)）（續(xù)）退 出前一頁后一頁目 錄第七章 參數(shù)估計設(shè)罐中裝有設(shè)罐中裝有 a 只黑球只黑球 b 只白球，則只白球，則.baR ., 1.0, 1niiiXi 次摸到白球次摸到白球，第，第次摸到黑球；次摸到黑球；第第設(shè)設(shè),), 1(,1的樣本的樣本是總體是總體則則pbXXXn1 iXPp其中其中例例7 一個罐子里裝有黑球和白球，有放回地抽取一個罐子里裝有黑球和白球，有放回地抽取 n 個球，發(fā)現(xiàn)有個球，發(fā)現(xiàn)有 k 個黑球。試求罐子里黑球數(shù)與白球個黑球。試求罐子里黑球數(shù)與白球數(shù)之比數(shù)之比 R 的極大似然估計量的極大似然估計量.1

18、點估計baa .1RR 解：解：退 出前一頁后一頁目 錄第七章 參數(shù)估計 niixpRL1)()(似然函數(shù)似然函數(shù) nixxiiRRRR11)11()1(,)11()1(11 niiniixnxRRRR)11(ln)()1(lnln11RxnRRxLniinii 則則RRp 1 nixxiipp11)1(則則令令, 0ln dRLd011)()111(11 RxnRRxniinii niiniixnxR11解出解出.knk )1ln(ln1RRxnii )1ln()(1Rxnnii 退 出前一頁后一頁目 錄第七章 參數(shù)估計的的極極大大似似然然估估計計；是是具具有有單單值值反反函函數(shù)數(shù)，的的函函

19、數(shù)數(shù)設(shè)設(shè) ),( uu,)(12122的的極極大大似似然然估估計計是是例例： niiXXn)0( ,)(2222 uuuu 有有單單值值反反函函數(shù)數(shù). )(1122的的極極大大似似然然估估計計是是故故 niiXXn1 點估計極大似然估計性質(zhì)：極大似然估計性質(zhì)：.)(u)(uu 的的極極大大似似然然估估計計是是則則 退 出前一頁后一頁目 錄第七章 參數(shù)估計.05. 0,),(22的的極極大大似似然然估估計計量量的的點點未未知知，求求使使設(shè)設(shè)AAXPNX AXP ,645. 1 A查表有查表有.645. 1 A所以所以為為的極大似然估計量分別的極大似然估計量分別和和由前面知由前面知2 的的極極大大

20、似似然然估估計計量量為為所所以以A1 點估計例例805. 0)(1 A 645. 1 A.)(1645. 112 niiXXnX niiXXnX122)(1, 解：解：退 出前一頁后一頁目 錄第七章第七章 參數(shù)估計參數(shù)估計2 估計量的的評選標(biāo)準(zhǔn)估計量的的評選標(biāo)準(zhǔn)無偏性無偏性有效性有效性一致性一致性退 出前一頁后一頁目 錄第七章 參數(shù)估計2 估計標(biāo)準(zhǔn) 我們注意到，在上一節(jié)中對于同一個未知參我們注意到，在上一節(jié)中對于同一個未知參數(shù)，用不同方法可以得到不同的估計量數(shù)，用不同方法可以得到不同的估計量.究竟采究竟采用哪個為好呢？這就涉及到用什么標(biāo)準(zhǔn)來評價估用哪個為好呢？這就涉及到用什么標(biāo)準(zhǔn)來評價估計量的

21、問題計量的問題.我們介紹三個常用的標(biāo)準(zhǔn)：我們介紹三個常用的標(biāo)準(zhǔn)： 1）無偏性；）無偏性； 2）有效性；）有效性； 3）一致性）一致性.退 出前一頁后一頁目 錄第七章 參數(shù)估計2 估計標(biāo)準(zhǔn),),(1 EXXn且且的的數(shù)數(shù)學(xué)學(xué)期期望望存存在在，若若.的的無無偏偏估估計計量量是是則則稱稱 一、無偏性一、無偏性例例1的的樣樣本本，是是總總體體),(,21 NXXXn.,2均均未未知知 .的的無無偏偏估估計計量量是是所所以以 X .)(1121222的的無無偏偏估估計計量量是是所所以以 niiXXnS, XE因因為為,22 ES而而退 出前一頁后一頁目 錄 niiXXnB1221考察考察由于由于 nii

22、XXnEBE1221 niiXXnnnE12111 21SEnn 21 nn 的的有有偏偏估估計計是是總總體體方方差差因因此此，21221 niiXXnB第七章 參數(shù)估計2 估計標(biāo)準(zhǔn)退 出前一頁后一頁目 錄第七章 參數(shù)估計2 估計標(biāo)準(zhǔn)階階矩矩，并并設(shè)設(shè)存存在在設(shè)設(shè)總總體體mX,階原點矩階原點矩是樣本的是樣本的 k，kkEX nikikXnA11由由于于的的無無偏偏估估計計階階原原點點矩矩是是總總體體的的因因此此knikikkXnA 11 mk，21 mk，21 nikikXnEAE11 nikiXEn11 nikn11 k mk，21 例例2的的樣樣本本，又又設(shè)設(shè)是是總總體體 XXXn,1退

23、出前一頁后一頁目 錄第七章 參數(shù)估計2 估計標(biāo)準(zhǔn) 一一個個樣樣本本是是從從該該總總體體中中抽抽取取的的為為未未知知參參數(shù)數(shù)，中中上上的的均均勻勻分分布布，其其，服服從從區(qū)區(qū)間間設(shè)設(shè)總總體體nXXX,001 由于由于.是是無無偏偏估估計計的的矩矩估估計計，并并驗驗證證是是否否求求 的無偏估計的無偏估計是未知參數(shù)是未知參數(shù)因此因此 X2 XEE2 XE2 .2X 的的矩矩估估計計量量為為得得 XE2 22 , 例例3解：解：,2 EX,2 X令令退 出前一頁后一頁目 錄第七章 參數(shù)估計2 估計標(biāo)準(zhǔn) 個樣本個樣本是從該總體中抽取的一是從該總體中抽取的一為未知參數(shù)，為未知參數(shù)，已知，而已知，而，其中，

24、其中，設(shè)總體設(shè)總體nXXNX,0122 的的極極大大似似然然估估計計為為知知，未未知知參參數(shù)數(shù)例例則則由由2317 niiXn1221 且且它它們們獨獨立立，由由于于, 1,10niNXi 例例4 niiniiXX121221 n2 退 出前一頁后一頁目 錄第七章 參數(shù)估計2 估計標(biāo)準(zhǔn)因此，因此， niiXnEE12222 niiXEn1222 22 nn 的無偏估計的無偏估計是總體方差是總體方差這表明，這表明，21221 niiXn例例4（續(xù)）（續(xù)）退 出前一頁后一頁目 錄第七章 參數(shù)估計2 估計標(biāo)準(zhǔn)計計一一定定有有無無窮窮多多個個無無偏偏估估則則，與與有有兩兩個個不不同同的的無無偏偏估估計

25、計如如果果未未知知參參數(shù)數(shù) 21，數(shù)數(shù)這這是是因因為為，對對任任意意的的實實 211 的無偏估計的無偏估計一定是未知參數(shù)一定是未知參數(shù) 說明：說明：退 出前一頁后一頁目 錄第七章 參數(shù)估計2 估計標(biāo)準(zhǔn),),(),(122111的的無無偏偏估估計計量量都都是是，若若 nnXXXX .21有效有效較較則稱則稱 ),()(21 DD 且且二、有效性二、有效性 未知，未知，其中，其中，設(shè)總體設(shè)總體 2 NX個個樣樣本本是是從從該該總總體體中中抽抽取取的的一一321,XXX試試驗驗證證：;21103513211XXX ;12541313212XXX 3213216131XXX 計計中中，哪哪一一個個最最

26、有有效效？的的估估這這三三個個的的無無偏偏估估計計，并并指指出出在在都都是是未未知知參參數(shù)數(shù) 例例5212111)-()E-()( EED .1的的偏偏離離程程度度與與表表示示 退 出前一頁后一頁目 錄解：解： 32112110351XXXEE 32121254131XXXEE 3213216131XXXEE 3212110351XEXEXE 由于由于 2110351 3211254131XEXEXE 1254131 321216131XEXEXE 216131例例5（續(xù)）（續(xù)）第七章 參數(shù)估計2 估計標(biāo)準(zhǔn)退 出前一頁后一頁目 錄的無偏估計的無偏估計都是未知參數(shù)都是未知參數(shù)，這表明，這表明，

27、321 32112110351XXXDD 32121254131XXXDD 3213216131XXXDD 321411009251XDXDXD 22221800684411009251 3211442516191XDXDXD 222218006251442516191 3214136191XDXDXD 222218007004136191 第七章 參數(shù)估計2 估計標(biāo)準(zhǔn)例例5（續(xù)）（續(xù)）退 出前一頁后一頁目 錄由于由于 ,312 DDD 最有效最有效，這三個估計量中這三個估計量中、所以在所以在2321 第七章 參數(shù)估計2 估計標(biāo)準(zhǔn)例例5（續(xù)）（續(xù)）退 出前一頁后一頁目 錄存在二階矩，并設(shè)存在二階矩，并設(shè)設(shè)總體設(shè)總體 X， EX，2 DX, 0 ia, 2 , 1ni .11 niia且且方差最小方差最小的的估計中，估計中，的