大似然估計法-說的挺清楚ppt課件

1、 最大似然估計法最大似然估計法 最大似然估計法是在總體的分布類型知的條件下所運最大似然估計法是在總體的分布類型知的條件下所運用的一種參數(shù)估計方法用的一種參數(shù)估計方法. 它首先是由德國數(shù)學(xué)家高斯在它首先是由德國數(shù)學(xué)家高斯在1821年提出的年提出的 . GaussFisher 然而，這個方法常歸功于英國統(tǒng)計學(xué)然而，這個方法常歸功于英國統(tǒng)計學(xué)家費歇家費歇 . 費歇在費歇在1922年重新發(fā)現(xiàn)了這一方年重新發(fā)現(xiàn)了這一方法，并首先研討了這種方法的一些性法，并首先研討了這種方法的一些性質(zhì)質(zhì) . 極大似然估計法是基于極大似然原極大似然估計法是基于極大似然原理提出的。理提出的。 為了闡明極大似然原理為了闡明極大

2、似然原理, 我們先看我們先看個例子。個例子。 例子：例子：一只野兔從前方竄過，一只野兔從前方竄過，是誰擊中的野兔是誰擊中的野兔, 某同窗與一位獵人一同某同窗與一位獵人一同外出打獵。忽然，外出打獵。忽然，假設(shè)讓他推測一下，假設(shè)讓他推測一下，他會怎樣想他會怎樣想?只聽一聲槍響，野兔只聽一聲槍響，野兔應(yīng)聲倒下應(yīng)聲倒下 .為了進一步領(lǐng)會最大似然估計法的思想為了進一步領(lǐng)會最大似然估計法的思想 , 我們再看一個例子我們再看一個例子. 他會想：只一槍便擊中他會想：只一槍便擊中,普通情況下獵人擊普通情況下獵人擊中的概率比同窗擊中的概率大。中的概率比同窗擊中的概率大。 故這一槍極大故這一槍極大能夠是獵人打的。能

3、夠是獵人打的。 他的這一想法中就曾經(jīng)包含了最大似然原他的這一想法中就曾經(jīng)包含了最大似然原理的根本思想理的根本思想 . 例如：有一事件例如：有一事件A，我們知道它發(fā)，我們知道它發(fā)生的概率生的概率p只能夠是只能夠是:試讓他推想一下試讓他推想一下p應(yīng)取何值應(yīng)取何值?p=0.1，0. 3 或或 0.6 假設(shè)在一次觀測中，事件假設(shè)在一次觀測中，事件A竟然發(fā)生了，竟然發(fā)生了，他自然會以為事件他自然會以為事件A發(fā)生的概率是發(fā)生的概率是0.6，而，而非其他數(shù)值。非其他數(shù)值。最大似然原理：最大似然原理：概率大的事件在一次觀測中更容易發(fā)生。概率大的事件在一次觀測中更容易發(fā)生。在一次觀測中發(fā)生了的事件其概率應(yīng)該大在

4、一次觀測中發(fā)生了的事件其概率應(yīng)該大可能取值的范圍?？赡苋≈档姆秶?。是是為待估參數(shù)，為待估參數(shù)，的形式為已知，的形式為已知，屬離散型，其分布律屬離散型，其分布律若總體若總體 ),;().1(xpxXPX的聯(lián)合函數(shù)：的聯(lián)合函數(shù)：的樣本；則的樣本；則是來自是來自設(shè)設(shè)nnXXXXX,11 niixp1);( 的的一一個個樣樣本本值值；是是又又設(shè)設(shè)nnXXxx,11發(fā)發(fā)生生的的概概率率為為：事事件件的的概概率率，亦亦即即取取易易知知樣樣本本,1111nnnnxXxXxxXX ., );();,()(11 niinxpxxLL。似然函數(shù)似然函數(shù)稱為樣本的稱為樣本的的函數(shù)。的函數(shù)。它是它是)( L使得：使得

5、：即取即取的估計值，的估計值，作為，作為達到最大的參數(shù)達到最大的參數(shù)挑選使概率挑選使概率定定由極大似然估計法：固由極大似然估計法：固 );,(;, 11nnxxLxx);,(max);,(11 nnxxLxxL 。最最大大似似然然估估計計值值的的稱稱其其為為參參數(shù)數(shù)有有關(guān)關(guān)，記記為為與與 );,(,11nnxxxx。最大似然估計量最大似然估計量的的稱為參數(shù)稱為參數(shù) ),(1nXX ;),;().2(為待估參數(shù)為待估參數(shù)的形式已知，的形式已知，屬連續(xù)型，其概率密度屬連續(xù)型，其概率密度若總體若總體 xfX的聯(lián)合密度：的聯(lián)合密度：則則nXX,1 niixf1);( )4 . 1( , );();,(

6、)(11 niinxfxxLL 。似似然然函函數(shù)數(shù)稱稱為為樣樣本本的的的的最最大大值值，這這里里)( L);,(max);,( 11 nnxxLxxL 若若。最最大大似似然然估估計計值值的的為為則則稱稱 ),(1nxx 。最大似然估計量最大似然估計量的的為為稱稱 ),(1nXX . 0)( );(),;( ddLxfxp可可由由下下式式求求得得：可可微微，故故關(guān)關(guān)于于一一般般，(1.5) . 0)(ln )(ln)( LddLL也也可可從從下下述述方方程程解解得得：大大似似然然估估計計的的最最處處取取到到極極值值，因因此此在在同同一一與與又又因因個參數(shù)，個參數(shù)，若總體的分布中包含多若總體的分布

7、中包含多., 1, 0ln., 1, 0kiLkiLii 或或即即可可令令的最大似然估計值。的最大似然估計值。個方程組求得個方程組求得解解kk ,1小結(jié)：最大似然估計法的普通步驟：小結(jié)：最大似然估計法的普通步驟：取對數(shù)取對數(shù)求導(dǎo)數(shù)，得駐點，最大值點求導(dǎo)數(shù)，得駐點，最大值點作結(jié)論作結(jié)論1寫似然函數(shù)寫似然函數(shù)L ),;(),;(),(21121121nininininxfxpL 例：設(shè)總體例：設(shè)總體X服從參數(shù)為服從參數(shù)為的指數(shù)分布，的指數(shù)分布，x1,x2,xn為樣本察看值，求為樣本察看值，求的最大的最大似然估計值。似然估計值。解：總體解：總體X的概率密度函數(shù)為：的概率密度函數(shù)為： 0,00,),(

8、xxexfx 似然函數(shù)為：似然函數(shù)為： niixfL1),()( ixnie 1 niixne1 niixnL1ln)(ln 0)(ln1 niixndLd xxnnii 11 取對數(shù)取對數(shù)得，得，xxnnii 11 所以所以的最大似然估計值為的最大似然估計值為:練習(xí)練習(xí)1 : 設(shè)總體設(shè)總體X的分布律為：的分布律為：0p0, niixndLd1ln)(ln 求導(dǎo)并令其為求導(dǎo)并令其為0=0從中解得從中解得,ln1 niixn 即為的最大似然估計值。,ln1 niiXn 即為的最大似然估計量。 例例 設(shè)總體設(shè)總體 X N( ) , 未知未知 . 是來自是來自 X 的樣本值的樣本值 , 試求試求 的

9、最大似然估計量的最大似然估計量 .1,nxx2, 2, 2, 似然函數(shù)為似然函數(shù)為 解解X 的概率密度為的概率密度為 xexfx,21)(222)( 222()211( ,)2ixniL e 222()211( ,)2ixniL e 于是于是令令211()0niiLnLxn 2222211()022()niinLnLx niixnne12221/222/)(2 niixnnL122221ln2)2ln(2ln 解得解得的最大似然估計量為的最大似然估計量為2, xxnnii 11 xxxnnii 122)(1 XXnnii 11 XXXnnii 122)(1 的最大似然估計。的最大似然估計。是是

10、則則的最大似然估計；的最大似然估計；是是具有單值反函數(shù)，具有單值反函數(shù)，的函數(shù)的函數(shù)設(shè)設(shè)性質(zhì)：性質(zhì)：)()( ),( uuuuu 的的最最大大似似然然估估計計是是例例： niiXXn122)(1)0( ,)(2222 uuuu 有有單單值值反反函函數(shù)數(shù)的的最最大大似似然然估估計計是是故故 )(1122 niiXXn 由上可見：同一個未知參數(shù)，會有不同的估計量，由上可見：同一個未知參數(shù)，會有不同的估計量，那末如何評價它們的好壞呢？這就涉及到估計量的評選那末如何評價它們的好壞呢？這就涉及到估計量的評選規(guī)范問題。規(guī)范問題。1、無偏性、無偏性 無偏性要求估計量的取值要以參數(shù)真值為中心無偏性要求估計量的

11、取值要以參數(shù)真值為中心左右擺動。它等同于估計量的數(shù)學(xué)期望等于待估左右擺動。它等同于估計量的數(shù)學(xué)期望等于待估參數(shù)的真值。參數(shù)的真值。的的無無偏偏估估計計量量。為為則則稱稱若若的的估估計計量量，為為待待估估參參數(shù)數(shù)定定義義：設(shè)設(shè) ,)(E一個好的估計量應(yīng)滿足無偏性、有效性和一致一個好的估計量應(yīng)滿足無偏性、有效性和一致性的要求。性的要求。 衡量點估計量好壞的規(guī)范衡量點估計量好壞的規(guī)范的無偏估計量。和總體方差體均值分別是總和樣本方差試證：樣本均值為樣本設(shè)例22212,),(),(:1SXXXXNXnnnXEnXnEXEniinii1)(1)1()() 1 (11證明證明: niiXXnESE12211

12、)() 2( niiiXXXXEn122)2(11 niiXXEn1211 2122211XnXnXEnnii niiXnXEn12211niiXnEXEn122)(11）222222)(11nnnnnES22)()()(XEXDXE利用公式：2222)()()(iiiXEXDXE),()()()(22_22_2_nnNXXEXDXEniiXnEXEn122)(11） 討論：對總體討論：對總體X XN(, 2)N(, 2)來說，樣本來說，樣本(X1,X2,Xn)(X1,X2,Xn)中的中的X1X1與與 都是都是 的無偏估計量嗎？的無偏估計量嗎？.,)(,_1_1的無偏估計量都是與XXXEEX.

13、1_212_有效比故又由于XXDXnXD_X21,設(shè)是是的兩個無偏估計量，假設(shè)的兩個無偏估計量，假設(shè))(D)(D212、有效性、有效性更有效。比則稱21222222)()(EEED121,DEE則因為：設(shè)21211)()(EEE有效。比因此則若21222121)()(,EEDD當(dāng)當(dāng) 時時 依概率收斂于依概率收斂于 , 那么稱那么稱 為為 的一致估計量的一致估計量.設(shè)設(shè)n 是參數(shù)是參數(shù) 的估計量，的估計量，1(,)n XX1(,)n XX為為 的一致估計量的一致估計量0 對于恣意對于恣意 , 有有l(wèi)im |1,nP 三、一致性三、一致性的一致估計量。的一致估計量。和總體方差和總體方差體均值體均值分別是總分別是總和樣本方差和樣本方差可證：樣本均值可證：樣本均值為樣本為樣本設(shè)設(shè)22