最大似然估計法

1、.最大似然估計法的基本思想最大似然估計法的思想很簡單：在已經(jīng)得到試驗結(jié)果的情況下，我們應(yīng)該尋找使這個結(jié)果出現(xiàn) 的可能性最大的那個作為真的估計。我們分兩種情進行分析：1離散型總體設(shè)為離散型隨機變量，其概率分布的形式為，則樣本的概率分布為，在固定時，上式表示取值的概率；當(dāng)固定時，它是的函數(shù)，我們把它記為并稱為似然函數(shù)。似然函數(shù)的值的大小意味著該樣本值出現(xiàn)的可能性的大小。既然已經(jīng)得到了樣本值，那它出現(xiàn)的可能性應(yīng)該是大的，即似然函數(shù)的值應(yīng)該是大的。因而我們選擇使達到最大值的那個作為真的估計。2連續(xù)型總體設(shè)為連續(xù)型隨機變量，其概率密度函數(shù)為則為從該總體抽出的樣本。因為相互獨立且同分布，于是，樣本的聯(lián)合概

2、率密度函數(shù)為，在是固定時，它是在處的 密度，它的大小與落在附近的概率的大小成正比，而當(dāng)樣本值固定時，它是的函數(shù)。我們?nèi)园阉洖椴⒎Q為似然函數(shù)。類似于剛才的討論，我們選擇使最大的那個作為真的估計?？傊?，在有了試驗結(jié)果即樣本值時，似然函數(shù)反映了的各個不同值導(dǎo)出這個結(jié)果的可能性的大小。 我們選擇使達到最大值的那個作為真的估計。這種求點估計的方法就叫作最大似然法。 7.2.2最大似然估計的求法假定現(xiàn)在我們已經(jīng)觀測到一組樣本要去估計未知參數(shù)。一種直觀的想法是，哪一組能數(shù)值使現(xiàn)在的樣本出現(xiàn)的可能性最大，哪一組參數(shù)可能就是真正的參數(shù)，我們就要用它作為參數(shù)的估計值。這 里，假定我們有一組樣本.如果對參數(shù)的兩組

3、不同的值和，似然函數(shù)有如下關(guān)系,那么，從又是概率密度函數(shù)的角度來看，上式的意義就是參數(shù)使出現(xiàn)的可能性比參數(shù)使出現(xiàn)的可能性大，當(dāng)然參數(shù)比更像是真正的參數(shù).這樣的分析就導(dǎo)致了參數(shù)估計的一種方法，即用使似然函數(shù) 達到最大值的點,作為未知參數(shù)的估計，這就是所謂的最大似然估計。 現(xiàn)在我們討論求最大似然估計的具體方法.為簡單起見，以下記,求的極大似然估計就歸結(jié)為求的最大值點.由于對數(shù)函數(shù)是單調(diào)增函數(shù)，所以 (7.2.1)與有相同的最大值點。而在許多情況下，求的最大值點比較簡單，于是，我們就將求的最大值點改為求的最大值點.對關(guān)于求導(dǎo)數(shù)，并命其等于零，得到方程組, (7.2.2)稱為似然方程組。解這個方程組，

4、又能驗證它是一個極大值點，則它必是，也就是的最大值點，即為所求的最大似然估計。大多常用的重要例子多屬于這種情況。然而在一些情 況下，問題比較復(fù)雜，似然方程組的解可能不唯一，這時就需要進一步判定哪一個是最大值點。還需要指出，若函數(shù)關(guān)于的導(dǎo)數(shù)不存在時，我們就無法得到似然方程組 (7.2.2)，這時就必須根據(jù)最大似然估計的定義直接去的最大值點。在一些情況下，我們需要估計。如果分別是的最大似然估計，則稱為的最大似然估計。下面我們舉一些例子來說明求最大似然估計的方法。例7.2.1設(shè) 從正態(tài)總體抽出樣本，這里未知參數(shù)為mm和（注意我們把看作一個參數(shù)）。似然函數(shù)為 =它的對數(shù)為，似然方程組為由第一式解得，(

5、7.2.3) 代入第二式得. (7.2.4)似然方程組有唯一解(，)，而且它一定是最大值點，這是因為當(dāng)或或時，非負函數(shù)。于是和的最大似然估計為，. (7.2.5)這里，我們用大寫字母表示所有涉及的樣本，因為最大似然估計和都是統(tǒng)計量，離開了具體的一次試驗或觀測，它們都是隨機的。例7.2.2設(shè)總體服從參數(shù)為的泊松分布，它的分布律為，有了樣本之后，參數(shù)的似然函數(shù)為，似然方程為，解得.因為的二階導(dǎo)數(shù)總是負值，可見，似然函數(shù)在處達到最大值。所以，是的最大似然估計。例7.2.3設(shè)總體為上的均勻分布，求的最大似然估計。的概率密度函數(shù)為對樣本，很顯然，L(a，b)作為a和b的 二元函數(shù)是不連續(xù)的。這時我們不能用似然方程組(7.2.2)來求最大似然估計，而必須從最大似然估計的定義出發(fā)，求L(a，b)的 最大值。為使L(a，b)達到最大，ba應(yīng) 該盡量地小，但b又不能小于，否則，L(a，b)=0。類似地，a不能大過。因此，a和b的最 大似然估計為，.現(xiàn)在為止，我們以正態(tài)分布，泊松分布，均勻分布的參數(shù)以及事件發(fā)生的概率的估計為例子討論了矩估計和最大似然估計。在我們所舉的例子中，除了均勻分布 外，兩種估計都是一致的。矩估計的優(yōu)點是簡