最大似然估計(jì)概述

1、最大似然估計(jì)概述 最大似然估計(jì) 是一種統(tǒng)計(jì)方法 ，它用來求一個(gè)樣本集的相關(guān)概率密度函數(shù)的參數(shù)。這個(gè)方法最早是遺傳學(xué)家以及統(tǒng)計(jì)學(xué)家羅納德費(fèi)雪 爵士在1912年至1922年間開始使用的。 “似然”是對likelihood 的一種較為貼近文言文的翻譯，“似然”用現(xiàn)代的中文來說即“可能性”。故而，若稱之為“最大可能性估計(jì)”則更加通俗易懂。 最大似然法明確地使用概率模型，其目標(biāo)是尋找能夠以較高概率產(chǎn)生觀察數(shù)據(jù)的系統(tǒng)發(fā)生樹。最大似然法是一類完全基于統(tǒng)計(jì) 的系統(tǒng)發(fā)生樹重建方法的代表。該方法在每組序列比對中考慮了每個(gè)核苷酸替換的概率。 最大似然法是要解決這樣一個(gè)問題：給定一組數(shù)據(jù)和一個(gè)參數(shù)待定的模型，如何確定

2、模型的參數(shù)，使得這個(gè)確定參數(shù)后的模型在所有模型中產(chǎn)生已知數(shù)據(jù)的概率最大。通俗一點(diǎn)講，就是在什么情況下最有可能發(fā)生已知的事件。舉個(gè)例子，假如有一個(gè)罐子，里面有黑白兩種顏色的球，數(shù)目多少不知，兩種顏色的比例也不知。我們想知道罐中白球和黑球的比例，但我們不能把罐中的球全部拿出來數(shù)?，F(xiàn)在我們可以每次任意從已經(jīng)搖勻的罐中拿一個(gè)球出來，記錄球的顏色，然后把拿出來的球再放回罐中。這個(gè)過程可以重復(fù)，我們可以用記錄的球的顏色來估計(jì)罐中黑白球的比例。假如在前面的一百次重復(fù)記錄中，有七十次是白球，請問罐中白球所占的比例最有可能是多少？ 我想很多人立馬有答案：70%。這個(gè)答案是正確的?？墒菫槭裁茨?？（常識(shí)嘛！這還要問

3、？?。┢鋵?shí)，在很多常識(shí)的背后，都有相應(yīng)的理論支持。在上面的問題中，就有最大似然法的支持例如，轉(zhuǎn)換出現(xiàn)的概率大約是顛換的三倍。在一個(gè)三條序列的比對中，如果發(fā)現(xiàn)其中有一列為一個(gè)C，一個(gè)T和一個(gè)G，我們有理由認(rèn)為，C和 T所在的序列之間的關(guān)系很有可能更接近。由于被研究序列的共同祖先序列是未知的，概率的計(jì)算變得復(fù)雜；又由于可能在一個(gè)位點(diǎn)或多個(gè)位點(diǎn)發(fā)生多次替換，并且不是所有的位點(diǎn)都是相互獨(dú)立，概率計(jì)算的復(fù)雜度進(jìn)一步加大。盡管如此，還是能用客觀標(biāo)準(zhǔn)來計(jì)算每個(gè)位點(diǎn)的概率，計(jì)算表示序列關(guān)系的每棵可能的樹的概率。然后，根據(jù)定義，概率總和最大的那棵樹最有可能是反映真實(shí)情況的系統(tǒng)發(fā)生樹。 最大似然估計(jì)的原理給定一個(gè)

4、概率分布D ，假定其概率密度函數(shù)（連續(xù)分布）或概率聚集函數(shù)（離散分布）為f D ，以及一個(gè)分布參數(shù) ，我們可以從這個(gè)分布中抽出一個(gè)具有n 個(gè)值的采樣 ，通過利用f D ，我們就能計(jì)算出其概率： 但是，我們可能不知道 的值，盡管我們知道這些采樣數(shù)據(jù)來自于分布D 。那么我們?nèi)绾尾拍芄烙?jì)出 呢？一個(gè)自然的想法是從這個(gè)分布中抽出一個(gè)具有n 個(gè)值的采樣X 1 ,X 2 ,.,X n ，然后用這些采樣數(shù)據(jù)來估計(jì) . 一旦我們獲得 ，我們就能從中找到一個(gè)關(guān)于 的估計(jì)。最大似然估計(jì)會(huì)尋找關(guān)于 的最可能的值（即，在所有可能的 取值中，尋找一個(gè)值使這個(gè)采樣的“可能性”最大化）。這種方法正好同一些其他的估計(jì)方法不同

5、，如 的非偏估計(jì)，非偏估計(jì)未必會(huì)輸出一個(gè)最可能的值，而是會(huì)輸出一個(gè)既不高估也不低估 的 值。 要在數(shù)學(xué)上實(shí)現(xiàn)最大似然估計(jì)法 ，我們首先要定義可能性 : 并且在 的所有取值上，使這個(gè)函數(shù)最大化。這個(gè)使可能性最大的值即被稱為 的最大似然估計(jì) 。 注意這里的可能性是指不變時(shí)，關(guān)于 的一個(gè)函數(shù)。 最大似然估計(jì)函數(shù)不一定是惟一的，甚至不一定存在。 最大似然估計(jì)的例子離散分布，離散有限參數(shù)空間考慮一個(gè)拋硬幣 的例子。假設(shè)這個(gè)硬幣正面跟反面輕重不同。我們把這個(gè)硬幣拋80次（即，我們獲取一個(gè)采樣 并把正面的次數(shù)記下來，正面記為H，反面記為T）。并把拋出一個(gè)正面的概率記為p ，拋出一個(gè)反面的概率記為1 p （因

6、此，這里的p 即相當(dāng)于上邊的 ）。假設(shè)我們拋出了49個(gè)正面，31 個(gè)反面，即49次H，31次T。假設(shè)這個(gè)硬幣是我們從一個(gè)裝了三個(gè)硬幣的盒子里頭取出的。這三個(gè)硬幣拋出正面的概率分別為p = 1 / 3 , p = 1 / 2 , p = 2 / 3 . 這些硬幣沒有標(biāo)記，所以我們無法知道哪個(gè)是哪個(gè)。使用最大似然估計(jì) ，通過這些試驗(yàn)數(shù)據(jù)（即采樣數(shù)據(jù)），我們可以計(jì)算出哪個(gè)硬幣的可能性最大。這個(gè)可能性函數(shù)取以下三個(gè)值中的一個(gè)： 我們可以看到當(dāng)時(shí)，可能性函數(shù)取得最大值。這就是p 的最大似然估計(jì) . 離散分布，連續(xù)參數(shù)空間現(xiàn)在假設(shè)例子1中的盒子中有無數(shù)個(gè)硬幣，對于 中的任何一個(gè)p ， 都有一個(gè)拋出正面概率

7、為p 的硬幣對應(yīng)，我們來求其可能性函數(shù)的最大值： 其中 . 我們可以使用微分法來求最值。方程兩邊同時(shí)對p 取微分，并使其為零。 在不同比例參數(shù)值下一個(gè)二項(xiàng)式過程的可能性曲線 t = 3, n = 10；其最大似然估計(jì)值發(fā)生在其眾數(shù) (數(shù)學(xué))并在曲線的最大值處。 其解為p = 0 , p = 1 ，以及p = 49 / 80 . 使可能性最大的解顯然是p = 49 / 80 （因?yàn)閜 = 0 和p = 1 這兩個(gè)解會(huì)使可能性為零）。因此我們說最大似然估計(jì)值 為. . 這個(gè)結(jié)果很容易一般化。只需要用一個(gè)字母t 代替49用以表達(dá)伯努利試驗(yàn)中的被觀察數(shù)據(jù)（即樣本 ）的成功次數(shù)，用另一個(gè)字母n 代表伯努

8、利試驗(yàn)的次數(shù)即可。使用完全同樣的方法即可以得到最大似然估計(jì)值 : 對于任何成功次數(shù)為t ，試驗(yàn)總數(shù)為n 的伯努利試驗(yàn)。 連續(xù)分布，連續(xù)參數(shù)空間最常見的連續(xù)概率分布是正態(tài)分布 ，其概率密度函數(shù)如下： 其n 個(gè)正態(tài)隨機(jī)變量的采樣的對應(yīng)密度函數(shù)（假設(shè)其獨(dú)立并服從同一分布）為： 或： , 這個(gè)分布有兩個(gè)參數(shù)：,2 . 有人可能會(huì)擔(dān)心兩個(gè)參數(shù)與上邊的討論的例子不同，上邊的例子都只是在一個(gè)參數(shù)上對可能性進(jìn)行最大化。實(shí)際上，在兩個(gè)參數(shù)上的求最大值的方法也差不多：只需要分別把可能性在兩個(gè)參數(shù)上最大化即可。當(dāng)然這比一個(gè)參數(shù)麻煩一些，但是一點(diǎn)也不復(fù)雜。使用上邊例子同樣的符號(hào)，我們有 = (,2 ) . 最大化一個(gè)

9、似然函數(shù)同最大化它的自然對數(shù)是等價(jià)的。因?yàn)樽匀粚?shù)log是一個(gè)連續(xù)且在似然函數(shù)的值域內(nèi)嚴(yán)格遞增的函數(shù)。注意：可能性函數(shù)（似然函數(shù)）的自然對數(shù)跟信息熵以及Fisher信息聯(lián)系緊密。求對數(shù)通常能夠一定程度上簡化運(yùn)算，比如在這個(gè)例子中可以看到： 這個(gè)方程的解是 . 這的確是這個(gè)函數(shù)的最大值，因?yàn)樗?里頭惟一的拐點(diǎn)并且二階導(dǎo)數(shù)嚴(yán)格小于零。 同理，我們對 求導(dǎo)，并使其為零。 這個(gè)方程的解是 . 因此，其關(guān)于 = (,2 ) 的最大似然估計(jì) 為： . . 性質(zhì)泛函不變性（Functional invariance）如果是 的一個(gè)最大似然估計(jì)，那么 = g () 的最大似然估計(jì)是. 函數(shù) g 無需是一個(gè)映

10、射。 漸近線行為最大似然估計(jì)函數(shù)在采樣樣本總數(shù)趨于無窮的時(shí)候達(dá)到最小方差 （其證明可見于Cramer-Rao lower bound）。當(dāng)最大似然估計(jì)非偏時(shí)，等價(jià)的，在極限的情況下我們可以稱其有最小的均方差。對于獨(dú)立的觀察來說，最大似然估計(jì)函數(shù)經(jīng)常趨于正態(tài)分布。 偏差最大似然估計(jì)的非偏估計(jì)偏差是非常重要的?？紤]這樣一個(gè)例子，標(biāo)有1 到n 的n 張票放在一個(gè)盒子中。從盒子中隨機(jī)抽取票。如果n 是未知的話，那么n 的最大似然估計(jì)值就是抽出的票上標(biāo)有的n ，盡管其期望值的只有(n + 1) / 2 . 為了估計(jì)出最高的n 值，我們能確定的只能是n 值不小于抽出來的票上的值。 最大似然估計(jì)法的思想很簡

11、單：在已經(jīng)得到試驗(yàn)結(jié)果的情況下，我們應(yīng)該尋找使這個(gè)結(jié)果出現(xiàn)的可能性最大的那個(gè) 作為真 的估計(jì)。我們分兩種情進(jìn)行分析：1離散型總體設(shè) 為離散型隨機(jī)變量，其概率分布的形式為 ，則樣本 的概率分布為 ，在 固定時(shí)，上式表示 取值 的概率；當(dāng) 固定時(shí)，它是 的函數(shù)，我們把它記為 并稱為似然函數(shù)。似然函數(shù) 的值的大小意味著該樣本值出現(xiàn)的可能性的大小。既然已經(jīng)得到了樣本值 ，那它出現(xiàn)的可能性應(yīng)該是大的，即似然函數(shù)的值應(yīng)該是大的。因而我們選擇使 達(dá)到最大值的那個(gè) 作為真 的估計(jì)。2連續(xù)型總體 設(shè) 為連續(xù)型隨機(jī)變量，其概率密度函數(shù)為 則 為從該總體抽出的樣本。因?yàn)?相互獨(dú)立且同分布，于是，樣本的聯(lián)合概率密度函

12、數(shù)為 ，在 是固定時(shí)，它是 在 處的 密度，它的大小與 落在 附近的概率的大小成正比，而當(dāng)樣本值 固定時(shí)，它是 的函數(shù)。我們?nèi)园阉洖?并稱為似然函數(shù)。類似于剛才的討論，我們選擇使 最大的那個(gè) 作為真 的估計(jì)。 總之，在有了試驗(yàn)結(jié)果即樣本值 時(shí)，似然函數(shù) 反映了 的各個(gè)不同值導(dǎo)出這個(gè)結(jié)果的可能性的大小。 我們選擇使 達(dá)到最大值的那個(gè) 作為真 的估計(jì)。這種求點(diǎn)估計(jì)的方法就叫作最大似然法。 最大似然估計(jì)的求法假定現(xiàn)在我們已經(jīng)觀測到一組樣本 要去估計(jì)未知參數(shù) 。一種直觀的想法是，哪一組能數(shù)值使現(xiàn)在的樣本 出現(xiàn)的可能性最大，哪一組參數(shù)可能就是真正的參數(shù)，我們就要用它作為參數(shù)的估計(jì)值。這里，假定我們有一組樣本 .如果對參數(shù)的兩組不同的值 和 ，似然函數(shù)有如下關(guān)系 ,那么，從 又是概率密度函數(shù)的角度來看，上式的意義就是參數(shù) 使 出現(xiàn)的可能性比參數(shù) 使 出現(xiàn)的可能性大，當(dāng)然參數(shù) 比 更像是真正的參數(shù).這樣的分析就導(dǎo)致了參數(shù)估計(jì)的一種方法，即用使似然函數(shù)達(dá)到最大值的點(diǎn) ,作為未知參數(shù)的估計(jì)，這就是所謂的最大似然估計(jì)。 現(xiàn)在我們討論求最大似然估計(jì)的具體方法.為簡單起見，以下記 ,求的極大似然估計(jì)就歸結(jié)為求 的最大值點(diǎn).由于對數(shù)函數(shù)是單調(diào)增函數(shù)，所以 有相同的最大值點(diǎn)。而在許多情況下，求 的最大值點(diǎn)比較簡單，于是，我們就將求 的最大值點(diǎn)改為求 的