西安交大西工大 考研備考期末復習 概率論與數(shù)理統(tǒng)計 極大似然估計

1、v 本節(jié)課的地位和作用本節(jié)課的地位和作用統(tǒng)計推斷問題統(tǒng)計推斷問題參數(shù)估計參數(shù)估計點點估估計計區(qū)間區(qū)間估計估計 假設(shè)檢驗假設(shè)檢驗參數(shù)參數(shù)假設(shè)假設(shè)檢驗檢驗非參數(shù)非參數(shù)假設(shè)假設(shè)檢驗檢驗v 教學目標教學目標 1 1、了解參數(shù)點估計問題及其一般提法；、了解參數(shù)點估計問題及其一般提法； 2 2、理解極大似然法的思想；、理解極大似然法的思想； 3 3、掌握極大似然法的步驟，能熟練求解、掌握極大似然法的步驟，能熟練求解 常見分布的參數(shù)點估計問題；常見分布的參數(shù)點估計問題； 4 4、初步掌握運用參數(shù)點估計解決實際問、初步掌握運用參數(shù)點估計解決實際問 題的數(shù)學建模思路和方法題的數(shù)學建模思路和方法思維訓練思維訓練基

2、本知識能力基本知識能力綜合應用能力綜合應用能力v 具體設(shè)計實現(xiàn)具體設(shè)計實現(xiàn)1 1、授課內(nèi)容編排、授課內(nèi)容編排簡單簡單建模建模典型典型舉例舉例極大似極大似然估計然估計參數(shù)點估參數(shù)點估計問題計問題引例引例抽象抽象求解求解應用應用提高提高解決解決問題問題2 2、重點和難點、重點和難點重點：參數(shù)點估計問題；重點：參數(shù)點估計問題； 極大似然法的思想；極大似然法的思想； 極大似然法的應用極大似然法的應用 難點：理解極大似然法思想難點：理解極大似然法思想 靈活運用極大似然法靈活運用極大似然法 3 3、數(shù)學建模思想方法的融入、數(shù)學建模思想方法的融入 現(xiàn)代工程數(shù)學教學的改革思路之一就現(xiàn)代工程數(shù)學教學的改革思路之

3、一就是將數(shù)學建模的思想和方法融入課堂教是將數(shù)學建模的思想和方法融入課堂教學。以達到使學生更完整的認識和把握學。以達到使學生更完整的認識和把握工程數(shù)學的應用性特點，這有利于學員工程數(shù)學的應用性特點，這有利于學員綜合素質(zhì)的培養(yǎng)。綜合素質(zhì)的培養(yǎng)。 在本節(jié)課中，結(jié)合在本節(jié)課中，結(jié)合“捕魚中的魚群捕魚中的魚群總數(shù)估計總數(shù)估計”問題，設(shè)計了建模環(huán)節(jié)，恰問題，設(shè)計了建模環(huán)節(jié)，恰如其分的教學生如何創(chuàng)造性的運用所學如其分的教學生如何創(chuàng)造性的運用所學知識解決實際問題。知識解決實際問題。一、參數(shù)點估計問題 設(shè)總體設(shè)總體 X 的分布函數(shù)形式已知的分布函數(shù)形式已知, 但它的一個但它的一個或多個參數(shù)為未知或多個參數(shù)為未知

4、, 借助于總體借助于總體 X 的一個樣本來的一個樣本來估計總體未知參數(shù)的值的問題稱為估計總體未知參數(shù)的值的問題稱為點估計問題點估計問題.引例引例1 1 元件無故障的工件時間 具有負指數(shù)分布 ，取1000個元件工作時間的記錄數(shù)據(jù)，經(jīng)分組后，得到它的頻數(shù)分布為X0,)(xexfx組中值15152535455565頻數(shù)365245150100704525如果各組數(shù)據(jù)都取為組中值，試對 的值進行估計。 未知?，F(xiàn)在進行五次測量，測量值為引例引例2 2用一臺儀器測量某物體的長度，假定測量得到的長度服從正態(tài)分布，其中X),(2 N2 ，試估計參數(shù)。2 ，53.252.9 53.3 52.8 52.5（單位：

5、mm）點估計問題的一般提法點估計問題的一般提法.,.,);(2121為相應的一個樣本值為相應的一個樣本值本本的一個樣的一個樣是是是待估參數(shù)是待估參數(shù)知知的形式為已的形式為已的分布函數(shù)的分布函數(shù)設(shè)總體設(shè)總體nnxxxXXXXxFX .),(),(2121 來估計未知參數(shù)來估計未知參數(shù)用它的觀察值用它的觀察值一個適當?shù)慕y(tǒng)計量一個適當?shù)慕y(tǒng)計量點估計問題就是要構(gòu)造點估計問題就是要構(gòu)造nnxxxXXX.),(21的估計量的估計量稱為稱為 nXXX.),(21的估計值的估計值稱為稱為 nxxx 極大似然法的基本思想極大似然法的基本思想在沒有其它信息的情況下，我們只能認為在沒有其它信息的情況下，我們只能認為

6、在一次實驗中發(fā)生的事件具有最大的概率。反在一次實驗中發(fā)生的事件具有最大的概率。反過來，如果能夠使事件發(fā)生的概率最大化，該過來，如果能夠使事件發(fā)生的概率最大化，該事件也就最有可能發(fā)生。事件也就最有可能發(fā)生。 二、二、極大似然估計法極大似然估計法( (MLE) )例例3設(shè)袋中裝有許多黑、白球，不同顏色球的數(shù)量比為3:1，試設(shè)計一種方法，估計任取一球為黑球的概率。p31iiXY1231,;4L x x x642764276496411233,;4L x x x64164964276427根據(jù)樣本值的具體取值情況來選擇未知參數(shù)，根據(jù)樣本值的具體取值情況來選擇未知參數(shù)，使得樣本取到該樣本值發(fā)生的概率最大

7、！使得樣本取到該樣本值發(fā)生的概率最大！ 引例引例1 1 元件無故障的工件時間 具有負指數(shù)分布 ，取1000個元件工作時間的記錄數(shù)據(jù)，經(jīng)分組后，得到它的頻數(shù)分布為X0,)(xexfx組中值15152535455565頻數(shù)365245150100704525如果各組數(shù)據(jù)都取為組中值，試對 的值進行估計。 屬離散型屬離散型設(shè)總體設(shè)總體 X)1(,),;( 為待估參數(shù)為待估參數(shù)設(shè)分布律設(shè)分布律xpkXP,21的樣本的樣本是來自總體是來自總體XXXXn. );(,121 niinxpXXX 的聯(lián)合分布律為的聯(lián)合分布律為則則似然函數(shù)的定義似然函數(shù)的定義)(可能的取值范圍可能的取值范圍是是其中其中 極大似然

8、法的基本概念極大似然法的基本概念屬離散型屬離散型設(shè)總體設(shè)總體 X)1(,),;( 為待估參數(shù)為待估參數(shù)設(shè)分布律設(shè)分布律xpkXP niinnxpxXxXxXP12211);(, 極大似然法的基本概念極大似然法的基本概念,),;();,()(121 niinxpxxxLL.)(稱為樣本似然函數(shù)稱為樣本似然函數(shù) L)(,21 Lxxxn選取使似然函數(shù)選取使似然函數(shù)時時得到樣本值得到樣本值,的估計值的估計值作為未知參數(shù)作為未知參數(shù)取得最大值的取得最大值的 ).;,(max);,(2121 nnxxxLxxxL 即即)(可能的取值范圍可能的取值范圍是是其中其中 ),(21nXXX . 的最大似然估計量

9、的最大似然估計量參數(shù)參數(shù) , 的最大似然估計值的最大似然估計值參數(shù)參數(shù) ),(21nxxx ,xxx 21n記為記為有關(guān)有關(guān)與樣本值與樣本值這樣得到的這樣得到的 極大似然法的基本概念極大似然法的基本概念屬連續(xù)型屬連續(xù)型設(shè)總體設(shè)總體 X)2(,),;( 為待估參數(shù)為待估參數(shù)設(shè)概率密度為設(shè)概率密度為xf似然函數(shù)的定義似然函數(shù)的定義)(可能的取值范圍可能的取值范圍是是其中其中 iniinnxxfxxxXXXd );(),(),(12121 概率近似地為概率近似地為處發(fā)生的處發(fā)生的的的在點在點則隨機點則隨機點),;();,()(121 niinxfxxxLL未知?，F(xiàn)在進行五次測量，測量值為引例引例2

10、2用一臺儀器測量某物體的長度，假定測量得到的長度服從正態(tài)分布，其中X),(2 N2 ，試估計參數(shù)。2 ，53.252.9 53.3 52.8 52.5（單位：mm）解的概率密度為的概率密度為X,21),;(222)(2 xexp似然函數(shù)為,21),(222)(12 ixnieL,)(21ln2)2ln(2),(ln12222 niixnnL 0),(ln0),(ln222 LL令令,0112 niinx ,0)()(21212222 niixn 解得解得由由0112 niinx ,11xxnnii 解得解得由由0)()(21212222 niixn ,)(1212xxnnii 為為的最大似然估

11、計量分別的最大似然估計量分別和和故故2 ,X .)(1212XXnnii 求求極極大似然估計量的步驟大似然估計量的步驟:; );();,()();();,()( )(121121 niinniinxfxxxLLxpxxxLL或或?qū)懗鏊迫缓瘮?shù)寫出似然函數(shù)一一費舍爾費舍爾極大似然估計法是由費舍爾引進的極大似然估計法是由費舍爾引進的.).;,(max);,(2121 nnxxxLxxxL （二）求解（二）求解., 0d)(lnd,d)(lnd )2( 的最大似然估計值的最大似然估計值解方程即得未知參數(shù)解方程即得未知參數(shù)并令并令求導求導對對 LL., 2 , 1, 0lnkiLi .), 2 , 1(

12、 ,iikik 的最大似然估計值的最大似然估計值數(shù)數(shù)即可得各未知參即可得各未知參個方程組成的方程組個方程組成的方程組解出由解出由 ; );(ln)(ln);(ln)(ln )1(11 niiniixfLxpL或或取對數(shù)取對數(shù)的極大似然估計量。的極大似然估計量。求求的一個樣本值的一個樣本值是來自總體是來自總體上服從均勻分布上服從均勻分布在在設(shè)總體設(shè)總體 , 021XxxxXn解解的概率密度為的概率密度為X ., 0,0,1);(其他其他 xxf例例4似然函數(shù)似然函數(shù) 其他其他, 0, 2 , 1,0,1)(nixLin 三、三、應用舉例應用舉例- -簡單數(shù)學建模簡單數(shù)學建模例例5 5( (捕魚問

13、題中的魚群總量估計捕魚問題中的魚群總量估計) ) 條魚，捕 條，作上記號后的值。條標有記號。試根Nr)(rsstN設(shè)湖中現(xiàn)有放回湖中，一段時間后湖中的魚混合均勻，再條，其中據(jù)這些信息估計湖中魚數(shù)從中捕出假設(shè)：假設(shè)：問題分析：問題分析：1、對實驗背景的分析：在該實驗中，我們結(jié)合 之前學習過的知識應能看出，再次捕到的魚 中有記號的個體數(shù)目服從超幾何分布；2、在該分布中，待估魚群總數(shù)是分布的一個參 數(shù)，所以可以考慮用參數(shù)點估計辦法解決1、再次捕撈前，有記號的魚已充分混合均勻；2、捕魚是完全隨機的，每條被捕到機會相等.概率的道理，便有：條中有記號的的魚為模型模型1 1：頻率穩(wěn)定性模型：頻率穩(wěn)定性模型N

14、rstst根據(jù)概率的統(tǒng)計定義，湖中有記號魚的概率，而在捕出的條，有記號的魚比例是每條魚被捕到的機會相同，于是利用頻率 應為(頻率)。由假設(shè)，stNrtrsN trsN ，從而故因為待估計量是整數(shù)，所以上式取最接近的整數(shù).來近似模型模型2 2：參數(shù)點估計模型：參數(shù)點估計模型s),min(,rsll210設(shè)捕出的 條魚中帶有標記的個數(shù)為隨機變量，則 服從超幾何分布， 取值分布律 sNisrNirCCCiP )(),min(,rslli210sNtsrNtrCCCtPNL)()( (極大似然法求解極大似然法求解) )構(gòu)造似然函數(shù)，即)(NLtsrNsNsNtsrNtsrNtrsNsNtsrNtrCC

15、CCCCCCCCNLNL11111)()()!()!()!()!( !)!( !)!()!()!()!(1111tsrNtsNsNsNsNsNtsrNtsrNNtNsNrNrsNsNrN22下面討論的極值問題，由NtrsN )()(1NLNL)(NLNtrsN )(NLtrsN 時，是單調(diào)遞減的；而當rsNt trsN )()(1NLNL)(NL當即，此時關(guān)時，此時關(guān)于是單調(diào)遞增的。于是在時，取最大值，故于因為待估計量是整數(shù)，所以上式取最接近的整數(shù).1、建模理論依據(jù)：超幾何分布的概率計算，極 大似然估計。應用參數(shù)估計的思想和方法分 析、處理問題。 模型評析模型評析2、應用與推廣：本例可推廣到一定區(qū)域范圍內(nèi) 的生物總數(shù)估計等問題。例如，估計一個城 市的人口總數(shù)，也可以用同樣的方法考