極大似然估計(jì)

1、概率論與數(shù)理統(tǒng)計(jì)典型教案教學(xué)內(nèi)容：極大似然估計(jì)法 教學(xué)目的：通過本節(jié)內(nèi)容的教學(xué)，使學(xué)生：1、明確極大似然估計(jì)法是在總體分布類型已知的情況下的一種常用的參數(shù) 估計(jì)方法；2、理解極大似然思想；3、掌握求極大似然估計(jì)值的一般步驟，會(huì)求常見分布參數(shù)的極大似然估計(jì) 值.教學(xué)重點(diǎn)：1、對(duì)極大似然思想闡述；2、極大似然估計(jì)值的求解.教學(xué)難點(diǎn)：對(duì)不能通過求導(dǎo)方法獲得極大似然估計(jì)的值的確定.教學(xué)時(shí)數(shù)：2學(xué)時(shí).教學(xué)過程：引例：某位同學(xué)與一位獵人一起外出打獵，一只野兔從前方竄過.只聽一聲 槍響，野兔應(yīng)聲到下，如果要你推測(cè)，這一發(fā)命中的子彈是誰打的？你就會(huì)想， 只發(fā)一槍便打中，由于獵人命中的概率一般大于這位同學(xué)命中的

2、概率，看來這一 槍是獵人射中的.這個(gè)例子所作的推斷就體現(xiàn)了極大似然法的基本思想.一、極大似然思想一般地說，事件 與參數(shù) 有關(guān)，取值不同，則也不同.若 發(fā)生了，則認(rèn)為此時(shí)的 值就是 的估計(jì)值.這就是極大似然思想.看一例子：例1、設(shè)袋中裝有許多黑、白球，不同顏色球的數(shù)量比為3:1,試設(shè)計(jì)一種方法， 估計(jì)任取一球?yàn)楹谇虻母怕?分析：易知 的值無非是1/4或3/4.為估計(jì) 的值，現(xiàn)從袋中有放回地任 取3只球，用 表示其中的黑球數(shù)，則.按極大似然估計(jì)思想，對(duì)的取值進(jìn)行估計(jì).解：對(duì)的不同取值，取的概率可列表如下：0123故根據(jù)極大似然思想即知:在上面的例子中， 是分布中的參數(shù)，它只能取兩個(gè)值：1/4或3/

3、4,需要 通過抽樣來決定分布中參數(shù)究竟是1/4還是3/4.在給定了樣本觀測(cè)值后去計(jì)算 該樣本出現(xiàn)的概率，這一概率依賴于的值，為此需要用1/4、3/4分別去計(jì)算 此概率，在相對(duì)比較之下，哪個(gè)概率大，則 就最象那個(gè).二、似然函數(shù)與極大似然估計(jì)1、離散分布場(chǎng)合：設(shè)總體 是離散型隨機(jī)變量，其概率函數(shù)為，其中 是未知參數(shù).設(shè)為取自總體 的樣本.的聯(lián)合概率函數(shù)為，這里， 是常量，是變量.若我們已知樣本取的值是，則事件發(fā)生的概率為.這一概率隨的值而變化.從直觀上來看，既然樣本值出現(xiàn)了，它們出現(xiàn)的概率相對(duì)來說應(yīng)比較大，應(yīng)使取比較大的值.換句話說，應(yīng)使樣本值的出現(xiàn)具有最大的概率.將上式看作的函數(shù)，并用 表示，就

4、有：（1）稱為似然函數(shù).極大似然估計(jì)法就是在參數(shù) 的可能取值范圍 內(nèi)，選取使達(dá)到最大的參數(shù)值，作為參數(shù)的估計(jì)值.即取，使（2）因此，求總體參數(shù)的極大似然估計(jì)值的問題就是求似然函數(shù)的最大值問題.這可通過解下面的方程（3）來解決.因?yàn)?是 的增函數(shù)，所以與在 的同一值處取得最大值.我們稱為對(duì)數(shù)似然函數(shù).因此，常將方程（3）寫成：（4）方程（4）稱為似然方程.解方程（3）或（4）得到的就是參數(shù)的極大似 然估計(jì)值.如果方程（4）有唯一解，又能驗(yàn)證它是一個(gè)極大值點(diǎn)，則它必是所求的極 大似然估計(jì)值.有時(shí)，直接用（4）式行不通，這時(shí)必須回到原始定義（2）進(jìn) 行求解.2、連續(xù)分布場(chǎng)合：設(shè)總體是連續(xù)離散型隨機(jī)變

5、量，其概率密度函數(shù)為，若取得樣本觀察值為，則因?yàn)殡S機(jī)點(diǎn)取值為時(shí)聯(lián)合密度函數(shù)值為.所以，按極大似然法，應(yīng)選擇的值使此概率達(dá)到最大.我們?nèi)∷迫缓瘮?shù)為，再按前述方法求參數(shù)的極大似然估計(jì)值.三、求極大似然估計(jì)的方法1、可通過求導(dǎo)獲得極大似然估計(jì)：當(dāng)函數(shù)關(guān)于參數(shù)可導(dǎo)時(shí)，?？赏ㄟ^求導(dǎo)方法來獲得似然函數(shù)極大值對(duì)應(yīng)的參 數(shù)值.例2、設(shè)某工序生產(chǎn)的產(chǎn)品的不合格率為，抽 個(gè)產(chǎn)品作檢驗(yàn)，發(fā)現(xiàn)有 個(gè)不合格，試求的極大似然估計(jì).分析：設(shè) 是抽查一個(gè)產(chǎn)品時(shí)的不合格品個(gè)數(shù)，則 服從參數(shù)為 的二點(diǎn) 分布 .抽查個(gè)產(chǎn)品，則得樣本，其觀察值為，假如樣本有個(gè)不合格，即表示中有個(gè)取值為1，個(gè)取值為0.按離散分布場(chǎng)合方法，求的極大似然

6、估計(jì).解：(1)寫出似然函數(shù)：對(duì)取對(duì)數(shù)，得對(duì)數(shù)似然函數(shù)：由于 對(duì) 的導(dǎo)數(shù)存在，故將 對(duì) 求導(dǎo)，令其為0,得似然方 程：解似然方程得:經(jīng)驗(yàn)證，在 時(shí)，這表明可使似然函數(shù)達(dá)到最大上述過程對(duì)任一樣本觀測(cè)值都成立，故用樣本代替觀察值便得 的極大似然估計(jì)為：將觀察值代入，可得 的極大似然估計(jì)值為：，其中 .若總體的分布中含有多個(gè)未知參數(shù)時(shí)，似然函數(shù)是這些參數(shù)的多元函數(shù).代替方程(3),我們有方程組由這個(gè)方程組解得分別是參數(shù)的極大似然估計(jì)值.例3、設(shè)某機(jī)床加工的軸的直徑與圖紙規(guī)定的中心尺寸的偏差服從，其中未知.為估計(jì)，從中隨機(jī)抽取根軸，測(cè)得其偏差為.試求的極大似然估計(jì).分析:顯然，該問題是求解含有多個(gè)(兩

7、個(gè))未知參數(shù)的極大似然估計(jì)問題.通 過建立關(guān)于未知參數(shù)的似然方程組，從而進(jìn)行求解.解：(1)寫出似然函數(shù)：寫出對(duì)數(shù)似然函數(shù)：將 分別對(duì)求偏導(dǎo)，并令它們都為0,得似然方程組為:解似然方程組得：，經(jīng)驗(yàn)證 使 達(dá)到極大，上述過程對(duì)一切樣本觀察值成立，故用樣本代替觀察值，便得的極大似然估計(jì)分別為：，.2、不可通過求導(dǎo)方法獲得極大似然估計(jì)：當(dāng)似然函數(shù)的非零區(qū)域與未知參數(shù)有關(guān)時(shí)，通常無法通過解似然方程來獲得 參數(shù)的極大似然估計(jì)，這時(shí)可從定義(2)出發(fā)直接求的極大值點(diǎn).例4、設(shè)總體服從均勻分布 ，從中獲得容量為的樣本 ，其觀測(cè)值為，試求 的極大似然估計(jì).分析：當(dāng)寫出其似然函數(shù)時(shí)，我們會(huì)發(fā)現(xiàn) 的非零區(qū)域與有關(guān)

8、，因而無法用求導(dǎo)方法來獲得 的極大似然估計(jì)，從而轉(zhuǎn)向定義(2)直接求 的極大值.解：寫出似然函數(shù)：為使達(dá)到極大，就必須使 盡可能小，但是 不能小于 ，因而 取時(shí)使達(dá)到極大，故的極大似然估計(jì)為：.進(jìn)一步，可討論估計(jì)的無偏性：由于總體，其密度函數(shù)與分布函數(shù)分別為：，從而的概率密度函數(shù)為:這說明 的極大似然估計(jì)不是 的無偏估計(jì)，但對(duì)作一修正可得 的無偏估計(jì)為：通過修正獲得未知參數(shù)的無偏估計(jì)，這是一種常用的方法.在二次世界大戰(zhàn) 中，從戰(zhàn)場(chǎng)上繳獲的納粹德國(guó)的槍支上都有一個(gè)編號(hào)，對(duì)最大編號(hào)作一修正便獲 得了德國(guó)生產(chǎn)能力的無偏估計(jì).綜上，可得求極大似然估計(jì)值的一般步驟.四、求極大似然估計(jì)的一般步驟1、由總體

9、分布導(dǎo)出樣本的聯(lián)合概率函數(shù)（或聯(lián)合密度）；2、把樣本聯(lián)合概率函數(shù)（或聯(lián)合密度）中自變量看成已知常數(shù)，而把參數(shù)看作自變量，得到似然函數(shù)；3、 求似然函數(shù)的最大值點(diǎn)（常轉(zhuǎn)化為求對(duì)數(shù)似然函數(shù)的最大值點(diǎn)）；4、在最大值點(diǎn)的表達(dá)式中，用樣本值代入就得參數(shù)的極大似然估計(jì)值.五、極大似然估計(jì)的不變性求未知參數(shù)的某種函數(shù)的極大似然估計(jì)可用極大似然估計(jì)的不變?cè)瓌t，證明從略.定理（不變?cè)瓌t）設(shè)是的極大似然估計(jì)，是的連續(xù)函數(shù)，則的極大似然估計(jì)為.例5、設(shè)某元件失效時(shí)間服從參數(shù)為的指數(shù)分布，其密度函數(shù)為未知.現(xiàn)從中抽取了個(gè)元件測(cè)得其失效時(shí)間為，試求及平均壽命的極大似然估計(jì).分析：可先求 的極大似然估計(jì)，由于元件的平均壽命即為 的期望值，在指數(shù)分布場(chǎng)合，有，它是 的函數(shù)，故可用極大似然估計(jì)的不變?cè)瓌t，求其極大似然估計(jì).解：(1)寫出似然函數(shù):取對(duì)數(shù)得對(duì)數(shù)似然函數(shù):將 對(duì) 求導(dǎo)得似然方程為:解似然方程得：經(jīng)驗(yàn)證， 能使 達(dá)到最大，由于上述過程對(duì)一切樣本觀察值成立，故的極大似然估計(jì)為：；根據(jù)極大似然估計(jì)的不變?cè)瓌t，元件的平均壽命的極大似然估計(jì)為:五、小結(jié)1、極大似然估計(jì)的思想；2、求解未知參數(shù)極大似然估計(jì)的一般步驟；3、極大似然估計(jì)的不變?cè)瓌t.五、作業(yè)見參考文獻(xiàn)1的第278頁(yè)第