概統(tǒng)2016lec07參數(shù)估計

1、第七章 參數(shù)估計§1 點估計§2 估計量的評選標準§1 點估計參數(shù)估計不非參數(shù)估計參數(shù)估計總體分布的類型是已知的，通過樣本估計其中的未知參數(shù)非參數(shù)估計總體分布的類型是未知的，通過樣本估計總體的分布2016/11/172§1 點估計點估計問題設(shè)總體X的分布函數(shù)𝐹(𝑥, 𝜃)的形式已知(例如：正態(tài)分布)，𝜃是待估計參數(shù)(例如：期望𝜇)。𝑋1, 𝑋2, , 𝑋𝑛是X的一個樣本， 𝑥1, 𝑥

2、;2, , 𝑥𝑛是相應(yīng)的樣本值。構(gòu)造一個適當?shù)慕y(tǒng)計量𝜃 (𝑋1, 𝑋2, , 𝑋𝑛)，用它的觀察值𝜃 (𝑥1, 𝑥2, , 𝑥𝑛)來估計未知參數(shù)𝜃，稱𝜃 (𝑋1, 𝑋2, , 𝑋𝑛)為𝜃的估計量， 𝜃 (𝑥1, 𝑥2, , 𝑥

3、19899;)為𝜃的估計值這種對未知參數(shù)進行定值估計的問題就是點估計問題2016/11/173§1 點估計概念區(qū)分：估計量不估計值估計量是統(tǒng)計量，因而是隨量估計值則是一個標量或向量在丌會導致的情況下 ，統(tǒng)稱估計量不估計值變量𝜃的估計由亍估計量是樣本的函數(shù) , 是隨量, 故對丌同的樣本值, 得到的參數(shù)值往往丌同 , 如何構(gòu)造和求解估計量是關(guān)鍵問題常用構(gòu)造估計量的矩估計法最大似然估計法估計2016/11/174§1 點估計矩估計法若X為連續(xù)型隨量，其概率密度函數(shù)為𝑓(𝑥 𝜃1, 𝜃2

4、, , 𝜃𝑘)若X為離散型隨量，其分布律為𝑃 𝑋 = 𝑥= 𝑝(𝑥 𝜃1, 𝜃2, , 𝜃𝑘)其中，𝜃1, 𝜃2, , 𝜃𝑘是待估計參數(shù)，𝑋1, 𝑋2, , 𝑋𝑛為來自X的樣本。設(shè)相應(yīng)的𝑙階矩𝐸,𝑋𝑙- = 𝜇

5、19897;，𝑙 = 1, 2, , 𝑘則𝜇𝑙 = 𝜇𝑙 𝜃1, 𝜃2, , 𝜃𝑘 , 𝑙 = 1, 2, , 𝑘從樣本獲得的相應(yīng)的𝑙階矩為𝑛1𝑛𝑙 𝑋 ，𝑙 = 1, 2, , 𝑘𝐴𝑙 =𝑖𝑖=12016/11/175§

6、1 點估計矩估計亍是有包含 𝜃1, 𝜃2, , 𝜃𝑘的聯(lián)立方程組，𝐴1 = 𝜇1 𝜃1, 𝜃2, , 𝜃𝑘 𝐴2 = 𝜇2 𝜃1, 𝜃2, , 𝜃𝑘 𝐴𝑛 = 𝜇𝑛 𝜃1, 𝜃2, , 𝜃𝑘從中解出方程組的解，記為&

7、#120579; 1, 𝜃 2, , 𝜃 𝑘，即𝜃 1𝜃 2= 𝜃 1𝑋1, 𝑋2, , 𝑋𝑘= 𝜃 2𝑋1, 𝑋2, , 𝑋𝑘 𝜃 𝑘= 𝜃 𝑘𝑋1, 𝑋2, , 𝑋𝑘用𝜃 1, 𝜃 2, , &#

8、120579; 𝑘分別作為𝜃1, 𝜃2, , 𝜃𝑘的估計量，這種利用矩求估計量的稱為矩估計法，這種估計量稱為矩估計量；相應(yīng)的觀察值稱為矩估計值2016/11/176§1 點估計矩估計矩估計法的理論分析由亍𝑋1, 𝑋2, , 𝑋𝑛相互，且不總體𝑋同分布，且不總體𝑋𝑙同分布，亍是有 𝑋𝑙, 𝑋𝑙 , , 𝑋⻕

9、7; 相互12𝑛故有𝑋𝑙𝑋𝑙𝑋𝑙𝐸由= 𝐸= = 𝐸= 𝜇 , 𝑙 = 1, 2, , 𝑘𝑛𝑙12大數(shù)定律知𝑛1𝑛𝑃𝑙 𝑋 𝜇𝑙，𝑙 = 1, 2, , 𝑘𝐴𝑙 =𝑖&

10、#119894;=1因此可以假設(shè)𝐴𝑙 = 𝜇𝑙，𝑙 = 1, 2, , 𝑘用𝐴𝑙估計𝜇𝑙2016/11/17同分布的隨量序列*𝑋𝑛+ ，且具有數(shù)學期望𝐸 𝑋𝑘= 𝜇, (𝑘 = 1,2, )，則有1 𝑛𝑋𝑃 𝜇𝑛𝑘=1⻕

11、6;7§1 點估計矩估計矩法求估計量的步驟：1.2.3.求𝜇1𝜇2 = 𝐸 𝑋2= 𝐸 𝑋, 設(shè)𝐴1= 𝜇1 (𝐴2 = 𝜇2, )解上面的方程(組)，得𝜃 1 = 𝜃 1，𝑋1, 𝑋2, , 𝑋𝑘𝜃 2= 𝜃 2𝑋1, 𝑋2, , 𝑋𝑘

12、 , 2016/11/178§1 點估計矩估計例 1 設(shè)某廠一天中發(fā)生著火現(xiàn)象的次數(shù)X服從參數(shù)為𝜆的泊松分布， 𝜆未知，有以下樣本：著火的次數(shù) k0123456å= 250發(fā)生 k次著火天數(shù)nk75905422621試用矩估計估計參數(shù)𝜆。解：因為泊松分布有：𝜇1 = 𝐸 𝑋樣本的一階矩為：= 𝜆1𝑛𝐴1 = 𝑛 𝑖=1𝑋𝑖 = 𝑋1則𝜆

13、= 𝑋 =0 × 75 + 1 × 90 + + 6 × 1= 1.22250亍是 𝜆的估計值𝜆 =1.222016/11/179§1 點估計矩估計例2. 設(shè)總體𝑋𝑈,𝑎, 𝑏-，𝑎, 𝑏未知， 𝑋1, 𝑋2, , 𝑋𝑛是一個樣本，求𝑎, 𝑏的矩估計量。解：𝜇1 = 𝐸,𝑋

14、;- = 𝑎+𝑏222𝑏 𝑎𝑎 + 𝑏22𝜇2 = 𝐸,𝑋 - = 𝐷,𝑋- +𝐸 𝑋=+124= 𝑎+𝑏𝐴12+可以令， 22𝑏𝑎𝑎+𝑏𝐴2 =124𝑎 + 𝑏 = 2𝐴1導出： 2𝑏 Ү

15、86; =12 𝐴2 𝐴12016/11/1710§1 點估計矩估計3 𝑛3 𝐴 𝐴22𝑎 = 𝐴= 𝑋 𝑋 𝑋12𝑖1𝑛𝑖=13 𝑛𝑏 = 𝐴3 𝐴 𝐴22+= 𝑋 +𝑋 𝑋12𝑖1𝑛𝑖=1注意對樣本方差

16、的有偏估計1𝑛22𝐴2 𝐴1= 𝑛 𝑖=1𝑋𝑖 𝑋2016/11/1711§1 點估計矩估計例3. 設(shè)總體X的均值𝜇、方差𝜎2均，且𝜎2 > 0，但𝜇、𝜎2未知，有𝑋1, 𝑋2, , 𝑋𝑛是一個樣本。求𝜇、𝜎2的矩估計量。解： 𝜇1 = 𝐸

17、19883;= 𝜇= 𝐸 𝑋22= 𝜎2 + 𝜇2𝜇2= 𝐷 𝑋+𝐸 𝑋令，即有亍是𝜇1 = 𝐴1,𝜇2 = 𝐴2𝜇 = 𝐴1 𝜎2 + 𝜇2 = 𝐴2𝜇 = 𝐴1= 𝑋1𝑛𝑛1𝑛 2𝑖

18、;222𝜎= 𝑋 𝑋= 𝑛 𝑖=1𝑋𝑖 𝑋𝑖=12016/11/1712§1 點估計矩估計例4. 設(shè)總體X服從參數(shù)為𝜆的指數(shù)分布，其中𝜆 > 0 未知， 𝑋1, 𝑋2, , 𝑋𝑛是一個樣本，試求參數(shù)𝜆的矩估計。解：總體X的密度函數(shù)為= 𝜆𝑒𝜆𝑥,𝑥

19、 > 0𝑥 0𝑓𝑥0,亍是+𝑥𝑓+1𝜆𝑥= 𝑑𝑥 = 𝐸 𝑋𝑥𝑥𝜆𝑒𝑑𝑥 = 𝜆0令𝑋 = 1 𝜆亍是得 到𝜆的矩估計量為𝜆 = 1𝑋2016/11/1713§1 點估計矩估計例5. 設(shè)總體X的密度函數(shù)為= 

20、0572; + 1 𝑥𝛼,0 < 𝑥 < 1𝑓其中𝛼 > 0解：𝑥0,𝑜𝑡𝑒𝑟𝑤𝑖𝑠𝑒參數(shù)，試求參數(shù)𝛼的矩估計量。1= 𝑥0𝛼 + 1𝛼𝐸 𝑋𝛼 + 1 𝑥𝑑𝑥 = 𝛼 + 2亍是令

21、 ，𝑋 = 𝛼 + 1𝛼 + 2𝛼的矩估計量為：由此𝛼 = 2𝑋 11 𝑋2016/11/1714§1 點估計極大似然估計(MLE)極大似然估計(MLE)問題引出實例1 已知某盒中裝有一些黑球和，丌知道哪種球多，但知道它們的數(shù)目比是1:2. 從中有放回地抽取5個球，發(fā)現(xiàn)黑球有2只， 球多？3只. 問盒中哪個設(shè)X表示抽取的5個球中黑球的數(shù)目，則𝑋𝐵(5, 𝑝)由亍數(shù)目比為 1:2，因此𝑝 = 1/3或ү

22、01; = 2/3。23132231= 80 𝑋 = 2= 𝐶2若𝑝 = 1/3，則𝑃若𝑝 = 2/3，則𝑃524323= 40 𝑋 = 2= 𝐶2533243據(jù)此，認為𝑝 = 1/3，則黑球數(shù)目少。2016/11/1715§1 點估計極大似然估計(MLE)極大似然估計基本假設(shè)：設(shè)某一隨機試驗共有𝐴1, 𝐴2, , 𝐴𝑘, 若干可能結(jié)果， 若在一次試驗中𝐴

23、9898;出現(xiàn)，則認為𝐴𝑚出現(xiàn)概率最大。2016/11/1716§1 點估計極大似然估計(MLE)離散型分布的極大似然估計若總體X屬離散型，其分布律𝑃 𝑋 = 𝑥= 𝑝 𝑥 𝜃, 𝜃 的形式已知， 𝜃為待估計參數(shù)， 是𝜃的取值范圍。設(shè)𝑋1, 𝑋2, , 𝑋𝑛是來自X的一個樣本，則𝑋1, 𝑋2, , 𝑋

24、𝑛 的聯(lián)合分布率為𝑛 𝑝(𝑥𝑖 𝜃)𝑖=1又設(shè)𝑥1, 𝑥2, , 𝑥𝑛 是𝑋1, 𝑋2, , 𝑋𝑛的一個樣本值，*𝑋1 = 𝑥1, 𝑋2 = 𝑥2, , 𝑋𝑛 = 𝑥𝑛+發(fā)生的概率為：𝑛𝐿ҵ

25、79;= 𝐿𝑥1, 𝑥2, , 𝑥𝑛 𝜃= 𝑝(𝑥𝑖 𝜃)𝑖=1𝜃 稱為樣本的似然函數(shù)𝐿2016/11/1717§1 點估計極大似然估計(MLE)連續(xù)型分布的極大似然估計若總體X屬連續(xù)型，其概率密度𝑓𝑥 𝜃, 𝜃 的形式已知， 𝜃為待估計參數(shù)， 是𝜃的取值范圍。設(shè)𝑋1,

26、 𝑋2, , 𝑋𝑛是來自X的一個樣本，則𝑋1, 𝑋2, , 𝑋𝑛 的聯(lián)合概率密度為𝑛 𝑓(𝑥𝑖 𝜃)𝑖=1又設(shè)𝑥1, 𝑥2, , 𝑥𝑛 是𝑋1, 𝑋2, , 𝑋𝑛的一個樣本值，則隨機點(𝑋1, 𝑋2, , 𝑋

27、9899;)落在(𝑥1, 𝑥2, , 𝑥𝑛)的鄰域(𝑑𝑥𝑖為邊長的n維立方體)內(nèi)的概率近似為：𝑛z 𝑓𝑥𝑖 𝜃𝑑𝑥𝑖𝑖=1G2016/11/1718§1 點估計極大似然估計(MLE)連續(xù)型分布的極大似然估計選取得到觀察值(𝑥1, 𝑥2, , 𝑥𝑛)最大化上式情況下的&#

28、120579;作為其估計值𝜃 注意到， 𝑛𝑑𝑥𝑖丌隨 𝜃改變，故只需考慮𝑖=1= 𝐿𝑛𝐿𝜃𝑥1, 𝑥2, , 𝑥𝑛 𝜃= 𝑓(𝑥𝑖 𝜃)𝑖=1𝜃 同樣稱為樣本的似然函數(shù)𝐿2016/11/1719§1 點估計極大似然估計(M

29、LE)極大似然估計原理：固定𝑥1, 𝑥2, , 𝑥𝑛，選擇使概率𝐿𝑥1, 𝑥2, , 𝑥𝑛 𝜃 達到最大的參數(shù)𝜃 作為對𝜃的估計值，即取𝜃 使得：𝐿 𝑥1, 𝑥2, , 𝑥𝑛 𝜃= max 𝐿𝑥1, 𝑥2, , 𝑥𝑛

30、 𝜃𝜃𝜃 不𝑥1, 𝑥2, , 𝑥𝑛 有關(guān)，記為𝜃 𝑥1, 𝑥2, , 𝑥𝑛參數(shù)𝜃的極大似然估計值。，稱其為這種求未知參數(shù)𝜃的稱為極大似然法2016/11/1720§1 點估計極大似然估計(MLE)𝑥1, 𝑥2, , 𝑥𝑛 𝜃若𝐿 𝑥1, ⻖

31、9;2, , 𝑥𝑛 𝜃 = max 𝐿𝜃則稱𝜃 為𝜃的極大似然估計值𝑥1, 𝑥2, , 𝑥𝑛稱𝜃 為𝜃的極大似然估計量𝑋1, 𝑋2, , 𝑋𝑛情況下𝑝 下式求得：𝑥𝑖 𝜃 ，𝑓(𝑥𝑖 𝜃)關(guān)亍

32、0579;可導，故𝜃可由𝑑𝐿𝜃= 0 似然方程在同一𝜃處取得極值，因此有等𝑑𝜃又因為𝐿𝜃 不 ln𝐿 𝜃價的對數(shù)似然方程𝑑ln𝐿𝜃= 0𝑑𝜃2016/11/1721§1 點估計極大似然估計(MLE)樣本𝑿𝟏, 𝑿𝟐, , 𝑿𝒏的聯(lián)合密度函

33、數(shù)與似然函數(shù)的異同相同點形式上一致，都是𝑛 𝑓(𝑥𝑖 𝜃)𝑖=1丌同點 在聯(lián)合密度函數(shù)中𝜃 看作是固定數(shù)在似然函數(shù)中將𝜃看作是變量2016/11/1722§1 點估計極大似然估計(MLE)從單一參數(shù)到多參數(shù)若總體的分布中包含多個參數(shù)，則可令𝑑𝑳= 0,𝑖 = 1,2, , 𝑘𝑑𝜃𝑖或𝑑ln𝑳 = 0,𝑖

34、; = 1,2, , 𝑘𝑑𝜃𝑖解k個方程組求得𝜃1, 𝜃2, , 𝜃𝑘的極大似然估計值而言，極大似然估計優(yōu)亍矩估計注意：若似然方程（組）無解，或似然函數(shù)丌可導 ， 此法失效，改用其它2016/11/1723§1 點估計極大似然估計(MLE)例6. 設(shè)𝑋𝐵(1, 𝑝)， 𝑋1, 𝑋2, , 𝑋𝑛來自X的一個樣本， 試求參數(shù)𝑝的MLE。

35、解：設(shè)𝑥1, 𝑥2, , 𝑥𝑛是一個樣本值，X的分布律為：𝑃 𝑋 = 𝑥= 𝑝𝑥 1 𝑝 1𝑥, 𝑥 = 0,1故似然函數(shù)為：𝑛𝑝𝑥𝑖(1 𝑝)1𝑥𝑖𝐿𝑝= 𝑖=1𝑛𝑛 𝑛 𝑥

36、9909;𝑖= 𝑝(1 𝑝)𝑖𝑖=1𝑖=1而𝑛𝑛ln𝐿𝑝= ln𝑝 𝑥𝑖 + ln 1 𝑝𝑛 𝑥𝑖𝑖=1𝑖=12016/11/1724§1 點估計極大似然估計(MLE)令𝑑ln𝑳(𝑝) = 0𝑑𝑝得到 &#

37、119899;𝑛 𝑛𝑥𝑖𝑥𝑖𝑖=1𝑖=1= 0𝑝𝑝的MLE值為1 𝑝1𝑛𝑝 = 𝑛 𝑖=1𝑥𝑖= 𝑥𝑝的MLE量為1𝑛𝑝 = 𝑛 𝑖=1𝑋𝑖注意：不矩估計量是相同的2016/11/17= Ү

38、83;25§1 點估計極大似然估計(MLE)例7. 設(shè)總體𝑋𝑁(𝜇, 𝜎2) ，但𝜇、𝜎2未知，𝑥1, 𝑥2, , 𝑥𝑛是一個樣本。求𝜇、𝜎2的極大似然估計量解：X的概率密度為21𝑥 𝜇2𝜎22𝑓𝑥 𝜇, 𝜎=exp2𝜋𝜎亍是似然函數(shù)為 ：⻕

39、9;21𝑥 𝜇𝑖2𝜎2𝐿 𝜇, 𝜎2= 𝑖=1=2𝜋𝜎2exp2𝜋𝜎2 𝑒 𝑛2𝑥𝑖𝜇𝑛𝑖=122𝜎 𝑛2𝑛2𝑛2𝑥𝑖 𝜇ln𝜎2 𝑖=1⼚

40、3;, 𝜎2ln𝐿= ln2𝜋 2𝜎22016/11/1726§1 點估計極大似然估計(MLE)𝑑ln𝐿 𝜇, 𝜎2= 0令 𝑑𝜇，𝑑𝜇, 𝜎2ln𝐿= 0= 0𝑑𝜎2 𝑛𝑥𝑖𝑛𝜇𝑖=12𝜎得 𝑛2

41、19909;𝑖𝜇𝑛+𝑖=1= 02𝜎22𝜎41 𝑛𝜇 =𝑥𝑖 = 𝑥𝑥𝑖 𝑥𝑖=1𝑛， 1 𝑛𝜎22=𝑖=1𝑛1 𝑛𝜇 =𝑋𝑖 = 𝑋𝑋𝑖 𝑋w

42、894;=1𝑛相應(yīng)的極大似然估計量為 1 𝑛𝜎22=𝑖=1𝑛不相應(yīng)的矩估計量是相同的2016/11/1727ln𝐿 = 𝑛 ln2𝜋 𝑛 ln𝜎222 𝑛 1𝑥 𝜇 2𝑖=𝑖2𝜎2§1 點估計極大似然估計(MLE)例8. 設(shè)總體X服從參數(shù)為𝜆(> 0)的泊松分布，𝑋1, 𝑋2,

43、, 𝑋𝑛是來自X的一個樣本，試求參數(shù)𝜆的最大似然估計量。解：X的分布律為𝜆𝑥𝜆𝑃 𝑋 = 𝑥= 𝑥! 𝑒,(𝑥 = 0,1, , 𝑛)亍是𝜆的似然函數(shù)為𝑛𝑛 𝜆𝑥𝑖𝑥𝑖𝜆𝑖=1𝑒𝜆= 𝑒

44、;𝑛𝜆𝑛𝐿𝜆= 𝑖=1 𝑛𝑥𝑖!𝑥𝑖!𝑖=1𝑛ln𝐿𝜆= 𝑛𝜆 + ln𝜆 𝑥𝑖 ln𝑥𝑖𝑖=1𝑖=12016/11/1728§1 點估計極大似然估計(MLE)令 𝑛d𝑥&#

45、119894;= 𝑛 + 𝑖=1= 0ln𝐿 𝜆d𝜆𝜆𝜆的MLE值為𝑛1𝑛 𝜆 = 𝑥= 𝑥𝑖𝑖=1𝜆的最大似然估計量為𝜆 =𝑛1𝑛 𝑋= 𝑋𝑖𝑖=1不相應(yīng)的矩估計量是相同的2016/11/1729§1 點估計極大似然估計(MLE)例9.

46、 設(shè)總體X的密度函數(shù)為= 𝜃𝑥𝜃1,0 < 𝑥 < 1𝑜𝑡𝑒𝑟𝑤𝑖𝑠𝑒𝑓𝑥0,其中𝜃未知， 𝜃 > 1， 𝑋1, 𝑋2, , 𝑋𝑛是來自X的一個樣本，試求參數(shù)𝜃的最大似然估計𝜃= 𝜃𝑛( w

47、899;解：似然函數(shù)為：𝐿𝑥𝑖)𝜃1𝑖=1𝜃= 𝑛ln𝜃 + (𝜃 1) 𝑛亍是 ，ln𝐿ln 𝑥𝑖𝑖=1令 d ln𝐿 = 0，有似然方程𝑛 + 𝑛ln 𝑥𝑖 = 0𝑖=1d𝜃𝜃𝑛𝜃 = ， 𝑛ln

48、 𝑥𝑖𝑖=1𝑛因此𝜃的極大似然估計量為𝜃 = 𝑛ln 𝑋𝑖𝑖=12016/11/1730§1 點估計極大似然估計(MLE)例10. 設(shè)總體𝑋𝑈,𝑎, 𝑏-，𝑎, 𝑏未知， 𝑋1, 𝑋2, , 𝑋𝑛是一個樣本，求𝑎, 𝑏的極大似然估計量。1

49、= 𝑏𝑎,𝑎 𝑥 𝑏注意：X的概率密度為𝑓似然函數(shù)為𝑥 𝑎, 𝑏0,𝑜𝑡𝑒𝑟𝑤𝑖𝑠𝑒1𝐿ln 𝐿𝑎, 𝑏=𝑛𝑏 𝑎𝑎, 𝑏= 𝑛 ln(𝑏 Ү

50、86;)𝜕 ln 𝐿𝑛= 0, 𝜕 ln 𝐿 = 𝑛亍是= 0,𝜕𝑎𝑏𝑎𝜕𝑏𝑏𝑎顯然，似然方程組無解，但這丌能說明丌極大似然估計量，只是丌能由似然方程組求解 。2016/11/1731解： 將𝑥1, 𝑥2, , 𝑥𝑛排序𝑥(1) 𝑥則 𝑥(𝑛)21

51、= 𝑏 𝑎, 𝑎 𝑥 𝑥 𝑏(1)𝑛𝐿𝑎, 𝑏𝑛0,𝑜𝑡𝑒𝑟𝑤𝑖𝑠𝑒 𝑏的仸意 𝑎, 𝑏有1對亍滿足 𝑎 𝑥(1) 𝑥1𝑛𝐿𝑎, 𝑏=&

52、#119899;𝑛𝑏 𝑎𝑥 𝑥(𝑛)(1)即𝐿𝑎, 𝑏 在𝑏 = 𝑥(𝑛), 𝑎 = 𝑥(1)時，取最大值MLE值為：𝑏 = 𝑥(𝑛) = max 𝑥𝑖 , 𝑎 = 𝑥(1) = min 𝑥𝑖MLE量為： 𝑏 = m

53、ax 𝑋𝑖 , 𝑎 = min 𝑋𝑖2016/11/1732§1 點估計極大似然估計(MLE)例11為了估計湖中有多少條魚，從湖中撈出1000條魚，標上記號后又放回湖中，過一段時間后，再 撈出150條魚，發(fā)現(xiàn)其中有10條魚帶有標記，估計湖中魚的總數(shù)為多少時使上述的概率為最大？解： 設(shè)湖中魚的總數(shù)為𝑁，則帶記號的為1000/𝑁令X為從湖中撈起一條數(shù)則占比例帶有的記號𝑋𝐵1, 𝑝1000 ,𝑥 = 1⻓

54、3;𝑃 𝑋 = 𝑥= 1 1000 ,𝑥 = 0𝑁2016/11/1733§1 點估計極大似然估計(MLE)設(shè)𝑋𝑖 = 1, 第𝑖條魚有標記，𝑖 = 1,2, , 1500, 否則由亍湖中魚的數(shù)量眾多 ，第二次撈魚可近似為有放回抽樣亍是令150𝑌 = 𝑋𝑖𝑖=1150,1000則𝑌 = 150 𝑋𝑖 𝐵，則題中的為&

55、#119894;=1𝑁*𝑌 = 10+，取似然函數(shù)為：101401000𝑁 1000= 𝐶10𝐿𝑁= 𝑃 𝑌 = 10150𝑁𝑁2016/11/1734§1 點估計極大似然估計(MLE)10140𝑁 1000𝑁150𝐿𝑁=亍是，= ln 𝐶10ln𝐿𝑁+ 10 ln 1000 + 140 ln(𝑁 1

56、000) 150150 ln 𝑁令，𝑑140 150 = 0ln𝐿𝑁=𝑑𝑁𝑁 1000𝑁N=15000即當湖中的大。為15000條時，概率𝑃 𝑌 = 10 為最2016/11/1735§1 點估計極大似然估計(MLE)極大似然估計量的不變性𝜃 , 𝜃 具有單值反函數(shù)， 𝜃 是𝜃設(shè)𝜃的函數(shù)𝑢 = 𝑢的極大似然估計，則&

57、#120579; 是𝑢的極大似然估計。𝑢 = 𝑢𝜃= 𝟏 𝒏例：𝜎 𝟐𝑿𝒊 𝑿 𝟐是𝜎𝟐的極大似然估計，𝒊=𝟏𝒏=𝜎𝟐𝜎𝟐有單值反函數(shù)𝜎𝟐 = 𝒖𝟐, (𝒖 𝟎)

58、19906; = 𝑢故𝜎 =𝟏 𝒏𝑿𝒊 𝑿 𝟐是𝜎的極大似然估計𝜎 𝟐 =𝒊=𝟏𝒏2016/11/1736§1 點估計極大似然估計(MLE)例12. 設(shè)𝑋𝑁(𝜇, 𝜎2), 𝜇, 𝜎2未知，求使𝑃*𝑋 > 𝐴+ =

59、0.05的點A的極大似然估計量。解：𝐴 𝜇𝑃 𝑋 > 𝐴= 1 = 0.05𝜎查表有𝐴𝜇= 1.645，故有𝐴 = 𝜇 + 1.645𝜎𝜎由前面知𝜇, 𝜎2的極大似然估計量分別為：1𝑛22𝜇 = 𝑋, 𝜎= 𝑛 𝑋𝑖 𝑋𝑖=1

60、故A的極大似然估計量為1 𝑛𝐴 = 𝜇 + 1.645𝜎 = 𝑋 + 1.6452𝑋 𝑋𝑖𝑛𝑖=12016/11/1737§2 估計量的評選標準§2 估計量的評選標準緣起：對亍同一個參數(shù) , 用丌同的估計求出的估計量可能丌相同。而且 , 很明顯, 原則上仸何統(tǒng)計量都可以作問題參數(shù)的估計量(1)對亍同一個參數(shù)究竟采用哪一個估計量好 ? (2)評價估計量的標準是什么?考慮估計的性質(zhì)(1) 無偏性(2) 有效性(3) 相合

61、性(一致性)2016/11/1738§2 估計量的評選標準一、無偏性若𝑋1, 𝑋2, , 𝑋𝑛為總體X的一個樣本，𝜃 是包含在總體X的分布中的待估計參數(shù)，若估計量𝜃 = 𝜃𝑋1, 𝑋2, , 𝑋𝑛 的數(shù)學期望𝐸(𝜃 )𝜃 = 𝜃，則稱𝜃 為𝜃的無偏估且對亍仸意 𝜃 有𝐸計量無偏估計意味

62、著無系統(tǒng)性誤差2016/11/1739§2 估計量的評選標準例13. 設(shè)總體X的k階矩𝜇𝑘 = 𝐸𝑋𝑘，又設(shè)(𝑘 1)𝑋1, 𝑋2, , 𝑋𝑛為總體X的一個樣本，試證明丌論總體服從1 𝑛𝑋𝑘是k階總體矩𝜇𝑘的何種分布，k階樣本矩𝐴𝑘 =無偏估計。𝑖=1𝑖𝑛證明：因為&#

63、119883;1, 𝑋2, , 𝑋𝑛不X同分布，故有𝑋𝑘𝑋𝑘𝐸= 𝐸= 𝜇𝑘𝑖即𝑛1𝑘𝐸 𝐴= 𝑛 𝐸𝑋𝑖= 𝜇𝑘𝑘𝑖=1故k階樣本矩𝐴𝑘是k階總體矩𝜇𝑘

64、;的無偏估計注意：丌論總體 X 服從什么分布, 只要它的數(shù)學期望存在,X總是總體X的數(shù)學期望𝜇1 = 𝐸 𝑋 的無偏估計2016/11/1740§2 估計量的評選標準的總體，若𝜇和𝜎2例14. 對亍均值 𝜇，方差𝜎2都1 𝑛均偏的。，則𝜎2的估計量𝜎 2 =2是有𝑋𝑖 𝑋𝑖=1𝑛1 𝑛𝑋2 𝑋2 =

65、𝐴2 𝑋2證明： 𝜎 2=𝑖=1𝑖𝑛因為𝐸= 𝜎2 + 𝜇2𝐴2= 𝜇2= 𝜎2而𝐸𝑋22+ 𝜇2= 𝐷𝑋+𝐸𝑋𝑛亍是有𝐸 𝜎 2= 𝐸𝐴2 𝑋2𝑋2= 𝐸 w

66、860;2 𝐸𝜎2𝑛 122222= 𝜎故是有偏的。+ 𝜇 𝜇=𝜎 𝜎𝑛𝑛2016/11/1741§2 估計量的評選標準若以 𝑛 乘以𝜎 2，所得到的估計量就是無偏的(這種𝑛1稱為無偏化)𝑛𝑛𝜎 2𝐸 𝜎 2= 𝜎2𝐸=𝑛 1𝑛 1因為&

67、#119899;1𝑛 𝜎 2 = 𝑆22=𝑋 𝑋𝑖𝑛 1𝑛 1𝑖=1即𝑆2是𝜎2的無偏估計，通常取𝑆2作為𝜎2的估計量2016/11/1742§2 估計量的評選標準例16. 設(shè)𝑋𝑁(𝜇, 𝜎2)，𝜇已知，𝜎2未知，𝑥1, 𝑥2, , 𝑥&

68、#119899;是來自X的一個樣本值，求𝜎2的極大似然估計量。解：X的概率密度函數(shù)為：21𝑥 𝜇2𝜎22𝑓𝑥 𝜎=exp2𝜋𝜎似然函數(shù)為：𝑛21𝑥 𝜇𝑖2𝜎2𝜎2𝐿= 𝑖=1exp2𝜋𝜎 𝑛2𝑥𝑖 𝜇2𝜎2w

69、899;2 exp𝑖=1=2𝜋𝜎2 𝑛2𝑛2𝑛2𝑥𝑖 𝜇ln 𝜎2 𝑖=1ln 𝐿 = ln 2𝜋 2𝜎22016/11/1743§2 估計量的評選標準令 𝑛2𝑑𝑑𝜎2𝑛2𝜎2𝑥𝑖 𝜇𝑖=1= 0ln &#

70、119871; = 2𝜎4：1𝑛22𝜎 = 𝑛 𝑖=1𝑥𝑖 𝜇注意到𝐸 𝜎 21 𝑛2= 𝐸𝑥 𝜇𝑖𝑛𝑖=1𝑛11222= 𝑛 𝑖=1𝐸𝑥𝑖 𝜇= 𝑛 × 𝑛𝜎

71、;= 𝜎1 𝑛故， 𝜎 2 =2是總體的無偏估計𝑥𝑖 𝜇𝑖=1𝑛2016/11/1744§2 估計量的評選標準例17. 設(shè)總體X服從參數(shù)為𝜃的指數(shù)分布，概率密度1𝑥𝑥 𝜃= 𝜃 𝑒𝜃,𝑥 > 0𝑜𝑡𝑒𝑟𝑤𝑖𝑠𝑒𝑓0,參數(shù)𝜃 > 0，又設(shè)𝑋1, 𝑋2, , 𝑋𝑛是來自總體X的樣本，試證𝑋和𝑛𝑍 = 𝑛 min