課件第十部分點(diǎn)估計(jì)

1、第十章 點(diǎn)估計(jì) 估計(jì)問題 估計(jì)方法 點(diǎn)估計(jì)的優(yōu)良性1第十章 點(diǎn)估計(jì) 在實(shí)際問題中，經(jīng)常遇到隨機(jī)變量X（即總體X）的分布函數(shù)的形式已知，但它的一個(gè)或者多個(gè)參數(shù)未知的情形，此時(shí)寫不出確切的概率密度函數(shù).若通過簡(jiǎn)單隨機(jī)抽樣，得到總體X的一個(gè)樣本觀測(cè)值，我們自然會(huì)想到利用這一組數(shù)據(jù)來估計(jì)這一個(gè)或多個(gè)未知參數(shù).諸如此類，利用樣本去估計(jì)總體未知參數(shù)的問題，稱為參數(shù)估計(jì)問題. 參數(shù)估計(jì)問題有兩類，分別是點(diǎn)估計(jì)和區(qū)間估計(jì).而參數(shù)估計(jì)是統(tǒng)計(jì)推斷的一個(gè)重要組成部分，可以這樣說統(tǒng)計(jì)推斷的基本問題可以分為兩大類: 一是參數(shù)估計(jì)問題， 二是假設(shè)檢驗(yàn)問題。2 數(shù)理統(tǒng)計(jì)問題：如何選取樣本來對(duì)總體的種種統(tǒng)計(jì)特征作出判斷。 參

2、數(shù)估計(jì)問題：知道隨機(jī)變量（總體）的分布類型，但確切的形式不知道，根據(jù)樣本來估計(jì)總體的參數(shù)，這類問題稱為參數(shù)估計(jì)（paramentric estimation）。參數(shù)估計(jì)的類型點(diǎn)估計(jì)、區(qū)間估計(jì) 3第七章 點(diǎn)估計(jì)參數(shù)估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)估計(jì)未知參數(shù)的值估計(jì)未知參數(shù)的取值范圍，并使此范圍包含未知參數(shù)的真值的概率為給定的值4設(shè) 是來自總體 的一個(gè)樣本，所謂統(tǒng)計(jì)模型，即樣本的聯(lián)合分布。由于樣本是獨(dú)立同分布的故可一般地表述統(tǒng)計(jì)模型為：第一節(jié) 點(diǎn)估計(jì)問題 設(shè)總體X的分布函數(shù) F（x，）是已知的 ，是未知的分布參數(shù)，參數(shù)的所有可能取值組成的集合稱為參數(shù)空間，常用表示，參數(shù)估計(jì)問題就是根據(jù)樣本對(duì)上述未知參數(shù)做出估

3、計(jì)。當(dāng)X為離散時(shí)，F(xiàn)（x，）為分布律；當(dāng)X為連續(xù)時(shí)，F(xiàn)（x，）為密度函數(shù)5第一節(jié) 點(diǎn)估計(jì)問題 例某種同型號(hào)產(chǎn)品個(gè)，其合格率未知，對(duì)該批產(chǎn)品作質(zhì)量檢驗(yàn)，從中隨機(jī)抽取件（0 未知，從中隨機(jī)抽取n支， 為其壽命，則統(tǒng)計(jì)模型為其中 只取大于0的實(shí)數(shù)值6第一節(jié) 點(diǎn)估計(jì)問題 在統(tǒng)計(jì)模型(1)中，若知道，就完全知道了總體的分布，因此在模型(1)下，統(tǒng)計(jì)推斷的對(duì)象或者說各種統(tǒng)計(jì)推斷問題都是同這個(gè)未知參數(shù)有關(guān)。注意： 雖然g()已知的函數(shù)，但未知，因而函數(shù)值g() 是未知的 假設(shè)模型(1)及有一個(gè)同有關(guān)的指標(biāo)，=g() , 可以是向量值。我們的問題是：基于樣本 ，估計(jì)g() 。7其中參數(shù)(,2),參數(shù)空間 ，估

4、計(jì)對(duì)象是中的一個(gè)分量，令g()= ，是一個(gè)定義在上的已知函數(shù)，問題是：基于 ，由此估計(jì)未知函數(shù)值g() .第一節(jié) 點(diǎn)估計(jì)問題例3 ：對(duì)某地區(qū)中學(xué)生做身高調(diào)查，假定身高X服從正態(tài)分布N(,2),其,2中均未知，調(diào)查目的是為了了解該地區(qū)中學(xué)生的平均身高.今從中抽取n個(gè)人。測(cè)得其身高 ，由此估計(jì)平均身高,該問題的模型是: nXXX,21L8第一節(jié) 點(diǎn)估計(jì)問題例4(續(xù)例3) 要在該地區(qū)中學(xué)生中挑選生排球隊(duì)員,標(biāo)準(zhǔn)是其身高必須高于1.90m.問題是估計(jì)中選率. 由正態(tài)分布性質(zhì),可將表示成如下的的已知函數(shù)形式: 其中 是標(biāo)準(zhǔn)正態(tài)分布函數(shù),這個(gè)函數(shù)在未知參數(shù) 處的值正是要估計(jì)的對(duì)象. 9第一節(jié) 點(diǎn)估計(jì)問題點(diǎn)

5、估計(jì)的思想方法：設(shè)總體的分布函數(shù)的形式已知，但含有一或多個(gè)未知參數(shù)：。設(shè)為總體的一個(gè)樣本，構(gòu)造個(gè)統(tǒng)計(jì)量 隨機(jī)變量10第一節(jié) 點(diǎn)估計(jì)問題當(dāng)測(cè)得樣本值時(shí)，代入上述方程組，即可得到個(gè)數(shù)：數(shù)值稱數(shù)為未知參數(shù)的估計(jì)值,對(duì)應(yīng)統(tǒng)計(jì)量為未知參數(shù)的估計(jì)量 統(tǒng)計(jì)估計(jì)沿用以下規(guī)則：若 的一個(gè)估計(jì)，則 的估計(jì)自動(dòng)地被估計(jì)為 ，稱這一規(guī)則為估計(jì)的自助程序。11的估計(jì)為 ,的估計(jì)為S ,則的估計(jì)是第一節(jié) 點(diǎn)估計(jì)問題說明: 1.給出 ,等同于給出的一種估計(jì)規(guī)則(估計(jì)程序), 有了觀 察數(shù)據(jù),如何算出估計(jì)值.2.估計(jì)量不必唯一,同一參數(shù)可以構(gòu)造不同的統(tǒng)計(jì)量用以估計(jì).因此有一個(gè)估計(jì)量好環(huán)的比較評(píng)價(jià)估計(jì)量好環(huán)的準(zhǔn)則.例如在例4中

6、12第二節(jié)估計(jì)方法 兩種常用的構(gòu)造估計(jì)量的方法：一.矩估計(jì)法定義：用樣本矩來代替總體矩,從而得到總體分布中參數(shù)的一種估計(jì).這種估計(jì)方法稱為矩估計(jì)法.它的思想實(shí)質(zhì)是用樣本的經(jīng)驗(yàn)分布和樣本矩去替換總體的分布和總體矩.也稱之為替換原則.特點(diǎn)：不需要假定總體分布有明確的分布類型。矩估計(jì)法極大似然估計(jì)法13第二節(jié)估計(jì)方法設(shè)總體X具有已知類型的概率函數(shù)f(x;),=(1,k)是k個(gè)未知參數(shù).(X1,X2,Xn)是來自總體X的一個(gè)樣本.假若X的k階矩k=E(Xk)存在,則對(duì)于ik, E(Xi)都存在,并且是(1,k)的函數(shù)i(1,k).得到含有未知參數(shù)(1,k)的k個(gè)方程.解這k個(gè)聯(lián)立方程組就可以得到(1,

7、k)的一組解:14第二節(jié)估計(jì)方法用上面的解來估計(jì)參數(shù)i就是矩估計(jì)法.15第二節(jié)估計(jì)方法例: 設(shè)總體X服從泊松分布，參數(shù)未知， 是來自總體的一個(gè)樣本，求參數(shù)的矩估計(jì)量.解：總體X的期望為 從而得到方程所以的矩估計(jì)量為16110，184，145，122，165，143，78，129，62，130，168 第二節(jié)估計(jì)方法例5 設(shè)有一批同型號(hào)燈管,其壽命(單位：h)服從參數(shù)為的指數(shù)分布，今隨機(jī)抽取其中的11只，測(cè)得其壽命數(shù)據(jù)如下：用矩估計(jì)法估計(jì)值。解：設(shè)X為燈管的壽命，則的矩估計(jì)已知n=11， 的觀察值為因而的估計(jì)值為：17第二節(jié)估計(jì)方法例6 設(shè)總體X有均值和方差 ，今有6個(gè)隨機(jī)樣本的觀察數(shù)據(jù)為：-1

8、.20,0.82,0.12,0.45,-0.85,-0.30求和 的矩估計(jì)量. 解:參數(shù) 是二維的. 因?yàn)?8第二節(jié)估計(jì)方法例7 設(shè) 是來自(1,2) 上均勻分布樣本,10未知,求得極大似然估計(jì) 解:總體X的密度函數(shù)為：似然函數(shù)為：因此只能求函數(shù)L()得最大值點(diǎn).34練習(xí)第二節(jié)估計(jì)方法解： 總體X服從參數(shù)為的指數(shù)分布，則有 所以似然函數(shù)為: 35取對(duì)數(shù) 令 解得的極大似然估計(jì)值為 極大似然估計(jì)量為 36第三節(jié)點(diǎn)估計(jì)的優(yōu)良性 對(duì)于同一個(gè)未知參數(shù),不同的方法得到的估計(jì)量可能不 同,怎么判別出哪一個(gè)“更佳”呢？應(yīng)該選用哪一種估計(jì)量?用何標(biāo)準(zhǔn)來評(píng)價(jià)一個(gè)估計(jì)量的好壞?常用標(biāo)準(zhǔn)(1) 無偏性(2) 有效性

9、(3) 相合性37 估計(jì)量的評(píng)選標(biāo)準(zhǔn)無偏性定義 設(shè) 是參數(shù) 的一個(gè)估計(jì)量，若 成立，則稱 是 的無偏估計(jì)量。如：設(shè) 是一隨機(jī)變量， 是它的一個(gè)樣本。因?yàn)樗詷颖揪凳强傮w均值的無偏估計(jì)量。38第三節(jié)點(diǎn)估計(jì)的優(yōu)良性例10 是總體均值的無偏估計(jì)；樣本方差 不是總體方差 的無偏估計(jì)。證明：而,所以是有偏估計(jì). 考慮：若使用修正樣本方差 是不是無偏估計(jì)？39第三節(jié)點(diǎn)估計(jì)的優(yōu)良性例11 均勻分布R(0,)的參數(shù)的極大似然估計(jì) 但不是的無偏估計(jì). 解:40第三節(jié)點(diǎn)估計(jì)的優(yōu)良性故X(n)的密度函數(shù)41例4 設(shè)總體 X 的密度函數(shù)為證 故是 的無偏估計(jì)量.為常數(shù)與 都是 的無偏估計(jì)量.證明為 X 的一個(gè)樣本練

10、習(xí)42令即故n Z 是 的無偏估計(jì)量.練習(xí)43第三節(jié)點(diǎn)估計(jì)的優(yōu)良都是總體參數(shù)g() 的無偏估計(jì)量, 且則稱 比 更有效.定義 設(shè)有效性 參數(shù)的無偏估計(jì)可以很多，如何在無偏估計(jì)中進(jìn)行選擇？直觀的想法是希望該估計(jì)圍繞參數(shù)真值的波動(dòng)越小越好，波動(dòng)大小可以用方差來衡量，因此人們常用無偏估計(jì)的方差的大小來度量無偏估計(jì)優(yōu)劣的標(biāo)準(zhǔn)，這就是有效性。 定義44第三節(jié)點(diǎn)估計(jì)的優(yōu)良故得例 設(shè)總體 X 的密度函數(shù)為哪個(gè)估計(jì)更有效？為常數(shù)與 都是 的無偏估計(jì)量.所以,比更有效.解 ，45例6 設(shè)總體 X，且 E( X )= , D( X )= 2 為總體 X 的一個(gè)樣本證明是 的無偏估計(jì)量(2) 證明比更有效證 (1)

11、 (1) 設(shè)常數(shù)46(2) 而結(jié)論算術(shù)均值比加權(quán)均值更有效.47例如 X N( , 2 ) , ( X 1 ,X 2 ) 是一樣本.都是 的無偏估計(jì)量由上例結(jié)論最有效.48第三節(jié)點(diǎn)估計(jì)的優(yōu)良 我們知道，點(diǎn)估計(jì)是一個(gè)統(tǒng)計(jì)量，因此它是一個(gè)隨機(jī)變量，在樣本量一定的條件下，我們不可能要求它完全等同于參數(shù)的真實(shí)值。但是隨著樣本容量的不斷增大時(shí)， 與g()越來越接近，以至于最后完全重合.定義 設(shè) 是總體參數(shù)g() 的估計(jì)量. 若對(duì)于任意的 , 當(dāng)n 時(shí), 依概率收斂于g() , 即則稱估計(jì)量具有相合性. 相合性估計(jì)量?jī)H在樣本容量n 足夠大時(shí),才顯示其優(yōu)越性.相合性49第三節(jié)點(diǎn)估計(jì)的優(yōu)良 相合估計(jì)量的意義在于：只要樣本容量足夠大，就可以使相合估計(jì)量與參數(shù)真實(shí)值之間的差異大于的概率足夠地小，也就是估計(jì)量可以用任意接近于的概率把參數(shù)真實(shí)值估計(jì)到任意的精度. 相合性是點(diǎn)估計(jì)的大樣本性質(zhì)，指的是：這種性