第九章 點估計

1、二 .點估計問題 統(tǒng)計模型nXXX,21( , )f x( )fnXXX,211( , )(, ),nf xf x 設(shè)設(shè)()為樣本，其公共分布為為樣本，其公共分布為未知，但函數(shù)未知，但函數(shù)的形式已知，我們稱的形式已知，我們稱()的聯(lián)合分布的聯(lián)合分布為統(tǒng)計模型為統(tǒng)計模型.當(dāng)當(dāng)X X為離散型時為離散型時, , 為分布律，當(dāng)為分布律，當(dāng)X X為連續(xù)型時為連續(xù)型時 為密度函數(shù)為密度函數(shù)( , )f x( , )f x0),(E例例 一批燈管壽命服從指數(shù)分布一批燈管壽命服從指數(shù)分布 未知，從未知，從中隨機抽取中隨機抽取n n只，只， 為其壽命，則統(tǒng)計模型為為其壽命，則統(tǒng)計模型為 為為nXXX,21nxn

2、xxxenii, 211為大于為大于0 0的實數(shù)的實數(shù)正態(tài)分布？正態(tài)分布？ 點估計問題的提法點估計問題的提法( )g( )gnXXX,21( )g，函數(shù)，函數(shù)為已知，問題是基于為已知，問題是基于()估計函數(shù)值估計函數(shù)值.( , )Xf xnXXX,21未知，未知，()為樣本，而為樣本，而是一個同是一個同有關(guān)的指標(biāo)，即有關(guān)的指標(biāo)，即設(shè)總體設(shè)總體例例 某地區(qū)中學(xué)生的身高某地區(qū)中學(xué)生的身高X X服從服從 未知，要未知，要在該地區(qū)中學(xué)生中挑選排球隊員，標(biāo)準(zhǔn)是其身高必須高在該地區(qū)中學(xué)生中挑選排球隊員，標(biāo)準(zhǔn)是其身高必須高于于1.90m1.90m，要求估計選中率，要求估計選中率22,),(N)9 . 1(X

3、P)9 . 1(1XP)9 . 1(1),(1nXX 1( ,)nxx( )g( )g 估計量估計量的統(tǒng)計量的統(tǒng)計量為為的估計量，對應(yīng)的觀測值的估計量，對應(yīng)的觀測值 點估計的自助程序點估計的自助程序為為的一個估計，則的一個估計，則自動地被估計為自動地被估計為我們稱任何一個用以估計未知參數(shù)我們稱任何一個用以估計未知參數(shù)為估計值為估計值.設(shè)設(shè)稱這一規(guī)則為估計的自助程序稱這一規(guī)則為估計的自助程序估計量也不必唯一估計量也不必唯一( (有評價標(biāo)準(zhǔn)有評價標(biāo)準(zhǔn)) )上例，上例，SXXPSX90. 1190. 1,),(21kxfk,21其中其中 為待估參數(shù)為待估參數(shù),)(),.,;()(),.,;()(21

4、21離散型連續(xù)型XRxklklllxpxdxxfxXEnililxnm11其中其中kl, 2 , 1k,.,21k,21k,.,21kkkkkmmm),(),(),(2122121211 klmll, 2 , 1 222( ,) 例（例（第九章例第九章例7） 設(shè)總體有均值設(shè)總體有均值及方差及方差 ，今有今有6個隨機樣本的觀察數(shù)據(jù)為個隨機樣本的觀察數(shù)據(jù)為1.20，0.82，0.12，0.45，0.85，0.30求求 的矩估計的矩估計.及及解解 此例參數(shù)此例參數(shù)是二維的，要求前是二維的，要求前2階原點矩階原點矩2, 的估計量分別為的估計量分別為61161iixm-0.16-0.16612261ii

5、xm0.5240.524542. 0)(222mXE16. 0)(11mXE222)()(XEXE0.50.550. 0,16. 02第九章例第九章例9 解解兩個待估參數(shù)，連續(xù)型兩個待估參數(shù)，連續(xù)型. .先求總體的一先求總體的一, ,二階二階( (原點原點) )矩矩. .因為因為X XUa,b,Ua,b,所以所以)(1XE)(22XE2)()(XEXD,2ba即即22212)(baab2211mmniiXnbaabXba122214)(12)(2,)(312niiXXnXa.)(312niiXXnXb,)(1XE22222)()()(XEXDXE2211mm. 即即niiXnX12221 解得

6、解得,2 2的的矩估計量矩估計量分別為分別為: :,X21221XXnniiniiXXn12)(1 解解單參數(shù)，離散型單參數(shù)，離散型. .)(1XEXmp 因為因為 所以總體所以總體X X的一階矩的一階矩( (期望期望) )為為),(pmBXmpmXp 解解單參數(shù)，連續(xù)型單參數(shù)，連續(xù)型. .)(1XE 因為總體一階矩因為總體一階矩, 0, 10,)(1其它xxxfdxxxf)(101|1x10dxx1故所求故所求為：為：X1) 1(X解得解得: :XX )1 (XX121XX 解解單參數(shù)，連續(xù)型單參數(shù)，連續(xù)型. .)(1XE 因為總體因為總體一階矩一階矩)(21)(|xexfxdxexx|21

7、0不含不含，故不能由，故不能由“樣本一階矩樣本一階矩= =總體一階矩總體一階矩”解得所解得所求矩估計，需要求矩估計，需要繼續(xù)求二階矩繼續(xù)求二階矩：dxexXEx|22221)(xdexdxexxx202021,2)3(22 由由“樣本二階矩樣本二階矩= =總體二階矩總體二階矩”得：得：,21212niiXn 于是于是, ,所求所求為：為：niiXn1221函數(shù)函數(shù)定義定義 一位老獵人與他的徒弟一起打獵一位老獵人與他的徒弟一起打獵,兩人同時向一兩人同時向一獵物射擊獵物射擊,結(jié)果該獵物身中一彈結(jié)果該獵物身中一彈,你認為誰打中的可能你認為誰打中的可能性最大性最大? 根據(jù)經(jīng)驗而斷根據(jù)經(jīng)驗而斷:老獵人打

8、中獵物的可能性最大老獵人打中獵物的可能性最大. 就是對固定的樣本值，選就是對固定的樣本值，選擇待估參數(shù)的估計值使擇待估參數(shù)的估計值使“樣本取樣本值樣本取樣本值”離散型離散型或或“樣本取值落在樣本值附近樣本取值落在樣本值附近”連續(xù)型連續(xù)型 的概率最大。的概率最大。下面分離散型與連續(xù)型總體來討論下面分離散型與連續(xù)型總體來討論. .)();(xpxXPnXXX,.,21nxxx,.,21nXXX,.,21)();();,(121niinxpxxxL根據(jù)總體分根據(jù)總體分布律寫出似布律寫出似然函數(shù)：換然函數(shù)：換x為為xi這正是事件這正是事件“樣本取得樣本值樣本取得樣本值” 的概率的概率, ,稱之為樣本稱

9、之為樣本的的似然函數(shù)似然函數(shù), ,它是待估參數(shù)它是待估參數(shù)的函數(shù)的函數(shù). .),(21nxxx相應(yīng)統(tǒng)計量相應(yīng)統(tǒng)計量稱為參數(shù)稱為參數(shù)的的.),(21nXXX)();(xfnXXX,.,21nxxx,.,21nXXX,.,21)();();,(121niinxfxxxL),(21nxxx,),;(, );();,(1121連續(xù)型離散型niiniinxfxpxxxL0);,(21nxxxLdd0);,(ln21nxxxLdd 所以所以, ,樣本的樣本的為為: : 因為總體因為總體 其分布律為其分布律為),(pmBX)., 1 , 0()1();(mxppCpxfxmxxmniipxfpL1);()(

10、nixmxxmiiippC1)1 (在在f中換中換x為為xi寫出連乘寫出連乘積積ninixmnixxmiiippC111)1 (nixmnxxmniiniiippC111)1 ()1ln()(lnln)(ln(111pxmnpxCpLniniiinixmi0) 1(1)(ln(11pxmnpxpLniinii, 0)()1 (11niiniixmnppx即即, 01pmnxnii也即也即解得解得為為mxxmnpnii11為為mXp 當(dāng)總體分布中含有當(dāng)總體分布中含有個待估參數(shù)時，可類似于單個待估參數(shù)時，可類似于單參數(shù)情形來求其最大似然估計，其步驟為：參數(shù)情形來求其最大似然估計，其步驟為： 寫出似

11、然函數(shù)寫出似然函數(shù));,(21kL 求求；當(dāng)；當(dāng)L關(guān)于各參數(shù)關(guān)于各參數(shù)可導(dǎo)時，可解可導(dǎo)時，可解似然方程組似然方程組).,2, 1(0klLl得各參數(shù)的最大似然估計。得各參數(shù)的最大似然估計。 解解雙參數(shù)，連續(xù)型雙參數(shù)，連續(xù)型. .因為因為X XN(,N(,2 2),),所以所以X X總體的概率密度為總體的概率密度為)0,(2)(exp21),;(222Rxxf 設(shè)設(shè) 為樣本為樣本 的一個樣本值的一個樣本值, ,則似然函數(shù)為則似然函數(shù)為: :nxxx,.,21nXXX,.,212212)(21exp21),(inixLniinnx122222)(21exp2從而從而, ,取對數(shù)得取對數(shù)得: :21

12、222)(21ln22ln2),(lnniixnnL由似然方程組由似然方程組視視2為整體為整體0)()(212ln01ln12222212niiniixnLnxL解得解得,2 2的的為為: :niixxnx122)(1,從而從而,2 2的的為為: :niiXXnX122)(1,同一個待估參數(shù)的同一個待估參數(shù)的與與可能可能相同相同 如二項總體、正態(tài)總體如二項總體、正態(tài)總體,也可能不同也可能不同 如均勻如均勻總體總體. 對于同一個參數(shù)對于同一個參數(shù), ,用不同方法求出的估計量可能用不同方法求出的估計量可能不同不同. .那么那么, ,采用哪一個估計量為好呢采用哪一個估計量為好呢? ?用何種標(biāo)準(zhǔn)來用何

13、種標(biāo)準(zhǔn)來評判估計量的優(yōu)劣評判估計量的優(yōu)劣? ? 下面下面, ,介紹幾個常用標(biāo)準(zhǔn)介紹幾個常用標(biāo)準(zhǔn). . 1 1、)(E 則稱則稱 為為 的的. . 稱為用稱為用 來估計來估計 的的. .因此因此, ,. .)(E 解解因為因為niiXnEXE11)(X2SniiXnXnESE122211)()()()()() 1(1221XEXDnXEXDninii)(11niiXEn,11nin)()() 1(1212XnEXEnnii)()() 1(122221nnnni)() 1(12222nnn 1 1、樣本均值、樣本均值 是總體均值是總體均值的無偏估計的無偏估計; ;X 2 2、修正樣本方差、修正樣本

14、方差 是總體方差是總體方差2 2的無偏估計的無偏估計. .2S所以所以2 易知：對均值易知：對均值,方差方差20都存在的總體都存在的總體,方差的估計量方差的估計量是是有偏估計有偏估計:.2無偏化無偏化得得:212)(1niiXxn2S)1()()(12222niiXXnESEEniiXEXEn122)()(1niXEXDXEXDn122)()()()(1)(1XDnn221nn)(2*SE21Enn 可以證明可以證明:無論總體無論總體X服從何種分布服從何種分布,k階階樣本矩樣本矩是是k階階總體矩總體矩的無偏估計的無偏估計,即有即有 因此因此,一般都是一般都是取樣本均值取樣本均值 作為總體均值的

15、估計作為總體均值的估計量量,修正取樣本方差修正取樣本方差 作為總體方差的估計量作為總體方差的估計量.2SX是總體均值是總體均值的無偏估計的無偏估計; ;并確定常數(shù)并確定常數(shù)a,ba,b使使D(Y)D(Y)達到達到最小最小. . 解解因為因為)2 , 1()(,)(2knXDXEkkk 【例例1111】設(shè)從存在均值設(shè)從存在均值與方差與方差2 200的總體中的總體中, ,分分別抽取容量為別抽取容量為n n1 1,n,n2 2的兩個獨立樣本的兩個獨立樣本, ,其樣本均值分別其樣本均值分別為為 . .證明證明: :對任意常數(shù)對任意常數(shù)a,b,a,b,21,XX) 1(21baXbXaY 由由期望性質(zhì)期

16、望性質(zhì)得得: :)()(21XbXaEYE)()(21XbEXaE)(ba 由無偏性知由無偏性知:Y:Y是是的無偏估計量的無偏估計量. . 由由方差方差性質(zhì)得性質(zhì)得: :)()()()(221221XDbXDaXbXaDYD22212222122)1 (nananbna0)1 (22)(221令nanaYDdad即即: :21)1 (nana解得當(dāng)解得當(dāng)212211,nnnbnnna時時D(Y)D(Y)最小最小. .由導(dǎo)數(shù)應(yīng)用知由導(dǎo)數(shù)應(yīng)用知: 解解因為因為極大似然估計量為極大似然估計量為其它, 0,0,1)(xxfmax1iniX而總體分布函數(shù)而總體分布函數(shù)Z令令xxxxxF , 10 ,0

17、, 0)( Z 的分布函數(shù)為的分布函數(shù)為故其概率密度為故其概率密度為從而從而, 不是不是 的無偏估計的無偏估計.dzznnn01nnnxzzFzF)()(zzzznn , 10 ,0 , 0其他 , 00 ,)(1znzzfnndzzzfZE)()( 2 2、有效性、有效性)()(21DD 則稱則稱 較較 為為有效有效. .12 同一個參數(shù)的無偏估計可能有多個同一個參數(shù)的無偏估計可能有多個, ,在容量相同在容量相同情況下情況下, ,認為取值密集于參數(shù)真值附近的估計量較為認為取值密集于參數(shù)真值附近的估計量較為理想理想. . 由于方差度量隨機變量取值與其數(shù)學(xué)期望的偏由于方差度量隨機變量取值與其數(shù)學(xué)

18、期望的偏離程度離程度, ,故無偏估計應(yīng)以方差小者為好故無偏估計應(yīng)以方差小者為好. .定義定義),(),(212211nnXXXXXX 解解因為因為其它, 0, 0,1);(xexfxX),(min21nXXXnnZnZX,)(,)(2nXDXE所以所以, , 是是的無偏估計量的無偏估計量. .X,)(nZE1 易知易知 服從參數(shù)為服從參數(shù)為 的指數(shù)分布的指數(shù)分布,故故min1iniXZn,)(nZE 所以所以, , 也是也是的無偏估計量的無偏估計量. .nZ 于是于是, , 由于由于, ,)()(2222nnZDnnZD 注意到當(dāng)注意到當(dāng)n1n1時時: :),()(nZDXD 在實際問題中常常

19、使用無偏性、有效性這兩個標(biāo)在實際問題中常常使用無偏性、有效性這兩個標(biāo)準(zhǔn)準(zhǔn). .至于一致性請自學(xué)，暫存不議至于一致性請自學(xué)，暫存不議. .故當(dāng)故當(dāng)n1n1時時, , 較較 為有效為有效. .XnZ,)(nZE 所以所以, , 也是也是的無偏估計量的無偏估計量. .nZ 于是于是, , 由于由于, ,)()(2222nnZDnnZD 注意到當(dāng)注意到當(dāng)n1n1時時: :),()(nZDXD 在實際問題中常常使用無偏性、有效性這兩個標(biāo)在實際問題中常常使用無偏性、有效性這兩個標(biāo)準(zhǔn)準(zhǔn). .至于一致性請自學(xué)，暫存不議至于一致性請自學(xué)，暫存不議. .故當(dāng)故當(dāng)n1n1時時, , 較較 為有效為有效. .XnZ思考題思考題1 1設(shè)隨機變量設(shè)隨機變量 為來自二項分布總體的簡單為來自二項分布總體的簡單隨機樣本隨機樣本 分別為樣本均值和修正樣本方差，若分別為樣本均值和修正樣本方差，若 的無偏估計，則的無偏估計，則k=k=nXXX,.,212,SX22npkSX為22)(npkSXEnpXEXE)()()()(22SkEkSE)(XkD)1 (pnpk2)1 ( nppknpnp1k思考題思考題2 2設(shè)隨機變量設(shè)隨機變量 為來自正態(tài)總體為來自正態(tài)總體 的簡單隨機的簡單隨機樣本，其中樣本，其中 已知，已知， 分別為樣本均值和樣本方差，分別為樣本均值和樣本方