3.6 估計(jì)的優(yōu)良性

1、13.6 點(diǎn)估計(jì)與優(yōu)良性點(diǎn)估計(jì)與優(yōu)良性 2一、點(diǎn)估計(jì)概念及討論的問題一、點(diǎn)估計(jì)概念及討論的問題例例1 已知某地區(qū)新生嬰兒的體重已知某地區(qū)新生嬰兒的體重X),(2 N,2未知 隨機(jī)抽查隨機(jī)抽查100個嬰兒個嬰兒得得100個體重數(shù)據(jù)個體重數(shù)據(jù)10,7,6,6.5,5,5.2, 呢呢? ? 據(jù)此據(jù)此, ,我們應(yīng)如何估計(jì)我們應(yīng)如何估計(jì)和和而全部信息就由這而全部信息就由這100個數(shù)組成個數(shù)組成.3 為估計(jì)為估計(jì) ,我們需要構(gòu)造出適當(dāng)?shù)臉颖疚覀冃枰獦?gòu)造出適當(dāng)?shù)臉颖镜暮瘮?shù)的函數(shù)T(X1,X2,Xn)，每當(dāng)有了樣本，就，每當(dāng)有了樣本，就代入該函數(shù)中算出一個值，用來作為代入該函數(shù)中算出一個值，用來作為 的的估計(jì)

2、值估計(jì)值 . 把樣本值代入把樣本值代入T(X1,X2,Xn) 中，得到中，得到 的一個的一個點(diǎn)估計(jì)值點(diǎn)估計(jì)值 .T(X1,X2,Xn)稱為參數(shù)稱為參數(shù) 的的點(diǎn)估計(jì)量點(diǎn)估計(jì)量，4 請注意，被估計(jì)的參數(shù)請注意，被估計(jì)的參數(shù) 是一個是一個未知常數(shù)，而估計(jì)量未知常數(shù)，而估計(jì)量 T(X1,X2,Xn)是一個隨機(jī)變量，是樣本的函數(shù)是一個隨機(jī)變量，是樣本的函數(shù),當(dāng)當(dāng)樣本取定后，它是個已知的數(shù)值樣本取定后，它是個已知的數(shù)值,這這個數(shù)常稱為個數(shù)常稱為 的估計(jì)值的估計(jì)值 . 5使用什么樣的統(tǒng)計(jì)量去估計(jì)使用什么樣的統(tǒng)計(jì)量去估計(jì) ？ 可以用樣本均值可以用樣本均值;也可以用樣本中位數(shù)也可以用樣本中位數(shù);還可以用別的統(tǒng)計(jì)

3、量還可以用別的統(tǒng)計(jì)量 .問題是問題是: 6,)( XE我們知道我們知道, ,服從正態(tài)分布服從正態(tài)分布,.),(2vXrN的 由大數(shù)定律由大數(shù)定律, , 1|1|lim1 niinXnP自然想到把樣本體重的平均值作為總體平均自然想到把樣本體重的平均值作為總體平均體重的一個估計(jì)體重的一個估計(jì). .22 估計(jì)S類似地，用樣本體重的方差類似地，用樣本體重的方差 . ., 估計(jì)X用樣本體重的均值用樣本體重的均值,11niiXnXniiXXnS122)(11樣本體重的平均值樣本體重的平均值7樣本均值是否是樣本均值是否是 的一個好的估計(jì)量？的一個好的估計(jì)量？ (2) 怎樣決定一個估計(jì)量是否比另一個估計(jì)怎樣決

4、定一個估計(jì)量是否比另一個估計(jì) 量量“好好”？樣本方差是否是樣本方差是否是 的一個好的估計(jì)量？的一個好的估計(jì)量？2 這就需要討論以下幾個問題這就需要討論以下幾個問題: :(1) 我們希望一個我們希望一個“好的好的”估計(jì)量具有什么估計(jì)量具有什么 特性？特性？(3) 如何求得合理的估計(jì)量？如何求得合理的估計(jì)量？那么要問那么要問: :8這是因?yàn)楣烙?jì)量是樣本的函數(shù)，是個隨機(jī)變量這是因?yàn)楣烙?jì)量是樣本的函數(shù)，是個隨機(jī)變量 . 因此，由不同的觀測結(jié)果，就會求得不同的參數(shù)因此，由不同的觀測結(jié)果，就會求得不同的參數(shù)估計(jì)值估計(jì)值. 因此一個好的估計(jì)，應(yīng)在多次試驗(yàn)中體現(xiàn)出優(yōu)因此一個好的估計(jì)，應(yīng)在多次試驗(yàn)中體現(xiàn)出優(yōu)良性

5、良性 .而且盡可能接近待估計(jì)參數(shù)值的真值，在真而且盡可能接近待估計(jì)參數(shù)值的真值，在真值左右擺動盡可能小。值左右擺動盡可能小。 二、估計(jì)量的優(yōu)良性準(zhǔn)則二、估計(jì)量的優(yōu)良性準(zhǔn)則 在介紹估計(jì)量優(yōu)良性的準(zhǔn)則之前，我們必須強(qiáng)在介紹估計(jì)量優(yōu)良性的準(zhǔn)則之前，我們必須強(qiáng)調(diào)指出：調(diào)指出： 評價一個估計(jì)量的好壞，不能僅僅依據(jù)評價一個估計(jì)量的好壞，不能僅僅依據(jù)一次試驗(yàn)的結(jié)果，而必須由多次試驗(yàn)結(jié)果來衡量一次試驗(yàn)的結(jié)果，而必須由多次試驗(yàn)結(jié)果來衡量 .9 常用的幾條原則標(biāo)準(zhǔn)是：常用的幾條原則標(biāo)準(zhǔn)是：1. 無偏性無偏性2. 有效性有效性3. 相合性相合性10一、無偏估計(jì)一、無偏估計(jì)估計(jì)量是隨機(jī)變量，對于不同的樣本值會得到估計(jì)

6、量是隨機(jī)變量，對于不同的樣本值會得到不同的估計(jì)值不同的估計(jì)值 . 我們希望我們希望估計(jì)值在未知參數(shù)真值附估計(jì)值在未知參數(shù)真值附近擺動，而它的期望值等于未知參數(shù)的真值近擺動，而它的期望值等于未知參數(shù)的真值，這就，這就導(dǎo)致導(dǎo)致無偏性無偏性這個標(biāo)準(zhǔn)這個標(biāo)準(zhǔn) . 設(shè)設(shè) 是未知參數(shù)是未知參數(shù) 的估計(jì)量，的估計(jì)量，),(1nXX 1. 定義定義3.6.3 P78P78 )(E則稱則稱 為為 的的無偏估計(jì)無偏估計(jì) . 若若則稱則稱 為估計(jì)量為估計(jì)量 的的偏差偏差 . )(E 若若 )(E )(lim En則稱則稱 為為 的的漸近無偏估計(jì)漸近無偏估計(jì) . 若若11 例如，用樣本均值作為總體均值的估計(jì)例如，用樣

7、本均值作為總體均值的估計(jì)時，雖無法說明一次估計(jì)所產(chǎn)生的偏差，但時，雖無法說明一次估計(jì)所產(chǎn)生的偏差，但這種偏差隨機(jī)地在這種偏差隨機(jī)地在0的周圍波動，對同一統(tǒng)的周圍波動，對同一統(tǒng)計(jì)問題大量重復(fù)使用不會產(chǎn)生系統(tǒng)偏差計(jì)問題大量重復(fù)使用不會產(chǎn)生系統(tǒng)偏差 .無偏性是對估計(jì)量的一個常見而重要的要求無偏性是對估計(jì)量的一個常見而重要的要求 .無偏性的實(shí)際意義是指沒有系統(tǒng)性的偏差無偏性的實(shí)際意義是指沒有系統(tǒng)性的偏差 .12例例3.6.2 設(shè)設(shè)X1,X2,Xn是取自具有一階矩、二階矩存是取自具有一階矩、二階矩存在的總體在的總體X一個樣本，證明一個樣本，證明的的無無偏偏估估計(jì)計(jì)；是是 EXX ).1(的無偏估計(jì)；的無

8、偏估計(jì)；是是22* ).2( DXSn . ).3(22的漸近無偏估計(jì)的漸近無偏估計(jì)是是 DXSn證證 niiXnEXE11)( ).1(由由于于 niiEXn11EX 22*1 ).2(nnSEnnSE 由由于于 221 nnSEn 而而2 13 221 ).3( nnSEn 22lim nnSE試問：試問：? ).1(22的的無無偏偏估估計(jì)計(jì)是是否否是是 X .1)()( 22222 nXEXDXE事事實(shí)實(shí)上上的的無無偏偏估估計(jì)計(jì)？是是否否是是 * (2)nS)1()1( 22222* nnSSnnn 事事實(shí)實(shí)上上 .2)1()2(12* nnnSEn可計(jì)算得：可計(jì)算得： .)()(,無無

9、偏偏估估計(jì)計(jì)的的不不一一定定是是的的無無偏偏估估計(jì)計(jì)參參數(shù)數(shù)一一般般地地 ff14.1 , ,)1()(121的無偏估計(jì)的無偏估計(jì)階總體矩階總體矩是是階樣本矩階樣本矩總體服從什么分布總體服從什么分布論論的一個樣本，試證明不的一個樣本，試證明不是是又設(shè)又設(shè)存在存在階矩階矩的的設(shè)總體設(shè)總體knikiknkkkXnAkXXXXkXEkX 證證同同分分布布，與與因因?yàn)闉閄XXXn,21)()(kkiXEXE 故故有有., 2 , 1,nik nikikXEnAE1)(1)(即即.k 一般的，一般的，152. 無偏性的弱點(diǎn)無偏性的弱點(diǎn), )1(可可能能不不存存在在無無偏偏估估計(jì)計(jì)一一個個參參數(shù)數(shù) . ,

10、 )2(弊弊病病無無偏偏估估計(jì)計(jì)可可能能有有明明顯顯的的其其中中的的可可能能存存在在多多個個無無偏偏估估計(jì)計(jì)一一個個參參數(shù)數(shù) 無偏估計(jì)量是對估計(jì)量的一個重要而常見的要無偏估計(jì)量是對估計(jì)量的一個重要而常見的要求求 ，實(shí)際意義是，實(shí)際意義是多次試驗(yàn)后沒有系統(tǒng)性的偏差，多次試驗(yàn)后沒有系統(tǒng)性的偏差，也是工程技術(shù)中完全合理的要求，但不要一味認(rèn)為也是工程技術(shù)中完全合理的要求，但不要一味認(rèn)為估計(jì)量不滿足無偏原則，就是估計(jì)量不滿足無偏原則，就是“不好不好”的估計(jì)量。的估計(jì)量。(3) 無偏估計(jì)知只反映了估計(jì)量在參數(shù)真值附近無偏估計(jì)知只反映了估計(jì)量在參數(shù)真值附近波動。波動。16例例2, 2 , 1 , 0,!)(

11、kekPk 的樣本，其中的樣本，其中DXEX ;)1 (,1 , 0 )1 ( 2*的的無無偏偏估估計(jì)計(jì)是是則則 nSX;2( )2( 31的無偏估計(jì)的無偏估計(jì)是是 e)X事實(shí)上事實(shí)上 2*)1(,1 , 0 )1(nSXE 2*)1(nESXE )1( 設(shè)設(shè)X1,X2,Xn是取自總體是取自總體X：17;2( )2( 31的的無無偏偏估估計(jì)計(jì)是是 e)XkkkXekE)2(!)2(01 0!)2(kkke 2ee 3e但是，此估計(jì)量有明顯的不合理：但是，此估計(jì)量有明顯的不合理：,1的的取取值值為為奇奇數(shù)數(shù)時時當(dāng)當(dāng)X,2( 1估估計(jì)計(jì)值值即即為為負(fù)負(fù)數(shù)數(shù)X) .3顯顯然然不不合合理理用用一一個個

12、負(fù)負(fù)數(shù)數(shù)估估計(jì)計(jì) e從而，僅有無偏性原則不夠。從而，僅有無偏性原則不夠。例例2, 2 , 1 , 0,!)(kekPk 的樣本，其中的樣本，其中DXEX ;)1 (,1 , 0 )1 ( 2*的的無無偏偏估估計(jì)計(jì)是是則則 nSX;2( )2( 31的無偏估計(jì)的無偏估計(jì)是是 e)X設(shè)設(shè)X1,X2,Xn是取自總體是取自總體X：18.),max(12, 0,0, 2121的無偏估計(jì)都是和的樣本，試證明是來自總體參數(shù)上服從均勻分布在設(shè)總體nnXXXnnXXXXXX證證)(2)2(XEXE 因因?yàn)闉?(2XE ,22 . 2的無偏估計(jì)量的無偏估計(jì)量是是所以所以 X的概率密度為的概率密度為因?yàn)橐驗(yàn)?,ma

13、x( 21nhXXXX 其他其他, 0,0,)(1 xnxxfnn例例19xnxxXEnnhd)(01 所所以以,1 nn,1 hXnnE故有故有.),max(121的無偏估計(jì)量也是故nXXXnn20二、最小方差無偏估計(jì)與有效估計(jì)二、最小方差無偏估計(jì)與有效估計(jì)一個參數(shù)往往有不止一個無偏估計(jì)一個參數(shù)往往有不止一個無偏估計(jì),無偏性原無偏性原則不夠，還應(yīng)要求估計(jì)量圍繞參數(shù)的真值波動盡可則不夠，還應(yīng)要求估計(jì)量圍繞參數(shù)的真值波動盡可能小，能小，如何刻劃？如何刻劃？概率論用隨機(jī)變量的均方誤差（方差）刻劃概率論用隨機(jī)變量的均方誤差（方差）刻劃“離散離散”或或“集中集中”的程度。的程度。我們可以比較我們可以比

14、較21)( E22)( E和和的大小來決定二者誰更優(yōu)，由的大小來決定二者誰更優(yōu)，由于于 ,)()(211 ED222)()( ED方差小者為佳，從而有最小方差無偏估計(jì)與方差小者為佳，從而有最小方差無偏估計(jì)與有有效性效性這一概念。這一概念。211. 定義定義有有效效比比則則稱稱均均有有若若對對任任意意樣樣本本容容量量的的無無偏偏估估計(jì)計(jì)量量均均是是帶帶有有限限方方差差和和設(shè)設(shè)212121, , (1) DDn ., , (2)000的的最最小小方方差差無無偏偏估估計(jì)計(jì)量量為為則則稱稱均均有有的的任任意意一一個個無無偏偏估估計(jì)計(jì)量量于于若若對對的的無無偏偏估估計(jì)計(jì)量量是是帶帶有有限限方方差差設(shè)設(shè)

15、DD 目的是目的是: 尋找一個尋找一個最有效最有效的估計(jì)量的估計(jì)量. D記為：記為：MVUE.就就是是最最有有效效的的估估計(jì)計(jì)量量的的MVUE 222、有效估計(jì)、有效估計(jì)1) 定義定義的的有有效效估估計(jì)計(jì)量量為為則則稱稱即即下下界界的的方方差差達(dá)達(dá)到到的的一一個個無無偏偏估估計(jì)計(jì)量量若若 )(1)( ,nIDCR 的的效效率率為為稱稱的的任任意意一一個個無無偏偏估估計(jì)計(jì)量量若若 )( )(1)(,DnIe 的的有有效效估估計(jì)計(jì)是是時時且且從從而而 ,1)( , 1)(0 ee的的漸漸近近有有效效估估計(jì)計(jì)是是則則稱稱的的效效率率滿滿足足的的無無偏偏估估計(jì)計(jì)量量若若 1)(lim en23三、一致

16、性（相合性）估計(jì)三、一致性（相合性）估計(jì)無偏估計(jì)無偏估計(jì)無系統(tǒng)誤差；無系統(tǒng)誤差；的真值附近波動的真值附近波動在在 MVUE與有效估計(jì)與有效估計(jì)離散程度小，法則較好，離散程度小，法則較好，但前題是無偏估計(jì)。但前題是無偏估計(jì)。問題：問題：. ,)(,)( )1估估計(jì)計(jì)仍仍不不理理想想作作為為可可知知較較大大但但盡盡管管 DE .)(,)( )2較較小小但但盡盡管管 DE 如何取舍、兼顧如何取舍、兼顧.目的：目的：希望一個估計(jì)量是無偏的，且具有較小的方希望一個估計(jì)量是無偏的，且具有較小的方差，還希望當(dāng)樣本容量差，還希望當(dāng)樣本容量n無限增大時，估計(jì)能在某無限增大時，估計(jì)能在某種意義下收斂于被估計(jì)參數(shù)的

17、真值，這就是相合性種意義下收斂于被估計(jì)參數(shù)的真值，這就是相合性(一致性一致性)估計(jì)的要求。估計(jì)的要求。24相合性（一致性）定義：相合性（一致性）定義：估估計(jì)計(jì)一一致致的的相相合合是是則則稱稱概概率率收收斂斂于于依依如如果果的的一一個個估估計(jì)計(jì)序序列列是是設(shè)設(shè))(,),(1 nnnnnXX 即即1|lim0|lim, 0 nnnnPP或或 相合性被認(rèn)為是對估計(jì)的一個最基本要求相合性被認(rèn)為是對估計(jì)的一個最基本要求, ,如果如果一個估計(jì)量一個估計(jì)量, ,在樣本量不斷增大時，它都不能把被估在樣本量不斷增大時，它都不能把被估參數(shù)估計(jì)到任意指定的精度參數(shù)估計(jì)到任意指定的精度, ,那么這個估計(jì)是很值得那么這

18、個估計(jì)是很值得懷疑的。通常懷疑的。通常, ,不滿足相合性要求的估計(jì)一般不予考不滿足相合性要求的估計(jì)一般不予考慮。證明估計(jì)的相合性一般可應(yīng)用大數(shù)定律或直接由慮。證明估計(jì)的相合性一般可應(yīng)用大數(shù)定律或直接由定義來證。定義來證。25., 0lim,lim,的的相相合合估估計(jì)計(jì)是是則則且且的的一一個個估估計(jì)計(jì)序序列列是是若若 nnnnnnDE 定理定理2.1證證 |)(|0 xnxdFP0|lim, nnPn時時則則 |22)()(xxdFx2222)(1)()(1 nExdFx)(122 nnED.)(的分布函數(shù)的分布函數(shù)是是其中其中nxF 26例例.,11的相合估計(jì)的相合估計(jì)階原點(diǎn)矩階原點(diǎn)矩的的是是

19、則則存在存在階原點(diǎn)矩階原點(diǎn)矩樣本的樣本的kknikikEXkXAxnAk 事實(shí)上事實(shí)上kkEXEAThP 2 . 14知知)( , 0)( 22 nnEXEXDAkkk且且從而，矩估計(jì)量是相合的。從而，矩估計(jì)量是相合的。27例例 設(shè)設(shè) x1, x2 , , xn 是來自均勻總體是來自均勻總體U(0, )的樣本，的樣本，證明證明 的極大似然估計(jì)是相合估計(jì)。的極大似然估計(jì)是相合估計(jì)。證明：證明： 的極大似然估計(jì)是的極大似然估計(jì)是 x(n)。由次序統(tǒng)計(jì)量的。由次序統(tǒng)計(jì)量的分布，我們知道分布，我們知道 x(n) 的分布密度函數(shù)為的分布密度函數(shù)為 p(y)=nyn- -1/ n, y , 故有故有 由定

20、理可知，由定理可知，x(n)是是 的相合估計(jì)。的相合估計(jì)。021202222d/1d/2Var( )0, 21(1) (2)nnnnnEnyynnEnyynnnnnnnn28例例3 設(shè)設(shè)X1,X2,Xn是取自總體是取自總體X),( 2 N一個樣本一個樣本.2未未知知與與其其中中 試對其進(jìn)行估計(jì)。試對其進(jìn)行估計(jì)。解解由前可知由前可知2)1(122)(1 nniiXX 1)(),1(2)(2)1(2)1( nEnDnn 構(gòu)造構(gòu)造, 2 , 1,)(1122 kXXkSniik2)1(12222)(1 nniikXXkS 則則24222)1(2)(,)1()(knSDknSEkk 且且且且當(dāng)當(dāng)422212)(,)(, 1 nSDSEnkkk特別地特別地,12)(,)(42)1(22)1( nSDSEnn29特別地特別地42)1(22)1(42)1(22)1(1)1(2)(,11)(,12)(,)( nnSDnnSEnSDSEnnnn顯然有顯然有42)1(42)1(12)(1)1(2)( nSDnnSDnn.,2)1(22)1(不是不是的無偏估計(jì)的無偏估計(jì)是是然而然而 nnSS 如何衡量估計(jì)量的修劣呢，任何選取較好的估計(jì)量？如何衡量估計(jì)量的修劣呢，任何選取較好的估計(jì)量？方法之一：方法