估計量的評選標準ppt課件

1、 3-2 估計量的評選標準估計量的評選標準 一無偏性一無偏性 二二最優(yōu)性最優(yōu)性 三優(yōu)效性三優(yōu)效性 四充分性四充分性 五完備性五完備性 1一一無無 偏偏 性性2一一無偏性無偏性無偏估計無偏估計 設總體設總體 X F ( x; ) ，其中，其中參數(shù)參數(shù) 未知。未知。( X1, X2, , Xn )是抽自總體是抽自總體 X 的一個樣本，的一個樣本， T = T( X1, X2, , Xn )是是 的一個估計量。如果的一個估計量。如果 則稱則稱T為為 的的無偏估計無偏估計，否則稱為，否則稱為有偏估計有偏估計。TE)(3漸近無偏估計漸近無偏估計 設設 ( X1, X2, , Xn )是抽自總體是抽自總體

2、X F ( x ; )， 的樣本，的樣本， T = T ( X1, X2, , Xn ) 是是 的一的一個估計量，個估計量， 如果如果則則稱稱 T 是是 的的漸近無偏估計漸近無偏估計。一一無偏性無偏性 )(lim TEn4（1）樣本均值樣本均值 是總體均值是總體均值 = E(X) 的無偏估計。的無偏估計。（2）樣本樣本原點矩原點矩 A l 是相應的總體原點矩是相應的總體原點矩l 的無偏估計的無偏估計 。X一一無偏性無偏性例題例題 1 總體原點矩總體原點矩 l = E ( X l ) nililXnA11樣本原點矩5（1）樣本方差樣本方差 不是總體方差不是總體方差 2 = D(X) 的無偏估計，

3、的無偏估計，而是漸近無偏估計。而是漸近無偏估計。（2）修正樣本方差修正樣本方差 是總體方差是總體方差 2= D(X) 的無偏估計。的無偏估計。niiXXnS12*)(112niiXXnS122)(1一一無偏性無偏性例題例題 26 設總體設總體 X 服從指數(shù)分布，其概率密度為服從指數(shù)分布，其概率密度為其中其中參數(shù)參數(shù) 0 未知，未知， ( X1, X2, , Xn ) 是抽自總體是抽自總體 X 的樣本，試證：的樣本，試證： 和和 nZ=nmin ( X1, X2, , Xn ) 都是都是 的無偏估計的無偏估計。例題例題 3一一無偏性無偏性X 0 0 0 1)(xxexfx；7（1）無偏估計的實際

4、意義。無偏估計的實際意義。 注注 記記（2）無偏估計可能不唯一。無偏估計可能不唯一。一一無偏性無偏性（3）無偏估計可能不存在無偏估計可能不存在 。（4）無偏性在函數(shù)變換下不一定有不變性。無偏性在函數(shù)變換下不一定有不變性。（5）某些有偏估計某些有偏估計可修正為無偏估計?？尚拚秊闊o偏估計。 8二二最最 優(yōu)優(yōu) 性性9二二最優(yōu)性最優(yōu)性有效性有效性 設設T1 = T1 ( X1, X2, , Xn ) 和和 T2 = T2 ( X1, X2, , Xn ) 都是都是 的無偏估計量。如果的無偏估計量。如果 則稱則稱 T1 較較 T2 有效有效。)()(21TDTD10 設總體設總體 X 服從指數(shù)分布，其概

5、率密度為服從指數(shù)分布，其概率密度為其中其中參數(shù)參數(shù) 0 未知，未知， ( X1, X2, , Xn ) 是抽自總體是抽自總體 X 的樣本，試證：的樣本，試證： 較較 nZ=nmin ( X1, X2, , Xn ) 有效（有效（n 1 ）。）。例題例題 4X 0 0 0 1)(xxexfx；二二最優(yōu)性最優(yōu)性11二二最優(yōu)性最優(yōu)性最小方差無偏估計最小方差無偏估計 設總體設總體 X F ( x; )，其中未知參數(shù)，其中未知參數(shù) ，記，記 U = T : E (T ) = g ( ), D ( T ) 設設 T* U ，如果對，如果對 任一任一T U , 都有都有 D ( T *) D ( T ) 則

6、稱則稱 T * 為為 g ( ) 的的最小方差無偏估計最小方差無偏估計12（1）最小方差）最小方差無偏估計是一種無偏估計是一種最優(yōu)最優(yōu)估計量。估計量。 注注 記記（2）最小方差無偏估計至多）最小方差無偏估計至多一個。一個。（3）最小方差無偏估計可能）最小方差無偏估計可能不存在不存在 。（4）通常在某個較小范圍內求具有通常在某個較小范圍內求具有最小方差最小方差 的的無偏估計無偏估計。二二最優(yōu)性最優(yōu)性13 設總體設總體 X 具有有限方差具有有限方差 2，( X1, X2, , Xn ) 是是抽自總體抽自總體 X 的樣本，試證：在所有形如的樣本，試證：在所有形如 （ ， i 0, i = 1, ,

7、n ）的）的這些這些總體均值總體均值 的無偏估計中，樣本的無偏估計中，樣本均值均值 的方差最小。的方差最小。例題例題 511nii二二最優(yōu)性最優(yōu)性XniiiX114二二最優(yōu)性最優(yōu)性求最小方差無偏估計的求最小方差無偏估計的零無偏估計法零無偏估計法 設總體設總體 X F ( x; )，其中未知參數(shù)，其中未知參數(shù) ，記，記 U0= T0 : E (T0 ) = 0, D ( T0 ) 則則 T * 為為 g ( ) 的的最小方差無偏估計的充要條件為：最小方差無偏估計的充要條件為：對對 每個每個 T0 U0 , 都有都有 E ( T* T0 )=015例題例題 6 )(21exp)2();( 1222

8、212niinniix,xf數(shù)樣本的聯(lián)合概率密度函二二最優(yōu)性最優(yōu)性 設總體設總體 X N( ， )，其中，其中 ， 未知，未知，( X1, X2, , Xn )是抽自總體是抽自總體X 的樣本，的樣本，試求未知試求未知參數(shù)參數(shù) ， 的最小方差無偏估計的最小方差無偏估計。 0)( 000TEUT 0 )(21exp),(112210nniindxdxxxxT0 )(21exp)(1 ),(11221210nniiniindxdxxxxxT0 )(21exp ),(1122110nniiniindxdxxxxxT 0)(10niiXTE 0)(0XTE16三三優(yōu)優(yōu) 效效 性性17 設總體設總體 X

9、的概率密度函數(shù)為的概率密度函數(shù)為 f ( x; ), 未知參數(shù)未知參數(shù) ， T = T ( X1, X2, , Xn ) 為為 g( ) 的一個無偏估計。如果的一個無偏估計。如果Rao Cramer 定理定理;Fisher);()( 0);(ln)()1(2信息量）的稱為分布（xfIXfEI)()()(2nIgTD nniinniidxdxxfdxdxxfxf1111 );( );();()2(存在，且nniindxdxxfxxTgg111 );(),()( )()3(存在，且則則正正規(guī)規(guī)分分布布正正規(guī)規(guī)估估計計18（1）Rao-Cramer不等式給出了所有不等式給出了所有正規(guī)正規(guī)無偏估計無偏

10、估計的的 方差的下界。這個下界稱為方差的下界。這個下界稱為Rao-CramerRao-Cramer下界下界。注注 記記（2）注意區(qū)分：）注意區(qū)分： 方差達到方差達到 Rao-CramerRao-Cramer下界的無偏估計下界的無偏估計 最小方差無偏估計最小方差無偏估計（3）信息量）信息量I( )的另一個容易計算的表達式的另一個容易計算的表達式（4） Rao-Cramer不等式不等式對離散型總體依然成立。對離散型總體依然成立。三三優(yōu)效性優(yōu)效性);(ln)(22XfEI（5） Rao-Cramer不等式不等式可推廣到多維情形?？赏茝V到多維情形。19優(yōu)效估計優(yōu)效估計 如果如果參數(shù)函數(shù)參數(shù)函數(shù) g (

11、 ) 的某個的某個正規(guī)無偏估計正規(guī)無偏估計T 的方差達到的方差達到Rao-Cramer下界，則稱這個正規(guī)下界，則稱這個正規(guī)無偏估計無偏估計T 為為 g ( ) 的的優(yōu)效估計量優(yōu)效估計量。三三優(yōu)效性優(yōu)效性效效 率率 設設T為為g ( ) 的一個的一個正規(guī)無偏估計，則稱正規(guī)無偏估計，則稱為這個正規(guī)無偏估計為這個正規(guī)無偏估計T 的的效率效率。)()()();(2TDnIgTen20三三優(yōu)效性優(yōu)效性漸近效率漸近效率 設設T 為為 g ( ) 的一個的一個正規(guī)無偏估計，若正規(guī)無偏估計，若 則稱則稱 e 0 ( ;T ) 為這個正規(guī)無偏估計為這個正規(guī)無偏估計T 的的漸近漸近效率效率。);();(lim0T

12、eTenn漸近優(yōu)效估計漸近優(yōu)效估計 如果如果參數(shù)函數(shù)參數(shù)函數(shù)g ( )的某個的某個正規(guī)無偏估計正規(guī)無偏估計T 滿足滿足則稱則稱T 為為g ( ) 的的漸近漸近優(yōu)效估計量優(yōu)效估計量。 1);( 0Te21 設總體設總體 X ( ， )，其中，其中 已知，已知， 未知，未知，( X1, X2, , Xn )是抽自總體是抽自總體X 的樣本，的樣本，試證：試證： 為為 -1的優(yōu)效估計的優(yōu)效估計。例題例題 7三三優(yōu)效性優(yōu)效性)0( )(),;(1xexxfxX22四四充充 分分 性性23四四充分性充分性充分統(tǒng)計量產生的充分統(tǒng)計量產生的直觀背景直觀背景思考題：思考題： 在把樣本在把樣本 ( X1, X2,

13、 , Xn ) 加工加工成一個統(tǒng)計量成一個統(tǒng)計量 T 的過程中，會不的過程中，會不會把樣本中所含的關于會把樣本中所含的關于 的信息丟的信息丟失掉呢？失掉呢？ 樣本樣本 ( X1, X2, , Xn ) 中所含中所含 的信息的信息 統(tǒng)計量統(tǒng)計量 T 所含所含 的信息的信息 + T 知道后，樣本知道后，樣本 ( X1, X2, , Xn ) 中所含中所含 的剩余信息的剩余信息 可用給定統(tǒng)計量可用給定統(tǒng)計量 T = t 時，樣本時，樣本 ( X1, X2, , Xn )的的條件分布條件分布 F X1, X2, , Xn |T ( x1, x2, , xn |t) 表示。表示。24四四充分性充分性充分

14、統(tǒng)計量充分統(tǒng)計量 設設 ( X1, X2, , Xn ) 是抽自總體是抽自總體 X F ( x; ) 的的樣本，樣本， T T ( X1, X2, , Xn ) 是一個統(tǒng)計量，是一個統(tǒng)計量， 如果如果給定給定 T = t 時，條件分布時，條件分布 F X1, X2, , Xn |T ( x1, x2, , xn |t)與參數(shù)與參數(shù) 無關，則稱無關，則稱 T 是是 的的充分統(tǒng)計量充分統(tǒng)計量。 若用參數(shù)若用參數(shù) 的充分統(tǒng)計量的充分統(tǒng)計量T T ( X1, X2, , Xn ) 作為作為 的估計的估計量，則稱量，則稱 T 是是 的的充分估計量充分估計量。充分估計量充分估計量25四四充分性充分性充分統(tǒng)

15、計量的判斷充分統(tǒng)計量的判斷因子分解定理因子分解定理 設設( X1, X2, , Xn )是抽自連續(xù)型總體是抽自連續(xù)型總體X f ( x; )的的樣本，樣本， T T ( X1, X2, , Xn ) 是一個統(tǒng)計量，是一個統(tǒng)計量， 則則 T 是是 的充分統(tǒng)計量的充要條件是樣本的聯(lián)合概率密度可分的充分統(tǒng)計量的充要條件是樣本的聯(lián)合概率密度可分解為解為其中其中 h ( x1, x2, , xn)非負且與參數(shù)非負且與參數(shù) 無關，無關， f T ( t , ) 僅通過僅通過 T ( x1, x2, , xn) = t 依賴于樣本依賴于樣本),(),( );(11nTniixxhtfxf26（1）充分統(tǒng)計量

16、不唯一。）充分統(tǒng)計量不唯一。注注 記記 設設 T 是總體參數(shù)是總體參數(shù) 的充分統(tǒng)計量，的充分統(tǒng)計量，u = u ( t ) 是單值可逆函數(shù)，則是單值可逆函數(shù)，則U = u (T )也是也是 的充分統(tǒng)計量。的充分統(tǒng)計量。（2）上述概念、定理可推廣到）上述概念、定理可推廣到多維多維情形情形。四四充分性充分性（3）上述概念、定理可推廣到）上述概念、定理可推廣到離散型離散型情形情形。27例題例題 8 8）（xe ,;xfx 21)(222)(2 )(21exp)()2();(12222212niinnniix,xf 設總體設總體 X N( ， )，其中，其中 ， 未知，未知，( X1, X2, , X

17、n )是抽自總體是抽自總體X 的樣本，的樣本，試求未知試求未知參數(shù)參數(shù) ( ， ) 的充分估計量的充分估計量。四四充分性充分性 )(2exp)2( 22222xnsnn ),( 2SXT 28例題例題 9 0 0 1);(其它xxf 0max0 1);( 11其它ininniixxf 設總體設總體 X U( 0, )，其中，其中 未知，未知， ( X1, X2, , Xn ) 是抽自總體是抽自總體 X 的樣本，的樣本，試求未知試求未知參數(shù)參數(shù) 的充分估計量的充分估計量。四四充分性充分性 1 max01inixnI max 1iniXT29四四充分性充分性Rao-Blackwell定理定理 設設

18、 ( X1, X2, , Xn )是抽自總體是抽自總體 X F ( x ; )， 的樣本，的樣本， 如果如果 是是 的無偏估計且的無偏估計且 D ( ) ，T 是是 的充分統(tǒng)計量的充分統(tǒng)計量, 則則 * = E ( | T )是是 的無偏估計且的無偏估計且 D ( * ) D ( )且等號成立的充要條件是且等號成立的充要條件是 P = * = 130五五完完 備備 性性31五五完備性完備性完備分布函數(shù)完備分布函數(shù) 設隨機變量設隨機變量 X F ( x ; ), ，如果對任意一，如果對任意一個滿足個滿足 Eg ( X ) = 0 的隨機變量的隨機變量g ( X ) ，總有，總有 P g ( X

19、) = 0 = 1則稱則稱 F ( x ; ) 是是完備分布函數(shù)完備分布函數(shù)。 設設 ( X1, X2, , Xn ) 是抽自總體是抽自總體 X F ( x ; ) 的樣本，如果統(tǒng)計量的樣本，如果統(tǒng)計量T T ( X1, X2, , Xn ) 的分的分布函數(shù)是完備的，則稱布函數(shù)是完備的，則稱 T 是是 完備統(tǒng)計量完備統(tǒng)計量。完備統(tǒng)計量完備統(tǒng)計量32注注 記記 有關概念、定理可推廣到多維情形有關概念、定理可推廣到多維情形。五五完備性完備性33 設設 ( X1, X2, , Xn )是抽自總體是抽自總體 X F ( x ; )， 的樣本，的樣本， 如果如果 是是 的無偏估計且的無偏估計且 D ( ) ，T 是是 的的充分完備充分完備統(tǒng)計量統(tǒng)計量, 則則 * = E ( | T )是是 唯一的最小方差無偏估計量。唯一的最小方差無偏估計量。五五完備性完備性求最小方差無偏估計的求最小方差無偏估計的Lemann-Scheffe方法方法 (1)34 設設 ( X1, X2, , Xn )是抽自總體是抽自總體 X F ( x ; ) 的樣本，的樣本， T 是是 的的充分完備充分完備統(tǒng)計量，統(tǒng)計量， 如果如果 g ( T ) 滿足滿足 E g ( T ) = ， 則則 g ( T ) 是是 的最優(yōu)無偏估計量。的最優(yōu)無偏估計量。五五完備性完備性求最小方差無偏估計的求最小方