應(yīng)用數(shù)理統(tǒng)計(jì)2.2 估計(jì)量的評判準(zhǔn)則

1、122 估計(jì)量的評價(jià)準(zhǔn)則估計(jì)量的評價(jià)準(zhǔn)則 由例由例2.3和例和例2.10的結(jié)果看出，對均勻分布的結(jié)果看出，對均勻分布總體參數(shù)的估計(jì)不一樣，哪個(gè)好？總體參數(shù)的估計(jì)不一樣，哪個(gè)好？例例2.12 若總體若總體X ( ), 則未知參數(shù)則未知參數(shù) 的矩估計(jì)量為的矩估計(jì)量為,X niiXXn12)(1 或或即使用同一方法得出的估計(jì)量也不同。即使用同一方法得出的估計(jì)量也不同。iniiniXbXa11max,min niniXXnXbXXnXa1212)(3,)(322.2.1無偏性無偏性 定義定義2.1： 如果如果 ，則稱估計(jì)量為無偏估計(jì)量；，則稱估計(jì)量為無偏估計(jì)量； 如果如果 記作記作 ，則稱估計(jì)量為漸進(jìn)

2、無，則稱估計(jì)量為漸進(jìn)無偏估計(jì)量。其中偏估計(jì)量。其中 稱作偏差。稱作偏差。)(E0|),.,(|lim21nnXXXE0)(limbn)(bX2SniiXXnSnnS1222*)(111 可以驗(yàn)證可以驗(yàn)證 是總體均值的無偏估計(jì)是總體均值的無偏估計(jì)例例2.13； 但但 不是總體方差的無偏估計(jì)，是漸進(jìn)無偏不是總體方差的無偏估計(jì)，是漸進(jìn)無偏的。的。 而而 是無偏的是無偏的例例2.14。 3評述：無偏的概率意義，即反復(fù)使用，整體平均下，估無偏的概率意義，即反復(fù)使用，整體平均下，估計(jì)準(zhǔn)確。計(jì)準(zhǔn)確。其局限性，若僅有一次或?qū)椕芯然蛳到y(tǒng)誤其局限性，若僅有一次或?qū)椕芯然蛳到y(tǒng)誤差等情形，就不能說明問題了

3、。差等情形，就不能說明問題了。設(shè)總體設(shè)總體X的數(shù)學(xué)期望的數(shù)學(xué)期望 與方差與方差 2存在存在, ,X1, X2,.,Xn為總體為總體X 的樣本的樣本, , 證明：證明：niiiXc12niccinii, 2 , 1, 0, 11 也是也是 的無偏估計(jì)量的無偏估計(jì)量; ;, ,其中其中42.2.2 最小方差性和有效性最小方差性和有效性 定義定義2.2 如果如果 是是 的無偏估的無偏估計(jì)量，且對于其任意無偏估計(jì)量計(jì)量，且對于其任意無偏估計(jì)量 ，均有，均有， 對一切對一切 （參數(shù)空間），則稱（參數(shù)空間），則稱T為最小方差為最小方差的無偏估計(jì)量（或最優(yōu)無偏估計(jì)量）。的無偏估計(jì)量（或最優(yōu)無偏估計(jì)量）。),

4、.,(21nXXXTT )(gT)()(TDTD用用 估計(jì)估計(jì)時(shí)，僅具有無偏性是不夠的我們時(shí)，僅具有無偏性是不夠的我們希望希望 的取值能集中于的取值能集中于附近附近, ,而且密集的程度而且密集的程度越高越好方差是描述隨機(jī)變量取值的集中程越高越好方差是描述隨機(jī)變量取值的集中程度的，度的，所以所以無偏估計(jì)無偏估計(jì)以方差小者為好以方差小者為好, 這就引進(jìn)了有這就引進(jìn)了有效性這一效性這一標(biāo)準(zhǔn)標(biāo)準(zhǔn). . 5設(shè)總體設(shè)總體X的數(shù)學(xué)期望的數(shù)學(xué)期望 , ,方差方差 2 2存在，存在，X1 1, ,X2 2是是X的樣本，的樣本，證明估計(jì)證明估計(jì) 時(shí)時(shí), , 2112121XX 2124341XX )()(21DD

5、由定義知由定義知 較較 有效有效12又因?yàn)橛忠驗(yàn)?2121121)(41)(41)2121()()(XDXDXXDXDD22121285)(169)(161)4341()(XDXDXXDD所以所以均為均為 的無偏估計(jì)，的無偏估計(jì)，21,因?yàn)橐驗(yàn)檩^較有效有效. .6 在實(shí)際應(yīng)用中，找出最小方差的估計(jì)量不容易，在實(shí)際應(yīng)用中，找出最小方差的估計(jì)量不容易，若在一類分布和估計(jì)中找出所有無偏估計(jì)中方差若在一類分布和估計(jì)中找出所有無偏估計(jì)中方差的一個(gè)下界，則當(dāng)某一估計(jì)量達(dá)到或接近即認(rèn)為的一個(gè)下界，則當(dāng)某一估計(jì)量達(dá)到或接近即認(rèn)為可行了?？尚辛?。下方差下界存在？下方差下界存在？什么條件什么條件即有無下界即有無下

6、界那么能夠小到什么程度那么能夠小到什么程度量的方差越小越好，量的方差越小越好，我們自然希望無偏估計(jì)我們自然希望無偏估計(jì)?勞不等式克拉美一個(gè)方差下界的下面我們就來討論建立 ,:),;(,21為為已已知知常常數(shù)數(shù)其其中中的的母母體體的的一一個(gè)個(gè)子子樣樣為為取取自自具具有有概概率率函函數(shù)數(shù)設(shè)設(shè)babaxfXXXn 的的一一是是又又且且可可設(shè)設(shè))(),(.,21 gXXXTTban 且滿足正則條件個(gè)無偏估計(jì),;0);(:)1(無無關(guān)關(guān)與與集集合合 xfxdxxfdxxfxfg );();(,);()()2(且且對對一一切切存存在在與與41-42p信息量FishernniinnnndXdXXfXXXTd

7、XdXXfXfXXXTg11211121 );(),();();(),()( )()()(:2 nIgXTD 則有)(1)(:,)(nIXTDg即為時(shí)特殊地，當(dāng)勞下界克拉美 21),(ln()( XfEI令聯(lián)合概率密度聯(lián)合概率密度nnndXdXXfXfXXTXTEg111);();(),()()(: 由數(shù)學(xué)期望的定義不不等等式式：主主要要應(yīng)應(yīng)用用SchwarzCauchy 證證明明 DDEEE 2)(,)(),()(21的一個(gè)無偏估計(jì)是記 gXXXTXTn ,);(ln);(ln1 niiXfxf 記iiiidXXfXfXfE );();(ln);(ln iidXXf );(0 iidXXf)

8、;( 1 niiXfEE10);(ln( 則);(ln);(ln)(1 niiXfDxfDD );(ln1 XfnD)(獨(dú)立同分布獨(dú)立同分布);(ln();(ln(2121 XfEXfEn0);(ln iXfE21);(ln( XfnE)()( nID ，得得由由 DDEEE 2)()()()();(ln)()(22 nIgXTxfEDEEED niiXfEE10);(ln( 21),(ln()( XfEI令 dxxfXTg );()()(由于 dxxfXTXTEg);()()()( 0);();(, 1);( dxxfdxxfdxxf 則由于)g(2)(-1)( dxxfgXTg );()(

9、)()()()( )()()();(ln22 nIgnIgXTxfED :注注. 1稱稱為為正正規(guī)規(guī)估估計(jì)計(jì)滿滿足足正正則則條條件件的的估估計(jì)計(jì)量量類的方差下界類的方差下界無偏估計(jì)無偏估計(jì)不等式的下界僅是正規(guī)不等式的下界僅是正規(guī)CramerRao . 2方便，我們可以證明方便，我們可以證明為了計(jì)算信息量為了計(jì)算信息量)( I信息量信息量Fisher. 321),(ln()( XfEI),(ln()(212 XfEI令令)()( 2 nIgD 13是是漸漸近近有有效效的的。則則稱稱是是有有效效的的；若若稱稱時(shí)時(shí)，的的效效率率等等于于又又當(dāng)當(dāng)不不等等式式，顯顯然然由由的的效效率率的的無無偏偏估估計(jì)

10、計(jì)量量為為稱稱定定義義TeTTeRCTgnIXTDgennnn, 1lim1).1()()()()(3 . 22 設(shè)總體設(shè)總體XN( , 2), , , 2均未知，又設(shè)均未知，又設(shè)X1, X2,.,Xn為總體為總體X 的樣本的樣本, , 則則 的無偏估計(jì)的無偏估計(jì) 是有效的是有效的, 2 的無偏的無偏估計(jì)估計(jì) 是漸近有效的。是漸近有效的。X2*S例例2.162.16 若總體若總體X ( ), 考慮未知參數(shù)考慮未知參數(shù) 的矩估計(jì)量為的矩估計(jì)量為的的有有效效性性。X 142.2.3 其它幾個(gè)準(zhǔn)則其它幾個(gè)準(zhǔn)則 （一）最小均方誤差準(zhǔn)則（一）最小均方誤差準(zhǔn)則 前述的最小方差性（有效性）只對無偏估計(jì)前述的

11、最小方差性（有效性）只對無偏估計(jì)而言，對有偏估計(jì)量無意義。而言，對有偏估計(jì)量無意義。 為使為使 與與 盡量接近，考慮盡量接近，考慮 稱稱均方誤差均方誤差由由 得到的估計(jì)量稱作得到的估計(jì)量稱作最小均方誤差估計(jì)量。最小均方誤差估計(jì)量。 對于無偏估計(jì)，均方誤差最小和方差最小是對于無偏估計(jì)，均方誤差最小和方差最小是一致的。一致的。2)()( EMse)(minMse15（二）相合性（相合估計(jì)量）相合性（相合估計(jì)量）定義定義2.4 設(shè)設(shè) 是是 的估計(jì)量的估計(jì)量， （即依概率收斂于即依概率收斂于）， 則稱則稱T是相合統(tǒng)計(jì)量是相合統(tǒng)計(jì)量。),.,(21nXXXTT )(g0| )(),.,(|lim, 02

12、1gXXXTPnn 實(shí)際應(yīng)用中，要求樣本信息量（即實(shí)際應(yīng)用中，要求樣本信息量（即n）較大，）較大，但給出了一種保證，即只要能夠獲取足夠的信息，但給出了一種保證，即只要能夠獲取足夠的信息，就一定能得到足夠精確的估計(jì)。就一定能得到足夠精確的估計(jì)。必必然然是是相相合合的的。是是有有效效的的，則則、若若是是相相合合的的。時(shí)時(shí)，的的方方差差趨趨于于當(dāng)當(dāng)貝貝雪雪夫夫不不等等式式、對對于于無無偏偏估估計(jì)計(jì)，由由切切TTTXXXTXXXTDgXXXTPnnn20),(),(| )(),(|12122121 16 設(shè)總體設(shè)總體X 的數(shù)學(xué)期望的數(shù)學(xué)期望與方差與方差2 2存在，存在，是是X的樣本，證明用的樣本，證明

13、用 估計(jì)估計(jì)時(shí)，時(shí)，n 是是一致估計(jì)量一致估計(jì)量nXXX, 21niinnXnX11 由大數(shù)定理可知，對于任意的由大數(shù)定理可知，對于任意的 ，有，有 所以所以 1)(liminnXEXP01limnnP 由極大似然法得到的估計(jì)量，在一定條件下也具有一致性由極大似然法得到的估計(jì)量，在一定條件下也具有一致性, ,這里就不再討論了這里就不再討論了 17 設(shè)正態(tài)總體設(shè)正態(tài)總體X 的數(shù)學(xué)期望的數(shù)學(xué)期望 與方差與方差 存在，存在，( )( )是是X 的樣本，試在形如的樣本，試在形如S2 (0)的統(tǒng)計(jì)量中確定的統(tǒng)計(jì)量中確定2 2的最小均方誤差估計(jì)的最小均方誤差估計(jì). .解解: :2nXXX,21 2222222222222222422421111(12(1)1ESE SnnE SnnnD Snnnnn2224,E SD S2n12(n1)n1)1nnESnn要使上式最小，利用一元二次式知識(shí)可知：要使上式最小，利用一元