第六專(zhuān)題點(diǎn)估計(jì)的優(yōu)良性

第六專(zhuān)題點(diǎn)估計(jì)的優(yōu)良性第一頁(yè)，共二十九頁(yè)，編輯于2023年，星期四點(diǎn)估計(jì)的優(yōu)良性前面學(xué)習(xí)了四種點(diǎn)估計(jì)方法：矩估計(jì)、極大似然估計(jì)法、貝葉斯估計(jì)法和最小二乘法。我們注意到，用這幾種點(diǎn)估計(jì)方法得到的估計(jì)量可能不唯一，那么這里就有一個(gè)優(yōu)劣問(wèn)題。判斷一個(gè)估計(jì)量的優(yōu)劣一般有三種標(biāo)準(zhǔn)：一、無(wú)偏性二、有效性三、相合性（一致性）第二頁(yè)，共二十九頁(yè)，編輯于2023年，星期四一、無(wú)偏性

定義1設(shè)為參數(shù)的一個(gè)估計(jì)量，若，則稱為的一個(gè)無(wú)偏估計(jì)量，否則稱是有偏的。如果，則稱為的漸進(jìn)無(wú)偏估計(jì)。第三頁(yè)，共二十九頁(yè)，編輯于2023年，星期四

無(wú)偏性是對(duì)估計(jì)量的最基本要求。其含義為當(dāng)一個(gè)無(wú)偏估計(jì)量被多次使用時(shí)，其估計(jì)值在未知參數(shù)附近波動(dòng)，且這些估計(jì)值的理論平均值等于該未知參數(shù)。第四頁(yè)，共二十九頁(yè)，編輯于2023年，星期四第五頁(yè)，共二十九頁(yè)，編輯于2023年，星期四第六頁(yè)，共二十九頁(yè)，編輯于2023年，星期四第七頁(yè)，共二十九頁(yè)，編輯于2023年，星期四由以上例題可以看出，無(wú)偏估計(jì)可以不唯一，需要引進(jìn)新的評(píng)價(jià)標(biāo)準(zhǔn)，常用的有有效性。第八頁(yè)，共二十九頁(yè)，編輯于2023年，星期四二、有效性與有效估計(jì)量

無(wú)偏性只是估計(jì)量的一個(gè)評(píng)價(jià)標(biāo)準(zhǔn)，當(dāng)無(wú)偏估計(jì)不惟一時(shí)，我們應(yīng)當(dāng)考慮另外的評(píng)價(jià)標(biāo)準(zhǔn)，有效性就是其中一個(gè)。定義2設(shè)總體服從某種分布，為未知參數(shù)，是來(lái)自總體的樣本，若

與都是的無(wú)偏估計(jì)，且對(duì)一切，都有，則稱比有效。也就是說(shuō)，在的無(wú)偏估計(jì)中，方差越小越有效。第九頁(yè)，共二十九頁(yè)，編輯于2023年，星期四第十頁(yè)，共二十九頁(yè)，編輯于2023年，星期四第十一頁(yè)，共二十九頁(yè)，編輯于2023年，星期四

一個(gè)參數(shù)的無(wú)偏估計(jì)的方差可不可以任意少，或者說(shuō)是否有一個(gè)下界？為了回答該問(wèn)題，我們需要對(duì)總體的分布做一些假設(shè)。正則性條件：設(shè)總體的概率密度函數(shù)為，其中參數(shù)未知，關(guān)于可導(dǎo)，且的取值與的非零區(qū)域無(wú)關(guān)，即與無(wú)關(guān)。是來(lái)自總體的樣本。為了將問(wèn)題一般化，我們考慮的函數(shù)的無(wú)偏估計(jì)量的方差，其中關(guān)于可導(dǎo)。第十二頁(yè)，共二十九頁(yè)，編輯于2023年，星期四第十三頁(yè)，共二十九頁(yè)，編輯于2023年，星期四第十四頁(yè)，共二十九頁(yè)，編輯于2023年，星期四第十五頁(yè)，共二十九頁(yè)，編輯于2023年，星期四（**）式稱為Rao-Cramer不等式。（勞-克拉美）該不等式給出了參數(shù)的無(wú)偏估計(jì)的方差下界，同時(shí)說(shuō)明參數(shù)的無(wú)偏估計(jì)的方差不可能無(wú)限小。第十六頁(yè)，共二十九頁(yè)，編輯于2023年，星期四定義3如果的無(wú)偏估計(jì)達(dá)到了羅-克拉美不等式的下界，即則稱T為的有效估計(jì)量。其實(shí)，羅-克拉美不等式所規(guī)定的下界不是整個(gè)無(wú)偏估計(jì)的下界，而是無(wú)偏估計(jì)類(lèi)中的一個(gè)子集-----正規(guī)無(wú)偏估計(jì)類(lèi)的方差下限。定義4設(shè)T為的一個(gè)無(wú)偏估計(jì)量，稱為T(mén)的有效率。

第十七頁(yè)，共二十九頁(yè)，編輯于2023年，星期四信息量的另一種表示法。性質(zhì)

第十八頁(yè)，共二十九頁(yè)，編輯于2023年，星期四例題講解P74-75第十九頁(yè)，共二十九頁(yè)，編輯于2023年，星期四第二十頁(yè)，共二十九頁(yè)，編輯于2023年，星期四定理3設(shè)總體的概率函數(shù)或概率密度函數(shù)關(guān)于可導(dǎo)，其中為未知參數(shù)，且與無(wú)關(guān)，是來(lái)自總體的樣本。如果其中與只與有關(guān)。則為的無(wú)偏有效估計(jì)量。第二十一頁(yè)，共二十九頁(yè)，編輯于2023年，星期四例題P76-77第二十二頁(yè)，共二十九頁(yè)，編輯于2023年，星期四三、相合估計(jì)（一致估計(jì)）我們不僅希望一個(gè)估計(jì)量是無(wú)偏的，且具有較小的方差，還希望當(dāng)樣本容量n無(wú)限增大時(shí)，估計(jì)量能在某種意義下收斂于被估計(jì)的參數(shù)值，這就是所謂的相合性（或一致性）的要求。定義5設(shè)是未知參數(shù)的估計(jì)序列，如果依概率收斂于，即對(duì)任意，有則稱是的相合估計(jì)或一致估計(jì)。第二十三頁(yè)，共二十九頁(yè)，編輯于2023年，星期四相合性是對(duì)估計(jì)量的一個(gè)基本要求。一個(gè)相合估計(jì)量意味著，只要樣本容量n足夠大，就可以保證估計(jì)誤差達(dá)到任意給定的精度。如果一個(gè)估計(jì)量不是相合估計(jì)，則它就不是一個(gè)好的估計(jì)量，在應(yīng)用中往往不予考慮。定理4設(shè)是的一個(gè)無(wú)偏估計(jì)，若且則是的相合估計(jì)。第二十四頁(yè)，共二十九頁(yè)，編輯于2023年，星期四第二十五頁(yè)，共二十九頁(yè)，編輯于2023年，星期四第二十六頁(yè)，共二十九頁(yè)，編輯于2023年，星期四四、充分統(tǒng)計(jì)量統(tǒng)計(jì)推斷都是從樣本出發(fā)，在具體的推斷過(guò)程中，都是通過(guò)統(tǒng)計(jì)量，來(lái)進(jìn)行的。通俗地講，統(tǒng)計(jì)量是對(duì)樣本的一個(gè)“加工”或壓縮（其維數(shù)由n降為k），其目的是為了“去粗取精”，使之形式更加簡(jiǎn)單，使用更加方便。例如，樣本均值與樣本方差，，；這是經(jīng)常用到的統(tǒng)計(jì)量，是一個(gè)2維向量，而通常樣本容量n要大得多。自然要問(wèn)，通過(guò)壓縮或降維以后的統(tǒng)計(jì)量來(lái)推斷總體與通過(guò)原有樣本X來(lái)推斷總體，其效果是否一樣？即是否會(huì)損失有用的信息？如果效果一樣，信息未受到任何損失，則該統(tǒng)計(jì)量就稱為充分統(tǒng)計(jì)量。充分統(tǒng)計(jì)量是Fisher于1922年提出來(lái)的，這是統(tǒng)計(jì)學(xué)中非常重要的概念，因?yàn)樗粨p失信息地把n維樣本簡(jiǎn)化成k維統(tǒng)計(jì)量（通常k比n小很多），在此基礎(chǔ)上進(jìn)行統(tǒng)計(jì)推斷要簡(jiǎn)單方便得多。第二十七頁(yè)，共二十九頁(yè)，編輯于2023年，星期四定義3.6設(shè)總體X具有分布函數(shù)，是來(lái)自總體X的樣本，為一個(gè)統(tǒng)計(jì)量。當(dāng)給定T=t時(shí)，若樣本的條件分布與參數(shù)無(wú)關(guān)，則稱T為的充分統(tǒng)計(jì)量。定義中樣本的分布與無(wú)關(guān)，意味著在給定T=t時(shí)，樣本的剩余部分不再包含的信息。也就是說(shuō)在T中包含的全部信息。這正是充分統(tǒng)計(jì)量的含義。第二十八頁(yè)，共二十九頁(yè)，編輯于2023年，星期四定理3.5Neyman-Fisher(因子分解定理)設(shè)總體X的概率函數(shù)或概率密度函數(shù)為，其中參數(shù)未知。一個(gè)統(tǒng)計(jì)量為的充分統(tǒng)計(jì)量的充要條件為樣本的聯(lián)合概率函數(shù)或聯(lián)合概率密度函數(shù)可以分解為其中