點(diǎn)估計(jì)的優(yōu)良性

1、點(diǎn)估計(jì)的優(yōu)良性1點(diǎn)估計(jì)的優(yōu)良性 對于未知參數(shù) ，我們前面講了兩種估計(jì)方法：矩估計(jì)和極大似然估計(jì)。一般來講，用這兩種估計(jì)方法得到的估計(jì)量是不一樣的，那么這里就有一個(gè)優(yōu)劣問題。判斷一個(gè)估計(jì)量的優(yōu)劣一般有三種標(biāo)準(zhǔn)：一、無偏性二、有效性三、相合性（一致性）2一、無偏性 定義3.1設(shè) 為參數(shù) 的一個(gè)估計(jì)量，若 ，則稱 為 的一個(gè)無偏估計(jì)量，否則稱 是有偏的。如果 ，則稱 為 的漸進(jìn)無偏估計(jì)。3 無偏性是對估計(jì)量的最基本要求。其含義為當(dāng)一個(gè)無偏估計(jì)量被多次使用時(shí)，其估計(jì)值在未知參數(shù)附近波動，且這些估計(jì)值的理論平均值等于該未知參數(shù)。 由第二個(gè)例題可以看出，一個(gè)參數(shù)的無偏估計(jì)可能不惟一，此時(shí)用無偏性來評價(jià)這些

2、估計(jì)量已經(jīng)失效，需要引入其他評價(jià)標(biāo)準(zhǔn)。4二、有效性與有效估計(jì)量 無偏性只是估計(jì)量的一個(gè)評價(jià)標(biāo)準(zhǔn)，當(dāng)無偏估計(jì)不惟一時(shí)，我們應(yīng)當(dāng)考慮另外的評價(jià)標(biāo)準(zhǔn)，有效性就是其中一個(gè)。定義3.2設(shè)總體 服從某種分布 ， 為未知參數(shù)， 是來自總體 的樣本，若 與 都是 的無偏估計(jì)，且對一切 ，都有 ，則稱 比 有效。也就是說，在 的無偏估計(jì)中，方差越小越有效。5 一個(gè)參數(shù)的無偏估計(jì)的方差可不可以任意少，或者說是否有一個(gè)下界？為了回答該問題，我們需要對總體的分布做一些假設(shè)。正則性條件：設(shè)總體 的概率密度函數(shù)為 ，其中參數(shù) 未知， 關(guān)于 可導(dǎo)，且 的取值與 的非零區(qū)域無關(guān)，即 與 無關(guān)。 是來自總體 的樣本。為了將問題

3、一般化，我們考慮 的函數(shù) 的無偏估計(jì)量 的方差，其中 關(guān)于 可導(dǎo)。 6T必須滿足特別地，若取 ，則上式為其中 稱為參數(shù) 的信息量。7定義3.3 如果 的無偏估計(jì) 達(dá)到了羅-克拉美不等式的下界，即則稱T為 的有效估計(jì)量。其實(shí)，羅-克拉美不等式所規(guī)定的下界不是整個(gè)無偏估計(jì)的下界，而是無偏估計(jì)類中的一個(gè)子集-正規(guī)無偏估計(jì)類的方差下限。定義3.4 設(shè)T為 的一個(gè)無偏估計(jì)量，稱為T的有效率。 8 為了下面計(jì)算的方便，我們給出信息量 的另一種表示法。 性質(zhì) 本節(jié)前面的推導(dǎo)以及例題均假設(shè)總體X為連續(xù)隨即變量，其實(shí)，羅-克拉美不等式以及有效估計(jì)量的定義對離散型的總體也是成立的。9定理3.3 設(shè)總體 的概率函數(shù)

4、或概率密度函數(shù) 關(guān)于 可導(dǎo)，其中 為未知參數(shù)，且 與 無關(guān)， 是來自總體 的樣本。如果其中 與 只與 有關(guān)。則為 的無偏有效估計(jì)量。10三、相合估計(jì)（一致估計(jì)）我們不僅希望一個(gè)估計(jì)量是無偏的，且具有較小的方差，還希望當(dāng)樣本容量n無限大時(shí)，估計(jì)量能在某種意義下收斂于被估計(jì)的參數(shù)值，這就是所謂的相合性（或一致性）的要求。定義3.5 設(shè) 是未知參數(shù) 的估計(jì)序列，如果 依概率收斂于 ，即對任意 ，有則稱 是 的相合估計(jì)或一致估計(jì)。11 相合性是對估計(jì)量的一個(gè)基本要求。一個(gè)相合估計(jì)量意味著，只要樣本容量n足夠大，就可以保證估計(jì)誤差達(dá)到任意給定的精度。如果一個(gè)估計(jì)量不是相合估計(jì)，則它就不是一個(gè)好的估計(jì)量，

5、在應(yīng)用中往往不予考慮。定理3.4 設(shè) 是 的一個(gè)無偏估計(jì)，若且則 是 的相合估計(jì)。12四、充分統(tǒng)計(jì)量 統(tǒng)計(jì)推斷都是從樣本出發(fā)，在具體的推斷過程中，都是通過統(tǒng)計(jì)量 ，來進(jìn)行的。通俗地講，統(tǒng)計(jì)量 是對樣本 的一個(gè)“加工”或壓縮（其維數(shù)由n降為k），其目的是為了“去粗取精”，使之形式更加簡單，使用更加方便。例如，樣本均值與樣本方差 ， ， ；這是經(jīng)常用到的統(tǒng)計(jì)量，是一個(gè)2維向量，而通常樣本容量n要大得多。自然要問，通過壓縮或降維以后的統(tǒng)計(jì)量 來推斷總體與通過原有樣本X來推斷總體，其效果是否一樣？即是否會損失有用的信息？如果效果一樣，信息未受到任何損失，則該統(tǒng)計(jì)量就稱為充分統(tǒng)計(jì)量。充分統(tǒng)計(jì)量是Fish

6、er于1922年提出來的，這是統(tǒng)計(jì)學(xué)中非常重要的概念，因?yàn)樗粨p失信息地把n維樣本簡化成k維統(tǒng)計(jì)量（通常k比n小很多），在此基礎(chǔ)上進(jìn)行統(tǒng)計(jì)推斷要簡單方便得多。 13定義3.6 設(shè)總體X具有分布函數(shù) ， 是來自總體X的樣本， 為一個(gè)統(tǒng)計(jì)量。當(dāng)給定T=t時(shí)，若樣本 的條件分布與參數(shù) 無關(guān)，則稱T為 的充分統(tǒng)計(jì)量。定義中樣本 的分布與 無關(guān)，意味著在給定T=t時(shí)，樣本的剩余部分不再包含 的信息。也就是說在T中包含 的全部信息。這正是充分統(tǒng)計(jì)量的含義。14定理3.5 Neyman-Fisher(因子分解定理)設(shè)總體X的概率函數(shù)或概率密度函數(shù)為 ，其中參數(shù) 未知。一個(gè)統(tǒng)計(jì)量 為 的充分統(tǒng)計(jì)量的充要條件為樣本 的聯(lián)