學(xué)習(xí)數(shù)理統(tǒng)計(jì)6

1、2022/8/13 2:50/ 2216.4 最小方差無(wú)偏估計(jì)6.4.1 均方誤差6.4.2 一致最小方差無(wú)偏估計(jì)6.4.3 充分性原則6.4.4 Cramer- Rao不等式2022/8/13 2:50/ 2226.4.1 均方誤差(mean squared error)很多有偏估計(jì)量具有相合性和漸近正態(tài)性，而且其漸近有效性不比無(wú)偏估計(jì)差，由于在樣本容量不是很大時(shí)，我們更傾向于使用基于小樣本的評(píng)價(jià)標(biāo)準(zhǔn)，因此需要定義一個(gè)適合有偏估計(jì)量的小樣本評(píng)價(jià)標(biāo)準(zhǔn)。稱估計(jì)量 與參數(shù)真值的偏差平方的期望為 的均方誤差，并記為對(duì)于一個(gè)估計(jì)量，均方誤差越小估計(jì)的效果越好，均方誤差越大估計(jì)的效果越差。設(shè)為一個(gè)一維的

2、未知參數(shù)，我們用估計(jì)量 來(lái)估計(jì)，對(duì)于一次使用來(lái)講，得到的估計(jì)值 與真值之間有偏差 -，我們希望這種偏差盡可能小。由于偏差是隨機(jī)變量，因此不能由一次使用時(shí)偏差的大小來(lái)判斷估計(jì)的優(yōu)劣。而應(yīng)該根據(jù)多次重復(fù)使用的“平均偏差”來(lái)判斷。為了避免在求平均時(shí)正負(fù)偏差相互抵消，我們用偏差平方的平均值來(lái)衡量估計(jì)量的優(yōu)劣。由大數(shù)定律可知，這個(gè)平均值在重復(fù)次數(shù)m時(shí)幾乎處處收斂于偏差平方的期望。2022/8/13 2:50/ 223對(duì)無(wú)偏估計(jì)均方誤差的性質(zhì)accuracy精確度precision精密度2022/8/13 2:50/ 224例6.4.1 比無(wú)偏估計(jì)好的有偏估計(jì)對(duì)均勻總體U(0, )，由 的最大似然估計(jì)得到

3、的無(wú)偏估計(jì)是 , 它的均方誤差 現(xiàn)我們考慮的形如 的估計(jì)，其均方差為 用求導(dǎo)的方法不難求出當(dāng) 時(shí)上述均方誤差達(dá)到最小，且其均方誤差 2022/8/13 2:50/ 225一致最小均方誤差估計(jì)設(shè)有樣本 ，對(duì)待估參數(shù)，設(shè)有一個(gè)估計(jì)類，稱 是該估計(jì)類中的一致最小均方誤差估計(jì)，如果對(duì)該估計(jì)類中另外任意一個(gè)的估計(jì) , 在參數(shù)空間上都有定義 6.4.1一致最小均方誤差估計(jì)的概念必須與某個(gè)確定的估計(jì)類相聯(lián)系。2022/8/13 2:50/ 2266.4.2 一致最小方差無(wú)偏估計(jì)則稱 為 的一致最小方差無(wú)偏估計(jì)，簡(jiǎn)記為UMVUE。也可簡(jiǎn)記為UMVU估計(jì)，也稱為最佳無(wú)偏估計(jì)。定義 6.4.2 對(duì)參數(shù)估計(jì)問(wèn)題，設(shè)

4、 是 的一個(gè)無(wú)偏估計(jì)，如果對(duì)另外任意一個(gè) 的無(wú)偏估計(jì) ，在參數(shù)空間上都有關(guān)于UMVUE，有如下一個(gè)判斷準(zhǔn)則。 2022/8/13 2:50/ 227定理6.4.1(判斷UMVU估計(jì)的零無(wú)偏估計(jì)法)設(shè) x =( ) 是來(lái)自某總體的一個(gè)樣本， 是 的一個(gè)無(wú)偏估計(jì)， 。則 是 的一個(gè)UMVU估計(jì)的充要條件是，對(duì)任意一個(gè)滿足 E(x) = 0 和Var(x)的統(tǒng)計(jì)量 (x) (稱之為0的無(wú)偏估計(jì))，都有：2022/8/13 2:50/ 228例6.4.2設(shè) 是來(lái)自指數(shù)分布Exp(1/ )的樣本， , 則 是 的UMVUE。在例6.1.6中，我們比較了均勻分布U( 0 ,)中的兩個(gè)無(wú)偏估計(jì) 。若充分統(tǒng)計(jì)

5、量和UMVU估計(jì)都存在，那么UMVU估計(jì)一定是充分統(tǒng)計(jì)量的函數(shù)。 2022/8/13 2:50/ 2296.4.3 充分性原則定理6.4.2說(shuō)明：當(dāng)存在充分統(tǒng)計(jì)量時(shí)，如果無(wú)偏估計(jì)不是充分統(tǒng)計(jì)量的函數(shù)，則將之對(duì)充分統(tǒng)計(jì)量求條件期望可以得到一個(gè)新的無(wú)偏估計(jì)，該估計(jì)的方差比原來(lái)的無(wú)偏估計(jì)量的方差要小，從而降低了無(wú)偏估計(jì)量的方差。換言之，考慮 的估計(jì)問(wèn)題只需要在基于充分統(tǒng)計(jì)量的函數(shù)中進(jìn)行即可，該說(shuō)法對(duì)所有的統(tǒng)計(jì)推斷問(wèn)題都是正確的，這便是所謂的充分性原則。定理6.4.2 設(shè)總體概率函數(shù)是p(x;)， 是其樣本， 是的充分統(tǒng)計(jì)量，則對(duì)的任一無(wú)偏估計(jì) ，令 ，則 也是的無(wú)偏估計(jì)，且 好的無(wú)偏估計(jì)都是充分統(tǒng)計(jì)

6、量的函數(shù)2022/8/13 2:50/ 2210例6.4.3設(shè) 是來(lái)自b(1,p)的樣本，則 是 p 的充分統(tǒng)計(jì)量。為估計(jì) ，可令由于 ，所以 是 的無(wú)偏估計(jì)。這個(gè)只使用了兩個(gè)觀測(cè)值的估計(jì)并不好。下面我們用定理6.4.2對(duì)之加以改進(jìn)：求 關(guān)于充分統(tǒng)計(jì)量 的條件期望，得：其中 ，可以驗(yàn)證， 是 的無(wú)偏估計(jì)，且2022/8/13 2:50/ 2211習(xí)題 6.4.4設(shè) X1, ,Xn IID ，則 和 分別為 和 的UMVU 估計(jì)。由例6.1.6可知，在均勻分布U(0,)中，作為總體均值=/2的無(wú)偏估計(jì)，樣本均值 不如 有效。但在正態(tài)總體 中，作為總體均的無(wú)偏估計(jì)，樣本均值 卻是UMVU估計(jì)。這說(shuō)

7、明一個(gè)估計(jì)量的好壞不僅取決于估計(jì)量本身，還要看總體的統(tǒng)計(jì)模型。實(shí)際上，還可以更進(jìn)一步證明 為總體均值=/2的UMVU估計(jì)。2022/8/13 2:50/ 22126.4.4 克拉美-羅(Cramer-Rao)不等式定義 6.4.3 設(shè)總體分布的概率涵數(shù) 滿足以下正則條件則稱為總體分布的費(fèi)希爾(Fisher)信息量。費(fèi)希爾信息量是統(tǒng)計(jì)中的一個(gè)基本概念，很多統(tǒng)計(jì)結(jié)果與它有關(guān)。I()的種種性質(zhì)顯示，“I()越大”可被解釋為總體分布中包含未知參數(shù) 的信息越多。當(dāng)為多維時(shí)，可類似地定義費(fèi)希爾信息矩陣2022/8/13 2:50/ 2213例6.4.5設(shè)總體分布為指數(shù)分布，其密度函數(shù)為求總體分布的Fish

8、er信息量。設(shè)總體分布為泊松分布P()，其分布列為求總體分布的Fisher信息量。例6.4.4兩個(gè)例子2022/8/13 2:50/ 2214信息等式則若分布的概率涵數(shù)還滿足正則條件2022/8/13 2:50/ 2215信息矩陣等式當(dāng)為多維時(shí)，類似有正則條件(6)和信息矩陣等式(6) 存在，且 稱為對(duì)數(shù)似然的海森 (Hessian)矩陣。稱為對(duì)數(shù)似然的得分(Score)向量；2022/8/13 2:50/ 2216定理6.3.4 (Cramer- Rao不等式)稱這個(gè)不等式為克拉美羅(Cramer-Rao)不等式，簡(jiǎn)稱為C-R不等式。不等式的右邊稱為g( )的C-R下界。 若一個(gè)g()的無(wú)偏

9、估計(jì)的方差能達(dá)到C-R下界，則稱它為g()的有效估計(jì)。顯然，有效估計(jì)一定是UMVU估計(jì)。顯然當(dāng) g() 時(shí)，C-R不等式簡(jiǎn)化為設(shè)定義6.3.2的條件滿足， 是來(lái)自該總體的樣本，T=T( ) 是g( )的任一個(gè)無(wú)偏估計(jì)， 存在，且對(duì)中一切 ，對(duì)的微分可在積分號(hào)下進(jìn)行(對(duì)離散總體，積分應(yīng)改為求和)。則有 Harald Cramr (18931985)C. R. Rao(1920- )2022/8/13 2:50/ 2217多維參數(shù)C-R不等式當(dāng)為多維時(shí)，類似有多維參數(shù)C-R不等式2022/8/13 2:50/ 2218多維參數(shù)C-R不等式(續(xù))則對(duì)g()的任一無(wú)偏估計(jì)量 均有顯然當(dāng) g() 時(shí)，C

10、-R不等式簡(jiǎn)化為其中2022/8/13 2:50/ 2219樣本的費(fèi)希爾信息2022/8/13 2:50/ 2220例 6.4.6設(shè)總體分布列為 , x =0,1它滿足定義6.3.2的所有條件，可以算得該分布的費(fèi)希爾信息量為 ，若X1,Xn是該總體的樣本，則 的C-R下界為(nI( )-1=(1- )/n 。因?yàn)?的無(wú)偏估計(jì) 的方差等于(1- )/n ，達(dá)到 的C-R 下界，所以 是 的有效估計(jì)，它也是UMVU估計(jì)量。2022/8/13 2:50/ 2221例 6.4.7設(shè)總體為指數(shù)分布Exp(1/ )，它滿足定義6.3.2的所有條件，例6.3.4中已經(jīng)算出該分布的費(fèi)希爾信息量為I( )= -2 。若X1,Xn是樣本，則 的C-R下界為(nI( )-1= 2/n 。 而 是 的無(wú)偏估計(jì)，且其方差等于 2/n ，達(dá)到了 的C-R下界，所以， 是 的有效估計(jì)，它也是 的UMVU估計(jì)量。