參數(shù)估計(jì)白城師范學(xué)院課件

1、第六章 參數(shù)估計(jì) 6.1 點(diǎn)估計(jì)的幾種方法6.2 點(diǎn)估計(jì)的評(píng)價(jià)標(biāo)準(zhǔn)6.3 最小方差無(wú)偏估計(jì)6.4 貝葉斯估計(jì)6.5 區(qū)間估計(jì) 一般常用 表示參數(shù)，參數(shù) 所有可能取值組成的集合稱為參數(shù)空間，常用表示。參數(shù)估計(jì)問題就是根據(jù)樣本對(duì)上述各種未知參數(shù)作出估計(jì)。參數(shù)估計(jì)的形式有兩種：點(diǎn)估計(jì)與區(qū)間估計(jì)。設(shè) x1, x2, xn 是來(lái)自總體 X 的一個(gè)樣本，我們用一個(gè)統(tǒng)計(jì)量 的取值作為 的估計(jì)值， 稱為 的點(diǎn)估計(jì)（量），簡(jiǎn)稱估計(jì)。在這里如何構(gòu)造統(tǒng)計(jì)量 并沒有明確的規(guī)定，只要它滿足一定的合理性即可。這就涉及到兩個(gè)問題： 其一 是如何給出估計(jì)，即估計(jì)的方法問題； 其二 是如何對(duì)不同的估計(jì)進(jìn)行評(píng)價(jià)，即估 計(jì)的好壞判

2、斷標(biāo)準(zhǔn)。6.1 點(diǎn)估計(jì)的幾種方法 6.1.1 替換原理和矩法估計(jì) 一、矩法估計(jì) 替換原理是指用樣本矩及其函數(shù)去替換相應(yīng)的總體矩及其函數(shù)，譬如：用樣本均值估計(jì)總體均值E(X)，即 ；用樣本方差估計(jì)總體方差Var(X)，即用樣本的 p 分位數(shù)估計(jì)總體的 p 分位數(shù)，用樣本中位數(shù)估計(jì)總體中位數(shù)。 例6.1.1 對(duì)某型號(hào)的20輛汽車記錄其每加侖汽油的行駛里程(km)，觀測(cè)數(shù)據(jù)如下： 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 經(jīng)計(jì)算有 由此給出總體

3、均值、方差和中位數(shù)的估計(jì)分別為: 28.695, 0.9185 和 28.6。 矩法估計(jì)的實(shí)質(zhì)是用經(jīng)驗(yàn)分布函數(shù)去替換總體分布，其理論基礎(chǔ)是格里紋科定理。二、概率函數(shù)P(x,)已知時(shí)未知參數(shù)的矩法估計(jì) 設(shè)總體具有已知的概率函數(shù) P(x, 1, , k)， x1, x2 , , xn 是樣本，假定總體的k階原點(diǎn)矩k存在，若1, , k 能夠表示成 1, , k 的函數(shù)j = j(1, ,k)，則可給出諸j 的矩法估計(jì)為 其中例6.1.2 設(shè)總體服從指數(shù)分布，由于EX=1/， 即 =1/ EX，故 的矩法估計(jì)為 另外，由于Var(X)=1/2，其反函數(shù)為 因此，從替換原理來(lái)看，的矩法估計(jì)也可取為 s

4、 為樣本標(biāo)準(zhǔn)差。這說(shuō)明矩估計(jì)可能是不唯一的，這是矩法估計(jì)的一個(gè)缺點(diǎn)，此時(shí)通常應(yīng)該盡量采用低階矩給出未知參數(shù)的估計(jì)。例6.1.3 x1, x2, , xn是來(lái)自(a,b)上的均勻分布U(a,b)的樣本，a與b均是未知參數(shù)，這里k=2，由于 不難推出 由此即可得到a, b的矩估計(jì)：6.1.2 極(最)大似然估計(jì) 定義6.1.1 設(shè)總體的概率函數(shù)為P(x; )，是參數(shù) 可能取值的參數(shù)空間，x1, x2 , , xn 是樣本，將樣本的聯(lián)合概率函數(shù)看成 的函數(shù)，用L( ; x1, x2, , xn) 表示，簡(jiǎn)記為L(zhǎng)( )， 稱為樣本的似然函數(shù)。 如果某統(tǒng)計(jì)量 滿足 則稱 是 的極(最)大似然估計(jì)，簡(jiǎn)記為

5、MLE（Maximum Likelihood Estimate）。 人們通常更習(xí)慣于由對(duì)數(shù)似然函數(shù)lnL( )出發(fā)尋找 的極大似然估計(jì)。當(dāng)L( )是可微函數(shù)時(shí)，求導(dǎo)是求極大似然估計(jì)最常用的方法，對(duì)lnL( )求導(dǎo)更加簡(jiǎn)單些。例6.1.6 設(shè)一個(gè)試驗(yàn)有三種可能結(jié)果，其發(fā)生概率分別為 現(xiàn)做了n次試驗(yàn)，觀測(cè)到三種結(jié)果發(fā)生的次數(shù)分別為 n1 , n2 , n3 (n1+ n2+ n3 = n)，則似然函數(shù)為 其對(duì)數(shù)似然函數(shù)為將之關(guān)于 求導(dǎo)，并令其為0得到似然方程解之，得由于所以 是極大值點(diǎn)。例6.1.7 對(duì)正態(tài)總體N(, 2)，=(, 2)是二維參數(shù)，設(shè)有樣本 x1, x2 , , xn，則似然函數(shù)及

6、其對(duì)數(shù)分別為 將 lnL(, 2) 分別關(guān)于兩個(gè)分量求偏導(dǎo)并令其為0, 即得到似然方程組 (6.1.9) (6.1.10) 解此方程組，由(6.1.9)可得 的極大似然估計(jì)為 將之代入(6.1.10)，得出 2的極大似然估計(jì) 利用二階導(dǎo)函數(shù)矩陣的非正定性可以說(shuō)明上述估計(jì)使得似然函數(shù)取極大值。 雖然求導(dǎo)函數(shù)是求極大似然估計(jì)最常用的方法，但并不是在所有場(chǎng)合求導(dǎo)都是有效的。 例6.1.8 設(shè) x1, x2 , , xn 是來(lái)自均勻總體 U(0, )的樣本，試求 的極大似然估計(jì)。 解 似然函數(shù) 要使L( )達(dá)到最大，首先一點(diǎn)是示性函數(shù)取值應(yīng)該為1，其次是1/ n盡可能大。由于1/ n是的單調(diào)減函數(shù)，所

7、以 的取值應(yīng)盡可能小，但示性函數(shù)為1決定了 不能小于x(n)，由此給出的極大似然估計(jì)： 。 極大似然估計(jì)有一個(gè)簡(jiǎn)單而有用的性質(zhì)：如果 是 的極大似然估計(jì)，則對(duì)任一函數(shù) g( )，其極大似然估計(jì)為 。該性質(zhì)稱為極大似然估計(jì)的不變性，從而使一些復(fù)雜結(jié)構(gòu)的參數(shù)的極大似然估計(jì)的獲得變得容易了。 例6.1.9 設(shè) x1 , x2 , , xn是來(lái)自正態(tài)總體N( , 2) 的樣本，則和 2的極大似然估計(jì)為 ，于是由不變性可得如下參數(shù)的極大似然估計(jì)，它們是: 標(biāo)準(zhǔn)差 的MLE是 ；概率 的MLE是 ；總體0.90分位數(shù) x0.90= + u0.90 的MLE是 ，其中u0.90為標(biāo)準(zhǔn)正態(tài)分布的0.90分位數(shù)

8、。6.2 點(diǎn)估計(jì)的評(píng)價(jià)標(biāo)準(zhǔn) 6.2.1 相合性 我們知道，點(diǎn)估計(jì)是一個(gè)統(tǒng)計(jì)量，因此它是一個(gè)隨機(jī)變量，在樣本量一定的條件下，我們不可能要求它完全等同于參數(shù)的真實(shí)取值。但如果我們有足夠的觀測(cè)值，根據(jù)格里紋科定理，隨著樣本量的不斷增大，經(jīng)驗(yàn)分布函數(shù)逼近真實(shí)分布函數(shù)，因此完全可以要求估計(jì)量隨著樣本量的不斷增大而逼近參數(shù)真值，這就是相合性，嚴(yán)格定義如下。 定義6.2.1 設(shè) 為未知參數(shù)， 是 的一個(gè)估計(jì)量，n 是樣本容量，若對(duì)任何一個(gè)0，有 (6.2.1) 則稱 為 參數(shù)的相合估計(jì)。 相合性被認(rèn)為是對(duì)估計(jì)的一個(gè)最基本要求, 如果一個(gè)估計(jì)量, 在樣本量不斷增大時(shí)，它都不能把被估參數(shù)估計(jì)到任意指定的精度,

9、那么這個(gè)估計(jì)是很值得懷疑的。 通常, 不滿足相合性要求的估計(jì)一般不予考慮。證明估計(jì)的相合性一般可應(yīng)用大數(shù)定律或直接由定義來(lái)證. 若把依賴于樣本量n的估計(jì)量 看作一個(gè)隨機(jī)變量序列,相合性就是 依概率收斂于,所以證明估計(jì)的相合性可應(yīng)用依概率收斂的性質(zhì)及各種大數(shù)定律。在判斷估計(jì)的相合性時(shí)下述兩個(gè)定理是很有用的。定理6.2.1 設(shè) 是 的一個(gè)估計(jì)量，若 則 是 的相合估計(jì)，定理6.2.2 若 分別是1, , k 的相合估 計(jì)， =g(1 , , k) 是1, , k 的連續(xù)函數(shù)，則 是 的相合估計(jì)。例6.2.2 設(shè) x1, x2 , , xn 是來(lái)自均勻總體U(0, )的樣本，證明 的極大似然估計(jì)是相

10、合估計(jì)。證明：在例6.1.7中我們已經(jīng)給出 的極大似然估計(jì)是 x(n)。由次序統(tǒng)計(jì)量的分布，我們知道 x(n) 的分布密度函數(shù)為 p(y)=nyn-1/ n, y 1， 比 有效。這表明用全部數(shù)據(jù)的平均估計(jì)總體均值要比只使用部分?jǐn)?shù)據(jù)更有效。 例6.2.7 均勻總體U(0, )中 的極大似然估計(jì)是x(n)，由于 ，所以x(n)不是 的無(wú)偏估計(jì)，而是 的漸近無(wú)偏估計(jì)。經(jīng)過(guò)修偏后可以得到 的一個(gè)無(wú)偏估計(jì)： 。且 另一方面，由矩法我們可以得到 的另一個(gè)無(wú)偏估計(jì) ，且 由此，當(dāng)n1時(shí)， 比 有效。6.2.4 均方誤差 無(wú)偏估計(jì)不一定比有偏估計(jì)更優(yōu)。 評(píng)價(jià)一個(gè)點(diǎn)估計(jì)的好壞一般可以用：點(diǎn)估計(jì)值 與參數(shù)真值

11、的距離平方的期望，這就是下式給出的均方誤差 均方誤差是評(píng)價(jià)點(diǎn)估計(jì)的最一般的標(biāo)準(zhǔn)。我們希望估計(jì)的均方誤差越小越好。 注意到 ，因此 (1) 若 是 的無(wú)偏估計(jì)，則 ， 這說(shuō)明用方差考察無(wú)偏估計(jì)有效性是合理的。 (2) 當(dāng) 不是 的無(wú)偏估計(jì)時(shí)，就要看其均方 誤差 。 下面的例子說(shuō)明：在均方誤差的含義下有些有偏 估計(jì)優(yōu)于無(wú)偏估計(jì)。 例6.2.8 對(duì)均勻總體U(0, )，由 的極大似然估計(jì)得到的無(wú)偏估計(jì)是 ，它的均方誤差 現(xiàn)我們考慮的形如 的估計(jì)，其均方差為 用求導(dǎo)的方法不難求出當(dāng) 時(shí)上述均方誤差達(dá)到最小，且其均方誤差 所以在均方誤差的標(biāo)準(zhǔn)下，有偏估計(jì) 優(yōu)于無(wú)偏估計(jì) 。 6.3 最小方差無(wú)偏估計(jì) 6.

12、3.1 Rao-Blackwell定理 以下定理說(shuō)明：好的無(wú)偏估計(jì)都是充分統(tǒng)計(jì)量的函數(shù)。 定理6.3.2 設(shè)總體概率函數(shù)是 p(x, )， x1, x2 , , xn 是其樣本，T=T(x1, x2 , , xn )是 的充分統(tǒng)計(jì)量，則 對(duì) 的任一無(wú)偏估計(jì) ，令 ， 則 也是 的無(wú)偏估計(jì)，且 定理6.3.2說(shuō)明：如果無(wú)偏估計(jì)不是充分統(tǒng)計(jì) 量的函數(shù)，則將之對(duì)充分統(tǒng)計(jì)量求條件期 望可以得到一個(gè)新的無(wú)偏估計(jì)，該估計(jì)的 方差比原來(lái)的估計(jì)的方差要小，從而降低 了無(wú)偏估計(jì)的方差。換言之，考慮 的估 計(jì)問題只需要在基于充分統(tǒng)計(jì)量的函數(shù)中 進(jìn)行即可，該說(shuō)法對(duì)所有的統(tǒng)計(jì)推斷問題 都是正確的，這便是所謂的充分性原

13、則。 例6.3.1 設(shè) x1, x2 , , xn 是來(lái)自b(1, p)的樣本，則 是p 的充分統(tǒng)計(jì)量。為估計(jì) =p2，可令 由于 ，所以 是 的無(wú)偏估計(jì)。這個(gè)只使用了兩個(gè)觀測(cè)值的估計(jì)并不好.下面我們用Rao-Blackwell定理對(duì)之加以改進(jìn)：求 關(guān)于充分統(tǒng)計(jì)量 的條件期望，得6.3.2 最小方差無(wú)偏估計(jì) 定義6.3.1 對(duì)參數(shù)估計(jì)問題，設(shè) 是 的一個(gè)無(wú) 偏估計(jì)，如果對(duì)另外任意一個(gè) 的無(wú)偏估計(jì) ， 在參數(shù)空間上都有 則稱 是 的一致最小方差無(wú)偏估計(jì)，簡(jiǎn)記為 UMVUE。如果UMVUE存在，則它一定是充分 統(tǒng)計(jì)量的函數(shù)。 定理6.3.3 設(shè) x=(x1, x2 , , xn) 是來(lái)自某總體的一

14、個(gè)樣本， 是 的一個(gè)無(wú)偏估計(jì)， 如果對(duì)任意一個(gè)滿足E(x)=0的(x)，都有 則 是 的UMVUE。關(guān)于UMVUE，有如下一個(gè)判斷準(zhǔn)則。 例6.3.2 設(shè) x1,x2 ,xn 是來(lái)自指數(shù)分布Exp(1/ )的樣本，則T = x1+xn 是 的充分統(tǒng)計(jì)量，而 是 的無(wú)偏估計(jì)。設(shè) =(x1 , x2 , , xn)是0的任一無(wú)偏估計(jì)，則 兩端對(duì) 求導(dǎo)得 這說(shuō)明 ，從而 ，由定理6.3.3，它是 的UMVUE。 6.3.3 Cramer-Rao不等式 定義6.3.2 設(shè)總體的概率函數(shù) P(x, ), 滿足下列條件： (1) 參數(shù)空間是直線上的一個(gè)開區(qū)間； (2) 支撐 S=x: P(x, )0與 無(wú)

15、關(guān)； (3) 導(dǎo)數(shù) 對(duì)一切都存在； (4) 對(duì)P(x, )，積分與微分運(yùn)算可交換次序； (5) 期望 存在；則稱 為總體分布的費(fèi)希爾(Fisher) 信息量。 費(fèi)希爾信息量是數(shù)理統(tǒng)計(jì)學(xué)中一個(gè)基本概念，很多的統(tǒng)計(jì)結(jié)果都與費(fèi)希爾信息量有關(guān)。如極大似然估計(jì)的漸近方差，無(wú)偏估計(jì)的方差的下界等都與費(fèi)希爾信息量I( )有關(guān)。I( )的種種性質(zhì)顯示，“I( )越大”可被解釋為總體分布中包含未知參數(shù) 的信息越多。例6.3.3 設(shè)總體為泊松分布P()分布，則 于是例6.3.4 設(shè)總體為指數(shù)分布，其密度函數(shù)為 可以驗(yàn)證定義6.3.2的條件滿足，且 于是定理6.3.4（Cramer-Rao不等式） 設(shè)定義6.3.2

16、的條件滿足，x1, x2 , , xn 是來(lái)自該總體的樣本，T=T(x1, x2 , , xn )是g( )的任 一個(gè)無(wú)偏估計(jì)， 存在，且對(duì) 中一切 ，微分可在積分號(hào)下進(jìn)行，則有 上式稱為克拉美-羅（C-R）不等式; g()2/(nI( )稱為g( )的無(wú)偏估計(jì)的方差 的C-R下界，簡(jiǎn)稱g( )的C-R下界。 特別，對(duì) 的無(wú)偏估計(jì) ,有 ; 如果等號(hào)成立，則稱 T=T(x1, , xn) 是 g( )的有效估計(jì)，有效估計(jì)一定是UMVUE。例6.3.5 設(shè)總體分布列為p(x, )= x(1- )1-x, x=0,1，它滿足定義6.3.2的所有條件，可以算得該分布的費(fèi)希爾信息量為 ，若 x1, x

17、2, , xn 是該總體的樣本，則 的C-R下界為(nI( )-1= (1- )/n。因?yàn)?是 的無(wú)偏估計(jì)，且其方差等于 (1- )/n，達(dá)到C-R 下界，所以 是 的有效估計(jì)，它也是 的UMVUE。 例6.3.6 設(shè)總體為指數(shù)分布Exp(1/ )，它滿足定義6.3.2的所有條件，例6.3.4中已經(jīng)算出該分布的費(fèi)希爾信息量為I( ) = -2，若x1, x2, , xn 是樣本，則 的C-R下界為(nI( )-1= 2/n。而 是 的無(wú)偏估計(jì)，且其方差等于 2/n，達(dá)到了C-R下界，所以， 是 的有效估計(jì)，它也是 的UMVUE。能達(dá)到C-R下界的無(wú)偏估計(jì)不多:例6.3.7 設(shè)總體為N(0, 2

18、 )，滿足定義6.3.2的條件，且費(fèi)希爾信息量為 ，令 , 則 的C-R下界為 , 而 的UMVUE為 其方差大于C-R下界。這表明所有 的無(wú)偏估計(jì)的方差都大于其C-R下界。 費(fèi)希爾信息量的主要作用體現(xiàn)在極大似然估計(jì)。 定理6.3.5 設(shè)總體X有密度函數(shù) p(x; )， 為非退化區(qū)間，假定 (1) 對(duì)任意的x，偏導(dǎo)數(shù) ， 和 對(duì)所有都存在； (2) , 有 ， 其中函數(shù)F1(x) , F2(x), F3(x)可積. (3) , 若 x1, x2 , , xn 是來(lái)自該總體的樣本，則存在未知參數(shù) 的極大似然估計(jì) ，且 具有相合性和漸近正態(tài)性: 6.4 貝葉斯估計(jì) 6.4.1 統(tǒng)計(jì)推斷的基礎(chǔ) 經(jīng)典

19、學(xué)派的觀點(diǎn)：統(tǒng)計(jì)推斷是根據(jù)樣本信息對(duì)總體分布或總體的特征數(shù)進(jìn)行推斷，這里用到兩種信息：總體信息和樣本信息；貝葉斯學(xué)派的觀點(diǎn)：除了上述兩種信息以外，統(tǒng)計(jì)推斷還應(yīng)該使用第三種信息：先驗(yàn)信息。 （1）總體信息:總體分布提供的信息。（2）樣本信息:抽取樣本所得觀測(cè)值提供的信息。（3）先驗(yàn)信息:人們?cè)谠囼?yàn)之前對(duì)要做的問題在經(jīng) 驗(yàn)上和資料上總是有所了解的，這些信息對(duì) 統(tǒng)計(jì)推斷是有益的。先驗(yàn)信息即是抽樣（試 驗(yàn)）之前有關(guān)統(tǒng)計(jì)問題的一些信息。一般說(shuō) 來(lái)，先驗(yàn)信息來(lái)源于經(jīng)驗(yàn)和歷史資料。先驗(yàn) 信息在日常生活和工作中是很重要的。 基于上述三種信息進(jìn)行統(tǒng)計(jì)推斷的統(tǒng)計(jì)學(xué)稱為貝葉斯統(tǒng)計(jì)學(xué)。它與經(jīng)典統(tǒng)計(jì)學(xué)的差別就在于是否利

20、用先驗(yàn)信息。貝葉斯統(tǒng)計(jì)在重視使用總體信息和樣本信息的同時(shí)，還注意先驗(yàn)信息的收集、挖掘和加工，使它數(shù)量化，形成先驗(yàn)分布，參加到統(tǒng)計(jì)推斷中來(lái)，以提高統(tǒng)計(jì)推斷的質(zhì)量。忽視先驗(yàn)信息的利用，有時(shí)是一種浪費(fèi)，有時(shí)還會(huì)導(dǎo)出不合理的結(jié)論。 貝葉斯學(xué)派的基本觀點(diǎn)：任一未知量 都可看作隨機(jī)變量，可用一個(gè)概率分布去描述，這個(gè)分布稱為先驗(yàn)分布；在獲得樣本之后，總體分布、樣本與先驗(yàn)分布通過(guò)貝葉斯公式結(jié)合起來(lái)得到一個(gè)關(guān)于未知量 新的分布后驗(yàn)分布；任何關(guān)于 的統(tǒng)計(jì)推斷都應(yīng)該基于 的后驗(yàn)分布進(jìn)行。 6.4.2 貝葉斯公式的密度函數(shù)形式 總體依賴于參數(shù) 的概率函數(shù)在貝葉斯統(tǒng)計(jì)中記為P (x | )，它表示在隨機(jī)變量取某個(gè)給定值

21、時(shí)總體的條件概率函數(shù)； 根據(jù)參數(shù) 的先驗(yàn)信息可確定先驗(yàn)分布( )； 從貝葉斯觀點(diǎn)看，樣本 x1, x2 , , xn 的產(chǎn)生分兩步進(jìn)行:首先從先驗(yàn)分布( )產(chǎn)生一個(gè)樣本0，然后從P (x |0)中產(chǎn)生一組樣本。這時(shí)樣本的聯(lián)合條件概率函數(shù)為 ，這個(gè)分布綜合了總體信息和樣本信息； 0 是未知的，它是按先驗(yàn)分布( )產(chǎn)生的。為把先驗(yàn)信息綜合進(jìn)去，不能只考慮0，對(duì)的其它值發(fā)生的可能性也要加以考慮，故要用( )進(jìn)行綜合。這樣一來(lái)，樣本x1 , , xn和參數(shù) 的聯(lián)合分布為: h(x1, x2 , , xn, ) = p(x1, x2 , , xn )( )， 這個(gè)聯(lián)合分布把總體信息、樣本信息和先驗(yàn)信息三

22、種可用信息都綜合進(jìn)去了；在沒有樣本信息時(shí)，人們只能依據(jù)先驗(yàn)分布對(duì) 作出推斷。在有了樣本觀察值 x1, x2 , , xn 之后，則應(yīng)依據(jù) h(x1, x2 , , xn , )對(duì) 作出推斷。由于 h(x1,x2 ,xn , ) =( x1,x2 ,xn )m(x1,x2 ,xn)， 其中 是x1, x2 , , xn 的邊際概率函數(shù)，它與 無(wú)關(guān)，不含 的任何信息。因此能用來(lái)對(duì) 作出推斷的僅是條件分布( x1, x2 , , xn)，它的計(jì)算公式是 這個(gè)條件分布稱為 的后驗(yàn)分布，它集中了總體、樣本和先驗(yàn)中有關(guān) 的一切信息。 后驗(yàn)分布( x1, x2 , , xn )的計(jì)算公式就是用密度函數(shù)表示的

23、貝葉斯公式。它是用總體和樣本對(duì)先驗(yàn)分布( )作調(diào)整的結(jié)果，貝葉斯統(tǒng)計(jì)的一切推斷都基于后驗(yàn)分布進(jìn)行。 6.4.3 貝葉斯估計(jì) 基于后驗(yàn)分布( x1, x2 , , xn )對(duì) 所作的貝葉斯估計(jì)有多種，常用有如下三種：使用后驗(yàn)分布的密度函數(shù)最大值作為 的點(diǎn)估計(jì)，稱為最大后驗(yàn)估計(jì)；使用后驗(yàn)分布的中位數(shù)作為 的點(diǎn)估計(jì)，稱為后驗(yàn)中位數(shù)估計(jì)；使用后驗(yàn)分布的均值作為 的點(diǎn)估計(jì)，稱為后驗(yàn)期望估計(jì)。 用得最多的是后驗(yàn)期望估計(jì)，它一般也簡(jiǎn)稱為貝葉斯估計(jì)，記為 。 例6.4.2 設(shè)某事件A在一次試驗(yàn)中發(fā)生的概率為 ，為估計(jì) ，對(duì)試驗(yàn)進(jìn)行了n次獨(dú)立觀測(cè)，其中事件A發(fā)生了X次，顯然 X b(n, )，即 假若我們?cè)谠囼?yàn)

24、前對(duì)事件A沒有什么了解，從而對(duì)其發(fā)生的概率 也沒有任何信息。在這種場(chǎng)合，貝葉斯本人建議采用“同等無(wú)知”的原則使用區(qū)間（0,1）上的均勻分布U(0,1)作為 的先驗(yàn)分布，因?yàn)樗。?,1）上的每一點(diǎn)的機(jī)會(huì)均等。貝葉斯的這個(gè)建議被后人稱為貝葉斯假設(shè)。 由此即可利用貝葉斯公式求出 的后驗(yàn)分布。具體如下：先寫出X和 的聯(lián)合分布 然后求X的邊際分布 最后求出 的后驗(yàn)分布 最后的結(jié)果說(shuō)明 X Be(x+1,n-x+1)，其后驗(yàn)期望估計(jì)為 (6.4.4)某些場(chǎng)合，貝葉斯估計(jì)要比極大似然估計(jì)更合理一點(diǎn)。比如: “抽檢3個(gè)全是合格品”與“抽檢10個(gè)全是合格品”，后者的質(zhì)量比前者更信得過(guò)。這種差別在不合格品率的極

25、大似然估計(jì)中反映不出來(lái)（兩者都為0），而用貝葉斯估計(jì)兩者分別是 0.2 和 0.83。由此可以看到，在這些極端情況下，貝葉斯估計(jì)比極大似然估計(jì)更符合人們的理念。例6.4.3 設(shè)x1, x2 , , xn是來(lái)自正態(tài)分布N(,02)的一個(gè)樣本，其中02已知， 未知，假設(shè) 的先驗(yàn)分布亦為正態(tài)分布N( , 2)，其中先驗(yàn)均值和先驗(yàn)方差 2均已知，試求 的貝葉斯估計(jì)。解：樣本x的分布和 的先驗(yàn)分布分別為由此可以寫出x與 的聯(lián)合分布其中 ， 。若記則有 注意到A,B,C均與 無(wú)關(guān)，由此容易算得樣本的邊際密度函數(shù) 應(yīng)用貝葉斯公式即可得到后驗(yàn)分布 這說(shuō)明在樣本給定后， 的后驗(yàn)分布為 N(B/A,1/A)，即

26、后驗(yàn)均值即為其貝葉斯估計(jì)： 它是樣本均值 與先驗(yàn)均值 的加權(quán)平均。6.4.4 共軛先驗(yàn)分布 若后驗(yàn)分布( x)與( )屬于同一個(gè)分布族，則稱該分布族是 的共軛先驗(yàn)分布(族)。二項(xiàng)分布b(n, )中的成功概率 的共軛先驗(yàn)分布是貝塔分布Be(a,b)；泊松分布P( )中的均值 的共軛先驗(yàn)分布是伽瑪分布Ga(,)；在方差已知時(shí)，正態(tài)均值 的共軛先驗(yàn)分布是正態(tài)分布N(, 2);在均值已知時(shí)，正態(tài)方差 2的共軛先驗(yàn)分布是倒伽瑪分布IGa(,)。 6.5 區(qū)間估計(jì) 6.5.1 區(qū)間估計(jì)的概念 定義6.5.1 設(shè) 是總體的一個(gè)參數(shù)，其參數(shù)空間為，x1, x2 , , xn是來(lái)自該總體的樣本，對(duì)給定的一個(gè) (

27、0 1)，若有兩個(gè)統(tǒng)計(jì)量 和 ，若對(duì)任意的 ，有 （6.5.1） 則稱隨機(jī)區(qū)間 為 的置信水平為1- 的置信區(qū)間，或簡(jiǎn)稱 是 的1-置信區(qū)間. 和 分別稱為 的（雙側(cè)）置信下限和置信上限. 這里置信水平1- 的含義是指在大量使用該置信區(qū)間時(shí)，至少有100(1-)%的區(qū)間含有 。 例6.5.1 設(shè)x1, x2 , , x10是來(lái)自N(, 2)的樣本，則 的置信水平為1- 的置信區(qū)間為 其中， ,s 分別為樣本均值和樣本標(biāo)準(zhǔn)差。這個(gè)置信區(qū)間的由來(lái)將在6.5.3節(jié)中說(shuō)明，這里用它來(lái)說(shuō)明置信區(qū)間的含義。 若取 =0.10，則t0.95(9)=1.8331，上式化為 現(xiàn)假定 =15, 2 =4，則我們可

28、以用隨機(jī)模擬方法由N(15,4)產(chǎn)生一個(gè)容量為10的樣本，如下即是這樣一個(gè)樣本：14.85 13.01 13.50 14.93 16.97 13.80 17.9533 13.37 16.29 12.38 由該樣本可以算得 從而得到 的一個(gè)區(qū)間估計(jì)為 該區(qū)間包含 的真值-15?，F(xiàn)重復(fù)這樣的方法 100次，可以得到100個(gè)樣本，也就得到100個(gè)區(qū) 間，我們將這100個(gè)區(qū)間畫在圖6.5.1上。 由圖6.5.1可以看出，這100個(gè)區(qū)間中有91個(gè)包含參數(shù)真值15，另外9個(gè)不包含參數(shù)真值。 圖6.5.1 的置信水平為0.90的置信區(qū)間 取=0.50，我們也可以給出100個(gè)這樣的區(qū)間，見圖6.5.2?？梢钥?/p>

29、出，這100個(gè)區(qū)間中有50個(gè)包含參數(shù)真值15，另外50個(gè)不包含參數(shù)真值。 圖6.5.2 的置信水平為0.50的置信區(qū)間 定義6.5.2 沿用定義6.5.1的記號(hào)，如對(duì)給定的 (0 1)，對(duì)任意的，有 （6.5.2） 稱 為 的1- 同等置信區(qū)間。 同等置信區(qū)間是把給定的置信水平1- 用足了。常在總體為連續(xù)分布場(chǎng)合下可以實(shí)現(xiàn)。 定義 若對(duì)給定的 (0 1)和任意的，有 ，則稱 為 的置信水平為1- 的（單側(cè)）置信下限。假如等號(hào)對(duì)一切成立，則稱 為 的1- 同等置信下限。若對(duì)給定的 (0 1)和任意的，有 ,則稱 為 的置信水平為1- 的（單側(cè)）置信上限。若等號(hào)對(duì)一切成立，則稱 為1- 同等置信上

30、限。 單側(cè)置信限是置信區(qū)間的特殊情形。因此，尋求置信區(qū)間的方法可以用來(lái)尋找單側(cè)置信限。 6.5.2 樞軸量法 構(gòu)造未知參數(shù) 的置信區(qū)間的最常用的方法是樞軸量法，其步驟可以概括為如下三步：1. 設(shè)法構(gòu)造一個(gè)樣本和 的函數(shù) G=G(x1, x2 , , xn, ) 使得G的分布不依賴于未知參數(shù)。一般稱具有這種性質(zhì)的G為樞軸量。 2. 適當(dāng)?shù)剡x擇兩個(gè)常數(shù)c,d，使對(duì)給定的 (0 1) 有P(cGd)=1- 3. 假如能將cG d 進(jìn)行不等式等價(jià)變形化為 則 ， 是 的1- 同等置信區(qū)間。 關(guān)于置信區(qū)間的構(gòu)造有兩點(diǎn)說(shuō)明： 滿足置信度要求的c與d通常不唯一。若有可能，應(yīng)選平均長(zhǎng)度 達(dá)到最短的c與d，這在

31、G的分布為對(duì)稱分布場(chǎng)合通常容易實(shí)現(xiàn)。 實(shí)際中，選平均長(zhǎng)度 盡可能短的c與d，這往往很難實(shí)現(xiàn)，因此，常這樣選擇 c與d，使得兩個(gè)尾部概率各為 /2，即P(Gd)= /2，這樣的置信區(qū)間稱為等尾置信區(qū)間。這是在G的分布為偏態(tài)分布場(chǎng)合常采用的方法。 例6.5.2 設(shè)x1, x2 , , xn是來(lái)自均勻總體U(0, )的一個(gè)樣本，試對(duì)給定的 (0 1)給出 的1- 同等置信區(qū)間。 解:（1）取x(n)作為樞軸量，其密度函數(shù)為p(y; )= nyn ， 0y 1； （2）x(n) / 的分布函數(shù)為F(y)=yn, 0y 1，故P(cx(n)/ d)= d n-cn， 因此我們可以適當(dāng)?shù)剡x擇c和d滿足d

32、n-cn=1-（3）利用不等式變形可容易地給出 的1-同等置信區(qū)間為x(n) /d，x(n) /c，該區(qū)間的平均長(zhǎng)度為 。不難看出，在0cd1及dn-cn=1- 的條件下，當(dāng)d=1, c= 時(shí)， 取得最小值，這說(shuō)明 是 的置信水平1- 為最短置信區(qū)間。 6.5.3 單個(gè)正態(tài)總體參數(shù)的置信區(qū)間 一、 已知時(shí) 的置信區(qū)間 在這種情況下，樞軸量可選為 ，c和d應(yīng)滿足P(cGd)=(d)-(c)= 1-，經(jīng)過(guò)不等式變形可得 該區(qū)間長(zhǎng)度為 。當(dāng)d=-c=u1-/2時(shí)，d-c達(dá)到最小，由此給出了的同等置信區(qū)間為 ， 。 （6.5.8） 這是一個(gè)以 為中心，半徑為 的對(duì)稱區(qū)間，常將之表示為 。例6.5.3

33、用天平秤某物體的重量9次，得平均值為 （克），已知天平秤量結(jié)果為正態(tài)分布，其標(biāo)準(zhǔn)差為0.1克。試求該物體重量的0.95置信區(qū)間。解：此處1- =0.95， =0.05，查表知u0.975=1.96，于是該物體重量 的0.95置信區(qū)間為 ， 從而該物體重量的0.95置信區(qū)間為 15.3347，15.4653。 例6.5.4 設(shè)總體為正態(tài)分布N(,1)，為得到 的置信水平為0.95的置信區(qū)間長(zhǎng)度不超過(guò)1.2，樣本容量應(yīng)為多大？解：由題設(shè)條件知 的0.95置信區(qū)間為 其區(qū)間長(zhǎng)度為 ，它僅依賴于樣本容量n而與樣本具體取值無(wú)關(guān)?，F(xiàn)要求 ，立即有n(2/1.2)2u21-/2.現(xiàn)1- = 0.95，故u1

34、-/2=1.96，從而n(5/3)2 1.962 = 10.6711。即樣本容量至少為11時(shí)才能使得 的置信水平為0.95的置信區(qū)間長(zhǎng)度不超過(guò)1.2。 二、 2未知時(shí) 的置信區(qū)間 這時(shí)可用t 統(tǒng)計(jì)量，因?yàn)?，因此 t 可以用來(lái)作為樞軸量。完全類似于上一小節(jié)，可得到 的1-置信區(qū)間為 此處 是 2的無(wú)偏估計(jì)。 例6.5.5 假設(shè)輪胎的壽命服從正態(tài)分布。為估計(jì)某種輪胎的平均壽命，現(xiàn)隨機(jī)地抽12只輪胎試用，測(cè)得它們的壽命（單位：萬(wàn)公里）如下：4.68 4.85 4.32 4.85 4.61 5.025.20 4.60 4.58 4.72 4.38 4.70 此處正態(tài)總體標(biāo)準(zhǔn)差未知，可使用t分布求均值

35、的置信區(qū)間。經(jīng)計(jì)算有 =4.7092，s2=0.0615。取 =0.05，查表知t0.975(11)=2.2010，于是平均壽命的0.95置信區(qū)間為（單位：萬(wàn)公里） 在實(shí)際問題中，由于輪胎的壽命越長(zhǎng)越好，因此可以只求平均壽命的置信下限，也即構(gòu)造單邊的置信下限。由于 由不等式變形可知 的1-置信下限為 將t0.95(11)=1.7959代入計(jì)算可得平均壽命 的0.95置信下限為4.5806（萬(wàn)公里）。 三、 2的置信區(qū)間 取樞軸量 ，由于 2分布是偏態(tài)分布，尋找平均長(zhǎng)度最短區(qū)間很難實(shí)現(xiàn)，一般都用等尾置信區(qū)間：采用 2的兩個(gè)分位數(shù) 2 /2(n-1) 和21- /2(n-1)，在 2分布兩側(cè)各截面

36、積為/2的部分， 使得 由此給出 2的1-置信區(qū)間為 例6.5.6 某廠生產(chǎn)的零件重量服從正態(tài)分布N(, 2)，現(xiàn)從該廠生產(chǎn)的零件中抽取9個(gè)，測(cè)得其重量為（單位：克）45.3 45.4 45.1 45.3 45.5 45.7 45.4 45.3 45.6 試求總體標(biāo)準(zhǔn)差 的0.95置信區(qū)間。解：由數(shù)據(jù)可算得 s2 =0.0325，(n-1)s2=80325=0.26. 查表知 2 0.025(8) =2.1797，20.975(8)=17.5345， 代入可得 2的0.95置信區(qū)間為 從而 的0.95置信區(qū)間為: 0.1218，0.3454。 在樣本容量充分大時(shí)，可以用漸近分布來(lái)構(gòu)造近似的置信

37、區(qū)間。一個(gè)典型的例子是關(guān)于比例p 的置信區(qū)間。6.5.4 大樣本置信區(qū)間 設(shè)x1, xn是來(lái)自b(1, p)的樣本,有 對(duì)給定 ， ，通過(guò)變形，可得到置信區(qū)間為 其中記= u21-/2，實(shí)用中通常略去/n項(xiàng)，于是可將置信區(qū)間近似為例6.5.7 對(duì)某事件A作120次觀察，A發(fā)生36次。試給出事件A發(fā)生概率p 的0.95置信區(qū)間。解：此處n=120， =36/120=0.3 而u0.975=1.96，于是p的0.95（雙側(cè)）置信下限和上限分別為 故所求的置信區(qū)間為 0.218，0.382例6.5.8 某傳媒公司欲調(diào)查電視臺(tái)某綜藝節(jié)目收視率p，為使得 p 的1-置信區(qū)間長(zhǎng)度不超過(guò)d0，問應(yīng)調(diào)查多少用戶？ 解：這是關(guān)于二點(diǎn)分布比例p的置信區(qū)間問題，由（6.5.11）知，1-的置信區(qū)間長(zhǎng)度為 這是一個(gè)隨機(jī)變量，但由于 ，所以對(duì)任意的觀測(cè)值有 。這也就