《數據科學統(tǒng)計基礎（第二版）》 課件 第二章 參數估計

參數估計第二章第2章參數估計點估計與無偏性PART2.12.1點估計與無偏性定義2.1.1

2.1點估計與無偏性定義2.1.1參數通常指如下幾種，它們都可以表示為總體概率分布的函數，記為??=??(??)或??=??(??)。分布中所含的未知常數;分布中的期望、方差、標準差、分位數等特征數;某事件的概率等。一個參數的估計量常不止一個，如何評價其優(yōu)劣性呢？常用的評價標準有多個，如無偏性、有效性、均方誤差最小與相合性。本節(jié)先講無偏性，其他幾個評價標準以后再作介紹。2.1點估計與無偏性定義2.1.2

2.1點估計與無偏性定義2.1.2圖2.1.12.1點估計與無偏性定義2.1.2

2.1點估計與無偏性例2.1.1

2.1點估計與無偏性例2.1.1

2.1點估計與無偏性

2.1點估計與無偏性表2.1.1正態(tài)標準差的修偏系數表第2章參數估計矩估計與相合性PART2.22.2矩估計與相合性2.2.1矩估計矩估計是一種具體的尋找點估計的方法,它的基本思想是“替代”，具體是:用樣本矩(即矩統(tǒng)計量)估計總體矩。用樣本矩的函數估計總體矩的相應函數。2.2矩估計與相合性2.2.1矩估計這里的矩可以是各階原點矩,也可以是各階中心矩。這一思想是英國統(tǒng)計學家皮爾遜

(K.Pearson)在1900年提出的。該思想合理,方法簡單,使用方便,只要總體矩存在的場合都可使用。該思想后人稱為矩法,

所得估計稱為矩估計。2.2矩估計與相合性例2.2.1

2.2矩估計與相合性例2.2.1

2.2矩估計與相合性例2.2.2

2.2矩估計與相合性例2.2.3設樣本X1,X2,···,Xn來自正態(tài)總體N(μ,σ2),μ與σ未知，求p=P(X<1)的估計。2.2矩估計與相合性解

2.2矩估計與相合性

2.2矩估計與相合性2.2.2相合性2.2矩估計與相合性定義2.2.1

2.2矩估計與相合性定義2.2.1

2.2矩估計與相合性

2.2矩估計與相合性定理2.2.1（辛欽大數定律）

2.2矩估計與相合性定理2.2.2

2.2矩估計與相合性定理2.2.2證

2.2矩估計與相合性

2.2矩估計與相合性故有由τ的任意性,定理得證。

2.2矩估計與相合性例2.2.4

2.2矩估計與相合性例2.2.4

最大似然估計與漸近正態(tài)性PART2.32.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計定義2.3.1

2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計例2.3.1

設X=(X1，X2，···，Xn)是來自二點分布??(1，??)的一個樣本，其中諸Xi非0即1，??∈[0，1]是成功概率，該樣本的聯(lián)合分布為：2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計圖2.3.1成功概率??的似然函數2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計

對其求導，并令導函數為零可得對數似然方程，在本例中

2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計

2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計例2.3.2設某機床加工的軸的直徑與圖紙規(guī)定的尺寸的偏差服從N(μ，σ2)，

其中μ，σ2未知。為估計μ與σ2，

從中隨機抽取n=100根軸，測得其偏差為X1，X2，···，X100。試求μ，σ2的最大似然估計。2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計

解

2.寫出對數似然函數：

2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計3.分別對

μ與

σ2求偏導，并令它們都為0，得到對數似然方程為：解

2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計

2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計例2.3.3設X=(X1，X2，···，Xn)是來自均勻分布U(0，θ)的一個樣本，求

θ的MLE2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計

解其中X(n)是樣本的最大次序統(tǒng)計量。圖2.3.2均勻分布U(0，θ)中θ的似然函數2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計這里并不能使用一階條件求函數極值，因此使用MLE的定義求θ的MLE。

2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計

為了說明這一點，我們可求得最大次序統(tǒng)計量X(n)的密度函數：2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計

可見，同一參數的無偏估計不止一個，它們的進一步比較將在下一節(jié)討論。2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計例2.3.4設X=(X1，X2，···，Xn)是來自均勻分布U(θ，θ+1)的一個樣本，其中θ可為任意實數，現(xiàn)要尋求θ

的MLE。2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計

解該似然函數在其不為零的區(qū)域上是常數，只要??不超過X(1)或??+1不小于X(n)都可使??(??)達到極大，即

2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計例2.3.5它有兩個參數，μ可取任意實數，稱為位置參數；σ>0稱為尺度參數。

現(xiàn)要求μ與σ的MLE。設X=(X1，X2，···，Xn)是來自雙參數指數分布exp(μ，σ)的一個樣本，該分布的密度函數為：

2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計先寫出μ與σ的似然函數，在非零區(qū)域上有解

這雖是在固定σ下尋求μ的最大值，但沒有具體規(guī)定σ的值。

即σ為任意值時μ的MLE都為X(1)。

2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計

解此對數似然方程，可得σ的MLE為：這是因為對任意的μ與σ，有

2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計例2.3.6

2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計由二元正態(tài)密度函數可以寫出σ2與ρ的似然函數：解

2.3最大似然估計與漸近正態(tài)性2.3.1最大似然估計經驗證，它們確實使似然函數L(σ2，ρ)達到最大值，

故它們分別是σ2與ρ的MLE。解之可得

2.3最大似然估計與漸近正態(tài)性2.3.2最大似然估計的不變原理定理2.3.1(不變原理)

2.3最大似然估計與漸近正態(tài)性2.3.2最大似然估計的不變原理例2.3.7某產品生產現(xiàn)場有多臺設備，設備故障的維修時間T服從對數正態(tài)分布LN(μ，σ2)。現(xiàn)在一周內共發(fā)生24次故障，其維修時間t(單位：

分)為：平均維修時間μT

與維修時間的標準差σT

的MLE?？赏瓿?5%故障的維修時間t0.95(0.95分位數)的MLE。1228125475853368851110407564115485260728710555826665求2.3最大似然估計與漸近正態(tài)性這個問題的一般提法是：設t1，t2，···，tn是來自對數正態(tài)分布LN(μ，σ2)的一個樣本，現(xiàn)要對其均值μT、標準差σT和0.95分位數t0.95分別給出MLE。解2.3.2最大似然估計的不變原理（1）對數正態(tài)分布LN(μ，σ2)的均值和方差分別為：若能獲得μ與σ2的MLE，由不變原理立即可得μT與σT的MLE。

2.3最大似然估計與漸近正態(tài)性2.3.2最大似然估計的不變原理當T～LN(μ，σ2)時，有X=lnT～N(μ，σ2)。

由此可知，lnt1，lnt2，···，lntn是來自正態(tài)分布

N(μ，σ2)的一個樣本，由此可得μ與σ2的MLE分別為(見例2.3.2)：

2.3最大似然估計與漸近正態(tài)性2.3.2最大似然估計的不變原理從而可得對數正態(tài)分布的均值μT與方差σT2的MLE分別為：這表明，該生產現(xiàn)場設備的平均維修時間約為68分鐘，維修時間的標準差約為26分鐘。

2.3最大似然估計與漸近正態(tài)性2.3.2最大似然估計的不變原理（2）為了給出t0.95的MLE，我們先對對數正態(tài)分布LN(μ，σ2)的p

分位數tp

給出一般表達式，記維修時間T的

的分布函數為F(t)，則有

2.3最大似然估計與漸近正態(tài)性2.3.2最大似然估計的不變原理

2.3最大似然估計與漸近正態(tài)性2.3.2最大似然估計的不變原理例2.3.8設某電子設備的壽命（從開始工作到首次發(fā)生故障的連續(xù)工作時間，單位：小時）服從指數分布exp(λ)。現(xiàn)任取15臺進行壽命試驗，按規(guī)定到第7臺發(fā)生故障時試驗停止，所得7個壽命數據為：500 1350 2130 2500 3120 3500 3800這是一個不完全樣本，常稱為定數截尾樣本，現(xiàn)要對其尋求平均壽命θ=1/λ的MLE。2.3最大似然估計與漸近正態(tài)性

解2.3.2最大似然估計的不變原理

2.3最大似然估計與漸近正態(tài)性2.3.2最大似然估計的不變原理其中，p

與F

分別為指數分布的密度函數與分布函數代入后，略去與參數無關的量，即得λ的似然函數

2.3最大似然估計與漸近正態(tài)性2.3.2最大似然估計的不變原理

用微分法可得對數似然方程

2.3最大似然估計與漸近正態(tài)性2.3.2最大似然估計的不變原理在本例中，n=15，r=7，t(r)=3800，首先算得總試驗時間由此可得平均壽命(單位：小時)的MLE

為:

2.3最大似然估計與漸近正態(tài)性2.3.3最大似然估計的漸近正態(tài)性定義2.3.2

或依分布收斂符號L

記為:

2.3最大似然估計與漸近正態(tài)性2.3.3最大似然估計的漸近正態(tài)性

2.3最大似然估計與漸近正態(tài)性2.3.3最大似然估計的漸近正態(tài)性例2.3.9

2.3最大似然估計與漸近正態(tài)性2.3.3最大似然估計的漸近正態(tài)性或

2.3最大似然估計與漸近正態(tài)性2.3.3最大似然估計的漸近正態(tài)性例2.3.10

前面已經指出：

2.3最大似然估計與漸近正態(tài)性2.3.3最大似然估計的漸近正態(tài)性

2.3最大似然估計與漸近正態(tài)性2.3.3最大似然估計的漸近正態(tài)性則由中心極限定理知

或

考慮到n/(n?1)→1，又有有

2.3最大似然估計與漸近正態(tài)性2.3.3最大似然估計的漸近正態(tài)性這表明

S2

是σ2的漸近正態(tài)估計，其漸近方差為2σ4/n。綜上所述，有

2.3最大似然估計與漸近正態(tài)性2.3.3最大似然估計的漸近正態(tài)性定理2.3.2

則有下述三個結論成立：

2.3最大似然估計與漸近正態(tài)性2.3.3最大似然估計的漸近正態(tài)性定理2.3.3設p(x;θ)是某密度函數，其參數空間Θ={θ}是直線上的非退化區(qū)間，假如：（1）對一切θ∈Θ，p=p(x;θ)對θ的如下偏導數都存在（2）對一切θ∈Θ，有成立，其中F1(x)與F2(x)在實數軸上可積，而H(x)滿足這里M與θ無關。

2.3最大似然估計與漸近正態(tài)性2.3.3最大似然估計的漸近正態(tài)性定理2.3.3（3）對一切θ∈Θ，有

其中，I(θ)稱為費希爾信息量，有時還簡稱信息量。

2.3最大似然估計與漸近正態(tài)性2.3.3最大似然估計的漸近正態(tài)性定義2.3.3

2.3最大似然估計與漸近正態(tài)性2.3.3最大似然估計的漸近正態(tài)性例2.3.11求二點分布b(1,θ)參數

θ的費希爾信息量，其分布列為:

2.3最大似然估計與漸近正態(tài)性2.3.3最大似然估計的漸近正態(tài)性解可以驗證，二點分布屬于Cramer-Rao正則族。為求其費希爾信息量，要進行如下運算:

2.3最大似然估計與漸近正態(tài)性2.3.3最大似然估計的漸近正態(tài)性例2.3.12設X1,X2,···,Xn是來自正態(tài)總體N(μ,σ2)的一個樣本，可以驗證，正態(tài)分布屬于Cramer-Rao正則族。

2.3最大似然估計與漸近正態(tài)性2.3.3最大似然估計的漸近正態(tài)性

從而

2.3最大似然估計與漸近正態(tài)性2.3.3最大似然估計的漸近正態(tài)性在已知μ的條件下,σ的MLE是

而??的費希爾信息量的計算如下:

從而

2.3最大似然估計與漸近正態(tài)性2.3.4EM算法MLE是一種非常有效的參數估計方法，但當分布中有多余參數或數據為截尾或缺失時，其MLE的求取是比較困難的。于是Dempster等于1977年提出了EM算法，其出發(fā)點是把求MLE的過程分兩步走。第一步求期望，以便把多余的部分去掉；第二步求最大值。2.3最大似然估計與漸近正態(tài)性2.3.4EM算法Dempster等人建議如下分兩步進行迭代求解首先，人為設一個θ的初值

θ(0)第一步(也稱E-步)，在已知觀測數據y和第i步估計值θ(i)條件下，求基于完全數據的對數似然函數(關于潛在變量z)的期望，稱為Q函數：

第二步(也稱M-步)，求Q(θ|y,θ(i))關于θ的最大值，記錄對應的θ值進行更新:

??重復以上兩步，直到收斂即可得到θ的MLE。2.3最大似然估計與漸近正態(tài)性2.3.4EM算法

EM算法是一種引入潛在變量的方法,相比于其他同類方法,如缺失數據填補法等,EM算法較為簡單和穩(wěn)定,原因是每次迭代會使似然函數增大或達到局部極值(參考2.3.4節(jié))EM算法只能保證收斂到一個穩(wěn)定點,并不能保證其能夠達到全局最優(yōu).2.3最大似然估計與漸近正態(tài)性2.3.4EM算法例2.3.13設一次試驗可能有4個結果，發(fā)生的概率分別為1/2?θ/4，(1?θ)/4，(1+θ)/4，θ/4，θ∈(0,1)?，F(xiàn)進行了197次試驗，四種結果的發(fā)生次數分別為75,18,70,34,試求θ的MLE。2.3最大似然估計與漸近正態(tài)性以y1，y2，y3，y4

表示四種結果發(fā)生的次數，此時總體分布為多項分布，

其似然函數為我們可以通過最大化對數似然函數的方式求解θ的MLE。

2.3.4EM算法2.3最大似然估計與漸近正態(tài)性EM算法通過引入兩個潛在變量

z1,z2后，通過迭代計算方式求解。假設第一種結果可以分成兩個部分，發(fā)生的概率分別為(1?θ)/4和?，令z1和y1?z1分別表示落入這兩部分的次數；再假設第三種結果也分成兩部分，發(fā)生的概率分別為θ/4和1/4，令z2和y3?z2分別表示落入這兩部分的次數，z1,z2是不可觀測的。也稱(y,z)是完全數據，而只有觀測數據y時稱為不完全數據。此時完全數據的似然函數用Lc表示：2.3.4EM算法2.3最大似然估計與漸近正態(tài)性2.3.4EM算法

其對數似然為

然而此時由于z1

和z2

未知，上式無法直接求解，但我們注意到，當給定y，θ已知時，

2.3最大似然估計與漸近正態(tài)性2.3.4EM算法對于本例，可得到

所以

又知

所以

取θ(0)=0.5，則13次迭代后可求得θ的MLE為0.6067。2.3最大似然估計與漸近正態(tài)性定理2.3.4

2.3.4EM算法2.3最大似然估計與漸近正態(tài)性證

2.3.4EM算法2.3最大似然估計與漸近正態(tài)性上式兩邊求z在(Y,θ=θ(i))已知條件下的期望有2.3.4EM算法

(2.3.2)(2.3.2)式分別取θ=θ(i)和θ(i+1)，得

(2.3.3)(2.3.4)2.3最大似然估計與漸近正態(tài)性2.3.4EM算法(2.3.4)–(2.3.3)得

2.3最大似然估計與漸近正態(tài)性2.3.4EM算法例2.3.14給定數據X是n行p列的矩陣，每一行是一個樣本點，每一列是一個變量，我們的目標是根據列變量的取值對樣本點進行聚類，假定一共有K類。

在EM聚類方法中假定每一行觀測有一個潛在的(未觀測到的)指標向量Zi=(Zi1,Zi2,···,ZiK)，其中Zik=0或1，并且K個中只有一個等于1。如果Zik=1，那么表明第i個樣本點屬于第k類。向量Zi

服從多項分布，概率分布列為(π1,π2,···,πK)。2.3最大似然估計與漸近正態(tài)性

2.3.4EM算法2.3最大似然估計與漸近正態(tài)性2.3.4EM算法本例所要估計的參數為(μk,Σk,πk),k=1,...,K.EM算法步驟如下:首先，數據(X,Z)的完全似然函數可以寫成：完全對數似然函數為:(2.3.5)

2.3最大似然估計與漸近正態(tài)性2.3.4EM算法為了得到該問題的Q函數，需要計算給定Xi時Zi的期望，也就是要得到如下概率值P(Zik=1|Xi)。根據全概率公式，有所以將(2.3.5)式Zik替換為γ(Zik)，即為Q函數。

(2.3.6)2.3最大似然估計與漸近正態(tài)性2.3.4EM算法

EM算法的參數估計步驟如下:最小方差無偏估計PART2.42.4最小方差無偏估計2.4.1無偏估計的有效性

圖2.4.1θ的兩個無偏估計的密度函數示意圖2.4最小方差無偏估計2.4.1無偏估計的有效性因而，我們可以用估計量的方差去衡量兩個無偏估計的好壞，從而引入無偏估計有效性的標準。2.4最小方差無偏估計2.4.1無偏估計的有效性定義2.4.1

例2.4.1

2.4最小方差無偏估計2.4.1無偏估計的有效性2.4最小方差無偏估計2.4.1無偏估計的有效性例2.4.2

2.4最小方差無偏估計2.4.2有偏估計的均方誤差準則定義2.4.2

2.4最小方差無偏估計2.4.2有偏估計的均方誤差準則

例2.4.3

2.4最小方差無偏估計2.4.2有偏估計的均方誤差準則n

2.4最小方差無偏估計2.4.2有偏估計的均方誤差準則

2.4最小方差無偏估計2.4.2有偏估計的均方誤差準則以下數據是在n=10時算得的:表2.4.1三個估計的偏差平方、方差與均方誤差

00.22220.22220.010.18000.19000.03300.14880.18182.4最小方差無偏估計

2.4.2有偏估計的均方誤差準則表2.4.1可以對三個估計的優(yōu)劣作出評價2.4最小方差無偏估計2.4.3一致最小方差無偏估計例2.4.4

2.4最小方差無偏估計定義2.4.3假如參數的無偏估計存在，則稱此參數為可估參數。可估參數g（θ）

的無偏估計可能只有一個，也可能有多個。

在有多個無偏估計的場合，常用其方差作為進一步選擇的指標。2.4.3一致最小方差無偏估計2.4最小方差無偏估計定義2.4.4

2.4.3一致最小方差無偏估計2.4最小方差無偏估計定理2.4.1

2.4.3一致最小方差無偏估計證2.4.3一致最小方差無偏估計

2.4最小方差無偏估計證2.4.3一致最小方差無偏估計

2.4最小方差無偏估計2.4最小方差無偏估計2.4.3一致最小方差無偏估計例2.4.5

2.4最小方差無偏估計2.4.3一致最小方差無偏估計例2.4.5

2.4最小方差無偏估計定理2.4.2

2.4.3一致最小方差無偏估計之前的定理是驗證性的，加下來介紹構造UMVUE的方法

證2.4.3一致最小方差無偏估計

所以2.4最小方差無偏估計

證2.4.3一致最小方差無偏估計故得

2.4最小方差無偏估計2.4最小方差無偏估計例2.4.6

2.4.3一致最小方差無偏估計2.4最小方差無偏估計例2.4.62.4.3一致最小方差無偏估計

2.4最小方差無偏估計定義2.4.5

2.4.4完備性及其應用2.4最小方差無偏估計例2.4.7

2.4.4完備性及其應用2.4最小方差無偏估計

2.4.4完備性及其應用

2.4最小方差無偏估計

2.4.4完備性及其應用2.4最小方差無偏估計

2.4.4完備性及其應用2.4最小方差無偏估計一些結論簡單隨機樣本的聯(lián)合分布族總是不完備的指數型分布族，其充分統(tǒng)計量都是完備的次序統(tǒng)計量是完備的2.4.4完備性及其應用2.4最小方差無偏估計定理2.4.3

2.4.4完備性及其應用

證2.4.4完備性及其應用2.4最小方差無偏估計2.4最小方差無偏估計

2.4.4完備性及其應用證2.4最小方差無偏估計例2.4.8

2.4.4完備性及其應用

解2.4.4完備性及其應用2.4最小方差無偏估計

解2.4.4完備性及其應用2.4最小方差無偏估計考慮到諸X1,X2,···,Xn是相互獨立的，且X2+X3+···+Xn服從參數為(n?1)λ的泊松分布，所以2.4.4完備性及其應用2.4最小方差無偏估計

2.4.4完備性及其應用2.4最小方差無偏估計

2.4最小方差無偏估計例2.4.9某廠生產一種產品，這種產品包裝好后按一定數量放在盒子里。在檢驗產品時，檢驗員從每個盒子里隨機選出一個容量為n的樣本，并逐個檢查每個樣品的質量。假如樣本中有2個或更多個不合格品，那么這一盒被認為是不合格品，退回工廠，而工廠要求質檢員把每盒查出的廢品通報廠方。2.4.4完備性及其應用2.4最小方差無偏估計例2.4.9

2.4.4完備性及其應用2.4最小方差無偏估計例2.4.9

2.4.4完備性及其應用2.4最小方差無偏估計例2.4.9

2.4.4完備性及其應用2.4最小方差無偏估計例2.4.9

2.4.4完備性及其應用2.4最小方差無偏估計例2.4.9

2.4.4完備性及其應用2.4最小方差無偏估計例2.4.9

2.4.4完備性及其應用例2.4.102.4最小方差無偏估計尋求二點分布b（1，p）的可估參數p（1?p）的UMVUE。2.4.4完備性及其應用使用求解方程的方法直接尋找UMVUE

解2.4.4完備性及其應用2.4最小方差無偏估計nt=0nt=0t=0n-1t=1n

比較左右兩端的系數可得p（1?p）的UMVUE為：2.4最小方差無偏估計2.4.4完備性及其應用解

例2.4.112.4最小方差無偏估計

2.4.4完備性及其應用

解2.4.4完備性及其應用2.4最小方差無偏估計

2.4.4完備性及其應用2.4最小方差無偏估計C-R不等式PART2.52.5C-R不等式定理2.5.1

(2.5.1)2.5C-R不等式定理2.5.1證因為樣本是簡單樣本，又記

由于

2.5C-R不等式定理2.5.1證所以

2.5C-R不等式定理2.5.1再利用協(xié)方差性質（即施瓦茲不等式）

將上述結果代回原式，即得C-R不等式。2.5C-R不等式定義2.5.1

2.5C-R不等式例2.5.1

2.5C-R不等式例2.5.2設X1,X2,···,Xn

是取自正態(tài)總體N(0,σ2)的一個樣本，可以驗證，正態(tài)分布族{N(0,σ2):σ>0}是C-R正則分布族。下面來求參數g(σ2)=σ2的C-R下界，由于

2.5C-R不等式利用E(x2k)=σ2k(2k?1)(2k?3)···1，可算得費希爾信息量

2.5C-R不等式

,都是σ2

的無偏估計，其方差分別為：,

2.5C-R不等式

2.5C-R不等式例2.5.3

2.5C-R不等式

置信區(qū)間PART2.62.6置信區(qū)間2.6.1置信區(qū)間概念定義2.6.1

1.區(qū)間估計及其置信度與置信系數2.6置信區(qū)間2.6.1置信區(qū)間概念定義2.6.1注1：從上述定義可知，構造一個未知參數的區(qū)間估計并不難。

一個參數的區(qū)間估計可以給出多種，但要給出一個好的區(qū)間估計需要有豐富的統(tǒng)計思想和熟練的統(tǒng)計技巧。注2：當置信度所示概率與參數θ無關時，置信度就是置信系數,以后我們將努力尋求置信度與θ無關的區(qū)間估計。注3：上述定義中區(qū)間估計用閉區(qū)間給出，也可用開區(qū)間或半開區(qū)間給出，由實際需要而定。1.區(qū)間估計及其置信度與置信系數2.6置信區(qū)間2.6.1置信區(qū)間概念例2.6.1它的置信度可用t分布算得，具體如下：

1.區(qū)間估計及其置信度與置信系數2.6置信區(qū)間2.6.1置信區(qū)間概念

例2.6.1由于t分布只依賴于其自由度n?1，而不依賴于未知參數μ與σ,所以用

t分布算得的置信度就是置信系數。在n=20，對k=1,2,3可算出其置信系數如下：其中：

1.區(qū)間估計及其置信度與置信系數例2.6.12.6置信區(qū)間2.6.1置信區(qū)間概念正態(tài)均值μ的三個區(qū)間估計的置信系數一個比一個高，第三個區(qū)間的置信系數達到0.99。

1.區(qū)間估計及其置信度與置信系數

2.6置信區(qū)間2.6.1置信區(qū)間概念例2.6.1其中：現(xiàn)轉入考察這三個區(qū)間估計的平均長度由式(2.6.1)可知，

其平均長度為：

1.區(qū)間估計及其置信度與置信系數

2.6置信區(qū)間2.6.1置信區(qū)間概念例2.6.1由此可得平均長度為：

利用伽瑪分布可算得

1.區(qū)間估計及其置信度與置信系數在保證置信系數的前提下，盡量縮短置信區(qū)間平均長度。2.6置信區(qū)間2.6.1置信區(qū)間概念定義2.6.2

2.置信區(qū)間2.6置信區(qū)間2.6.1置信區(qū)間概念

2.置信區(qū)間2.6置信區(qū)間2.6.1置信區(qū)間概念定義2.6.3在定義2.6.2的記號下，如對給定的α(0<α<1)恒有

3.同等置信區(qū)間2.6置信區(qū)間2.6.1置信區(qū)間概念定義2.6.4

4.置信限2.6置信區(qū)間2.6.1置信區(qū)間概念定義2.6.4

4.置信限定義2.6.52.6置信區(qū)間2.6.1置信區(qū)間概念設X=(X1,X2,···,Xn)是來自某總體分布Fθ(x)的一個樣本，其中θ=(θ1,θ2,···,θk)是k維參數，其參數空間為Θ?Rk。假如對Θ的一個子集R(X)，有R(X)僅是樣本X的函數；12對給定的α(0<α<1)，有概率不等式

5.置信域定義2.6.52.6置信區(qū)間2.6.1置信區(qū)間概念5.置信域則稱R(X)是θ的置信水平為1?α的置信域（或置信集）。

而概率Pθ(θ∈R(X))在參數空間Θ上的下確界稱為該置信域的置信系數，假如式(2.6.6)等號成立，且不依賴于θ，則稱R(X)為1?α同等置信域。2.6置信區(qū)間2.6.2樞軸量法構造未知參數θ的置信區(qū)間的一種常用方法是樞軸量法，它的具體步驟是：

2.6置信區(qū)間2.6.2樞軸量法

2.6置信區(qū)間2.6.2樞軸量法例2.6.2設X1,X2,···,Xn是來自均勻分布U(0,θ)的一個樣本，對給定的α(0<α<1)，尋求θ的1?α置信區(qū)間。2.6置信區(qū)間2.6.2樞軸量法用樞軸量法來尋求θ的置信區(qū)間，分幾步進行。解

2.6置信區(qū)間2.6.2樞軸量法

它們都與θ無關，故可取G=X(n)/θ為樞軸量。其密度函數曲線見圖2.6.3。2.6置信區(qū)間2.6.2樞軸量法對給定的置信水平1?α,適當選擇c與d，使利用不等式等價變形，可得θ的1?α同等置信區(qū)間。

2.6置信區(qū)間2.6.2樞軸量法一個直觀的方法是：把具有高密度值的點歸入區(qū)間，使區(qū)間外的點的密度值不超過區(qū)間內的密度值，這種集最大密度點形成的區(qū)間（若可能）稱為最大密度區(qū)間，此種區(qū)間長度應是最短的。

2.6置信區(qū)間2.6.2樞軸量法若(2.9,3.0,0.9,1.7,0.7)是取自均勻分布U(0,θ)的一個樣本，其

x(5)=3.0。若取α=0.1，則θ的最優(yōu)置信區(qū)間為；

2.6置信區(qū)間2.6.2樞軸量法

因為實踐中人們對一次實現(xiàn)賦予一定概率是常見的事。如兩人約定在某時間段會合，甲認為乙會按時到達的概率為0.9。又如一次球賽中觀眾認為甲隊勝的概率為0.7等，都在一次實現(xiàn)中使用概率。2.6置信區(qū)間2.6.2樞軸量法例2.6.3設X1,X2,···,Xn是從指數分布exp(1/θ)中抽取的一個樣本。其密度函數為:其中，θ>0為總體均值，即E(x)=θ，現(xiàn)要求θ的1?α置信區(qū)間(0<α<1)。

2.6置信區(qū)間2.6.2樞軸量法在指數分布場合，Tn=X1+X2+···+Xn是θ的充分統(tǒng)計量。由于指數分布是伽瑪分布的特例，即Xi～Ga(1,1/θ)。利用伽瑪分布性質可知解

2.6置信區(qū)間2.6.2樞軸量法對給定的置信水平1?α，利用χ2分布的α/2和1?α/2分位數可得

再利用不等式等價變形可得：

2.6置信區(qū)間2.6.2樞軸量法

譬如，某產品的壽命服從指數分布exp(1/θ)，如今從中隨機抽取9個樣品進行壽命試驗，獲得如下9個壽命數據（單位：小時）可算得Tn=5329，若取α=0.1，可由計算機函數得到χ2分布α分位數χ20.05(18)=9.39，χ20.95(18)=28.87于是平均壽命θ的0.9同等置信區(qū)間為152457505531607645707822903

2.6置信區(qū)間2.6.2樞軸量法由于平均壽命θ是望大特性，越大越好，因此人們關心其單側置信下限。它仍可用上述樞軸量2Tn/θ尋求θ的1?α單側置信下限。由χ2(2n)分布的1?α分位數χ12?α(2n)可得

2.6置信區(qū)間2.6.2樞軸量法

2.6置信區(qū)間2.6.2樞軸量法例2.6.4設X1,X2,···,Xn是來自某分布函數F(x;θ)的一個樣本，若此分布函數F(x;θ)既是x的連續(xù)函數，又是θ的嚴格單調函數，則可構造樞軸量，獲得θ的置信區(qū)間。2.6置信區(qū)間2.6.2樞軸量法例2.6.4在X～F(x;θ)，F(xiàn)是x的連續(xù)函數場合，可利用如下分布間的關系：

2.6置信區(qū)間2.6.2樞軸量法例2.6.4

P

P2.6置信區(qū)間2.6.2樞軸量法例2.6.4

2.6置信區(qū)間2.6.2樞軸量法例2.6.4

P2.6置信區(qū)間2.6.2樞軸量法例2.6.4再取對數即得θ的1?α置信區(qū)間為：

，，這個例子表明：在一定的條件下，樞軸量是廣泛存在的。2.6置信區(qū)間2.6.3大量本置信區(qū)間

1.基于MLE的近似置信區(qū)間

2.6置信區(qū)間2.6.3大量本置信區(qū)間

1.基于MLE的近似置信區(qū)間

其中由此可得

2.6置信區(qū)間2.6.3大量本置信區(qū)間

1.基于MLE的近似置信區(qū)間

由此可得

2.6置信區(qū)間2.6.3大量本置信區(qū)間例2.6.5

設X1,X2,···,Xn是來自指數分布p(x;θ)=1/θe?x/θ(x>0)的一個樣本。該總體的費希爾信息量為：

1.基于MLE的近似置信區(qū)間

2.6置信區(qū)間2.6.3大量本置信區(qū)間例2.6.51.基于MLE的近似置信區(qū)間

2.6置信區(qū)間2.6.3大量本置信區(qū)間

2.基于中心極限定理的近似置信區(qū)間

由此立即可得總體均值μ的近似1?α的等尾置信區(qū)間：

若其中σ未知，用σ2的相合估計（譬如樣本方差S2）替代即可。正態(tài)總體參數的置信區(qū)間PART2.72.7正態(tài)總體參數的置信區(qū)間對于正態(tài)總體參數的置信區(qū)間，可以通過樞軸量法獲得，其中樞軸量的分布本書1.5節(jié)均有介紹。表2.7.1給出了單總體正態(tài)均值、方差、標準差的置信區(qū)間。2.7正態(tài)總體參數的置信區(qū)間表2.7.1一個正態(tài)總體參數的置信區(qū)間編號參數條件樞軸量（1-a）%置信區(qū)間1234同（3）

2.7正態(tài)總體參數的置信區(qū)間

2.7正態(tài)總體參數的置信區(qū)間表2.7.2兩個正態(tài)總體參數的置信區(qū)間編號參數條件樞軸量（1-a）%置信區(qū)間12

2.7正態(tài)總體參數的置信區(qū)間表2.7.2兩個正態(tài)總體參數的置信區(qū)間編號參數條件樞軸量（1-a）%置信區(qū)間34

2.7正態(tài)總體參數的置信區(qū)間表2.7.2兩個正態(tài)總體參數的置信區(qū)間編號參數條件樞軸量（1-a）%置信區(qū)間567同（6）

2.7正態(tài)總體參數的置信區(qū)間其中

2.7正態(tài)總體參數的置信區(qū)間需要說明的幾點：第2行假設方差未知但相等，用合樣本方差進行估計，樞軸量服從t分布；第3行是大樣本正態(tài)近似的結果；2.7正態(tài)總體參數的置信區(qū)間需要說明的幾點：第4行假設方差未知且不等，小樣本下，樞軸量的分布未知，使用t分布近似。若l為非整數時，取最接近的整數；第5行假設X與Y不獨立，數據成對出現(xiàn)，d=X?Y是一維正態(tài)分布，記為N(μd,σd2)，di=Xi?Yi,i=1,...,n是來自該分布的樣本。μd=μ1?μ2

的置信區(qū)間按照一維情況處理。2.7正態(tài)總體參數的置信區(qū)間2.7.2二維參數(μ,??2)的置信域

就取這兩個量作為樞軸量，對給定的置信水平1?α，可以通過標準正態(tài)分布的分位數與χ2(n?1)的分位數確定三個數c,d1,d2,使得2.7正態(tài)總體參數的置信區(qū)間2.7.2二維參數(μ,??2)的置信域

所以正態(tài)參數(μ,σ2)的1?α置信域為:這是兩條平行線與一條二次曲線所圍成的區(qū)域，見圖2.7.1.