概率論與數(shù)理統(tǒng)計：第六章 參數(shù)估計

第六章參數(shù)估計參數(shù)的點估計估計量的評選標準正態(tài)總體參數(shù)的區(qū)間估計6.1點估計問題概述一、參數(shù)估計的概念問題的提出：已知總體X的分布函數(shù)F(x;θ1,θ2,…,θk)，其中θ1,θ2,…,θk是未知參數(shù)。點估計：由總體的樣本(X1,X2,…,Xn)對每一個未知參數(shù)θi(i=1,2,…,k)構(gòu)造統(tǒng)計量作為參數(shù)θi的估計，稱為參數(shù)θi的估計量。樣本(X1,X2,…,Xn)的一組取值(x1,x2,…,xn)稱為樣本觀察值，將其代入估計量，得到數(shù)值稱為參數(shù)θi的估計值。在不致混淆的情況下，估計量、估計值統(tǒng)稱點估計，簡稱估計。記為二、估計量的評選標準(無偏性，有效性，一致性)（一）無偏性估計量的觀察或試驗的結(jié)果，估計值可能較真實的參數(shù)值偏大或偏小，而一個好的估計量不應總是偏大或偏小，在多次試驗中所得的估計量的平均值應與真實參數(shù)吻合，這就是無偏性所要求的。是一個隨機變量，對一次具體定義是的一個估計量，如果有則稱是的一個無偏估計。如果不是無偏的，就稱該估計是有偏的。例6.1設總體X的k階矩存在，則不論X的分布如何，樣本k階原點矩是總體k階矩的無偏估計。證明設X的k階矩μk=E(Xk)，k≥1(X1,X2,…,Xn)是來自正態(tài)總體X的一個樣本，則所以Ak是μk的無偏估計.例6.3.設隨機變量X的期望和方差2都存在，則不論X的分布如何，討論2的估計量的無偏性。解：

∴B2是2的有偏估計量?！郤2是2的無偏估計量。定理.設總體X的期望和方差2都存在，(X1,X2,…,Xn)是來自總體X的一個樣本例6.4設X~N(0,σ2)，證明是σ2無偏估計。（2）求(X1,X2,…,Xn)是來自總體X的一個樣本是σ2無偏估計。(二)有效性對于參數(shù)的無偏估計量，其取值應在真值附近波動，我們希望它與真值之間的偏差越小越好。定義設均為未知參數(shù)的無偏估計量，若則稱比有效。在的所有無偏估計量中，若估計量，則稱是具有最小方差的無偏顯然也是最有效的無偏估計量，簡稱有效估計量。為一致最小方差無偏估計量。練習設(X1,X2,…,Xn)是總體X的一個樣本，(三)一致性（相合性）在參數(shù)估計中，很容易想到，如果樣本容量越大，樣本所含的總體分布的信息越多。n越大，越能精確估計總體的未知參數(shù)。隨著n的無限增大，一個好的估計量與被估參數(shù)的真值之間任意接近的可能性會越來越大，這就是所謂的相合性或一致性。定義設為未知參數(shù)的估計量，若對任意給定的正數(shù)ε>0，都有即以概率收斂于參數(shù)，則稱為參數(shù)的一致估計或相合估計量。例6.6設是總體X的樣本均值，則作為總體期望E(X)的估計量時，是E(X)的一致估計量。證明由大數(shù)定律可知，當n→∞時是E(X)的一致估計量。例6.7設為的無偏估計量，若則為的一致估計量證明由切貝雪夫不等式可知為的一致估計量。HomeworkP1583，86.2點估計的常用方法(1)矩估計法(2)最（極)大似然估計法一、矩估計法(簡稱“矩法”)

英國統(tǒng)計學家皮爾遜(K.pearson)提出1、矩法的基本思想：以樣本矩作為相應的總體同階矩的估計；以樣本矩的函數(shù)作為相應的總體矩的同一函數(shù)的估計。2、矩法的步驟：設總體X的分布為F(x;θ1,θ2,…,θk)，k個參數(shù)θ1,θ2,…,θk待估計，(X1,X2,…,Xn)是一個樣本。(1)計算總體分布的i階原點矩E(Xi)=μi(θ1,θ2,…,θk)，i=1,2,…,k，(計算到k階矩為止，k個參數(shù))；(2)列方程從中解出方程組的解，記為則分別為參數(shù)θ1,θ2,…,θk的矩估計量。例6.8設總體X的均值為μ，方差為σ2，均未知。(X1,X2,…,Xn)是總體的一個樣本，求μ和σ2的矩估計。解解得矩法估計量為注：例6.9設總體X~P(λ)，求λ的矩估計。解例6.10設(X1,X2,…,Xn)來自X的一個樣本，且求a,b的矩估計。解X~U(a,b)解得矩估計為2階中心矩二、最（極）大似然估計法(R.A.Fisher費歇)設總體X

離散型隨機變量，即分布律為(X1,X2,…,Xn)為X的一個樣本，設其觀察值為(x1,x2,…,xn)，則樣本取樣本觀察值的概率,即事件(X1=x1,X2=x2,…,Xn=xn)發(fā)生的概率為對于給定的樣本觀察值，上述概率為θ的函數(shù)，稱其為似然函數(shù)，并記為L(θ)，為使上述隨機事件的概率達到最大，應選取使L(θ)達到最大的參數(shù)值(如果存在)作為θ的估計記為即對每一樣本值(x1,x2,…,xn)，在參數(shù)空間內(nèi)使似然函數(shù)L(x1,x2,…,xn;θ)達到最大的參數(shù)估計值,稱為參數(shù)θ的最大似然估計值，它滿足稱統(tǒng)計量為參數(shù)θ的最大似然估計量。設總體X的概率密度為則稱為該總體X的似然函數(shù)。3、求最大似然估計的步驟設總體X的分布中，有m個未知參數(shù)θ1,θ2,…,θm，它們的取值范圍。(1)寫出似然函數(shù)L的表達式如果X是離散型隨機變量，分布律為P(X=x)，則如果X是連續(xù)型隨機變量，密度函數(shù)為f(x)，則(2)在內(nèi)求出使得似然函數(shù)L達到最大的參數(shù)的估計值它們就是未知參數(shù)θ1,θ2,…,θm的最大似然估計。一般地，先將似然函數(shù)取對數(shù)lnL，然后令lnL關(guān)于θ1,θ2,…,θm的偏導數(shù)為0，得方程組從中解出例6.12

(X1,X2,…,Xn)是來自總體X~P(λ)的樣本，λ>0未知，求λ的最大似然估計量。解總體X的分布律為x=0,1,2,…設(x1,x2,…,xn)為樣本(X1,X2,…,Xn)的一個觀察值，似然函數(shù)對數(shù)似然函數(shù)是λ的極大似然估計值,λ的極大似然估計量為所以例6.13設(X1,X2,…,Xn)是來自正態(tài)總體X~N(μ,σ2)的一個樣本，μ,σ2未知，求μ,σ2的最大似然估計。解設(x1,x2,…,xn)為樣本(X1,X2,…,Xn)的一個觀察值，則似然函數(shù)為解得所以μ,σ2的最大似然估計量分別為思考：當μ已知時，：最大似然估計具有下述性質(zhì)：若是未知參數(shù)的最大似然估計，g()是的嚴格單調(diào)函數(shù)，則g()的最大似然估計為g()HomeworkP1641(1)(2),26.3置信區(qū)間（區(qū)間估計）上一節(jié)中，我們討論了參數(shù)的點估計，只要給定樣本觀察值，就能算出參數(shù)的估計值。但用點估計的方法得到的估計值不一定是參數(shù)的真值，即使與真值相等也無法肯定這種相等（因為總體參數(shù)本身是未知的），也就是說，由點估計得到的參數(shù)估計值沒有給出它與真值之間的可靠程度，在實際應用中往往還需要知道參數(shù)的估計值落在其真值附近的一個范圍。為此我們要求由樣本構(gòu)造一個以較大的概率包含真實參數(shù)的一個范圍或區(qū)間，這種帶有概率的區(qū)間稱為置信區(qū)間，通過構(gòu)造一個置信區(qū)間對未知參數(shù)進行估計的方法稱為區(qū)間估計。定義設總體X的分布函數(shù)族為{F(x;θ),θ∈Θ}，對于給定的α(0<α<1)，如果有兩個統(tǒng)計量使得對一切θ∈Θ成立，則稱隨機區(qū)間是θ的置信度為1-α的雙側(cè)置信區(qū)間雙側(cè)置信下限；雙側(cè)置信上限；1-α置信度。由定義可知，置信區(qū)間是以統(tǒng)計量為端點的隨機區(qū)間，對于給定的樣本觀察值(x1,x2,…,xn)，由統(tǒng)計量構(gòu)成的置信區(qū)間可能包含真值θ，也可能不包含真值θ，但在多次觀察或試驗中，每一個樣本皆得到一個置信區(qū)間，在這些區(qū)間中包含真值θ的區(qū)間占100(1-α)%，不包含θ的僅占100α%。例6.16設(X1,X2,…,Xn)是取自總體X~N(μ,σ2)的一個樣本，其中σ2已知，μ未知。試求出μ的置信度為1-α的置信區(qū)間。解由于樣本均值是總體均值μ的最大似然估計，且故由標準正態(tài)分布α分位點的定義可知即包含真值μ的概率為1-α。此區(qū)間稱為μ的置信度為1-α的置信區(qū)間。

u1-α/2o

uα/2

xφ(x)α/2α/21-α從此例我們發(fā)現(xiàn)隨機變量Z在置信區(qū)間的構(gòu)造中起著關(guān)鍵的作用，它具有下述特點：(1)Z是待估參數(shù)μ和統(tǒng)計量(2)不含其它未知參數(shù)；(3)服從與未知參數(shù)無關(guān)的已知分布。求置信區(qū)間的一般步驟的函數(shù)；求（正態(tài)）總體參數(shù)置信區(qū)間的解題步驟：(1)根據(jù)實際問題構(gòu)造樣本的函數(shù)，要求僅含待估參數(shù)且分布已知；(2)令該函數(shù)落在由分位點確定的區(qū)間里的概率為給定的置信度1，要求區(qū)間按幾何對稱或概率對稱；(3)解不等式得隨機的置信區(qū)間；(4)由觀測值及值查表計算得所求置信區(qū)間。單側(cè)置信區(qū)間有些實際問題中，我們關(guān)心的是未知參數(shù)“至少有多大”（如元件的壽命），或“不超過多大”（如不合格率），這就是單側(cè)置信區(qū)間。定義稱為θ的單側(cè)置信下限。稱為θ的單側(cè)置信上限。HomeworkPage1707一、正態(tài)總體N(μ,σ2)的均值μ的置信區(qū)間1、方差σ2已知由例6.14可知則置信度為1-α的μ的置信區(qū)間為6.4正態(tài)總體的置信區(qū)間2、方差σ2未知由于方差σ2未知，不能使用用σ2的無偏估計量代替σ2則μ的置信度為1-α的置信區(qū)間為（方差σ2未知）例6.17已知某批燈泡的壽命X(單位:小時)~N(μ,σ2)，現(xiàn)從這批燈泡中抽取10個，測得壽命分別為1050,1100,1080,1120,1200,1250,1040,1130,1300,1200若α=0.05，求μ的置信區(qū)間(1)σ2=8，(2)σ2未知。解(1)由于σ2=8，由樣本觀察值計算得n=10，α=0.05查標準正態(tài)分布表得μ的置信度為0.95的置信區(qū)間為[1145.25，1148.75]。(2)由于σ2未知，由樣本觀察值計算得S=87.0568,n=10,α=0.05，查t分布表得μ的置信度為0.95的置信區(qū)間為[1084.72，1209.28]。1、均值μ已知此時σ2的極大似然估計為且由χ2分布分位點的概念可知二、正態(tài)總體N(μ,σ2)的方差σ2的置信區(qū)間則σ2的置信度為1-α的置信區(qū)間為(2)均值μ未知此時取可得σ2的置信度為1-α的置信區(qū)間為可得σ的置信度為1-α的置信區(qū)間為例6.18為測定某家具中的甲醛含量，取得4個獨立的測量值的樣本，并算得樣本均值為8.34%，樣本標準差為0.03%，設被測總體近似服從正態(tài)分布，α=0.05，求μ,σ2的置信區(qū)間。解由題意：σ2未知，n=4，S=0.03%，查t分布表得μ的置信度為0.95的置信區(qū)間為[8.2923%，8.3877%]。對于σ2，由于μ未知，查χ2分布表則σ2的置信度為0.95的置信區(qū)間為[0.00029×10-4，0.0125×10-4]三、兩個正態(tài)總體均值差的置信區(qū)間設樣本X1,X2,…,Xn1來自正態(tài)總體X~N(μ1,σ12)樣本Y1,Y2,…,Yn2來自正態(tài)總體Y~N(μ2,σ22)，且相互獨立S12為總體X的樣本均值和樣本方差S22為總體Y的樣本均值和樣本方差1、σ12，σ22已知，μ1-μ2的區(qū)間估計相互獨立是μ1-μ2的最大似然估計取可知μ1-μ2的置信度為1-α的置信區(qū)間為2、若σ12，σ22未知，但已知σ12=σ22，μ1-μ2的區(qū)間估計此時，取可知μ1-μ2的置信度為1-α的置信區(qū)間為思考：若σ12，σ22未知，且不知σ12與σ22是否相等，但n1=n2，μ1-μ2的區(qū)間估計四、兩個正態(tài)總體方差比σ12/σ22

的置信區(qū)間1、1，2未知根據(jù)σ12，σ22的估計，構(gòu)造可知，方差比σ12/σ22

的置信度為1-α的置信區(qū)間為2、當1，2已知時可知，方差比σ12/σ22

的置信度為1-α的置信區(qū)間為例6.19研究機器A和機器B生產(chǎn)的鋼管的內(nèi)徑，測得設兩樣本相互獨立，