概率論第七章參數(shù)估計(jì)

1、第七章第七章 參數(shù)估計(jì)參數(shù)估計(jì) 7.1 7.1 點(diǎn)估計(jì)點(diǎn)估計(jì)一一. . 問題的提法問題的提法: :1212X( ; ), , , , nnF x XXXXx , x , , x設(shè)總體 的分布函數(shù)的形式為已知是待估參數(shù)，是 的一個(gè)樣本，是相應(yīng)的一個(gè)樣本觀測(cè)值。 )( ), , ,(),() , ,(21212121的估計(jì)值。的估計(jì)值。為參數(shù)為參數(shù)稱稱的估計(jì)量，的估計(jì)量，為為，我們稱，我們稱來估計(jì)未知參數(shù)來估計(jì)未知參數(shù)，用它的觀察值，用它的觀察值一個(gè)適當(dāng)?shù)慕y(tǒng)計(jì)量一個(gè)適當(dāng)?shù)慕y(tǒng)計(jì)量點(diǎn)估計(jì)問題就是要構(gòu)造點(diǎn)估計(jì)問題就是要構(gòu)造nnnn,x, ,xxXXXxxxXXX二、矩估計(jì)法二、矩估計(jì)法: :kkPnik

2、ikEXXnA11 由辛欽大數(shù)定理可知：樣本的原點(diǎn)矩依概由辛欽大數(shù)定理可知：樣本的原點(diǎn)矩依概率收斂到總體的原點(diǎn)矩，即率收斂到總體的原點(diǎn)矩，即據(jù)此，得到參數(shù)的矩估計(jì)法。據(jù)此，得到參數(shù)的矩估計(jì)法。為未知參數(shù)）為未知參數(shù)）（其中（其中，的分布函數(shù)為的分布函數(shù)為設(shè)總體設(shè)總體kkxFX , ,) , , ;(2121的樣本，的樣本，是來自是來自XX, X Xn21定義：定義：1122( ,(,)(1,2), )2,1, ,rkrnrrX XXrrkkA 方程組 的解為的矩估計(jì)量。121=( ,)1=,1,2,rrknrrikiEXEXrAXrrkn 假設(shè)存在為總體的 階原點(diǎn)矩；為樣本的 階原點(diǎn)矩。121

3、2122,(,),nXXXU例 .已知為來自總體的樣本，求的矩估計(jì)。222121X , , , , nXXX 例 .設(shè)總體 的均值 及方差都存在， 但均未知， 又設(shè)是一個(gè)樣本， 求的矩估計(jì)。| |1214.( , )2(,)xnXf xexXXXX 例 設(shè)總體，是來自總體 的樣本， 求 的矩估計(jì)。2221222223.(,)( ,),0 ( ,)0,0nxXXXXf xxexf xx例 設(shè)是來自總體的樣本，其中 求的矩估計(jì)。三、極大似然估計(jì)方法三、極大似然估計(jì)方法:, , ,), , , ;(n212121的一個(gè)樣本的一個(gè)樣本是是的參數(shù)的參數(shù)待估計(jì)待估計(jì)是是其中其中定義：總體定義：總體XXXX

4、xfXkk12121( , , )(; , , ).nkikiLf X稱為樣本的似然函數(shù)12 1, ,.k 似然函數(shù)是參數(shù) 的函數(shù)為密度函數(shù)。為密度函數(shù)。為連續(xù)型隨機(jī)變量時(shí)，為連續(xù)型隨機(jī)變量時(shí)，為分布律；為分布律；為離散型隨機(jī)變量時(shí)，為離散型隨機(jī)變量時(shí)，)()(2 xfXxfX。即似然函數(shù)的值比較大的概率比較大可以認(rèn)為取到這組值已經(jīng)發(fā)生的隨機(jī)事件它是是一組樣本值容易發(fā)生的事件概率大的事件比概率小根據(jù)經(jīng)驗(yàn) , , , ,21n, x, , x x12121212, , , , , , ,nkkkx ,x , ,xLL 對(duì)似然函數(shù)而言是常數(shù) 它是參數(shù)的函數(shù) 因而是參 數(shù)值使得 較大 我們就將使得

5、取到最大值的參數(shù)值 稱為的極大似然估計(jì)值。121212:( , ,)( ,), (,) (1,2, )kiniiiniLx xxXXXik 定義 如果似然函數(shù) 在處取最大值 則稱 為 的極大似然估計(jì)值，而相應(yīng)的統(tǒng)計(jì)量稱為參數(shù) 的極大似然估計(jì)量。極大似然估計(jì)的求解方法極大似然估計(jì)的求解方法: :2.2.直接根據(jù)定義計(jì)算。直接根據(jù)定義計(jì)算。1.1.求解對(duì)數(shù)似然方程：求解對(duì)數(shù)似然方程：12ln(,)0. (1,2, )kiLik 若駐點(diǎn)唯一，即為極大似然估計(jì)。若駐點(diǎn)唯一，即為極大似然估計(jì)。1125 ( , )(1)0,1(,)xxnXf x pppxXXXXp例 .設(shè)，；是來自 的樣本，求參數(shù) 的極

6、大似然估計(jì)。126,( )nXXXe例 .已知為來自總體的樣本，求 的極大似然估計(jì)。221227 (, ), , , .nX NX , X , X 例 .設(shè)總體其中均未知 設(shè)是來自該總體的一組樣本 求的極大似然估計(jì)例例8.8.設(shè)總體設(shè)總體X服從服從 0 , 區(qū)間上的均勻分布區(qū)間上的均勻分布, , 求求 的極大似然估計(jì)的極大似然估計(jì)。例例9.9.設(shè)總體設(shè)總體X服從服從 ,+1 區(qū)間上的均勻分布區(qū)間上的均勻分布, , 求求 的極大似然估計(jì)的極大似然估計(jì)。極大似然估計(jì)的性質(zhì)極大似然估計(jì)的性質(zhì):( ),( ), ( )( )uuu uuuu 設(shè) 的函數(shù)具有單值反函數(shù)是參數(shù) 的極大似然估計(jì)則是的極大似然

7、估計(jì)。例如，例例如，例8 8中參數(shù)中參數(shù)的方差的方差DX的極大似然估計(jì)的極大似然估計(jì)為：為：2221max121212iDXX7.2. 7.2. 估計(jì)量的評(píng)選標(biāo)準(zhǔn)估計(jì)量的評(píng)選標(biāo)準(zhǔn) :, .無(wú)偏估計(jì)的性 有效性三個(gè)常用標(biāo)準(zhǔn)和一致性是1 1、無(wú)偏性、無(wú)偏性: :12n(,)( ), , ( ),XXXEE 定義：若估計(jì)量的數(shù)學(xué)期望存在且對(duì)于有則稱 是 的無(wú)偏估計(jì)量。的的漸漸近近無(wú)無(wú)偏偏估估計(jì)計(jì)。為為，則則稱稱若若limEn例例2.2.X1,X2,Xn是來自是來自XU( (0 0, ,) )的樣本，的樣本， 證明：證明： 都是都是的無(wú)偏估計(jì)。的無(wú)偏估計(jì)。,max1,22121nXXXnnX2 2、有

8、效性、有效性: :. )()( :212121有效有效比比稱稱則則，若有，若有若若定義定義DDEE 所有無(wú)偏估計(jì)中方差最小的無(wú)偏估計(jì)稱為所有無(wú)偏估計(jì)中方差最小的無(wú)偏估計(jì)稱為最小方差無(wú)偏估計(jì)，或稱為有效估計(jì)。最小方差無(wú)偏估計(jì)，或稱為有效估計(jì)。例例3.3.對(duì)任何總體對(duì)任何總體X，EX= =，DX=2 2 , , X1 ,X2, ,Xn 是來自是來自X 的樣本，的樣本，證明：證明： 比比 有效。有效。121211,.(1)nniiiiiiXX為 常 數(shù) ,.)(1)(的無(wú)偏估計(jì)）的無(wú)偏估計(jì)）（或稱為達(dá)到方差下界（或稱為達(dá)到方差下界的有效估計(jì)，的有效估計(jì)，為為，則稱，則稱若若nID1( )lim1,(

9、 )nInD若則稱 為 的漸近有效估計(jì)。信息數(shù)。信息數(shù)。稱為稱為其中其中下界）下界）（則則，若，若定理：總體定理：總體FisherXfEIRGnIDExfX2),(ln)()(1)();(212225.X,X( ,),:1X2nnNS 例 設(shè)，為正態(tài)總體的樣本證明是 的有效估計(jì)；是的漸近有效估計(jì)。1124( ; )(1),0,1,xxnXf x pppxXXXXpXp例 .總體，為來自 的樣本，證明：是參數(shù) 的有效估計(jì)。3 3、相合性（一致估計(jì)）、相合性（一致估計(jì)）: :,0, lim 0, .PnP 定義 若即對(duì)則稱為 的相合估計(jì)量根據(jù)辛欽大數(shù)定理，樣本原點(diǎn)矩根據(jù)辛欽大數(shù)定理，樣本原點(diǎn)矩依概

10、率收斂于相應(yīng)的總體依概率收斂于相應(yīng)的總體原點(diǎn)原點(diǎn)矩矩, , 從從而樣本矩的連續(xù)函數(shù)依概率收斂于相應(yīng)的總體矩的連續(xù)函數(shù)而樣本矩的連續(xù)函數(shù)依概率收斂于相應(yīng)的總體矩的連續(xù)函數(shù)，所以所有的矩估計(jì)都是相合估計(jì)量。所以所有的矩估計(jì)都是相合估計(jì)量。 12+,- liml,im0nnnXXXbEDDb ：設(shè)是 的估計(jì)量，為估計(jì)偏差，存在。如果則 是 的定理相合估計(jì)量。2122226,( ,),nnXXNXSB 例 .為正態(tài)總體的樣本證明： 為 的相合估計(jì)；為的相合估計(jì)；為的相合估計(jì)。7.3 7.3 區(qū)間估計(jì)區(qū)間估計(jì) 112( ; ),(01): Xf x設(shè)總體其中參數(shù) 未知 若對(duì)于給定的值，統(tǒng)計(jì)量和滿足定義定

11、義: :1212(, )1,11()則稱隨機(jī)區(qū)間 是 的置信度為的置信區(qū)間和分別稱為置信度為的置信上限和置信下限，稱為置信度 置信水平 。12()1P 2.2.置信區(qū)間長(zhǎng)度越短，估計(jì)越精確，一般置信區(qū)間長(zhǎng)度越短，估計(jì)越精確，一般 我們是我們是對(duì)稱地取對(duì)稱地??；可以證明此時(shí)的置信；可以證明此時(shí)的置信 區(qū)間長(zhǎng)度最短。區(qū)間長(zhǎng)度最短。1212 ,P( )=1-1.置信區(qū)間的定義中，統(tǒng)計(jì)量 滿足條件即可， 所以置信區(qū)間并不唯一。212()()PP12123.(,; ) 1naZ XXXb根據(jù)不等式解得這就是 的置信度為 的置信區(qū)間。1221, , (,; )1na bP aZ XXXb .對(duì)于給定的置信

12、度求出使得求置信區(qū)間的一般思路求置信區(qū)間的一般思路（樞軸量法）（樞軸量法）1.1.構(gòu)造一個(gè)隨機(jī)變量構(gòu)造一個(gè)隨機(jī)變量Z=Z(X1,X2,Xn; ), 除參數(shù)除參數(shù) 外外, , Z不包含不包含其他任何未知參數(shù)其他任何未知參數(shù), ,Z的分布已知的分布已知( (或可求出或可求出),),并且不依賴于參并且不依賴于參數(shù)數(shù) , ,也不依賴于其他任何未知參數(shù)。（也不依賴于其他任何未知參數(shù)。（Z稱為樞軸量稱為樞軸量）7.4.7.4.正態(tài)總體參數(shù)的區(qū)間估計(jì)正態(tài)總體參數(shù)的區(qū)間估計(jì)一、單個(gè)正態(tài)總體參數(shù)的區(qū)間估計(jì)一、單個(gè)正態(tài)總體參數(shù)的區(qū)間估計(jì): :2122( ,), , , , 1nXNXXXX 設(shè)總體是來自 的樣本，

13、求 ,的 置信區(qū)間。7.4 正態(tài)母體參數(shù)的置信區(qū)間正態(tài)母體參數(shù)的置信區(qū)間已知2XUn22,XuXunn) 1 , 0(N未知2nSXT/22,SSXtXtnn) 1( nt被估 條件 選用 分布 1 的置信區(qū)間參數(shù) 樞軸量 已知212niiX)(2n221122122()(),( )( )nniiXXnn2222) 1(Sn) 1(2n2222122(1)(1),(1)(1)nSnSnn未知1.1.通常我們講的都是雙側(cè)的置信區(qū)間，實(shí)際通常我們講的都是雙側(cè)的置信區(qū)間，實(shí)際中還有單側(cè)的置信區(qū)間，如書上的定義。中還有單側(cè)的置信區(qū)間，如書上的定義。2.2.若函數(shù)若函數(shù)g(x)單調(diào)增，則：?jiǎn)握{(diào)增，則：1

14、)()()(1)(2121gggPP 若函數(shù)若函數(shù)g(x)單調(diào)減，則：?jiǎn)握{(diào)減，則：1)()()(1)(1221gggPP例例1：設(shè)某異常區(qū)磁場(chǎng)強(qiáng)度服從正態(tài)分布：設(shè)某異常區(qū)磁場(chǎng)強(qiáng)度服從正態(tài)分布 ， 現(xiàn)對(duì)該區(qū)進(jìn)行磁測(cè)，按儀器規(guī)定其方差不得超過現(xiàn)對(duì)該區(qū)進(jìn)行磁測(cè)，按儀器規(guī)定其方差不得超過0.01， 今抽測(cè)今抽測(cè)16個(gè)點(diǎn)，算得個(gè)點(diǎn)，算得 問此儀器工作是否穩(wěn)定問此儀器工作是否穩(wěn)定 ？2( ,)N 212.7,0.0025,XS例例2：設(shè)樣本：設(shè)樣本 為正態(tài)分布為正態(tài)分布 的樣本，的樣本， 其中其中 和和 為未知參數(shù)。設(shè)隨機(jī)變量為未知參數(shù)。設(shè)隨機(jī)變量 L 是關(guān)于是關(guān)于 的置信度為的置信度為 1- 的置信區(qū)間

15、的長(zhǎng)度，求的置信區(qū)間的長(zhǎng)度，求 。12,nXXX2( ,)N 22()E L例例3：設(shè)某種清漆的：設(shè)某種清漆的9個(gè)樣品，其干燥時(shí)間（以小時(shí)計(jì)）分別個(gè)樣品，其干燥時(shí)間（以小時(shí)計(jì)）分別 為為6.0、5.7、5.8、6.5、7.0、6.3、5.6、6.1、5.0. 設(shè)干燥時(shí)間總體服從正態(tài)分布設(shè)干燥時(shí)間總體服從正態(tài)分布 ，求：，求：（1） 為為0.6時(shí)，時(shí)， 的置信度為的置信度為0.95 的單側(cè)置信上限。的單側(cè)置信上限。（2） 為未知，為未知， 的置信度為的置信度為0.95 的單側(cè)置信上限。的單側(cè)置信上限。2( ,)N 例例4：隨機(jī)地取某種炮彈：隨機(jī)地取某種炮彈9發(fā)做試驗(yàn)，得炮口速度的樣本發(fā)做試驗(yàn)，得

16、炮口速度的樣本 標(biāo)準(zhǔn)差為標(biāo)準(zhǔn)差為 S11（m / s），設(shè)炮口速度服從正態(tài)分布。），設(shè)炮口速度服從正態(tài)分布。 求這種炮彈的炮口速度的標(biāo)準(zhǔn)差求這種炮彈的炮口速度的標(biāo)準(zhǔn)差 的置信度為的置信度為0.95的的 置信區(qū)間。置信區(qū)間。二、兩個(gè)正態(tài)總體的區(qū)間估計(jì)二、兩個(gè)正態(tài)總體的區(qū)間估計(jì):., . 1212221的置信區(qū)間的置信區(qū)間求求已知時(shí)已知時(shí)和和當(dāng)當(dāng)., . 221222221的置信區(qū)間的置信區(qū)間求求未知未知但但2211221212(,),(,),mnXNYNXXXXY YYY，相互獨(dú)立，為來自的樣本，為來自的樣本. . 32221的置信區(qū)間的置信區(qū)間求求三、兩個(gè)正態(tài)總體中統(tǒng)計(jì)量的分布三、兩個(gè)正態(tài)總體

17、中統(tǒng)計(jì)量的分布的的樣樣本本）為為來來自自（的的樣樣本本，）為為來來自自（，相相互互獨(dú)獨(dú)立立，YYYYXXXXNYNXnm,),(),(2121222211niinniimiimmiiYYnSYnYXXmSXmX1222112211)(11,1)(11,1令令211111,(0,1)mmXXNN即221212122212(,)()(0,1)mnXYNXYUNmn即)()(22212222111nYmXniimii，1222121(-1)(-1)mmmSXSm與獨(dú)立，且)(221222111nmYXniimii122222212(-1)( -1)(-2)mnmSnSmn113 (1) mSmXt

18、m12122212() (2)11(1)(1)2mnXYt mnSmnmSnSSmn當(dāng)時(shí)，其中),()()(42122122121nmFYXmnFniimii)1, 1(21222221nmFSSFnm用表格表示如下：用表格表示如下：222112, 已知22111122/21/22211()()11,( , )( , )()()mmiiiinniiiiXXnnmFm nmFm nYY已已知知2221,2222121222,XYuXYumnmn未未知知21221111,XYt SXYt Smnmn 參數(shù)參數(shù) 條件條件 1 的置信區(qū)間的置信區(qū)間2112, 未知221122/21/22211,(1,1)(1