七參數(shù)估計(jì)人文科技

1、第七章第七章 參數(shù)估計(jì)參數(shù)估計(jì)第一節(jié)第一節(jié) 點(diǎn)估計(jì)點(diǎn)估計(jì)第二節(jié)第二節(jié) 估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)第三節(jié)第三節(jié) 區(qū)間估計(jì)區(qū)間估計(jì)第一節(jié)第一節(jié) 點(diǎn)估計(jì)點(diǎn)估計(jì)121121212121212 ( , ),1,(,),(,).(,),(,).kknnnnnnXF xkXXXXx xxXXXx xxXXXx xx 設(shè)總體 的分布函數(shù)為其中均為未知參數(shù)是 的一個(gè)樣本 樣本值為構(gòu)造一個(gè)統(tǒng)計(jì)量用它的觀察值作為 的估計(jì)值 稱隨機(jī)變量為 的估計(jì)量 稱為 的估計(jì)值定義定義1： 點(diǎn)估計(jì)是指把總體的未知參數(shù)估計(jì)為某個(gè)確定的點(diǎn)估計(jì)是指把總體的未知參數(shù)估計(jì)為某個(gè)確定的值或在某個(gè)確定的點(diǎn)上值或在某個(gè)確定的點(diǎn)上.上一頁上一

2、頁下一頁下一頁返回返回1.矩估計(jì)法矩估計(jì)法 矩法的思想矩法的思想:用樣本矩作為總體矩的估計(jì)。當(dāng)總體用樣本矩作為總體矩的估計(jì)。當(dāng)總體X的分布類型已知，但含有未知參數(shù)，可以用矩估計(jì)的分布類型已知，但含有未知參數(shù)，可以用矩估計(jì)法獲得未知參數(shù)的估計(jì)。法獲得未知參數(shù)的估計(jì)。1212( , ),( ,),(1,2, )kkiXF xXkik 設(shè)總體 的分布函數(shù)為為待估參數(shù),若總體 的前 階矩存在,并且它們均是的函數(shù),求待估參數(shù)的矩估計(jì)的步驟為：上一頁上一頁下一頁下一頁返回返回 構(gòu)造估計(jì)量構(gòu)造估計(jì)量 的方法很多的方法很多,下面僅介紹下面僅介紹矩法和極大似然估計(jì)法矩法和極大似然估計(jì)法.1(,)nXX1212(

3、3),kk 用這個(gè)解分別作出的矩估計(jì)。 ., 2 , 1),()() 1 (21klXEkXkll階矩的前求出總體1212111212(2)( ,),1,2, . ,.lklknkknAlkXXXXXX 令 可從中解出即是上一頁上一頁下一頁下一頁返回返回121212( ,),(,)( ,)kkkggg 需要估計(jì)未知參數(shù)的函數(shù)時(shí) 就以作為的矩估計(jì)。222222111, 111() .nnniiiiiiXXXXXXnnn（ ）（ ）1221:(),()nXXXXE XD X例設(shè)總體 的二階矩存在且未知， ，為來自總體的樣本。求的矩估計(jì)量。22212(),().E XE X 解：由于22221;1.

4、niiXAXn令2, 解此方程組得的矩估計(jì)量分別為上一頁上一頁下一頁下一頁返回返回的的矩矩估估計(jì)計(jì)分分別別為為則則均均未未知知，若若總總體體222,),( NX21221)(1 ,SnnXXnXnii上一頁上一頁下一頁下一頁返回返回進(jìn)入進(jìn)入122:e,00,0,.xntTxf xxntttP Tte例設(shè)某種產(chǎn)品的壽命 服從指數(shù)分布,其概率密度為（ ， ）為未知參數(shù)現(xiàn)抽得 個(gè)這種產(chǎn)品,測(cè)得其壽命數(shù)據(jù)為 ， ， ，求參數(shù) 及產(chǎn)品可靠度的矩估計(jì)111:.niiE XTTn解 由于（ ），記1,T令 1 ,t于是得 的矩估計(jì)值為e .tttP TteP Tt的矩估計(jì)值為上一頁上一頁下一頁下一頁返回返回

5、上一頁上一頁下一頁下一頁返回返回 作矩法估計(jì)時(shí)無需知道總體的概率分布作矩法估計(jì)時(shí)無需知道總體的概率分布,只要知道總只要知道總體矩即可體矩即可.但矩法估計(jì)量有時(shí)不惟一但矩法估計(jì)量有時(shí)不惟一,如總體如總體X服從參數(shù)為服從參數(shù)為的泊松分布時(shí)，的泊松分布時(shí)，X和和B2都是參數(shù)都是參數(shù)的矩法估計(jì)的矩法估計(jì).( ),(),XPE X事實(shí)上,當(dāng)總體時(shí),X令.X得 的矩估計(jì)為,(),1()D XD X另一方面由例 知的矩估計(jì)為2211(),niiXXBn2.B所以 的矩估計(jì)也為.此時(shí)應(yīng)該用低階矩給出未知參數(shù)的估計(jì)上一頁上一頁下一頁下一頁返回返回2.極極(最最)大似然估計(jì)法大似然估計(jì)法極大似然估計(jì)法只能在已知總

6、體分布的前提下進(jìn)行極大似然估計(jì)法只能在已知總體分布的前提下進(jìn)行. 例例: 假定一個(gè)盒子里裝有許多大小相同的黑球和白球假定一個(gè)盒子里裝有許多大小相同的黑球和白球,并且假定它們的數(shù)目之比為并且假定它們的數(shù)目之比為3 1,但不知是白球多還是但不知是白球多還是黑球多黑球多,現(xiàn)在有放回地從盒中抽了現(xiàn)在有放回地從盒中抽了3個(gè)球個(gè)球,試根據(jù)所抽試根據(jù)所抽3個(gè)個(gè)球中黑球的數(shù)目確定是白球多還是黑球多球中黑球的數(shù)目確定是白球多還是黑球多.解解 設(shè)所抽設(shè)所抽3個(gè)球中黑球數(shù)為個(gè)球中黑球數(shù)為X,摸到黑球的概率為摸到黑球的概率為p,則則X服從二項(xiàng)分布服從二項(xiàng)分布k3Cpk（1-p）3-k， k=0，1，2，3.PX=k=

7、問題是問題是p=1/4還是還是p=3/4?現(xiàn)根據(jù)樣本中黑球數(shù)現(xiàn)根據(jù)樣本中黑球數(shù),對(duì)未知對(duì)未知參數(shù)參數(shù)p進(jìn)行估計(jì)進(jìn)行估計(jì).抽樣后抽樣后,共有共有4種可能結(jié)果種可能結(jié)果,其概率如下其概率如下表表.上一頁上一頁下一頁下一頁返回返回假如某次抽樣中假如某次抽樣中,只出現(xiàn)一個(gè)黑球只出現(xiàn)一個(gè)黑球,即即X=1,p=1/4時(shí)時(shí),PX=1=27/64；p=3/4時(shí)時(shí),PX=1=9/64,這時(shí)我們就會(huì)選擇這時(shí)我們就會(huì)選擇p=1/4,即黑球數(shù)比白球數(shù)為即黑球數(shù)比白球數(shù)為1:3.因?yàn)樵谝淮卧囼?yàn)中因?yàn)樵谝淮卧囼?yàn)中,事件事件“1個(gè)黑個(gè)黑球球”發(fā)生了發(fā)生了.我們認(rèn)為它應(yīng)有較大的概率我們認(rèn)為它應(yīng)有較大的概率27/64(27/6

8、49/64),而而27/64對(duì)應(yīng)著參數(shù)對(duì)應(yīng)著參數(shù)p=1/4,同樣可以考慮同樣可以考慮X=0,2,3的情形的情形,最最后可得后可得p=.3 , 2,43,1 , 0,41時(shí)當(dāng)時(shí)當(dāng)xxp= . ),( ),(),(),( )()()( ,.,),(,121221122112121niinnnnnnnxpxpxpxpxXPxXPxXPxXxXxXPXXXxxxxpxXPX，的一組觀察值為樣本假定為待估計(jì)的未知參數(shù)，其中為離散型總體設(shè)總體(1)似然函數(shù)似然函數(shù)(a)離散型總體離散型總體上一頁上一頁下一頁下一頁返回返回11(, ),( ) ( )(, );niiniip xLLp x將看作是參數(shù) 的函數(shù)

9、 記為(b)連續(xù)型總體連續(xù)型總體 niinnxfxfxfxfXXXxfX12121),(),(),(),( ),.,(),(, 的的聯(lián)聯(lián)合合密密度度為為為為待待估估參參數(shù)數(shù)，則則樣樣本本，已已知知其其概概率率密密度度為為連連續(xù)續(xù)型型設(shè)設(shè)總總體體上一頁上一頁下一頁下一頁返回返回),()( ).(,),(11 iniinixfLLxf 記記為為的的函函數(shù)數(shù)看看作作是是關(guān)關(guān)于于參參數(shù)數(shù)將將 ( ), .L對(duì)于離散型或連續(xù)型總體,只要知道其分布律或密度函數(shù),總可以得到一個(gè)關(guān)于參數(shù) 的函數(shù)稱之為似結(jié)：然函數(shù)論上一頁上一頁下一頁下一頁返回返回1212,( ).(,)( )max( )nnx xxLx xx

10、LL對(duì)于已得到的樣本觀察值把似然函數(shù)看做為未知參數(shù)的函數(shù)選取使“似然程度”最大的作為 的極大似然估計(jì),即 滿足的的極極大大似似然然估估計(jì)計(jì)。為為極極大大估估計(jì)計(jì)量量。兩兩者者統(tǒng)統(tǒng)稱稱的的）稱稱為為，（由由此此得得到到的的統(tǒng)統(tǒng)計(jì)計(jì)量量的的極極大大似似然然估估計(jì)計(jì)值值，）為為參參數(shù)數(shù)，（稱稱 nnXXXxxx2121(2)極大似然估計(jì)極大似然估計(jì)上一頁上一頁下一頁下一頁返回返回返極大似然估計(jì)。的便是參數(shù)，那么的最大值點(diǎn)）求似然函數(shù)（)(2L，數(shù)數(shù)）先先求求出出樣樣本本的的似似然然函函（)(1 L值值的的基基本本步步驟驟：求求參參數(shù)數(shù)的的極極大大似似然然估估計(jì)計(jì)( )()L當(dāng)似然函數(shù)關(guān)于參數(shù) 連續(xù)可

11、導(dǎo) 或具有連續(xù)偏導(dǎo)數(shù)時(shí) 采用微分法求極大似然估計(jì)。1212(ln( )0()ln( ,.,)0(1,2,., )().kikdLdLikk 求解下面似然方程(組)可求得 的極大似然估計(jì)總體分布中只含有一個(gè)未知參數(shù) 時(shí) 或總體分布中含有 個(gè)未知參數(shù) ， ，時(shí)上一頁上一頁下一頁下一頁返回返回上一頁上一頁下一頁下一頁返回返回例例3. 在泊松總體中抽取樣本在泊松總體中抽取樣本,其樣本值為其樣本值為:x1，x2，xn，試對(duì)泊松分布的未知參數(shù)試對(duì)泊松分布的未知參數(shù)作極大似然估計(jì)作極大似然估計(jì).解解 因泊松總體是離散型的因泊松總體是離散型的,其概率分布為：其概率分布為：PX=x=e! xx故似然函數(shù)為：故似

12、然函數(shù)為：故似然函數(shù)為：故似然函數(shù)為：. .L()=niniixnixxxniii11!1!1ee.ln L()=11lnln(!)nniiiinxx,niixn11)ln(dd.令令ddln=0，得：，得： niixn11=0.xxnniiL11.LX所以所以,的極大似然估計(jì)量為的極大似然估計(jì)量為 上一頁上一頁下一頁下一頁返回返回例例4. 設(shè)一批產(chǎn)品含有次品設(shè)一批產(chǎn)品含有次品,今從中隨機(jī)抽出今從中隨機(jī)抽出100件件,發(fā)現(xiàn)其發(fā)現(xiàn)其中有中有8件次品件次品,試求次品率試求次品率的極大似然估計(jì)值的極大似然估計(jì)值.解解 用極大似然法時(shí)必須明確總體的分布用極大似然法時(shí)必須明確總體的分布,現(xiàn)在題目沒有說現(xiàn)

13、在題目沒有說 明這一點(diǎn)明這一點(diǎn),故應(yīng)先來確定總體的分布故應(yīng)先來確定總體的分布.設(shè)設(shè) Xi=,100, 2 , 1, 0, 1i，i，i次取正品第次取次品第則則Xi服從兩點(diǎn)分布：服從兩點(diǎn)分布：設(shè)設(shè)x1，x2，x100為樣本觀測(cè)值，則：為樣本觀測(cè)值，則：p(xi,)=PXi=xi= xi（1-）1-xi，xi=0，1，上一頁上一頁下一頁下一頁返回返回故似然函數(shù)為：故似然函數(shù)為：L（）=1001100110010011)1 ()1 (iiiiiixxixx由題知：由題知： 1001iix =8，所以所以 L（）=8（1-）92.兩邊取對(duì)數(shù)得：兩邊取對(duì)數(shù)得：ln L（）=8ln+92ln（1-）.對(duì)數(shù)

14、似然方程為：對(duì)數(shù)似然方程為：1928)(lnddL=0.解之得解之得=8/100=0.08.所以所以L=0.08.上一頁上一頁下一頁下一頁返回返回例例5. 設(shè)設(shè)x1，x2，xn為來自正態(tài)總體為來自正態(tài)總體N(,2)的觀測(cè)值的觀測(cè)值,試求總體未知參數(shù)試求總體未知參數(shù),2的極大似然估計(jì)的極大似然估計(jì).解解 因正態(tài)總體為連續(xù)型，其密度函數(shù)為因正態(tài)總體為連續(xù)型，其密度函數(shù)為f（x）=222)(21xe所以似然函數(shù)為：所以似然函數(shù)為： L（,2）= niinniixx122122)(21exp212)(exp21lnL（,2）=niixnn1222)(21ln22ln2 故似然方程組為：故似然方程組為：

15、上一頁上一頁下一頁下一頁返回返回. 0)(212),(ln, 0)(1),(ln124222122niiniixnLxL解以上方程組得解以上方程組得:12222111,11()().niinniiiixxnxxxbnn所以所以 22,.LLXB返返上一頁上一頁下一頁下一頁返回返回例例6. 設(shè)總體設(shè)總體X服從服從0,上的均勻分布上的均勻分布,X1,X2,Xn是是 來自來自X的樣本的樣本,求求的矩法估計(jì)和極大似然估計(jì)的矩法估計(jì)和極大似然估計(jì).解解 因?yàn)橐驗(yàn)镋(X)=/2,令令X=E(X),得得.2X矩又又 f（x）=., 0,0,1其他x所以所以L（）=n1，0 xi.要使要使L（）最大）最大,必

16、須盡可能小必須盡可能小,iniLX1max.又又xi，i=1,2,n,所以所以第二節(jié)第二節(jié) 估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)1.無偏性無偏性無偏性、有效性、一致性。無偏性、有效性、一致性。 ( ),.E若則稱 是 的無偏估計(jì)定義定義1：12 (,)nXXX設(shè)為未知參數(shù) 的一 個(gè)估計(jì)量,上一頁上一頁下一頁下一頁返回返回估計(jì)量估計(jì)量的值不一定就是的值不一定就是的真值，因?yàn)樗且粋€(gè)隨的真值，因?yàn)樗且粋€(gè)隨是是的無偏估計(jì)，則盡管的無偏估計(jì)，則盡管本值的不同而變化，但平均來說它會(huì)等于本值的不同而變化，但平均來說它會(huì)等于的真值的真值.機(jī)變量，若機(jī)變量，若的值隨樣的值隨樣無偏估計(jì)。的階矩是總體階矩樣本證明的

17、樣本。為來自總體，（存在，階矩的設(shè)總體例knikiknkkkXnAkXXXXXEkX1211：)(1，）（因因?yàn)闉樽C證kkiXE :,1)(1knikikXEnAE）（所以.kkA即是的一個(gè)無偏估計(jì)量上一頁上一頁下一頁下一頁返回返回XE X特別, 是（ ）的無偏估計(jì)量.上一頁上一頁下一頁下一頁返回返回例例2. 設(shè)有總體設(shè)有總體X，E（X）=,D（X）=2,（X1，X2，Xn）為從該總體中抽得的一個(gè)樣本，樣本方差）為從該總體中抽得的一個(gè)樣本，樣本方差S2及二階樣本中心矩及二階樣本中心矩B2=211()niiXXn2的無偏估計(jì)？的無偏估計(jì)？ 是否為總體方差是否為總體方差解解 因?yàn)橐驗(yàn)镋(S2)=2

18、，所以，所以S2是是2的一個(gè)無偏估計(jì)，這也的一個(gè)無偏估計(jì)，這也B2=21nSn 那么那么E（B2）=2211()nnE Snn,所以所以B2不是不是2的一個(gè)無偏估計(jì)的一個(gè)無偏估計(jì).是我們稱是我們稱S2為樣本方差的理由為樣本方差的理由.由于由于上一頁上一頁下一頁下一頁返回返回注注:一般說來無偏估計(jì)量的函數(shù)并不是未知參數(shù)相應(yīng)函一般說來無偏估計(jì)量的函數(shù)并不是未知參數(shù)相應(yīng)函 數(shù)的無偏估計(jì)量數(shù)的無偏估計(jì)量.22222()()().E XD XE XnX2X當(dāng)當(dāng)XN（,2）時(shí)，）時(shí)，是是的無偏估計(jì)量的無偏估計(jì)量,但但不是不是2的無偏估計(jì)量，事實(shí)上：的無偏估計(jì)量，事實(shí)上：例如，例如， 2.有效性有效性.),

19、()( , 212121有效比則稱有若對(duì)于任意的的無偏估計(jì)都是未知參數(shù)與設(shè)DD定義定義2上一頁上一頁下一頁下一頁返回返回121121如果如果比比有效，則雖然有效，則雖然還不是還不是的真值的真值,但但在在附近取值的密集程度較附近取值的密集程度較高，即用高，即用精度要高些精度要高些.估計(jì)估計(jì)1221222212123()()()()1nXXXXE XD XXXDDnn例 . 設(shè)， ，是取自總體 的樣本，且，則，都是 的無偏估計(jì),但,，故當(dāng)樣本容量時(shí),較有效。最最具具有有效效性性。均均值值線線性性無無偏偏估估計(jì)計(jì)中中，樣樣本本的的在在形形如如可可以以證證明明XXniiniii)1(:11 上一頁上一

20、頁下一頁下一頁返回返回3.一致性一致性上一頁上一頁下一頁下一頁返回返回 ,0, lim 1.nnnnP 如果依概率收斂于即對(duì)有 則稱是 的一致估計(jì)量定義定義41(,),nnnXX設(shè)是 的一個(gè)估計(jì)量X2S由辛欽大數(shù)定律可以證明：樣本均值由辛欽大數(shù)定律可以證明：樣本均值均值均值的一致估計(jì)量，樣本方差的一致估計(jì)量，樣本方差中心矩中心矩B2都是總體方差都是總體方差2的一致估計(jì)量的一致估計(jì)量.是總體是總體及二階樣本及二階樣本上一頁上一頁下一頁下一頁返回返回例例4.隨機(jī)變量隨機(jī)變量X服從服從0,上的均勻分布上的均勻分布,今得今得X的樣本觀的樣本觀測(cè)值：測(cè)值：0.9,0.8,0.2,0.8,0.4,0.4,

21、0.7,0.6，求，求的矩法估計(jì)和的矩法估計(jì)和極大似然估計(jì)極大似然估計(jì),它們是否為它們是否為的無偏估計(jì)的無偏估計(jì).()2E X()E XX解解 (1) ,令令，則，則2X( )2 ()2 ()EE XE X且且22 0.61.2x所以所以的矩估計(jì)值為的矩估計(jì)值為2X且且是是的的一個(gè)無偏估計(jì)一個(gè)無偏估計(jì).上一頁上一頁下一頁下一頁返回返回(2) 似然函數(shù)似然函數(shù)88111( , )(0,)iniLf xxx顯然顯然L=L()(0),那么那么18max iix 時(shí)時(shí),L=L()最大最大,所以所以的極大似然估計(jì)值的極大似然估計(jì)值=0.9.18maxiiX 因?yàn)橐驗(yàn)镋( )=E( )=8918maxii

22、X ,所以所以 =不是不是的無偏計(jì)的無偏計(jì).上一頁上一頁下一頁下一頁返回返回上一頁上一頁下一頁下一頁返回返回上一頁上一頁下一頁下一頁返回返回上一頁上一頁下一頁下一頁返回返回第三節(jié)第三節(jié) 區(qū)間估計(jì)區(qū)間估計(jì) .1.,),(1 )10(1,),(),( 212121212211為為置置信信度度或或置置信信概概率率稱稱信信上上限限分分別別稱稱為為置置信信下下限限與與置置的的的的置置信信區(qū)區(qū)間間，為為參參數(shù)數(shù)則則稱稱隨隨機(jī)機(jī)區(qū)區(qū)間間有有如如果果對(duì)對(duì)于于給給定定的的概概率率是是兩兩個(gè)個(gè)統(tǒng)統(tǒng)計(jì)計(jì)量量及及設(shè)設(shè) PXXXXXXnn定義定義5：1. 區(qū)間估計(jì)的概念區(qū)間估計(jì)的概念上一頁上一頁下一頁下一頁返回返回.1

23、,),(12122的的置置信信區(qū)區(qū)間間的的置置信信度度為為求求的的樣樣本本是是來來自自設(shè)設(shè)為為未未知知參參數(shù)數(shù)已已知知設(shè)設(shè)總總體體、例例 XXXXNXn:,(0,1)./XXNn解是 的無偏估計(jì) 且有,1/,2 unXP有有分分位位數(shù)數(shù)的的定定義義按按標(biāo)標(biāo)準(zhǔn)準(zhǔn)正正態(tài)態(tài)分分布布的的上上,)1 , 0(/不不依依賴賴于于任任何何未未知知參參數(shù)數(shù)所所服服從從的的分分布布 NnX 上一頁上一頁下一頁下一頁返回返回),(122unXunX 的置信區(qū)間的一個(gè)置信度為得到了).(2unX 通常寫成 122unXunXP即即上一頁上一頁下一頁下一頁返回返回2. 正態(tài)總體參數(shù)的區(qū)間估計(jì)正態(tài)總體參數(shù)的區(qū)間估計(jì).1),10(,),(,2221的的置置信信區(qū)區(qū)間間的的置置信信度度為為和和分分別別求求參參數(shù)數(shù)給給定定的的對(duì)對(duì)于于的的一一個(gè)個(gè)樣樣本本是是來來自自總總體體設(shè)設(shè) NXXXn的的置置信信區(qū)區(qū)間間均均值值 )1();( 1,)(22unXa的置信區(qū)間為的置信度為已知時(shí)當(dāng)),1(/,)(2 ntnSXTXb 由于由于的點(diǎn)估計(jì)仍為樣本均值的點(diǎn)估計(jì)仍為樣本均值取取未知未知當(dāng)當(dāng)上一頁上一頁下一頁下一頁返回返回).1(),1(),1(1222 ntnSXntnSXntnSX 簡(jiǎn)簡(jiǎn)記記為為的的置置信信區(qū)區(qū)間間為為的的置置信信