上海海事大學(xué)概率論第七章參數(shù)估計(jì)ppt課件

1、 第七章第七章 參數(shù)估計(jì)參數(shù)估計(jì)在參數(shù)估計(jì)問(wèn)題中，假定總體分在參數(shù)估計(jì)問(wèn)題中，假定總體分布形式已知，未知的僅僅是一個(gè)或幾布形式已知，未知的僅僅是一個(gè)或幾個(gè)參數(shù)。個(gè)參數(shù)。例如：估計(jì)大學(xué)生的平均身高估計(jì)大學(xué)生的平均身高參數(shù)估計(jì)問(wèn)題的一般提法參數(shù)估計(jì)問(wèn)題的一般提法現(xiàn)從該總體抽樣，得樣本現(xiàn)從該總體抽樣，得樣本設(shè)有一個(gè)統(tǒng)計(jì)總體，總體的分布函數(shù)設(shè)有一個(gè)統(tǒng)計(jì)總體，總體的分布函數(shù)向量向量) . 為為 F(x, )，其中，其中 為未知參數(shù)為未知參數(shù) ( 可以是可以是 （ X1, X2 , , Xn ）要依據(jù)該樣本對(duì)參數(shù)要依據(jù)該樣本對(duì)參數(shù) 作出估計(jì)，或估計(jì)作出估計(jì)，或估計(jì) 的某個(gè)已知函數(shù)的某個(gè)已知函數(shù) 。這類問(wèn)題

2、稱為：。這類問(wèn)題稱為：g() 參數(shù)估計(jì)參數(shù)估計(jì)參數(shù)估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)例例1 已知某地區(qū)大學(xué)生的身高已知某地區(qū)大學(xué)生的身高 X2N(,), 2, 未未知知隨機(jī)抽查隨機(jī)抽查100100個(gè)大學(xué)生得個(gè)大學(xué)生得100100個(gè)個(gè)身高數(shù)據(jù)。身高數(shù)據(jù)。呢呢? ? 據(jù)此據(jù)此, ,我們應(yīng)如何估計(jì)我們應(yīng)如何估計(jì)和和1 點(diǎn)估計(jì)點(diǎn)估計(jì) 為估計(jì)為估計(jì) ,我們需要構(gòu)造出適當(dāng)?shù)臉游覀冃枰獦?gòu)造出適當(dāng)?shù)臉颖镜暮瘮?shù)本的函數(shù)T(X1,X2,Xn)，每當(dāng)有了樣，每當(dāng)有了樣本，就代入該函數(shù)中算出一個(gè)值，用本，就代入該函數(shù)中算出一個(gè)值，用來(lái)作為來(lái)作為 的估計(jì)值的估計(jì)值 . T( X1 , X2 , Xn ) 稱為參數(shù)稱為參數(shù) 的點(diǎn)估計(jì)量，

3、的點(diǎn)估計(jì)量，把樣本值代入把樣本值代入T( X1 , X2 , Xn ) 中，中，得到得到 的一個(gè)點(diǎn)估計(jì)值的一個(gè)點(diǎn)估計(jì)值 。 請(qǐng)注意，被估計(jì)的參數(shù)請(qǐng)注意，被估計(jì)的參數(shù) 是一個(gè)是一個(gè)未知常數(shù)，而估計(jì)量未知常數(shù)，而估計(jì)量 T(X1,X2,Xn)是一個(gè)隨機(jī)變量，是樣本的函數(shù)是一個(gè)隨機(jī)變量，是樣本的函數(shù),當(dāng)當(dāng)樣本取定后，它是個(gè)已知的數(shù)值樣本取定后，它是個(gè)已知的數(shù)值,這這個(gè)數(shù)常稱為個(gè)數(shù)常稱為 的估計(jì)值的估計(jì)值 。 問(wèn)題是問(wèn)題是: 使用什么樣的統(tǒng)計(jì)量去估計(jì)使用什么樣的統(tǒng)計(jì)量去估計(jì) ？ 尋求估計(jì)量的方法：1. 矩估計(jì)法矩估計(jì)法2. 極大似然法極大似然法3. 最小二乘法最小二乘法4. 貝葉斯方法貝葉斯方法1.

4、矩估計(jì)法矩估計(jì)法矩估計(jì)法是英國(guó)統(tǒng)計(jì)學(xué)家矩估計(jì)法是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜皮爾遜最早提出的基于一種簡(jiǎn)單的最早提出的基于一種簡(jiǎn)單的“交換思交換思想建立起來(lái)的一種估計(jì)方法想建立起來(lái)的一種估計(jì)方法 . 其基本思想是用樣本矩估計(jì)總體矩其基本思想是用樣本矩估計(jì)總體矩 。記總體記總體k階矩為階矩為)(kkXE 樣本樣本k階矩為階矩為nkkii 11AXn 記總體記總體k階中心矩為階中心矩為kkXEXE)( 樣本樣本k階中心矩為階中心矩為nkkii 11B( XX )n 用相應(yīng)的樣本矩去估計(jì)總體矩的估計(jì)方法就稱為矩估計(jì)法。PkkPkkAB 理論依據(jù)理論依據(jù): 大數(shù)定律大數(shù)定律一般地一般地, ,設(shè)總體設(shè)總體X X

5、 f(x;), f(x;), 其其中中 , ,求參數(shù)求參數(shù)的矩估計(jì)的一般步驟為的矩估計(jì)的一般步驟為: :1,.,k1. 令令1111,.,. .,.,kkkkkE XgE Xg2.解解:1111,.,. .,.,kkkkhh1111,.,. .,.,kkkkhh其中其中11nkkiiXn3. 得得最常用的是：最常用的是：1E( X ) 估估計(jì)計(jì)n22ii 11AXn 用用n1ii 11AXXn 用用22E( X) 估估計(jì)計(jì)n22ii 11B( XX )n 用用2D(X ) 估估計(jì)計(jì)22E(X)( E(X) 221nn22iii 1i 111X(X )nn !p151 例例2 設(shè)總體設(shè)總體X的概

6、率密度為的概率密度為(1)x ,0 x1f ( x )0, 其其它它是未知參數(shù)是未知參數(shù),其中其中1 X1,X2,Xn是取自是取自X的樣本的樣本,求參數(shù)求參數(shù) 的矩估計(jì)的矩估計(jì). 101E( X )x(1)x dx 解解: 110(1)xd2x1 11211 從從 中解得中解得 2X1,1X 的矩估計(jì)的矩估計(jì). 即為即為得：得： 由矩法由矩法,11AX 令11211 例例3 設(shè)設(shè)X1,X2,Xn是取自總體是取自總體X的一個(gè)樣本的一個(gè)樣本()1,( ),0,xexXf x 為未知參數(shù)其它其中其中 0,求求 的矩估計(jì)的矩估計(jì). , 解解:/1( x)1E( X )xf ( x )dxxedx (

7、x)/xde ( x)/( x)/xeedx 222( x)/21E( X )x f ( x )dxxedx 2( x)/x de 2( x)/( x)/x e2xedx 22 E( X )2222 ()() 令：nii 1n12i12iAA1xn1xn 1222() nn22iii 1i 111X(X )nn 解得：nii 11Xn nnn22iiii 1i 1i 1111XX(X )nnn nn22iii 1i 111X(X )nn 其中：n2ii 11( XX )n n22iii 11( X2XXX )n nn22iii 1i 11(X2XXnX )n n22ii 11XXn ？n2ii

8、 11X( XX )n n2ii 11( XX )n EX:例例1 矩法的優(yōu)點(diǎn)是簡(jiǎn)單易行矩法的優(yōu)點(diǎn)是簡(jiǎn)單易行,并不需并不需要事先知道總體是什么分布要事先知道總體是什么分布 。 缺點(diǎn)是，當(dāng)總體類型已知時(shí)，沒(méi)有缺點(diǎn)是，當(dāng)總體類型已知時(shí)，沒(méi)有 充分利用分布提供的信息充分利用分布提供的信息 . 一般場(chǎng)合下一般場(chǎng)合下,矩估計(jì)量不具有唯一性矩估計(jì)量不具有唯一性 。例如例如:總體總體X ,A1,B2 都是都是 的矩估計(jì)。的矩估計(jì)。 ( ) 2. 極大似然法極大似然法在總體類型已知條件下使用的一種在總體類型已知條件下使用的一種參數(shù)估計(jì)方法參數(shù)估計(jì)方法 。它首先是由德國(guó)數(shù)學(xué)家它首先是由德國(guó)數(shù)學(xué)家Gauss在在1

9、821年提出的年提出的 ,Fisher在在1922年重新發(fā)現(xiàn)年重新發(fā)現(xiàn)了這一方法，并首先研究了這了這一方法，并首先研究了這 種方法的種方法的一些性質(zhì)一些性質(zhì) 。 極大似然法的基本思想：極大似然法的基本思想：即，已發(fā)生的事件具有最大概率。極大似然原理 先看一個(gè)簡(jiǎn)單例子：先看一個(gè)簡(jiǎn)單例子：在軍訓(xùn)時(shí)，某位同學(xué)與一位教官同在軍訓(xùn)時(shí)，某位同學(xué)與一位教官同時(shí)射擊，而在靶紙上只留下一個(gè)彈孔。時(shí)射擊，而在靶紙上只留下一個(gè)彈孔。如果要你推測(cè)，是誰(shuí)打中的呢？如果要你推測(cè)，是誰(shuí)打中的呢？你會(huì)如何想呢你會(huì)如何想呢?若若X 為離散型總體：為離散型總體：iiP Xx f ( x ;) 為樣本1n( X ,X )為樣本觀察

10、值。1n( x ,x )已發(fā)生的事件為：已發(fā)生的事件為：11nn Xx ,Xx 其概率為：其概率為：11nn11nnP Xx ,Xx P Xx P Xx 1nf ( x ;)f ( x ;) nii 1f ( x ;) 12nx ,x ,xL(), 我們的任務(wù)是：我們的任務(wù)是：nii 1f ( x ,max) 12n12nL()max L(,x ,x ,xx ,)x ,x, 選擇 使:若若X 為連續(xù)型總體：為連續(xù)型總體：Xf ( x;) 為樣本觀察值。1n( x ,x )為樣本1n( X ,X )已發(fā)生的事件為：已發(fā)生的事件為：111nnn xXx ,xx,xXx 11nn Xx ,Xx 其概

11、率為：其概率為：111nnn111nnnP xXx ,xXx P xXx P xxXxxxx 1nxf ( x ;)fx( x ;) nnii 1(x )f ( x ;) n12nx ,xL,(x)(,x 我們的任務(wù)是：我們的任務(wù)是：nii 1f ( x ,max) 12n12nL()max L(,x ,x ,xx ,)x ,x, 選擇 使:稱稱 為為似然函數(shù)似然函數(shù) nii 112nL()x ,f ( x ;),x ,x 稱滿足稱滿足 的的 為為 的極大似然估計(jì)值。的極大似然估計(jì)值。12n12nmaL()L(,x ,x ,xx,x),x,x 12n( x ,x ,x) 稱稱 為為 的極大似然

12、估計(jì)的極大似然估計(jì)量量MLE）. 12n( X ,X ,X) 例例4 設(shè)總體設(shè)總體 X b ( 1, p ),X1,Xn是一個(gè)是一個(gè)樣本，求參數(shù)樣本，求參數(shù) p 的極大似然估計(jì)的極大似然估計(jì).解：解：X01P1-ppx1 xf ( x; p)p (1p)x0,1 nii 1L( p)f ( x ; p) iinx1 xi 1p (1p) nniii 1i 1xnxp(1p) nn1212x1 xxx1 x1 xppp(1p )(1p )(1p ) pxnniii 1i 1d lnL( p)11x(nx )0dpp1p nniii 1i 1L( p)x ln p(lnnx )ln(1p) nii

13、 1nii 1nx1ppx pX 例例5設(shè)總體設(shè)總體其它, 010,)(1xxxfX 其中其中 0, 求求 的極大似然估計(jì)的極大似然估計(jì). 解：解： nii 1L()f ( x ;) n1ii 1x nn1ii 1(x ) (01)x!nii 1nlnlnL()(1)ln x nii 1ndllnL()0dn x nii 1nln x nii 1nln X 在總體分布中，把概率函數(shù)在總體分布中，把概率函數(shù)(或密度或密度)中自中自變量看成已知常數(shù)變量看成已知常數(shù),而把參數(shù)而把參數(shù) 看作自變看作自變量導(dǎo)出似然函數(shù)量導(dǎo)出似然函數(shù) L( );求極大似然估計(jì)求極大似然估計(jì)MLEMLE的一般步驟：的一般步

14、驟： 求似然函數(shù)求似然函數(shù)L( ) 的最大值點(diǎn)的最大值點(diǎn)(常常轉(zhuǎn)化為常常轉(zhuǎn)化為求求ln L()的最大值點(diǎn)的最大值點(diǎn)) ，即，即 的的MLE; 在最大值點(diǎn)的表達(dá)式中在最大值點(diǎn)的表達(dá)式中, 用樣本代入就得用樣本代入就得參數(shù)參數(shù) 的極大似然估計(jì)量的極大似然估計(jì)量?jī)牲c(diǎn)說(shuō)明1、求似然函數(shù)、求似然函數(shù)L( ) 的最大值點(diǎn)，通過(guò)求的最大值點(diǎn)，通過(guò)求 解解似然方程：似然方程： d lnL()0d 得到得到 的的MLE 。 假設(shè)假設(shè) 是向量，上述方程必須用似然方程是向量，上述方程必須用似然方程組代替組代替 。 2、用上述求導(dǎo)方法求參數(shù)的、用上述求導(dǎo)方法求參數(shù)的MLE有時(shí)行不通，這時(shí)要用極大似然原理有時(shí)行不通，這

15、時(shí)要用極大似然原理來(lái)求來(lái)求 。解：解：n22ii 1L(,)f ( x ;,) 例例6 設(shè)總體設(shè)總體 其中參數(shù)其中參數(shù) 未知，使用極大似然估計(jì)法求未知，使用極大似然估計(jì)法求 的的估計(jì)量。估計(jì)量。2N()X, 2, 2, 2i2( x)ni 11e2 n2i2i 1( x)n1() e2 2ni2i 1( x)2n1L(,)() e2 2n22i2i 1lnlnl( x)nL(,)n(2)()2n 2ni2i 1(lnx)L(,)20 22ni224i 1( x)L(,)n 1l02n X nn2222iii 1i 111( XX )X( X )nn 例例7 ( x)1e,xXf ( x ),0

16、, 為為未未知知參參數(shù)數(shù)其其它它 其中其中 0,求求 的極大似然估計(jì)。的極大似然估計(jì)。 , 解：解：nii 1L(,)f ( x ; ,) in( x)ii 11ex0, ，其它i=1,2,nnii 11( x)in1e,min x0, 其它in( x)ii 11ex0, ，其它i=1,2,nnii 11lnL(,)nln( x) niixnL1)(1ln),(ln lnL(,)n0 ni2i 1lnL(,)n1( x)0 (1)(2)由由 (1) 得得nii 11xn ?!是是 的的增函數(shù)增函數(shù) nii 11( x)in1e,min xL(,)0, 其其它它故使故使 達(dá)到最大的達(dá)到最大的 即即 的的MLE， ),( L , i1 i nmin x nii 11Xn i1 i nmin X nii 11xn 極大似然估計(jì)的一個(gè)性質(zhì)極大似然估計(jì)的一個(gè)性質(zhì): 設(shè)設(shè) 的函數(shù)的函數(shù) g = g ( ) 是是 上的實(shí)值上的實(shí)值函數(shù)函數(shù),且有唯一反函數(shù)且有唯一反函數(shù) 。假設(shè)。假設(shè) 是是