上海海事大學概率論第七章參數(shù)估計ppt課件

1、 第七章第七章 參數(shù)估計參數(shù)估計在參數(shù)估計問題中，假定總體分在參數(shù)估計問題中，假定總體分布形式已知，未知的僅僅是一個或幾布形式已知，未知的僅僅是一個或幾個參數(shù)。個參數(shù)。例如：估計大學生的平均身高估計大學生的平均身高參數(shù)估計問題的一般提法參數(shù)估計問題的一般提法現(xiàn)從該總體抽樣，得樣本現(xiàn)從該總體抽樣，得樣本設有一個統(tǒng)計總體，總體的分布函數(shù)設有一個統(tǒng)計總體，總體的分布函數(shù)向量向量) . 為為 F(x, )，其中，其中 為未知參數(shù)為未知參數(shù) ( 可以是可以是 （ X1, X2 , , Xn ）要依據(jù)該樣本對參數(shù)要依據(jù)該樣本對參數(shù) 作出估計，或估計作出估計，或估計 的某個已知函數(shù)的某個已知函數(shù) 。這類問題

2、稱為：。這類問題稱為：g() 參數(shù)估計參數(shù)估計參數(shù)估計點估計區(qū)間估計例例1 已知某地區(qū)大學生的身高已知某地區(qū)大學生的身高 X2N(,), 2, 未未知知隨機抽查隨機抽查100100個大學生得個大學生得100100個個身高數(shù)據(jù)。身高數(shù)據(jù)。呢呢? ? 據(jù)此據(jù)此, ,我們應如何估計我們應如何估計和和1 點估計點估計 為估計為估計 ,我們需要構(gòu)造出適當?shù)臉游覀冃枰獦?gòu)造出適當?shù)臉颖镜暮瘮?shù)本的函數(shù)T(X1,X2,Xn)，每當有了樣，每當有了樣本，就代入該函數(shù)中算出一個值，用本，就代入該函數(shù)中算出一個值，用來作為來作為 的估計值的估計值 . T( X1 , X2 , Xn ) 稱為參數(shù)稱為參數(shù) 的點估計量，

3、的點估計量，把樣本值代入把樣本值代入T( X1 , X2 , Xn ) 中，中，得到得到 的一個點估計值的一個點估計值 。 請注意，被估計的參數(shù)請注意，被估計的參數(shù) 是一個是一個未知常數(shù)，而估計量未知常數(shù)，而估計量 T(X1,X2,Xn)是一個隨機變量，是樣本的函數(shù)是一個隨機變量，是樣本的函數(shù),當當樣本取定后，它是個已知的數(shù)值樣本取定后，它是個已知的數(shù)值,這這個數(shù)常稱為個數(shù)常稱為 的估計值的估計值 。 問題是問題是: 使用什么樣的統(tǒng)計量去估計使用什么樣的統(tǒng)計量去估計 ？ 尋求估計量的方法：1. 矩估計法矩估計法2. 極大似然法極大似然法3. 最小二乘法最小二乘法4. 貝葉斯方法貝葉斯方法1.

4、矩估計法矩估計法矩估計法是英國統(tǒng)計學家矩估計法是英國統(tǒng)計學家K.皮爾遜皮爾遜最早提出的基于一種簡單的最早提出的基于一種簡單的“交換思交換思想建立起來的一種估計方法想建立起來的一種估計方法 . 其基本思想是用樣本矩估計總體矩其基本思想是用樣本矩估計總體矩 。記總體記總體k階矩為階矩為)(kkXE 樣本樣本k階矩為階矩為nkkii 11AXn 記總體記總體k階中心矩為階中心矩為kkXEXE)( 樣本樣本k階中心矩為階中心矩為nkkii 11B( XX )n 用相應的樣本矩去估計總體矩的估計方法就稱為矩估計法。PkkPkkAB 理論依據(jù)理論依據(jù): 大數(shù)定律大數(shù)定律一般地一般地, ,設總體設總體X X

5、 f(x;), f(x;), 其其中中 , ,求參數(shù)求參數(shù)的矩估計的一般步驟為的矩估計的一般步驟為: :1,.,k1. 令令1111,.,. .,.,kkkkkE XgE Xg2.解解:1111,.,. .,.,kkkkhh1111,.,. .,.,kkkkhh其中其中11nkkiiXn3. 得得最常用的是：最常用的是：1E( X ) 估估計計n22ii 11AXn 用用n1ii 11AXXn 用用22E( X) 估估計計n22ii 11B( XX )n 用用2D(X ) 估估計計22E(X)( E(X) 221nn22iii 1i 111X(X )nn !p151 例例2 設總體設總體X的概

6、率密度為的概率密度為(1)x ,0 x1f ( x )0, 其其它它是未知參數(shù)是未知參數(shù),其中其中1 X1,X2,Xn是取自是取自X的樣本的樣本,求參數(shù)求參數(shù) 的矩估計的矩估計. 101E( X )x(1)x dx 解解: 110(1)xd2x1 11211 從從 中解得中解得 2X1,1X 的矩估計的矩估計. 即為即為得：得： 由矩法由矩法,11AX 令11211 例例3 設設X1,X2,Xn是取自總體是取自總體X的一個樣本的一個樣本()1,( ),0,xexXf x 為未知參數(shù)其它其中其中 0,求求 的矩估計的矩估計. , 解解:/1( x)1E( X )xf ( x )dxxedx (

7、x)/xde ( x)/( x)/xeedx 222( x)/21E( X )x f ( x )dxxedx 2( x)/x de 2( x)/( x)/x e2xedx 22 E( X )2222 ()() 令：nii 1n12i12iAA1xn1xn 1222() nn22iii 1i 111X(X )nn 解得：nii 11Xn nnn22iiii 1i 1i 1111XX(X )nnn nn22iii 1i 111X(X )nn 其中：n2ii 11( XX )n n22iii 11( X2XXX )n nn22iii 1i 11(X2XXnX )n n22ii 11XXn ？n2ii

8、 11X( XX )n n2ii 11( XX )n EX:例例1 矩法的優(yōu)點是簡單易行矩法的優(yōu)點是簡單易行,并不需并不需要事先知道總體是什么分布要事先知道總體是什么分布 。 缺點是，當總體類型已知時，沒有缺點是，當總體類型已知時，沒有 充分利用分布提供的信息充分利用分布提供的信息 . 一般場合下一般場合下,矩估計量不具有唯一性矩估計量不具有唯一性 。例如例如:總體總體X ,A1,B2 都是都是 的矩估計。的矩估計。 ( ) 2. 極大似然法極大似然法在總體類型已知條件下使用的一種在總體類型已知條件下使用的一種參數(shù)估計方法參數(shù)估計方法 。它首先是由德國數(shù)學家它首先是由德國數(shù)學家Gauss在在1

9、821年提出的年提出的 ,Fisher在在1922年重新發(fā)現(xiàn)年重新發(fā)現(xiàn)了這一方法，并首先研究了這了這一方法，并首先研究了這 種方法的種方法的一些性質(zhì)一些性質(zhì) 。 極大似然法的基本思想：極大似然法的基本思想：即，已發(fā)生的事件具有最大概率。極大似然原理 先看一個簡單例子：先看一個簡單例子：在軍訓時，某位同學與一位教官同在軍訓時，某位同學與一位教官同時射擊，而在靶紙上只留下一個彈孔。時射擊，而在靶紙上只留下一個彈孔。如果要你推測，是誰打中的呢？如果要你推測，是誰打中的呢？你會如何想呢你會如何想呢?若若X 為離散型總體：為離散型總體：iiP Xx f ( x ;) 為樣本1n( X ,X )為樣本觀察

10、值。1n( x ,x )已發(fā)生的事件為：已發(fā)生的事件為：11nn Xx ,Xx 其概率為：其概率為：11nn11nnP Xx ,Xx P Xx P Xx 1nf ( x ;)f ( x ;) nii 1f ( x ;) 12nx ,x ,xL(), 我們的任務是：我們的任務是：nii 1f ( x ,max) 12n12nL()max L(,x ,x ,xx ,)x ,x, 選擇 使:若若X 為連續(xù)型總體：為連續(xù)型總體：Xf ( x;) 為樣本觀察值。1n( x ,x )為樣本1n( X ,X )已發(fā)生的事件為：已發(fā)生的事件為：111nnn xXx ,xx,xXx 11nn Xx ,Xx 其概

11、率為：其概率為：111nnn111nnnP xXx ,xXx P xXx P xxXxxxx 1nxf ( x ;)fx( x ;) nnii 1(x )f ( x ;) n12nx ,xL,(x)(,x 我們的任務是：我們的任務是：nii 1f ( x ,max) 12n12nL()max L(,x ,x ,xx ,)x ,x, 選擇 使:稱稱 為為似然函數(shù)似然函數(shù) nii 112nL()x ,f ( x ;),x ,x 稱滿足稱滿足 的的 為為 的極大似然估計值。的極大似然估計值。12n12nmaL()L(,x ,x ,xx,x),x,x 12n( x ,x ,x) 稱稱 為為 的極大似然

12、估計的極大似然估計量量MLE）. 12n( X ,X ,X) 例例4 設總體設總體 X b ( 1, p ),X1,Xn是一個是一個樣本，求參數(shù)樣本，求參數(shù) p 的極大似然估計的極大似然估計.解：解：X01P1-ppx1 xf ( x; p)p (1p)x0,1 nii 1L( p)f ( x ; p) iinx1 xi 1p (1p) nniii 1i 1xnxp(1p) nn1212x1 xxx1 x1 xppp(1p )(1p )(1p ) pxnniii 1i 1d lnL( p)11x(nx )0dpp1p nniii 1i 1L( p)x ln p(lnnx )ln(1p) nii

13、 1nii 1nx1ppx pX 例例5設總體設總體其它, 010,)(1xxxfX 其中其中 0, 求求 的極大似然估計的極大似然估計. 解：解： nii 1L()f ( x ;) n1ii 1x nn1ii 1(x ) (01)x!nii 1nlnlnL()(1)ln x nii 1ndllnL()0dn x nii 1nln x nii 1nln X 在總體分布中，把概率函數(shù)在總體分布中，把概率函數(shù)(或密度或密度)中自中自變量看成已知常數(shù)變量看成已知常數(shù),而把參數(shù)而把參數(shù) 看作自變看作自變量導出似然函數(shù)量導出似然函數(shù) L( );求極大似然估計求極大似然估計MLEMLE的一般步驟：的一般步

14、驟： 求似然函數(shù)求似然函數(shù)L( ) 的最大值點的最大值點(常常轉(zhuǎn)化為常常轉(zhuǎn)化為求求ln L()的最大值點的最大值點) ，即，即 的的MLE; 在最大值點的表達式中在最大值點的表達式中, 用樣本代入就得用樣本代入就得參數(shù)參數(shù) 的極大似然估計量的極大似然估計量兩點說明1、求似然函數(shù)、求似然函數(shù)L( ) 的最大值點，通過求的最大值點，通過求 解解似然方程：似然方程： d lnL()0d 得到得到 的的MLE 。 假設假設 是向量，上述方程必須用似然方程是向量，上述方程必須用似然方程組代替組代替 。 2、用上述求導方法求參數(shù)的、用上述求導方法求參數(shù)的MLE有時行不通，這時要用極大似然原理有時行不通，這

15、時要用極大似然原理來求來求 。解：解：n22ii 1L(,)f ( x ;,) 例例6 設總體設總體 其中參數(shù)其中參數(shù) 未知，使用極大似然估計法求未知，使用極大似然估計法求 的的估計量。估計量。2N()X, 2, 2, 2i2( x)ni 11e2 n2i2i 1( x)n1() e2 2ni2i 1( x)2n1L(,)() e2 2n22i2i 1lnlnl( x)nL(,)n(2)()2n 2ni2i 1(lnx)L(,)20 22ni224i 1( x)L(,)n 1l02n X nn2222iii 1i 111( XX )X( X )nn 例例7 ( x)1e,xXf ( x ),0

16、, 為為未未知知參參數(shù)數(shù)其其它它 其中其中 0,求求 的極大似然估計。的極大似然估計。 , 解：解：nii 1L(,)f ( x ; ,) in( x)ii 11ex0, ，其它i=1,2,nnii 11( x)in1e,min x0, 其它in( x)ii 11ex0, ，其它i=1,2,nnii 11lnL(,)nln( x) niixnL1)(1ln),(ln lnL(,)n0 ni2i 1lnL(,)n1( x)0 (1)(2)由由 (1) 得得nii 11xn ?!是是 的的增函數(shù)增函數(shù) nii 11( x)in1e,min xL(,)0, 其其它它故使故使 達到最大的達到最大的 即即 的的MLE， ),( L , i1 i nmin x nii 11Xn i1 i nmin X nii 11xn 極大似然估計的一個性質(zhì)極大似然估計的一個性質(zhì): 設設 的函數(shù)的函數(shù) g = g ( ) 是是 上的實值上的實值函數(shù)函數(shù),且有唯一反函數(shù)且有唯一反函數(shù) 。假設。假設 是是