參數(shù)的點估計PPT課件

1、 總體樣本統(tǒng)計量描述作出推斷隨機抽樣第1頁/共41頁 現(xiàn)在我們來介紹一類重要的統(tǒng)計推斷問題 參數(shù)估計問題是利用從總體抽樣得到的信息來估計總體的某些參數(shù)或者參數(shù)的某些函數(shù). 參數(shù)估計估計廢品率估計新生兒的體重估計湖中魚數(shù) 估計降雨量在參數(shù)估計問題中，假定總體分布形式已知，未知的僅僅是一個或幾個參數(shù).第2頁/共41頁這類問題稱為參數(shù)估計.參數(shù)估計問題的一般提法X1,X2,Xn要依據(jù)該樣本對參數(shù) 作出估計, 或估計 的某個已知函數(shù) .)( g現(xiàn)從該總體抽樣，得樣本 設(shè)有一個統(tǒng)計總體 , 總體的分布函數(shù)為F( x, ) ，其中 為未知參數(shù) ( 可以是向量) . 第3頁/共41頁參數(shù)估計點估計區(qū)間估計在

2、要求的精度范圍內(nèi)在要求的精度范圍內(nèi)指出參數(shù)所在的區(qū)間指出參數(shù)所在的區(qū)間用某一統(tǒng)計值用某一統(tǒng)計值作為參數(shù)的近似作為參數(shù)的近似第4頁/共41頁)1 . 0,(2 N（假定身高服從正態(tài)分布 ） 設(shè)這5個數(shù)是:1.65 1.67 1.68 1.78 1.69 估計 為1.68， 這是點估計.這是區(qū)間估計.估計 在區(qū)間 1.57, 1.84 內(nèi)，例如我們要估計某隊男生的平均身高. 現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個數(shù)）求出總體均值 的估計. 而全部信息就由這5個數(shù)組成 . 第5頁/共41頁尋求估計量的方法尋求估計量的方法1. 矩估計法2. 極大似然法3. 最小二乘法4. 貝

3、葉斯方法 這里我們主要介紹前面兩種方法 .第6頁/共41頁1. 矩估計法 矩估計法是英國統(tǒng)計學家K.皮爾遜最早提出來的 .由辛欽定理 ,若總體 的數(shù)學期望 有限, E X X則有11niiXXn ()PE X 11nkkiiAXn ()(1,2,)PkkE Xk 12(,)kg A AA12(,)Pkg 其中 為連續(xù)函數(shù) .g第7頁/共41頁 這表明 , 當樣本容量很大時 , 在統(tǒng)計上 , 可以用 用樣本矩去估計總體矩 . 這一事實導(dǎo)出矩估計法.定義 用樣本原點矩估計相應(yīng)的總體原點矩 , 又用樣本原點矩的連續(xù)函數(shù)估計相應(yīng)的總體原點矩的連續(xù)函數(shù), 這種參數(shù)點估計法稱為矩估計法 . 理論依據(jù): 大

4、數(shù)定律矩估計法的具體做法如下 設(shè)總體的分布函數(shù)中含有k個未知參數(shù) , 那么它的前k階矩 ,一般12,k 12,k 第8頁/共41頁都是這 k 個參數(shù)的函數(shù),記為：從這 k 個方程中解出i=1,2, ,k12(,)iik j=1,2,k12(,)jjk 那么用諸 的估計量 Ai 分別代替上式中的諸 , iij=1,2,k12(,)jjkA AA j即可得諸 的矩估計量 ：矩估計量的觀察值稱為矩估計值 .第9頁/共41頁 例2 設(shè)總體 X 在 a , b 上服從均勻分布 , a , b 未知 . 是來自 X 的樣本 , 試求 a , b 的矩估計量 .1,nXX解 1E X 2ab 22E X 2

5、()12ba 2()()D XE X2()4ab 第10頁/共41頁即 1221212()abba 解得于是 a , b 的矩估計量為 21213()a21213()b213() ,niiaXXXn 213()niibXXXn 樣本矩總體矩第11頁/共41頁解 1E X 22E X 2()()D XE X 例3 設(shè)總體 X 的均值 和方差 都存在 , 未知 . 是來自 X 的樣本 , 試求 的矩估計量 .1,nXX2(0) 2, 2, 22第12頁/共41頁解得1AX1 2221于是 的矩估計量為 2, 22222111niiAAXXn 211()niiXXn 樣本矩總體矩第13頁/共41頁設(shè)

6、總體設(shè)總體 X 服從泊松分布，參數(shù)服從泊松分布，參數(shù)未知，未知，12(,)nX XX是來自總體的一個樣本，求參數(shù)是來自總體的一個樣本，求參數(shù)的矩的矩估計量估計量. 解 ()()E XD X從而得到方程 12111(X)niiniiXnXn或所以的矩估計量為 122,BX4例第14頁/共41頁休息一會。第15頁/共41頁 2. 最大似然法 它是在總體類型已知條件下使用的一種參數(shù)估計方法 . 它首先是由德國數(shù)學家高斯在1821年提出的 . GaussFisher 然而,這個方法常歸功于英國統(tǒng)計學家費歇 . 費歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì) .第16頁/共41頁最大

7、似然法的直觀想法：如果一個試驗有多種可能結(jié)果，現(xiàn)在進行一次試驗，發(fā)現(xiàn)事件A發(fā)生了，于是我們認為事件A發(fā)生的可能性似乎比其它事件發(fā)生的可能性要大。第17頁/共41頁 最大似然估計原理： 當給定樣本X1,X2,Xn時，定義似然函數(shù)為： 設(shè)X1,X2,Xn是取自總體X的一個樣本，樣本的聯(lián)合密度(連續(xù)型）或聯(lián)合分布律 (離散型)為 f (x1,x2, ,xn ; ) . )( Lf (x1, x2 , xn; ) 這里 x1, x2 , xn 是樣本的觀察值 .第18頁/共41頁 似然函數(shù)：)(max)( LL 最大似然估計法就是用使 達到最大值的 去估計 . )( L 稱 為 的最大似然估計值 .

8、看作參數(shù) 的函數(shù)，它可作為 將以多大可能產(chǎn)生樣本值 x1, x2, ,xn 的一種度量 .)( L )( L f (x1,x2, xn; ) 而相應(yīng)的統(tǒng)計量稱為 的最大似然估計量 .1(,)n XX第19頁/共41頁兩點說明： 1、求似然函數(shù)L( ) 的最大值點，可以應(yīng)用微積分中的技巧。由于ln(x)是 x 的增函數(shù), lnL( )與L( )在 的同一值處達到它的最大值，假定 是一實數(shù)，且lnL( )是 的一個可微函數(shù)。通過求解方程： 可以得到 的MLE . 0)(lndLd 若 是向量，上述方程必須用方程組代替 . 2、用上述求導(dǎo)方法求參數(shù)的MLE有時行不通，這時要用最大似然原則來求 .第2

9、0頁/共41頁 下面舉例說明如何求最大似然估計L(p)= f (x1, x2, xn; p ) 例5 設(shè)X1,X2,Xn是取自總體 XB(1, p) 的一個樣本，求參數(shù)p的最大似然估計量.nixxiipp11)1 (解：似然函數(shù)為: ppXi110第21頁/共41頁)1ln()()ln()(ln11pxnpxpLniinii對數(shù)似然函數(shù)為：niiniixnxpppL11)1()(niiniixnxpp11)1 (第22頁/共41頁對p求導(dǎo)并令其為0，)(111)(ln11niiniixnpxpdppLd=0得xxnpnii11即為 p 的最大似然估計值 .從而 p 的最大似然估計量為 111(

10、,)nniip XXXXn 第23頁/共41頁 (4) 在最大值點的表達式中, 用樣本值代入就得參數(shù)的最大似然估計值 .求最大似然估計(MLE)的一般步驟是： (1) 由總體分布導(dǎo)出樣本的聯(lián)合分布率(或聯(lián)合密度); (2) 把樣本聯(lián)合分布率 ( 或聯(lián)合密度 ) 中自變 量看成已知常數(shù),而把參數(shù) 看作自變量,得到似然 函數(shù)L( ); (3) 求似然函數(shù)L( ) 的最大值點(常常轉(zhuǎn)化為求ln L( )的最大值點) ，即 的MLE; 第24頁/共41頁 例6 設(shè)總體 X N( ) , 未知 . 是來自 X 的樣本值 , 試求 的最大似然估計量 .1,nxx2, 2, 2, 似然函數(shù)為 解X 的概率密

11、度為 xexfx,21)(222)( 222()211( ,)2ixniL e 第25頁/共41頁222()211( ,)2ixniL e 2222211(2 )()exp() 2nnniix 于是22211ln(2 )ln()222niinnLnLx 令211()0niiLnLxn 2222211()022()niinLnLx 第26頁/共41頁11niixxn 2211()niixxn 解得的最大似然估計量為2, ,X 2211()niiXXn 第27頁/共41頁解：似然函數(shù)為例7 設(shè)X1,X2,Xn是取自總體X的一個樣本為未知參數(shù)其它 , 0,1)()(xexfXx其中 0,求 的最大似

12、然估計. ,其它，, 01),(1)(niixxeLi i=1,2,n第28頁/共41頁其它, 0min,11)(1 ixnxenii對數(shù)似然函數(shù)為niixnL1)(1ln),(ln 解：似然函數(shù)為其它，, 01),(1)(niixxeLi i=1,2,n第29頁/共41頁niixn11 nL),(ln=0 (2)由(1)得niixnL12)(1),(ln =0 (1)對 分別求偏導(dǎo)并令其為0,對數(shù)似然函數(shù)為niixnL1)(1ln),(ln 若用求導(dǎo)方法無法最終確定用最大似然原則來求 .、 , 第30頁/共41頁inix1*min 是故使 達到最大的 即 的MLE ),( L , niixn

13、1*1 于是即 為 的MLE .*, ,對, 0),(,min Lxi且是 的增函數(shù) 其它, 0min,1),(1)(1ixnxeLnii第31頁/共41頁三、三、 例1 設(shè)總體X的概率密度為其它, 010,) 1()(xxxf 其中 是未知參數(shù) , X1 , X2 , , Xn 是取自 X 的樣本,1 求參數(shù) 的矩估計.第32頁/共41頁解 樣本矩總體矩解得11211 的矩估計量為 故211XX 1E X 10(1)x x dx 110(1)xdx 12 第33頁/共41頁解 由密度函數(shù)知例 2 設(shè)X1,X2,Xn是取自總體 X 的一個樣本為未知參數(shù)其它 , 0,1)()(xexfXx其中

14、0 , 求 的矩估計. , X具有均值為 的指數(shù)分布 即E(X- ) = 2 D(X- )= E(X)= 2 D(X)= 故第34頁/共41頁解得 X niiXXn12)(1 niiXXn12)(1也就是 E(X)= 2 D(X)=()D X ()()E XD X的矩估計量為于是, 第35頁/共41頁例3 設(shè)X1,X2,Xn是取自總體X的一個樣本(0, ),0XU求參數(shù) 的最大似然估計量。第36頁/共41頁解 似然函數(shù)為niixL11)( 11)( niinx) 10(ix對數(shù)似然函數(shù)為niixnL1ln) 1(ln)(ln ni 1例4 設(shè)X1,X2,Xn是取自總體X的一個樣本其它, 010,)(1xxxfX 求 的最大似然估計值. 其中 0,第37頁/共41頁niixndLd1ln)(