第二章1矩估計和極大似然估計

1、 第二章 參數(shù)估計1參數(shù)估參數(shù)估計問題計問題假設(shè)檢假設(shè)檢驗問題驗問題點點 估估 計計區(qū)間估區(qū)間估 計計統(tǒng)計統(tǒng)計推斷推斷 的的基本基本問題問題2什么是參數(shù)估計？什么是參數(shù)估計？參數(shù)參數(shù)是刻畫總體某方面的概率特性的數(shù)量是刻畫總體某方面的概率特性的數(shù)量.當這個數(shù)量是未知的時候，從總體抽出一個當這個數(shù)量是未知的時候，從總體抽出一個樣本，用某種方法對這個未知參數(shù)進行估計樣本，用某種方法對這個未知參數(shù)進行估計就是就是參數(shù)估計參數(shù)估計.例如，例如，X N ( , 2), 點估計點估計區(qū)間估計區(qū)間估計若若 , 2未知，通過構(gòu)造樣本的函數(shù)未知，通過構(gòu)造樣本的函數(shù), 給出它給出它們的估計值或取值范圍就是參數(shù)估計的

2、內(nèi)容們的估計值或取值范圍就是參數(shù)估計的內(nèi)容.3參數(shù)估計的類型參數(shù)估計的類型點估計點估計 估計未知參數(shù)的值估計未知參數(shù)的值區(qū)間估計區(qū)間估計 估計未知參數(shù)的取值范圍，估計未知參數(shù)的取值范圍， 使得這個范圍包含未知參數(shù)使得這個范圍包含未知參數(shù) 真值的概率為給定的值真值的概率為給定的值.4一、點估計的思想方法一、點估計的思想方法設(shè)總體X 的分布函數(shù)的形式已知，但它含有一個或多個未知參數(shù)：1,2, ,k設(shè) X1, X2, Xn為總體的一個樣本構(gòu)造 k 個統(tǒng)計量：),(),(),(21212211nknnXXXXXXXXX隨機變量第一節(jié)第一節(jié) 參數(shù)的點估計參數(shù)的點估計5當測得一組樣本值(x1, x2, x

3、n)時，代入上述統(tǒng)計量，即可得到 k 個數(shù)：),(),(),(21212211nknnxxxxxxxxx數(shù)值稱數(shù)k,21為未知參數(shù)k,21的估計值估計值問題問題如何構(gòu)造統(tǒng)計量？對應的統(tǒng)計量為未知參數(shù)k,21的估計量估計量61、矩方法；（矩估計矩估計）2、極大似然函數(shù)法（極大似然估計極大似然估計）.二二. .點估計的方法點估計的方法q 1. 矩方法矩方法方法方法用樣本的樣本的 k 階矩作為總體的階矩作為總體的 k 階矩階矩的 估計量, 建立含待估計參數(shù)的方程建立含待估計參數(shù)的方程，從而可解出待估計參數(shù)7一般地，不論總體服從什么分布，總體期望 與方差 2 存在，則根據(jù)矩估計法它們的矩估計量矩估計量

4、分別為XXnnii112122)(1nniiSXXn2211()1niiXXSn 是無偏矩估計注注: 矩估計不唯一矩估計不唯一8事實上，按矩法原理，令11niiXXn22211E XniiAXn是 ()的估計X)()(222XEXE22 A2121XXnnii212)(1nniiSXXn9設(shè)待估計的參數(shù)為k,21設(shè)總體的總體的 r 階矩階矩存在，記為),()(21krrXE設(shè) X1, X2, Xn為一樣本，樣本的樣本的 r 階矩階矩為nirirXnB11令kr, 2 , 1),(21krniriXn11 含未知參數(shù) 1,2, ,k 的方程組10解方程組，得 k 個統(tǒng)計量：),(),(),(21

5、212211nknnXXXXXXXXX未知參數(shù)1,2, ,k 的矩估計量矩估計量),(),(),(2121222111nkknnxxxxxxxxx未知參數(shù)1,2, ,k 的矩估計值矩估計值代入一組樣本值得k個數(shù):11例例1 1 有一批零件，其長度有一批零件，其長度XNXN( ( , , 2 2) )，現(xiàn)，現(xiàn)從中任取從中任取4 4件，測的長度件，測的長度( (單位：單位：mm)mm)為為12.6,13.4,12.8,13.212.6,13.4,12.8,13.2。試估計。試估計 和和 2 2的值。的值。解：解： 由由 13)2 .138 .124 .136 .12(41x222221(12.6

6、13)(13.4 13)(12.8 13)4 1 (13.2 13) 0.133s 得得 和和 2 2的估計值分別為的估計值分別為13(mm)13(mm)和和0.133(mm)0.133(mm)2 212例例2 2 設(shè)總體X的概率密度為 其它,010,);(1xxxf X1,X2,Xn為來自于總體X的樣本,x1,x2, ,xn為樣本值,求參數(shù)的矩估計。解：解： 先求總體矩 11111000()11E Xxxdxx dxx()1()E XE X解之：13XX1為的矩估計量, xx1為的矩估計值.令 111niiAXXn14例例3 3 設(shè)總體X的概率密度為102 ( , ),xf xex 求的矩估

7、計量 解法一解法一 雖然 中僅含有一個參數(shù)，但因 102xE Xxedx 不含,不能由此解出,需繼續(xù)求總體的二階原點矩22222011322( )xxEXxedxx edx ( , )f x 15 解法二解法二 01122( )xxE Xxedxx edx 即 | XE用niiXn11替換XE即得的另一矩估計量為11niiXn得的矩估計量為2211 1/2 ,02niiXAn用2211niiAXn替換2EX222112niiAXn即16 矩估計的優(yōu)點矩估計的優(yōu)點不依賴總體的分布，簡便易行不依賴總體的分布，簡便易行只要只要n充分大，精確度也很高。充分大，精確度也很高。 矩估計的缺點矩估計的缺點矩

8、估計的精度較差；矩估計的精度較差；要求總體的某個要求總體的某個k階矩存在；階矩存在；要求未知參數(shù)能寫為總體的原點矩的函數(shù)形要求未知參數(shù)能寫為總體的原點矩的函數(shù)形式式17注意注意：1. 總體不一定存在適當階的矩?？傮w不一定存在適當階的矩。例例 考慮考慮Cauchy分布，其密度函數(shù)為分布，其密度函數(shù)為,)(1(1),(2xxxf 其各階矩均不存在。其各階矩均不存在。2. 對相同的參數(shù)對相同的參數(shù) ，存在多個矩估計。，存在多個矩估計。)( q例如，考慮總體是參數(shù)為例如，考慮總體是參數(shù)為 的的Poisson分布，分布， 總總體體的的方方差差。既既是是總總體體的的均均值值，又又是是 18你就會想,只發(fā)一

9、槍便打中,獵人命中的概率一般大于這位同學命中的概率.看來這一槍是獵人射中的.先看一個簡單的例子: 某位同學與一位獵人一起外出打獵,一只野兔從前方竄過.只聽到一聲槍響,野兔應聲倒下.如果要你推測,是誰打中的呢？你會如何想呢？ 這個例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.2 2、極大似然函數(shù)法、極大似然函數(shù)法19例例: : 設(shè)袋中裝有許多白球和黑球。只知兩種球的數(shù)目之比為3:1，試判斷是白球多還是黑球多。 分析分析: : 從袋中有放回的任取3只球.設(shè)每次取到黑球的概率為p (p=1/4或3/4)設(shè)取到黑球的數(shù)目為X,則X服從B(3,p)33()(1)0,1,2,3 kkP Xkppkk 分別

10、計算p=1/4,p=3/4時，PX=x的值，列于表1/ 4 ,0,1 ( )3 / 4 ,2,3xp xx結(jié)論結(jié)論: :X X0 01 12 23 3p=1/4p=1/4時時27/6427/6427/6427/649/649/641/641/64p=3/4p=3/4時時1/641/649/649/6427/6427/64 27/6427/64 定義定義1 1:(1)設(shè)隨機變量X的概率密度函數(shù)為f(x,), 其中為未知參數(shù)(f為已知函數(shù)). 121( )(,; )( ; )nniiLL x xxf x 若X是離散型隨機變量，似然函數(shù)定義為121( ,; )()nniiiL x xxP Xx12,

11、nxxx12,nXXX稱 為 X關(guān)于樣本觀察值 的似然函數(shù)似然函數(shù)。 12( ,; )nL x xx12,nx xx22的樣本觀察值,為樣本);,()(21nxxxLL 定義2 如果似然函數(shù)似然函數(shù) 在 時達到最大值時達到最大值,則稱 是參數(shù)的極大似然估計極大似然估計。 例例1 1 設(shè)總體X 服從參數(shù)為的指數(shù)分布，即有概率密度 ,0( , ), (0)0,0 xexf xx 又x1,x2, ,xn為來自于總體的樣本值，試求的極大似然估計.23解解 ：第一步 似然函數(shù)為1211( ,; )exp()innxnnniiiLL x xxex于是 1lnlnniiLnx11ln( ln)nniiiid

12、Ldnnxxdd 第二步第三步 11niinxx經(jīng)驗證，)(lnL在x1處達到最大，所以是的極大似然估計。0ln1niixndLd令24例例2 2： 設(shè)X服從(01)分布，PX=1=p, 其中p未知， x1,x2, ,xn為來自于總體的樣本值求p的極大似然估計。解解:X01P1-pp101(1),0,11xxP XpP XxppxP Xp 得得(0(01)1)分布之分布律的另一種表達形式分布之分布律的另一種表達形式25121(,; )()nniiiL x xxP Xx11(1)iinxxipp111ln()ln()lnniiiLxpxp11101ln()iidLxxdpppxp 令令110 (

13、)()iiipxpxnpx例例3 3：設(shè)總體X服從參數(shù)為的泊松分布，即X有分布列(分布律) ,2, 1 ,0,!);(kekkXPkpk 是未知參數(shù)，(0,+)，試求的極大似然估計。解：解： 樣本的似然函數(shù)為);,()(21nxxxLL );();();(21nxpxpxp1212!nxxxneeexxx 112!niixnnexxx nixi, 2 , 1, 2 , 1 , 0 27);,(ln)(ln21nxxxLL niniiixxn11) !ln(ln)(niinxnxxxL1211)();,(ln 從0lnL可以解出niixxn11 1211( ,)nniix xxxn是的極大似然估

14、計。因此因此28 極大似然估計的優(yōu)點極大似然估計的優(yōu)點 利用了分布函數(shù)形式利用了分布函數(shù)形式, 得到的估計量的精度一般較高。得到的估計量的精度一般較高。 極大似然估計的缺點極大似然估計的缺點 要求必須知道總體的要求必須知道總體的分布函數(shù)形式分布函數(shù)形式29其中k,21為未知參數(shù)，nxxx,21 nikiknxfxxxL1212121),;(),;,(12( ;,)kfx若總體X的概率密度為：為樣本觀察值, 此時似然函數(shù)為： 求解方程組求解方程組 12ln ( ,)0,1,2,kiLik 即可得到極大似然估計12,k多參數(shù)情形的極大似然估計多參數(shù)情形的極大似然估計30 數(shù)學上可以嚴格證明，在一定

15、條件下，只要樣本容量n足夠大，極大似然估計和未知參數(shù)的真值可相差任意小。31例例4 4：設(shè) 為正態(tài)總體 的一個樣本值，求: 和 的極大似然估計.nxxx,21 ),(2N2解解 ：似然函數(shù)為niinxxxL12221)(21exp21),;,()(21exp2121222niinxniixnL1222)(21)2ln(2ln32 解方程組 niiniixnLxL12422120)(212ln0)(1ln得 xxnnii11 niixn122)(1niixxn12)(1這就是和2的極大似然估計,),(max), (22LL即 33例例5 5 設(shè)X為離散型隨機變量,其分布律如下(01/2)X X0 01 12 23 3P P 2 22(2( - - 2 2) ) 2 21-21-2 隨機抽樣得3，1，3，0，3，1，2，3，分別用矩方法和極大似然法估計參數(shù)。解解：81113484iiEXx8222241281(,)(2)(12 )iiL x xx