第二章1_矩估計(jì)和極大似然估計(jì)

1、 第二章 參數(shù)估計(jì)1參數(shù)估參數(shù)估計(jì)問題計(jì)問題假設(shè)檢假設(shè)檢驗(yàn)問題驗(yàn)問題點(diǎn)點(diǎn) 估估 計(jì)計(jì)區(qū)間估區(qū)間估 計(jì)計(jì)統(tǒng)計(jì)統(tǒng)計(jì)推斷推斷 的的基本基本問題問題2什么是參數(shù)估計(jì)？什么是參數(shù)估計(jì)？參數(shù)參數(shù)是刻畫總體某方面的概率特性的數(shù)量是刻畫總體某方面的概率特性的數(shù)量.當(dāng)這個(gè)數(shù)量是未知的時(shí)候，從總體抽出一個(gè)當(dāng)這個(gè)數(shù)量是未知的時(shí)候，從總體抽出一個(gè)樣本，用某種方法對這個(gè)未知參數(shù)進(jìn)行估計(jì)樣本，用某種方法對這個(gè)未知參數(shù)進(jìn)行估計(jì)就是就是參數(shù)估計(jì)參數(shù)估計(jì).例如，例如，X N ( , 2), 點(diǎn)估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)區(qū)間估計(jì)若若 , 2未知，通過構(gòu)造樣本的函數(shù)未知，通過構(gòu)造樣本的函數(shù), 給出它給出它們的估計(jì)值或取值范圍就是參數(shù)估計(jì)的

2、內(nèi)容們的估計(jì)值或取值范圍就是參數(shù)估計(jì)的內(nèi)容.3參數(shù)估計(jì)的類型參數(shù)估計(jì)的類型點(diǎn)估計(jì)點(diǎn)估計(jì) 估計(jì)未知參數(shù)的值估計(jì)未知參數(shù)的值區(qū)間估計(jì)區(qū)間估計(jì) 估計(jì)未知參數(shù)的取值范圍，估計(jì)未知參數(shù)的取值范圍， 使得這個(gè)范圍包含未知參數(shù)使得這個(gè)范圍包含未知參數(shù) 真值的概率為給定的值真值的概率為給定的值.4一、點(diǎn)估計(jì)的思想方法一、點(diǎn)估計(jì)的思想方法設(shè)總體X 的分布函數(shù)的形式已知，但它含有一個(gè)或多個(gè)未知參數(shù)：1,2, ,k設(shè) X1, X2, Xn為總體的一個(gè)樣本構(gòu)造 k 個(gè)統(tǒng)計(jì)量：),(),(),(21212211nknnXXXXXXXXX隨機(jī)變量第一節(jié)第一節(jié) 參數(shù)的點(diǎn)估計(jì)參數(shù)的點(diǎn)估計(jì)5當(dāng)測得一組樣本值(x1, x2, x

3、n)時(shí)，代入上述統(tǒng)計(jì)量，即可得到 k 個(gè)數(shù)：),(),(),(21212211nknnxxxxxxxxx數(shù)值稱數(shù)k,21為未知參數(shù)k,21的估計(jì)值估計(jì)值問題問題如何構(gòu)造統(tǒng)計(jì)量？對應(yīng)的統(tǒng)計(jì)量為未知參數(shù)k,21的估計(jì)量估計(jì)量61、矩方法；（矩估計(jì)矩估計(jì)）2、極大似然函數(shù)法（極大似然估計(jì)極大似然估計(jì)）.二二. .點(diǎn)估計(jì)的方法點(diǎn)估計(jì)的方法q 1. 矩方法矩方法方法方法用樣本的樣本的 k 階矩作為總體的階矩作為總體的 k 階矩階矩的 估計(jì)量, 建立含待估計(jì)參數(shù)的方程建立含待估計(jì)參數(shù)的方程，從而可解出待估計(jì)參數(shù)7一般地，不論總體服從什么分布，總體期望 與方差 2 存在，則根據(jù)矩估計(jì)法它們的矩估計(jì)量矩估計(jì)量

4、分別為XXnnii112122)(1nniiSXXn2211()1niiXXSn 是無偏矩估計(jì)注注: 矩估計(jì)不唯一矩估計(jì)不唯一8事實(shí)上，按矩法原理，令11niiXXn22211E XniiAXn是 ()的估計(jì)X)()(222XEXE22 A2121XXnnii212)(1nniiSXXn9設(shè)待估計(jì)的參數(shù)為k,21設(shè)總體的總體的 r 階矩階矩存在，記為),()(21krrXE設(shè) X1, X2, Xn為一樣本，樣本的樣本的 r 階矩階矩為nirirXnB11令kr, 2 , 1),(21krniriXn11 含未知參數(shù) 1,2, ,k 的方程組10解方程組，得 k 個(gè)統(tǒng)計(jì)量：),(),(),(21

5、212211nknnXXXXXXXXX未知參數(shù)1,2, ,k 的矩估計(jì)量矩估計(jì)量),(),(),(2121222111nkknnxxxxxxxxx未知參數(shù)1,2, ,k 的矩估計(jì)值矩估計(jì)值代入一組樣本值得k個(gè)數(shù):11例例1 1 有一批零件，其長度有一批零件，其長度XNXN( ( , , 2 2) )，現(xiàn)，現(xiàn)從中任取從中任取4 4件，測的長度件，測的長度( (單位：單位：mm)mm)為為12.6,13.4,12.8,13.212.6,13.4,12.8,13.2。試估計(jì)。試估計(jì) 和和 2 2的值。的值。解：解： 由由 13)2 .138 .124 .136 .12(41x222221(12.6

6、13)(13.4 13)(12.8 13)4 1 (13.2 13) 0.133s 得得 和和 2 2的估計(jì)值分別為的估計(jì)值分別為13(mm)13(mm)和和0.133(mm)0.133(mm)2 212例例2 2 設(shè)總體X的概率密度為 其它,010,);(1xxxf X1,X2,Xn為來自于總體X的樣本,x1,x2, ,xn為樣本值,求參數(shù)的矩估計(jì)。解：解： 先求總體矩 11111000()11E Xxxdxx dxx()1()E XE X解之：13XX1為的矩估計(jì)量, xx1為的矩估計(jì)值.令 111niiAXXn14例例3 3 設(shè)總體X的概率密度為102 ( ,),xf xex 求的矩估計(jì)

7、量 解法一解法一 雖然 中僅含有一個(gè)參數(shù)，但因 102xE Xxedx 不含,不能由此解出,需繼續(xù)求總體的二階原點(diǎn)矩22222011322( )xxEXxedxx edx ( , )f x 15 解法二解法二 01122( )xxE Xxedxx edx 即 | XE用niiXn11替換XE即得的另一矩估計(jì)量為11niiXn得的矩估計(jì)量為2211 1/2 ,02niiXAn用2211niiAXn替換2EX222112niiAXn即16 矩估計(jì)的優(yōu)點(diǎn)矩估計(jì)的優(yōu)點(diǎn)不依賴總體的分布，簡便易行不依賴總體的分布，簡便易行只要只要n充分大，精確度也很高。充分大，精確度也很高。 矩估計(jì)的缺點(diǎn)矩估計(jì)的缺點(diǎn)矩估

8、計(jì)的精度較差；矩估計(jì)的精度較差；要求總體的某個(gè)要求總體的某個(gè)k階矩存在；階矩存在；要求未知參數(shù)能寫為總體的原點(diǎn)矩的函數(shù)形要求未知參數(shù)能寫為總體的原點(diǎn)矩的函數(shù)形式式17注意注意：1. 總體不一定存在適當(dāng)階的矩。總體不一定存在適當(dāng)階的矩。例例 考慮考慮Cauchy分布，其密度函數(shù)為分布，其密度函數(shù)為,)(1(1),(2xxxf 其各階矩均不存在。其各階矩均不存在。2. 對相同的參數(shù)對相同的參數(shù) ，存在多個(gè)矩估計(jì)。，存在多個(gè)矩估計(jì)。)( q例如，考慮總體是參數(shù)為例如，考慮總體是參數(shù)為 的的Poisson分布，分布， 總總體體的的方方差差。既既是是總總體體的的均均值值，又又是是 18你就會(huì)想,只發(fā)一槍

9、便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來這一槍是獵人射中的.先看一個(gè)簡單的例子: 某位同學(xué)與一位獵人一起外出打獵,一只野兔從前方竄過.只聽到一聲槍響,野兔應(yīng)聲倒下.如果要你推測,是誰打中的呢？你會(huì)如何想呢？ 這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.2 2、極大似然函數(shù)法、極大似然函數(shù)法19例例: : 設(shè)袋中裝有許多白球和黑球。只知兩種球的數(shù)目之比為3:1，試判斷是白球多還是黑球多。 分析分析: : 從袋中有放回的任取3只球.設(shè)每次取到黑球的概率為p (p=1/4或3/4)設(shè)取到黑球的數(shù)目為X,則X服從B(3,p)33()(1)0,1,2,3 kkP Xkppkk 分別計(jì)

10、算p=1/4,p=3/4時(shí)，PX=x的值，列于表1/ 4 ,0,1 ( )3 / 4 ,2,3xp xx結(jié)論結(jié)論: :X X0 01 12 23 3p=1/4p=1/4時(shí)時(shí)27/6427/6427/6427/649/649/641/641/64p=3/4p=3/4時(shí)時(shí)1/641/649/649/6427/6427/64 27/6427/64 定義定義1 1:(1)設(shè)隨機(jī)變量X的概率密度函數(shù)為f(x,), 其中為未知參數(shù)(f為已知函數(shù)). 121( )(,; )( ; )nniiLL x xxf x(2)若X是離散型隨機(jī)變量，似然函數(shù)定義為121( ,; )()nniiiL x xxP Xx12

11、,nxxx12,nXXX稱 為 X關(guān)于樣本觀察值 的似然函數(shù)似然函數(shù)。 12( ,; )nL x xx12,nx xx22的樣本觀察值,為樣本);,()(21nxxxLL 定義2 如果似然函數(shù)似然函數(shù) 在 時(shí)達(dá)到最大值時(shí)達(dá)到最大值,則稱 是參數(shù)的極大似然估計(jì)極大似然估計(jì)。 例例1 1 設(shè)總體X 服從參數(shù)為的指數(shù)分布，即有概率密度 ,0( , ), (0)0,0 xexf xx 又x1,x2, ,xn為來自于總體的樣本值，試求的極大似然估計(jì).23解解 ：第一步 似然函數(shù)為1211( ,; )exp()innxnnniiiLL x xxex于是 1lnlnniiLnx11ln( ln)nniiii

12、dLdnnxxdd 第二步第三步 11niinxx經(jīng)驗(yàn)證，)(lnL在x1處達(dá)到最大，所以是的極大似然估計(jì)。0ln1niixndLd令24例例2 2： 設(shè)X服從(01)分布，PX=1=p, 其中p未知， x1,x2, ,xn為來自于總體的樣本值求p的極大似然估計(jì)。解解:X01P1-pp101(1),0,11xxP XpP XxppxP Xp 得得(0(01)1)分布之分布律的另一種表達(dá)形式分布之分布律的另一種表達(dá)形式25121( ,; )()nniiiL x xxP Xx11(1)iinxxipp111ln()ln()lnniiiLxpxp11101ln()iidLxxdpppxp 令令110

13、 ()()iiipxpxnpx例例3 3：設(shè)總體X服從參數(shù)為的泊松分布，即X有分布列(分布律) ,2, 1 ,0,!);(kekkXPkpk 是未知參數(shù)，(0,+)，試求的極大似然估計(jì)。解：解： 樣本的似然函數(shù)為);,()(21nxxxLL );();();(21nxpxpxp1212!nxxxneeexxx 112!niixnnexxx nixi, 2 , 1, 2 , 1 , 0 27);,(ln)(ln21nxxxLL niniiixxn11) !ln(ln)(niinxnxxxL1211)();,(ln 從0lnL可以解出niixxn11 1211( ,)nniix xxxn是的極大似

14、然估計(jì)。因此因此28 極大似然估計(jì)的優(yōu)點(diǎn)極大似然估計(jì)的優(yōu)點(diǎn) 利用了分布函數(shù)形式利用了分布函數(shù)形式, 得到的估計(jì)量的精度一般較高。得到的估計(jì)量的精度一般較高。 極大似然估計(jì)的缺點(diǎn)極大似然估計(jì)的缺點(diǎn) 要求必須知道總體的要求必須知道總體的分布函數(shù)形式分布函數(shù)形式29其中k,21為未知參數(shù)，nxxx,21 nikiknxfxxxL1212121),;(),;,(12( ;,)kfx若總體X的概率密度為：為樣本觀察值, 此時(shí)似然函數(shù)為： 求解方程組求解方程組 12ln ( ,)0,1,2,kiLik 即可得到極大似然估計(jì)12,k多參數(shù)情形的極大似然估計(jì)多參數(shù)情形的極大似然估計(jì)30 數(shù)學(xué)上可以嚴(yán)格證明，在

15、一定條件下，只要樣本容量n足夠大，極大似然估計(jì)和未知參數(shù)的真值可相差任意小。31例例4 4：設(shè) 為正態(tài)總體 的一個(gè)樣本值，求: 和 的極大似然估計(jì).nxxx,21 ),(2N2解解 ：似然函數(shù)為niinxxxL12221)(21exp21),;,()(21exp2121222niinxniixnL1222)(21)2ln(2ln32 解方程組 niiniixnLxL12422120)(212ln0)(1ln得 xxnnii11 niixn122)(1niixxn12)(1這就是和2的極大似然估計(jì),),(max), (22LL即 33例例5 5 設(shè)X為離散型隨機(jī)變量,其分布律如下(01/2)X X0 01 12 23 3P P 2 22(2( - - 2 2) ) 2 21-21-2 隨機(jī)抽樣得3，1，3，0，3，1，2，3，分別用矩方法和極大似然法估計(jì)參數(shù)。解解：81113484iiEXx8222241281(,)(2)(12 )iiL x xx