參數(shù)估計(jì)(精)

1、第七章參數(shù)估計(jì)教學(xué)內(nèi)容：矩估計(jì)、最大似然估計(jì)、評(píng)價(jià)估計(jì)量的標(biāo)準(zhǔn)、區(qū)間估計(jì)教學(xué)目的：熟練掌握矩估計(jì)、最大似然估計(jì)、區(qū)間估計(jì)、了解評(píng)價(jià)估計(jì)量的標(biāo)準(zhǔn) 教學(xué)重點(diǎn)：矩估計(jì)、最大似然估計(jì)、區(qū)間估計(jì)教學(xué)難點(diǎn)：最大似然估計(jì)、區(qū)間估計(jì)教學(xué)方法：?jiǎn)l(fā)式教學(xué)手段：多媒體教學(xué)時(shí)間：5學(xué)時(shí)教學(xué)內(nèi)容：點(diǎn)估計(jì)什么是點(diǎn)估計(jì)：設(shè)總體X的分布函數(shù)的形式已知，但含有一個(gè)或多個(gè)未知 參數(shù)：91,92, _9，X ,X，,X是來自X的一個(gè)樣本，x ,x，,x是相應(yīng)的 TOC o 1-5 h z k 12n12 n樣本觀察值，一般的，用樣本構(gòu)造一個(gè)適當(dāng)?shù)慕y(tǒng)計(jì)量0 (X ,X，,X ),i = 1,2,.,k，用它的統(tǒng)計(jì)值99 (x ,x

2、，,x ),i = 1,2,.,k作為未i 12ni 12 n知參數(shù)9 ,i = 1,2,k的近似值，我們稱0 (X ,X，,X ),i = 1,2,.,k為參數(shù)ZAi 12n9 ,i = 1,2,k的估計(jì)量，0 (x ,x，,x ),i = 1,2,.,k為9 ,i = 1,2,k的估計(jì)值。ii 12 ni這種方法稱為點(diǎn)估計(jì)法。點(diǎn)估計(jì)一般有兩種構(gòu)造估計(jì)量的方法：矩估計(jì)法和最大似然估計(jì)法。1.1矩估計(jì)法矩估計(jì)法的原理：根據(jù)辛欽大數(shù)定律，用樣本矩作為相應(yīng)的總體矩的估 計(jì)，用樣本矩的連續(xù)函數(shù)作為相應(yīng)的總體矩的連續(xù)函數(shù)的估計(jì)。具體而言，分兩 種情況介紹。設(shè)總體X為連續(xù)型，它的概率密度為f (x； 9

3、，9，9 ),9，9，9是12m 12mm個(gè)待估參數(shù)，若總體X的前m階矩存在，則|n = (9 ,9，,9 ) = I+Mxkf (x； 9 ,9 , ,9 )dx,k = 1,2, ,m。k k 12 m12 m-s設(shè)總體X為離散型，上面的概率密度為分布律，上面的積分就是一個(gè)和式1|lx =p (9 ,9 /.,9 ) = A =Z Xk,k = 1,2, ,mi=1k k 12 m k n i這樣就得到一個(gè)含有m個(gè)未知數(shù)m個(gè)方程的方程組，如果方程組的解為目,6 ,.,，就得到0 ,0 ,.,0的矩估計(jì)量。12 m12 m矩估計(jì)法的例題:例1.設(shè)總體X服從二項(xiàng)分布b(N,p), N已知，p未

4、知，X, X ,., X是 來自X的一個(gè)樣本，求參數(shù)p的矩估計(jì)量。解：由于E(X) = Np，令Np = X則得p的矩估計(jì)量p = N。例2.設(shè)總體X在區(qū)間0 ,0 上服從均勻分布，0 ,0未知X ,X，,X是121212來自X的一個(gè)樣本，求參數(shù)01,02,02 -01的矩估計(jì)量。解：氣=E (X) = 01 ；02日=E(X2)= D(X) + E(X)2 =(02 -01)2 +(01 +02)22124則 / +0 2 =2 02 -0 = 2后履2 -咋解得0 =日、；3(日日2)0 =日 +、，3(日日2) TOC o 1-5 h z 11 Y 212121用A , A分別代替旦，旦

5、，得0 ,0的矩估計(jì)量 1212120 = A -、：3(A - A2) = X - ：3(上x2 - X2)1121V n ii=1=A +3(A - A2) = X + ：3(上Ex2 -X2) 121V n iIi=1=1 Ex 2 - x2 n ii=1由于S *2 = 1 E (X. - X)20 = X + .0S *2于是得n，T人 ?0 = X r3S *10 2 -01的矩估計(jì)量為0 -0 = 2/3S *21例3.設(shè)總體X的均值R及方差。2都存在，且a 2 0，但H , g均未知。又設(shè)X 1, X 2，., Xn是來自X的一個(gè)樣本，求參數(shù)H , a 2的矩估計(jì)量。解：四=E

6、 (X)=目旦=E (X 2) = D( X) + E (X )2 =a 2 + 旦 2解得2日=日,a 2 =日_日2用A1,氣分別代替妃七，1得R , a 2的矩估計(jì)量口 = A = X,a 2 = A - A2 = -x2 - X2 = 1 (X - X)2n i=1n i=1設(shè)總體X的密度函數(shù)為f (x,6)=126e - x 1/6 (一8 x 0)x,x，,x是來自X的樣本值，求參數(shù)6的估計(jì)量和估計(jì)值。 TOC o 1-5 h z 12n解：由于總體中只含一個(gè)未知參數(shù)，一般只需要求出E(X)，由E(X) = X解 出6，便得到6的估計(jì)量。但是E (X) = L x e-I xl /

7、 6 dx = 0-826即E(X)不含參數(shù)6，不可能由此解出6，為此，有E(X2) = j+8x2 e-Ixl/6dx = 262-826于是解得6、E(X 2)2所以，參數(shù)6的矩估計(jì)量和矩估計(jì)值分別為丁 : 1 項(xiàng)6 乙 x 22ni i=1矩估計(jì)法小結(jié):(1)矩估計(jì)法一般不要求知道總體的分布情況，使用起來直觀簡(jiǎn)便;(2)矩估計(jì)法要求總體的原點(diǎn)矩存在，否則就不適用;(3)矩估計(jì)法有時(shí)不能充分利用總體的分布對(duì)未知參數(shù)所提供的信息。1.2最大似然估計(jì)法最大似然估計(jì)法的原理：一個(gè)隨機(jī)試驗(yàn)如果有若干個(gè)可能結(jié)果，A1,氣,若 在一次試驗(yàn)中，結(jié)果A1出現(xiàn)了，則一般認(rèn)為試驗(yàn)條件對(duì)A1出現(xiàn)有利，即認(rèn)為是

8、概率最大的可能結(jié)果出現(xiàn)了，也就是說，P(A1)最大。具體而言，分兩種情況介 紹。 TOC o 1-5 h z 設(shè)總體X為離散型，其分布律為P X = x = p (x, 9), 9g0，6為未知參數(shù)， X , X，,X是來自X的一個(gè)樣本，x ,x，,x是相應(yīng)的樣本值，事件 12n12nX = x ,X = x ,X = x 發(fā)生的概率為1122n nL(9) = L(x ,x，x ;9) = H p(x ,9),9 e 012 nii=1若總體X為連續(xù)型，其概率密度為f (x,9),9e0，9為待估參數(shù)，相應(yīng)地 HYPERLINK l bookmark58 o Current Document

9、 L(9) = L(x ,x ,x ;9) = rf f (x ,9),9 e 0 12 nii=1 . - . .、 L(9 )稱為樣本的似然函數(shù)。按照最大似然原理，9的估計(jì)值9應(yīng)使似然函數(shù)達(dá)到 最大值： TOC o 1-5 h z HYPERLINK l bookmark64 o Current Document L(x ,x，x ;9) = maxL(x ,x ,，x ;9)1 2 n9e01 2 n .人 .這樣得到的9(x ,x，,x )稱為參數(shù)9的最大似然估計(jì)值，而相應(yīng)的統(tǒng)計(jì)量 12 n人 .一 ，._.9(X ,X，,X )稱為參數(shù)9的最大似然估計(jì)量。為此一般通過求解下述所謂的

10、12n對(duì)數(shù)似然方程d ln L=0 d9即可求得參數(shù)9的最大似然估計(jì)量；若總體分布中含有多個(gè)未知參數(shù)9 ,i = 1,2,k時(shí)，似然函數(shù)就是這些參數(shù)的 i多元函數(shù)L(91，92,-,9)，則需求解下述所謂的對(duì)數(shù)似然方程組= 0, i = 1,2, , ki即可求得參數(shù)9 , i = 1,2,k的最大似然估計(jì)量。 i最大似然估計(jì)法的例題例1.設(shè)總體X服從參數(shù)為人(人0)的泊松分布，x , x，,x是X的一組樣 12n本觀測(cè)值，求：(1)參數(shù)人。0)的最大似然估計(jì)值；(2)概率PX = 0的最大似然估計(jì)值。解：(1) X的概率分布為P X = x=，x = 0,1,2, x!則似然函數(shù)為以)=山X

11、 = x 上土 = e代 1 (Hx !)-ii=ii=i氣!i=i 取對(duì)數(shù)得In L(k) = -nk + (乙)ln k -ln(Hx.!)i=1i=1對(duì)數(shù)似然方程為d In L(k)dk=-n解得k (k 0)的最大似然估計(jì)值為k =1 乙=xn ii=1(2)因?yàn)镻X = 0 = e-k，所以PX = 0的最大似然估計(jì)值為 _ _ . -PX = 0 = e-k = e - x例2.設(shè)總體X服從參數(shù)為k(k 0)指數(shù)分布，概率密度為/(x, k)=ke-kx, x 00, x 0)的最大似然估計(jì)。解：設(shè)x ,x，,x是X的一組樣本觀測(cè)值，則似然函數(shù)為 12nL(k) = H f ( x

12、. , k) = H k 把=Xne 一疙 xii =1i=1取對(duì)數(shù)得ln L(X) = n In X Xxi i=1由似然方程 TOC o 1-5 h z d In L(X)n _ dXXxi=i=1解得人(X 0)的最大似然估計(jì)值為例3.設(shè)總體XN(,b2), ,b2為未知參數(shù)，x ,x , ,x是x的一組樣本12 n觀測(cè)值，求旦,b2的最大似然估計(jì)量。解：X的概率密度為f(x；日，b2) = _L exp-(xf )2偵2兀b2b 2似然函數(shù)為L(zhǎng)(,b2) = 1-exp 2 (x. - ,)2i=1 2 1 ，=(2兀)-/2(。2)-n/2 exp (x 日)2 TOC o 1-5

13、h z 2b 2inn 1 、In L = ln(2 冗)一In b2 (x |lx )2222b 2 . 1i卻L = (xi -n，) = 0i=1-AlnL二 + 工(乙,)2 = 0Qb 22b 22(b 2)2ii=1,15 四一x nii=1解之得x, b 2 = 1 (X X)2nii=1八1項(xiàng)|Ll =乙ni=1因此得旦q 2的最大似然估計(jì)量為X = X, b 2 = A = 1 (X X )2n i=1從而可得標(biāo)準(zhǔn)差。的最大似然估計(jì)量為XX )2例4.設(shè)總體X在區(qū)間a,b上服從均勻分布，a,b未知，x ,x，,x是X的 12n一組樣本觀測(cè)值，求a,b的最大似然估計(jì)量。解：X的

14、概率密度為1f (x； a, b)= ,a x b b - a0,其它似然函數(shù)為L(zhǎng) (a,b) = n f (x ;a,b) =,(a x b,i = 1,2,，n)i=1顯然，下述似然方程組無解8 1_In L 一8an=0b - a8-n=0In L =8bb - a于是用最值點(diǎn)的定義直接求L(a,b)的最大值點(diǎn)。記 x* = min(x , x，x ), x* = max(x , x，x ) TOC o 1-5 h z 112n n12n由于 a x ,x，,x b 等價(jià)于 a x*，于是有 b a x* x* 0，從12n1nn 1而對(duì)于滿足條件a x*的任意a,b，有L (a,b)=

15、(b a) n(x* x*) n即在a = x*,b = x*時(shí)，L(a,b)取得最大值1 ，故a,b的最大似然估計(jì)1 n(x* - x*) n值為a = x * = min x , b = x * = max x 1ini1i n1i na, b的最大似然估計(jì)量為a = min X , b = max X 1in i1i 1)存在，試證明k階樣本矩是k階 總體矩的無偏估計(jì)。證明：設(shè)X ,X，,X是來自X的一個(gè)樣本，則X ,X，,X與X同分布，12n12n故X,與X的k階矩相同，即E(X k) = E(Xk) = rk (i = 1,2,n)從而有E(A ) = E(!x k) = 1 e(X

16、 k) = rk n ,， ni k例2.設(shè)總體X服從指數(shù)分布，概率密度為一1 X 一 f (X,6) = *6 6,X 00, x 0為未知，又設(shè)X 1? X 2,，X n是來自X的一個(gè)樣本， 試證X和nZ = nmin(X ,X，,X )都是6的無偏估計(jì)量證明：因?yàn)镋(X) = E(X) =6 :所以X是6的無偏估計(jì)量由于X的分布函數(shù)是0, X 0所以F3,9) = 1 - 1 - F (x,0) n = 00, x 0/min (x) = F：in(x,9 )*mn mn 0, x 0而它的無偏估計(jì)量(-2)X，當(dāng)x 取奇數(shù)值時(shí)，估計(jì)值為負(fù)數(shù)，用 一個(gè)負(fù)數(shù)來估計(jì)e-3X 0顯然是不合理的

17、，這說明它是一個(gè)有明顯弊病的無偏估 計(jì)。2.2有效性：設(shè)99 =0 (X ,X，,X )與0 =0 (X , X，,X )是參數(shù)9的無偏估計(jì)量，如 1112n 2212n果對(duì)于任何可能的參數(shù)值9，都有d(9 ) d(9 )1 2且至少對(duì)于某一個(gè)參數(shù)值9使不等號(hào)成立，則稱9.匕92有效。例1. 設(shè)X 1? X 2 , X n是來自總體X的一個(gè)樣本，E(X) = p, D( X )=b 2, X是樣本均值，X (-i)是樣本中去掉第i個(gè)個(gè)體X后，其i余n -1個(gè)個(gè)體所構(gòu)成樣本的均值：X (-i) = Z 二n 1j歸如果用X和X(-i)作為H的估計(jì)，試比較它們的有效性。解：易知X和X(-i)都是R

18、的無偏估計(jì)量。又-11D( X) = b 2, D (X (-i) =b 2nn 一 1由于D(X) 00，0, x 1時(shí)哪其中，參數(shù)0 0為未知，又設(shè)X 1，X 2已證X和nZ = nmin(XX2,-,X )都是0的無偏估計(jì)量，試比較 一個(gè)更有效？0 2 一一解：由于D(X) =9 2，所以D(X)=一。又因 n0E (Z) = j +8 xf(x )dx =-8 minnc “，20 2E(Z2) = j+8x2f . (x)dx =02于是D(Z) = E(Z2) -E(Z)2 =一，所以 D(nZ) =0 2， n2當(dāng)n 1時(shí)有D(X) 0，有l(wèi)imP0)-0|e = 1ns則稱0是

19、0的相合估計(jì)量，也稱一致估計(jì)量。容易證明，樣本均值是總體均值的相合估計(jì)量，樣本方差是總體方差的相合 估計(jì)量，樣本k階矩是總體k階矩的相合估計(jì)量，另外，由最大似然估計(jì)法得到 的估計(jì)量，在一定條件下也具有相合性。相合性是對(duì)估計(jì)量的最基本的要求。若一個(gè)估計(jì)量具有相合性，一般而言樣 本容量越大估計(jì)值越接近參數(shù)的真值。區(qū)間估計(jì)引言：根據(jù)點(diǎn)估計(jì)法，可以求得參數(shù)的估計(jì)值，但是它對(duì)估計(jì)的精度與可靠 性沒有做明確的回答，而在實(shí)際問題中，不僅需要知道未知參數(shù)的估計(jì)值，往往 還需要知道這些估計(jì)值的精度與可靠性。區(qū)間估計(jì)在一定程度上彌補(bǔ)了點(diǎn)估計(jì)的 這些不足。3.1.區(qū)間估計(jì)的定義設(shè)總體中含有未知參數(shù)0,Oe0,。是。

20、可能取值的范圍，X , X , X 是來自X的一個(gè)樣本，00 =00 (X ,x，,X)與 TOC o 1-5 h z 12n1112n0 =0 (X ,X，,X )是兩個(gè)統(tǒng)計(jì)量。若對(duì)給定的概率1-以(0 以 1)，和任意2212n0 c。，有P0 00 = 1a則稱隨機(jī)區(qū)間(0 ,0 )是0的置信度為1-a的置信區(qū)間。0 ,0分別稱為置信 HYPERLINK l bookmark149 o Current Document 1212下限，置信上限，1-a稱為置信度(或置信水平)。注意：當(dāng)X是連續(xù)型隨機(jī)變量時(shí)，對(duì)于給定的a，可按上述定義求出置信區(qū)間(0 ,0)；12當(dāng)X是離散型隨機(jī)變量時(shí)，對(duì)于

21、給定的a，按上述定義求不出置信區(qū)間(0 ,0 )，此時(shí)按以下方式確定置信區(qū)間(0 ,0 ): P0 00 至少為1 -a且盡121212可能的接近1 -a。隨機(jī)區(qū)間(0 ,0 )的含義：隨機(jī)區(qū)間(0 ,0 )包含參數(shù)0真值的概率是1 -a。1212或者說，如果有N組樣本值，就可確定N個(gè)隨機(jī)區(qū)間(0 ,0 )，在這N個(gè)隨機(jī)區(qū)12間中，包含0真值的約占100 (1 -a ) %，不包含0真值的約占100a %。3.2 .單個(gè)正態(tài)總體參數(shù)的區(qū)間估計(jì)設(shè)X 1 , X 2,，X n是來自正態(tài)總體N (pq 2)的一個(gè)樣本，X，S2分 別表示樣本均值和樣本方差：c 2已知，求p的置信區(qū)間X是p的無偏估計(jì)量

22、，且X-P c / tnN(0,1)，由標(biāo)準(zhǔn)正態(tài)分布的雙側(cè)a分位點(diǎn)，PP X z r X + z = 1 以v n a/2vn a/2于是得到R的置信度為1 -a的置信區(qū)間(X-罷 z ,X + 己 z )tn a/2、/n a/2例1、從某廠生產(chǎn)的一種鋼球中隨機(jī)抽取7個(gè)，測(cè)得它們的直徑(單位：mm) 為5.52,5.41,5.18,5.32, 5.64,5.22,5.76若鋼球直徑服從正態(tài)分布N(r ,0.162)，求這種鋼球平均直徑R的置信度為95%的 置信區(qū)間。解：計(jì)算樣本均值-1 X = 7 (5.52 + 5.41 + 5.18 + 5.32,+5.64 + 5.22 + 5.76)

23、 =5.44因?yàn)橹眯哦葹?95%,所以a = 0.05, z = z=1.96，又n = 7,b= 0.16于是0.025(號(hào)七/2, X +a/2)=- 普E +=(5.32,5.56)故這種鋼球平均直徑R的置信度為95%的置信區(qū)間為(5.32,5.56)。(2). Q 2未知，求R的置信區(qū)間因?yàn)闃颖痉讲頢 2是總體方差b 2的無偏估計(jì)，所以b 2未知時(shí)，可用S 2來估計(jì)。2 .又=t(n -1),由t分布的雙側(cè)a分位點(diǎn)有 S / v nPa/2 t(n -1) = 1 -aS /.n a/2P X-蘭t(n -1) r X + 蘭t(n -1) = 1 -an a/2n a/2于是得到R的

24、置信度為1 -a的置信區(qū)間S S(X/2(n-1)，X +乂/2(n-1)例2.在例1中，若。2未知，求這種鋼球平均直徑|LI的置信度為95%的置信 區(qū)間。解：計(jì)算樣本均值和樣本標(biāo)準(zhǔn)差-11= 7 (5.52 + 5.41 + 5.18 + 5.32,+5.64 + 5.22 + 5.76) = 5.44S = 0.22a由1-a =0.95 , 得 一 = 0.0 2 5 又n-l = 6 , 查 t 分布 表得2t ( 1) = (6) = 2.447,于是 TOC o 1-5 h z a/20.025_ C_ C(X_* S l),x+一 (n -1) a/2a/2=(5.44 -豎 x

25、 2.447,5.44 + 豎 x 2.447) 罰J7=(5.24,5.64)(3)目未知，求。2的置信區(qū)間。2的無偏估計(jì)為S2,且IQ2(_),對(duì)于給定的置信度la有。2Px 2(n-l) (n1)52 x 2( 1) = 1_以 TOC o 1-5 h z l-a/20- 2a/2(一1)S2(n -1)5 2Pb2 = 1 aX 2()X 2( 1)a/2l-a/2于是得到b 2的置信度為1 a的置信區(qū)間( 1)S2( 1)S29/X 2( 1)x 2(n-l) a/21-a / 2進(jìn)而得到標(biāo)準(zhǔn)差。的置信度為l-a的置信區(qū)間(!n - IS ) 2( l) J% 2()a/2、l-a/

26、2例3.在例1中，若|LI, b2均未知，求總體方差。2的置信度為95%的置信 區(qū)間。a解：由于52 =0.222, = 0.025 , l-a /2 = 0.975查乂 2 分布表，得X 2(q = x 2(6) = 14.449,X 2(q = x 2(6) = 1.237 a/20.025l-a/20.975于是（n-1）S 2（n -1）5 26 x 0.222 6 x 0.222（，） =（.，” ）=（0.02,0.23） TOC o 1-5 h z x 2（n -1） x2（n -1）14.4491.2373.3兩個(gè)正態(tài)總體參數(shù)的區(qū)間估計(jì)設(shè)總體XN（旦,Q2），總體YN（旦,Q2

27、）, X ,X，,X 是來自X的容量_ 1 12 212n1為n 一個(gè)樣本，X，5 2分別表示它的樣本均值和樣本方差；Y,Y，,Y是來自111 2nnY的容量為n2 一個(gè)樣本，Y，522分別表示它的樣本均值和樣本方差；又設(shè)這兩 個(gè)樣本相互獨(dú)立。2 求均值差K - %的置信區(qū)間 （1）*2,氣均已知因?yàn)閄，Y分別為旦，目的無偏估計(jì)，故X - Y是旦-旦的無偏估計(jì)，由X，1212YN(旦,M)，得2n2Y的獨(dú)立性以及XN（旦,竺t），1 n1X YN (旦一旦,氣+臭I) TOC o 1-5 h z 12 n1n2或(X - Y)- (*-四。)N(0,1)Q 2。2 n n12Ilb 2 +。2

28、 )n n12即得四-%的置信度為1-a的置信區(qū)間(X 一 Y) 一 za /2b 2b 2+ , (X Y) + zna /22（2）b2 =b2 =b 2，但b 2 未知由于(X Y)(日日) ,1 a t(n + n 2) TOC o 1-5 h z %；n+n 112從而可得氣-七的置信度為1 a的置信區(qū)間為-T -,11(X Y) t(n+ n 2)5，一+ ,(X Y) +1(n+ n 2)5+ )a/2 12 w n na/2 12 w n n其中(n -1)5 2 + (n -1)S 2S 2 = 112, S = .：S 2Wn + n - 2 w * W例4.為提高某一化學(xué)生產(chǎn)過程的得率，試圖采用一種新的催化劑。為慎重 起見，在實(shí)驗(yàn)工廠先進(jìn)行試驗(yàn)。設(shè)采用原來的催化劑進(jìn)行了 n1 = 8次試驗(yàn)，得到 得率的平均值可= 91.73,樣本方差S; = 3.89 ；又采用新的催化劑進(jìn)行了 n2= 8次 試驗(yàn)，得到的得率的均值目= 93.75，樣本方差S2 = 4.02。假設(shè)兩總體都可認(rèn)為 服從正態(tài)分布，且方差相等，兩樣本獨(dú)立。試求兩總體均值差氣-七的置信度 為95%的置信區(qū)間。解：這是* =氣=。2，但。2未知的情形，現(xiàn)在(n -1) S 2 + (n -1)S 2由S 2 =112