第七章 參數(shù)估計(jì)【一類資料】

1、第七章 參數(shù)估計(jì),引言,參數(shù)估計(jì)：當(dāng)總體的某些參數(shù)未知(一般要求分布類型已知)時(shí)，從樣本出發(fā)構(gòu)造適當(dāng)?shù)慕y(tǒng)計(jì)量，作為未知參數(shù)的估計(jì)量。當(dāng)取得一組觀察值后，以相應(yīng)的統(tǒng)計(jì)量的觀察值作為未知參數(shù)的估計(jì)值，并討論估計(jì)值對(duì)真值進(jìn)行估計(jì)的可靠性。,參數(shù)估計(jì)方法是處理實(shí)際問題時(shí)最常用的方法。,預(yù)備概念：當(dāng)總體X中含有未知參數(shù) (可以是向量)時(shí)，可用 F(x； )來(lái)表示X的分布函數(shù)，當(dāng)取不同的值，就會(huì)得到不同的分布函數(shù)。我們稱所有可能取值的集合為參數(shù)空間，記為。把F(x； )， 稱為X的分布函數(shù)族。,若X為連續(xù)型隨機(jī)變量，和分布函數(shù)族對(duì)應(yīng)的是密度函數(shù)族 f (x； )， 。,1,專業(yè)薈萃,若X是離散型隨機(jī)變量，

2、和分布函數(shù)族對(duì)應(yīng)的是概率分布 函數(shù)族,第一節(jié) 點(diǎn)估計(jì),點(diǎn)估計(jì)(教材p177) 用樣本 構(gòu)造適當(dāng)?shù)慕y(tǒng) 計(jì)量 ，作為未知參數(shù) 的估計(jì)量。,當(dāng)取得一組樣本觀察值 后，用相應(yīng)的 作為未知參數(shù) 的估計(jì)值。,說(shuō)明：1. 在統(tǒng)計(jì)推斷中，當(dāng)不致混淆時(shí)，通常對(duì)樣本和樣本觀察值的表示法不加區(qū)分，均表成,2. 對(duì)于兩組不同的樣本觀察值 ，可得到未知參數(shù) 的兩個(gè)估計(jì)值，但 的估計(jì)量是同一個(gè)。,2,專業(yè)薈萃,一、矩估計(jì),矩估計(jì)法原理：用樣本k階原點(diǎn)矩(中心矩)作為總體k階原點(diǎn)矩(中心矩)的估計(jì)量，用樣本k+m階混合矩作為總體k+m階混合矩的估計(jì)量。,特別，用 作為E(X)的估計(jì)量，用 作為D(X)的估計(jì)量，用樣本協(xié)方差

3、(相關(guān)系數(shù))作為cov(X，Y)和 的估計(jì)量。,3,專業(yè)薈萃,如何求,設(shè)總體X的密度函數(shù)為,由總體原點(diǎn)矩的定義，有,從理論上來(lái)說(shuō)，由上面k個(gè)方程，可以解出,矩估計(jì)的優(yōu)越性：當(dāng)總體分布類型未知時(shí)仍可對(duì)總體各階矩進(jìn)行估計(jì)。,矩估計(jì)的缺陷：當(dāng)總體分布類型已知時(shí)，未能充分利用總體分布提供的信息。,4,專業(yè)薈萃,二、極大似然估計(jì),引例：罐中有許多白球和黑球，已知兩色球的比例為3：1，但不知哪種顏色的球多。今有放回連抽兩球均取出黑球，問：罐中黑球多還是白球多？,解：設(shè)抽出黑球的概率為p，抽得黑球數(shù)為X，則XB(2，p)。,根據(jù)題意，知 p=3/4 或 p=1/4 。,若 p=1/4，則 P(X=2)=1/

4、16；,若 p=3/4，則 P(X=2)=9/16。,這說(shuō)明當(dāng)黑球多時(shí)事件 (X=2) 發(fā)生的概率大得多，,(或者說(shuō)樣本來(lái)自總體B(2，3/4)的可能性比來(lái)自總體B(2，1/4)的可能性大得多),根據(jù)“概率越大的事件越可能發(fā)生”的實(shí)際推斷原理，應(yīng)選3/4作為p的估計(jì)值。,若p的可供選擇的估計(jì)值有許多，仍應(yīng)選擇發(fā)生概率最大的 作為p的估計(jì)，這就是極大似然估計(jì)的思想。,5,專業(yè)薈萃,極大似然估計(jì)的原理(教材p180-181),設(shè)總體X的概率密度函數(shù)族為f(x； ) (或概率分布函數(shù)族為P(X=x)=p(x ； ) )，。,設(shè) 為任一組樣本觀察值(一組抽象的數(shù))，則樣本的密度函數(shù)(或概率分布)為,(

5、或 ).,注意，當(dāng)X是離散型隨機(jī)變量，因樣本觀察值是取定的，故L()， 僅是的函數(shù)，對(duì)連續(xù)型隨機(jī)變量，仍將L()， 僅看作的函數(shù)。,若有 ，使 對(duì)幾乎所有樣 本觀察值都成立，則稱 為的極大似然估 計(jì)量，稱 為的極大似然估計(jì)值。,6,專業(yè)薈萃,說(shuō)明：在求極大似然估計(jì)量時(shí)，先用一組抽象的樣本觀察值來(lái)求，因而得到的是待估參數(shù)的極大似然估計(jì)值，再用樣本代換樣本觀察值，才能得到待估參數(shù)的極大似然估計(jì)量。若用一組具體的樣本觀察值代入，便可得到待估參數(shù)的具體極大似然估計(jì)值。,通過(guò) ，求出 。,說(shuō)明：1. 因?yàn)長(zhǎng)()是樣本觀察值的函數(shù)(此時(shí)樣本觀察值不變)， 故求出的 一般也是樣本觀察值的函數(shù)。,2. 由于

6、只是lnL()取極值的必要條件，從理論上 來(lái)說(shuō)，還應(yīng)驗(yàn)證lnL( ) lnL()， 對(duì)所有樣本觀察值都成立。但這種驗(yàn)證通常是非常困難的，故多不進(jìn)行驗(yàn)證。,3. 若不只一個(gè)參數(shù)需要估計(jì)，也采用同樣的方法，只是這時(shí)似然函數(shù)是多元函數(shù)，要通過(guò)令偏導(dǎo)數(shù)等于零求出駐點(diǎn)。(具體步驟見教材p182-183)。,7,專業(yè)薈萃,8,專業(yè)薈萃,注：本題是盛驟等編概率論與數(shù)理統(tǒng)計(jì)(第二版)第七章習(xí)題2-4的特例。,9,專業(yè)薈萃,說(shuō)明：1. 本題中因 P(X= )無(wú)一般表達(dá)式，故不能先求極大似然估計(jì)量，再將樣本觀察值代入求極大似然估計(jì)值。,2. 本題處理思想在解決實(shí)際問題時(shí)很有用。,極大似然估計(jì)的性質(zhì)：若 為總體X中

7、未知參數(shù)的極大似 然估計(jì)量，u=u( ) 有單值反函數(shù) = (u)，則u( )是u( ) 的 極大似然估計(jì)量。,若 是D(X)= 的極大似然估計(jì)，因 有單值反函數(shù) (視 為一個(gè)整體)，則 便是 標(biāo)準(zhǔn)差 的極大似然估計(jì)。,10,專業(yè)薈萃,第三節(jié) 點(diǎn)估計(jì)量的評(píng)選標(biāo)準(zhǔn),問題：1. 哪種估計(jì)是最好的估計(jì)？,2. 評(píng)價(jià)“好”的標(biāo)準(zhǔn)是什么？,建立評(píng)價(jià)標(biāo)準(zhǔn)的原則：估計(jì)量在某種意義下與待估參數(shù)的真值最接近。,一、無(wú)偏性,定義7.2 (教材p188) 設(shè) 是總體的未知參數(shù)的點(diǎn)估計(jì)量。 若E( )= ，則稱 是的無(wú)偏估計(jì)量。 若 ，則稱 是的漸近無(wú)偏估計(jì)量。,說(shuō)明：1. 當(dāng) 不是的無(wú)偏估計(jì)量，則稱 E( )- 為

8、估計(jì)量的偏差(系統(tǒng)誤差)。,2. 的無(wú)偏估計(jì)量一定是的漸近無(wú)偏估計(jì)量，但反之不然。,11,專業(yè)薈萃,3. 在大樣本情形，無(wú)偏估計(jì)量和漸近無(wú)偏估計(jì)量沒有太大差別，但在小樣本情形，無(wú)偏估計(jì)量明顯優(yōu)于漸近無(wú)偏估計(jì)量。,4. 無(wú)偏性標(biāo)準(zhǔn)只有取多組觀察值重復(fù)估計(jì)時(shí)才有意義，對(duì)一組觀察值來(lái)說(shuō)，無(wú)實(shí)際價(jià)值。,注意：即使 是的無(wú)偏估計(jì)量，一般說(shuō)來(lái)，f( )不是f()的無(wú)偏估計(jì)量。,12,專業(yè)薈萃,問題：若參數(shù) 的無(wú)偏估計(jì)量不只一個(gè)，如何選取更好的無(wú)偏估計(jì)量？,13,專業(yè)薈萃,二、有效性,定義7.3 (教材p190) 設(shè) ， 都是總體參數(shù) 的無(wú)偏估計(jì)量， 若 D( )D( )，則稱 比 更有效。,例2. 設(shè)某

9、k 臺(tái)儀器.已知用第 i 臺(tái)儀器測(cè)量時(shí)，測(cè)量值總體的標(biāo)準(zhǔn)差為 (i=1，2，k).現(xiàn)用這些儀器獨(dú)立地對(duì)某物理量 各觀察一次，分別得到 .設(shè)儀器都沒有系統(tǒng)誤差，即 (i=1，2，k). 問： 應(yīng)取何值，方能使 是 的無(wú)偏估計(jì)量，且 達(dá)最小？,14,專業(yè)薈萃,第四節(jié) 參數(shù)的區(qū)間估計(jì),問題：1. 當(dāng)求得未知參數(shù) 的估計(jì)量 后， 究竟在距 多遠(yuǎn)的區(qū)間內(nèi)？,2. 估計(jì)出的區(qū)間可靠程度有多大？,說(shuō)明：當(dāng)取得一組樣本觀察值后，將其代入 和 的表達(dá)式可得估計(jì)量的觀察值 和 ， 我們?nèi)苑Q( ， )為 的置信 區(qū)間(此時(shí)已不是隨機(jī)區(qū)間)。,15,專業(yè)薈萃,確定置信區(qū)間的常用方法：,首先用點(diǎn)估計(jì)法找到 的一個(gè)估計(jì)量

10、 ，構(gòu)造統(tǒng)計(jì)量 ，使 服從某一已知分布(即分布類型參數(shù) 均已知)，且對(duì) 容易由 y= 解出 (此處 g ，h 均是抽象的函數(shù)關(guān)系)。,2. 由 P( b)=/2，解出a，b。此時(shí)，有 P(a b)=1- 。,16,專業(yè)薈萃,注：對(duì)于概率密度函數(shù)對(duì)稱的總體，用以上方法得到的置信區(qū)間長(zhǎng)度最短。,一、單個(gè)正態(tài)總體參數(shù)的區(qū)間估計(jì),設(shè) 為來(lái)自總體X 的樣本。,1. 總體期望 的估計(jì),(1) 方差已知，估計(jì) ,的置信度為1- 的置信區(qū)間為,(2) 方差未知，估計(jì) , 的置信度為1- 的置信區(qū)間為,說(shuō)明：1. 給定置信度的置信區(qū)間不是唯一的。,2. 置信區(qū)間長(zhǎng)度一般與樣本容量的平方根成反比。,第五節(jié) 正態(tài)總

11、體均值與方差的區(qū)間估計(jì),17,專業(yè)薈萃,3. 當(dāng)方差未知，且n30， 的置信度為1- 的置信區(qū)間為,問題：若X的分布類型未知，如何估計(jì) =E(X)？,當(dāng)方差已知， 的置信度 為1- 的置信區(qū)間為,當(dāng)方差未知， 的置信度 為1- 的置信區(qū)間為,思考題(2003年數(shù)學(xué)一考研試題填空題) 已知一批零件的長(zhǎng)度X (單位：cm)服從正態(tài)分布N(，1)，從中隨機(jī)地抽取16個(gè)零件，得到長(zhǎng)度的平均值為40 ( cm)，則 的置信度為0.95的置信區(qū)間是_ 。 (注：標(biāo)準(zhǔn)正態(tài)分布函數(shù)值 (1.96)=0.975，(1.645)=0.95),18,專業(yè)薈萃,2. 總體方差 的區(qū)間估計(jì),(1) 已知，估計(jì),的置信度

12、為1- 的置信區(qū)間為,標(biāo)準(zhǔn)差 的置信度為1- 的置信區(qū)間為,(2) 未知，估計(jì),的置信度為1- 的置信區(qū)間為,標(biāo)準(zhǔn)差 的置信度為1- 的置信區(qū)間為,19,專業(yè)薈萃,二、兩個(gè)正態(tài)總體的均值差和方差比的區(qū)間估計(jì),基本思想：1. 若在置信度1- 下，有 - (a，b)，其中 a0 (或 b ，(或 0，則在置信度1- 下，不能判定 和 的大小。,2. 若在置信度1- 下，有 / (a，b)，其中a1(或 b ，即總體 波動(dòng)較大(或 1 ，則在置信度1- 下， 不能判定 和 的大小。,20,專業(yè)薈萃,設(shè)樣本 來(lái)自總體 ，樣本 來(lái)自總體 ，且兩個(gè)總體相互獨(dú) 立。兩樣本的樣本均值、樣本方差、分別記為,1.

13、 兩個(gè)正態(tài)總體的均值差的置信區(qū)間,(1) 當(dāng) 已知，求 的置信區(qū)間,的置信度為 1- 的置信區(qū)間為,(2) 當(dāng) 均未知，但已知 ，求 的置信區(qū)間,的置信度為1- 的置信區(qū)間為,21,專業(yè)薈萃,(3) 當(dāng) 均未知，且 ，但已知 m50，n50， 求 的置信區(qū)間,的置信度為 1- 的置信區(qū)間為,2.兩個(gè)正態(tài)總體的方差比的置信區(qū)間,的置信度為1- 的置信區(qū)間為,22,專業(yè)薈萃,的置信度為1- 的置信區(qū)間為,第六節(jié)、0-1分布參數(shù)的區(qū)間估計(jì),設(shè)X服從參數(shù)為 p 的0-1分布，對(duì)任何01，參數(shù) p 的置信 度為1- 的置信區(qū)間為 ，其中,23,專業(yè)薈萃,例. 某市政府?dāng)M實(shí)施某項(xiàng)措施?，F(xiàn)隨機(jī)抽取1000個(gè)市民對(duì)這項(xiàng)措施進(jìn)行民意調(diào)查，贊成的有648人。問：若規(guī)定可靠程度為95%，該市市民中最多有多少人贊成這項(xiàng)措施？最少有多少人贊成這項(xiàng)措施？,第七節(jié)、