《概率與數(shù)理統(tǒng)計》第07章參數(shù)估計精選課件

1、第七章 參數(shù)估計引言第一節(jié) 點估計 第二節(jié) 估計量的評選標準第三節(jié) 區(qū)間估計第四節(jié) 正態(tài)總體均值與方差的區(qū)間估計第五節(jié) 單側的置信區(qū)間習題第1頁，共123頁。 引言 總體樣本統(tǒng)計量描述作出推斷(統(tǒng)計推斷) 研究統(tǒng)計量的性質和評價一個統(tǒng)計推斷的優(yōu)良性，完全取決于其抽樣分布的性質.隨機抽樣第2頁，共123頁。參數(shù)估計問題假設檢驗問題點估計區(qū)間估計統(tǒng)計推斷第3頁，共123頁。 參數(shù)估計問題是利用從總體抽樣得到的信息來估計總體的某些參數(shù)或者參數(shù)的某些函數(shù). 參數(shù)估計估計廢品率估計新生兒的體重估計湖中魚數(shù) 估計降雨量在參數(shù)估計問題中，假定總體分布形式已知，未知的僅僅是一個或幾個參數(shù).第4頁，共123頁。

2、這類問題稱為參數(shù)估計.參數(shù)估計問題的一般提法X1,X2,Xn要依據該樣本對參數(shù)作出估計, 或估計的某個已知函數(shù) .現(xiàn)從該總體抽樣，得樣本 設有一個統(tǒng)計總體 , 總體的分布函數(shù)為F( x, ) ，其中 為未知參數(shù) ( 可以是向量) . 第5頁，共123頁。假定身高服從正態(tài)分布 。設這5個數(shù)是:1.65 1.67 1.68 1.78 1.69 估計 為1.68，這是點估計.這是區(qū)間估計.估計在區(qū)間 1.57, 1.84 內，例如我們要估計某隊男生的平均身高. 現(xiàn)從該總體選取容量為5的樣本，我們的任務是要根據選出的樣本（5個數(shù)）求出總體均值 的估計. 而全部信息就由這5個數(shù)組成 .第6頁，共123頁

3、。第一節(jié)點估計第7頁，共123頁。一、點估計概念隨機抽查100個嬰兒 ,得100個體重數(shù)據 10,7,6,6.5,5,5.2, 呢 ?據此,我們應如何估計和而全部信息就由這100個數(shù)組成 .引例: 已知某地區(qū)新生嬰兒的體重 ,未知第8頁，共123頁。 為估計 :我們需要構造出適當?shù)臉颖镜暮瘮?shù) T(X1,X2,Xn) ， 每當有了樣本，就代入該函數(shù)中算出一個值，用來作為 的估計值 .把樣本值代入T(X1,X2,Xn) 中，估計值 .T(X1,X2,Xn) 稱為參數(shù)的點估計量，得到 的一個點第9頁，共123頁。我們知道,若 ,由大數(shù)定律, 自然想到把樣本體重的平均值作為總體平均體重的一個估計.樣本

4、體重的平均值則 .用樣本體重的均值 估計 . 類似地，用樣本體重的方差 估計 .第10頁，共123頁。第11頁，共123頁。二、尋求估計量的方法1. 矩估計法2. 最大似然估計法3. 最小二乘法4. 貝葉斯方法 我們主要介紹前面兩種方法 .第12頁，共123頁。1. 矩估計法由辛欽大數(shù)定理 ,若總體 的數(shù)學期望 有限,則有其中 為連續(xù)函數(shù) .第13頁，共123頁。 這表明 , 當樣本容量很大時 , 在統(tǒng)計上 , 可以用 樣本矩去估計總體矩 . 這一事實導出矩估計法.定義用樣本原點矩估計相應的總體原點矩 , 又用樣本原點矩的連續(xù)函數(shù)估計相應的總體原點矩的連續(xù)函數(shù), 這種參數(shù)點估計法稱為矩估計法

5、. 理論依據: 大數(shù)定律第14頁，共123頁。矩估計法的具體做法如下： 設總體的分布函數(shù)中含有k個未知參數(shù) , 那么它的前k階矩 ,一般都是這 k 個參數(shù)的函數(shù),記為：從這 k 個方程中解出第15頁，共123頁。j=1,2,k那么用諸 的估計量 Ai 分別代替上式中的諸 , 即可得諸 的矩估計量 ：矩估計量的觀察值稱為矩估計值 .第16頁，共123頁。解： 例題: 設總體 X 的均值 和方差 都存在 , 未知 . 是來自 X 的樣本 , 試求 的矩估計量 .解得于是 的矩估計量為 第17頁，共123頁。 例: 設總體 X 在 a , b 上服從均勻分布 , a , b 未知 . 是來自 X 的

6、樣本 , 試求 a , b 的矩估計量 .解 即 第18頁，共123頁。解得于是 a , b 的矩估計量為 樣本矩總體矩第19頁，共123頁。求參數(shù) 的矩估計.課堂練習：設總體X的概率密度為其中 是未知參數(shù) ,X1 , X2 , , Xn 是取自 X 的樣本,第20頁，共123頁。解: 解得的矩估計量為故第21頁，共123頁。 矩估計法的優(yōu)點是簡單易行,并不需要事先知道總體是什么分布 . 缺點是，當總體類型已知時，沒有充分利用分布提供的信息 .第22頁，共123頁。 2. 最大似然估計法總體類型已知條件下使用的一種參數(shù)估計方法 .最大似然估計原理： 當給定樣本X1,X2,Xn時，定義似然函數(shù)為

7、： 設X1,X2,Xn是取自總體X的一個樣本，樣本的聯(lián)合密度(連續(xù)型）或聯(lián)合分布律 (離散型)為 f (x1,x2, ,xn ; ) .f (x1, x2 , xn; )這里 x1, x2 , xn 是樣本的觀察值 .第23頁，共123頁。 似然函數(shù)： 最大似然估計法就是用使 達到最大值的 去估計 . 稱 為 的最大似然估計值 . 看作參數(shù) 的函數(shù)，它可作為 將以多大可能產生樣本值 x1, x2, ,xn 的一種度量 . f (x1,x2, xn; )而相應的統(tǒng)計量稱為 的最大似然估計量 .第24頁，共123頁。兩點說明： 1、求似然函數(shù)L( ) 的最大值點，可以應用微積分中的技巧。由于ln(

8、x)是 x 的增函數(shù), lnL( )與L( )在 的同一值處達到它的最大值，假定 是一實數(shù)，且lnL( )是 的一個可微函數(shù)。通過求解方程：可以得到 的最大似然估計 . 若 是向量，上述方程必須用方程組代替 . 2、用上述求導方法求參數(shù)的最大似然估計有時行不通，這時要用最大似然原則來求 .第25頁，共123頁。故似然函數(shù)為:例 設X1,X2,Xn是取自總體 XB(1, p) 的一個樣本，求參數(shù)p的最大似然估計量.解： X的分布律為第26頁，共123頁。對數(shù)似然函數(shù)為：第27頁，共123頁。對p求導并令其為0，=0得即為 p 的最大似然估計值 .從而 p 的最大似然估計量為 第28頁，共123頁

9、。 (4) 在最大值點的表達式中, 用樣本值代入就得參數(shù)的最大似然估計值 .求最大似然估計的一般步驟是： (1) 由總體分布導出樣本的聯(lián)合分布律(或聯(lián)合密度); (2) 把樣本聯(lián)合分布律 ( 或聯(lián)合密度 ) 中自變 量看成已知常數(shù),而把參數(shù) 看作自變量,得到似然 函數(shù)L( ); (3) 求似然函數(shù)L( ) 的最大值點(常常轉化為求ln L( )的最大值點) ，即 的最大似然估計;第29頁，共123頁。 例: 設總體 X N( ) , 未知 . 是來自 X 的樣本值 , 試求 的最大似然估計量 .似然函數(shù)為 解：X 的概率密度為 第30頁，共123頁。于是令第31頁，共123頁。解得的最大似然估

10、計量為第32頁，共123頁。例: 設總體X在(a,b)上服從均勻分布, a,b未知, x1,x2,.,xn是一個樣本值. 試求a,b的最大似然估計量.由于ax1,x2,.,xnb等價于ax(1), x(n)b. 似然函數(shù)解： 記x(1)=min(x1,x2,.,xn), x(n)=max(x1,x2,.,xn). X的概率密度是第33頁，共123頁。于是對于滿足條件ax(1), bx(n)的任意a,b有即L(a,b)在a=x(1), b=x(n)時取到最大值(x(n)-x(1)-1. 故a,b的最大似然估計值為a,b的最大似然估計量為第34頁，共123頁。其中 0,解 似然函數(shù)為對數(shù)似然函數(shù)為

11、課堂練習: (1)設X1,X2,Xn是取自總體X的一個樣本 求 的最大似然估計值.第35頁，共123頁。求導并令其為0=0從中解得即為 的最大似然估計值 .對數(shù)似然函數(shù)為第36頁，共123頁。(2) 設X1,X2,Xn是取自總體X的一個樣本其中 0,求 的最大似然估計和矩估計.第37頁，共123頁。對數(shù)似然函數(shù)為i=1,2,n解：(a)最大似然估計。似然函數(shù)為第38頁，共123頁。0 (2)由(1)得=0 (1)對 分別求偏導并令其為0,對數(shù)似然函數(shù)為第39頁，共123頁。故使 達到最大的 為對 取其它值時，且是 的增函數(shù)最后得最大似然估計為第40頁，共123頁。（b）矩估計。由密度函數(shù)是具有

12、均值為 的指數(shù)分布即E(X- ) = D(X- )= E(X)= D(X)=故知所以第41頁，共123頁。解得 的矩估計量為于是第42頁，共123頁。第二節(jié)估計量的評選標準第43頁，共123頁。樣本均值是否是 的一個好的估計量？(2) 怎樣決定一個估計量是否比另一個估計量“好”？樣本方差是否是 的一個好的估計量？這就需要討論以下幾個問題:(1) 我們希望一個“好的”估計量具有什么特性？(3) 如何求得合理的估計量？XN( )第44頁，共123頁。 關于估計量的評選標準，我們必須強調指出： 評價一個估計量的好壞，不能僅僅依據一次試驗的結果，而必須由多次試驗結果來衡量 . 這是因為估計量是樣本的函

13、數(shù), 是隨機變量 . 因此，由不同的觀測結果，就會求得不同的參數(shù)估計值. 因此一個好的估計，應在多次試驗中體現(xiàn)出優(yōu)良性 .第45頁，共123頁。 常用的幾條標準是：1無偏性2有效性3相合性這里我們重點介紹前面兩個標準 .第46頁，共123頁。 估計量是隨機變量，對于不同的樣本值會得到不同的估計值 . 我們希望估計值在未知參數(shù)真值附近擺動，而它的期望值等于未知參數(shù)的真值. 這就引出無偏性這個標準 . 一、無偏性則稱 為 的無偏估計 .設是未知參數(shù) 的估計量，若無偏性的實際意義是指沒有系統(tǒng)誤差 .第47頁，共123頁。 例1 設總體 X 服從指數(shù)分布 , 其概率密度為為未知,X1,X2,Xn是取自

14、總體的一個樣本 ,試證 和 都是參數(shù) 的無偏估計量 .第48頁，共123頁。證:所以 是參數(shù) 的無偏估計量 .而具有概率密度故知即 也是參數(shù) 的無偏估計量 .第49頁，共123頁。所以無偏估計以方差小者為好, 這就引進了有效性這一概念 .的大小來決定二者誰更優(yōu) .和一個參數(shù)往往有不止一個無偏估計, 若 和都是參數(shù) 的無偏估計量，我們可以比較由于第50頁，共123頁。二、有效性D( ) D( )則稱 較 有效 .都是參數(shù) 的無偏估計量，若對任意 ，設和且至少對于某個 上式中的不等號成立，第51頁，共123頁。故 較 有效 . 例2 (續(xù)例1) 試證 當 n 1 時 的無偏估計量 較 有效 .證故

15、有而故有當 n 1 時 ,第52頁，共123頁。三、相合性任意 ，當 時 依概率收斂于 , 則稱 為 的相合估計量.設是參數(shù) 的估計量，若對于為 的相合估計量對于任意 , 有第53頁，共123頁。由辛欽定理 若總體 的數(shù)學期望 有限,則有 其中 為連續(xù)函數(shù) .第54頁，共123頁。故為 的相合估計量 . 若 為連續(xù)函數(shù), 為 的相合估計量 . 則有第55頁，共123頁。第三節(jié)區(qū)間估計第56頁，共123頁。引言前面，我們討論了參數(shù)點估計. 它是用樣本算得的一個值去估計未知參數(shù). 但是，點估計值僅僅是未知參數(shù)的一個近似值，它沒有給出這個近似值的誤差范圍，使用起來把握不大. 區(qū)間估計正好彌補了點估計

16、的這個缺陷 .第57頁，共123頁。我們希望確定一個區(qū)間，使我們能以比較高的可靠程度相信它包含真正的參數(shù)值.這里所說的“可靠程度”是用概率來度量的 ，稱為置信度或置信水平. 習慣上把置信水平記作 ，這里 是一個 很小的正數(shù).第58頁，共123頁。置信水平的大小是根據實際需要選定的.置信水平為 稱區(qū)間 為 的置信區(qū)間.的例如，通常可取置信水平 =0.95或0.9等.根據一個實際樣本，由給定的置信水平，我小的區(qū)間 ，使們求出一個盡可能第59頁，共123頁。一、 置信區(qū)間定義滿足設 是 一個待估參數(shù)，給定X1,X2,Xn確定的兩個統(tǒng)計量則稱區(qū)間 是 的置信水平（置信度 )為 的置信區(qū)間.和 分別稱為

17、置信下限和置信上限. 若由樣本第60頁，共123頁。1. 要求 以很大的可能被包含在區(qū)間內，就是說，概率 要盡可能大 .即要求估計盡量可靠. 2. 估計的精度要盡可能的高. 如要求區(qū)間長度 盡可能短，或能體現(xiàn)該要求的其它準則.目標：第61頁，共123頁。在求置信區(qū)間時，要查表求分位點.二、置信區(qū)間的求法 設 , 對隨機變量X，稱滿足的點 為X的概率分布的上 分位點. 定義第62頁，共123頁。標準正態(tài)分布的上 分位點第63頁，共123頁。 分布的上 分位數(shù)自由度為n的第64頁，共123頁。F分布的上 分位數(shù)自由度為n1,n2的第65頁，共123頁。 N(0, 1)求參數(shù) 的置信度為 的置信區(qū)間

18、. 例1 設X1,Xn是取自 的樣本， 明確問題是求什么參數(shù)的置信區(qū)間?置信水平是多少？解 尋找一個待估參數(shù)和統(tǒng)計量的函數(shù) ，要求其分布為已知.有了分布，就可以求出取值于任意區(qū)間的概率.第66頁，共123頁。從中解得對給定的置信水平查正態(tài)分布表得使也可簡記為于是所求 的 置信區(qū)間為0a/2za/2a/2-za/2第67頁，共123頁。如果取a=0.05, 即1-a=0.95, 又若s=1, n=16, 查表得za/2=z0.025=1.96. 于是得到一個置信水平為0.95的置信區(qū)間再者, 若由一個觀察值算得樣本均值的觀察值x =5.20, 則得到一個區(qū)間(5.200.49), 即 (4.71

19、, 5.69)第68頁，共123頁。最后得到的區(qū)間(4.71,5.69)已經不是隨機區(qū)間了, 但我們仍稱它為置信水平為0.95的置信區(qū)間. 其含義是: 若反復抽樣多次, 每個樣本值(n=16)按(4.7)式確定一個區(qū)間, 按上面的解釋, 在這么多的區(qū)間中, 包含m的約占95%, 不包含m的約僅占5%. 現(xiàn)在抽樣得到區(qū)間(4.71,5.69), 則該區(qū)間屬于那些包含m的區(qū)間的可信程度為95%, 或該區(qū)間包含m這一陳述的可信度為95%.第69頁，共123頁。區(qū)間估計的圖示q第70頁，共123頁。求置信區(qū)間的一般步驟:(1) 尋求一個參數(shù)q和樣本X1,X2,.,Xn的函數(shù): W=W(X1,X2,.,

20、Xn;q ), 使W的分布已知且不依賴參數(shù)q和其他未知參數(shù)。(稱具有這種性質的W為樞軸量)(2) 對于給定的置信水平1-a, 定出兩個常數(shù)a,b, 使 PaW(X1,X2,.,Xn;q)b)=1-a ;(3) 從aW(X1,X2,.,Xn;q)b求得等價的不等式q q q, 其中q=q (X1,X2,.,Xn), q =q(X1,X2,.,Xn)都是統(tǒng)計量, 則(q,q)就是q的一個置信水平為1-a的置信區(qū)間.函數(shù)W(X1,X2,.,Xn;q)的構造, 通?？梢詮膓 的點估計著手考慮. 第71頁，共123頁。 需要指出的是，給定樣本，給定置信水平 ，置信區(qū)間也不是唯一的.對同一個參數(shù)，我們可以

21、構造許多置信區(qū)間. 例如，設 X1 , , Xn 是取自 的樣本 ， 求參數(shù) 的置信水平為 的置 N(0, 1)信區(qū)間.第72頁，共123頁。通常取法我們總是希望置信區(qū)間盡可能短.在概率密度為單峰且對稱的情形，當a =-b時求得的置信區(qū)間的長度為最短.第73頁，共123頁。 即使在概率密度不對稱的情形，如 分布，F(xiàn)分布，習慣上仍取對稱的分位點來確定置信區(qū)間.第74頁，共123頁。 也就是說，要想得到的區(qū)間估計可靠度高，區(qū)間長度就長，估計的精度就差.這是一對矛盾. 實用中一般在保證足夠可靠的前提下，盡量使得區(qū)間的長度短一些 . 我們可以得到未知參數(shù)的的任何置信水平小于 1 的置信區(qū)間，并且置信水

22、平越高，相應的置信區(qū)間平均長度越長.第75頁，共123頁。第四節(jié)正態(tài)總體均值與方差的區(qū)間估計第76頁，共123頁。一、單個總體 的情況并設 為來自總體的 樣本 ,分別為樣本均值和樣本方差 .均值 的置信區(qū)間可得到 的置信水平為 的置信區(qū)間為第77頁，共123頁?？傻玫?的置信水平為 的置信區(qū)間為此分布不依賴于任何未知參數(shù)由或第78頁，共123頁。 例1: 有一大批糖果.現(xiàn)從中隨機地取 16 袋 , 稱得重量(以克計)如下: 506 508 499 503 504 510 497 512 514 505 493 496 506 502 509 496設袋裝糖果的重量近似地服從正態(tài)分布,試求總體均

23、值 的置信水平0.95為的置信區(qū)間.解：于是得到 的置信水平為 的置信區(qū)間為第79頁，共123頁。方差 的置信區(qū)間由可得到 的置信水平為 的置信區(qū)間為還可得到標準差 的置信水平為 的置信區(qū)間為第80頁，共123頁。由可得到 的置信水平為 的置信區(qū)間為第81頁，共123頁。 例2: 有一大批糖果.現(xiàn)從中隨機地取 16 袋 , 稱得重量(以克計)如下: 506 508 499 503 504 510 497 512 514 505 493 496 506 502 509 496設袋裝糖果的重量近似地服從正態(tài)分布,試求總體標準差 的置信水平為0.95的置信區(qū)間.第82頁，共123頁。于是得到 的置信

24、水平為 的置信區(qū)間為解：第83頁，共123頁。二、兩個總體 的情況設已給定置信水平為 , 并設 是來自第一個總體的樣本 , 是來自第二個總體的樣本 ,這兩個樣本相互獨立 .且設 分別為第一、二個總體的樣本均值 , 為第一、二個總體的樣本方差 . 第84頁，共123頁。兩個總體均值差 的置信區(qū)間于是得到 的置信水平為 的置信區(qū)間為第85頁，共123頁。其中于是得到 的置信水平為 的置信區(qū)間為第86頁，共123頁。兩個總體方差比 的置信區(qū)間( 未知 )由可得到 的置信水平為 的置信區(qū)間為第87頁，共123頁。 例3 為比較 I , 兩種型號步槍子彈的槍口速度 ,隨機地取 I 型子彈 10 發(fā) ,得

25、到槍口速度的平 均值 為 標準差 隨機地取 型子彈 20 發(fā) ,得到槍口速度的平均值為 標準差 假設兩總體都可認為近似地服從正態(tài)分布.且生產過程可認為方差相等 .求兩總體均值差 的置信水平為 0.95 的置信區(qū)間.第88頁，共123頁。解: 依題意 , 可認為分別來自兩總體的樣本是相互獨立的.又因為由假設兩總體的方差相等 ,但數(shù)值未知 ,故兩總體均值差 的置信水平為的置信區(qū)間為其中第89頁，共123頁。這里故兩總體均值差 的置信水平為0.95 的置信區(qū)間為即 (3.07, 4.93) .第90頁，共123頁。 例4 研究由機器 A 和機器 B 生產的鋼管的內徑 , 隨機地抽取機器 A生產的鋼管

26、18只 , 測得樣本方差 隨機地取機器 B 生產的鋼管13只 ,測得樣本方差 設兩樣本相互獨立 , 且設由機器 A 和機器 B 生產的鋼管的內徑分別服從正態(tài)分布 這里 (i =1,2) 均未知 .試求方差比 的置信水平為 0.90 的置信區(qū)間.第91頁，共123頁。這里即 (0.45 , 2.79) .解故兩總體方差比 的置信水平為0.90 的置信區(qū)間為第92頁，共123頁。第五節(jié)單側的置信區(qū)間第93頁，共123頁。 前面講述的置信區(qū)間中置信限都是雙側的，但對于有些實際問題，人們關心的只是參數(shù)在一個方向的界限. 例如對于設備、元件的使用壽命來說，平均壽命過長沒什么問題，過短就有問題了.這時, 可將置信上限取為+ ，而只著眼于置信下限 ，這樣求得的置信區(qū)間叫單側置信區(qū)間.第94頁，共123頁。單側置信區(qū)間和置信限的定義：設 是 一個待估參數(shù)，給定滿足若由樣本X1,X2,Xn確定的統(tǒng)計量則稱區(qū)間 是 的置信水平為 的單側置信區(qū)間.定義稱為 的置信水平為 的單側置信下限.對于任意 ,第95頁，共123頁。滿足若由樣本X1,X2,Xn確定的統(tǒng)計量 則稱區(qū)間 是 的置信水平為 的單側置信區(qū)間.稱為 的置信水平為 的單側置信上限.對于任意 ,第96頁，