概率統(tǒng)計 第六章 點估計(共15頁)

1、武漢紡織大學備課紙PAGE PAGE 17第六章 點估計教學(jio xu)目的1、使學員掌握參數(shù)點估計的概念(ginin)及基本思想。2、使學員(xuyun)牢固掌握求未知參數(shù)估計量的兩種常用方法：矩法和極大似然法。3、掌握判斷估計量的三個標準：無偏性、一致性和有效性。4、理解單參數(shù)正則分布族C-R不等式的含義，會求有效估計或有效率。參數(shù)點估計的概念在用數(shù)理統(tǒng)計方法解決實際問題時，常會碰到這類問題：由所得資料的分析，我們能基本推斷出母體的分布類型，比如其概率函數(shù)（密度或概率分布的統(tǒng)稱）為f(X,)，但其中參數(shù)(一維或多維)卻未知，只知道的可能取值范圍是，需對作出估計或推斷。這類問題稱為參數(shù)估

2、計問題。這類問題中的稱為參數(shù)空間，f(,), 稱為母體的概率函數(shù)族。例如：1、某燈炮廠生產(chǎn)的燈泡的使用壽命據(jù)已有資料分析服從N(,2)分布，這里=(,2)的具體值未知，只知取值范圍為(0,+)(0,+)需對作估計。這里參數(shù)空間=(,2)：0+，20,的概率函數(shù)族為f(, ,2)：(,2)而f(, 2)= -+2、某紡織廠細紗機上的斷頭次數(shù)可用Poisson分布P()描述，只知0，不知其值,為掌握每只紗綻在某一時間間隔內(nèi)斷頭數(shù)K次的概率，需對作出推斷。這里參數(shù)空間=:0，的概率函數(shù)族為f(,): ,其中f(,)=P(=x)=，=0,1,2一個參數(shù)估計問題就是通過子樣估計出母體分布中的未知參數(shù)或的

3、函數(shù)的問題。參數(shù)估計根據(jù)估計的形式，又分為點估計和區(qū)間估計。本章主要討論點估計：設(shè)母體具有概率函數(shù)族f(,) 未知待估，1，2，n是取自的子樣,如我們構(gòu)造一個統(tǒng)計量(1，n)來估計，(要求u的維數(shù)與的維數(shù)相同)，則稱該統(tǒng)計量u為的估計量。并記為=u(1，n)，對一組子樣觀測值(1，n)代入估計量得到的值=u(1，n)稱為的估計值。估計值和估計量統(tǒng)稱為的估計。但估計是估計值(一個具體值)或是估計量(一個隨機變量)，可根據(jù)具體要求作判斷。像這類用一個統(tǒng)計(tngj)量來估計未知參數(shù)的問題，稱為參數(shù)的點估計問題(wnt)。如何(rh)求估計量呢？方法很多，下面介紹最常用的兩種方法。6.1矩法估計一、

4、矩法對于隨機變量來說，矩是其最廣泛，最常用的數(shù)字特征，母體的各階矩一般與分布中所含的未知參數(shù)有關(guān)，有的甚至就等于未知參數(shù)。由辛欽大數(shù)律，簡單隨機子樣構(gòu)成的子樣矩依概率收斂到相應(yīng)的母體矩。自然會想到用子樣矩替換母體的相應(yīng)矩，進而找出未知參數(shù)的估計，基于這種思想求估計量的方法稱為矩法。用矩法求得的估計稱為矩法估計，簡稱矩估計。具體作法是：設(shè)母體的概率函數(shù)為f(,1，k),其中(1，k) 未知待估，設(shè)EK=Vk存在，則當jK時，Ej=Vj;必存在。令Vj(1，k)= j=1,2,，k (6.1)解(6.1)所示的關(guān)于1，k的k個方程，則得 為1，2,k的矩估計,(6.1)中也可用子樣中心矩代母體中心

5、矩。 例6.1設(shè)母體的均值,方差2未知，1, 2n為取自的子樣，求與2的矩估計。解：由, 2分別是的一階原點矩和二階中心矩根據(jù)矩法求估計的思想令 即是與2的矩估計(gj)注意(zh y)到我們這里求出 并未用到的分布(fnb)例6.2設(shè)母體服從(p,6) 分布，其密度為f(;P,6)= ，0這里b0, P0未知待估，求其矩法估計。分析與解：這里要估計的未知參數(shù)有兩個，根據(jù)用矩法求估計的作法，應(yīng)先求出的兩個矩，我們知道用特征函數(shù)求矩最簡便，由第三章習題91(3) 的特征函數(shù)為： ，=E= ，E2= 故D= 令 解得 二、判斷估計好壞的兩個標準上面用矩法求出的估計是否好？現(xiàn)介紹兩個評判估計量好壞的

6、標準。1、一致性定義6.1，設(shè)母體具有概率函數(shù)f(,)，為未知參數(shù)，1，2，,為子樣，為的一個估計量，若對任給0，有 =0則稱 為的一致估計。按此定義， 是的一致估計 顯然，矩估計都是一致估計。2、無偏性定義(dngy)6.2，設(shè)是母體分布(fnb)所含未知參數(shù)的一個(y )估計量，若對一切均有，則稱為的無偏估計，否則稱為有偏的?，F(xiàn)在來驗證母體期望E=與方差D=2的矩估計是否為無偏估計，由定理5.1 是的無偏估計類似可證母體K階原點矩EK=的矩估計，都是的無偏估計。而 Sn2不是2的無偏估計，現(xiàn)糾偏令 則由此得是2的無偏估計，Sn2不是2的無偏估計，但 ESn2= 我們稱Sn2為2的漸近無偏估

7、計，當樣本容量較大時，用Sn2與來估計2差別不大，但容量n較小時，用估計2比用Sn2來估計2性能更好。一般地，若未知參數(shù)的一個估計是有偏的，但當n時，有E，則稱為的漸近無偏估計。例6.3（教材P262）例6.4設(shè)母體服從（0, 上的均勻分布，0未知，求的矩估計，并驗證其無偏性。解E=令=得為的矩估計，而E 所以(suy) 是的無偏估計，又矩估計都是一致(yzh)估計，所以， 是的一致(yzh)，無偏估計。6.2極大似然估計矩法估計具有直觀、簡便等優(yōu)點，特別求母體均值和方差的矩估計并不要求了解母體的分布，但它有缺點：對原點矩不存在的分布如哥西分布不能用，另方面它也沒有充分利用母體分布F(；)對提

8、供的信息，下面再介紹一種求點估計的方法最大（極大）似然法。極大似然法最早是由CF Gauss提出的，后來R A Fisher在1912年的一篇文章中重新提出，并證明了這個方法的一些性質(zhì)，極大似然估計這一名稱也是由Fisher（費歇）給出的，這是目前仍得到廣泛應(yīng)用的一種求估計之方法，它建立在極大似然原理的基礎(chǔ)上，即：一個隨機試驗下有若干個可能的結(jié)果A B C，等，如在一次試驗中，結(jié)果A出現(xiàn)了，那么可以認為P(A)較大。再看下面的例例6.5罐中放有若干黑、白球、僅知兩色球的數(shù)目之比為1:3，但不知何色球多，試估計抽到黑球的概率P是或。解：以有放回抽樣的方式抽球n個進行觀察，以表抽得的黑球數(shù)：則P(

9、=)=f(;P)= =0，1，n(其中q=1-p) 現(xiàn)以n=3為例，討論如何根據(jù)的值來估計參數(shù)P0123P(; )1/649/6427/6427/64P(; )27/6427/649/641/64通過分析、可定義P的估計量 如下： 由上面的分析看出，這里(zhl)選取 的原理(yunl)是根據(jù)P(; )P(;)其中(qzhng)是異于 的另一估計值。這就是極大似然原理的基本思想。一般地,設(shè)母體的概率函數(shù)族為 其中=(1,2,k)是k維得侍估參數(shù)向量，又設(shè)(1, n)=是子樣（1, n）=的一個觀察值，則子樣落在點的領(lǐng)域內(nèi)的概率是 ，可見這個概率會受變化的影響，(即是的函數(shù))最大似然法原理就是要

10、選取使得子樣落在觀察值(1, n)鄰域里的概率達最大的參數(shù)值 作為的估計，即對固定的(1,n)選取合定義6.3設(shè)母體具有概率函數(shù)族f(;), =(1,2, n)為抽取的一個子樣，記 （可為向量 ） （6.2） 作為的函數(shù)稱為的似然函數(shù)。若能選取使得 成立 （6.3）則稱 為的極大（最大）似然估計。且將 中換成，即j(1, )稱為j的極大似然估計量，極大似然估計簡記為MLE或。求極大似然估計常用如下方法：對(6.2)所示的似然函數(shù)(hnsh)取對數(shù) (6.4)因是L的增函數(shù)，故與L有相同(xin tn)的極大值點令 j=1,2,k (6.5)稱(6.5)為似然方程。解之并驗證(ynzhng)是否

11、為最大值點可得 為=(1, k)的最大似然估計。例6.6設(shè)母體服從Poisson分布P(),其中0是一未知參數(shù)，求的MLE。解 由已知具有概率函數(shù)f(;)= , =0,1,2,設(shè)子樣1, n的觀測值為1,2,n則L(;1,n)= 上式兩邊取對數(shù)令 解上面的似然方程得=經(jīng)驗證解出=是從而也是L()的最大值點，所以是的MLE。在求解L()的最大值點時，并非每次存在易解的似然方程，見下面的例：例6.7設(shè)母體服從0,上的均勻分布，0是未知參數(shù)，求的MLE。解：由已知概率函數(shù)為f(; )= （0）設(shè)1, , n為取自的子樣則，L()= 由于(yuy)f(；)的支撐(zh chng)與有關(guān)，不存在易解的似

12、然方程(fngchng)，我們由定義6.3，找L()的最大值點，由L()的表達式，越小L()=就越大因Lmaxi=(n)所以=(n)時L()達極大。=(n)是的MLE，這與例6.4中的矩估計=不一樣?，F(xiàn)驗證是否為的無偏估計，由第五章TH5.5系1，(n)有密度： 0y （6.6）可見是有偏估計。將其糾偏，令 則為的無偏估計。于是均勻分布U（0, ）的未知數(shù)現(xiàn)有兩個無偏估計：與 ，易驗對任意滿足1+2=1的正數(shù)1+2，都是的無偏估計，即存在無數(shù)個無偏估計。例6.8N（,2）,=（,2）(-,)(0,+)=是未知參數(shù)，從抽取子樣(1, , n)，試求的極大似然估計解：由題設(shè)的密度(md)為 故似然

13、方程組為：解之并驗證(ynzhng)得：即和是和2的最大似然估計(gj)，與矩估計一樣。極大似然估計有一個簡單而有用的性質(zhì)性質(zhì)定理 設(shè)是母體概率函數(shù)中未知參數(shù)的MLE，可估計函數(shù)g()=u, 具有單值反函數(shù)=g-1(u) uU(U為g()的值域)則 是g()的MLE。證：例6.9(例6.8續(xù))，設(shè)1, 2, n取自正態(tài)母體N(,2), 與2未知，=-+，20求標準差的MLE。解：由例6.8 極大似然估計法應(yīng)用(yngyng)很廣泛源于極大似然估計的優(yōu)良性質(zhì)，教材P272定理6.1描述了極大似然估計的一個重要性質(zhì)漸近正態(tài)性，這對于研究(ynji)大子樣問題十分有用。定理(dngl)6.1 （參見

14、教材P272P273）6.3 RaoCramer不等式 對于母體分布中的未知參數(shù)，用不同的估計法可能得到不同的無偏估計量，比如U0, ，0未知，其矩估計為無偏估計，由極大似然估計也是的無偏估計，那么與哪個更好呢？定義6.3 參數(shù)有兩個無偏估計與，若有 對一切成立則稱比更有效。例6.10檢驗U0, 中與哪個更有效。 而故當n2時，比更有效。由上面的討論我們知道，無偏估計的方差越小越好，一個很自然的問題是：無偏估計的方差是否可以任意??？如果不可以任意小，那么這個無偏估計方差的下界是什么？這個下界能否達到？回答這些問題的最重要結(jié)果是Cramer和Rao分別在1945年和1946年所證明的一個重要不等

15、式，即被稱之為C-R不等式，由于該不等式的證明要求母體分布滿足一系列的正則條件，為此先介紹關(guān)于C-R正則分布族的概念。定義(dngy)：假設(shè)單參數(shù)(cnsh)概率函數(shù)族f(,), 滿足(mnz)如下條件：（1）參數(shù)空間是直線上的某個開區(qū)間；（2）支撐 0不依賴于；（3）存在，且對一切成立。（4）下面的數(shù)學期望存在，且則稱分布族f(,),為C-R正則分布族，其中條件(1)(4)稱為C-R正則條件，I()稱為該分布族的Fisher信息量,易驗證，貝努里分布族b(1,P),P(0,1),Poisson分布族P(),0,正態(tài)分布族 N(,2),-, 20關(guān)于它的一個參數(shù)， 分布族關(guān)于它的一個參數(shù)等都屬

16、于C-R正則分布族。但均勻分布族U（0,）0不是C-R正則分布族。定理(C-R不等式)，設(shè)母體f(,)而f(,)為C-R正則分布族，1, , 為取自的一個子樣，=u（1, , ）為待估函數(shù)g()的一個無偏估計，滿足 (6.7) (6.8)且(6.8)中等號成立存在一個不依賴于子樣的K()(即K可能依賴于)使以Pr為1地成立 (6.9)上面(6.8)稱C-R不等式，特別當g()= 時，記= 則有 (6.10)證明(zhngmng)見書P275-P277上面的C-R不等式，給出了無偏估計的方差的一個下界，這個下界稱為Rao-cramer下界，對于C-R正則分布族，如果(rgu)某個的無偏(w pi

17、n)估計的方差達到這個下界，那么它就是滿足條件(6.7)的無偏估計類中方差最小的，無疑這個估計量是比較理想的。進一步，如果的無偏估計都滿足(6.7)，那么達到C-R下界的無偏估計就是最有效的，也就是最小方差無偏估計。定義6.4若的一個無偏估計滿足： (即達到C-R不等式的下界)則稱為的有效估計。定義6.5若是的一個無偏估計，存在I()=則稱為的有效率顯然有01而有效估計是最有效的一個，其有效率達到1。在求C-R下界時，母體的Fisher信息量I()是一個重要的量，I()出現(xiàn)在C-R下界的分母中，因此I()越大，下界越小，此時，有效估計也就越精確，我們可把這一點解釋為子樣中包含未知參數(shù)的“信息”

18、越多，這也許可作為“信息量”這個名稱的一種解釋。例6.10設(shè)母體b(1，p) P(0.1) 1, , n為子樣，求P的C-R下界。解：先求I(P)令 取 是P的有效(yuxio)估計例6.11設(shè)母體(mt)P(),0未知，求的C-R下界(xi ji)解：f(,)= x=0,1,2, = =的C-R下界為 取 則是的有效估計在求某個未知參數(shù)的C-R下界時，除像上面的幾個例子一樣，用定義求I()，求I()還可用另外的方法。性質(zhì) 若 (6.11)證：例6.12設(shè)1, , n為取自正態(tài)母體(mt)N(2)的一個(y )子樣，未知，且-，驗證(ynzhng)為的有效估計。解：先求的C-R下界 的C-R下界為而是的有效估計例6.13 在例6.12中，若未知，求2的無偏估計。的有效率解： 由性質(zhì)定理C-R下界(xi ji)為現(xiàn)求 的期望