第6章-點(diǎn)估計(jì)(數(shù)應(yīng))

第六章點(diǎn)估計(jì)矩法估計(jì)極大似然估計(jì)克拉默-拉奧不等式充分統(tǒng)計(jì)量拉奧-勃拉克維爾定理和一致最小方差無(wú)偏估計(jì)理解參數(shù)的點(diǎn)估計(jì)的概念，掌握矩估計(jì)法與極大似然值估計(jì)法了解估計(jì)量的無(wú)偏性，有效性，一致性了解估計(jì)的概念，會(huì)求單個(gè)正態(tài)總體的均值與方差的置信區(qū)間，會(huì)求兩個(gè)正態(tài)總體的均值及方差比的置信區(qū)間學(xué)習(xí)目的重點(diǎn)和難點(diǎn)點(diǎn)估計(jì)中的矩估計(jì)法、極大似然估計(jì)法估計(jì)量的性質(zhì)置信區(qū)間引言上一章，我們介紹了總體、樣本、簡(jiǎn)單隨機(jī)樣本、統(tǒng)計(jì)量和抽樣分布的概念，介紹了統(tǒng)計(jì)中常用的三大分布，給出了幾個(gè)重要的抽樣分布定理.它們是進(jìn)一步學(xué)習(xí)統(tǒng)計(jì)推斷的基礎(chǔ).研究統(tǒng)計(jì)量的性質(zhì)和評(píng)價(jià)一個(gè)統(tǒng)計(jì)推斷的優(yōu)良性，完全取決于其抽樣分布的性質(zhì).

總體樣本統(tǒng)計(jì)量描述作出推斷隨機(jī)抽樣參數(shù)估計(jì)問題假設(shè)檢驗(yàn)問題點(diǎn)估計(jì)區(qū)間估計(jì)統(tǒng)計(jì)推斷的基本問題什么是參數(shù)估計(jì)？參數(shù)是刻畫總體某方面概率特性的數(shù)量.參數(shù)的類型有:1、分布中所含的未知參數(shù).

例如，X~N(,2),若

,2未知,通過構(gòu)造統(tǒng)計(jì)量,給出它們的估計(jì)值或取值范圍就是參數(shù)估計(jì)的內(nèi)容.區(qū)間估計(jì)參數(shù)估計(jì)的兩種類型點(diǎn)估計(jì)這是區(qū)間估計(jì).估計(jì)在區(qū)間[1.57,1.84]內(nèi)，（假定身高服從正態(tài)分布）假如我們要估計(jì)某隊(duì)男生的平均身高.設(shè)這5個(gè)數(shù)是:1.651.671.681.781.69現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個(gè)數(shù)）求出總體均值的估計(jì).而全部信息就由這5個(gè)數(shù)組成.估計(jì)為1.68，這是點(diǎn)估計(jì).3、分布的各種特征數(shù)例如：EX，VarX,分布中位數(shù)等。2、分布中所含的未知參數(shù)

的函數(shù).例如：X~N(,2),其中

,2未知，對(duì)于某定值a,要估計(jì),即為,的函數(shù).參數(shù)估計(jì)問題是利用從總體抽樣得到的樣本,通過估計(jì)量來(lái)估計(jì)上述各種參數(shù).估計(jì)量就是估計(jì)總體參數(shù)的統(tǒng)計(jì)量.在參數(shù)估計(jì)問題中，假定總體分布形式已知，未知的僅僅是一個(gè)或幾個(gè)參數(shù).一般地，用（可以是向量）來(lái)表示參數(shù)，它的所有可能取值組成的集合稱為參數(shù)空間，用Θ表示.參數(shù)估計(jì)問題的一般提法現(xiàn)從該總體抽樣，得樣本要依據(jù)該樣本對(duì)參數(shù)作出估計(jì)，或估計(jì)的某個(gè)已知函數(shù).這類問題稱為參數(shù)估計(jì).設(shè)有一個(gè)統(tǒng)計(jì)總體，總體的分布函數(shù)為，其中為未知參數(shù)(可以是向量).尋求估計(jì)量的方法1.矩估計(jì)法2.極大似然法3.最小二乘法4.貝葉斯方法這里我們主要介紹前面兩種方法.6.1矩估計(jì)法其基本思想是用樣本矩估計(jì)總體矩.理論依據(jù)：大數(shù)定律或格列汶科定理它是基于一種簡(jiǎn)單的“替換”思想建立起來(lái)的一種估計(jì)方法.是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出的.記總體k階矩為樣本k階矩為用相應(yīng)的樣本矩去估計(jì)總體矩的估計(jì)方法就稱為矩估計(jì)法.記總體k階中心矩為樣本k階中心矩為那么用諸的估計(jì)量Ai分別代替上式中的諸,即可得諸的矩估計(jì)量：j=1,2,…,k設(shè)總體的分布函數(shù)中含有k個(gè)未知參數(shù),那么它的前k階矩一般都i=1,2,…,k.從這k個(gè)方程中解出j=1,2,…,k是這k個(gè)參數(shù)的函數(shù),記為：解:由矩法,樣本矩總體矩從中解得的矩估計(jì).即為數(shù)學(xué)期望是一階原點(diǎn)矩

例1設(shè)總體

的概率密度為是未知參數(shù),其中

是取自

的樣本,求參數(shù)的矩估計(jì).解:由密度函數(shù)知具有均值為的指數(shù)分布即

例2設(shè)

是取自總體

的一個(gè)樣本其中,求的矩估計(jì).解得令用樣本矩估計(jì)總體矩解得于是a,b的矩估計(jì)量為總體矩表示解:

例3

設(shè)總體,a,b未知,

為取自該總體的樣本，求參數(shù)a,b的矩法估計(jì)量.解得于是的矩估計(jì)量為樣本矩表示解:總體矩表示

例4設(shè)總體

的均值和方差都存在,未知.是來(lái)自

的樣本,試求的矩估計(jì)量.總體分布為一般情形(包括分布未知)時(shí)的矩法估計(jì)方法:用樣本均值來(lái)估計(jì)總體均值EX用樣本方差來(lái)估計(jì)總體方差VarX.用樣本的p分位數(shù)來(lái)估計(jì)總體的p分位數(shù).用事件A出現(xiàn)的頻率來(lái)估計(jì)事件A發(fā)生的概率.

矩法的優(yōu)點(diǎn)是簡(jiǎn)單易行,并不需要事先知道總體是什么分布.缺點(diǎn)是，當(dāng)總體類型已知時(shí)，沒有充分利用分布提供的信息.一般場(chǎng)合下,矩估計(jì)量不具有唯一性.其主要原因在于建立矩法方程時(shí)，選取哪些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性.我們知道,服從正態(tài)分布根據(jù)矩法估計(jì)，我們可以用樣本均值用樣本方差.估計(jì)的優(yōu)良性樣本均值是否是的一個(gè)好的估計(jì)量？樣本方差是否是的一個(gè)好的估計(jì)量？那么要問:這就需要討論以下幾個(gè)問題:(1)我們希望一個(gè)“好的”估計(jì)量具有什么特性？(2)怎樣決定一個(gè)估計(jì)量是否比另一個(gè)估計(jì)量“好”？(3)如何求得合理的估計(jì)量？估計(jì)量的優(yōu)良性準(zhǔn)則這是因?yàn)楣烙?jì)量是樣本的函數(shù)，是隨機(jī)變量.因此，由不同的觀測(cè)結(jié)果，就會(huì)求得不同的參數(shù)估計(jì)值.因此一個(gè)好的估計(jì)，應(yīng)在多次試驗(yàn)中體現(xiàn)出優(yōu)良性.在介紹估計(jì)量?jī)?yōu)良性的準(zhǔn)則之前，我們必須強(qiáng)調(diào)指出：評(píng)價(jià)一個(gè)估計(jì)量的好壞，不能僅僅依據(jù)一次試驗(yàn)的結(jié)果，而必須由多次試驗(yàn)結(jié)果來(lái)衡量.常用的幾條標(biāo)準(zhǔn)是：2．無(wú)偏性3．有效性1．相合性這節(jié)我們重點(diǎn)介紹前面兩個(gè)標(biāo)準(zhǔn).相合性則稱為的相合估計(jì).設(shè)總體具有概率函數(shù)為未知參數(shù)，為的一個(gè)估計(jì)量，為樣本容量.若對(duì)任意一個(gè)，有相合性樣本均值為總體均值的相合估計(jì).樣本原點(diǎn)矩為總體原點(diǎn)矩的相合估計(jì).樣本方差為總體方差的相合估計(jì).

估計(jì)量是隨機(jī)變量，對(duì)于不同的樣本值會(huì)得到不同的估計(jì)值.我們希望估計(jì)值在未知參數(shù)真值附近擺動(dòng)，而它的期望值等于未知參數(shù)的真值.這就導(dǎo)致無(wú)偏性這個(gè)標(biāo)準(zhǔn).無(wú)偏性則稱為的無(wú)偏估計(jì)

.設(shè)是未知參數(shù)的估計(jì)量，若無(wú)偏性樣本均值為總體均值的無(wú)偏估計(jì).樣本原點(diǎn)矩為總體原點(diǎn)矩的無(wú)偏估計(jì).樣本方差不是總體方差的無(wú)偏估計(jì).是總體方差的無(wú)偏估計(jì).一般的，二階或二階以上樣本中心矩不是總體中心矩的無(wú)偏估計(jì).注意：若是參數(shù)的無(wú)偏估計(jì)，函數(shù)不一定是的無(wú)偏估計(jì)若的一個(gè)估計(jì)不是無(wú)偏估計(jì)，但當(dāng)時(shí)，.則稱為的漸進(jìn)無(wú)偏估計(jì).6.2極大似然法極大似然法是在總體類型已知條件下使用的一種參數(shù)估計(jì)方法.它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的,然而，這個(gè)方法常歸功于英國(guó)統(tǒng)計(jì)學(xué)家費(fèi)歇.費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).GaussFisher是誰(shuí)打中的呢？例子：某位同學(xué)與一位獵人一起外出打獵.一只野兔從前方竄過.只聽一聲槍響，野兔應(yīng)聲倒下.如果要你推測(cè)，你會(huì)如何想呢?極大似然法的基本思想下面我們?cè)倏匆粋€(gè)例子,進(jìn)一步體會(huì)極大似然法的基本思想.你就會(huì)想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來(lái)這一槍是獵人射中的.這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.

例5設(shè)X~B(1,p),p未知.設(shè)想我們事先知道p只有兩種可能:問:應(yīng)如何估計(jì)p?p=0.7或p=0.3如今重復(fù)試驗(yàn)3次,得結(jié)果:0,0,0由概率論的知識(shí),3次試驗(yàn)中出現(xiàn)“1”的次數(shù)k=0,1,2,3應(yīng)如何估計(jì)p?p=0.7或p=0.3k=0,1,2,3出現(xiàn)估計(jì)出現(xiàn)出現(xiàn)出現(xiàn)估計(jì)估計(jì)估計(jì)

將計(jì)算結(jié)果列表如下：p值 P(Y=0)P(Y=1)P(Y=2)P(Y=3)0.7 0.0270.189 0.441 0.3430.3 0.3430.441 0.189 0.027 0.3430.4410.4410.343如果有p1,p2,…,pm可供選擇,又如何合理地選p呢?i=1,2,…,m則估計(jì)參數(shù)p為時(shí)Qi

最大,比方說(shuō),當(dāng)從中選取使Qi最大的pi作為p的估計(jì).若重復(fù)進(jìn)行試驗(yàn)n次,結(jié)果“1”出現(xiàn)k次(0≤k≤n),我們計(jì)算一切可能的P(Y=k;pi

)=Qi，

i=1,2,…,m如果只知道0<p<1,并且實(shí)測(cè)記錄是Y=k(0≤k≤n),又應(yīng)如何估計(jì)p呢?注意到是p的函數(shù),可用求導(dǎo)的方法找到使f(p)達(dá)到極大值的p.但因f(p)與lnf(p)達(dá)到極大值的自變量相同,故問題可轉(zhuǎn)化為求lnf(p)的極大值點(diǎn).這時(shí),對(duì)一切0<p<1,均有將lnf(p)對(duì)p求導(dǎo)并令其為0,便得

p(n-k)=k(1-p),從而

以上這種選擇一個(gè)參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率的思想就是極大似然法的基本思想.這時(shí),對(duì)一切0<p<1,均有則估計(jì)參數(shù)p為當(dāng)給定樣本

時(shí)，定義似然函數(shù)為：極大似然估計(jì)原理設(shè)

是取自總體

的一個(gè)樣本，樣本的聯(lián)合密度(連續(xù)型）或聯(lián)合概率函數(shù)(離散型)為極大似然估計(jì)法就是用使達(dá)到最大值的去估計(jì).稱為的極大似然估計(jì)（MLE）.似然函數(shù)：

看作參數(shù)的函數(shù)，它可作為將以多大可能產(chǎn)生樣本值

的一種度量.(4)在最大值點(diǎn)的表達(dá)式中,用樣本值代入就得參數(shù)的極大似然估計(jì)值.求極大似然估計(jì)(MLE)的一般步驟是：(1)由總體分布導(dǎo)出樣本的聯(lián)合概率函數(shù)(或聯(lián)合密度);(3)求似然函數(shù)

的最大值點(diǎn)(常常轉(zhuǎn)化為求

的最大值點(diǎn))，即

的MLE;(2)把樣本聯(lián)合概率函數(shù)(或聯(lián)合密度)中自變量看成已知常數(shù),而把參數(shù)看作自變量,得到

似然函數(shù)

；兩點(diǎn)說(shuō)明：1、求似然函數(shù)

的最大值點(diǎn)，可以應(yīng)用微積分中的技巧。由于是

的增函數(shù)，與

在的同一值處達(dá)到它的最大值，假定是一實(shí)數(shù)，且是的一個(gè)可微函數(shù)。通過求解所謂“似然方程”：可以得到的MLE.若是向量，上述方程必須用似然方程組代替.2、用上述求導(dǎo)方法求參數(shù)的MLE有時(shí)行不通，這時(shí)要用極大似然原則來(lái)求.兩點(diǎn)說(shuō)明：解：似然函數(shù)為:下面舉例說(shuō)明如何求極大似然估計(jì)

例6設(shè)

是取自總體的一個(gè)樣本，求參數(shù)p的極大似然估計(jì).對(duì)數(shù)似然函數(shù)為：對(duì)p求導(dǎo)并令其為0，得即為p的MLE.對(duì)數(shù)似然函數(shù)為解：似然函數(shù)為例7

設(shè)

是取自總體

的一個(gè)樣本求的極大似然估計(jì).其中

求導(dǎo)并令其為0從中解得即為的MLE.對(duì)數(shù)似然函數(shù)為解：似然函數(shù)為i=1,2,…,n

例8設(shè)

是取自總體

的一個(gè)樣本其中,求的極大似然估計(jì).對(duì)數(shù)似然函數(shù)為似然函數(shù)i=1,2,…,n(2)由(1)得(1)對(duì)分別求偏導(dǎo)并令其為0,對(duì)數(shù)似然函數(shù)為故使達(dá)到最大的即的MLE，是于是即為的MLE.對(duì)取其它值時(shí)，且是的增函數(shù)由于極大似然估計(jì)的一個(gè)性質(zhì)可證明極大似然估計(jì)具有下述性質(zhì)：設(shè)的函數(shù)是上的實(shí)值函數(shù),且有唯一反函數(shù).如果是的MLE，則也是的極大似然估計(jì).

例9一罐中裝有白球和黑球，有放回地抽取一個(gè)容量為n的樣本，其中有k個(gè)白球，求罐中黑球與白球之比R的極大似然估計(jì).先求p的MLE：解:設(shè)

為所取樣本，則

是取自B(1,p)的樣本，p是每次抽取時(shí)取到白球的概率，p未知.p的MLE為在前面例4中,我們已求得由前述極大似然估計(jì)的性質(zhì)不難求得的MLE是例如，用樣本均值作為總體均值的估計(jì)時(shí)，雖無(wú)法說(shuō)明一次估計(jì)所產(chǎn)生的偏差，但這種偏差隨機(jī)地在0的周圍波動(dòng)，對(duì)同一統(tǒng)計(jì)問題大量重復(fù)使用不會(huì)產(chǎn)生系統(tǒng)偏差.無(wú)偏性是對(duì)估計(jì)量的一個(gè)常見而重要的要求.無(wú)偏性的實(shí)際意義是指沒有系統(tǒng)性的偏差.6.3

克拉默-拉奧不等式所以無(wú)偏估計(jì)以方差小者為好,這就引進(jìn)了有效性這一概念.由于的大小來(lái)決定二者和一個(gè)參數(shù)往往有不止一個(gè)無(wú)偏估計(jì),若和都是參數(shù)的無(wú)偏估計(jì)量，我們可以比較誰(shuí)更優(yōu).有效性則稱較有效

.都是參數(shù)的無(wú)偏估計(jì)量，若有設(shè)和在數(shù)理統(tǒng)計(jì)中常用到最小方差無(wú)偏估計(jì).若滿足：設(shè)是取自總體

的一個(gè)樣本，是未知參數(shù)的一個(gè)估計(jì)量，（1），即為的無(wú)偏估計(jì)；是的任一無(wú)偏估計(jì).則稱為的最小方差無(wú)偏估計(jì)(最佳無(wú)偏估計(jì)).（2）

例10總體服從均勻分布，為的無(wú)偏估計(jì)為的漸進(jìn)無(wú)偏估計(jì)為的無(wú)偏估計(jì)，比較和的有效性.比有效.設(shè)

為具有概率函數(shù)

的母體的樣本，為已知常數(shù).又是的一個(gè)無(wú)偏估計(jì)，滿足正則條件：（1）集合與無(wú)關(guān)Rao---Cramer不等式（2）與存在，對(duì)一切

（3）令稱為信息量，則其等式成立的充要條件為存在一個(gè)不依賴于但可能依賴于的，使得下列等式以概率1成立.特別當(dāng)時(shí)，不等式可化為該不等式稱為克拉默-拉奧不等式，也稱為信息不等式.證明：或時(shí)，不等式顯然成立.由的無(wú)偏性由正則條件（1），（2）知由于為密度函數(shù)，而且有由Schwarz不等式知：定義隨機(jī)變量：則計(jì)算信息若則證明：例11

則的方差達(dá)到克拉默-拉奧不等式下界.證明:得證！例12

則的方差拉默-拉奧不等式下界.證明:得證！有效估計(jì)成立，則稱為的有效估計(jì).若的無(wú)偏估計(jì)量使克拉默-拉奧不等式中的等式有效率若是的一個(gè)無(wú)偏估計(jì)量，且克拉默-拉奧不等式下界存在，則稱下界與的比為估計(jì)的有效率，這里漸進(jìn)有效估計(jì)若當(dāng)時(shí)，一個(gè)估計(jì)量的有效率，則稱為參數(shù)的漸進(jìn)有效估計(jì).正態(tài)總體中參數(shù)的極大似然估計(jì)是漸進(jìn)正態(tài)、漸進(jìn)有效、漸進(jìn)無(wú)偏的.“充分統(tǒng)計(jì)量”——沒有損失樣本所包含的總體未知參數(shù)的任何信息。6.4充分統(tǒng)計(jì)量統(tǒng)計(jì)量

是對(duì)原始樣本的加工，實(shí)際上是對(duì)數(shù)據(jù)進(jìn)行壓縮。這種數(shù)據(jù)壓縮可能會(huì)出現(xiàn)兩種情況，一是樣本包含總體未知參數(shù)的信息經(jīng)加工后損失一部分，另一種情況是樣本加工成統(tǒng)計(jì)量后保留了樣本包含總體未知參數(shù)的全部信息.

例13假定總體有N

個(gè)個(gè)體，其中M

個(gè)具有某種屬性，從總體中采用有放回、無(wú)放回兩種方式抽取n

個(gè)樣本

.可以證明，統(tǒng)計(jì)量

是總體比例p=M/N

的充分統(tǒng)計(jì)量.

定義假定有統(tǒng)計(jì)量，如果給定

時(shí)樣本的條件分布與總體參數(shù)

無(wú)關(guān)，則稱

是一個(gè)關(guān)于

充分統(tǒng)計(jì)量.所以

是充分統(tǒng)計(jì)量.樣本比例t/n

也是未知的總體比例p

的充分統(tǒng)計(jì)量.考慮有放回時(shí)的情形總體服從,

服從這個(gè)例子里充分統(tǒng)計(jì)量的意義在于：如果我們希望抽取部分樣本得到一批產(chǎn)品的次品率，(或者調(diào)查一部分人了解全體群眾的觀點(diǎn)等)，無(wú)論采用有放回還是不放回的抽樣方法，我們只需要知道抽取出的產(chǎn)品里究竟有幾個(gè)次品！沒有必要了解抽取的過程中，第一個(gè)是否是次品，第二個(gè)是否是次品，…因子化導(dǎo)入為Rao-Cramer不等式中等號(hào)成立條件.兩端對(duì)求積分，得即其中由定義設(shè)是取自具有概率函數(shù)的總體的一個(gè)容量為的樣本.設(shè)是一個(gè)統(tǒng)計(jì)量，有概率函數(shù).若成立，且當(dāng)取一固定值時(shí)，發(fā)生條件下的條件概率函數(shù)不依賴于，則稱為的一個(gè)充分統(tǒng)計(jì)量.例14設(shè)母體有密度函數(shù)證明是充分統(tǒng)計(jì)量.證明：的密度函數(shù)為當(dāng)時(shí)，上式不依賴于，且的值域也不依賴于，從而是的充分統(tǒng)計(jì)量.例15設(shè)母體有密度函數(shù)從中取得樣本，其觀測(cè)值為.問是否的充分統(tǒng)計(jì)量?解：當(dāng)時(shí)，，而時(shí)的概率函數(shù)由充分統(tǒng)計(jì)量的定義知，不是的充分統(tǒng)計(jì)量.充分統(tǒng)計(jì)量的判斷—Neyman因子分解定理定理6.2設(shè)為取自具有概率函數(shù)的總體的一個(gè)樣本，則統(tǒng)計(jì)量是一個(gè)充分統(tǒng)計(jì)量的充要條件是存在兩個(gè)非負(fù)函數(shù)和，使得等式成立，并且當(dāng)取定值時(shí)，函數(shù)不依賴于.證明：必要性若是的一個(gè)充分統(tǒng)計(jì)量,設(shè)其概率函數(shù)為，則由定義且在取一定值時(shí)不依賴于，令必要性得證.充分性令則是連續(xù)型隨機(jī)變量，且與均為連續(xù)函數(shù).補(bǔ)充個(gè)連續(xù)函數(shù)且均連續(xù)，使點(diǎn)到為一一變換.其逆變換雅可比行列式為J由條件可知：的聯(lián)合概率密度的邊際密度函數(shù)由于與均不依賴于參數(shù)，且非負(fù).令當(dāng)時(shí)，有當(dāng)時(shí)，