點(diǎn)估計(jì)和估計(jì)量的求法

點(diǎn)估計(jì)和估計(jì)量的求法第一頁，共四十四頁，2022年，8月28日

引言上一章，我們介紹了總體、樣本、簡單隨機(jī)樣本、統(tǒng)計(jì)量和抽樣分布的概念，介紹了統(tǒng)計(jì)中常用的三大分布，它們是進(jìn)一步學(xué)習(xí)統(tǒng)計(jì)推斷的基礎(chǔ).§1點(diǎn)估計(jì)和估計(jì)量的求法第二頁，共四十四頁，2022年，8月28日

總體樣本統(tǒng)計(jì)量描述作出推斷研究統(tǒng)計(jì)量的性質(zhì)和評(píng)價(jià)一個(gè)統(tǒng)計(jì)推斷的優(yōu)良性，完全取決于其抽樣分布的性質(zhì).隨機(jī)抽樣第三頁，共四十四頁，2022年，8月28日

現(xiàn)在我們來介紹一類重要的統(tǒng)計(jì)推斷問題

參數(shù)估計(jì)問題是利用從總體抽樣得到的信息來估計(jì)總體的某些參數(shù)或者參數(shù)的某些函數(shù).參數(shù)估計(jì)估計(jì)廢品率估計(jì)新生兒的體重估計(jì)湖中魚數(shù)……估計(jì)降雨量在參數(shù)估計(jì)問題中，假定總體分布形式已知，未知的僅僅是一個(gè)或幾個(gè)參數(shù).第四頁，共四十四頁，2022年，8月28日這類問題稱為參數(shù)估計(jì).1.1什么是參數(shù)估計(jì)？X1,X2,…,Xn要依據(jù)該樣本對(duì)參數(shù)作出估計(jì)，或估計(jì)的某個(gè)已知函數(shù).現(xiàn)從該總體抽樣，得樣本設(shè)有一個(gè)統(tǒng)計(jì)總體，總體的分布函數(shù)向量).為F(x,)，其中為未知參數(shù)(可以是點(diǎn)估計(jì)區(qū)間估計(jì)第五頁，共四十四頁，2022年，8月28日

為估計(jì),我們需要構(gòu)造出適當(dāng)?shù)臉颖镜暮瘮?shù)T(X1,X2,…,Xn)，每當(dāng)有了樣本，就代入該函數(shù)中算出一個(gè)值，用來作為的估計(jì)值.把樣本值代入T(X1,X2,…,Xn)中，得到的一個(gè)點(diǎn)估計(jì)值.T(X1,X2,…,Xn)稱為參數(shù)的點(diǎn)估計(jì)量，第六頁，共四十四頁，2022年，8月28日

請(qǐng)注意，被估計(jì)的參數(shù)是一個(gè)未知常數(shù)，而估計(jì)量T(X1,X2,…,Xn)是一個(gè)隨機(jī)變量，是樣本的函數(shù),當(dāng)樣本取定后，它是個(gè)已知的數(shù)值,這個(gè)數(shù)常稱為的估計(jì)值.第七頁，共四十四頁，2022年，8月28日使用什么樣的統(tǒng)計(jì)量去估計(jì)？可以用樣本均值;也可以用樣本中位數(shù);還可以用別的統(tǒng)計(jì)量.問題是:第八頁，共四十四頁，2022年，8月28日1.2矩估計(jì)法其基本思想是用樣本矩估計(jì)總體矩.理論依據(jù):或格利汶科定理（見教材第9頁）它是基于一種簡單的“替換”思想建立起來的一種估計(jì)方法.是英國統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出的.大數(shù)定律第九頁，共四十四頁，2022年，8月28日記總體k階矩為樣本k階矩為用相應(yīng)的樣本矩去估計(jì)總體矩的估計(jì)方法就稱為矩估計(jì)法.記總體k階中心矩為樣本k階中心矩為第十頁，共四十四頁，2022年，8月28日設(shè)總體的分布函數(shù)中含有k個(gè)未知參數(shù)都是這k個(gè)參數(shù)的函數(shù),記為：,那么它的前k階矩一般i=1,2,…,k從這k個(gè)方程中解出j=1,2,…,k那么用諸的估計(jì)量Ai分別代替上式中的諸,即可得諸的矩估計(jì)量：j=1,2,…,k第十一頁，共四十四頁，2022年，8月28日解:由矩法,樣本矩總體矩從中解得的矩估計(jì).即為數(shù)學(xué)期望是一階原點(diǎn)矩

例1設(shè)總體X的概率密度為是未知參數(shù),其中X1,X2,…,Xn是取自X的樣本,求參數(shù)的矩估計(jì).第十二頁，共四十四頁，2022年，8月28日解:由密度函數(shù)知

例2設(shè)X1,X2,…,Xn是取自總體X的一個(gè)樣本其中>0,求的矩估計(jì).具有均值為的指數(shù)分布故E(X-)=

D(X-)=即

E(X)=

D(X)=第十三頁，共四十四頁，2022年，8月28日解得令用樣本矩估計(jì)總體矩即

E(X)=

D(X)=第十四頁，共四十四頁，2022年，8月28日解：第十五頁，共四十四頁，2022年，8月28日

矩法的優(yōu)點(diǎn)是簡單易行,并不需要事先知道總體是什么分布.缺點(diǎn)是，當(dāng)總體類型已知時(shí)，沒有充分利用分布提供的信息.一般場(chǎng)合下,矩估計(jì)量不具有唯一性.其主要原因在于建立矩法方程時(shí)，選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性.第十六頁，共四十四頁，2022年，8月28日1.3最大似然估計(jì)法（或極大似然估計(jì)法）是在總體類型已知條件下使用的一種參數(shù)估計(jì)方法.它首先是由德國數(shù)學(xué)家高斯在1821年提出的,GaussFisher然而，這個(gè)方法常歸功于英國統(tǒng)計(jì)學(xué)家費(fèi)歇.費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).第十七頁，共四十四頁，2022年，8月28日

最大似然法的基本思想先看一個(gè)簡單例子：一只野兔從前方竄過.是誰打中的呢？某位同學(xué)與一位獵人一起外出打獵.如果要你推測(cè)，你會(huì)如何想呢?只聽一聲槍響，野兔應(yīng)聲倒下.第十八頁，共四十四頁，2022年，8月28日下面我們?cè)倏匆粋€(gè)例子,進(jìn)一步體會(huì)極大似然法的基本思想.你就會(huì)想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來這一槍是獵人射中的.這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.第十九頁，共四十四頁，2022年，8月28日

例4設(shè)X~B(1,p),p未知.設(shè)想我們事先知道p只有兩種可能:問:應(yīng)如何估計(jì)p?p=0.7或p=0.3如今重復(fù)試驗(yàn)3次,得結(jié)果:0,0,0由概率論的知識(shí),3次試驗(yàn)中出現(xiàn)“1”的次數(shù)k=0,1,2,3第二十頁，共四十四頁，2022年，8月28日

將計(jì)算結(jié)果列表如下：應(yīng)如何估計(jì)p?p=0.7或p=0.3k=0,1,2,3p值 P(Y=0)P(Y=1)P(Y=2)P(Y=3)0.7 0.0270.189 0.441 0.3430.3 0.3430.441 0.189 0.027 出現(xiàn)估計(jì)出現(xiàn)出現(xiàn)出現(xiàn)估計(jì)估計(jì)估計(jì)0.3430.4410.4410.343第二十一頁，共四十四頁，2022年，8月28日如果有p1,p2,…,pm可供選擇,又如何合理地選p呢?從中選取使Qi最大的pi作為p的估計(jì).i=1,2,…,m則估計(jì)參數(shù)p為時(shí)Qi

最大,比方說,當(dāng)若重復(fù)進(jìn)行試驗(yàn)n次,結(jié)果“1”出現(xiàn)k次(0≤k≤n),我們計(jì)算一切可能的

P(Y=k;pi

)=Qi，

i=1,2,…,m第二十二頁，共四十四頁，2022年，8月28日如果只知道0<p<1,并且實(shí)測(cè)記錄是Y=k(0≤k≤n),又應(yīng)如何估計(jì)p呢?注意到是p的函數(shù),可用求導(dǎo)的方法找到使f(p)達(dá)到極大值的p.但因f(p)與lnf(p)達(dá)到極大值的自變量相同,故問題可轉(zhuǎn)化為求lnf(p)的極大值點(diǎn).=f(p)第二十三頁，共四十四頁，2022年，8月28日將lnf(p)對(duì)p求導(dǎo)并令其為0,這時(shí),對(duì)一切0<p<1,均有從中解得=0便得

p(n-k)=k(1-p)第二十四頁，共四十四頁，2022年，8月28日

以上這種選擇一個(gè)參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率的思想就是極大似然法的基本思想.這時(shí),對(duì)一切0<p<1,均有則估計(jì)參數(shù)p為第二十五頁，共四十四頁，2022年，8月28日極大似然估計(jì)原理：當(dāng)給定樣本X1,X2,…,Xn時(shí)，定義似然函數(shù)為：設(shè)X1,X2,…,Xn是取自總體X的一個(gè)樣本,樣本的聯(lián)合密度(連續(xù)型）或聯(lián)合分布列(離散型)為f(X1,X2,…,Xn;).f(X1,X2,…,Xn;)第二十六頁，共四十四頁，2022年，8月28日

似然函數(shù)：極大似然估計(jì)法就是用使達(dá)到最大值的去估計(jì).稱為的極大似然估計(jì).

看作參數(shù)的函數(shù)，它可作為將以多大可能產(chǎn)生樣本值X1,X2,…,Xn的一種度量.f(X1,X2,…,Xn;)第二十七頁，共四十四頁，2022年，8月28日(4)在最大值點(diǎn)的表達(dá)式中,用樣本值代入就得參數(shù)的極大似然估計(jì)值.求極大似然估計(jì)的一般步驟是：(1)由總體分布導(dǎo)出樣本的聯(lián)合分布列(或聯(lián)合密度);(2)把樣本聯(lián)合分布列(或聯(lián)合密度)中自變量看成已知常數(shù),而把參數(shù)看作自變量,得到似然函數(shù)L();(3)求似然函數(shù)L()的最大值點(diǎn)(常常轉(zhuǎn)化為求lnL()的最大值點(diǎn)).第二十八頁，共四十四頁，2022年，8月28日兩點(diǎn)說明：1、求似然函數(shù)L()的最大值點(diǎn)，可以應(yīng)用微積分中的技巧。由于ln(x)是x的增函數(shù)，lnL()與L()在的同一值處達(dá)到它的最大值，假定是一實(shí)數(shù)，且lnL()是的一個(gè)可微函數(shù)。通過求解所謂“似然方程”：可以得到的最大似然估計(jì)量.若是向量，上述方程必須用似然方程組代替.第二十九頁，共四十四頁，2022年，8月28日2、用上述求導(dǎo)方法求參數(shù)的最大似然估計(jì)量有時(shí)行不通，這時(shí)要用極大似然原則來求.第三十頁，共四十四頁，2022年，8月28日

下面舉例說明如何求極大似然估計(jì)L(p)=f(X1,X2,…,Xn;p)

例5設(shè)X1,X2,…,Xn是取自總體X~B(1,p)的一個(gè)樣本，求參數(shù)p的極大似然估計(jì).解：似然函數(shù)為:第三十一頁，共四十四頁，2022年，8月28日對(duì)數(shù)似然函數(shù)為：對(duì)p求導(dǎo)并令其為0，=0得即為p的最大似然估計(jì)量.第三十二頁，共四十四頁，2022年，8月28日解：似然函數(shù)為對(duì)數(shù)似然函數(shù)為例6

設(shè)X1,X2,…,Xn是取自總體X的一個(gè)樣本求的極大似然估計(jì).其中

>0,第三十三頁，共四十四頁，2022年，8月28日求導(dǎo)并令其為0=0從中解得即為的最大似然估計(jì)量.對(duì)數(shù)似然函數(shù)為第三十四頁，共四十四頁，2022年，8月28日解：似然函數(shù)為

例7設(shè)X1,X2,…,Xn是取自總體X的一個(gè)樣本其中>0,求的極大似然估計(jì).i=1,2,…,n第三十五頁，共四十四頁，2022年，8月28日對(duì)數(shù)似然函數(shù)為解：似然函數(shù)為i=1,2,…,n第三十六頁，共四十四頁，2022年，8月28日=0(2)由(1)得=0(1)對(duì)分別求偏導(dǎo)并令其為0,對(duì)數(shù)似然函數(shù)為用求導(dǎo)方法無法最終確定用極大似然原則來求.第三十七頁，共四十四頁，2022年，8月28日是對(duì)故使達(dá)到最大的即的最大似然估計(jì)量，于是取其它值時(shí)，即為的最大似然估計(jì)量.且是的增函數(shù)由于第三十八頁，共四十四頁，2022年，8月28日極大似然估計(jì)的一個(gè)性質(zhì)可證明極大似然估計(jì)具有下述性質(zhì)：設(shè)的函數(shù)g=g()是上的實(shí)值函數(shù),且有唯一反函數(shù).如果是的MLE，則g()也是g()的極大似然估計(jì).第三十九頁，共四十四頁，2022年，8月28日

例8一罐中裝有白球和黑球，有放回地抽取一個(gè)容量為n的樣本，其中有k個(gè)白球，求罐中黑球與白球之比R的極大似然估計(jì).解:設(shè)X1,X2,…,Xn為所取樣本，則X1,X2,…,Xn是