經(jīng)濟(jì)數(shù)學(xué)-概率論與數(shù)理統(tǒng)計(jì)課件：點(diǎn)估計(jì)

參數(shù)估計(jì)

點(diǎn)估計(jì)估計(jì)問(wèn)題矩估計(jì)法極大似然估計(jì)法估計(jì)量的評(píng)選標(biāo)準(zhǔn)

引言

上一講，我們介紹了總體、樣本、簡(jiǎn)單隨機(jī)樣本、統(tǒng)計(jì)量和抽樣分布的概念，介紹了統(tǒng)計(jì)中常用的三大分布，給出了幾個(gè)重要的抽樣分布定理.它們是進(jìn)一步學(xué)習(xí)統(tǒng)計(jì)推斷的基礎(chǔ).

總體樣本統(tǒng)計(jì)量描述作出推斷研究統(tǒng)計(jì)量的性質(zhì)和評(píng)價(jià)一個(gè)統(tǒng)計(jì)推斷的優(yōu)良性，完全取決于其抽樣分布的性質(zhì).隨機(jī)抽樣

現(xiàn)在我們來(lái)介紹一類(lèi)重要的統(tǒng)計(jì)推斷問(wèn)題

參數(shù)估計(jì)問(wèn)題是利用從總體抽樣得到的信息來(lái)估計(jì)總體的某些參數(shù)或者參數(shù)的某些函數(shù).

一、估計(jì)問(wèn)題估計(jì)廢品率估計(jì)新生兒的體重估計(jì)湖中魚(yú)數(shù)……估計(jì)降雨量在參數(shù)估計(jì)問(wèn)題中，假定總體分布形式已知，未知的僅僅是一個(gè)或幾個(gè)參數(shù).這類(lèi)問(wèn)題稱(chēng)為參數(shù)估計(jì).參數(shù)估計(jì)問(wèn)題的一般提法X1,X2,…,Xn要依據(jù)該樣本對(duì)參數(shù)作出估計(jì),或估計(jì)的某個(gè)已知函數(shù).現(xiàn)從該總體抽樣，得樣本

設(shè)有一個(gè)統(tǒng)計(jì)總體,總體的分布函數(shù)為F(x,)，其中為未知參數(shù).

對(duì)應(yīng)于樣本的一組觀測(cè)值（x1，x2，…，xn），估計(jì)量的值（x1，x2，…，xn）稱(chēng)為θ的估計(jì)值，仍記作。設(shè)θ為總體X的未知參數(shù)，用樣本（X1，X2，…，Xn）構(gòu)成的一個(gè)統(tǒng)計(jì)量來(lái)估計(jì)θ的真值，稱(chēng)為θ的估計(jì)量。估計(jì)量：估計(jì)值：參數(shù)估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)（假定身高服從正態(tài)分布）設(shè)這5個(gè)數(shù)是:1.651.671.681.781.69

估計(jì)

為1.68，這是點(diǎn)估計(jì).這是區(qū)間估計(jì).估計(jì)在區(qū)間[1.57,1.84]內(nèi)，例如我們要估計(jì)某隊(duì)男生的平均身高.

現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個(gè)數(shù)）求出總體均值的估計(jì)值.而全部信息就由這5個(gè)數(shù)組成.

使用什么樣的統(tǒng)計(jì)量去估計(jì)？可以用樣本均值;也可以用樣本中位數(shù);還可以用別的統(tǒng)計(jì)量.問(wèn)題是:

尋求估計(jì)量的方法1.矩估計(jì)法2.極大似然法這里我們主要介紹兩種方法.1.矩估計(jì)法

矩估計(jì)法是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出來(lái)的.由辛欽定理,若總體的數(shù)學(xué)期望有限,則有其中為連續(xù)函數(shù).

這表明

,當(dāng)樣本容量很大時(shí),在統(tǒng)計(jì)上,可以用用樣本矩去估計(jì)總體矩.這一事實(shí)導(dǎo)出矩估計(jì)法.定義用樣本原點(diǎn)矩估計(jì)相應(yīng)的總體原點(diǎn)矩,又用樣本原點(diǎn)矩的連續(xù)函數(shù)估計(jì)相應(yīng)的總體原點(diǎn)矩的連續(xù)函數(shù),這種參數(shù)點(diǎn)估計(jì)法稱(chēng)為矩估計(jì)法

.由前面知道矩估計(jì)的思想：用樣本的k階原點(diǎn)矩代替相應(yīng)的總體的k階原點(diǎn)矩?？傮w的k階原點(diǎn)矩：樣本的k階原點(diǎn)矩：

理論依據(jù):

大數(shù)定律矩估計(jì)法的具體做法如下

設(shè)總體的分布函數(shù)中含有k個(gè)未知參數(shù),那么它的前k階矩.一般都是這k個(gè)參數(shù)的函數(shù),記為：i=1,2,…,k從這k個(gè)方程中解出j=1,2,…,kj=1,2,…,k那么用諸的估計(jì)量Ai分別代替上式中的諸,即可得諸的矩估計(jì)量：矩估計(jì)量的觀察值稱(chēng)為矩估計(jì)值

.

例1設(shè)總體X在[0,θ

]上服從均勻分布,θ

未知.是來(lái)自X

的樣本,試求θ的矩估計(jì)值.解解得θ

的矩估計(jì)量為于是θ

的矩估計(jì)值為解

例2設(shè)總體X的均值和方差都存在,未知.是來(lái)自X

的樣本,試求的矩估計(jì)量.解得于是的矩估計(jì)量為樣本矩總體矩

矩法的優(yōu)點(diǎn)是簡(jiǎn)單易行,并不需要事先知道總體是什么分布.

缺點(diǎn)是，當(dāng)總體類(lèi)型已知時(shí)，沒(méi)有充分利用分布提供的信息.一般場(chǎng)合下,矩估計(jì)量不具有唯一性.

其主要原因在于建立矩法方程時(shí)，選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性.

2.極大似然估計(jì)法

它是在總體類(lèi)型已知條件下使用的一種參數(shù)估計(jì)方法.

它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的.GaussFisher

然而,這個(gè)方法常歸功于英國(guó)統(tǒng)計(jì)學(xué)家費(fèi)歇

.

費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).極大似然估計(jì)法的思想是:在一次隨機(jī)試驗(yàn)中,實(shí)際發(fā)生的事件應(yīng)該是概率最大的事件,比如已經(jīng)取得一組樣本觀測(cè)值,則認(rèn)為事件發(fā)生的概率最大,這就是所謂的極大似然原理.似然函數(shù)若總體是離散型隨機(jī)變量,概率函數(shù)為,

其中為待估計(jì)的參數(shù).

設(shè)是取自總體的一組樣本觀測(cè)值,

也就是說(shuō)事件發(fā)生了.因?yàn)殡S機(jī)變量相互獨(dú)立,且與總體有相同的概率函數(shù),所以此事件發(fā)生的概率為.這一概率隨的取值而變化,它是的函數(shù),記為.即稱(chēng)為離散型總體的似然函數(shù).若總體是連續(xù)型隨機(jī)變量,其概率密度函數(shù)為,其中為待估計(jì)的參數(shù).設(shè)是取自總體的一組樣本觀測(cè)值,則定義為連續(xù)型總體的似然函數(shù).對(duì)于一組樣本觀察值

,在取值的可能范圍內(nèi)挑選使似然函數(shù)

;達(dá)到最大值的參數(shù),

把作為未知參數(shù)的估計(jì)值.即取使;)=;這樣得到的

與樣本值有關(guān),記為

()，稱(chēng)為參數(shù)

的極大似然估計(jì)值,

而相應(yīng)的統(tǒng)計(jì)量

(,

,)稱(chēng)為參數(shù)

的極大

似然估計(jì)量.極大似然估計(jì)法的基本思想是選取估計(jì)值使小結(jié)：極大似然估計(jì)法的一般步驟：（２）取對(duì)數(shù)（３）求導(dǎo)數(shù)，得駐點(diǎn)，最大值點(diǎn)（４）作結(jié)論（1）寫(xiě)似然函數(shù)L參數(shù)，如果取得樣本觀測(cè)值為的極大似然估計(jì)值.設(shè)總體服從泊松分布解:概率函數(shù)構(gòu)造似然函數(shù)為例3其中為未知求參數(shù)取對(duì)數(shù)，得令由此解得的極大似然估計(jì)值為解：θ的似然函數(shù)為：取對(duì)數(shù)例4：設(shè)(X1,X2,…Xn)是來(lái)自總體X的一個(gè)樣本求θ的極大似然估計(jì)量．其中>0,求導(dǎo)并令其為0=0從中解得

即為θ的極大似然估計(jì)量。

即為θ的極大似然估計(jì)值。

例5設(shè)總體X~N()

,未知.是來(lái)自X

的樣本值,試求的極大似然估計(jì)量.似然函數(shù)為解X的概率密度為于是令解得的極大大似然估計(jì)量為

練習(xí)1

設(shè)總體X的概率密度為其中是未知參數(shù),X1,X2,…,Xn是取自X的樣本,求參數(shù)的矩估計(jì).解樣本矩總體矩解得的矩估計(jì)量為故其中為未知參數(shù)，如果取得樣本觀測(cè)值為設(shè)總體服從指數(shù)分布求參數(shù)的極大似然估計(jì)值.概率密度為解:似然函數(shù)為取對(duì)數(shù)，得練習(xí)2令由此解得的極大似然估計(jì)值為1、無(wú)偏性

無(wú)偏性要求估計(jì)量的取值要以參數(shù)真值為中心左右擺動(dòng)。它等同于估計(jì)量的數(shù)學(xué)期望等于待估參數(shù)的真值。一個(gè)好的估計(jì)量應(yīng)滿(mǎn)足無(wú)偏性、有效性和一致性的要求。

二、估計(jì)量的評(píng)判標(biāo)準(zhǔn)設(shè)總體的均值方差證明:（1）樣本均值是總體均值的無(wú)偏估計(jì)量；無(wú)偏估計(jì)量.證：服從相同分布，所以有因?yàn)闃颖鞠嗷オ?dú)立，且與總體

例1（2）樣本方差是總體方差的(1)

由數(shù)學(xué)期望與方差的性質(zhì)可知所以，是的無(wú)偏估計(jì)量:而（2）所以，是的無(wú)偏估計(jì)量:由此得

討論：對(duì)總體X～N(μ,σ2)來(lái)說(shuō)，樣本(X1,X2,…,Xn)中的X1與都是μ的無(wú)偏估計(jì)量嗎？2.有效性參數(shù)

的無(wú)偏估計(jì)量,如果則稱(chēng)比有效.設(shè)與都是如果對(duì)于給定的樣本容量

,

的方差

最小,則稱(chēng)

是

的有效估計(jì)量.當(dāng)時(shí)依概率收斂于,