概率論與數(shù)理統(tǒng)計 71(參數(shù)的點估計)

第7章參數(shù)估計7.1參數(shù)的點估計7.2參數(shù)的區(qū)間估計參數(shù)估計問題假設(shè)檢驗問題點估計區(qū)間估計統(tǒng)計推斷

DE基本問題7-27.1.1點估計問題的一般提法定義7.1

設(shè)總體X的分布函數(shù)F(x；1，2，…，m)的形式已知，但其中含有一個或多個未知參數(shù)：1，2，，m，又設(shè)X1，X2，…，Xn為總體的一個樣本，x1，x2，…，xn是樣本觀測值，構(gòu)造的m個統(tǒng)計量：用的觀測值作為未知參數(shù)i的近似值的方法稱為點估計法．

7.1.1點估計問題的一般提法稱為未知參數(shù)i的估計量，稱為未知參數(shù)i的估計值．在不會混淆的情況下和均可稱為i的估計.河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計設(shè)已知總體X的可能分布函數(shù)族為:

理論根據(jù):樣本矩(的連續(xù)函數(shù))依概率收斂于總體矩(的連續(xù)函數(shù)).其中為待估參數(shù).二、構(gòu)造估計量的兩種方法

1、矩估計法

矩估計法:用樣本矩(函數(shù))來估計總體矩(函數(shù)).河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計設(shè)總體X的前k階矩均存在,而樣本矩其中矩估計法就是:令總體的前k階矩分別與樣本的對應(yīng)階矩相等,即河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計可作為待估參數(shù)的估計量(稱為矩估計量),其觀察值為待估參數(shù)的估計值(稱為矩估計值).這是含k個待估參數(shù)的聯(lián)立方程組，其解河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計

確定待估參數(shù)的個數(shù)k,求出總體的前k階矩;求矩估計的步驟

解方程(組)

寫出矩估計量和矩估計值.因此,會求總體矩,記住樣本矩,就可求出待估參數(shù)的矩估計量與矩估計值.河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計

【例1】設(shè)總體X服從[a,b]上的均勻分布,求未知參數(shù)a,b的矩估計量.

〖解〗兩個待估參數(shù)，連續(xù)型.先求總體的一,二階(原點)矩.因為X～U[a,b],所以由即河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計解得:■河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計

【例２】求正態(tài)總體N(μ,σ2)的兩個未知參數(shù)μ,σ2的矩估計量.

〖解〗兩個待估參數(shù)，連續(xù)型.先求總體的一,二階(原點)矩.因為X～N(μ,σ2),所以由河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計.

即解得μ,σ2的矩估計量分別為:■樣本二階中心矩，非修正樣本方差河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計

【例３】求服從二項分布B(m，p)的總體X未知參數(shù)p的矩估計量。

〖解〗單參數(shù)，離散型.由因為所以總體X的一階矩(期望)為即故所求矩估計量為：■河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計

【例4】已知總體X的概率密度為:

〖解〗單參數(shù)，連續(xù)型.因為總體一階矩

其中未知參數(shù)θ>0,求θ的矩估計量.由河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計故所求矩估計量為：即解得:■河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計

【例5】已知總體X的概率密度為:

〖解〗單參數(shù)，連續(xù)型.因為總體一階矩

其中未知參數(shù)θ>0,求θ的矩估計量.不含θ，故不能由“樣本一階矩=總體一階矩”解得所求矩估計，需要繼續(xù)求二階矩：河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計

由“樣本二階矩=總體二階矩”得：于是,所求矩估計量為：■Γ函數(shù)定義河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計2、極大似然估計法

一位老獵人與他的徒弟一起打獵,兩人同時向一獵物射擊,結(jié)果該獵物身中一彈,你認(rèn)為誰打中的可能性最大?

根據(jù)經(jīng)驗而斷:老獵人打中獵物的可能性最大.(1、極大似然估計法的思想最大似然估計法例如:

有兩外形相同的箱子,各裝100個球一箱99個白球1個紅球一箱1個白球99個紅球現(xiàn)從兩箱中任取一箱,并從箱中任取一球,結(jié)果所取得的球是白球.答:第一箱.7-17問:所取的球來自哪一箱？法三若X1，X2，…，Xn為總體X的一個樣本，當(dāng)樣本觀測值x1,x2,…,xn出現(xiàn)時，若要估計總體X中的未知參數(shù)θ，自然要選取使x1,x2,…,xn出現(xiàn)的“概率”達到最大的作為θ的估計值了．

7.1.3最大似然估計一般說，事件A發(fā)生的概率與參數(shù)有關(guān)，取值不同，則P(A)也不同。因而應(yīng)記事件A發(fā)生的概率為P(A|).若A發(fā)生了，則認(rèn)為此時的值應(yīng)是在中使P(A|)達到最大的那一個。這就是極大似然思想河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計

單參數(shù)情形下面分離散型與連續(xù)型總體來討論.(2、極大似然估計的求法設(shè)離散型總體X的分布律形式已知,θ為待估參數(shù).為來自總體X的樣本,為其樣本值,則的聯(lián)合分布律為:根據(jù)總體分布律寫出似然函數(shù)：換x為xi河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計這正是事件“樣本取得樣本值”的概率,稱之為樣本的似然函數(shù),它是待估參數(shù)θ的函數(shù).

極大似然估計法：對固定的樣本值,在參數(shù)空間中選取使似然函數(shù)達到最大的參數(shù)值作為參數(shù)θ的估計值(稱為極大似然估計值),它為樣本值的函數(shù),記為相應(yīng)統(tǒng)計量稱為參數(shù)θ的極大似然估計量.河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計設(shè)連續(xù)型總體X的概率密度

事件“樣本取值落在樣本值的鄰域”的概率近似為形式已知,θ為待估參數(shù)。來自總體X的樣本,

為其樣本值，則的聯(lián)合概率密度為:河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計達到最大值,

極大似然估計法：對固定的樣本值,在參數(shù)空間中選取使上述概率達到最大的參數(shù)值作為參數(shù)θ的估計值(稱為極大似然估計值)。由于因子與θ無關(guān),故也使樣本的似然函數(shù)稱為參數(shù)θ的極大似然估計量。河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計①、依據(jù)總體X的分布律或概率密度寫出樣本的似然函數(shù):綜上可得,求極大似然估計的步驟求最大似然估計量的步驟:費舍爾最大似然估計法是由費舍爾引進的.最大似然估計法也適用于分布中含有多個未知參數(shù)的情況.此時只需令對數(shù)似然方程組對數(shù)似然方程河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計

【例7】求正態(tài)總體N(μ,σ2)的兩個未知參數(shù)μ,σ2的似然估計量.

〖解〗雙參數(shù)，連續(xù)型.因為X~N(μ,σ2),所以X總體的概率密度為設(shè)為樣本的一個樣本值,則似然函數(shù)為:河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計從而,取對數(shù)得:由似然方程組視σ2為整體河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計解得μ,σ2的極大似然估計值為:從而μ,σ2的極大似然估計量為:■【例7.5】設(shè)總體X的概率密度為其中θ(θ

>–

1)為待估參數(shù)，求θ的最大似然估計量．

解：設(shè)X1，X2，…，Xn為總體X的一個樣本，x1，x2，…，xn是樣本觀測值．基于x1，x2，…，xn的似然函數(shù)為當(dāng)時，，7.1.3最大似然估計令解得考慮到所以，θ的最大似然估計值為θ的最大似然估計量為

7.1.3最大似然估計

【例7.4】總體X服從參數(shù)為的泊松分布，（

>0）未知，求參數(shù)的最大似然估計量．

解：設(shè)X1,X2,…,Xn是來自X的樣本，x1,x2,…,xn是樣本觀測值．由于X的分布律為故基于x1,x2,…,xn的似然函數(shù)為對數(shù)似然函數(shù)為對數(shù)似然方程為7.1.3最大似然估計解之得考慮到所以即為的最大似然估計值，的最大似然估計量為7.1.3最大似然估計河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計

【例8】設(shè)總體X服從[a,b]上的均勻分布,求未知參數(shù)a,b的極大似然估計量.

〖解〗雙參數(shù)，連續(xù)型.因為所以X的概率密度為設(shè)為樣本的一個樣本值,記河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計由于所以,似然函數(shù)為對于滿足的任意a,b有河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計即故a,b的極大似然估計值為:故a,b的極大似然估計量為:■

本例直接利用極大似然思想方法來求似然估計.河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計對于同一個參數(shù),用不同方法求出的估計量可能不同.那么,采用哪一個估計量為好呢?用何種標(biāo)準(zhǔn)來評判估計量的優(yōu)劣?下面,介紹幾個常用標(biāo)準(zhǔn).

1、無偏性

定義設(shè)估計量存在期望,且對任意有三、估計量的評選標(biāo)準(zhǔn)則稱為的無偏估計量.河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計稱為用來估計的系統(tǒng)誤差.因此,無偏估計就是說無系統(tǒng)誤差.河南理工大學(xué)精品課程概率論與數(shù)理統(tǒng)計

【例】設(shè)總體X存在均值μ與方差σ2>0,則

〖解〗因為

1、樣本均值是總體均值μ的無偏估計;

2、樣本方差是總體方差σ2的無偏估計.

7.1.4估計量的評價標(biāo)準(zhǔn)所以，B2不是總體方差D(X)的無偏估計，盡管B2是D(X)的矩估計量．我們可以把看作對B2的修正．由于它具有無偏性，在實際應(yīng)用中常被采用．另一方面，由于因此，又稱B2是D(X)的漸近無偏估計．7.1.4估計量的評價標(biāo)準(zhǔn)【例7.8】求證：樣本標(biāo)準(zhǔn)差S不是總體標(biāo)準(zhǔn)差的無偏估計．

證：因為，即．又因，所以即故一般來說，S不是

的無偏估計．7.1.4估計量的評價標(biāo)準(zhǔn)定義7.3

設(shè)都是參數(shù)θ的無偏估計，若則稱比有效．例如，設(shè)總體X的方差存在，X1,X2,…,Xn(n>2)為總體X的一個樣本，易知,均為

的無偏估計,又有所以,當(dāng)n>2時，最有效，較X1有效．7.1.4估計量的評價標(biāo)準(zhǔn)【例7.9】設(shè)總體X服從參數(shù)為θ的指數(shù)分布，概率密度為其中θ>0為未知,X1,X2,…,X