概率論與數(shù)理統(tǒng)計(jì) 第2版 課件 7.1 點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1點(diǎn)估計(jì)§7.2區(qū)間估計(jì)第七章參數(shù)估計(jì)第七章參數(shù)估計(jì)估計(jì)問題參數(shù)估計(jì)非參數(shù)估計(jì)非參數(shù)估計(jì)：總體分布形式未知，或雖已知但是不能用有限個(gè)參數(shù)刻畫，根據(jù)抽取的樣本對(duì)總體的分布函數(shù)和概率密度函數(shù)進(jìn)行估計(jì).參數(shù)估計(jì)：總體分布的形式已知，但含有一個(gè)或幾個(gè)未知參數(shù)，根據(jù)抽取的樣本對(duì)這些未知參數(shù)進(jìn)行估計(jì).第七章參數(shù)估計(jì)參數(shù)估計(jì)問題的提法

點(diǎn)估計(jì)：用一個(gè)數(shù)來估計(jì)未知參數(shù)或其函數(shù).區(qū)間估計(jì)：用一個(gè)區(qū)間來估計(jì)未知參數(shù)或其函數(shù).第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)§7.1點(diǎn)估計(jì)一、矩估計(jì)法二、最大似然估計(jì)法三、貝葉斯估計(jì)法四、點(diǎn)估計(jì)量的評(píng)選標(biāo)準(zhǔn)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)（1）矩估計(jì)法（2）最大似然估計(jì)法（3）貝葉斯估計(jì)法常用的點(diǎn)估計(jì)方法第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)一、矩估計(jì)法矩估計(jì)法是皮爾遜引入的，其核心思想是替換原理：替換原理的實(shí)質(zhì)就是用經(jīng)驗(yàn)分布函數(shù)替換總體分布函數(shù)，其理論基礎(chǔ)是格里汶科定理.用樣本中心矩替換總體中心矩，用樣本中心矩的函數(shù)替換相應(yīng)的總體中心矩的函數(shù).用樣本矩替換總體矩，用樣本矩的函數(shù)替換相應(yīng)的總體矩的函數(shù)；第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

矩估計(jì)量和矩估計(jì)值統(tǒng)稱為矩估計(jì).第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

稱為矩估計(jì)值.注在矩估計(jì)法中，可以選用不同的矩建立方程組，或者用樣本中心矩等于總體中心矩建立方程組，不過得到的矩估計(jì)一般也是不同的.第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)矩估計(jì)法的求解步驟（2）解該方程組，得其解為

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

（一般的，我們總是盡量用低階矩進(jìn)行估計(jì).）第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)注：本例的結(jié)果表明，總體均值和總體方差的矩估計(jì)量的表達(dá)式不因總體分布的不同而不同.

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)二、最大似然估計(jì)法最大似然估計(jì)法是點(diǎn)估計(jì)的另一種方法，最早由德國數(shù)學(xué)家高斯提出，后來英國統(tǒng)計(jì)學(xué)家費(fèi)希爾再次提出這個(gè)思想并探討了相關(guān)的性質(zhì)，從而使得最大似然估計(jì)法有了廣泛的應(yīng)用.最大似然估計(jì)法是建立在最大似然原理的基礎(chǔ)上的.為了說明最大似然原理，我們先看兩個(gè)例子.第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)引例：（1）獵人師傅和徒弟一同去打獵.途中遇到一只兔子，師傅和徒弟同時(shí)開槍，兔子被擊中一槍.那么這只兔子是師傅打中的還是徒弟打中的？（2）有兩個(gè)外形完全相同的箱子，甲箱中有99個(gè)白球、1個(gè)黑球，乙箱中有99個(gè)黑球、1個(gè)白球.現(xiàn)在從兩個(gè)箱子中隨機(jī)挑選一個(gè)，從中取出了一個(gè)球，結(jié)果取出的球是黑球.那么這個(gè)黑球是從哪個(gè)箱子中取出的？第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)分析：我們猜測(cè)的結(jié)果是兔子是師傅打中的，黑球是從乙箱中抽取的.因?yàn)閹煾得械母怕矢?，乙箱中取到黑球的概率?也就是說，哪中情況下，結(jié)果出現(xiàn)的概率高，我們就猜測(cè)哪種情況.這就是最大似然原理.

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)離散型總體的最大似然估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

最大似然估計(jì)量和最大似然估計(jì)值統(tǒng)稱為最大似然估計(jì)，也稱為極大似然估計(jì).

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)連續(xù)型總體的最大似然估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

注最大似然估計(jì)法本質(zhì)上是利用已知的樣本結(jié)果，去反推最有可能導(dǎo)致這種結(jié)果的參數(shù)值.第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)求解最大似然估計(jì)就是求解滿足條件

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)最大似然估計(jì)法的一般求解步驟（1）寫出似然函數(shù)（2）寫出對(duì)數(shù)似然函數(shù)（3）寫出對(duì)數(shù)似然方程

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)對(duì)似然函數(shù)取對(duì)數(shù)，得對(duì)數(shù)似然函數(shù)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

對(duì)似然函數(shù)取對(duì)數(shù)，得對(duì)數(shù)似然函數(shù)第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

其似然函數(shù)為第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

因此對(duì)數(shù)似然方程組無解.這時(shí)就不能用求導(dǎo)數(shù)的方法求解最大似然估計(jì)了.我們可以利用（對(duì)數(shù)）似然函數(shù)的單調(diào)性求解最大值.第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

相應(yīng)的最大似然估計(jì)量為

注并不是所有的點(diǎn)估計(jì)問題都可以用矩估計(jì)和最大似然估計(jì)解決，在本章“重要補(bǔ)充及擴(kuò)展問題”的第一節(jié)（見教材P217）中就給出了一個(gè)反例.

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)三、貝葉斯估計(jì)法前面介紹的矩估計(jì)法和最大似然估計(jì)法都只是利用了總體信息和樣本信息.我們以連續(xù)型總體為例介紹貝葉斯估計(jì)法的原理與步驟.這種方法稱為貝葉斯估計(jì).第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

其中第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)計(jì)算得樣本的邊緣概率密度函數(shù)為

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)四、點(diǎn)估計(jì)量的評(píng)選標(biāo)準(zhǔn)從前面的例子中可以看出，對(duì)同一個(gè)未知參數(shù)，選取不同的方法進(jìn)行估計(jì)時(shí)，可以得到不同的但是都合理的點(diǎn)估計(jì)量.因此我們需要對(duì)這些估計(jì)量比較其優(yōu)劣.常用的評(píng)選標(biāo)準(zhǔn)：相合性無偏性有效性第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)1.相合性

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)根據(jù)辛欽大數(shù)定律和依概率收斂的性質(zhì)，有

相合性是估計(jì)量的最基本要求，沒有相合性的估計(jì)量是不可取的.

4°由矩估計(jì)法得到的估計(jì)量都是相合估計(jì)量，由最大似然估計(jì)法得到的估計(jì)量在一定條件下也是相合估計(jì)量.第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)2.無偏性

系統(tǒng)誤差：

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)求期望得

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)3.有效性

通過上邊的例子可以看出，一個(gè)未知參數(shù)可以有好幾個(gè)無偏估計(jì)量，那么這些無偏估計(jì)量中，哪個(gè)最好呢？第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

解由于

第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

注2有效性是針對(duì)無偏估計(jì)進(jìn)行的比較.當(dāng)估計(jì)量有偏時(shí)，將采用均方誤差進(jìn)行比較.詳細(xì)內(nèi)容參考本章“重要補(bǔ)充及擴(kuò)展問題”的第四節(jié)（見教材P215）.第七章參數(shù)估計(jì)§7.1

點(diǎn)估計(jì)

注3

估計(jì)量的無偏性和有效性是針對(duì)固定的樣本大小而言的，稱之為“小樣本性質(zhì)”；而相合性是針對(duì)樣本大小趨于無窮時(shí)而言的，對(duì)固定的樣本大小沒有任何意義，這種性質(zhì)稱為“大樣本性質(zhì)”.除了這