概率論與數(shù)理統(tǒng)計 第2版 課件 7.1 點估計

第七章參數(shù)估計§7.1點估計§7.2區(qū)間估計第七章參數(shù)估計第七章參數(shù)估計估計問題參數(shù)估計非參數(shù)估計非參數(shù)估計：總體分布形式未知，或雖已知但是不能用有限個參數(shù)刻畫，根據(jù)抽取的樣本對總體的分布函數(shù)和概率密度函數(shù)進(jìn)行估計.參數(shù)估計：總體分布的形式已知，但含有一個或幾個未知參數(shù)，根據(jù)抽取的樣本對這些未知參數(shù)進(jìn)行估計.第七章參數(shù)估計參數(shù)估計問題的提法

點估計：用一個數(shù)來估計未知參數(shù)或其函數(shù).區(qū)間估計：用一個區(qū)間來估計未知參數(shù)或其函數(shù).第七章參數(shù)估計§7.1

點估計§7.1點估計一、矩估計法二、最大似然估計法三、貝葉斯估計法四、點估計量的評選標(biāo)準(zhǔn)

第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計（1）矩估計法（2）最大似然估計法（3）貝葉斯估計法常用的點估計方法第七章參數(shù)估計§7.1

點估計一、矩估計法矩估計法是皮爾遜引入的，其核心思想是替換原理：替換原理的實質(zhì)就是用經(jīng)驗分布函數(shù)替換總體分布函數(shù)，其理論基礎(chǔ)是格里汶科定理.用樣本中心矩替換總體中心矩，用樣本中心矩的函數(shù)替換相應(yīng)的總體中心矩的函數(shù).用樣本矩替換總體矩，用樣本矩的函數(shù)替換相應(yīng)的總體矩的函數(shù)；第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計

矩估計量和矩估計值統(tǒng)稱為矩估計.第七章參數(shù)估計§7.1

點估計

稱為矩估計值.注在矩估計法中，可以選用不同的矩建立方程組，或者用樣本中心矩等于總體中心矩建立方程組，不過得到的矩估計一般也是不同的.第七章參數(shù)估計§7.1

點估計矩估計法的求解步驟（2）解該方程組，得其解為

第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計

（一般的，我們總是盡量用低階矩進(jìn)行估計.）第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計注：本例的結(jié)果表明，總體均值和總體方差的矩估計量的表達(dá)式不因總體分布的不同而不同.

第七章參數(shù)估計§7.1

點估計二、最大似然估計法最大似然估計法是點估計的另一種方法，最早由德國數(shù)學(xué)家高斯提出，后來英國統(tǒng)計學(xué)家費希爾再次提出這個思想并探討了相關(guān)的性質(zhì)，從而使得最大似然估計法有了廣泛的應(yīng)用.最大似然估計法是建立在最大似然原理的基礎(chǔ)上的.為了說明最大似然原理，我們先看兩個例子.第七章參數(shù)估計§7.1

點估計引例：（1）獵人師傅和徒弟一同去打獵.途中遇到一只兔子，師傅和徒弟同時開槍，兔子被擊中一槍.那么這只兔子是師傅打中的還是徒弟打中的？（2）有兩個外形完全相同的箱子，甲箱中有99個白球、1個黑球，乙箱中有99個黑球、1個白球.現(xiàn)在從兩個箱子中隨機挑選一個，從中取出了一個球，結(jié)果取出的球是黑球.那么這個黑球是從哪個箱子中取出的？第七章參數(shù)估計§7.1

點估計分析：我們猜測的結(jié)果是兔子是師傅打中的，黑球是從乙箱中抽取的.因為師傅命中的概率高，乙箱中取到黑球的概率高.也就是說，哪中情況下，結(jié)果出現(xiàn)的概率高，我們就猜測哪種情況.這就是最大似然原理.

第七章參數(shù)估計§7.1

點估計離散型總體的最大似然估計

第七章參數(shù)估計§7.1

點估計

最大似然估計量和最大似然估計值統(tǒng)稱為最大似然估計，也稱為極大似然估計.

第七章參數(shù)估計§7.1

點估計連續(xù)型總體的最大似然估計

第七章參數(shù)估計§7.1

點估計

注最大似然估計法本質(zhì)上是利用已知的樣本結(jié)果，去反推最有可能導(dǎo)致這種結(jié)果的參數(shù)值.第七章參數(shù)估計§7.1

點估計求解最大似然估計就是求解滿足條件

第七章參數(shù)估計§7.1

點估計最大似然估計法的一般求解步驟（1）寫出似然函數(shù)（2）寫出對數(shù)似然函數(shù)（3）寫出對數(shù)似然方程

第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計對似然函數(shù)取對數(shù)，得對數(shù)似然函數(shù)

第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計

對似然函數(shù)取對數(shù)，得對數(shù)似然函數(shù)第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計

其似然函數(shù)為第七章參數(shù)估計§7.1

點估計

因此對數(shù)似然方程組無解.這時就不能用求導(dǎo)數(shù)的方法求解最大似然估計了.我們可以利用（對數(shù)）似然函數(shù)的單調(diào)性求解最大值.第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計

相應(yīng)的最大似然估計量為

注并不是所有的點估計問題都可以用矩估計和最大似然估計解決，在本章“重要補充及擴(kuò)展問題”的第一節(jié)（見教材P217）中就給出了一個反例.

第七章參數(shù)估計§7.1

點估計三、貝葉斯估計法前面介紹的矩估計法和最大似然估計法都只是利用了總體信息和樣本信息.我們以連續(xù)型總體為例介紹貝葉斯估計法的原理與步驟.這種方法稱為貝葉斯估計.第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計

其中第七章參數(shù)估計§7.1

點估計計算得樣本的邊緣概率密度函數(shù)為

第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計四、點估計量的評選標(biāo)準(zhǔn)從前面的例子中可以看出，對同一個未知參數(shù)，選取不同的方法進(jìn)行估計時，可以得到不同的但是都合理的點估計量.因此我們需要對這些估計量比較其優(yōu)劣.常用的評選標(biāo)準(zhǔn)：相合性無偏性有效性第七章參數(shù)估計§7.1

點估計1.相合性

第七章參數(shù)估計§7.1

點估計根據(jù)辛欽大數(shù)定律和依概率收斂的性質(zhì)，有

相合性是估計量的最基本要求，沒有相合性的估計量是不可取的.

4°由矩估計法得到的估計量都是相合估計量，由最大似然估計法得到的估計量在一定條件下也是相合估計量.第七章參數(shù)估計§7.1

點估計2.無偏性

系統(tǒng)誤差：

第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計

第七章參數(shù)估計§7.1

點估計求期望得

第七章參數(shù)估計§7.1

點估計3.有效性

通過上邊的例子可以看出，一個未知參數(shù)可以有好幾個無偏估計量，那么這些無偏估計量中，哪個最好呢？第七章參數(shù)估計§7.1

點估計

解由于

第七章參數(shù)估計§7.1

點估計

注2有效性是針對無偏估計進(jìn)行的比較.當(dāng)估計量有偏時，將采用均方誤差進(jìn)行比較.詳細(xì)內(nèi)容參考本章“重要補充及擴(kuò)展問題”的第四節(jié)（見教材P215）.第七章參數(shù)估計§7.1

點估計

注3

估計量的無偏性和有效性是針對固定的樣本大小而言的，稱之為“小樣本性質(zhì)”；而相合性是針對樣本大小趨于無窮時而言的，對固定的樣本大小沒有任何意義，這種性質(zhì)稱為“大樣本性質(zhì)”.除了這