第6章參數(shù)估計(jì)1(第1、2節(jié) 點(diǎn)估計(jì))綜合講練

1、概率論與數(shù)理統(tǒng)計(jì) 第6章 參數(shù)估計(jì) 1（第1、2節(jié) 點(diǎn)估計(jì)） 綜合講練l 要覽l 提示復(fù)習(xí)數(shù)學(xué)期望與方差的定義、性質(zhì)熟記點(diǎn)估計(jì)的概念（估計(jì)量與估計(jì)值）熟記估計(jì)量的評(píng)選標(biāo)準(zhǔn)l 辨析一、點(diǎn)估計(jì)概述1、參數(shù)估計(jì)在實(shí)際問(wèn)題中, 當(dāng)所研究的總體分布類型已知, 但分布中含有一個(gè)或多個(gè)未知參數(shù)時(shí), 如何根據(jù)樣本來(lái)估計(jì)未知參數(shù)，這就是參數(shù)估計(jì)問(wèn)題. 參數(shù)估計(jì)問(wèn)題分為點(diǎn)估計(jì)問(wèn)題與區(qū)間估計(jì)問(wèn)題兩類. 所謂點(diǎn)估計(jì)就是用某一個(gè)函數(shù)值作為總體未知參數(shù)的估計(jì)值；區(qū)間估計(jì)就是對(duì)于未知參數(shù)給出一個(gè)范圍，并且在一定的可靠度下使這個(gè)范圍包含未知參數(shù).例如, 燈泡的壽命是一個(gè)總體, 根據(jù)實(shí)際經(jīng)驗(yàn)知道, 服從, 但對(duì)每一批燈泡而言,

2、 參數(shù)是未知的,要寫(xiě)出具體的分布函數(shù), 就必須確定出參數(shù). 此類問(wèn)題就屬于參數(shù)估計(jì)問(wèn)題.參數(shù)估計(jì)問(wèn)題的一般提法:設(shè)有一個(gè)統(tǒng)計(jì)總體, 總體的分布函數(shù)為, 其中為未知參數(shù)(可以是向量). 現(xiàn)從該總體中隨機(jī)地抽樣, 得一樣本再依據(jù)該樣本對(duì)參數(shù)作出估計(jì), 或估計(jì)參數(shù)的某已知函數(shù).2、點(diǎn)估計(jì)的概念（估計(jì)量與估計(jì)值）設(shè)是取自總體的樣本，其觀測(cè)值為，是總體的未知參數(shù)，參數(shù)的點(diǎn)估計(jì)就是構(gòu)造一個(gè)統(tǒng)計(jì)量 隨機(jī)變量去估計(jì)未知參數(shù)；以其觀測(cè)值 數(shù)值來(lái)估計(jì)的真值.注: 估計(jì)量是一個(gè)隨機(jī)變量, 是樣本的函數(shù)，即是一個(gè)統(tǒng)計(jì)量, 對(duì)不同的樣本值, 的估計(jì)值一般是不同的.二、估計(jì)量的評(píng)選標(biāo)準(zhǔn)在具體介紹估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)之前, 需

3、指出: 評(píng)價(jià)一個(gè)估計(jì)量的好壞, 不能僅僅依據(jù)一次試驗(yàn)的結(jié)果, 而必須由多次試驗(yàn)結(jié)果來(lái)衡量. 因?yàn)楣烙?jì)量是樣本的函數(shù), 是隨機(jī)變量. 故由不同的觀測(cè)結(jié)果, 就會(huì)求得不同的參數(shù)估計(jì)值. 因此一個(gè)好的估計(jì), 應(yīng)在多次重復(fù)試驗(yàn)中體現(xiàn)出其優(yōu)良性.1、無(wú)偏性 P147定義1估計(jì)量是隨機(jī)變量, 對(duì)于不同的樣本值會(huì)得到不同的估計(jì)值. 一個(gè)自然的要求是希望估計(jì)值在未知參數(shù)真值的附近, 不要偏高也不要偏低. 由此引入無(wú)偏性標(biāo)準(zhǔn).定義1 設(shè)為未知參數(shù)的估計(jì)量，如果則稱是的無(wú)偏估計(jì)量；否則，稱是的有偏估計(jì)量.如果則稱是的漸進(jìn)無(wú)偏估計(jì)量.注: 無(wú)偏性是對(duì)估計(jì)量的一個(gè)常見(jiàn)而重要的要求, 其實(shí)際意義是指估計(jì)量沒(méi)有系統(tǒng)偏差，

4、只有隨機(jī)偏差. 在科學(xué)技術(shù)中, 稱為用估計(jì)而產(chǎn)生的系統(tǒng)誤差.例如, 用樣本均值作為總體均值的估計(jì)時(shí), 雖無(wú)法說(shuō)明一次估計(jì)所產(chǎn)生的偏差, 但這種偏差隨機(jī)地在0的周?chē)▌?dòng),對(duì)同一統(tǒng)計(jì)問(wèn)題大量重要使用不會(huì)產(chǎn)生系統(tǒng)偏差. 對(duì)一般總體而言，我們有定理1 (P147)設(shè)為取自總體的樣本,總體的均值為, 方差為.則(1) 樣本均值是的無(wú)偏估計(jì)量;(2) 樣本方差是的無(wú)偏估計(jì)量;(3) 樣本二階中心矩是的有偏估計(jì)量.2、有效性 P149定義2一個(gè)參數(shù)常有多個(gè)無(wú)偏估計(jì)量,在這些估計(jì)量中,自然應(yīng)選用對(duì)的偏離程度較小的為好,即一個(gè)較好的估計(jì)量的方差應(yīng)該較小.由此引入評(píng)選估計(jì)量的另一標(biāo)準(zhǔn)有效性.定義2 設(shè)與為未知參數(shù)

5、的兩個(gè)無(wú)偏估計(jì)量，如果則稱較有效.注: 在數(shù)理統(tǒng)計(jì)中常用到最小方差無(wú)偏估計(jì), 其定義如下:設(shè)為取自總體的一個(gè)樣本, 是未知參數(shù)的一個(gè)估計(jì)量, 若滿足:(1) ,即為的無(wú)偏估計(jì);(2) ,是的任一無(wú)偏估計(jì).則稱為的最小方差無(wú)偏估計(jì)(也稱最佳無(wú)偏估計(jì)).3、相合性（一致性） P151定義3我們不僅希望一個(gè)估計(jì)量是無(wú)偏的, 并且具有較小的方差, 還希望當(dāng)樣本容量無(wú)限增大時(shí), 估計(jì)量能在某種意義下任意接近未知參數(shù)的真值, 由此引入相合性(一致性)的評(píng)價(jià)標(biāo)準(zhǔn).定義3 設(shè)為未知參數(shù)的估計(jì)量，如果依概率收斂于，即對(duì)任意，有即則稱為的（弱）相合估計(jì)量（一致性估計(jì)量）.概率論與數(shù)理統(tǒng)計(jì) 第6章 參數(shù)估計(jì) 1（第

6、1、2節(jié) 點(diǎn)估計(jì)）估計(jì)量的評(píng)選標(biāo)準(zhǔn)一、點(diǎn)估計(jì)概述1、參數(shù)估計(jì)2、點(diǎn)估計(jì)的概念（估計(jì)量與估計(jì)值）二、估計(jì)量的評(píng)選標(biāo)準(zhǔn)1、無(wú)偏性2、有效性3、相合性（一致性）一、點(diǎn)估計(jì)概述1、參數(shù)估計(jì)2、點(diǎn)估計(jì)的概念（估計(jì)量與估計(jì)值）設(shè)是取自總體的樣本，其觀測(cè)值為，是總體的未知參數(shù)，參數(shù)的點(diǎn)估計(jì)就是構(gòu)造一個(gè)統(tǒng)計(jì)量 隨機(jī)變量去估計(jì)未知參數(shù)；以其觀測(cè)值 數(shù)值來(lái)估計(jì)的真值.二、估計(jì)量的評(píng)選標(biāo)準(zhǔn)1、無(wú)偏性 P147定義1設(shè)為未知參數(shù)的估計(jì)量，如果則稱是的無(wú)偏估計(jì)量；否則，稱是的有偏估計(jì)量.如果則稱是的漸進(jìn)無(wú)偏估計(jì)量.定理1 (P147)設(shè)為取自總體的樣本,總體的均值為, 方差為.則(1) 樣本均值是的無(wú)偏估計(jì)量;(2)

7、樣本方差是的無(wú)偏估計(jì)量;(3) 樣本二階中心矩是的有偏估計(jì)量.2、有效性 P149定義2設(shè)與為未知參數(shù)的兩個(gè)無(wú)偏估計(jì)量，如果則稱較有效.3、相合性（一致性） P151定義3設(shè)為未知參數(shù)的估計(jì)量，如果依概率收斂于，即對(duì)任意，有即則稱為的（弱）相合估計(jì)量（一致性估計(jì)量）.【補(bǔ)例6.1.1】證明P147定理1，即設(shè)是取自總體的樣本，總體的均值，方差，則（1）樣本均值是總體均值的無(wú)偏估計(jì)量；（2）樣本方差是總體方差的無(wú)偏估計(jì)量；（3）樣本二階中心矩是總體方差的有偏估計(jì)量，但它是總體方差的漸進(jìn)無(wú)偏估計(jì)量.【提示】P147定義1設(shè)為未知參數(shù)的估計(jì)量，如果則稱是的無(wú)偏估計(jì)量；否則，稱是的有偏估計(jì)量.如果則稱

8、是的漸進(jìn)無(wú)偏估計(jì)量.樣本方差的簡(jiǎn)算公式 總體方差的簡(jiǎn)算公式 【證明】注意到，樣本相互獨(dú)立且與總體同分布，故（1）樣本均值是總體均值的無(wú)偏估計(jì)量因故由P147定義1知，該結(jié)論成立，即樣本均值是總體均值的無(wú)偏估計(jì)量（2）樣本方差是總體方差的無(wú)偏估計(jì)量因 （ 由式 ） （ 由式 ）故由P147定義1知，該結(jié)論成立，即樣本方差是總體方差的無(wú)偏估計(jì)量記為（3）樣本二階中心矩是總體方差的有偏估計(jì)量，但它是總體方差的漸進(jìn)無(wú)偏估計(jì)量因 （由（2）知）故樣本二階中心矩不是總體方差的無(wú)偏估計(jì)量，而是有偏估計(jì)量，但故樣本二階中心矩是總體方差的漸進(jìn)無(wú)偏估計(jì)量.【補(bǔ)例6.1.2】設(shè)是取自總體的樣本，總體的均值，方差，對(duì)

9、任意常數(shù)（ ），且，試證：（1）均是的無(wú)偏估計(jì)；（2）當(dāng)（ ）時(shí)，是的有效估計(jì).【提示】P147定義1設(shè)為未知參數(shù)的估計(jì)量，如果則稱是的無(wú)偏估計(jì)量；否則，稱是的有偏估計(jì)量.如果則稱是的漸進(jìn)無(wú)偏估計(jì)量.P149定義2設(shè)與為未知參數(shù)的兩個(gè)無(wú)偏估計(jì)量，如果則稱較有效.樣本方差的簡(jiǎn)算公式 總體方差的簡(jiǎn)算公式 【證明】注意到，樣本、 、相互獨(dú)立且與總體同分布，故（1）均是的無(wú)偏估計(jì)因故，均是的無(wú)偏估計(jì)（2）當(dāng)（ ）時(shí)，是的有效估計(jì)因 利用施瓦茲不等式取，（ ），得即 由、式，知即故，是的有效估計(jì)注:本例說(shuō)明的優(yōu)良性：對(duì)于任意總體，樣本均值是總體均值的最佳線性估計(jì)（是的無(wú)偏估計(jì)、有效估計(jì)），簡(jiǎn)記為BLUE

10、.【§6.1 例1】【§6.1 例2】【§6.1 例3】【§6.1 例4】【§6.1 例5】【§6.1 例6】（第2版課件補(bǔ)充）【§6.1 例7】（教材P151例6）【§6.1 例8】（教材P151例7）【§6.1課堂練習(xí)】【習(xí)題6-1 EX1】【習(xí)題6-1 EX2】【習(xí)題6-1 EX3】【習(xí)題6-1 EX4】【習(xí)題6-1 EX5】【習(xí)題6-1 EX6】【習(xí)題6-1 EX7】【總習(xí)題六 EX1】【總習(xí)題六 EX2】【總習(xí)題六 EX3】【總習(xí)題六 EX4】【總習(xí)題六 EX5】【總習(xí)題六 EX12】【總習(xí)題六

11、 EX13】【總習(xí)題六 EX14】【第六章考研真題6】【第六章考研真題10】l 提示了解矩估計(jì)（一階、二階）熟記求最大似然估計(jì)的一般步驟似然函數(shù)取對(duì)數(shù)后，一定要化簡(jiǎn)；注：當(dāng)似然方程組無(wú)解或似然函數(shù)不可微時(shí)，可利用似然函數(shù)的性質(zhì)，確定其最值點(diǎn)，相應(yīng)可求出未知參數(shù)的最大似然估計(jì).l 辨析一、矩估計(jì)法1、矩估計(jì)法的基本思想矩估計(jì)法的基本思想是用樣本矩估計(jì)總體矩. 因?yàn)橛纱髷?shù)定理知, 當(dāng)總體的階矩存在時(shí),樣本的階矩依概率收斂于總體的階矩.例如, 可用樣本均值作為總體均值的估計(jì)量, 一般地, 記總體階矩 ；樣本階矩 ；總體階中心矩 ；樣本階中心矩 .2、求矩估計(jì)的一般方法 了解設(shè)總體的分布函數(shù)中含有個(gè)未

12、知參數(shù), 則(1) 求總體的前階矩，一般都是這個(gè)未知參數(shù)的函數(shù), 記為 （*）(2) 從（*）中解得 (3) 再用的估計(jì)量分別代替上式中的,即可得的矩估計(jì)量:注：求類似于上述步驟，最后用代替，求出矩估計(jì).特別地，有3、矩估計(jì)法（一階、二階） 了解（1）矩估計(jì)法（一階、二階）的基本原則通常用樣本一階原點(diǎn)矩估計(jì)總體均值；樣本二階中心矩估計(jì)方差.即，用樣本均值 估計(jì)總體均值； 樣本二階中心矩估計(jì)方差.（2）矩估計(jì)法（一階、二階）的基本步驟設(shè)（即，有兩個(gè)未知參數(shù)）為總體的未知參數(shù).l 總體中未知參數(shù)的矩估計(jì)第1步 求出總體矩與樣本矩 （ 含有 ）第2步 列矩估計(jì)方程組，即用樣本均值估計(jì)總體均值，用樣本

13、二階中心矩（未修正樣本方差）估計(jì)總體方差（1）一階矩估計(jì)，矩估計(jì)方程為 （即，有一個(gè)未知參數(shù)）即（2）二階矩估計(jì)，矩估計(jì)方程組為 （即，有兩個(gè)未知參數(shù)）即第3步 解矩估計(jì)方程組，即可得到未知參數(shù)的矩估計(jì) （） 估計(jì)量（含樣本 的表達(dá)式） （） 估計(jì)值（含樣本觀察值 的表達(dá)式）l 特別地，總體均值與方差的矩估計(jì)二、最大似然估計(jì)法1、最大似然估計(jì)法的思想注: 最大似然估計(jì)法首先由德國(guó)數(shù)學(xué)家高斯于1821年提出, 英國(guó)統(tǒng)計(jì)學(xué)家費(fèi)歇于1922年重新發(fā)現(xiàn)并作了進(jìn)一步的研究.2、似然函數(shù) P155定義2設(shè)是取自總體的一個(gè)樣本，其觀察值為，（即有個(gè)未知參數(shù)）為總體分布的未知參數(shù)；若為離散型，概率分布為，若為

14、連續(xù)型，密度函數(shù)為.稱的函數(shù)為似然函數(shù).為樣本取值樣本觀測(cè)值的可能性3、最大似然估計(jì) P155定義2選取的估計(jì)，使得此時(shí)稱為的最大似然估計(jì).（MLE.）4、對(duì)數(shù)似然函數(shù)由于與有相同的最值點(diǎn)，即通常稱為對(duì)數(shù)似然函數(shù)，不加區(qū)分也簡(jiǎn)稱為似然函數(shù).5、求最大似然估計(jì)的一般步驟第1步 利用的分布，求出似然函數(shù)取對(duì)數(shù)并化簡(jiǎn)，得第2步 當(dāng)關(guān)于可微時(shí)，建立似然方程組 （） 若只有一個(gè)未知參數(shù)，即時(shí)，似然方程為第3步 求似然解方程組確定的最大值點(diǎn)，通常似然方程組的解就是最值點(diǎn)，即為未知參數(shù)的最大似然估計(jì).特別地，當(dāng)似然方程組無(wú)解或似解函數(shù)不可微時(shí)，可利用似然函數(shù)的性質(zhì)，確定其最值點(diǎn)，相應(yīng)可求出未知參數(shù)的最大似然

15、估計(jì).注: 因函數(shù)是的單調(diào)增加函數(shù),且函數(shù)與函數(shù)有相同的極值點(diǎn),故常轉(zhuǎn)化為求函數(shù)的最大值點(diǎn)較方便.6、最大似然估計(jì)的不變性如果是的最大似然估計(jì)，是的函數(shù)且存在單值反函數(shù)，則是的最大似然估計(jì).可推廣到有限多個(gè)參數(shù)的情形概率論與數(shù)理統(tǒng)計(jì) 第6章 參數(shù)估計(jì) 1（第1、2節(jié) 點(diǎn)估計(jì)）點(diǎn)估計(jì)的常用方法一、矩估計(jì)法二、最大似然估計(jì)法一、矩估計(jì)法l 矩估計(jì)法（一階、二階） 了解（1）矩估計(jì)法（一階、二階）的基本原則通常用樣本一階原點(diǎn)矩估計(jì)總體均值；樣本二階中心矩估計(jì)方差.即，用樣本均值 估計(jì)總體均值； 樣本二階中心矩估計(jì)方差.（2）矩估計(jì)法（一階、二階）的基本步驟設(shè)（即，有兩個(gè)未知參數(shù)）為總體的未知參數(shù).l

16、 總體中未知參數(shù)的矩估計(jì)第1步 求出總體矩與樣本矩 （ 含有 ）第2步 列矩估計(jì)方程組，即用樣本均值估計(jì)總體均值，用樣本二階中心矩（未修正樣本方差）估計(jì)總體方差（1）一階矩估計(jì)，矩估計(jì)方程為 （即，有一個(gè)未知參數(shù)）即（2）二階矩估計(jì)，矩估計(jì)方程組為 （即，有兩個(gè)未知參數(shù)）即第3步 解矩估計(jì)方程組，即可得到未知參數(shù)的矩估計(jì) （） 估計(jì)量（含樣本 的表達(dá)式） （） 估計(jì)值（含樣本觀察值 的表達(dá)式）l 特別地，總體均值與方差的矩估計(jì)二、最大似然估計(jì)法l 求最大似然估計(jì)的一般步驟第1步 利用的分布，求出似然函數(shù)取對(duì)數(shù)并化簡(jiǎn)，得第2步 當(dāng)關(guān)于可微時(shí)，建立似然方程組 （） 若只有一個(gè)未知參數(shù)，即時(shí)，似然方

17、程為第3步 求似然解方程組確定的最大值點(diǎn)，通常似然方程組的解就是最值點(diǎn)，即為未知參數(shù)的最大似然估計(jì).特別地，當(dāng)似然方程組無(wú)解或似解函數(shù)不可微時(shí)，可利用似然函數(shù)的性質(zhì)，確定其最值點(diǎn)，相應(yīng)可求出未知參數(shù)的最大似然估計(jì).注: 因函數(shù)是的單調(diào)增加函數(shù),且函數(shù)與函數(shù)有相同的極值點(diǎn),故常轉(zhuǎn)化為求函數(shù)的最大值點(diǎn)較方便.【補(bǔ)例6.1.3】設(shè)總體的分布如下，是取自總體的一個(gè)樣本，其觀察值為，求未知參數(shù)的最大似然估計(jì)值：（1）服從參數(shù)為（，未知）的“”分布；（2）服從參數(shù)為（，未知）的幾何分布；（3）服從參數(shù)為（，未知）的泊松（）分布.【提示】l 最大似然估計(jì)法（離散型）的基本步驟的分布律為 在樣本處取值的概率為

18、 （為未知參數(shù)）作似然函數(shù)：取對(duì)數(shù)并化簡(jiǎn)：似然方程： 解出： （含樣本觀察值 的表達(dá)式） （估計(jì)值） （含樣本 的表達(dá)式） （估計(jì)量）【解】利用最大似然估計(jì)法（離散型）（1）服從參數(shù)為（，未知）的“”分布 的分布律為 （ ， ） 在樣本處取值的概率為 （ ， ，）作似然函數(shù)： 取對(duì)數(shù)并化簡(jiǎn)： （為常數(shù) ）似然方程： 解出： （估計(jì)值） （估計(jì)量）（2）服從參數(shù)為（，未知）的幾何分布 的分布律為 （ ， ） 在樣本處取值的概率為 （ ， ）作似然函數(shù)： 取對(duì)數(shù)并化簡(jiǎn)： （為常數(shù) ）似然方程： 解出： （估計(jì)值） （估計(jì)量）（3）服從參數(shù)為（，未知）的泊松（）分布 的分布律為 （） 在樣本處取值的

19、概率為 （， ）作似然函數(shù)：取對(duì)數(shù)并化簡(jiǎn)： （，均為常數(shù) ）似然方程： 解出： （估計(jì)值） （估計(jì)量）【補(bǔ)例6.1.4】設(shè)總體的密度函數(shù)如下，是取自總體的一個(gè)樣本，其觀察值為，求未知參數(shù)的最大似然估計(jì)值：（1） （ ，為未知參數(shù)，參數(shù)為的指數(shù)分布）；（2） （，為未知參數(shù)，參數(shù)為的指數(shù)分布）；（3）（ ，為未知參數(shù)）.【提示】l 最大似然估計(jì)法（連續(xù)型）的基本步驟 在樣本附近取值的概率為 作似然函數(shù)：取對(duì)數(shù)并化簡(jiǎn)： 似然方程： 解出： （含樣本觀察值 的表達(dá)式） （估計(jì)值） （含樣本 的表達(dá)式） （估計(jì)量）【解】利用最大似然估計(jì)法（連續(xù)型）（1） （ ，為未知參數(shù)，參數(shù)為的指數(shù)分布） 在樣本附

20、近取值的概率為 （ 設(shè) ）作似然函數(shù)：取對(duì)數(shù)并化簡(jiǎn)： （為常數(shù) ）似然方程： （） 解出： （估計(jì)值） （估計(jì)量）（2） （，為未知參數(shù)，參數(shù)為的指數(shù)分布） 在樣本附近取值的概率為 （ 設(shè) ）作似然函數(shù)：取對(duì)數(shù)并化簡(jiǎn)： （為常數(shù) ）似然方程： 解出： （估計(jì)值） （估計(jì)量）（3）（，為未知參數(shù)） 在樣本附近取值的概率為 （ 設(shè) ）作似然函數(shù)：取對(duì)數(shù)并化簡(jiǎn)： （為常數(shù) ）似然方程： 解出： （估計(jì)值） （估計(jì)量）【補(bǔ)例6.1.5】設(shè)總體，是取自總體的一個(gè)樣本，其觀察值為，求未知參數(shù)的矩估計(jì)量與最大似然估計(jì)量.【提示】l 矩估計(jì)法（一階、二階）的基本步驟設(shè)（即，有兩個(gè)未知參數(shù)）為總體的未知參數(shù).l

21、 總體中未知參數(shù)的矩估計(jì)第1步 求出總體矩與樣本矩 （ 含有 ）第2步 列矩估計(jì)方程組，即用樣本均值估計(jì)總體均值，用樣本二階中心矩（未修正樣本方差）估計(jì)總體方差（1）一階矩估計(jì)，矩估計(jì)方程為 （即，有一個(gè)未知參數(shù)）即（2）二階矩估計(jì)，矩估計(jì)方程組為 （即，有兩個(gè)未知參數(shù)）即第3步 解矩估計(jì)方程組，即可得到未知參數(shù)的矩估計(jì) （） 估計(jì)量（含樣本 的表達(dá)式） （） 估計(jì)值（含樣本觀察值 的表達(dá)式）l 特別地，總體均值與方差的矩估計(jì)l 最大似然估計(jì)法（連續(xù)型）（同補(bǔ)例6.1.4，略）【解】總體（區(qū)間上的均勻分布）的密度函數(shù)如下 （ ，為未知參數(shù)）（1）利用矩估計(jì)法（一階），求未知數(shù)的矩估計(jì)量第1步 求出總體矩與樣本矩 （ 含有