概率論與數(shù)理統(tǒng)計(jì)：Ch8-參數(shù)估計(jì)

1、第八章 參數(shù)估計(jì)本章要點(diǎn)二、兩種常用點(diǎn)估計(jì)三、估計(jì)量的評選標(biāo)準(zhǔn)五、正態(tài)總體下未知參數(shù)的置信區(qū)間 1.點(diǎn)估計(jì)的定義8.2 兩種常用點(diǎn)估計(jì) 2.矩估計(jì) 3.極大似然估計(jì) 點(diǎn)估計(jì)的定義 設(shè)總體 為總體分布中的未知參數(shù),是取自總體的一個(gè)樣本, 用樣本來構(gòu)造的估計(jì), 稱 為 的一個(gè)點(diǎn)估計(jì), 記作 求點(diǎn)估計(jì)的兩種常用方法： 矩估計(jì)法和極大似然估計(jì)法, 所求出的估計(jì)量則分別稱為矩估計(jì)量和極大似然估計(jì)量. 矩估計(jì)思想 用樣本的 階原點(diǎn)矩替代總體的 階原點(diǎn)矩, 這樣得到的未知參數(shù) 的估計(jì)量稱為 的矩估計(jì)量.總體的 階原點(diǎn)矩樣本的 階原點(diǎn)矩例1 設(shè)總體 , 其中 未知,為取自該總體的一個(gè)樣本. 試求: 的矩估計(jì)量

2、; 的矩估計(jì)量.解 因?yàn)?, 故 的矩估計(jì)量為 又故 的矩估計(jì)量又可定義為注 矩估計(jì)不唯一;一般利用一階、二階原點(diǎn)矩進(jìn)行求解.例（續(xù)）求 的矩估計(jì).解 因所以:例2 設(shè) 為取自該總體的樣本,求 的矩估計(jì)量.解 因 , 而所以故 的矩估計(jì)量為例3 設(shè)總體 均未知, 求 的矩估計(jì)量.解 因 , 故 , 又故例4 設(shè)總體未知,求 的矩估計(jì)量.解 所以, 的矩估計(jì)為 定理8.1 設(shè)總體 的均值 , 方差為取自該總體的樣本, 則 是 的矩估計(jì), 是 的矩估計(jì), 是 的矩估計(jì). 例5 設(shè)總體 , 其中 未知, 求 的矩估計(jì).解 因 , 所以 , 故 是 的矩估計(jì), 也即 的矩估計(jì)為例6 設(shè)總體 , 其中

3、未知, 求 的矩估計(jì).解 因 , 所以 , 故 是 的矩估計(jì), 從而 的矩估計(jì)為例7 設(shè)總體 未知, 求 的矩估計(jì).解 由已知條件, 得故, 是 的矩估計(jì), 即 是 的矩估計(jì), 所以 極大似然估計(jì) 有一棋壇, 放有黑白兩種棋子, 兩種棋子的比例為1:4,但不確定是黑:白=1:4, 還是白:黑=1:4. 現(xiàn)有放回取兩子,發(fā)現(xiàn)全是黑的, 估計(jì)是黑:白=1:4, 還是白:黑=1:4?解 任取一子為黑的概率是 或 . 當(dāng)時(shí), （任取兩子全黑）當(dāng) 時(shí), 自然認(rèn)為壇中黑棋居多. 利用樣本的信息, 選擇參數(shù)使得事件發(fā)生的概率盡可能大, 這就是極大似然估計(jì)的思想.（任取兩子全黑） 設(shè)總體的分布為 , 其中 為

4、未知參數(shù), 為樣本觀測值, 則求 的極大 似然估計(jì)值 的過程如下:寫出似然函數(shù)稱滿足關(guān)系式的解 為 的極大似然估計(jì)值, 而為 的極大似然估計(jì)量. 如果 是 的可微函數(shù), 則將似然函數(shù)取對數(shù): 建立并求解似然方程組 一般說來, 極大似然估計(jì)值可由解對數(shù)似然方程得到. 當(dāng)似然函數(shù)不可微時(shí), 也可直接尋求使得達(dá)到最大的解來得到極大似然估計(jì)值和估計(jì)量.例8 設(shè) 為取自總體 的樣本, 其中 未知, 是樣本 的觀測值, 求 的極大似然估計(jì)量.解 總體分布為 1.寫出似然函數(shù) : 2.對似然函數(shù)取對數(shù)3.對未知參數(shù)求導(dǎo)并令其為零, 即建立似然方程:由此解出這就是使似然函數(shù)達(dá)到最大的點(diǎn), 即極大似然估計(jì)值.

5、4.寫出未知參數(shù)的極大似然估計(jì)量:例9 設(shè)總體 未知, 是取自總體 的樣本, 求參數(shù) 的極大似然估計(jì).解 總體 , 即1.寫出似然函數(shù) :2.當(dāng) 時(shí), 對似然函數(shù)取對數(shù), 則有3.等式兩邊對未知參數(shù) 求導(dǎo), 即建立似然方程求解 :4.寫出未知參數(shù) 的極大似然估計(jì):性質(zhì) 設(shè) 是未知參數(shù) 的極大似然估計(jì), 則的極大似然估計(jì)定義為 . （也是替代的思想）例10 設(shè)總體 , 其中 未知, 是取自總體 的一個(gè)樣本, 求 以及 的極大似然估計(jì).解 1.寫出似然函數(shù)2.對似然函數(shù)取對數(shù):3.建立似然方程組:解得已求得以 替代 即得 的極大似然估計(jì)為又例11 已知總體 的概率函數(shù)為其中 未知, 設(shè) 是來自總的

6、極大似然估計(jì)值.體的樣本, 其觀測值 , 求 解 樣本觀測值的似然函數(shù)為取對數(shù)后有求導(dǎo)并建立似然方程, 即有解得極大似然估計(jì)值為例12 設(shè)總體 是來自該總體的樣本, 其中 未知. 求 的極大似然估計(jì).解 樣本的似然函數(shù)為當(dāng) 時(shí), 對數(shù)似然函數(shù)為 , 對數(shù)似然方程尋求滿足下列條件的未知參數(shù)估計(jì)量.樣本的似然函數(shù)為在 的條件下, 選擇 , 使 盡可能達(dá)到最大, 顯然令 滿足上述要求.顯然無法求解出參數(shù). 于是從原始定義出發(fā)討論, 即注: 兩種估計(jì)量并不總是相同. 試比較5個(gè)重要分布的矩估計(jì)和極大似然估計(jì).8.3 估計(jì)量的評選標(biāo)準(zhǔn)本節(jié)關(guān)鍵詞:1.無偏性2.有效性3.相合性 1.無偏估計(jì)定義: 如果未

7、知參數(shù) 的估計(jì)量 滿足 , 則稱 為 的一個(gè)無偏估計(jì). 如果 , 則稱 為 的漸近 無偏估計(jì); 進(jìn)一步, 若 , 則稱 為 的無偏估計(jì). 定理7.3 設(shè)總體 的均值 , 方差 為取自總體的一個(gè)樣本, 則由定理7.3的結(jié)論:可知: 樣本均值是總體均值的無偏估計(jì), 樣本方差是總體方差的無偏估計(jì), 而樣本的二階中心矩是總體方差的漸近無偏估計(jì).未知, 是取自該總體的樣本, 證明 是 的無偏估計(jì). 例1 設(shè)總體 的均值 已知, 方差 證明:故 是 的無偏估計(jì). 例2 設(shè)總體 為從中抽取的簡單樣本, 記 分別為樣本均值和樣本方差 , 若解 由統(tǒng)計(jì)量性質(zhì)知由題意知 , 即 為 的無偏估計(jì), 試計(jì)算 的值.由

8、此解得 .例3 設(shè)總體 的概率密度函數(shù)為 其余.樣本均值. 為來自總體 的簡單隨機(jī)樣本, 為求未知參數(shù) 的矩估計(jì)量 .判斷 是否為 的無偏估計(jì) , 為什么？解 解得 所以, 的矩估計(jì)為 解 故 不是 的無偏估計(jì).例4 已知總體 的概率函數(shù)為其中 未知, 用 表示來自總體的樣本中取使得 為 的無偏估計(jì)量, 并求 的方差. 值為 的個(gè)數(shù) , , 試求常數(shù) 解 由題意知 因此由 又 解得 2.有效性定義: 設(shè) 是未知參數(shù) 的兩個(gè)無偏估計(jì), 至少對某個(gè) , 成立嚴(yán)格不等式: 如果對每一個(gè) , 有 , 而且 , 則稱 比 有效. . 證明:總體期望 是未知參數(shù), 令 , 其中 例5 設(shè) 為來自總體 的一

9、個(gè)樣本, 且 是 的無偏估計(jì); 在一切形如 的無偏估計(jì)中, 以樣本均值 最為有效. 此時(shí)即 .解 故 是 的無偏估計(jì);由Schwarz不等式知又 , 因此 , 從而即證.例6 設(shè)總體 為來自總體的一個(gè)樣本, 其中 是未知參數(shù) , 比較這兩個(gè)估計(jì)的有效性.解 由題設(shè)知試證 的極大似然估計(jì) 和樣本方差都是 的無偏估計(jì);故又因?yàn)?, 因此即這兩個(gè)估計(jì)都是無偏的;顯然 比 有效. 因此例7 設(shè) 是來自總體 的一個(gè)樣本, 總體 的極大似然估計(jì)量 ; 問 是不是未知參數(shù)的 無偏估計(jì)? 若不是, 將其修正為無偏估計(jì); 比較有效性. , 其中 未知, 試求 的矩估計(jì)量 ;解 由前面討論已經(jīng)知道 ; ; ; 由

10、次序統(tǒng)計(jì)量分布知當(dāng) 時(shí), 的概率密度函數(shù)為故 定義 , 顯然這是 的無偏估計(jì). 因此, 矩估計(jì)是無偏估計(jì)、而極大似然估計(jì)不是無偏的. 已經(jīng)知道 , 且 可見對任意 , 有 , 故 比 有效. 3.相合估計(jì)如果對 , 有 ,則稱 是 的相合估計(jì). 上式即表明 . 定理8.2 如果 是 的一個(gè)無偏估計(jì), 且 , 那么 是 的相合估計(jì).證明: 因?yàn)?, 且故 是未知參數(shù) 的相合估計(jì). . 例8 設(shè)總體 , 其中 未知, 的矩估計(jì)量 , 試證明 是一個(gè)相合估計(jì).8.5 正態(tài)總體下未知參數(shù)的置信區(qū)間主要介紹一個(gè)正態(tài)總體的情形設(shè) 是來自總體 的樣本, 其中 參數(shù)置信區(qū)間的定義:參數(shù) 未知, 對給定的 ,

11、若存在統(tǒng)計(jì)量 使得那么稱區(qū)間為 的雙側(cè) 置信區(qū)間; 稱 為置信水平, 稱 為 的雙側(cè) 置信區(qū)間的下限 或上限, 簡稱雙側(cè)置信下（上）限.抽樣以后就得到置信區(qū)間的觀測值: 先求出 的一個(gè)點(diǎn)估計(jì) , 建議用極大 求參數(shù)置信區(qū)間的一般步驟:構(gòu)造一個(gè)包含 和 的隨機(jī)變量 要求選取常數(shù) , 使得 除了未知參數(shù) 以外, 不再含有任何未知的信息, 且 當(dāng) 的分布為連續(xù)型時(shí), 只需考慮等號成立的情形; 似然估計(jì); 的分布已知或者分位數(shù)可以通過查表或者計(jì)算得到; 將不等式 等價(jià)變形為 , 則 就是未知參數(shù) 的雙側(cè) 置信區(qū)間. 其中 , 都是統(tǒng)計(jì)量. 設(shè) 是取自正態(tài)總體 的一個(gè) 單正態(tài)總體下未知參數(shù)的置信區(qū)間估計(jì)

12、:樣本, 置信水平為 , 樣本均值 , 樣本方差樣本的二階中心矩1.已知方差 , 求期望 的雙側(cè)置信區(qū)間: 則 滿足取 , , 不等式等價(jià)變形后即得 的雙側(cè)置信區(qū)間: 構(gòu)造隨機(jī)變量則 符合選取的要求; 相應(yīng)的置信區(qū)間觀測值為長期以來方差穩(wěn)定在0.4, 而期望例1 某商店每天每百元投資的利潤率服從正態(tài)分布:0.9, 試求 的置信水平 的雙側(cè)置信區(qū)間.解 由題意知 計(jì)算并查表得未知. 現(xiàn)隨機(jī)抽取五天的利潤率為-0.2, 0.1, 0.8, -0.6, , 故期望的雙側(cè)0.95置信區(qū)間為 2.方差 未知, 求期望 的雙側(cè)置信區(qū)間: 則 滿足取 , , 不等式等價(jià)變形后即得 的雙側(cè)置信區(qū)間: 構(gòu)造隨機(jī)

13、變量則 符合選取的要求; 相應(yīng)的置信區(qū)間觀測值為測量了10個(gè)燈泡并計(jì)算得到例2 為了解某型號燈泡使用時(shí)數(shù)的均值和標(biāo)準(zhǔn)差 小時(shí), 小時(shí), 解 由題設(shè)條件知 查表得 , 故期望的雙側(cè)0.95置信區(qū)間為 設(shè)燈泡的使用時(shí)數(shù)服從正態(tài)分布 , 試求 的 置信水平 的雙側(cè)置信區(qū)間.3.已知期望 , 求方差 的雙側(cè)置信區(qū)間: 則 滿足取 , , 不等式等價(jià)變形后即得 的雙側(cè)置信區(qū)間: 構(gòu)造隨機(jī)變量則 符合選取的要求; 相應(yīng)的置信區(qū)間觀測值為而標(biāo)準(zhǔn)差的置信區(qū)間及置信區(qū)間觀測值為4.期望 未知, 求方差 的雙側(cè)置信區(qū)間: 則 滿足取 , , 不等式等價(jià)變形后即得 的雙側(cè)置信區(qū)間: 構(gòu)造隨機(jī)變量則 符合選取的要求; 相應(yīng)的置信區(qū)間觀測值為而標(biāo)準(zhǔn)差的置信區(qū)間及置信區(qū)間觀測值為測量了10個(gè)燈泡并計(jì)算得到例3 為了解某型號燈泡使用時(shí)數(shù)的均值和標(biāo)準(zhǔn)差