數(shù)學(xué)參數(shù)點(diǎn)估計(jì)PPT課件

1、二、本章教學(xué)目的與要求 ( 4 學(xué)時(shí) ) 第1頁(yè)/共34頁(yè)對(duì)概率分布中的未知參數(shù), 如果不能利用概率分布的歸一性, 或者利用隨機(jī)變量的獨(dú)立性,包括利用特定點(diǎn)或特定區(qū)間上的給定概率關(guān)系, 確定它們的大小,那就只有通過從相應(yīng)的總體內(nèi)抽取適度容量的樣本, 利用樣本所必然攜帶的總體信息, 做出參數(shù)大小的合理近似估計(jì).起碼的要求是:估計(jì)量與被估計(jì)量二者的數(shù)學(xué)期望應(yīng)彼此相等!第2頁(yè)/共34頁(yè) 六退出一四二三五第3頁(yè)/共34頁(yè)退出返回 對(duì)分布中未知參數(shù) 的近似取值或準(zhǔn)確值的落入范圍進(jìn)行的估計(jì)稱為參數(shù)估計(jì). 其中, 對(duì)參數(shù)近似取值進(jìn)行的估計(jì)稱為參數(shù)的點(diǎn)估計(jì); 對(duì)參數(shù)準(zhǔn)確值的落入范圍所進(jìn)行的估計(jì)稱為參數(shù)的區(qū)間估

2、計(jì). 進(jìn)行參數(shù)點(diǎn)估計(jì)所使用的統(tǒng)計(jì)量 稱為參數(shù)的點(diǎn)估計(jì)量; 按點(diǎn)估計(jì)量依具體的樣本值算出的參數(shù)值 稱為參數(shù)的點(diǎn)估計(jì)值. 類似的術(shù)語可同樣地套用于區(qū)間估計(jì)中.1. 點(diǎn)估計(jì)與區(qū)間估計(jì)的概念2. 點(diǎn)估計(jì)量與點(diǎn)估計(jì)值第4頁(yè)/共34頁(yè)退出返回 1. 無偏性 2. 有效性較好的無偏估計(jì)量 應(yīng)具較小的方差 ()( ) .iDD 好的估計(jì)量 應(yīng)能使() .E 最好的無偏估計(jì)量 應(yīng)依lim( .,)12pnnXXX 3. 一致性（相合性）概率收斂于參數(shù)的準(zhǔn)確值, 即(,)nXXX12 第5頁(yè)/共34頁(yè)退出返回 證()()11nii E XE Xn1nn證: 總體的樣本均值 是總體均值 的無偏估計(jì).例2-1 設(shè) X

3、1, X2 , , X n 是總體 X 的一個(gè)樣本，().E X,()(),niii XX E XE X n1111nin,()E X 試總體數(shù)學(xué)期望樣本算術(shù)平均量故樣本均值 是總體均值的無偏估計(jì)量.X11niiXXn樣本均值的觀測(cè)值 是總體均值的無偏估計(jì)值.x第6頁(yè)/共34頁(yè)故樣本方差 S2 是總體方差的無偏估計(jì).退出返回而 證()() ,nniiiiXXXnXn n S2221121111niiXX ,n11(),()(),niiE X D XD X nn22111()()(),iiiE XD XEX 2222證明: 總體的樣本方差 S2 是總體方差 的無偏估計(jì). 例2-2 設(shè) X1, X

4、2 , , X n 是總體 X 的一個(gè)樣本，2(),E X ()(),()(), ,iiE XE X D XD X in21 2()()(),E XD XEX n22221()()()niiE SnE XnE X221211()()ninnn22221111()(), DnXn22111().D X2 ()nnn222211證畢.其中第7頁(yè)/共34頁(yè)退出返回 例2-3 設(shè) X1, X2 , X3 , X4 是總體 X 容量為4 的樣本則總體均值的以下無偏估計(jì)中, 最有效的點(diǎn)估計(jì)量是 ( )D.XXXX123412115555C.XXXX123443119999BXXXX123411114444

5、A.XXXX123411113663B.()()()()DXDXDXDX123411113663解()DXXXX123411113663()()()()D XD XD XD X1111936369()D X1036同樣, ()()DXXXXD X12341111444414其中, 最小的方差為()()DXXXXD X12344311999913()D XDXXXX123472512115555() ,D X 14最有效的估計(jì)量是XXXX123411114444第8頁(yè)/共34頁(yè)且()123E abXXXc)()()(,abXc E XE 故 是總體期望 的無偏估計(jì). ()E X123XXabXc

6、(), ,()1 2 3iE X Xi E例2-4 設(shè) X1, X2 , X3 是總體 X 的樣本三常數(shù)退出返回 證()()()E XE XXabcE而各.1abc ()123E abXXXc()()()123aEbXEXcE X,1abc 試證明: 是總體期望 的無偏估計(jì). ()E X123XXabXc證畢.第9頁(yè)/共34頁(yè)退出返回從而有 證( )(),EE X 212121 ()().)()nniiiE XEE XXXnn E111121(), D X2112 X R( 1,) , 例2-4 設(shè)總體 X R( 1,). 證明: 的估計(jì)量X21(), E X12()( )()(),()DDD

7、 XXDnnnX 221112432144進(jìn)而就有即首先是參數(shù)的無偏估計(jì).此外, 又是的一致估計(jì)量.X21()lim(i,)l mnnD n2103 是參數(shù)的一致估計(jì).X21第10頁(yè)/共34頁(yè)退出返回可見, 要確定參數(shù)的準(zhǔn)確值, 必須發(fā)掘已知條件所隱含的其本例無法利用概率分布的歸一性確定的其中, 未知參數(shù)【求解分析】事實(shí)上, 依歸一性, 我們只能得出恒等式準(zhǔn)確值. ( )()|f x dxx dxx11 100111. 1設(shè)X1, X2, Xn 是變量 X 的簡(jiǎn)單隨機(jī)樣本. 試求參數(shù) 的矩估計(jì)量與極大似然估計(jì)量.例1 設(shè)隨機(jī)變量X 的概率密度(),( ),x xf x 1010 其它它有關(guān)信息

8、. 例如, “簡(jiǎn)單隨機(jī)樣本” 有何隱含的意思？“矩估計(jì)量”一詞有何提示？“極大似然估計(jì)量”又有何提示？還有,第11頁(yè)/共34頁(yè) (一般講, 總體數(shù)字特征不是總體原點(diǎn)矩, 就是總體中心矩, 或者可借總體原點(diǎn)矩與中心矩加以表示) 若用表示分布參數(shù),則易知總體的數(shù)字特征(如數(shù)學(xué)期望和方差等)都是總體分布參數(shù)的函數(shù),反過來, 分布參數(shù)也是總體數(shù)字特征的函數(shù).退出返回 1. 矩估計(jì)法做點(diǎn)估計(jì)的基本思路 同時(shí), 只要把計(jì)算點(diǎn)估計(jì)值的求解公式當(dāng)作未知參數(shù)的估計(jì)函數(shù)式, 就可輕松獲得未知參數(shù)的點(diǎn)估計(jì)( 統(tǒng)計(jì))量 , 并稱其為參數(shù)的矩估計(jì)量; 估計(jì)時(shí)最高用到幾階矩, 就說方法是幾階矩估計(jì)法. 因此, 若用樣本原

9、點(diǎn)矩和樣本中心矩的觀測(cè)值去近似總體的原點(diǎn)矩和中心矩, 就可通過解方程而解出含在原點(diǎn)矩和中心矩內(nèi)的總體分布參數(shù)的近似值, 并將其視為總體分布參數(shù)的點(diǎn)估計(jì)值 . 第12頁(yè)/共34頁(yè)總體 k 次方數(shù)學(xué)期望 的別名即總體的 k 階原點(diǎn)矩;總體方差 的別名即總體的二階中心矩. 退出返回 估計(jì)之初就應(yīng)明確總體數(shù)學(xué)期望 的別名即總體X 的一階原點(diǎn)矩,()E X()D X()kE X樣本一階原點(diǎn)矩 即樣本均值( 算術(shù)平均量);niiAXn111但樣本二階中心矩 不是樣本方差.()niiBXXn2211 還應(yīng)提醒自己2. 用矩估計(jì)法進(jìn)行點(diǎn)估計(jì)的ABC總體平方數(shù)學(xué)期望 的別名即總體的二階原點(diǎn)矩,()2E X第13

10、頁(yè)/共34頁(yè)退出返回() .21XX X 的一階原點(diǎn)矩(即數(shù)學(xué)期望)其中, 未知參數(shù)【解】即可得出 的矩估計(jì)值()xf xxE Xd. 0設(shè) X1, X2 , X n 是總體 X 的簡(jiǎn)單隨機(jī)樣本. 試求參數(shù) 的矩估計(jì)量.例3 隨機(jī)變量 X 的概率密度1, 01( )0,xxf x其它從而 的矩估計(jì)量即是()xE X1() .xx21xdx10|x1 1011 只要令樣本一階原點(diǎn)矩 的觀察值 與之相等, 即令xXA1第14頁(yè)/共34頁(yè) 求總體含有未知參數(shù)的數(shù)學(xué)期望和方差等數(shù)字特征 g () . 并能正確地用總體的一階原點(diǎn)矩和二階中心矩等術(shù)語解讀它們退出返回3. 用矩估計(jì)法進(jìn)行點(diǎn)估計(jì)的一般步驟 將

11、矩估計(jì)值計(jì)算式 中表示矩估計(jì)值與樣本矩觀測(cè)值的小寫字母分別改寫成大寫字母, 即得未知參數(shù)的矩估計(jì)量( )1xg() .1 gX 作為參數(shù)的矩估計(jì)值 . 令樣本一階原點(diǎn)矩 的觀測(cè)值 ( 或樣本二階中心矩 的觀測(cè)值 )近似地等于總體的一階原點(diǎn)矩(或二階中心矩) , 即令)() (x ggs211 或或Xx 2S2s()( )XxEg再將反解出的()( ) 2D X sg 或 或 第15頁(yè)/共34頁(yè) 總體均值即總體的一階原點(diǎn)矩 A1 , 故其矩估計(jì)值為樣本一階原點(diǎn)矩的觀測(cè)值, 即退出返回觀測(cè)值.解此外, 總體樣本方差 S2 的觀測(cè)值為()iisxx8221181()iibxx8222118().ii

12、iixxx881111741007474 0028800.514 8 108 總體方差是總體的二階中心矩 B2 , 故其矩估計(jì)值為樣本二階中心矩的觀測(cè)值, 即.66 010.66 8610.514 8 107試求總體均值、總體方差2 的矩估計(jì)值與樣本方差S2 的74.001, 74.005, 74.003, 74.001, 74.000, 73.998, 74.006, 74.002 例4 隨機(jī)抽取8只活塞環(huán), 測(cè)出的直徑依次為:第16頁(yè)/共34頁(yè) 在隨機(jī)世界里, 發(fā)生概率最大的事件實(shí)際出現(xiàn)的可能性最大. 由于用抽樣算得的事件概率L () 是參數(shù)的函數(shù),因而不同參數(shù)值以樣本為依據(jù)所算出的事件概

13、率必然會(huì)有大有小. 因此, 最可能的參數(shù)值應(yīng)是使似然函數(shù)L () 取最大的值. 退出返回 ( 事件發(fā)生概率表現(xiàn)為參數(shù) 的函數(shù)L () 時(shí), 該函數(shù)通常稱為樣本的似然函數(shù).使似然函數(shù)L () 取最大值的點(diǎn) 稱為參數(shù) 的極大或最大似然點(diǎn).用極大似然點(diǎn) 作為待估參數(shù)點(diǎn)估計(jì)值的方法稱為極大似然估計(jì)法 )1. 用極大似然估計(jì)法做點(diǎn)估計(jì)的基本思路 若用表示分布參數(shù),則顯然總體的分布律或者概率密度中必含有參數(shù), 從而以其為基本工具所算出的事件發(fā)生概率, 也勢(shì)必是 的函數(shù) L ().第17頁(yè)/共34頁(yè)退出返回 當(dāng)總體的分布律是 時(shí), 其點(diǎn)估計(jì)的樣本似然函數(shù)之形態(tài)也必為其對(duì)數(shù)似然函數(shù)的形態(tài)則為ln(l( ),

14、)n1niif xL( ),(; )niinnLP Xx XxXf xx12211( ; )P Xxf x.1. 用極大似然估計(jì)法做點(diǎn)估計(jì)的基本思路 當(dāng)總體的概率密度是 時(shí), 其點(diǎn)估計(jì)的樣本似然函數(shù)之形態(tài)必為其對(duì)數(shù)似然函數(shù)的形態(tài)則為ln(l( ); )nniif xL1(;)niif xL1( ; )f x.第18頁(yè)/共34頁(yè)若似然函數(shù)無駐點(diǎn)，則只能直接對(duì)其求極、最值 依似然函數(shù)的復(fù)雜程度, 決定是否應(yīng)并實(shí)際對(duì)其取自然對(duì)數(shù), 得出對(duì)數(shù)似然函數(shù)ln(l( ), )n1niif xL,()1niixLf 根據(jù)總體的分布律或概率密度構(gòu)造似然函數(shù) 2. 用極大似然估計(jì)法進(jìn)行點(diǎn)估計(jì)的一般步驟 將極大似然

15、估計(jì)值計(jì)算式 中表示估計(jì)值與樣本觀測(cè)值的小寫字母分別改寫成大寫字母, 即得未知參數(shù)的極大似然估計(jì)量 ),(,nxxgx12),(,nXXgX12退出返回 求似然函數(shù)或?qū)?shù)似然函數(shù)的駐點(diǎn), 即令導(dǎo)數(shù) 或 . 其解即 的極大似然點(diǎn)或極大似然估計(jì)值 .ln( )0dLd( )dLd 0注意：此步驟僅為對(duì)大多數(shù)情況適用的一般步驟第19頁(yè)/共34頁(yè)退出返回其中, 未知參數(shù). 0設(shè)X1, X2, Xn 是總體 X 的簡(jiǎn)單隨機(jī)樣本. 試求參數(shù) 的極大似然估計(jì)量.例5 隨機(jī)變量 X 的概率密度1, 01( )0,xxf x 其它因?yàn)樗迫缓瘮?shù)【解】所以只要令,()1niixLfln( )lnniidnLxd11

16、220對(duì)數(shù)似然函數(shù)ln( )ln()lnniinLx112() ()nniix11(ln)niinX 221進(jìn)而可知極大似然估計(jì)量(ln)niinx221即立得極大似然估計(jì)值第20頁(yè)/共34頁(yè)例6 總體 X R ( 0, ), 其中, 未知參數(shù) 設(shè)X1, X2 ,退出返回【解】. 0, X n 是總體的簡(jiǎn)單隨機(jī)樣本. 求參數(shù)的極大似然估計(jì)量.總體X 的概率密度顯然為1, 0( )0 ,xf x其它其最值只能在其定義區(qū)間上取得.,()1niixLf0Mx又因?yàn)榇撕瘮?shù)為單調(diào)函數(shù), 所以max,Mnx xxx12( )nn11因?yàn)樗迫缓瘮?shù)12( 0, )nx xx則必同時(shí)有下二式成立記MX 進(jìn)而可知

17、極大似然估計(jì)量Mx可見, 其極大似然估計(jì)值應(yīng)為max,Mnx xxx12max,MnX XXX12120, ,nx xx第21頁(yè)/共34頁(yè)1,0( ), 00 ,xexf x其它退出返回.8118iiXX X 的一階原點(diǎn)矩即數(shù)學(xué)期望0.01, 0.06, 0.02 . 試計(jì)算 的矩估計(jì)值與極大似然估計(jì)值.【解】即可得出 的矩估計(jì)值()xf xxE XdX1, X2 , X 8 是來自總體 X 的樣本. 試求參數(shù) 的矩估計(jì)量與極大似然估計(jì)量. 若抽取的樣本值為0.02, 0.05, 0.03, 0.02, 0.03,例7 已知總體 X 的概率密度為從而 的矩估計(jì)量即是()8118iiE Xxx.

18、8110 038iixx 0 xxedx()|0 xxe 取樣本一階原點(diǎn)矩 的觀察值 為之近似值, 即令x81118iiAXX第22頁(yè)/共34頁(yè)1,0( ), 00 ,xexf x其它退出返回0.02, 0.06, 0.02 . 試計(jì)算 的矩估計(jì)值與極大似然估計(jì)值.X1, X2 , X 8 是來自總體 X 的樣本. 試求參數(shù) 的矩估計(jì)量與極大似然估計(jì)量. 若抽取的樣本值為0.01, 0.05, 0.03, 0.02, 0.03,例7 已知總體 X 的概率密度為因?yàn)樗迫缓瘮?shù)【解】所以只要令;()(81iixLfln( )821801iidLxd對(duì)數(shù)似然函數(shù)ln( )ln8118iiLx( )81

19、181iixe.8118iiXX 進(jìn)而可知極大似然估計(jì)量.8110 038iixx 即立得極大似然估計(jì)值第23頁(yè)/共34頁(yè)為什么 總是總體均值的無偏估計(jì); 問三系數(shù) 分別記三者的樣本均值. 說明任意三系數(shù)a, b, c 滿足 時(shí), 例8 從總體 X 中抽得容量為n1, n2 , n3 的三樣本. 以而()123 E abcX XX, 退出返回 解始終是總體均值的無偏估計(jì). 1abc()123 E abXXXc()()()()123aEbEcEaXcXXb,1abc 123YabXXXc,123XXXa, b, c 各為多大時(shí), 可使方差 的值最小? ( )D Y(),(),2E X D X 令

20、則()(), ,2111 2 3iiiD XD X inn123YabXXXc即()(),iE XE X 第24頁(yè)/共34頁(yè),2123nbnnn為什么 總是總體均值的無偏估計(jì); 問三系數(shù) 分別記三者的樣本均值. 說明任意三系數(shù)a, b, c 滿足 時(shí), 例8 從總體 X 中抽得容量為n1, n2 , n3 的三樣本. 以于是，依Lagrange乘數(shù)法，令退出返回,1123nannn則由 1abc的值最小，只須使三元函數(shù) 取最小值. ( , , )322221nabcf a b cnn120 ,aanF ( , , ; )( , , )() 1F a b cf a b cabc123YabXXX

21、c,123XXXa, b, c 各為多大時(shí), 可使方差 的值最小? ( )D Y()( )()().122221233abcD YD abXXXD Xn nnc另外，要( )D Y123nnabnc即可解出 解220 ,bnbF 320cncF 10Fabc 3123ncnnn第25頁(yè)/共34頁(yè)第26頁(yè)/共34頁(yè)第27頁(yè)/共34頁(yè)課外書面練習(xí)課外書面練習(xí)退出返回概率統(tǒng)計(jì)練習(xí)冊(cè)P37, P38 P37: 1. (點(diǎn)估計(jì)，點(diǎn)估計(jì)量與點(diǎn)估計(jì)值的概念) 2. (指出矩估計(jì)與極大似然估計(jì)的基本步驟) 3. (指出總體均值與總體方差的矩估計(jì)量) 4. (指出均勻總體與正態(tài)總體未知參數(shù)的矩估計(jì)量) 5. (指出總體方差兩種不同估計(jì)的有偏與無偏性) 6. (指出正態(tài)總體均值的無偏估計(jì)量)第28頁(yè)/共34頁(yè)課外書面練習(xí)課外書面練習(xí)退出返回概率統(tǒng)計(jì)練習(xí)冊(cè) P37: 7. (求統(tǒng)計(jì)值-矩估計(jì)值與樣本方差的觀測(cè)值) P38: 8. (求總體分布參數(shù)的矩估計(jì)與極大似然估計(jì)) 9. (求泊松總體分布參數(shù)的矩估計(jì)與極大似然估計(jì))第29頁(yè)/共34頁(yè)2. 樣本, 總體, L () , 點(diǎn)估計(jì)值;9.3.參考答案參考答案4. 矩估計(jì)量2 , , 2 ;XXB2 ,