高等數(shù)理統(tǒng)計 點估計

1、2 抽樣分布、參數(shù)估計、假設(shè)檢驗抽樣分布、參數(shù)估計、假設(shè)檢驗統(tǒng)計推斷=n討論討論n講授講授 第一節(jié)第一節(jié) 參數(shù)估計的概念、估計量的優(yōu)良標準參數(shù)估計的概念、估計量的優(yōu)良標準11 參數(shù)估計是統(tǒng)計推斷的基本問題之一。在一些實際問題中，參數(shù)估計是統(tǒng)計推斷的基本問題之一。在一些實際問題中， 研究對象的總體分布類型可以從理論或?qū)嶋H經(jīng)驗得到，但總體研究對象的總體分布類型可以從理論或?qū)嶋H經(jīng)驗得到，但總體X 的參數(shù)的參數(shù)未知，需利用樣本提供的信息，對未知參數(shù)作出估計，未知，需利用樣本提供的信息，對未知參數(shù)作出估計， 其分布才能完全確定；在另外一些問題中，我們并不關(guān)心總體的其分布才能完全確定；在另外一些問題中，我

2、們并不關(guān)心總體的 分布類型，僅關(guān)心總體的某些數(shù)字特征，對數(shù)字特征的估計也稱分布類型，僅關(guān)心總體的某些數(shù)字特征，對數(shù)字特征的估計也稱 參數(shù)估計。參數(shù)估計。2.1 參數(shù)估計與優(yōu)良性2.1.1 參數(shù)估計定義12 參數(shù)估計的形式參數(shù)估計的形式： 121212,(,)( ,)nnnXXXXXXx xx點估計：設(shè) 為未知參數(shù)，由樣本構(gòu)造一個統(tǒng)計量，用 估計 ，稱 為 的點估計量，代入樣本觀察值，稱為 的點估計值。LULULU區(qū)間估計：根據(jù)樣本構(gòu)造兩個統(tǒng)計量 與 ，且，以區(qū)間的形式給出總體未知參數(shù) 的估計，事件“區(qū)間 ，含有 ”的概率稱為置信水平。13 2.1.2 點估計優(yōu)劣的評價標準點估計優(yōu)劣的評價標準

3、一個未知參數(shù)的點估計量可以有多個，哪個更佳？需有評一個未知參數(shù)的點估計量可以有多個，哪個更佳？需有評價其優(yōu)劣的標準。常用準則有：價其優(yōu)劣的標準。常用準則有： I. 無偏性無偏性16 1212111,1,2,1()()1()1nkkknkknkkiinkiinkkiX XXkAkEXX XXEXinE AEXnE Xnn 設(shè)是來自總體X的隨機樣本，則樣本的 階原點矩 是總體 階原點矩的無偏估計量。解：由于和總體X獨立同分布，有故例117 2122121121211122,( ,)()() ,(),()nniiiniiiniiXXXNkQkXXE kXXXXXE XD X 設(shè)是來自正態(tài)總體的隨機樣

4、本，試選擇適當(dāng)?shù)某?shù) ，使為的無偏估計量。解：根據(jù)題意，只需求出滿足的常數(shù)即可。由于之間相互獨立，且例2有：18 2122222()(),nnE XVar XXXXSS 設(shè)總體具有二階矩，是來自總體X的隨機樣本，則是總體的無偏估計，但不是總體的例3無偏估計量。22212212212221212)(1-n1)()(1-n1)()(2)(1-n1 )()(2)(1-n1)()(1-n1)(1-n1nnnXnEXEXnXnXEXXXXEXXEXXESEniiniiniiiniinii）（證：22S即是總體的無偏估計。19 222n12222n2222222211()n111)()()lim()nii

5、nnnnnnSXXSnnnnE SESE SnnnSSnE SS 由于：故（即不是總體的無偏估計量。對而言，盡管它不是總體的無偏估計量，但當(dāng)時，有即是總體的漸近無偏估計量。20 ( )( )gg注：如果是 的無偏估計量，但通常不是的無偏估計量。22( )SSE SS例如： 是總體的無偏估計量，但用 作為總體標準差的點估計，可以證明即 不是總體標準差的無偏估計量。2222222()()()XE XVar XE XnX又例如，樣本均值是總體均值 的無偏估計，但即也不是的無偏估計量。關(guān)于無偏估計的幾點注記：（1）無偏估計不一定存在（2）對可估參數(shù)，無偏估計一般不唯一。（3）無偏估計不一定是好估計II

6、. 有效性26 一個未知參數(shù)可能有不同的無偏估計量，這些無偏估計量中一個未知參數(shù)可能有不同的無偏估計量，這些無偏估計量中 哪個更好？直觀的想法是希望無偏估計量圍繞真值的波動越小越哪個更好？直觀的想法是希望無偏估計量圍繞真值的波動越小越 好，即估計量的方差越小越好。好，即估計量的方差越小越好。27 12122111,1()()()2()()niXXXE XXXXnVar XnVar XnVar XVar XXX 設(shè)是來自總體X的隨機樣本，且，則、都是 的無偏估計量，但故當(dāng)時，則稱 比例4有效。28 2121122121121222221212222,( ,)211133222141()()()(

7、)33994159991111()()()()2244111442X XNXXXXVarVarXXVar XVar XVarVarXXVar XVar XVar 設(shè)是來自正態(tài)總體的隨機樣本，指出兩個總體均值 的無偏估計量和哪個更有效。解：由于例51221()()Var，故 比 更有效。29 12312(13)(13)0, 0),41max,4 min32iiiiXXXXXX 設(shè)總體X服從上的均勻分布， 未知（是來自的隨機樣本（ ）試證都是 的無偏估計；（ ）上述哪個無偏估計量例6更有效？(13)32()0( )01max0()()( ; )30iiYYF XXxxF xxxYXFXF Xxxx

8、 證明：（1）設(shè)為的分布函數(shù)，則令，則X的分布函數(shù)、分布密度函數(shù)分別為其它（）30 330(13)(13)322233300(13)1(133x44(max)3min0()1 1()( ; )30331x( -x)(x-2 xx )4(4 min)4max3iiiiZZiiiE YdxEXZXFXF XxxxE ZdxdxEX 所以（ ）令，則X的分布函數(shù)、分布密度函數(shù)分別為其它（）所以（ ）即2(13)3),4 miniiiXX 都是 的無偏估計。III. 均方誤差準則32 33 22222)()()()()( 2)()()()(EEVarEEEEEEEEEE22( )0()( )E EEV

9、ar特別地：如果 是總體參數(shù) 的無偏估計量，則，有均方誤差越小，則估計量 的誤差平均也較小，因而也越優(yōu)。34 35 2222222221222222222224242244221()()1(1)112()1112()()()111242()11(1)12211niiEEXXnnSEnnESnnnVar Snnnnnnnnn而是總體方差的有偏估計量，其均方誤差為由于，故在均方誤差的意義下，有偏估計量比無偏21估計量更優(yōu)。IV 相合性（一致性）37 38 例例8 為估計一批產(chǎn)品的廢品率為估計一批產(chǎn)品的廢品率p，隨機抽取一樣本，隨機抽取一樣本X1,X2,Xn, 其中：其中：0i1,2,n1iX取得合

10、格品取得廢品11niipXXpn則是 的無偏、一致估計量。1111()()(1)111( )( )()()1iinnniiiiiniiE XpVar XppE pE XEXE XppnnnpXXpn解：由題設(shè)條件，易知即故是 的無偏估計量。39 nppnpnpXVarnXnVarXVarpVarniinii)1 ()1 ()(1)1()() (2121由切比雪夫不等式，對任意的由切比雪夫不等式，對任意的 ，有，有 0nppXVarpXPppP)1 (1)(1220)1 (1limlim2nppppPnn11niipXXpn故是 的相合估計（一致估計量）。40 2121112211222,111

11、()()()11()()()1()limnniinniiiinniiiinXXXXXnE XEXE XnnVar XVarXVar XnnnPXVar XnPX 設(shè) 總 體 X的 均 值， 方 差都 存 在 ，是 來 自 X的 隨 機 樣 本 ， 試 證是的 相 合 估 計 （ 一致 估 計 ） 。證 ： 由 于由 切 比 雪 夫 不 等 式 ， 對 任 意 的例09， 有221lim01nniinXXn 故是的 相 合 估 計 （ 一 致 估 計 ） 。 相合性反映了當(dāng)n趨于無窮大時估計量的性質(zhì)，而對任意有限的n,相合性是沒有意義的。相合性本身不能說明為使估計量達到一定精度n至少為多少。V

12、淅近正態(tài)性定義2.5 (p.87)定理2.1: (p.86)第二節(jié) 信息不等式知識點：1、Fisher信息量2、Fisher信息不等式1、Fisher信息量定義2.8 設(shè)統(tǒng)計結(jié)構(gòu) 可控，是Rk的子集合，假如定義在 上取值于 的隨機向量(,)P (,) (,)kkRR1ln( )ln( )(),kpxpxSX滿足（1） 對一切 有定義； （2） ；（3） 模平方可各，即 ，()0,E SX ()SX2()ESX()SX則把 的協(xié)差陣()SX( )()()()IVar SXESX SX稱為該統(tǒng)計結(jié)構(gòu)的Fisher信息矩陣，簡稱Fisher信息,k=1時 常稱為Fisher信息量 I例2.15 求泊

13、松分布族的Fisher信息量ln( )( )1pxxSx21( )( )var()XIE S X例2.16 求正態(tài)分布族的Fisher信息矩陣2242()1( ),22xxS X2*2( )()()ijIVar SXI其中11221()xIVar22244()1()22xIVar212242()1022xxIE1( ()( ),Var T XI 思考題2、誕生了一種統(tǒng)計實驗方法Monto Carlo方法dlxMxd/20,02dx （， x):0,0,0sin22dlxxA（ ，x):00sin()2()()2ldAmAlPAdmd的 度 量2的 度 量2( )2nnlP Andlnd從而，n

14、nnMontoMonto CarloCarlo方法方法第三節(jié)第三節(jié) 幾種點估計的方法與應(yīng)用幾種點估計的方法與應(yīng)用知識點1、矩估計法2、極大似然估計法3、最小二乘估計法4、同變估計法5、穩(wěn)健估計法一、矩法估計基本思想樣本矩去替換總體矩60 矩法估計的基本步驟矩法估計的基本步驟121211122211,1(,)()(,)()(,)()kkkkkkkkXkkgE XgE XgE X 若總體 的分布函數(shù)中含有 個未知參數(shù)，且分布的 階矩存在，它們都是的函數(shù)，其估計步驟為：、先求出61 11k()k1()1()kkkniinkkiiAXE XE XXnE XXn2、用樣本矩去估計總體的 階原點，得 個方

15、程13,k、解方程組，稱為總體參數(shù)的矩法估計。62 12122222222,( , ),()2()()()2()()()123,3nnnXXXU a ba babE XE XE XE XabXbaXE XaXSa bbXS 設(shè)是來自均勻分布的一個樣本，求的矩法估計。解：由于均勻分布的一、二階原點矩分別為即用樣本矩代替總體矩解方程組得的矩法估例1計為：63 例例2 設(shè)設(shè) 是來自某總體的樣本，且是來自某總體的樣本，且均值均值 和和方差方差 存在。求總體的均值和方差的矩估計存在。求總體的均值和方差的矩估計。 nXXX,212niiXnXE11)( 所以22niiXnXE1221)( 所以)( XE因

16、為222)( XE又因為niiniiXnXn1222111解方程組，得解方程組，得XXnnii11 222221111 ()nniiniiXXXXSnn討論矩法的優(yōu)劣二、極大似然法基本思想？67 先看下例，以便了解極大似然估計法的基本思想。先看下例，以便了解極大似然估計法的基本思想。 例例 1 甲廠收到供貨商提供的一批貨物，根據(jù)以往的經(jīng)驗知該甲廠收到供貨商提供的一批貨物，根據(jù)以往的經(jīng)驗知該 供貨商的產(chǎn)品次品率為供貨商的產(chǎn)品次品率為10%，而供貨商聲稱次品率僅有，而供貨商聲稱次品率僅有5%。若隨。若隨 機抽出機抽出10件檢驗，結(jié)果有件檢驗，結(jié)果有4件次品。購貨方應(yīng)該如何做決策（即判件次品。購貨方

17、應(yīng)該如何做決策（即判 斷次品率究竟為斷次品率究竟為10%，還是，還是5%）？）？ 分析：記次品數(shù)為分析：記次品數(shù)為X ，則，則X服從二項分布。服從二項分布。 若若p=0.05，則，則10件中有件中有4件次品的概率為：件次品的概率為：001. 095. 005. 0)4(64410CXP若若p=0.1，則，則10件中有件中有4件次品的概率為：件次品的概率為：0112. 09 . 01 . 0)4(64410CXP68 計算的結(jié)果表明，在次品為計算的結(jié)果表明，在次品為0.1時，時，10件產(chǎn)品中有件產(chǎn)品中有4件次品的概件次品的概 率大，這說明該批產(chǎn)品次品率為率大，這說明該批產(chǎn)品次品率為0.1的可能性

18、大的可能性大（樣本來源于總體，樣（樣本來源于總體，樣本能很好反映總體的特征）本能很好反映總體的特征）。 基本思想基本思想：設(shè)總體：設(shè)總體X的分布函數(shù)已知，但參數(shù)的分布函數(shù)已知，但參數(shù)未知，它可以未知，它可以 取很多值，我們要在參數(shù)取很多值，我們要在參數(shù)的一切可能取值中選出一個使樣本觀察的一切可能取值中選出一個使樣本觀察 值出現(xiàn)的概率為最大的值出現(xiàn)的概率為最大的 作為參數(shù)作為參數(shù)的估計，并稱的估計，并稱 為為的極大似的極大似 然估計。然估計。 69 求極大似然估計的方法求極大似然估計的方法 1、可通過求導(dǎo)獲得極大似然估計的情況、可通過求導(dǎo)獲得極大似然估計的情況121112( )( ,)lnlnl

19、n()0ln( )0ln()0,mmmmLLLxLLdLdL 求或的最大值可通過求導(dǎo)獲得，由于是 的單調(diào)遞增函數(shù)，與L有相同的極大值點，一般可通過解以下方程或來得到參數(shù) 或的極大似然函數(shù)。70 12121111,( )(1)2( )ln ( )ln(1)ln(1)ln(1)lnln(1)iinnnxxiniiiniipXXXXx xxpL pppL pL pxpxpnpxpp 0-1分布的未知參數(shù)為 ,從總體 中抽取隨機樣本，其樣本觀察值為，求 的極大似然估計。解：（1）寫出似然函數(shù)（ ）對取對數(shù)，得對數(shù)似然函2數(shù)例71 111221ln ( )ln ( )11()11101(1)141ln

20、( )50niiniiniiniiL ppdL pnxdppppnxppppxxndL ppxxpxndppxp（3）將對 求導(dǎo)數(shù)，令其為零，得似然方程（ ）解似然方程，得（）在時，則可以使似然函數(shù)達到極大，即是 的極大似然估計。72 222221212()()2222212222122,( ,),1( ,)(2)21ln ( ,)ln(2)()22ln ( ,),iinnxxnniniiXXXNx xxLeenLxL 設(shè)是來自正態(tài)總體的隨機樣本，均值和方差存在，求總體均值和方差的極大似然估計。解：樣本似然函數(shù)為對數(shù)似然函數(shù)為將分別對求偏導(dǎo)數(shù)，例3令其為零，得似然方程。73 221222241

21、22222ln ( ,)1()0ln ( ,)1()0221,()1,()niiniiiinLxLnxxxxnXXXSn 解似然方程，得極大似然估計值極大似然估計量為74 *不能通過求導(dǎo)獲得極大似然估計的情況不能通過求導(dǎo)獲得極大似然估計的情況 當(dāng)似然函數(shù)的非零區(qū)域與未知參數(shù)有關(guān)時，通常無法通過解似當(dāng)似然函數(shù)的非零區(qū)域與未知參數(shù)有關(guān)時，通常無法通過解似然方程求極大似然估計值，此時可從定義出發(fā)直接求然方程求極大似然估計值，此時可從定義出發(fā)直接求L()的極大值的極大值點。點。121212,b(ba)1( ; , )0,nnna bXXXx xxaaxbp x a bbax xx 設(shè)總體X服從上的均勻

22、分布，是來自總體的隨機樣本，其樣本觀察值為，求未知參數(shù) 和的極大似然估計。解：總體X的密度函數(shù)例為其它樣本4似然函數(shù)為75 nn 1n 112121( , )0ln( , )n0ln( , )n0( , )( , ),min(,)max(nnaxbL a bbaL a baxbabaL a bbbaabL a bL a bbaabaxxxbaxxxb （）其它因為由似然方程組（）其它（）求不出 、 ，可以根據(jù)定義確定的極大值點，由的表達式看，只需盡量小，即 要盡量大，要盡量小，且。故12,)bnxxxa是未知參數(shù) 、 的極大似然估計。76 極大似然估計的不變原則極大似然估計的不變原則( )(

23、)( )ggg設(shè) 是總體參數(shù) 的極大似然估計，是 的連續(xù)函數(shù)，則的極大似然估計為定理。 例例5 設(shè)某元件失效時間設(shè)某元件失效時間X服從參數(shù)為服從參數(shù)為的指數(shù)分布，其密度函的指數(shù)分布，其密度函 數(shù)為數(shù)為0( ; )000 xexp xx今從總體中抽取容量為今從總體中抽取容量為10的樣本，得樣本觀察值：的樣本，得樣本觀察值：1050 1100 1080 1200 1300 1250 1340 1360 1150 1150（2）求平均壽命）求平均壽命E（X）的極大似然估計量。）的極大似然估計量。（1）由上述樣本觀察值，求）由上述樣本觀察值，求的極大似然估計值；的極大似然估計值；77 12121111

24、,( )( ; )0( )ln( )lnln( )ln( )0nnnxxxiinniiiniiniix xxLP xeeeexxLLnxLdLnxd解：（1）樣本的似然函數(shù)為對取對數(shù)，得對數(shù)似然函數(shù)將對 求導(dǎo)數(shù)，令其為零，得似然方程78 11111111681111/11680.0008612111()1()1()niiniiniixxnxxxnXXnXE XE XE XX解似然方程，得由樣本觀察值得，故是 的極大似然估計。（ ）參數(shù) 的極大似然估計為：平均壽命即為 的數(shù)學(xué)期望，在指數(shù)分布場合，它是參數(shù) 的函數(shù)，則的極大似然估計為：三、最小二乘法（LSE)基本思想在線性模型( ),如果2,nY

25、 XI ()()min()()YXYXYXYX其中 為的最小二乘估計（LSE）估計令()() ()Q BYXYX計算LSE就等價于求Q()的最小值利用矩陣求導(dǎo)Y XX Y2X XX X所以可得到( )22QX YX X 令上式等于0，即得到X XX Y可得到1()LSX XX Y關(guān)于最小二乘估計量 的幾點注記LS注記1. 若E(Y)=X,則 是的無偏估計LS注記2.若E(Y)=X, ,X為列滿秩陣，則 的協(xié)方差陣為2( )nVar YILS21()X X12001(,)()nniip x xxp x111(,)(, )(,| ) ( )nnnm xxh xxdp xxd 11111( , )( ,| ) ( )( |,)( ,)( ,| ) ( )nnnnnh xxp xxxxm xxp xxd 后驗分布( x1, x2 , , xn )的計算公式就是用密度函數(shù)表示的貝葉斯公式。它是用總體和樣本對先驗分布()作調(diào)整的結(jié)果，貝葉斯統(tǒng)計的一切推斷都基于后驗分布進行。 B(| )(1),0,1,xn xnP Xxxnx ( , )(1),0,1, ,01xn xnh xxnx(1) (1)(1)(2)xnxnxnxdxn (1) 1(1) 1( , )(2)( | )(1),01( )(1)