北京大學(xué)經(jīng)濟(jì)學(xué)院2極大似然估計(jì)

1、第二章極大似然估計(jì)（MLE ）第0節(jié)基礎(chǔ)知識(shí)回顧：OLS.例子假設(shè)一個(gè)基金白投資組合（基金XXX ）的超額回報(bào)和股市指數(shù)的超額回報(bào)，有如下的數(shù)據(jù) ：Year,tExcess returnExcess return on market index=rXXX,t -ft=rmt - rft117.813.7239.023.2312.86.9424.216.8517.212.3直覺(jué)上，該基金的beta（ beta測(cè)量股票對(duì)股市指數(shù)的反應(yīng)）應(yīng)該 是一個(gè)正數(shù)，我們希望證實(shí)這種關(guān)系。畫(huà)這2個(gè)變量的散點(diǎn)圖：45xxxd nur no nTHFAr ssecx4035302520151050051015202

2、5Excess return on market portfolio對(duì)于一條直線，可以用以下的方程，來(lái)擬合數(shù)據(jù)。y=a+bx 不過(guò)這個(gè)方程（y=a+bx）是完全確定的，與實(shí)際情況不符合。要 在這個(gè)方程里加入一個(gè)撓動(dòng)項(xiàng)。yt =+ xt + ut式中 t = 1,2,3,4,5用直線來(lái)擬合數(shù)據(jù)最常用的方法是普通最小二乘法 （ordinary least squares , OLS）：取每個(gè)數(shù)據(jù)點(diǎn)到擬合直線的垂5直距離，選擇參數(shù)、，使得平方距離u?2最小化（leastt 1squares%撓動(dòng)項(xiàng)能夠反映數(shù)據(jù)的一些特征：我們經(jīng)常會(huì)忽略一些影響yt的因素，不可能把影響yt的所有的的隨機(jī)因素都在模型中考

3、慮。 5L?2t 1l（yt?t）2（yt?xt）2i求解兩個(gè)參數(shù):2 (yt t2%(yt ?%)0t這就是OLS。整理得到:xyt Txy22xt Txand? y ?x在上例中，把數(shù)據(jù)代入公式得:?t1.74 1.64xt根據(jù)這個(gè)結(jié)果，如果預(yù)期下一年的市場(chǎng)回報(bào)將會(huì)比無(wú)風(fēng)險(xiǎn)回報(bào) 高20%,那么你預(yù)期基金 XXX的回報(bào)將會(huì)是多少？?i1.74 1.64 20 31.06二.概念：線性和非線性運(yùn)用OLS,要求模型對(duì)參數(shù)（和）是線性的。“對(duì)參數(shù)線性”意味著參數(shù)之間不能乘、除、平方或 n次方等。在實(shí)際中變量之間的關(guān)系很有可能不是線性的。某些非線性的模型可以通過(guò)變換轉(zhuǎn)化為線性模型，例如指數(shù)回歸模型：

4、Y e Xt eut ln Ytln Xt ut令 yt= ln Yt 及 xt=ln Xtytxt Ut但是，很多模型從本質(zhì)上講是非線性的，例如：ytxtut三.OLS的優(yōu)良性質(zhì)在OLS回歸模型中，對(duì)ut （不可觀測(cè)的誤差項(xiàng)作如下假設(shè) ） 作如下架設(shè)：解釋1. E(ut) = 02. Var (ut) = 23. Cov (ui,uj)=04. Cov (ut,xt)=0誤差項(xiàng)的均值為零 誤差項(xiàng)的方差是常數(shù)誤差項(xiàng)相互獨(dú)立的誤差項(xiàng)和解釋變量不相關(guān)以上假設(shè)成立時(shí)，OLS有如下三個(gè)良好性質(zhì)。致性最小二乘估計(jì)是一致的。這意味著，當(dāng)樣本數(shù)趨向于無(wú)窮大時(shí)，估計(jì)值將收斂于它們的真實(shí)值（需要假設(shè)E（xtut

5、）=0和)Var(ut尸 2 <無(wú)偏性最小二乘估計(jì)式是無(wú)偏的，意味著估計(jì)值的期望等于真實(shí)值.E( ?尸 and E( ?尸為了保持無(wú)偏性需要假設(shè)E(ut)=0和Cov (Ui,Uj)=0。無(wú)偏性比一致性更強(qiáng)。有效性在所有的線性無(wú)偏的估計(jì)式中，OLS估計(jì)式的方差是最小四.統(tǒng)計(jì)推斷用標(biāo)準(zhǔn)誤差來(lái)度量參數(shù)估計(jì)值的可靠程度。在假設(shè)1 - 4成立的條件下，估計(jì)值的標(biāo)準(zhǔn)誤差可以寫成-2SE(?),丁-產(chǎn)T(Xt x)SE(?)s (Xtx)其中s是殘差正的標(biāo)準(zhǔn)誤差。假設(shè) ut N(0, 2),則OLS統(tǒng)計(jì)量服從正態(tài)分布: ? N( , Var()N( , Var()如果撓動(dòng)項(xiàng)不服從正態(tài)分布，最小二乘的

6、估計(jì)式還是正態(tài)分布 嗎？樣本數(shù)足夠大時(shí)，答案是：是的。從估計(jì)式？和？構(gòu)造標(biāo)準(zhǔn)正態(tài)分布:N 0,1 varN 0,1 var但是，由于不知道 var()和 代。var(),我們用下面的分布加以替 tTSE(?)2 tT 2SE(?)t分布和標(biāo)準(zhǔn)正態(tài)分布之很相似。這2種分布都是對(duì)稱的，并 且均值都為零。t分布多了一個(gè)參數(shù)：自由度(樣本總觀測(cè)數(shù)-2)。當(dāng)一個(gè)t分布的自由度是無(wú)窮大時(shí)，它等于標(biāo)準(zhǔn)正態(tài)分布。用置信區(qū)間進(jìn)行假設(shè)檢驗(yàn)在顯著性檢驗(yàn)中，下面的情況下接受零假設(shè)Ho：統(tǒng)計(jì)量落在非拒絕域內(nèi),一 $* 一 .tcrit ? SE( $) ? tcrit如果我們能夠以 5% （或者10%）的置信水平拒絕某

7、個(gè)檢驗(yàn)的零 假設(shè)，則稱這個(gè)檢驗(yàn)在統(tǒng)計(jì)上是顯著的.在這個(gè)過(guò)程中，我們可能會(huì)犯 2種錯(cuò)誤：1.當(dāng)H0是正確的時(shí)候，我們拒絕了它，第一類錯(cuò)誤2.當(dāng)Ho是錯(cuò)誤的時(shí)候，我們沒(méi)有拒絕它，第二類錯(cuò)誤RealityH0 is trueH0 is falseResult ofSignificant (reject H 0)Type I errorTestInsignificantType II error(do not reject H 0)=犯第一類錯(cuò)誤的概率是.回憶顯著性水平的含義：當(dāng)零假設(shè)是真的情況下，統(tǒng)計(jì)量落在拒絕域內(nèi)的概率只有。但第二類錯(cuò)誤的概率常常不能確定。一般而言，當(dāng)我們降低第 一類錯(cuò)誤概率的同時(shí)

8、也提高了第二類錯(cuò)誤的概率。第一節(jié)引言考慮ARMA模型：Y ClY 12丫 2 pY p t 1 t 1 q t q（1）其中tWN0, 2 。前面我們假定知道總體參數(shù)c, 1,., p, 1,., q, 2 ,此時(shí)利用過(guò)程（1）進(jìn)行預(yù)測(cè)。本章我們要研究在僅能觀測(cè)到序列Y的情況下，如何估計(jì)2C, 1,., p, 1,., q,。估計(jì)萬(wàn)法為極大似然估計(jì)。令0 C,1,., p, 1 ,., q ,表示總體參數(shù)向量。假定我們觀察到一個(gè)樣本量為 T的樣本 必，丫2,.,丫丁。寫出樣本的聯(lián)合 概率密度函數(shù):fYT，YT1,.，Y yT,yT1,.,yi 8這是觀察到樣本發(fā)生的概率。使得“概率”最大的 8

9、值就是最 優(yōu)估計(jì)一一這就是極大似然估計(jì)的思想。極大似然估計(jì)需要設(shè)定白噪聲的分布。常常假定t是高斯 白噪聲，則得到的函數(shù)為高斯似然函數(shù)。極大似然估計(jì)的步驟：1）寫出似然函數(shù)（2）。2）利用求極大值方法求使得函數(shù)值最大的8值。第2節(jié)高斯AR 1過(guò)程的似然函數(shù)計(jì)算高斯AR 1過(guò)程似然函數(shù)高斯AR 1過(guò)程的表達(dá)式為Y； c Yt 1 t（3）其中 t iidN 0, 2。參數(shù)為 9 c, , 2。觀察值Y的均值和方差分別為E 丫 c/ 1 和222一 .E Y1/ 1。因?yàn)?t iidN 0,因此 丫1也是高斯分布。其概率密度函數(shù)為fY1 y1；fY1 y1；c, , 221y1c/ 1（4）exp

10、2.22 / 122 2/ 1對(duì)于第二個(gè)觀察值在觀察到y(tǒng)1條件下的分布。根據(jù)（3）,此時(shí) Y2Yy1 N cy1 , 2 ,其概率密度函數(shù)為&丫1 y2 y1；1exp、22(6)觀察值Y1和Y2的聯(lián)合密度函數(shù)就是（4）和（6）的乘積:fY2,丫 y2,y1；fY2丫1 V2 V1線必；同樣fY3Y2,Yy3 y2, y1；f詢丫2y3 y2；般地,、3,、2, %;2Y3 CY2exp 22fY3Y2 ,Y1y3 y2, y1；fY2,Y1(8)y2,yi；(9)yt yt 1,，Yi；fYYt 1yt yt 1；1exp,22Ytc Yt2 2(10)則前t個(gè)觀察值的聯(lián)合密度為fY

11、Y-.Y yt,yt 1,.,Yi；fYt|Y 1yt yt 1； fY 1,Yyt 1,.，y1；全部樣本似然函數(shù)為fYTYT 1，.Y yT , yT 1,，y1；y1;TfY|Yt 12yt進(jìn)行對(duì)數(shù)變換，得到對(duì)數(shù)似然函數(shù)lnfY1y1;In2Y1yt將（4）和（10）代入（13）,得到(11)yt 1；(12)yt(13)1ln 21ln 2y1Tytc2yt 1(14)二.似然函數(shù)的矩陣表示觀察值寫成向量形式為:(15)Y1 yi,y2,，yT可以看作是T為高斯分布的單個(gè)實(shí)現(xiàn)。其均值為E Y(16)EM ME *這里 c/ 1。表示成向量形式為：E Y 仙其中以表示（16）的右邊的T

12、1向量。Y的方差協(xié)方差矩陣 為：E Y m Y 然其中2E YE YY22E Y2YE Y>MME YtY E YtY2(17)LEYYtL E 丫2YtE Y-(18)該矩陣中的元素對(duì)應(yīng)于Y的自協(xié)方差。將樣本Y看作由N分布的一個(gè)抽樣,似然值可根據(jù)多元高斯密度公式直接寫成：T/21 1/21fy y； 2exp 2 y其對(duì)數(shù)似然值為：-ln 2ln 11 y T 1 y222這本質(zhì)上和（14）是相同的。理論上，對(duì)方程（14）求導(dǎo)并令導(dǎo)數(shù)為零，就可得到參數(shù) 向量8。而在實(shí)踐當(dāng)中，往往得到的8是y1,y2,.,yT的非線 性方程。此時(shí)求解需要格點(diǎn)（grid）搜索等數(shù)值優(yōu)化方法。四.條件極大似

13、然（MLE ）函數(shù)如果將y的值看作確定性的，然后最大化以第一個(gè)值為條件的似然值，這種方法稱為條件極大似然函數(shù)。此時(shí)最大化目 標(biāo)為：lnVt c2Vt 1等價(jià)于最小化:VtCt 22Vt 1這與OLS回歸的結(jié)果一樣。已知參數(shù)估計(jì)值（？，下一步L關(guān)于 2求導(dǎo)數(shù)T 1 T yt cyt i三 t 22"得到1Tc2? Flt2 yt ?”這也是OLS估計(jì)下的殘差方差。條件極大似然估計(jì)的特點(diǎn):1 .易于計(jì)算。2 .樣本量T足夠大，則第一個(gè)觀測(cè)值的影響可以忽略。第三節(jié)高斯ARMA過(guò)程的條件似然函數(shù)AR p條件似然函數(shù)Y c Y i2Yt 2pYt p t其中t iidN 0, 2 。參數(shù)向量為

14、2c, 1, 2,.,p ,。以前p個(gè)觀察值為條件的對(duì)數(shù)似然函數(shù)為:L2T pT p .2 Tytc1yti .pyt pIn 2 In222t p i2求c, 1, 2，p使得最大化問(wèn)題轉(zhuǎn)變?yōu)樽钚』篢2ytciyt i2yt 2. pyt pt p 1非高斯時(shí)間序列的極大似然估計(jì)（擬極大似然估計(jì)）1 .如果殘差過(guò)程非高斯的，使用高斯對(duì)數(shù)似然函數(shù)得到的估計(jì)c, 1,）2,.,）。為總體參數(shù)的一致估計(jì)。p2 .擬極大似然估計(jì)得到的系數(shù)的標(biāo)準(zhǔn)差不正確。MA 1條件似然函數(shù)對(duì)于高斯MA 1過(guò)程Y、其中 t iid N 0, 2。82表示要估計(jì)的總體參數(shù)。如果t 1已知,其概率密度函數(shù)為:fYt|t

15、1yt1exp、22yt如果已知0 0,則:0 N給定觀察值y一則1就是確定的：1 %于是1已知的話,通過(guò)迭代法由y1， 00;2- expy22可由下式求出:2 y2yi, y2 ,，yT求出1 , 2,整個(gè)序列:樣本條件對(duì)數(shù)似然函數(shù)為Tln 2 2.高斯MA q對(duì)于MA qYttytTin 22過(guò)程的條件似然函數(shù)過(guò)程假設(shè)前q項(xiàng)的全為零:yt其中 t 1,2,.,T。令0表小q1向量o,1,.條件對(duì)數(shù)似然函數(shù)為:ln1,., y10；其中9TIn 2 2T ln 22 t 222,., q ,°四.ARMA p,q的條件似然函數(shù)對(duì)于高斯ARMA p,q過(guò)程PYt P其 中 t ii

16、dN 0,H c, 1，2，., p , 1，2，., q ,°自回歸過(guò)程的似然函數(shù)的近似以 y的初始值為條件，移動(dòng) 平均過(guò)程似然函數(shù)的近似以的初始值為條件。ARMA p,q過(guò)程以y和 的初始值為條件。假設(shè)初始值 丫。yo,yi,，ypi 和o 0, i,., q i給定，則利用實(shí)現(xiàn)y1，y2,., 丫丁 ，迭代得到：tyt c1 yt 12yt 2 .p yt p 1 t 12 t 2 . q t q可得t 1,2,.,T的序列1, 2,., T 。則條件似然函數(shù)為：L ln fX，X 1,.，Y|Y0 ,立 yT , yT 1,., y1 Y0, 0 ; 9TieT .ln 2 ln22五，選擇模型的標(biāo)準(zhǔn)1) AIC準(zhǔn)則(Akaike信息標(biāo)準(zhǔn))2) BIC準(zhǔn)則3) HQ準(zhǔn)則第四節(jié) 極大似然估計(jì)的統(tǒng)計(jì)推斷.極大似然估計(jì)參數(shù)的標(biāo)準(zhǔn)差如果樣本量T足夠大，則極大似然估計(jì)）近