北京大學(xué)經(jīng)濟(jì)學(xué)院2極大似然估計

1、第二章極大似然估計（MLE）第 0 節(jié) 基礎(chǔ)知識回顧：OLS一例子假設(shè)一個基金的投資組合 (“基金 XXX”)的超額回報和股市指數(shù)的超額回報，有如下的數(shù)據(jù):Year,tExcess returnExcess return on market index=rrf=rm-rft117.8239.0312.8424.2517.2tt13.723.26.916.812.3直覺上，該基金的beta( beta 測量股票對股市指數(shù)的反應(yīng))應(yīng)該是一個正數(shù)，我們希望證實(shí)這種關(guān)系。畫這2個變量的散點(diǎn)圖：4540353025201540353025201510500510152025d n u f n ors c

2、 EExcess return on market portfolio對于一條直線，可以用以下的方程,來擬合數(shù)據(jù)。y=a+bx不過這個方程 (y=a+bx)是完全確定的，與實(shí)際情況不符合。要在這個方程里加入一個撓動項(xiàng)。tty = + x + tt式中 t = 1,2,3,4,5用直線來擬合數(shù)據(jù)最常用的方法是普通最小二乘法(ordinary least squares， OLS)：取每個數(shù)據(jù)點(diǎn)到擬合直線的垂直距離，選擇參數(shù) ，使得平方距離t 12最小化(leasttsquares)。t撓動項(xiàng)能夠反映數(shù)據(jù)的一些特征 :我們經(jīng)常會忽略一些影響 yt 的因素，不可能把影響 y 的所有的的隨機(jī)因素都在模

3、型t中考慮。L (ytttL 5t 1)2 ( yti2 t )2t求解兩個參數(shù)：2(ytt ) 0t 2x (ytt ) 0t這就是OLS。整理得到： xyTxy ttand y xx2 Tx2t在上例中，把數(shù)據(jù)代入公式得： 1.741.64xtt根據(jù)這個結(jié)果，如果預(yù)期下一年的市場回報將會比無風(fēng)險回報高20%，那么你預(yù)期基金 XXX 的回報將會是多少?1.6420i二概念：線性和非線性運(yùn)用 OLS, 要求模型對參數(shù)( 和 )是線性的?！皩?shù)線性”意味著參數(shù)之間不能乘、除、平方或n次方等。在實(shí)際中變量之間的關(guān)系很有可能不是線性的。某些非線性的模型可以通過變換轉(zhuǎn)化為線性模型，例如指數(shù)回歸模型：

4、Y e X eutln Y ln X uttttt令 yt=ln Yt及 xt=ln Xty x uttt但是，很多模型從本質(zhì)上講是非線性的，例如：y x uttt三OLS的優(yōu)良性質(zhì)在OLS回歸模型中，對ut (不可觀測的誤差項(xiàng)作如下假設(shè))作如下架設(shè):解釋E(ut) = 0誤差項(xiàng)的均值為零tVar) = 誤差項(xiàng)的方差是常數(shù)tCov (ui,uj)=0誤差項(xiàng)相互獨(dú)立的Cov (ut,xt)=0有如下三個良好性質(zhì)。一致性大時，估計值將收斂于它們的真實(shí)值（需要假設(shè) E(xtut)=0 和Figure:SamplingDistributionsofEstimatorsUnbiasedBiased(a)

5、(b)Figure:SamplingDistributionsofEstimatorsUnbiasedBiased(a)(b)Efficient(c)(d)Inefficienttlim Pr 0 0Figure:Figure:DistributionofaConsistentEstimatorAs the sample sizeincreases the estimator converges in probability on the true parameter valueTrue Value無偏性最小二乘估計式是無偏的，意味著估計值的期望等于真實(shí)值.E()= and E( )=uu 為

6、了保持無偏性需要假設(shè) E()=0和Cov uu tij致性更強(qiáng)。有效性在所有的線性無偏的估計式中，OLS估計式的方差是最小 OLS估計的參數(shù)四統(tǒng)計推斷用標(biāo)準(zhǔn)誤差來度量參數(shù)估計值的可靠程度。在假設(shè)1 - 4 成立的條件下，估計值的標(biāo)準(zhǔn)誤差可以寫成x2SE) s t,T(x x)2(x x)21t其中 s 是殘差t的標(biāo)準(zhǔn)誤差。s2 1 T2t假設(shè) ut N(0,2)，則OLS統(tǒng)計量服從正態(tài)分布： N(, Var()如果撓動項(xiàng)不服從正態(tài)分布，最小二乘的估計式還是正態(tài)分布嗎？樣本數(shù)足夠大時，答案是：是的。從估計式構(gòu)造標(biāo)準(zhǔn)正態(tài)分布： N N 0,1但是，由于不知道 var() 和 t tSE)T2SE(

7、)T2normal distributiont-distributiont 2 種分布都是對稱的，并t (樣本總觀測數(shù) -2)t normal distributiont-distribution用置信區(qū)間進(jìn)行假設(shè)檢驗(yàn)0在顯著性檢驗(yàn)中，下面的情況下接受零假設(shè) H ： = 統(tǒng)計量落在非拒絕域內(nèi)，0tcrit * SE( )critf(x)f(x)2.5% rejection region2.5% rejection region-2.086+2.086如果我們能夠以 5% (或者 10%)的置信水平拒絕某個檢驗(yàn)的零假設(shè)，則稱這個檢驗(yàn)在統(tǒng)計上是顯著的.在這個過程中，我們可能會犯2種錯誤:當(dāng) H0

8、.RealityH is trueSignificantResult ofTest(reject H )Type I errorRealityH is trueSignificantResult ofTest(reject H )Type I error= 0H is false0Insignificant( do not0Type II = reject H )0. 。一類錯誤概率的同時也提高了第二類錯誤的概率。第一節(jié) 引言考慮ARMA 模型：Y c Yt1 t Y2 t 2 . Yp t p t1 t . q t qt其 中 t0,2 （1）。 前 面 我 們 假 定 知 道 總 體 參

9、數(shù)c, ,., , ,., , 2，此時利用過程（1）進(jìn)行預(yù)測。1p1q本章我們要研究在僅能觀測到序列Y 的情況下，如何估計c, ,., , ,., ,1p1q。估計方法為極大似然估計。令c, ,.,1p, ,.,1,表示總體參數(shù)向量。假定我們觀察到一個樣本量為 T 的樣本y , y12,., yT。寫出樣本的聯(lián)合概率密度函數(shù)：fYT,Y,.,YT 11y , yTT,., y1（2）這是觀察到樣本發(fā)生的概率。使得“概率”最大的 值就是最優(yōu)估計這就是極大似然估計的思想。極大似然估計需要設(shè)定白噪聲的分布。常常假定t白噪聲，則得到的函數(shù)為高斯似然函數(shù)。極大似然估計的步驟：寫出似然函數(shù)。是高斯利用求

10、極大值方法求使得函數(shù)值最大的值。第2節(jié) 高斯 AR1過程的似然函數(shù)一計算高斯 AR1過程似然函數(shù)高斯 AR1過程的表達(dá)式為Y cY（3）其中tiidN0,2。參數(shù)為 c,2。觀察值 Y1的均值和方差分別為 E Y1 c / 1和E Y1 2 / 1。因?yàn)閠iidN0,2，因此Y 也fy ; fY1Y11y ;c,2112 2 /12 12 /12 1 （4）12 /對于第二個觀察值在觀察到 y1條件下的分布。根據(jù)，Y c Y 212（5）此時Y21 y N y , 2 ，其概率密度函數(shù)為2112 yc 2 22Y Y22 1y ;1exp1（6）觀察值Y 和Y12的聯(lián)合密度函數(shù)就是（4）和（6

11、）的乘積：fY ,Yy , y ; f21Y yy ; f21y ;（7）12 12 11同樣fY Y ,Yyy3, y ; f1Y yy3; 3 2 13 21 y c 2 （8）232322fY Y ,Yy , y3, y ; f1Y ,Yyy3, y ;1Y ,Yy , y ; 213, 2 13 2 12 1（9）一般地，fY Yyytt,., y1; fY Yyytt; t t11t t11yc 2 10）2t2tt則前t 個觀察值的聯(lián)合密度為fY Y,.y , ytt,., y ; 1t , t1 fY Y1yytt; fYyt,., y ;1（11）t t1t11全部樣本似然函數(shù)

12、為fY Y,.y , yTT,., y ; f1y ;1fyY Yyt; T , T11t2t t1（12）進(jìn)行對數(shù)變換，得到對數(shù)似然函數(shù)L ：L ln fYy ;1ln fY Yyytt; 1將（）和1）代入1tt t1（13）c2y L1ln1ln2 122 12212T 1 T 1Ty cy2ln ln 2t 1222t 2（14）二似然函數(shù)的矩陣表示觀察值寫成向量形式為：Y y , y ,., y（15）T12T可以看作是T 為高斯分布的單個實(shí)現(xiàn)。其均值為 E 1 2E Y 2（16）M ME YTT這里 c / 1。表示成向量形式為：E 其中 表示的右邊的1向量。Y 為：E Y （1

13、7）其中EE2 2 1E1T T 111 E 1 ELE 212TMMLME E E2T1T2T（18）該矩陣中的元素對應(yīng)于Y 的自協(xié)方差。將樣本Y N ,高斯密度公式直接寫成：fy;T /2 1 1/2 exp1yT Y21 y 其對數(shù)似然值為：T11L lnln 1 y2221 y 這本質(zhì)上和（14）是相同的。理論上，對方程（14）求導(dǎo)并令導(dǎo)數(shù)為零，就可得到參數(shù)向量是y,., 的非線12T性方程。此時求解需要格點(diǎn)（grid）搜索等數(shù)值優(yōu)化方法。四條件極大似然（MLE）函數(shù)如果將 y1的值看作確定性的，然后最大化以第一個值為條件的似然值，這種方法稱為條件極大似然函數(shù)。此時最大化目標(biāo)為： T

14、1 T 1 Ty cy2L ln ln 2t 1222t 2等價于最小化：T ytt 2c y2t 1這與OLS回歸的結(jié)果一樣。已知參數(shù)估計值,，下一步L 關(guān)于2求導(dǎo)數(shù)T 1 2得到Ttt 2cy2t02421T 1Tty y2tt這也是OLS 估計下的殘差方差。條件極大似然估計的特點(diǎn)：易于計算。樣本量T 足夠大，則第一個觀測值的影響可以忽略。第三節(jié) 高斯 ARMA 過程的條件似然函數(shù)AR p條件似然函數(shù)Y c Y . Ytt2 t 2p tpt其中iidN0,2。參數(shù)向量為 c, ,., ,2。t12p以前 p 個觀察值為條件的對數(shù)似然函數(shù)為：LT pT py c yTT. y2lnln 2

15、2 tt1 t 2 2p t p求c, ,.,使得最大化問題轉(zhuǎn)變?yōu)樽钚』?2pTyt c1yt y2t . py2t pt p1非高斯時間序列的極大似然估計（擬極大似然估計）) )計 c, ,),.,為總體參數(shù)的一致估計。12p擬極大似然估計得到的系數(shù)的標(biāo)準(zhǔn)差不正確。二 MA1條件似然函數(shù)對于高斯MA1過程Y ttt 1其中tiidN0,2。, 2表示要估計的總體參數(shù)。如果t已知，則Y tt N t, 2 其概率密度函數(shù)為：y 2 2fY 2y ttexpttt t1t如果已知00，則：Y 10, 2給定觀察值 y1，則1就是確定的：1 y 1于是y 2 2fY Y , 2yy ,21 0;

16、exp12 222 1 02 可由下式求出：12 y22 1通過迭代法由y , y,., 求出,.,整個序列：12T12T y ttt樣本條件對數(shù)似然函數(shù)為L T ln T ln 2 T2t22t 12 2三高斯 MAq過程的條件似然函數(shù)對于 MAq過程Y tt 1t 2t . qt q假設(shè)前q 項(xiàng)的 全為零： .001q于是 ytt 1t 2t . qt q其中t 1,2,.,T 。令 表示1向量 ,.,。001q條件對數(shù)似然函數(shù)為：L ln fY ,Y,.,Y 0y , yTT,., y 1 0; T T1 0T T2ln ln 2t22t 12 2其中, ,12,., q,2。ARMAp

17、qARMApq過程Y c YY. . t1 t2 t2p t pt1 tq t q其中t 0,。參數(shù)向量為 c, , ,., , , ,., ,2。12p12q自回歸過程的似然函數(shù)的近似以 y 的初始值為條件，移動平均過程似然函數(shù)的近似以 ARMApq y 和 的初始值為條件。假設(shè)初始值y y ,y,., y和001p1 ,.,., ，迭代001得到：q12T y c . y . tt1t tp t1 t 12 t 2q t q可得t 1,2,., T 的序列 ,1,., T。則條件似然函數(shù)為：L ln fYT,YT Y,.,Y1Y ,0 y , yTT,., y1Y , 0; T ln T ln 2 T2t22五，選擇模型的標(biāo)準(zhǔn)AIC 準(zhǔn)則（Akaike 信息標(biāo)準(zhǔn)BIC 準(zhǔn)則HQ 準(zhǔn)則t 12 2第四節(jié) 極大似然估計