中級計量經(jīng)濟學(xué)第二章線性回歸模型回顧與拓展

第二 線性回歸模型回顧與拓理論和應(yīng)用兩個方面都取得了長足的進步。尤其是自從1941年第一節(jié)

yfy|x

Ey|xyPy|xy|

x(LawofIteratedExpectations,Eg(y)h(x)|yg(y)Eh(x)|Eg(y)h(x)Eg(y)Eh(x)|

這是因為Eg(y)h(x)EEgy)h(x)|yEgy)Eh(x)|Eaxby|zaEx|zbEy|或者更為一般的情形是：設(shè)a1x,a2x, ,aGx和bx為x的標(biāo)量函數(shù)y1, ,yG為隨量，那么 Eajxyjbx|xajxEyj|xbx 對于任何二元變量的分布Covx,yCovx,Ey|xExEy|xfxxdxxE(u|x)0Cov(x,u)0ui的條件均值為零，和弱外生假定（隨機擾動項與解釋變量不相 Vary|xEyEy|x2|xEy2|xEy| 它的簡化公式是：Vary|xEy2|xEy|x2（1）Varaxybx|xax2Vary|xkkYi12X2i

其中Y為被解釋變量，X2 Xk，為k-1個解釋變量，u為隨機擾動項或隨機差項。1,2, K則是k個待估計的參數(shù)。上式可寫為矩陣形式Y(jié)X

Y2, XXk1XXk2,u2, u12Yn XXkn n u kE(u|X) （ui的條件均值為零Var(u|X2I（u同方差，無自相關(guān)，或稱球形擾動iEXu)0（解釋變量非隨機，或若隨機也與u不相關(guān)，亦稱為外生性RankXX) （滿秩性條件，解釋變量無共線性，這里kn N(0,2I

（擾動項的分布

通過普通最小二乘估計法（OLS，得出未知參數(shù)的估計量?。 一、最小二乘估計法（OLS）最小二乘法的基本原理是，尋求使殘差（擾動項的估計）平方和ee小的?，即于

要X'X滿秩。但在滿足相應(yīng)古典假定下，OLS是的最佳線性無偏估計（BLUE。并且可以證明

N(,2XX)1)n此外，隨機擾動項的方差也可基?而估計出來，即?2n

是2（UMVUE重合。此外可以證明上述的OLS估計?和2是完備的充分統(tǒng)計量二、極大似然估計法（ML）OLS就估計而言，不需要 N(0,2I)（只是在有關(guān)檢驗時，才由此引 N(,2XX)1uY可考慮對不同的x極大似然估計就是要尋找使這種可能性或似然達(dá)到最大的未知參數(shù)。就線性回歸模型（2.1）及五條古典假定，我們有Y L(X,Y;,)(22

2

(YX)(YX

lnL

InLnln2nln2(YX)(YX 1(2XY2XX)lnL

1(YX)(YX)024?

1(YX

)(YX

可以看出

OLS?相同。?

估計均勻分布U(0,)中的時 果以均方誤差做標(biāo)準(zhǔn)，n1 一致優(yōu)于 (n

(n，相比之下性回歸模型的參數(shù)估計時，OLS較ML更為優(yōu)越常用，但對于非線性模型有時ML比OLS有用。，三、帶約束條件的最小二乘估計（拉格朗日估計（2.1H

H是mk矩陣（mk，rank(H)m。是k112, k現(xiàn)在的問題是，尋求滿足（2.6）式又使(YX?)(YX??H。為此，構(gòu)造拉格朗日函數(shù)（是m1的向量

于

2XY2XX

H HLH

H H由（8）

（2.10）式的?是OLSH，并結(jié)合（2.9）0H

H2[H(XX)1H]1HH代入（2.10）HH

?H也是帶約束的極大似然估計量（證明從略。四、廣義最小二乘估計（12（即utut1tEuu'

1 其中 時u存在異方差 w wn

n2 111n2n1時 11

t非奇異矩陣P，使得 P1(P)1在模型YX 兩邊同時左乘P1，P1YP1X令P1YY*P1XX*P1uu*Y*X*

即u*已無異方差和自相關(guān)那么，對（2.13）OLS?(X*X*)1X*Y*(X(P1)P1X)1X(P1)P1Y(X1X)1X

的廣義最小二乘估計量GLS(E?,Var?2X1X)1的估計量。GLSAitken定理，當(dāng)I2、WLS當(dāng)已知時，比如異方差時，各個

i

已知，此時，矩陣 P w

111 ，P11 2 w

w1nwn 1 1Y*P1Y ，X*P1X ，u*P1unn nn w w n n n1

n2已知，此時

12 1 11000010000100 P1 1 那么（2.13）112Y

12X 1Y*P1YY2Y1

，X*P1X

X2X1 Y X n1 n1差分法也是GLSGLS是一個普遍適用的方法。3、未知時的當(dāng)然，上述情形只是已知的情況。而在現(xiàn)實應(yīng)用時，往往是未知的。于是我們一個問題——如何確定？回答當(dāng)然是對中的未知量進行估（比Wi我們先一下GLS與最大似然估計的關(guān)系（可對照OLS與ML的關(guān)系）一般來說，當(dāng)uN(0,2或YNX,2YInLnIn21In21(YX)(2)1(YX 或者考慮到PPP1YY*P1XX*，又有（經(jīng)過適當(dāng)?shù)倪\算lnLnln2nln2ln|P|1(Y*X*)(Y*X* 最大化上式，對0，可得到的極大似然估計量（GLS。對或P0，可得到中未知量（）差存在時。為此，我們介紹另法——可行廣義最小二乘法FGLS4、可行廣義最小二乘法i（i）i

01Zi1p

i01Zi1ppi

01Zi1

（或

01Zi1 )pppi的X或X（比如Z=X,Z=X2ZXX等等 1及最終的GLS結(jié)果。FGLS的步驟如下：（1）Y對常數(shù)項和X1,X2 ,XK回歸，求得的OLS估計值 1（3i）e2對常數(shù)項及Z ,Z回歸，求得的估計值。這是針對上述 ZX（i） i方式并不能保證所有的?2都為正，如果其中出現(xiàn)了0或負(fù)數(shù)，那么我們就只i使用原來的e2代替?2了 （ii ,ZP回歸求得的ii

e為負(fù)，那么權(quán)數(shù)為 ei（iii ,Z回歸求出的 很有的地方以上便是可行廣義最小二乘法的一般步驟。由此得到的S（大樣本場合估計更有效。GMM的一般理論和方法作一簡要介紹。設(shè)是k1的未知參數(shù)向量。m(z,

1的向量函數(shù)

k)E[m(z,)]0對于樣本容量ng(1n

m(zi,如果k（稱為恰好識別g(0，我們可得矩估計量（MM）

minJ()ng()Wg(可得到廣義矩估計量GMMargmin1m(z,)]W1m(z, W為矩陣GMMn(GMM)N(0,VV其中

E[m(z,)]，E[m(z,)m(z,而且，若取W1，GMM具有最小方差V'1)1GMMV

V?。進而得到參數(shù)j的1

nyizi

E(xii)

km(zixiixiyiziYZ 其中Z'z

)，X

的第iz，X的第ixxn。 xn。下g(1m(z1X1X'(YZi。in ii那么若取W1（此時的E[m(z)m(z)E(xx2ii數(shù)GMM?argminJ()argminng()1g((X1X)1X1X n()

其中E[m(z)m(z)E(xx2)E[m(zE(xz)1Xii i 而具體運用時(ZX1XZ)1ZX1XY，這里的是未知的一致估計量?；蛘呖刹捎脙刹紾MM估計方法得到有效估計量。即，先取矩陣W=單I，或者對于線性模型YXuWXX)1GMM（或。然后再 矩陣W()1[1m(z,)m(z,)']1,可以證明 是1的一致估計量。于argming()'()1g(GMMGMME[m(z,0H0E[m(zi,0，尤其是對于2統(tǒng)計量

k

2

k)J2

H0，即矩條件之一。有關(guān)GMM的具體內(nèi)容可參見相應(yīng)文獻(xiàn)。下面?zhèn)鹘y(tǒng)的單一方程的估計方法總結(jié)如下估方

法GLS(廣義最小二乘廣義差分(存在自相關(guān)且可估計量 第三節(jié)線性回歸模型的檢驗方法及拓（1）（2）而犯這兩類錯誤的概率（分別記為和）是一種此消彼長的情況，于是如何控F(x,是未知參數(shù)?？傮w真實分布完全由未知參數(shù)的取值所決定。對提出某種假設(shè)H0:0(H1:0或>0,0等n00

0

XW），

XW）F(x,時，事件{XW}0

X0時，1是犯第二類錯誤的概率。max(),s.t.(), 0,x(x)0,x它是域W的示性函數(shù)，僅取0、1兩個值。反之如果一個函數(shù)中(

或1，則W{x|(x)1}可作為一個域。也就是說，W和之間建立了一種對立關(guān)系，給出一個（我們稱為檢驗函數(shù)。那么，對于檢驗法的勢函數(shù)為()E(X)(x)dF(x,max(), 我們稱滿足上式的檢驗法為最優(yōu)勢檢驗(MPT)（如果是對于復(fù)雜原假設(shè)和備擇假設(shè)，則稱為一致最優(yōu)勢檢驗（UMPT奈曼—基本引理給出于

是MPT[定理 設(shè) ,Xn是來自總體分布密度為p(x,)的樣本，為未知參數(shù)，對H0:0H1:1(MPTK0，使得(

是顯著性水平為的最優(yōu)E(X)0(x)1,當(dāng)p(x,1)Kp(x,00,當(dāng)p(x,1)Kp(x,0這就是著名的奈曼 基本引理，需 的是，上述定理中的檢驗函( (x)

p(x,1p(x,0稱為似然比統(tǒng)計量。如果x)較大，意味著p(x,1)較大，所以在H0為真時觀測到樣本點x的可能性比H1為真時觀察到樣本點x的可能性小，因而應(yīng)原假H0；反之，如果xH0。此外，利用x，上述定理中的(

0,(x)(x)0,(x)是似然比檢驗法。而大量的文獻(xiàn)都已證明了傳統(tǒng)假設(shè)檢驗中的Zt2檢驗F檢驗都是最優(yōu)勢檢驗kXk多元回歸模型Y12kXk

u（1）（2）（3） 10、H0X 20、H

。i0是某一具體值。例如i表示價格彈性，我們也許希它是-1 30、H1 40H或 50H

k0Y 60H0。這里的含義是把向量分為兩個子向量，分別含有k1和k2H0II0XII（ kkR

（注意：這里，r1）的q1（i）R 0),r0.(q（ii）R 0),ri0.(q（iii）R(0,1,1, 0),r1.(q（iv）R(0,0,1, 0),r0.(qRR

Ik1),r0.(qkIk2,r0.(qk2H0:Rr為了檢驗這個假設(shè)，應(yīng)先估計出?，計R?r，若其值較“?。ń咏?則不應(yīng)否定原假設(shè)；而如果其值較大，那么應(yīng)對H0提出懷疑。為此我們先R?的分布。對于OLS的?，我們知道 N(,2(XX)1)。E(R?)Var(R?)E[R(?)(?)R]RVar?R2R(XX)1所以， N(R,2R(XX)1H0Rr0 N(0,2R(XX)122

2(nk因此，由上述兩式，得到在H0下的檢驗統(tǒng)計量(R?r(R?r)[R(XX)1R]1(R?r)ee(nk F(q,n

（ee(nk?2F

H0 10H ii?2F

22

Var

t ii

t(nkt 20H i it(nki同時也可以計算，比如i的95%置信區(qū)間，而不用檢驗關(guān)于i的具體假設(shè)，這置信區(qū)間是? 0 30H R???RXX)1R

2c （注：(XX)1(c)， ,0)。那

[R(XX)1

?

(c222c23c33

[Var22Cov(2,3)

[Var(2t(nk)t(nk) Var(? 或者，也可以計算的95%置信區(qū)間(?Var(? 0 40H或 類似30，可推得此時的檢驗統(tǒng)計量t(nk)t(nk) k 50Hk 此時R Ik1)，r=0，q=k-1，那F?x' k1ESSk

ee(nk RSSn ,?)，x'x為X'X去掉了第一行第一列的矩陣。這就是我們熟kF 60H 這里對應(yīng)于I。把X分塊為X

，可以證明（過程略 II

此

F(k,nk

ee(nk

是Y對所有X回歸的RSS上面第60情況出現(xiàn)的統(tǒng)計量就是這里所說的另一種形式。顯然50是60的特殊情況，而事實上我們還將看到其它的情況也可歸于60。另外，這里還有一個即類似于第30種情況的檢驗與上一章所講的帶約束的最小二乘估計的關(guān)系50還是60H0中的約束條件實際上是估計方程施加的。即50 X2,XK2,,k為零；在60X（kk個。而50、60兩種情 差平方和RSS是ee，有約束模型的殘差平方和RSS記為e*e*，因此對某些iXi加入模型后，殘差平方和RSS具體到第3

y1x12x2對其施加約束121，代入回歸方程y1x111)x2或yx21(x1x2由變量yx2對(x1x2的回歸便可得到1RSS就是有約束的RSS，即e*e**R*rRSS達(dá)到最小的?*LYX*)(YX*(R*r（過程略

其中?是無約束的OLS估計量，而受約束回歸的殘差 eY

這與（2.16）式中除qH0R?ree(nk)F(q,n

k 這也恰好說明前面所述的6種檢驗的情形都可以用上述方式進行即擬合一個受約束的回歸，用受約束模型的殘差平方和與無約束模型的殘差平方和之差的線性假設(shè)情形都是60的特例，或者（2.20）式的F統(tǒng)計量是普遍適應(yīng)于一般(RSSRRSSU(RSSRRSSU)RSSU(nkF(q,nRSSRRSSUq四、似然比檢驗（LR（2.4）?

1(YX

)(YX

e -ne

eeHoRr0Rr0和2L(,2L(,2，太小我們則應(yīng)該原假設(shè)似然比檢驗的建立就是要使得當(dāng)k時P(0kH0（為顯著性水平域k可以轉(zhuǎn)化為含有我們熟知的t統(tǒng)計量或F統(tǒng)計量的形式。不過，普遍適用的是大，

2

具體地，如果LR很大，則應(yīng)原假設(shè)，或者說似然比檢驗的域LR

(q)，其中

(q為卡方分布的1L(,2)lnL(Rr（式中的是q1lnL就是無約束的對數(shù)似然函數(shù)**相同。與前面一樣，此時的殘差為YXYX?e，而2 n似然估計為2 ，因此（類似于（2.21）式nL(,2常數(shù)

LRn(lne'eln

*LR統(tǒng)計需要擬合無約束模型和有約束模型。而事實上，前面（2.20）2.1]：某動態(tài)消費模型，檢驗010。（LnCt=0.3181+0.8756LnIt+0.6466LnCt-1-0.6078LnIt-1+0.0218LnPt- (- R2=0.9989,RSS=0.0015,DW=1.95,LnL=105.87,n=LRLnItLnIt-1的系數(shù)010LnCt=0.1932+0.9600LnCt-1-0.0168LnPt- (-R2=0.9935,RSS=0.0088,DW=2.27,LnL=79.47,n=于 因為LR=52.82)=5.99，所以，約束條件0=1=0被。LnItLnIt-1Eviews在非約束模型（U）的輸出結(jié)果窗口中點擊View，選CoefficientTests,五、沃爾德檢驗（Wald2OLS估計量?服從正態(tài)分布推（2.15Ho:R2

n這里qR中約束條件個數(shù)，用2的一致估計量?2n

代替式中的2a22n(e'e2W *

LR檢驗的情況一樣，W呈大樣本卡方分布。如果W上側(cè)分位數(shù)2， 原假設(shè)。而前面的（2.20）式也可歸為Wald檢驗類而WaldH0c( （是未知參數(shù)22WaldEviewsc(2)+c(3)=1，Lnyt=-8.4+0.67Lnxt2+1.18 R2=0.89,F=48.45,檢驗2/30.5在模型估計的輸出結(jié)果窗口中點擊View，選CoefficientTests,Wald-CoefficientTests；在約束框輸入c(2)/c(3)=0.5，即得如下結(jié)果六、拉格朗日乘數(shù)檢驗（LMo漸近服從均值為I1(HRr0下，R?rN(0RI1()RI1(2XX)1。從而得出Wald統(tǒng)計量的o一般地，如果?是的極大似然估計量，由其大樣本性或漸近性知， ln

lnL

2lnL

)(

I )

即上述WaldI1(2XX)1S(lnL為lnL在?的得分S(?0的得分S()在約束條件有效的情況下，應(yīng)接近于0。可以證明，得分向量S()的均值為零，方差－協(xié)方差矩陣為信息矩陣I(，于是S()I1()S(服從分布2，所H0:0下，有LMS()I1()S()a2

lnL

1X 的估計量）

S() ln

uu

YX

2e'en代替上式的u2Rr*1Xe*S() * ne'X(X'X)1X'ee'LM=e'*

LM檢驗可分兩步完成。第一步，計算受約束的估計量殘差向量e，第二步，讓eXR2 恩格爾(Engle198222

當(dāng)nR22(卡方分布的上側(cè)分位數(shù))時，則原假設(shè)LM第一步就是對簡單模型(變量較少)回歸，得到殘差e*。如果“真實”模型變量很R2RrnR22)，則說明新增變量對e 或者說對參數(shù)的約束(比如某些0)R2nR22 Lnyt=-8.4+0.67Lnxt2+1.18 R2=0.89,F=48.45,LMLnxt3的系數(shù)，30OLS法估計受約束模型，得到殘差序列etLnyt=2.16+1.24Lnxt2+ R2=0.96,F=把etLMLMet=+1Lnxt2+2Lnxt3+vtOL