第五講 異方差和自相關(guān)

1、異方差和自相關(guān)異方差和自相關(guān)對于經(jīng)典計量模型，我們的基本假設(shè)有：對于經(jīng)典計量模型，我們的基本假設(shè)有：假設(shè)假設(shè) 對于解釋變量的所有觀測值，隨機誤差項對于解釋變量的所有觀測值，隨機誤差項有相同的方差。有相同的方差。 22)()(iiEVar1,2,.in( )( )( )()Var UEU EU U EUEUUnnEE11)( 21121nnnEI22211100)var(),cov(),cov()var(nnn此時可得：此時可得：在存在異方差的情況下：在存在異方差的情況下：21( )()VarX X211( )()()VarX XXX X X因此，估計結(jié)果無偏，但不是有效的（隨機誤因此，估計結(jié)果

2、無偏，但不是有效的（隨機誤差項方差變大）。差項方差變大）。誤差項存在異方差：誤差項存在異方差：U的方差的方差-協(xié)方差矩陣協(xié)方差矩陣Var(u)主對角線上的元素不相等主對角線上的元素不相等 。212220.00.0.00.n 異方差是違背了球型擾動項假設(shè)的一種情形。異方差是違背了球型擾動項假設(shè)的一種情形。在存在異方差的情況下：在存在異方差的情況下：（1）OLS 估計量依然是無偏、一致且漸近估計量依然是無偏、一致且漸近正態(tài)的。正態(tài)的。（2）估計量方差）估計量方差Var(b|X) 的表達(dá)式不再是的表達(dá)式不再是2(XX)1，因為，因為Var(|X) 2I。（3）Gauss-Markov 定理不再成立，

3、即定理不再成立，即OLS不再是最佳線性無偏估計（不再是最佳線性無偏估計（BLUE）。）。一般截面數(shù)據(jù)容易產(chǎn)生異方差一般截面數(shù)據(jù)容易產(chǎn)生異方差而時間序列數(shù)據(jù)容易產(chǎn)生自相關(guān)而時間序列數(shù)據(jù)容易產(chǎn)生自相關(guān)異方差的檢驗異方差的檢驗1。殘差圖。殘差圖2。懷特檢驗。懷特檢驗3。Breusch-Pagan（BP）檢驗）檢驗4。 G-Q 檢驗檢驗 (Goldfeld-Quandt,1965)5。 Szroeters 秩檢驗秩檢驗(Szreter,1978)后兩種現(xiàn)在已經(jīng)基本不用。后兩種現(xiàn)在已經(jīng)基本不用。1。畫圖：散點圖和殘差圖。畫圖：散點圖和殘差圖。1。殘差圖：。殘差圖：rvfplot （residual-ve

4、rsus-fitted plot）rvpplot varname （residual-versus-predictor plot）作圖命令一定要在回歸完成之后進(jìn)行作圖命令一定要在回歸完成之后進(jìn)行rvfplot yline(0)2。懷特檢驗：。懷特檢驗：2。懷特檢驗命令：。懷特檢驗命令：做完回歸后，使用命令：做完回歸后，使用命令：estat imtest, whiteBreusch and Pagan 檢驗檢驗根據(jù)異方差檢驗的基本思路，根據(jù)異方差檢驗的基本思路，Breusch and Pagan（1979）和）和Cook and Weisberg（1983）主要思路：用主要思路：用 ei2/av

5、g(ei2) 對一系列可能導(dǎo)致對一系列可能導(dǎo)致異方差的變量作回歸。異方差的變量作回歸。2201122/().iikkieavg eaa Xa XaXu H0： a1=a2=.=0 （不存在）（不存在）H1： a1，a2.不全為不全為0 （存在）（存在）Step1：估計原方程，提取殘差，并求其平方：估計原方程，提取殘差，并求其平方ei2。Step2：計算殘差平方和的均值：計算殘差平方和的均值avg(ei2) 。Step3：估計方程，被解釋變量為：估計方程，被解釋變量為ei2/avg(ei2) ，解釋變量依然為原解釋變量。解釋變量依然為原解釋變量。Step4：構(gòu)造統(tǒng)計量：構(gòu)造統(tǒng)計量Score=0.

6、5*RSS服從自由度為服從自由度為k的卡方分布。查表檢驗整個方程的顯著性。的卡方分布。查表檢驗整個方程的顯著性。 注意：在第注意：在第3步中，方便起見也可以用被解釋變量的步中，方便起見也可以用被解釋變量的擬合值作為解釋變量。擬合值作為解釋變量。3。BP 檢驗：做完回歸后，使用命令：檢驗：做完回歸后，使用命令：estat hettest ,normal（使用擬合值（使用擬合值y ）estat hettest,rhs （使用方程右邊的解釋變量，而（使用方程右邊的解釋變量，而不是不是y ）最初的最初的BP 檢驗假設(shè)擾動項服從正態(tài)分布，有一定局檢驗假設(shè)擾動項服從正態(tài)分布，有一定局限性。限性。Koenk

7、er（1981）將此假定放松為）將此假定放松為iid，在，在實際中較多采用，其命令為：實際中較多采用，其命令為：estat hettest, iidestat hettest, rhs iid1.sysuse auto,clear reg price weight length mpg檢查是否具有異方差。檢查是否具有異方差。2。reg weight length mpg檢查是否具有異方差。檢查是否具有異方差。3。use production,clear reg lny lnk lnl檢查是否具有異方差檢查是否具有異方差4。use nerlove,clearreg lntc lnq lnpl l

8、npf lnpk檢驗是否具有異方差檢驗是否具有異方差異方差的處理異方差的處理1。使用。使用“OLS+異方差穩(wěn)健標(biāo)準(zhǔn)誤異方差穩(wěn)健標(biāo)準(zhǔn)誤”（robust standard error）：這是最簡單，也是目前比較）：這是最簡單，也是目前比較流行的方法。只要樣本容量較大，即使在異方差流行的方法。只要樣本容量較大，即使在異方差的情況下，只要使用穩(wěn)健標(biāo)準(zhǔn)誤，則所有參數(shù)估的情況下，只要使用穩(wěn)健標(biāo)準(zhǔn)誤，則所有參數(shù)估計、假設(shè)檢驗均可照常進(jìn)行。計、假設(shè)檢驗均可照常進(jìn)行。 sysuse nlsw88, clear reg wage ttl_exp race age industry hours reg wage t

9、tl_exp race age industry hours, r2。利用廣義最小二乘法（。利用廣義最小二乘法（GLS）廣義最小二乘法是對原模型加權(quán)，使之變成一個新廣義最小二乘法是對原模型加權(quán)，使之變成一個新的不存在異方差性的模型，然后采用普通最小二乘的不存在異方差性的模型，然后采用普通最小二乘法估計其參數(shù)。法估計其參數(shù)。其含義為其含義為Var(b) =2 (XX)-1(XX) (XX)-1 通過加權(quán)使得通過加權(quán)使得 =I因此，因此，GLS和和WLS要求要求已知。已知。加權(quán)最小二乘法（加權(quán)最小二乘法（WLS）：）：sysuse auto,clearreg price weight length

10、 foreignestat hettest,normal假設(shè)異方差由假設(shè)異方差由weight引起，即：引起，即：22*iilengthreg price weight length foreign aw=1/lengthestat hettest,normal2212*(*)iiialengthaforeign在本題中，造成異方差的更可能是解釋變量的線性組在本題中，造成異方差的更可能是解釋變量的線性組合，例如：合，例如：此時需要下載命令此時需要下載命令wls0findit wls0wls0 price weight length foreign, wvar(length foreign) ty

11、pe(e2)estat hettest,normalGLS和和WLS的一個缺點是假設(shè)擾動項的協(xié)方的一個缺點是假設(shè)擾動項的協(xié)方差矩陣為已知。這常常是一個不現(xiàn)實的假定。差矩陣為已知。這常常是一個不現(xiàn)實的假定。因此，現(xiàn)代計量經(jīng)濟(jì)學(xué)多使用因此，現(xiàn)代計量經(jīng)濟(jì)學(xué)多使用“可行廣義最可行廣義最小二乘法小二乘法”（FGLS）。）。可行廣義最小二乘法可行廣義最小二乘法FGLS(1) 對原方程用對原方程用OLS進(jìn)行估計，得到殘差項進(jìn)行估計，得到殘差項的估計的估計i ，(2) 計算計算ln(i2)(3) 用用ln(2)對所有可能產(chǎn)生異方差的的解對所有可能產(chǎn)生異方差的的解釋變量進(jìn)行回歸，然后得到擬合值釋變量進(jìn)行回歸，然

12、后得到擬合值 i(4) 計算計算i = exp(i)(5) 用用1/ i 作為權(quán)重作為權(quán)重,做做WLS回歸。回歸。FGLS的步驟的步驟predict u,resgen lnu2=ln(u2)reg lnu2 x1 x2predict g,xbgen h=exp(g)gen invvar=1/hreg y x1 x2aweight=invvar使用使用FGLS方法對方法對nerlove.dta的方程重新進(jìn)的方程重新進(jìn)行估計。行估計。結(jié)論：結(jié)論：1. GLS估計是估計是BLUE的（如果的（如果 矩陣已知且矩陣已知且設(shè)置正確），但設(shè)置正確），但FGLS不一定是不一定是BLUE的的（ FGLS 估計時

13、要事先估計估計時要事先估計 矩陣的參數(shù)，矩陣的參數(shù)，需要做一些假設(shè)）。需要做一些假設(shè)）。2. Robust穩(wěn)健性估計更加穩(wěn)健，而穩(wěn)健性估計更加穩(wěn)健，而FGLS更更加有效，選擇時要在穩(wěn)健性和有效性之間進(jìn)行加有效，選擇時要在穩(wěn)健性和有效性之間進(jìn)行權(quán)衡。權(quán)衡。在實際應(yīng)用中，避免異方差的兩種方法。其一，使在實際應(yīng)用中，避免異方差的兩種方法。其一，使不同變量的測度單位接近。比如，不同國家的收入不同變量的測度單位接近。比如，不同國家的收入和消費數(shù)據(jù)。如果利用總收入和總消費進(jìn)行分析，和消費數(shù)據(jù)。如果利用總收入和總消費進(jìn)行分析，由于不同國家的總量相差非常巨大，因此模型中難由于不同國家的總量相差非常巨大，因此模

14、型中難免出現(xiàn)異方差。如果利用人均收入和人均消費進(jìn)行免出現(xiàn)異方差。如果利用人均收入和人均消費進(jìn)行分析，就可以使得減弱不同國家變量之間的測度差分析，就可以使得減弱不同國家變量之間的測度差異，從而降低異方差的程度甚至消除異方差。異，從而降低異方差的程度甚至消除異方差。其二，可能的情況下對變量取自然對數(shù)。變量取對其二，可能的情況下對變量取自然對數(shù)。變量取對數(shù)降低了變量的變化程度，因此有助于消除異方差。數(shù)降低了變量的變化程度，因此有助于消除異方差。自相關(guān)自相關(guān)經(jīng)典假設(shè)經(jīng)典假設(shè) 隨機誤差項彼此之間不相關(guān)隨機誤差項彼此之間不相關(guān)njiji, 2 , 1,如果存在自相關(guān)，則：如果存在自相關(guān)，則：0)(),(j

15、ijiECov( ,)0ijCOV u u 時間序列數(shù)往往存在著自相關(guān)，即：時間序列數(shù)往往存在著自相關(guān)，即：1( ,)0iiCOV u u( ,)0iikCOV u u一般時間序列數(shù)據(jù)中，一般時間序列數(shù)據(jù)中，i.i.d i.i.d 假設(shè)不成立假設(shè)不成立如果存在自相關(guān)：隨機誤差項的方差如果存在自相關(guān)：隨機誤差項的方差-協(xié)方協(xié)方差矩陣的非主對角線上的元素不為差矩陣的非主對角線上的元素不為0 。1222121.1.( ).1nnnnVar u 自相關(guān)包含一階自相關(guān)和高階自相關(guān)。自相關(guān)包含一階自相關(guān)和高階自相關(guān)。一階自相關(guān)：一階自相關(guān)：1tttuuv212.ttttuuuv高階自相關(guān)：高階自相關(guān)：考察

16、英國政府如何根據(jù)長期利率（考察英國政府如何根據(jù)長期利率（r20）的）的變化來調(diào)整短期利率（變化來調(diào)整短期利率（rs），數(shù)據(jù)集為），數(shù)據(jù)集為ukrates.dta（1）做如下回歸：）做如下回歸： ，其中：，其中：回歸方程為：回歸方程為： use ukrates,clear tsset month reg D.rs LD.r20 tttrrs1201tttrsrsrs211202020tttrrr自相關(guān)的檢驗自相關(guān)的檢驗1。圖形法：自相關(guān)系數(shù)和偏自相關(guān)系數(shù)。圖形法：自相關(guān)系數(shù)和偏自相關(guān)系數(shù) predict e1,res ac e1 pac e1 corrgram e1,lag(10)2。t檢驗和檢

17、驗和F檢驗檢驗(wooldridge)思想：思想：t檢驗，如果存在一階自相關(guān)，殘差項檢驗，如果存在一階自相關(guān)，殘差項與其一階滯后項回歸后系數(shù)顯著，如果解釋與其一階滯后項回歸后系數(shù)顯著，如果解釋變量非嚴(yán)格外生，回歸時可加入解釋變量。變量非嚴(yán)格外生，回歸時可加入解釋變量。 reg e1 L.e1 reg e1 L.e1 LD.r20 同理，可以用同理，可以用F檢驗檢驗是否存在高階自相關(guān)檢驗檢驗是否存在高階自相關(guān) reg e1 L(1/2).e13。DW檢驗：只能檢驗一階自相關(guān)的序列相檢驗：只能檢驗一階自相關(guān)的序列相關(guān)形式，并且要求解釋變量嚴(yán)格外生。關(guān)形式，并且要求解釋變量嚴(yán)格外生。 根據(jù)樣本個數(shù)和

18、自由度查表得到根據(jù)樣本個數(shù)和自由度查表得到DL和和DU，并，并且構(gòu)造不同的區(qū)域。且構(gòu)造不同的區(qū)域。reg D.rs LD.r20dwstatReject H0UncertaintyAccept H0UncertaintyReject H00DLDU4-DU4-DL4經(jīng)驗上經(jīng)驗上DW值值1.8-2.2之間接受原假設(shè)，之間接受原假設(shè)，不存在一階自相關(guān)。不存在一階自相關(guān)。DW值接近于值接近于0或者接近于或者接近于4，拒絕原假，拒絕原假設(shè)，存在一階自相關(guān)。設(shè)，存在一階自相關(guān)。4。Q檢驗和檢驗和Bartlett檢驗檢驗 reg D.rs LD.r20 predict e2,res wntestq e2

19、wntestq e2,lag(2) wntestb e2如果不能保證解釋變量嚴(yán)格外生，例如解釋變量如果不能保證解釋變量嚴(yán)格外生，例如解釋變量中包含被解釋變量的滯后項，可以用以下方法：中包含被解釋變量的滯后項，可以用以下方法：5。D-Ws h檢驗檢驗 estat durbinalt estat durbinalt,lag(2) 6。對于高階自相關(guān)的檢驗方法：。對于高階自相關(guān)的檢驗方法：B-G檢驗檢驗 bgodfrey bgodfrey,lag(2)自相關(guān)的處理自相關(guān)的處理1. 使用使用OLS+異方差自相關(guān)穩(wěn)健的標(biāo)準(zhǔn)誤異方差自相關(guān)穩(wěn)健的標(biāo)準(zhǔn)誤（HAC）方法被稱為方法被稱為Newey-West估計法

20、（估計法（Newey and West，1987） reg D.rs LD.r20 newey D.rs LD.r20 ,lag(1)（假設(shè)存在一階（假設(shè)存在一階自相關(guān)）自相關(guān)） newey D.rs LD.r20 ,lag(2) （假設(shè)存在二階（假設(shè)存在二階自相關(guān)）自相關(guān)）系數(shù)完全相同，但標(biāo)準(zhǔn)差和系數(shù)完全相同，但標(biāo)準(zhǔn)差和t值不同。值不同。 可行廣義最小二乘法（可行廣義最小二乘法（FGLS）：廣義差分法：）：廣義差分法： CO-PW方法方法Cochrane-Orcutt(1949) 估計估計(舍棄第一期觀察值舍棄第一期觀察值)Prais-Winsten(1954) 估計估計(對第一期觀察值對第

21、一期觀察值進(jìn)行處理進(jìn)行處理 sqrt(1-rho2)*y1) Cochrane-Orcutt(1949) 估計估計(舍棄第一期觀察舍棄第一期觀察值值) prais D.rs LD.r20,corc prais D.rs LD.r20,rho(dw) corc Prais-Winsten(1954) 估計估計(對第一期觀察值進(jìn)行對第一期觀察值進(jìn)行處理處理 sqrt(1-rho2)*y1) prais D.rs LD.r20 prais D.rs LD.r20,rho(dw) 時間序列一般樣本不會太大，因此不要輕易舍棄。時間序列一般樣本不會太大，因此不要輕易舍棄。多重共線性多重共線性直觀上說：當(dāng)模型的直觀上說：當(dāng)模型的R2非常高，但多數(shù)解釋變量都非常高，但多數(shù)解釋變量都不顯著，甚至系數(shù)符號相反，可能存在多重共線性不顯著，甚至系數(shù)符號相反，可能存在多重共線性完全的多重共線性完全的多重共線性stata會自動會自動drop掉，例如掉，例如 gen dom=1-foreign reg price weight length foreign dom 多重共線性的檢驗：膨脹因子多重