多元線性回歸模型：估計及t檢驗(yàn)

1、多元線性回歸模型：估計及t檢 驗(yàn)作者:日期:多元線性回歸：估計方法及回歸系數(shù)顯著性檢驗(yàn)線性回歸模型的基本假設(shè)：yi01x1 i2x2ikxki uii = ， 2 ,， n在普通最小二乘法中，為保證參數(shù)估計量具有良好的性質(zhì)，通常對模型提出若干基本假設(shè)：1 .解釋變量間不完全相關(guān)；2 .隨機(jī)誤差項(xiàng)具有。均值和同方差。即：2E(u。0, Var(uJi = 1 , 2 ,，n3 .不同時點(diǎn)的隨機(jī)誤差項(xiàng)互不相關(guān)(序列不相關(guān))，即Cov(Ui ,Ui s) 0 S W 0, i = 1 , 2 ,，n4 .隨機(jī)誤差項(xiàng)與解釋變量之間互不相關(guān)。即Cov(xji, ui) 0 j =1 ,2,，k, i =

2、 1 ,2 ,n5.隨機(jī)誤差項(xiàng)服從0均值、同方差的正態(tài)分布。即2、. 一ui N (0,)1 = 1 , 2 ,，n當(dāng)模型滿足假設(shè)14時，將回歸模型稱為 標(biāo)準(zhǔn)回歸模型”，當(dāng)模型滿足假設(shè)15時，將回歸模型稱為標(biāo)準(zhǔn)正態(tài)回歸模型如果實(shí)際模型滿足不了這些假設(shè)，普通最小二乘法就不再適用，而要發(fā)展其他方法來估計模型。廣義(加權(quán))最小二乘估計(ge neralized least squares)當(dāng)假設(shè)2和3不滿足時，即隨機(jī)擾動項(xiàng)存在異方差E(ui則上述兩個條件等價為:)H2,i = 1 , 2 ,n,且隨機(jī)擾動項(xiàng)序列相關(guān) CovU,%) j,i j , i = 1 , 2 ,，n,j = 1 , 2 ,，

3、n ，此時OLS估計仍然是無偏且一致的，但不是有效估計。線性回歸的矩陣表示：11121n對于正定矩陣V ar( u )=21222nT1 T2 . nn存在矩陣M ,使得M QM ' IM 'M 二在方程(1)兩邊同時左乘M,得到轉(zhuǎn)換后的新模型：y X 3 u My MX_ _A *Mu ,令 y My , X MX ,u Mu ,* 一一* *y X 0 u(2)新的隨機(jī)誤差項(xiàng)的協(xié)方差矩陣為,*、var(u )E(Muu 'M ') M QM ' I ,顯然是同方差、無序列相關(guān)的。目標(biāo)函數(shù)，即殘差平方和為:量的加權(quán)平方和，而權(quán)數(shù)矩陣則是Q u '

4、;u u'M 'Mu u' 1u o目標(biāo)函數(shù)是殘差向u的協(xié)方差矩陣的逆矩陣(因此 ，廣義最小二乘估計法也稱為加權(quán)最小二乘估計法)。而新模型的OLS估計量則是原模型的GL S估計量。?Gls (X*'X*) 1X* 'y* (X'M'MX) 1X'M 'My (X'Q1X) 1X'Q1yVar( Bgls) = (X*'X*) 1 =(X M'M X)-1=(X '1X)-1( Var ( Bols )= (X'X)-1X' X(X X) 1 ) °由于變換后

5、的模型(2)滿足經(jīng)典OL S的所有假設(shè)，所以根據(jù)高斯-馬科夫定理可知，GLS估計量是 BLUE (Best Linear Unbiased Est imator)。雖然從理論上講，GLS比O L S有效，但由于多數(shù)情況下殘差序列的協(xié)方差矩陣未知 當(dāng)我們用代替GLS估計式中的 以獲得估計時，估計量雖然仍舊是一致的，但卻不是最好線性無偏估計。而且，也很難推導(dǎo)出估計量的小樣本性質(zhì)。繼而用 White(1980)的 異方差一致協(xié)方差估計方法(殘差序列有未知形式的異方差，但序列不相關(guān))和Newey-W e st(198 7 )的異方差自相關(guān)一致協(xié)方差估計方法(有未知形式的異方差且自相關(guān)存在)得到修正的V

6、ar (P ols)是相對較好的選擇。(使用Whi t e或N e wey -We st異方差 一致協(xié)方差估計不會改變參數(shù)的點(diǎn)估計，只改變參數(shù)估計的標(biāo)準(zhǔn)差。)White協(xié)方差矩陣公式為：W -(XX)n ku2xixi (XX) 11其中n是觀測值數(shù)，k是回歸變量數(shù)，Ui是最小二乘殘差。Newey West協(xié)方差矩陣公式為：?NW (XX) 1 ?(XX) 1n nqn其中？-u；XX1-國05曠為v為曠口vUjXj)， q是n k i 1v 1 q 1 i v 1滯后截尾，一個用于評價O LS殘差 W的動態(tài)的自相關(guān)數(shù)目的參數(shù)。q (4(n/100)2 9)。二階段最小二乘法(TSLS, Tw

7、o s t age least square s,Sargan(1958)當(dāng)假設(shè)4不成立時，即隨機(jī)誤差項(xiàng)與某些解釋變量相關(guān)時，OLS和廣義LS都是有偏的和不一致的。有幾種情況使右邊某些解釋變量與誤差項(xiàng)相關(guān)。如：在方程右邊有內(nèi)生決定變量，或右邊變量具有測量誤差。 為簡化起見，我們稱與殘差相關(guān)的變量為內(nèi)生變量 ，與殘差不 相關(guān)的變量為外生變量。解決解釋變量與 隨機(jī)誤差項(xiàng) 相關(guān)的方法是使用工具變量回歸。就是要找到一組變量 滿足下面兩個條件：(1)與內(nèi)生變量相關(guān)；(2 )與殘差不相關(guān)；這些變量稱為工具變量。用這些工具變量來消除右邊解釋變量與擾動項(xiàng)之間的相關(guān) 性。考慮工具變量時，應(yīng)注意以下問題：1)使用

8、TSLS估計，方程說明必需滿足識別的階條件，即工具變量的個數(shù)至少與 方程的系數(shù)一樣多(D av i d so n & M a cK in n o n(199 4 )和 J oh nsto n & Di Na r do (1 9 97)。2 )根據(jù)經(jīng)濟(jì)計量學(xué)理論，與擾動項(xiàng)不相關(guān)的解釋變量可以用作工具變量。3)常數(shù)c是一個合適的工具變量。在二階段最小二乘估計中有兩個獨(dú)立的階段。在第一個階段中，找到內(nèi)生變量和工具變量。這個階段包括估計模型中每個內(nèi)生變量關(guān)于工具變量的最小二乘回歸。第二個 階段是對原始方程的回歸，所有內(nèi)生變量用第一個階段回歸得到的擬合值來代替。這個回歸的系數(shù)就是TSLS

9、估計。令Z為工具變量矩陣，y和X是因變量和解釋變量矩陣。則二階段最小二乘估計的系數(shù) 由下式計算出來：11_11_?Tsls (XZ(ZZ) ZX) X Z(ZZ) Zy系數(shù)估計的協(xié)方差矩陣為：22 一一一 1 一 1Var( ?) s (X Z(Z Z) Z X)其中s2是估計殘差的協(xié)方差矩陣。廣義矩方法(GM M , Generalized Method of Mom e nt s ,Hans en(1982)由于傳統(tǒng)的計量經(jīng)濟(jì)模型估計方法，例如普通最小二乘法、工具變量法、極大似然法 等，都有它們的局限性，其參數(shù)估計量必須在模型滿足某些假設(shè)時才具有良好的性質(zhì)而GM M估計是一個穩(wěn)健估計量，因

10、為它不要求擾動項(xiàng)的準(zhǔn)確分布信息，允許隨機(jī)誤差項(xiàng)存在異方差和序列相關(guān)，所得到的參數(shù)估計量比其他參數(shù)估計方法更合乎實(shí)際；而且可以證明，普通最小二乘法、工具變量法、極大似然法都是GMM的特例設(shè)模型為：yt xt 3 ut其中，xt(Xlt,X2t,|,XKt) , 3 ( 1, 2,U|,k)',zt 為工具變量(1 L)。令 Wtyt,Xt,Zt,則L個矩條件為：m wt,0 Ezt'utEzt'ytxt00L1對應(yīng)的樣本矩條件為:r? wt, 0 zt' yt xt BT t 1等價于解方程K2Qmlr?(wt, 0)' n?(wt, 0) 0l 1(3)

11、當(dāng)存在L >K個工具變量時，共有L個矩方程，而只有 K個未知參數(shù)。因此 根據(jù)MM方法K共有K個組合，可以得到的矩估計量的個數(shù)為L。這時，每個組合得到的 MM估計量L都不能滿足（3）式，即（3）式不會恰好為0。但可以考慮將各種不同的估計結(jié)果綜合起來使（3）式最小化，即使得 母矩條件的平方和最小。因?yàn)椴煌氐姆讲畈煌?，因此更科學(xué)的方法是使用加權(quán)的平方和，Q r?(wt, 9' Wtm?(wt, 0)GMM估計量是求下式的最優(yōu)解 ：Q arg min n?（wt, 0）' Wtn?（wt, 0）?GMM Wt與GLSK類似，G MM方法中，目標(biāo)函數(shù)為各個矩的加權(quán)平方和，權(quán)數(shù)的選

12、擇則要考慮各 個矩的異方差和相關(guān)性。最優(yōu)權(quán)數(shù)即是各個矩的協(xié)方差矩陣的逆矩陣。如果n?（wt, 0）為一致估計量?GMM對應(yīng)的矩，則S的一致估計量為? Var 4Tr?(wt, 0)T)Var n? wt, 0TVar - m wt, 8Tt 11 T cr?Tt 1wt, e m wt, 0因此，最優(yōu)權(quán)數(shù)矩陣為W詈S1Tn? wt, 8 m wt, 011其是Wt的一致估計?；貧w系數(shù)顯著性t檢驗(yàn)HO: 3=0 vs Hl: k。檢驗(yàn)統(tǒng)計量：t = B / s t d（6 ）White t檢驗(yàn):t=0 / st d(年Whi te)N e wey-We s t t 檢驗(yàn)：t=P/ std(

13、69;N-w)參考文獻(xiàn):New e y, W. K., West, K . D ., A simple, posit i ve s emi-dedin i te, heter os keda s tic i t y and autocorr e lation con s ist e n t co v aria n c e matri x . Ec o nom e t rica, 55,703- 7 08.Sarg an, T. D ., 195 8 , The est i mat i on of ec 0nom i c re 1 a t i o ns h ips u sing instrum

14、e nt a l varia b l e s. E conome t r i c a , 26, 3 9 3 41 5 .W h ite, H. , 1980, H e t ero s keda s tic i ty-co n s i s ten t c ov a ricnce matrix e s tim a t or and a direct t est for het er oske dasticit y . Econometri c a, 4 8 , 81 7 -8 3 8.Wh ite, H., 1980,Ins tr umentalvari a b 1 es reg r essio non cross- s ect ion d a ta . S an D ieg o :University of Calif orni a Pre ss.Han sen, L.P., Hodric, R . J.,198 0 , Forward ex change ratesaso ptional pre d i ct o r soffu ture spot ra te: an econometric analysis. TheJo urnalof Pol i ti cal E c onom y , 5(88), 8 29-853.Hodric ,