多元線性回歸模型估計(jì)及t檢驗(yàn)

1、多元線性回歸：估計(jì)方法及回歸系數(shù)顯著性檢驗(yàn)線性回歸模型的基本假設(shè): i = 1 , 2 , , n 在普通最小二乘法中，為保證參數(shù)估計(jì)量具有良好的性質(zhì)，通常對(duì)模型提出若干基本假設(shè)： 1解釋變量間不完全相關(guān)； 2隨機(jī)誤差項(xiàng)具有0均值和同方差。即: , i = 1 , 2 , , n 3不同時(shí)點(diǎn)的隨機(jī)誤差項(xiàng)互不相關(guān)（序列不相關(guān)），即 s 0, i = 1 , 2 , , n 4隨機(jī)誤差項(xiàng)與解釋變量之間互不相關(guān)。即 j = 1 , 2 , , k , i = 1 , 2 , , n 5隨機(jī)誤差項(xiàng)服從0均值、同方差的正態(tài)分布。即 i = 1 , 2 , , n 當(dāng)模型滿足假設(shè)1 4時(shí)，將回歸模型稱為“

2、標(biāo)準(zhǔn)回歸模型”，當(dāng)模型滿足假設(shè)1 5時(shí)，將回歸模型稱為“標(biāo)準(zhǔn)正態(tài)回歸模型”。如果實(shí)際模型滿足不了這些假設(shè)，普通最小二乘法就不再適用，而要發(fā)展其他方法來(lái)估計(jì)模型。廣義（加權(quán)）最小二乘估計(jì)（generalized least squares）當(dāng)假設(shè)2和3不滿足時(shí)，即隨機(jī)擾動(dòng)項(xiàng)存在異方差，i = 1 , 2 , , n，且隨機(jī)擾動(dòng)項(xiàng)序列相關(guān)， i = 1 , 2 , , n，j=1 , 2 , , n ，此時(shí)OLS 估計(jì)仍然是無(wú)偏且一致的，但不是有效估計(jì)。線性回歸的矩陣表示：y = X + u （1）則上述兩個(gè)條件等價(jià)為：Var(u)= ¹ s 2 I 對(duì)于正定矩陣存在矩陣M，使得 。在方

3、程（1）兩邊同時(shí)左乘M，得到轉(zhuǎn)換后的新模型：，令，即 （2）新的隨機(jī)誤差項(xiàng)的協(xié)方差矩陣為，顯然是同方差、無(wú)序列相關(guān)的。目標(biāo)函數(shù)，即殘差平方和為：。目標(biāo)函數(shù)是殘差向量的加權(quán)平方和，而權(quán)數(shù)矩陣則是u的協(xié)方差矩陣的逆矩陣（因此，廣義最小二乘估計(jì)法也稱為加權(quán)最小二乘估計(jì)法）。而新模型的OLS估計(jì)量則是原模型的GLS估計(jì)量。Var（GLS）= (X*X*)-1 =(XMMX)-1=(X-1X)-1（ Var（OLS）= (XX)-1XX(XX)-1 ）。由于變換后的模型(2)滿足經(jīng)典OLS 的所有假設(shè)，所以根據(jù)高斯-馬科夫定理可知， GLS估計(jì)量是BLUE （Best Linear Unbiased E

4、stimator）。雖然從理論上講，GLS比OLS有效，但由于多數(shù)情況下殘差序列的協(xié)方差矩陣未知，當(dāng)我們用代替GLS 估計(jì)式中的以獲得估計(jì)時(shí)，估計(jì)量雖然仍舊是一致的，但卻不是最好線性無(wú)偏估計(jì)。而且，也很難推導(dǎo)出估計(jì)量的小樣本性質(zhì)。繼而用White(1980)的異方差一致協(xié)方差估計(jì)方法（殘差序列有未知形式的異方差，但序列不相關(guān)）和Newey-West(1987) 的異方差-自相關(guān)一致協(xié)方差估計(jì)方法（有未知形式的異方差且自相關(guān)存在）得到修正的Var（OLS）是相對(duì)較好的選擇。（使用White或Newey-West異方差一致協(xié)方差估計(jì)不會(huì)改變參數(shù)的點(diǎn)估計(jì)，只改變參數(shù)估計(jì)的標(biāo)準(zhǔn)差。）White 協(xié)方差

5、矩陣公式為： 其中n是觀測(cè)值數(shù)，k是回歸變量數(shù)，ui是最小二乘殘差。Newey-West協(xié)方差矩陣公式為：其中， q是滯后截尾，一個(gè)用于評(píng)價(jià)OLS殘差 ui的動(dòng)態(tài)的自相關(guān)數(shù)目的參數(shù)。 二階段最小二乘法 （TSLS，Two stage least squares，Sargan（1958） 當(dāng)假設(shè)4不成立時(shí)，即隨機(jī)誤差項(xiàng)與某些解釋變量相關(guān)時(shí)，OLS和廣義LS都是有偏的和不一致的。 有幾種情況使右邊某些解釋變量與誤差項(xiàng)相關(guān)。如：在方程右邊有內(nèi)生決定變量，或右邊變量具有測(cè)量誤差。為簡(jiǎn)化起見，我們稱與殘差相關(guān)的變量為內(nèi)生變量，與殘差不相關(guān)的變量為外生變量。 解決解釋變量與隨機(jī)誤差項(xiàng)相關(guān)的方法是使用工具變

6、量回歸。就是要找到一組變量滿足下面兩個(gè)條件：（1）與內(nèi)生變量相關(guān)；（2）與殘差不相關(guān)；這些變量稱為工具變量。用這些工具變量來(lái)消除右邊解釋變量與擾動(dòng)項(xiàng)之間的相關(guān)性?？紤]工具變量時(shí)，應(yīng)注意以下問題： ）使用TSLS估計(jì)，方程說(shuō)明必需滿足識(shí)別的階條件，即工具變量的個(gè)數(shù)至少與方程的系數(shù)一樣多（Davidson & MacKinnon(1994)和Johnston & DiNardo(1997)）。 ）根據(jù)經(jīng)濟(jì)計(jì)量學(xué)理論，與擾動(dòng)項(xiàng)不相關(guān)的解釋變量可以用作工具變量。 ）常數(shù)c是一個(gè)合適的工具變量。 在二階段最小二乘估計(jì)中有兩個(gè)獨(dú)立的階段。在第一個(gè)階段中，找到內(nèi)生變量和工具變量。這個(gè)階段包括

7、估計(jì)模型中每個(gè)內(nèi)生變量關(guān)于工具變量的最小二乘回歸。第二個(gè)階段是對(duì)原始方程的回歸，所有內(nèi)生變量用第一個(gè)階段回歸得到的擬合值來(lái)代替。這個(gè)回歸的系數(shù)就是TSLS估計(jì)。 令Z為工具變量矩陣，y和X是因變量和解釋變量矩陣。則二階段最小二乘估計(jì)的系數(shù)由下式計(jì)算出來(lái)： 系數(shù)估計(jì)的協(xié)方差矩陣為： 其中是估計(jì)殘差的協(xié)方差矩陣。 廣義矩方法（GMM，Generalized Method of Moments，Hansen(1982)） 由于傳統(tǒng)的計(jì)量經(jīng)濟(jì)模型估計(jì)方法，例如普通最小二乘法、工具變量法、極大似然法等，都有它們的局限性，其參數(shù)估計(jì)量必須在模型滿足某些假設(shè)時(shí)才具有良好的性質(zhì)，而GMM估計(jì)是一個(gè)穩(wěn)健估計(jì)量，

8、因?yàn)樗灰髷_動(dòng)項(xiàng)的準(zhǔn)確分布信息，允許隨機(jī)誤差項(xiàng)存在異方差和序列相關(guān)，所得到的參數(shù)估計(jì)量比其他參數(shù)估計(jì)方法更合乎實(shí)際；而且可以證明，普通最小二乘法、工具變量法、極大似然法都是GMM的特例設(shè)模型為： 其中，zt為工具變量（1´L）。令，則L個(gè)矩條件為： 對(duì)應(yīng)的樣本矩條件為：等價(jià)于解方程： （3）當(dāng)存在L>K個(gè)工具變量時(shí)，共有L個(gè)矩方程，而只有K個(gè)未知參數(shù)。因此，根據(jù)MM方法，共有個(gè)組合，可以得到的矩估計(jì)量的個(gè)數(shù)為。這時(shí)，每個(gè)組合得到的MM估計(jì)量都不能滿足（3）式，即（3）式不會(huì)恰好為0。但可以考慮將各種不同的估計(jì)結(jié)果綜合起來(lái)，使（3）式最小化，即使得L個(gè)矩條件的平方和最小。因?yàn)椴?/p>

9、同矩的方差不同，因此更科學(xué)的方法是使用加權(quán)的平方和， GMM估計(jì)量是求下式的最優(yōu)解： 與GLS相類似，GMM方法中，目標(biāo)函數(shù)為各個(gè)矩的加權(quán)平方和，權(quán)數(shù)的選擇則要考慮各個(gè)矩的異方差和相關(guān)性。最優(yōu)權(quán)數(shù)即是各個(gè)矩的協(xié)方差矩陣的逆矩陣。 如果為一致估計(jì)量對(duì)應(yīng)的矩，則S的一致估計(jì)量為： 因此，最優(yōu)權(quán)數(shù)矩陣為： 其是WT的一致估計(jì)?；貧w系數(shù)顯著性t檢驗(yàn) H0: i=0 vs H1: i0檢驗(yàn)統(tǒng)計(jì)量： t= / std()White t檢驗(yàn)：t= / std(White)Newey-West t檢驗(yàn)：t= / std(N-W)參考文獻(xiàn)：Newey, W. K., West, K.D., A simple,

10、positive semi-dedinite, heteroskedasticity and autocorrelation consistent covariance matrix. Econometrica, 55,703-708.Sargan, T.D., 1958, The estimation of economic relationships using instrumental variables. Econometrica, 26, 393-415.White, H., 1980, Heteroskedasticity-consistent covaricnce matrix

11、estimator and a direct test for heteroskedasticity. Econometrica, 48, 817-838.White, H., 1980, Instrumental variables regression on cross-section data. San Diego: University of California Press.Hansen, L. P., Hodric, R. J., 1980, Forward exchange rates as optional predictors of future spot rate: an econometric analysis. The Journal of Political Economy, 5(88), 829-853.Hodric, R. J., 198