第七章多重共線性

1、第七章第七章 多重共線性多重共線性一、關于多重共線性對于模型 Yi=0+1X1i+2X2i+kXki+i i=1,2,n其基本假設之一是解釋變量是互相獨立的。如果某兩個或多個解釋變量之間出現(xiàn)了相關性，則稱為多重共線性(Multicollinearity)。如果存在 c1X1i+c2X2i+ckXki=0 i=1,2,n 其中: ci不全為0，則稱為解釋變量間存在則稱為解釋變量間存在完全共線完全共線性性（perfect multicollinearity）。如果存在 c1X1i+c2X2i+ckXki+vi=0 i=1,2,n 其中ci不全為0，vi為隨機誤差項，則稱為 近似共近似共線性線性（a

2、pproximate multicollinearity）或交互相關交互相關(intercorrelated)。注意：注意： 完全共線性的情況并不多見，一般出現(xiàn)的完全共線性的情況并不多見，一般出現(xiàn)的是在一定程度上的共線性，即近似共線性。是在一定程度上的共線性，即近似共線性。（1）多重共線性的性質(zhì)是什么？（2）多重共線性存在的原因及后果怎么樣？（3）在實際中，如何去發(fā)現(xiàn)多重共線性？（4）消除多重共線性的補救措施有哪些？例如在市場對雞肉的需求模型中：011223344iiiiiiYXXXXuYi為雞肉的平均需求量；X1為人均支配收入； X2為雞肉的價格； X3 ，X4分別為豬肉和牛肉的價格。以兩個

3、解釋變量X1，X2的線性回歸模型來考察多重共線性的問題 1、參數(shù)的估計（1）X1，X2是完全線性相關的，即二者的相關系數(shù)為1，則回歸分析不能進行。 7.1 多重共線性的性質(zhì)多重共線性的性質(zhì)（2）若X1，X2高度相關，r很大，接近于1，但只要不完全相關，則r 21，也就是1和2的估計值是存在的。多重共線性是一個程度問題若解釋變量兩兩之間完全不相關，則不存在該問題；若其中部分解釋變量之間完全相關，則根本不能用OLS進行回歸；若解釋變量之間存在一定程度的線性關系，則是本章所要解決的多重共線性的問題。 2.參數(shù)的方差因為估計值的方差為：22212221212()()iiiiixVarxxx x 221

4、22221212()()iiiiixVarxxx x 顯然偏回歸系數(shù)的估計值的方差與解釋變量之間相關程度成同方向變化。當X1與X2完全相關時方差為無窮大，完全不能回歸 ；相關性越強，分母越趨近于0一、多重共線性存在的原因一、多重共線性存在的原因1.經(jīng)濟變量之間固有的內(nèi)在聯(lián)系經(jīng)濟變量之間固有的內(nèi)在聯(lián)系，比如以生產(chǎn)函數(shù)為例：7.2 多重共線性存在的原因及后果多重共線性存在的原因及后果 YAK LY是產(chǎn)值，解釋變量是資金K與勞動力L資金規(guī)模和勞動力規(guī)模之間有著內(nèi)在的聯(lián)系截面數(shù)據(jù)中的多重共線性，多半是由經(jīng)濟變量之間的內(nèi)在聯(lián)系所產(chǎn)生的。 2.經(jīng)濟變量在時間上有同方向變動的趨勢。經(jīng)濟變量在時間上有同方向變

5、動的趨勢。 例如，經(jīng)濟繁榮時期，許多經(jīng)濟變量，如收入、消費、儲蓄、投資、就業(yè)等都隨著時間而趨向增長； 而在經(jīng)濟衰退時期，這些經(jīng)濟變量都趨向下降。在時間序列數(shù)據(jù)中，增長因素或趨向因素是造成多重共線性的主要原因。3.將某些解釋變量的滯后值作為單獨的新解釋將某些解釋變量的滯后值作為單獨的新解釋變量包含在模型中。變量包含在模型中。 例如，在消費函數(shù)中，解釋變量除了包含現(xiàn)期收入水平外，還包含上期的收入水平，而現(xiàn)期收入的一部分一般由前期值決定。 例如，投資函數(shù)中常常包含現(xiàn)期的期望產(chǎn)量和過去若干期的產(chǎn)量，作為解釋變量。 這類含有變量滯后值的模型稱為滯后模型滯后模型，變量的前后期之值自然是相互關聯(lián)的。幾乎可以

6、肯定滯后模型中是存在多重共線性的滯后模型中是存在多重共線性的。4.樣本資料的限制樣本資料的限制由于完全符合理論模型所要求的樣本數(shù)據(jù)較難收集，特定樣本可能存在某種程度的多重共線性。 一般經(jīng)驗一般經(jīng)驗： 時間序列數(shù)據(jù)時間序列數(shù)據(jù)樣本：簡單線性模型，往往存在多重共線性。 截面數(shù)據(jù)截面數(shù)據(jù)樣本：問題不那么嚴重，但多重共線性仍然是存在的。二、多重共線性的后果二、多重共線性的后果（一）完全共線性下的后果（一）完全共線性下的后果1.參數(shù)估計值不確定2.參數(shù)估計值的方差無限大（二）不完全多重共線性下的后果（二）不完全多重共線性下的后果 1.多重共線性的理論后果(1) 無偏性是一個重復抽樣的性質(zhì)。(2) 普通最

7、小二乘法估計量的方差最小，并不意味著在任何給定的樣本中普通最小二乘法估計量的方差會很小。 （3）多重共線性本質(zhì)上是一個樣本(回歸)現(xiàn)象。二、多重共線性的后果二、多重共線性的后果（一）完全共線性下的后果（一）完全共線性下的后果1.參數(shù)估計值不確定2.參數(shù)估計值的方差無限大（二）不完全多重共線性下的后果（二）不完全多重共線性下的后果 1.多重共線性的理論后果(1) 無偏性是一個重復抽樣的性質(zhì)。(2) 普通最小二乘法估計量的方差最小，并不意味著在任何給定的樣本中普通最小二乘法估計量的方差會很小。 （3）多重共線性本質(zhì)上是一個樣本(回歸)現(xiàn)象。2.實際后果實際后果（1）OLS的回歸系數(shù)方差和標準差較大

8、，且與解釋變量之間的線性相關呈同向變化。即雖即雖然然OLS估計式仍然是無偏估計，但這時估計估計式仍然是無偏估計，但這時估計式的方差會隨共線性程度的提高而增大。式的方差會隨共線性程度的提高而增大。如果估計量的標準差增加了，普通最小二乘法估計量的精確度就下降了。參數(shù)估計的精確性降低了，因而不能正確判斷各種解釋變量對被解釋變量的影響的大小。 仍以二元線性模型 y=1x1+2x2+ 為例: 2221221212221222122211121)(1/)()()var(iiiiiiiiiixxxxxxxxxxXX221211rxi2221221)(iiiixxxx恰為X1與X2的線性相關系數(shù)的平方r2由于

9、 r2 1，故 1/(1- r2 )1多重共線性使參數(shù)估計值的方差增大重共線性使參數(shù)估計值的方差增大，1/(1-r2)為方差膨脹因子方差膨脹因子(Variance Inflation Factor, VIF)當完全不共線完全不共線時, r2 =0 2121/)var(ix當近似共線近似共線時, 0 r2 15.19，故認上述糧食生產(chǎn)的總體線性關系顯著成立。 但X4 、X5 的參數(shù)未通過t檢驗，且符號不正確，故解釋變量間可能存在多重共線性解釋變量間可能存在多重共線性。54321028. 0098. 0166. 0421. 0213. 644.12816XXXXXY (-0.91) (8.39)

10、(3.32) (-2.81) (-1.45) (-0.14) 2 2、檢驗簡單相關系數(shù)、檢驗簡單相關系數(shù) 發(fā)現(xiàn)：發(fā)現(xiàn)： X1與X4間存在高度相關性。列出X1，X2，X3，X4，X5的相關系數(shù)矩陣：X1X2X3X4X5X11.000.010.640.960.55X20.011.00-0.45-0.040.18X30.64-0.451.000.690.36X40.96-0.040.691.000.45X50.550.180.360.451.00 3 3、找出最簡單的回歸形式、找出最簡單的回歸形式 可見，應選可見，應選第第1 1個式子個式子為初始的回歸模型。為初始的回歸模型。分別作Y與X1，X2，X

11、4，X5間的回歸：1576. 464.30867XY (25.58) (11.49) R2=0.8919 F=132.1 DW=1.562699. 018.33821XY (-0.49) (1.14) R2=0.075 F=1.30 DW=0.124380. 00 .31919XY (17.45) (6.68) R2=0.7527 F=48.7 DW=1.115240. 219.28259XY (-1.04) (2.66)R2=0.3064 F=7.07 DW=0.36 4 4、逐步回歸、逐步回歸 將其他解釋變量分別導入上述初始回歸模型，尋找最佳回歸方程。CX1X2X3X4X52RDWY=f(

12、X1)308684.230.88521.56 t 值25.5811.49Y=f(X1,X2)-438714.650.670.95582.01t 值-3.0218.475.16Y=f(X1,X2,X3)-119785.260.41-0.190.97521.53t 值0.8519.63.35-3.57Y=f(X1,X2,X3,X4)-130566.170.42-0.17-0.090.97751.80t 值-0.979.613.57-3.09-1.55Y=f(X1,X3,X4,X5)-126905.220.40-0.200.070.97981.55t 值-0.8717.853.02-3.470.37

13、 回歸方程以回歸方程以Y=f(Y=f(X1，X2，X3) )為最優(yōu)：為最優(yōu)： 5 5、結(jié)論、結(jié)論32119. 041. 026. 511978XXXY 嚴格地說，實際模型由于總存在一定程嚴格地說，實際模型由于總存在一定程度的共線性，所以每個參數(shù)估計量并不度的共線性，所以每個參數(shù)估計量并不 真正反映對應變量與被解釋變量之間的真正反映對應變量與被解釋變量之間的結(jié)構(gòu)關系。結(jié)構(gòu)關系。 當模型存在共線性，將某個共線性變量去當模型存在共線性，將某個共線性變量去掉，剩余變量的參數(shù)估計結(jié)果將發(fā)生變化，掉，剩余變量的參數(shù)估計結(jié)果將發(fā)生變化，而且經(jīng)濟含義有發(fā)生變化；而且經(jīng)濟含義有發(fā)生變化；7.1 什么是經(jīng)濟變量之間的多重共線性？試舉例說明。7.2 多重共線性的實際后果是什么？7.3 什么是方差膨脹因子？VIF的最小可能值和最大可能值分別是多少？ 思考題 7.6 補全下列各句話。（1）在存在接近多重共線性的情況下，回歸系數(shù)的標準差會趨于 而t值會趨向于 。 （2）在存在完全多重共線性的情況下，普通最小二乘估計量是 ，其方差 。 （3）在其他情況不變條件下，VIF越高，則普通