第4章第2節(jié)多重共線性問題

4.3多重共線性

Multi-Collinearity一、多重共線性的概念二、多重共線性的后果三、多重共線性的檢驗四、克服多重共線性的方法五、案例

一、多重共線性

1.概念對于模型

Yi=0+1X1i+2X2i++kXki+i

i=1,2,…,n

其基本假設(shè)之一是解釋變量之間不存在完全共線性。如果某兩個或多個解釋變量之間出現(xiàn)了相關(guān)性,則稱為多重共線性(Multicollinearity)。如果存在

c1X1i+c2X2i+…+ckXki=0i=1,2,…,n

其中:ci

不全為0，則稱為解釋變量間存在完全共線性（perfectmulticollinearity）。如果存在

c1X1i+c2X2i+…+ckXki+vi=0i=1,2,…,n

其中ci不全為0，vi為隨機(jī)誤差項，則稱為近似共線性(approximatemulticollinearity)或交互相關(guān)(intercorrelated)。在矩陣表示的線性回歸模型

Y=X+

中，完全共線性指：秩(X)<k+1，即中，至少有一列向量可由其他列向量（不包括第一列）線性表出。如：X2=X1，則X2對Y的作用可由X1代替。2.實際經(jīng)濟(jì)問題中的多重共線性

（1）經(jīng)濟(jì)變量相關(guān)的共同趨勢

時間序列樣本：經(jīng)濟(jì)繁榮時期，各基本經(jīng)濟(jì)變量（收入、消費、投資、價格）都趨于增長；衰退時期，又同時趨于下降。

橫截面數(shù)據(jù)：生產(chǎn)函數(shù)中，資本投入與勞動力投入往往出現(xiàn)高度相關(guān)情況，大企業(yè)二者都大，小企業(yè)都小。

（2）滯后變量的引入在經(jīng)濟(jì)計量模型中，往往需要引入滯后經(jīng)濟(jì)變量來反映真實的經(jīng)濟(jì)關(guān)系。

例如，消費=f(當(dāng)期收入,前期消費）

（3）樣本資料的限制

一般經(jīng)驗：

時間序列數(shù)據(jù)樣本：簡單線性模型，往往存在多重共線性。

截面數(shù)據(jù)樣本：問題不那么嚴(yán)重，但多重共線性仍然是存在的。二、多重共線性的后果

1.完全共線性下參數(shù)估計量不存在

如果存在完全共線性，則(X'X)-1不存在，無法得到參數(shù)的估計量。的OLS估計量為：前提條件是什么？例：對離差形式表示的二元回歸模型如果兩個解釋變量完全相關(guān)，如x2=x1，則這時，只能確定綜合參數(shù)1+2的估計值：

2.近似共線性下OLS估計量方差增大近似共線性下，可以得到OLS參數(shù)估計量，但參數(shù)估計量方差的表達(dá)式為由于|X'X|0，引起(X'X)-1主對角線元素較大，使OLS參數(shù)估計量方差增大。以二元線性模型

y=1x1+2x2+為例:為X1與X2的線性相關(guān)系數(shù)的平方r2r201X1和X2不相關(guān)X1和X2完全相關(guān)多重共線性使參數(shù)估計值的方差增大，1/(1-r2)為方差膨脹因子(VarianceInflationFactor,VIF)當(dāng)完全不共線時,r2

=0

當(dāng)近似共線時,0<

r2

<1當(dāng)完全共線時，r2=1，方差膨脹因子表

3.參數(shù)估計量經(jīng)濟(jì)含義不合理如果模型中兩個解釋變量具有某種程度的線性相關(guān)性：

這時，X1和X2前的參數(shù)1、2并不反映各自與被解釋變量之間的結(jié)構(gòu)關(guān)系，而是反映它們對被解釋變量的共同影響。

1、2失去了應(yīng)有的經(jīng)濟(jì)含義，經(jīng)常表現(xiàn)出似乎反常的現(xiàn)象：例如1本來應(yīng)該是正的，結(jié)果恰是負(fù)的。4.變量的顯著性檢驗效果不理想存在多重共線性時參數(shù)估計值的方差與標(biāo)準(zhǔn)差變大容易使通過樣本計算的t

值小于臨界值，誤導(dǎo)作出參數(shù)為0的推斷可能將重要的解釋變量排除在模型之外5.模型的預(yù)測效果不理想變大的方差容易使區(qū)間預(yù)測的“區(qū)間”變大，使預(yù)測失去意義。問題：能否說，如果存在完全共線性，預(yù)測值的置信區(qū)間為(-∞，+∞)？

多重共線性檢驗的任務(wù)：（1）檢驗多重共線性是否存在；（2）估計多重共線性的范圍，即判斷哪些變量之間存在共線性。

多重共線性的檢驗方法主要是統(tǒng)計方法：如判定系數(shù)檢驗法、逐步回歸檢驗法等。三、多重共線性的檢驗1.檢驗多重共線性是否存在

(1)對兩個解釋變量的模型,采用簡單相關(guān)系數(shù)法求出X1與X2的簡單相關(guān)系數(shù)r，若|r|接近1，則說明兩變量存在較強的多重共線性。

(2)對多個解釋變量的模型,采用綜合統(tǒng)計檢驗法若在OLS法下：R2與F值較大，但t檢驗值較小，為什么？若在OLS法下：R2與F值較大，但t檢驗值較小，說明各解釋變量對Y的聯(lián)合線性作用顯著，但各解釋變量間存在共線性而使得它們對Y的獨立作用不能分辨，故t檢驗不顯著。DependentVariable:YIncludedobservations:18VariableCoefficientStd.Errort-StatisticProb.

C-12815.7514078.90-0.9102800.3806X16.2125620.7408818.3853730.0000X20.4213800.1269253.3199190.0061X3-0.1662600.059229-2.8070650.0158X4-0.0977700.067647-1.4452990.1740X5-0.0284250.202357-0.1404710.8906R-squared0.982798

Meandependentvar44127.11AdjustedR-squared0.975630

S.D.dependentvar4409.100S.E.ofregression688.2984

Akaikeinfocriterion16.16752Sumsquaredresid5685056.

Schwarzcriterion16.46431Loglikelihood-139.5077

Hannan-Quinncriter.16.20845F-statistic137.1164

Durbin-Watsonstat1.810512Prob(F-statistic)0.0000002.判明存在多重共線性的范圍

(1)判定系數(shù)檢驗法使模型中每一個解釋變量分別以其余解釋變量為解釋變量進(jìn)行回歸，并計算相應(yīng)的擬合優(yōu)度。如果某一回歸

Xji=1X1i+2X2i+lXli+vi

的可決系數(shù)較大,說明Xj與其他X間存在共線性。進(jìn)一步對上述出現(xiàn)較大判定系數(shù)回歸方程作F檢驗：式中：Rj?2為第j個解釋變量對其他解釋變量的回歸方程的可決系數(shù)。若存在較強的共線性，則Rj?2較大且接近于1，這時（1-Rj?2

）較小，從而Fj的值較大。

下一步如何判斷？構(gòu)造如下F統(tǒng)計量在模型中排除某一個解釋變量Xj，估計模型；如果擬合優(yōu)度與包含Xj時十分接近，則說明Xj與其它解釋變量之間存在共線性。另一與判定系數(shù)法等價的檢驗:(2)逐步回歸法以Y為被解釋變量，逐個引入解釋變量，構(gòu)成回歸模型，進(jìn)行模型估計。

根據(jù)擬合優(yōu)度的變化決定新引入的變量是否獨立。

如果擬合優(yōu)度變化顯著，則說明新引入的變量是一個獨立解釋變量；

如果擬合優(yōu)度變化很不顯著，則說明新引入的變量與其它變量之間存在共線性關(guān)系。找出引起多重共線性的解釋變量,將它排除出去。以逐步回歸法得到最廣泛的應(yīng)用。注意：慎重對待排除法；采用這種方法要注意，剩余解釋變量參數(shù)的經(jīng)濟(jì)含義和數(shù)值都發(fā)生了變化。四、克服多重共線性的方法

1、第一類方法：排除引起共線性的變量

2.第二類方法：差分法時間序列數(shù)據(jù)、線性模型：將原模型變換為差分模型:Yi=1X1i+2X2i++kXki+i

可以相對有效地消除原模型中的多重共線性。

一般講，增量之間的線性關(guān)系遠(yuǎn)比總量之間的線性關(guān)系弱得多。例如:中國GDP與居民消費C的總量與增量數(shù)據(jù)YearGDPCONSCONS/GDPΔGDPΔCONSΔCONS/ΔGDP1980NA2976NANANANA1981490133090.675168NA333NA1982548936380.662785883290.5595241983607640210.6617845873830.652471984716446940.65522110886730.6185661985879257730.65662162810790.66277619861013365420.64561313417690.57345319871178474510.63229816519090.55057519881470493600.636561292019090.653767198916466105560.641079176211960.678774199018320113620.62019718548060.434736199121280131460.617763296017840.602703199225864159520.616765458428060.612129199334501201820.584969863742300.489753199447111272160.5776991261070340.557811199559405345290.5812471229473130.594843199668498401720.58647909356430.620587

由表中的比值可以直觀地看到，增量的線性關(guān)系弱于總量之間的線性關(guān)系，可以部分克服共線性的問題。

進(jìn)一步分析：

GDP與CONS(-1)之間的可決系數(shù)為0.988，△GDP與△CONS(-1)之間的可決系數(shù)為0.846

一般認(rèn)為，兩個變量之間的可決系數(shù)大于0.8時，二者之間存在強烈的線性關(guān)系。

原模型和差分模型經(jīng)過檢驗都具有多重共線性，但程度不同。3.第三類方法：減小參數(shù)估計量的方差**

多重共線性的主要后果是參數(shù)估計量具有較大的方差，所以采取適當(dāng)方法減小參數(shù)估計量的方差，雖然沒有消除模型中的多重共線性，但確能相對消除多重共線性造成的后果。例如：①增加樣本容量，可使參數(shù)估計量的方差減小。*②嶺回歸法（RidgeRegression）*②嶺回歸法（RidgeRegression）嶺回歸法，以引入偏誤為代價減小參數(shù)估計量的方差。具體方法是：引入矩陣D，使參數(shù)估計量為其中矩陣D一般選擇為主對角陣，即

D=aI

a為大于0的常數(shù)。顯然，與未含D的參數(shù)B的估計量相比，(*)式的估計量有較小的方差。五、案例:中國糧食生產(chǎn)函數(shù)根據(jù)理論和經(jīng)驗分析，影響糧食生產(chǎn)（Y）的主要因素有：農(nóng)業(yè)化肥施用量（X1）；糧食播種面積(X2)

成災(zāi)面積(X3)；農(nóng)業(yè)機(jī)械總動力(X4);

農(nóng)業(yè)勞動力(X5)已知中國糧食生產(chǎn)的相關(guān)數(shù)據(jù)，建立中國糧食生產(chǎn)函數(shù)：Y=0+1X1+2X2+3X3

+4X4

+4X5

+中國糧食生產(chǎn)與相關(guān)投入資料情況表DependentVariable:YIncludedobservations:18VariableCoefficientStd.Errort-StatisticProb.

C-12815.7514078.90-0.9102800.3806X16.2125620.7408818.3853730.0000X20.4213800.1269253.3199190.0061X3-0.1662600.059229-2.8070650.0158X4-0.0977700.067647-1.4452990.1740X5-0.0284250.202357-0.1404710.8906R-squared0.982798

Meandependentvar44127.11AdjustedR-squared0.975630

S.D.dependentvar4409.100S.E.ofregression688.2984

Akaikeinfocriterion16.16752Sumsquaredresid5685056.

Schwarzcriterion16.46431Loglikelihood-139.5077

Hannan-Quinncriter.16.20845F-statistic137.1164

Durbin-Watsonstat1.810512Prob(F-statistic)0.000000

1.用OLS法估計上述模型：

R2接近于1；

給定=5%，查得F臨界值F0.05(5,12)=3.11

F=137.11>3.11故認(rèn)上述糧食生產(chǎn)的總體線性關(guān)系顯著成立。但X4

、X5

的參數(shù)未通過t檢驗，且符號不正確，故解釋變量間可能存在多重共線性。

(-0.91)(8.39)(3.32)(-2.81)(-1.45)(-0.14)X1X2X3X4X5X11.000.010.640.960.55X20.011.