計量經(jīng)濟學(xué)第四章3多重共線性

1、 一、多重共線性的概念一、多重共線性的概念 對于模型：對于模型： Y Yi i= = 0 0+ + 1 1X X1i1i+ + 2 2X X2i2i+ + + k kX Xkiki+ + i i i=1,2,ni=1,2,n 其基本假設(shè)之一是解釋變量之間是互不相關(guān)的。其基本假設(shè)之一是解釋變量之間是互不相關(guān)的。如果存在不全為如果存在不全為0 0的數(shù)的數(shù)c c1 1、c c2 2、c ck k，使，使 c c1 1X X1i1i+ +c c2 2X X2i2i+c ck kX Xkiki=0=0 i i=1,2,=1,2,n n 即：某個解釋變量完全可以由其它解釋變量的線性組合來表示即：某個解釋變

2、量完全可以由其它解釋變量的線性組合來表示 則稱為解釋變量間存在則稱為解釋變量間存在完全共線性完全共線性（perfect multicollinearityperfect multicollinearity）。）。 完全共線性與近似共線性完全共線性與近似共線性如果存在不全為如果存在不全為0 0的數(shù)的數(shù)c c1 1、c c2 2、c ck k，使，使 c c1 1X X1i1i+ +c c2 2X X2i2i+c ck kX Xkiki+ +v vi i=0=0 i i=1,2,=1,2,n n 即：某個解釋變量近似地可以由其它解釋變量的線性組合來表示即：某個解釋變量近似地可以由其它解釋變量的線性

3、組合來表示 則稱為解釋變量間存在則稱為解釋變量間存在近似共線性近似共線性（approximate multicollinearityapproximate multicollinearity） 。 共線性示例共線性示例X1X2X31050521575751890972412012930150152 X2=5X1 X2=5X1 完全共線性完全共線性 X3=5X1+V X3=5X1+V 近似共線性近似共線性knnnkkXXXXXXXXXX212221212111111 完全共線性下，完全共線性下，X X中至少有一列向量可由其他列向量（不包括第一列）中至少有一列向量可由其他列向量（不包括第一列）線性

4、表出，線性表出，這意味著：這意味著：秩秩(X)(X) X X非列滿秩非列滿秩 (XX)(XX)不滿秩不滿秩 (XX)(XX)-1-1 不存在不存在 無法得到參數(shù)的估計量。無法得到參數(shù)的估計量。XY的OLS估計量為：YXXX1)(例：例：對對離差形式離差形式的二元回歸模型的二元回歸模型如果兩個解釋變量完全相關(guān)，如如果兩個解釋變量完全相關(guān)，如x x2 2= = x x1 1，則，則這時，只能確定綜合參數(shù)這時，只能確定綜合參數(shù) 1 1+ +2 2的估計值：的估計值：這一后果的實際意義是：這一后果的實際意義是：無法得到回歸系數(shù)的唯一解無法得到回歸系數(shù)的唯一解，但可以得到這些，但可以得到這些系數(shù)的線性組

5、合的唯一解系數(shù)的線性組合的唯一解Y= 0+ 1X1+ 2X2+ Y= 0+( 1+ 2) X1+ 2 2、近似共線性下解釋變量的單獨作用無法區(qū)分、近似共線性下解釋變量的單獨作用無法區(qū)分實際問題中的直接表現(xiàn)是：模型的回歸系數(shù)經(jīng)常表現(xiàn)出實際問題中的直接表現(xiàn)是：模型的回歸系數(shù)經(jīng)常表現(xiàn)出反常的現(xiàn)象！反常的現(xiàn)象！ 例如例如 1 1本來應(yīng)該是正的，結(jié)果卻是負(fù)的。本來應(yīng)該是正的，結(jié)果卻是負(fù)的。 經(jīng)驗表明，經(jīng)驗表明，如果存在這種反常情形，應(yīng)該首先懷疑多重共線性。如果存在這種反常情形，應(yīng)該首先懷疑多重共線性。 經(jīng)典假設(shè)下，回歸系數(shù)經(jīng)典假設(shè)下，回歸系數(shù)jj表達(dá)了在其它解釋變量不變的情形下，表達(dá)了在其它解釋變量不變

6、的情形下，XjXj對對Y Y的的單獨作用（凈影響）單獨作用（凈影響） 如果模型中兩個解釋變量具有線性相關(guān)性，例如如果模型中兩個解釋變量具有線性相關(guān)性，例如X X2 2= = X X1 1 ，這時，這時，X X1 1和和X X2 2前的參數(shù)前的參數(shù) 1 1、 2 2并不反映各自與被解釋變量之間的結(jié)構(gòu)關(guān)系，而是并不反映各自與被解釋變量之間的結(jié)構(gòu)關(guān)系，而是反映它們對被解釋變量的反映它們對被解釋變量的共同影響共同影響 從而解釋變量的單獨作用無法無區(qū)分，從而解釋變量的單獨作用無法無區(qū)分， 1 1、 2 2失去了應(yīng)有的經(jīng)濟含義失去了應(yīng)有的經(jīng)濟含義3 3、近似共線性下、近似共線性下OLSOLS估計量的方差變

7、大估計量的方差變大近似共線性下，可以得到近似共線性下，可以得到OLSOLS參數(shù)估計量，并且可以證明，此時參數(shù)參數(shù)估計量，并且可以證明，此時參數(shù)估計量依然滿足線性、無偏和有效性，即估計量依然滿足線性、無偏和有效性，即OLSOLS依然是依然是BLUEBLUE但是，此時但是，此時參數(shù)估計量的方差會增大參數(shù)估計量的方差會增大。參數(shù)估計量。參數(shù)估計量方差方差的表達(dá)式為的表達(dá)式為由于由于|XX|XX| 0 0，引起，引起(XX) (XX) -1-1主對角線元素較大，使參數(shù)估計值的方主對角線元素較大，使參數(shù)估計值的方差增大差增大12)()(XXCov這意味著：這意味著： （1 1）無法精確的估計參數(shù)（以較高

8、的精度估計參數(shù)）無法精確的估計參數(shù)（以較高的精度估計參數(shù)） （2 2）基于參數(shù)估計量的標(biāo)準(zhǔn)差的變量顯著性檢驗失效）基于參數(shù)估計量的標(biāo)準(zhǔn)差的變量顯著性檢驗失效以二元線性模型以二元線性模型 Y=Y= 0 0+ + 1 1X X1 1+ + 2 2X X2 2+ + 為例為例: : 2221221212221222122211121)(1/)()()var(iiiiiiiiiixxxxxxxxxxXX2221221)(iiiixxxx恰為恰為X X1 1與與X X2 2的線性相關(guān)系數(shù)的平方的線性相關(guān)系數(shù)的平方r r2 2由于由于 0 0 r r2 2 1 1，故，故 1/(1- r1/(1- r2

9、2 ) ) 1 1212211var()1ixr 方差膨脹因子方差膨脹因子 (Variance Inflation Factor, (Variance Inflation Factor, VIFVIF) )顯然：多重共線性的存在使得參數(shù)估計值的方差增大，其增加的倍數(shù)可以顯然：多重共線性的存在使得參數(shù)估計值的方差增大，其增加的倍數(shù)可以采用采用1/(1-r1/(1-r2 2) )衡量衡量當(dāng)當(dāng)完全不共線完全不共線時時, , r r2 2 =0=0 2121/)var(ix當(dāng)當(dāng)近似共線近似共線時時, , 00 r r2 2 10.80.8，比較嚴(yán)重，比較嚴(yán)重 0.90.9，非常嚴(yán)重，非常嚴(yán)重 若在若在

10、OLSOLS法下法下，出現(xiàn)以下現(xiàn)象，則可能意味著共線性的存，出現(xiàn)以下現(xiàn)象，則可能意味著共線性的存在：在： a a、系數(shù)估計值的符號不合常理；系數(shù)估計值的符號不合常理； b b、R R2 2與與F F值較大，方程具有顯著性，但各參數(shù)估計值的值較大，方程具有顯著性，但各參數(shù)估計值的t t檢檢驗值均較小，多個解釋變量并不顯著驗值均較小，多個解釋變量并不顯著 說明各解釋變量對說明各解釋變量對Y Y的聯(lián)合線性作用顯著，但各解釋變的聯(lián)合線性作用顯著，但各解釋變量間存在共線性而使得它們對量間存在共線性而使得它們對Y Y的獨立作用不能分辨，故的獨立作用不能分辨，故t t檢檢驗不顯著。驗不顯著。 2 2、經(jīng)驗判

11、斷法、經(jīng)驗判斷法 將每個解釋變量將每個解釋變量X Xi i對其它解釋變量對其它解釋變量X Xj j進(jìn)行回歸，進(jìn)行回歸， 觀察其擬合優(yōu)度觀察其擬合優(yōu)度R R2 2和和F F檢驗值，如果某個檢驗值，如果某個R Ri i2 2接近接近1 1，F(xiàn) Fi i顯著超出臨界值，則表明該顯著超出臨界值，則表明該X Xi i與其它解釋變量存在與其它解釋變量存在多重共線性。多重共線性。 3 3、輔助回歸檢驗法、輔助回歸檢驗法 計算每個回歸系數(shù)的計算每個回歸系數(shù)的VIFVIF或或TOLTOL 方差膨脹因子越大（或容忍度越小），表明模型的多重方差膨脹因子越大（或容忍度越小），表明模型的多重共線性越強。共線性越強。 當(dāng)

12、當(dāng)VIF5VIF5或或VIF10VIF10時，認(rèn)為存在較嚴(yán)重的多重共線性。時，認(rèn)為存在較嚴(yán)重的多重共線性。 4 4、方差膨脹因子和容忍度（、方差膨脹因子和容忍度（VIF&TOLVIF&TOL）211jjVIFR 21jjTOLR模型存在較嚴(yán)重的多重共線性時，模型存在較嚴(yán)重的多重共線性時， |XX| 0|XX| 0，由線性代數(shù)，若，由線性代數(shù)，若 1 1,k k1 1為矩陣為矩陣XXXX的特征值，則：的特征值，則：|XX|= |XX|= 1 1 k k1 1 00表明，特征值中至少有一個接近于表明，特征值中至少有一個接近于0 0。因此可利用矩陣。因此可利用矩陣XXXX的特征值檢的特征值檢驗多重共

13、線性。驗多重共線性。 條件指數(shù)（病態(tài)數(shù)）條件指數(shù)（病態(tài)數(shù)）CN(ConditionalCN(Conditional Number) Number) CN= CN=最大特征值最大特征值/ /最小特征值最小特征值 maxmax/ / minmin 病態(tài)指數(shù)病態(tài)指數(shù)CICI（Conditional IndexConditional Index）：）：CI=SQRT(CN)CI=SQRT(CN) CN CN和和CICI均反映了特征值的離散程度，數(shù)值越大表明多重共線性越嚴(yán)重均反映了特征值的離散程度，數(shù)值越大表明多重共線性越嚴(yán)重 5 5、特征值檢驗法、特征值檢驗法 在模型中排除某一個解釋變量在模型中排除某

14、一個解釋變量X Xj j，估計模型，估計模型； 如果擬合優(yōu)度與包含如果擬合優(yōu)度與包含X Xj j時十分接近，則說明時十分接近，則說明X Xj j與其它解釋與其它解釋變量之間存在共線性。變量之間存在共線性。 6 6、剔除檢驗法、剔除檢驗法 以以Y Y為被解釋變量，逐個引入解釋變量，構(gòu)成回歸模型，為被解釋變量，逐個引入解釋變量，構(gòu)成回歸模型，進(jìn)行模型估計，根據(jù)擬合優(yōu)度的變化決定新引入的變量是否進(jìn)行模型估計，根據(jù)擬合優(yōu)度的變化決定新引入的變量是否獨立。獨立。 如果擬合優(yōu)度變化顯著如果擬合優(yōu)度變化顯著，則說明新引入的變量是一個獨立，則說明新引入的變量是一個獨立解釋變量；解釋變量； 如果擬合優(yōu)度變化很不

15、顯著如果擬合優(yōu)度變化很不顯著，則說明新引入的變量與其它，則說明新引入的變量與其它變量之間存在共線性關(guān)系。變量之間存在共線性關(guān)系。 7 7、引入檢驗法、引入檢驗法找出引起多重共線性的解釋變量，將它排除出去。找出引起多重共線性的解釋變量，將它排除出去。以以逐步回歸法逐步回歸法得到最廣泛的應(yīng)用。得到最廣泛的應(yīng)用。注意：注意：這時，剩余解釋變量參數(shù)的經(jīng)濟含義和數(shù)值都發(fā)生了變化這時，剩余解釋變量參數(shù)的經(jīng)濟含義和數(shù)值都發(fā)生了變化如果模型被檢驗證明存在多重共線性，則需要發(fā)展新的如果模型被檢驗證明存在多重共線性，則需要發(fā)展新的方法估計模型，最常用的方法有三類。方法估計模型，最常用的方法有三類。 四、克服多重共

16、線性的方法四、克服多重共線性的方法 1 1、第一類方法：排除引起共線性的變量、第一類方法：排除引起共線性的變量 2 2、第二類方法：差分法、第二類方法：差分法時間序列數(shù)據(jù)、線性模型：將原模型變換為差分模型時間序列數(shù)據(jù)、線性模型：將原模型變換為差分模型: : Y Yi i= = 1 1 X X1i1i+ + 2 2 X X2i2i+ + + k k X Xkiki+ + i i可以有效地消除原模型中的多重共線性?？梢杂行У叵Ｐ椭械亩嘀毓簿€性。 一般講，增量之間的線性關(guān)系遠(yuǎn)比總量之間的線性關(guān)系弱一般講，增量之間的線性關(guān)系遠(yuǎn)比總量之間的線性關(guān)系弱得多得多。表表 4.3 .2 中中 國國 G D

17、 P 與與 居居 民民 消消 費費 C 的的 總總 量量 與與 增增 量量 數(shù)數(shù) 據(jù)據(jù) （ 億億 元元 ）年 份CYC / Y C Y C / Y1 9 7 81 7 5 9 . 13 6 0 5 . 60 . 4 8 81 9 7 92 0 0 5 . 44 0 7 4 . 00 . 4 9 22 4 6 . 34 6 8 . 40 . 5 2 61 9 8 02 3 1 7 . 14 5 5 1 . 30 . 5 0 93 1 1 . 74 7 7 . 30 . 6 5 31 9 8 12 6 0 4 . 14 9 0 1 . 40 . 5 3 12 8 7 . 03 5 0 . 10 .

18、 8 2 01 9 8 22 8 6 7 . 95 4 8 9 . 20 . 5 2 22 6 3 . 85 8 7 . 80 . 4 4 91 9 8 33 1 8 2 . 56 0 7 6 . 30 . 5 2 43 1 4 . 65 8 7 . 10 . 5 3 61 9 8 43 6 7 4 . 57 1 6 4 . 40 . 5 1 34 9 2 . 01 0 8 8 . 10 . 4 5 21 9 8 54 5 8 9 . 08 7 9 2 . 10 . 5 2 29 1 4 . 51 6 2 7 . 70 . 5 6 21 9 8 65 1 7 5 . 01 0 1 3 2 .8

19、0 . 5 1 15 8 6 . 01 3 4 0 . 70 . 4 3 71 9 8 75 9 6 1 . 21 1 7 8 4 .70 . 5 0 67 8 6 . 21 6 5 1 . 90 . 4 7 61 9 8 87 6 3 3 . 11 4 7 0 4 .00 . 5 1 91 6 7 1 . 92 9 1 9 . 30 . 5 7 31 9 8 98 5 2 3 . 51 6 4 6 6 .00 . 5 1 88 9 0 . 41 7 6 2 . 00 . 5 0 51 9 9 09 1 1 3 . 21 8 3 1 9 .50 . 4 9 75 8 9 . 71 8 5 3

20、. 50 . 3 1 81 9 9 11 0 3 1 5 .92 1 2 8 0 .40 . 4 8 51 2 0 2 . 72 9 6 0 . 90 . 4 0 61 9 9 21 2 4 5 9 .82 5 8 6 3 .70 . 4 8 22 1 4 3 . 94 5 8 3 . 30 . 4 6 81 9 9 31 5 6 8 2 .43 4 5 0 0 .70 . 4 5 53 2 2 2 . 68 6 3 7 . 00 . 3 7 31 9 9 42 0 8 0 9 .84 6 6 9 0 .70 . 4 4 65 1 2 7 . 41 2 1 9 0 .00 . 4 2 11 9

21、 9 52 6 9 4 4 .55 8 5 1 0 .50 . 4 6 16 1 3 4 . 71 1 8 1 9 .80 . 5 1 91 9 9 63 2 1 5 2 .36 8 3 3 0 .40 . 4 7 15 2 0 7 . 89 8 1 9 . 90 . 5 3 01 9 9 73 4 8 5 4 .67 4 8 9 4 .20 . 4 6 52 7 0 2 . 36 5 6 3 . 80 . 4 1 21 9 9 83 6 9 2 1 .17 9 0 0 3 .30 . 4 6 72 0 6 6 . 54 1 0 9 . 10 . 5 0 31 9 9 93 9 3 3 4 .

22、48 2 6 7 3 .10 . 4 7 62 4 1 3 . 33 6 6 9 . 80 . 6 5 82 0 0 04 2 9 1 1 .98 9 1 1 2 .50 . 4 8 23 5 7 7 . 56 4 3 9 . 40 . 5 5 6由表中的比值可以直觀地看到：由表中的比值可以直觀地看到：增量的線性關(guān)系弱于總量之間的線性關(guān)系增量的線性關(guān)系弱于總量之間的線性關(guān)系。進(jìn)一步分析：進(jìn)一步分析： Y Y與與C(-1)C(-1)之間的判定系數(shù)為之間的判定系數(shù)為0.99880.9988， Y Y與與C(-1)C(-1)之間的判定系數(shù)為之間的判定系數(shù)為0.9567 0.9567 3 3、第三類方

23、法：減小參數(shù)估計量的方差、第三類方法：減小參數(shù)估計量的方差 多重共線性的主要后果是參數(shù)估計量具有較大的方差多重共線性的主要后果是參數(shù)估計量具有較大的方差 所以采取適當(dāng)方法減小參數(shù)估計量的方差，雖然沒有消除所以采取適當(dāng)方法減小參數(shù)估計量的方差，雖然沒有消除模型中的多重共線性，但確能消除多重共線性造成的后果。模型中的多重共線性，但確能消除多重共線性造成的后果。 嶺回歸法嶺回歸法是其中的代表是其中的代表 # # 嶺回歸法（嶺回歸法（Ridge RegressionRidge Regression） 70 70年代發(fā)展的嶺回歸法，年代發(fā)展的嶺回歸法，以引入偏誤為代價減小參數(shù)估計量的方差以引入偏誤為代價

24、減小參數(shù)估計量的方差，受到人們的重視。受到人們的重視。 具體方法是：引入矩陣具體方法是：引入矩陣DD，使參數(shù)估計量為，使參數(shù)估計量為 其中矩陣其中矩陣DD一般選擇為主對角陣，即一般選擇為主對角陣，即 D=aID=aI （a0a0）YXDXX1)(（*） 顯然，與未含顯然，與未含DD的參數(shù)的參數(shù)B B的估計量相比，的估計量相比，( (* *) )式的估計量有較小的方差。式的估計量有較小的方差。 # # 對多重共線性處理的說明對多重共線性處理的說明 多重共線性在本質(zhì)上是一種樣本現(xiàn)象，因此增大樣本容量可以視為多重共線性在本質(zhì)上是一種樣本現(xiàn)象，因此增大樣本容量可以視為一個根本性的解決方法一個根本性的解

25、決方法 多重共線性的主要后果是增大估計量的方差，從而導(dǎo)致無法精確的多重共線性的主要后果是增大估計量的方差，從而導(dǎo)致無法精確的估計參數(shù)，而參數(shù)估計量的性質(zhì)并未因此改變估計參數(shù)，而參數(shù)估計量的性質(zhì)并未因此改變 因此，只要是參數(shù)估計量的方差較小，因此，只要是參數(shù)估計量的方差較小，t t統(tǒng)計量較大，就沒有必要過統(tǒng)計量較大，就沒有必要過度關(guān)注多重共線性的問題度關(guān)注多重共線性的問題 特別地，如果模型的主要目的在于預(yù)測，那么即便存在嚴(yán)重的多重特別地，如果模型的主要目的在于預(yù)測，那么即便存在嚴(yán)重的多重共線性，也并不會過度妨礙模型的預(yù)測性共線性，也并不會過度妨礙模型的預(yù)測性 六、案例六、案例（中國糧食生產(chǎn)函數(shù)）

26、（中國糧食生產(chǎn)函數(shù)） 根據(jù)理論和經(jīng)驗分析，影響糧食生產(chǎn)（根據(jù)理論和經(jīng)驗分析，影響糧食生產(chǎn)（Y Y）的主要因素有：）的主要因素有： 農(nóng)業(yè)化肥施用量（農(nóng)業(yè)化肥施用量（X X1 1）；）； 糧食播種面積糧食播種面積( (X X2 2) ) 成災(zāi)面積成災(zāi)面積( (X X3 3); ); 農(nóng)業(yè)機械總動力農(nóng)業(yè)機械總動力( (X X4 4); ); 農(nóng)業(yè)勞動力農(nóng)業(yè)勞動力( (X X5 5) ) 已知中國糧食生產(chǎn)的相關(guān)數(shù)據(jù)，建立中國糧食生產(chǎn)函數(shù)：已知中國糧食生產(chǎn)的相關(guān)數(shù)據(jù)，建立中國糧食生產(chǎn)函數(shù)： Y=Y= 0 0+ + 1 1 X X1 1 + + 2 2 X X2 2 + + 3 3 X X3 3 + +

27、4 4 X X4 4 + + 4 4 X X5 5 + + 表表 4.3.3 中中國國糧糧食食生生產(chǎn)產(chǎn)與與相相關(guān)關(guān)投投入入資資料料年份糧食產(chǎn)量Y(萬噸)農(nóng)業(yè)化肥施用量1X（萬公斤）糧食播種面積2X（千公頃）受災(zāi)面積3X（公頃）農(nóng)業(yè)機械總動力4X（萬千瓦）農(nóng)業(yè)勞動力5X（萬人）1983387281659.811404716209.31802231645.11984407311739.811288415264.01949731685.01985379111775.810884522705.32091330351.51986391511930.611093323656.02295030467.019

28、87402081999.311126820392.72483630870.01988394082141.511012323944.72657531455.71989407552357.111220524448.72806732440.51990446242590.311346617819.32870833330.41991435292806.111231427814.02938934186.31992442642930.211056025894.73030834037.01993456493151.911050923133.03181733258.21994445103317.91095443

29、1383.03380232690.31995466623593.711006022267.03611832334.51996504543827.911254821233.03854732260.41997494173980.711291230309.04201632434.91998512304083.711378725181.04520832626.41999508394124.311316126731.04899632911.82000462184146.410846334374.05257432797.5 1 1、用、用OLSOLS法估計上述模型：法估計上述模型： R R2 2接近于接近

30、于1 1； 給定給定 =5%=5%，得，得F F臨界值臨界值 F F0.050.05(5,12)=3.11(5,12)=3.11 F=638.4 15.19 F=638.4 15.19， 故認(rèn)上述糧食生產(chǎn)的總體線性關(guān)系顯著成立。故認(rèn)上述糧食生產(chǎn)的總體線性關(guān)系顯著成立。 但但X X4 4 、X X5 5 的參數(shù)未通過的參數(shù)未通過t t檢驗，且符號不正確，故檢驗，且符號不正確，故解釋變量間可解釋變量間可能存在多重共線性能存在多重共線性。54321028. 0098. 0166. 0421. 0213. 644.12816XXXXXY (-0.91) (8.39) (3.32) (-2.81) (-1.45) (-0.14)2 2、檢驗簡單相關(guān)系數(shù)、檢驗簡單相關(guān)系數(shù)發(fā)現(xiàn)：發(fā)現(xiàn)： X X1 1與