第四章多重共線性

計(jì)量經(jīng)濟(jì)學(xué)Econometrics2016-2017-2任課教師：范國斌第四章多重共線性2

基本假定的回顧與分析：●

零均值假定

(主要影響截距項(xiàng)的估計(jì))●同方差假定●無自相關(guān)假定●

解釋變量非隨機(jī)，或雖隨機(jī)但與u不相關(guān)

在單一方程模型中，從重復(fù)抽樣的角度一般是合理的。在某些單一方程模型中和聯(lián)立方程模型中可能會違反?！?/p>

無多重共線性假定●正態(tài)性假定

（不影響OLS估計(jì)是BLUE）根據(jù)中心極限定理，樣本容量無限增大時，OLS趨于正態(tài)分布結(jié)論：需要專門討論無多重共線性、同方差、無自相關(guān)3引子：

發(fā)展農(nóng)業(yè)和建筑業(yè)會減少財(cái)政收入嗎？

為了分析各主要因素對國家財(cái)政收入的影響，建立財(cái)政收入模型:其中:CS財(cái)政收入(億元);

NZ農(nóng)業(yè)增加值(億元);GZ工業(yè)增加值(億元);

JZZ建筑業(yè)增加值(億元);TPOP總?cè)丝?萬人);

CUM最終消費(fèi)(億元);SZM受災(zāi)面積(萬公頃)

。數(shù)據(jù)樣本時期1978年-2003年（資料來源：《中國統(tǒng)計(jì)年鑒2004》，中國統(tǒng)計(jì)出版社2004年版）

采用普通最小二乘法得到以下估計(jì)結(jié)果4

VariableCoefficientStd.Errort-StatisticProb.農(nóng)業(yè)增加值NZ-1.5350900.129778-11.828610.0000工業(yè)增加值GZ0.8987880.2454663.6615580.0017建筑業(yè)增加值JZZ-1.5270891.206242-1.2659890.2208總?cè)丝赥POP0.1511600.0337594.4776460.0003最終消費(fèi)CUM0.1015140.1053290.9637830.3473受災(zāi)面積SZM-0.0368360.018460-1.9953820.0605截距項(xiàng)-11793.343191.096-3.6957040.0015R-squared0.995015Meandependentvar5897.824AdjustedR-squared0.993441S.D.dependentvar5945.854S.E.ofregression481.5380Akaikeinfocriterion15.41665Sumsquaredresid4405699.Schwarzcriterion15.75537Loglikelihood-193.4165F-statistic632.0999Durbin-Watsonstat1.873809Prob(F-statistic)0.000000財(cái)政收入模型的EViews估計(jì)結(jié)果關(guān)注：1.、F統(tǒng)計(jì)量；2.t統(tǒng)計(jì)量；3.參數(shù)估計(jì)值.5●可決系數(shù)為0.995，校正的可決系數(shù)為0.993，模型擬合很好。模型對財(cái)政收入的解釋程度高達(dá)99.5%。F統(tǒng)計(jì)量為632.10，說明0.05水平下回歸方程整體上顯著

●

t檢驗(yàn)結(jié)果表明，工業(yè)、農(nóng)業(yè)增加值和總?cè)丝趯ω?cái)政收入影響顯著，其他因素對財(cái)政收入的影響均不顯著。

●農(nóng)業(yè)增加值和建筑業(yè)增加值的回歸系數(shù)為負(fù)數(shù)，

農(nóng)業(yè)和建筑業(yè)的發(fā)展反而會使財(cái)政收入減少嗎？!這樣的結(jié)果顯然與理論分析和實(shí)踐經(jīng)驗(yàn)不相符。為什么會出現(xiàn)這樣的異常結(jié)果呢？如果模型設(shè)定和數(shù)據(jù)真實(shí)性沒有問題，問題出在哪里呢？模型估計(jì)檢驗(yàn)結(jié)果分析：從實(shí)例談起實(shí)例：消費(fèi)支出與收入和財(cái)富的關(guān)系根據(jù)經(jīng)濟(jì)理論，研究消費(fèi)問題，假定消費(fèi)與收入和財(cái)富有線性關(guān)系，建立計(jì)量經(jīng)濟(jì)模型。從實(shí)例談起2686260150243524015522012201402052200120187618011516331601101425140951273120901009100658108070財(cái)富收入消費(fèi)81.F檢驗(yàn)顯著，單個系數(shù)t檢驗(yàn)不顯著；2.財(cái)富變量X3的系數(shù)符號錯誤。9財(cái)富X3對收入X2做回歸財(cái)富與收入之間有顯著的線性關(guān)系多重共線性10第四章多重共線性本章討論四個問題：●多重共線性的實(shí)質(zhì)與產(chǎn)生原因●多重共線性的后果●多重共線性的檢測（判斷）方法●多重共線性的補(bǔ)救方法11第一節(jié)什么是多重共線性一、多重共線性的概念

在多元回歸模型中，各個解釋變量之間可能存在一定的線性相關(guān)關(guān)系能找到不全為0的數(shù)，使得（正交變量）完全線性關(guān)系不完全線性關(guān)系完全無線性關(guān)系多重共線性——指解釋變量間的線性關(guān)系，既包括完全的線性關(guān)系，又包括不完全的線性關(guān)系

注意：▲多重共線性有個程度的問題▲無多重共線性只排除解釋變量間的線性關(guān)系，不排除相互之間的非線性關(guān)系12二、多重共線性產(chǎn)生的原因

（1）時間序列數(shù)據(jù)在時間上常有共同變動的趨勢

如工業(yè)產(chǎn)值、商品零售額、固定資產(chǎn)投資、財(cái)政收入常有

共同趨勢（2）經(jīng)濟(jì)變量間本身具有內(nèi)在聯(lián)系

如截面數(shù)據(jù)中某行業(yè)企業(yè)的資本量、勞動投入等都與企業(yè)

規(guī)模相關(guān)（3）某些決定性因素可能使各變量呈同方向的變化

如經(jīng)濟(jì)景氣對各經(jīng)濟(jì)指標(biāo)的同方向影響（4）滯后變量引入模型，同一變量的逐次值可能存在相互聯(lián)系

如：

13第二節(jié)多重共線性產(chǎn)生的后果從參數(shù)估計(jì)看，在完全無多重共線性時，各解釋變量都獨(dú)立地影響被解釋變量，多元回歸是否還有必要呢?例如，對于與完全不相關(guān)時，相關(guān)系數(shù)即此時對比一元回歸時141.解釋變量完全線性相關(guān)時——OLS估計(jì)式不確定▲從OLS估計(jì)式看：此時可以證明（見108頁）同理

▲

從偏回歸系數(shù)意義看：在和完全共線性時，無法保持不變，去單獨(dú)考慮對Y的影響（和的作用不可區(qū)分）

2.解釋變量不完全線性相關(guān)，但存在高度多重共線性時——回歸系數(shù)雖可以確定，但方差會變得很大，OLS估計(jì)式不精確（下面講）

一、存在多重共線性時

——OLS估計(jì)式變得不確定或不精確多重共線性的后果出現(xiàn)高度但不完全多重共線性時的估計(jì)：完全多重共線性只是一種極端的隱患，在時間序列數(shù)據(jù)中經(jīng)常會出現(xiàn)欠完全的線性關(guān)系這種情況下偏回歸系數(shù)的估計(jì)可以實(shí)現(xiàn)16

二、OLS估計(jì)式方差變得很大，標(biāo)準(zhǔn)誤差增大

1.當(dāng)和完全線性相關(guān)時——OLS估計(jì)式的方差成為無窮大

（證明見P109）

2.當(dāng)和不完全線性相關(guān)時——OLS估計(jì)式的方差會增大，例如在有兩個解釋變量時，可證明(見P110)

當(dāng)增大時，VIF2

增大，

也會增大，

思考:

當(dāng)時(與一元回歸比較)

多重共線性的后果OLS估計(jì)量的大方差和協(xié)方差：方差和協(xié)方差增大的速度可由方差膨脹因子給出無共線性時VIF達(dá)到最小值1，完全共線性時VIF達(dá)到最大值無窮大18例如例如當(dāng)時，引入任意不為0的數(shù)模型變換估計(jì)結(jié)果當(dāng)時，所估計(jì)的的參數(shù)與真實(shí)的符號可能相反。

三、當(dāng)多重共線性嚴(yán)重時，甚至可能使估計(jì)的回歸系數(shù)符號相反，得出完全錯誤的結(jié)論19

1.多重共線性嚴(yán)重時，對總體參數(shù)的置信區(qū)間趨于增大因?yàn)椋ü簿€性越嚴(yán)重，和越大，置信區(qū)間也增大）2.嚴(yán)重多重共線時，假設(shè)檢驗(yàn)作出錯誤判斷的概率增大因?yàn)?，?dāng)方差變大時會使t值減

小，導(dǎo)致使本應(yīng)否定的“參數(shù)為０”的原假設(shè)被接受可能造成參數(shù)的聯(lián)合顯著性很高（通過F檢驗(yàn)），但各個參數(shù)單獨(dú)的t檢驗(yàn)卻不顯著四、區(qū)間估計(jì)和假設(shè)檢驗(yàn)會出現(xiàn)錯誤20

分析多重共線性后果時應(yīng)注意：

●存在多重共線性時,OLS估計(jì)式還是最佳線性無偏估計(jì)式（BLUE）

理解:

無偏性是重復(fù)抽樣的特性；"最小方差"是相對于其他估計(jì)方法而言：

（相對于其他方法方差最小，并不是說相對于估計(jì)量的值就?。?/p>

“方差變大”是相對于無多重共線性而言

●多重共線性的影響程度與解釋變量在方程中的相對“地位”有關(guān)

21

●如果研究目的僅在于預(yù)測Y，而解釋變量X之間的多重共線性關(guān)系的性質(zhì)在未來將繼續(xù)保持（前提條件），這時多重共線性可能并不是嚴(yán)重問題，而應(yīng)著重于可決系數(shù)高，F(xiàn)檢驗(yàn)顯著。

（理解:出現(xiàn)高度共線性時，雖然無法精確估計(jì)個別回歸系數(shù)，但可精確估計(jì)這些系數(shù)的某些線性組合。）多重共線性的后果從另一個角度，由有雖然兩偏回歸系數(shù)的線性組合可以唯一地估計(jì)，但無法得到每個回歸系數(shù)的唯一解23

第三節(jié)多重共線性的檢驗(yàn)（判斷是否嚴(yán)重）

一、利用解釋變量之間的相關(guān)系數(shù)去判斷

1.

只有兩個解釋變量時：用二者相關(guān)系數(shù)判斷

2.兩個以上解釋變量時：可用兩兩變量的相關(guān)系數(shù)判斷（K個變量可用相關(guān)系數(shù)矩陣）例如

注意:簡單相關(guān)系數(shù)只是多重共線性的充分條件，不是必要條件。在有多個解釋變量時，較低的相關(guān)系數(shù)也可能存在較嚴(yán)重多重共線性2424二、直觀判斷法

（經(jīng)驗(yàn)方法）以下情況的出現(xiàn)提示可能存在較嚴(yán)重多重共線性：(1)當(dāng)增加或剔除一個解釋變量，或者改變一個觀測值時，回歸參數(shù)的估計(jì)值發(fā)生較大變化(2)從定性分析認(rèn)為一些是重要的解釋變量，但其回歸系數(shù)的標(biāo)準(zhǔn)誤差較大，在回歸方程中沒有通過顯著性檢驗(yàn)(3)有些解釋變量的回歸系數(shù)的正負(fù)號與定性分析結(jié)果違背(4)可決系數(shù)較高，F(xiàn)檢驗(yàn)顯著，但偏回歸系數(shù)的t檢驗(yàn)不顯著25三、利用解釋變量之間的輔助回歸及檢驗(yàn)判斷輔助回歸：逐次將每一個解釋變量作為被解釋變量對其它解釋變量進(jìn)行回歸分別估計(jì)其參數(shù)、計(jì)算可決系數(shù)、作F檢驗(yàn)●若輔助回歸的F檢驗(yàn)顯著，認(rèn)為該變量與其它變量可能存在較嚴(yán)重的多重共線性●若F檢驗(yàn)不顯著，認(rèn)為該變量與其它變量不存在嚴(yán)重的多重共線性26四、方差擴(kuò)大因子法（容許度）多元線性回歸模型中，可分別以每個解釋變量為被解釋變量，作與其他解釋變量的輔助回歸。以為被解釋變量作對其他解釋變量的輔助線性回歸的可決系數(shù)用表示。原回歸方程中解釋變量的參數(shù)估計(jì)值的方差可表示為（證明從略）其中的

VIFj

是變量所對應(yīng)參數(shù)估計(jì)量的方差擴(kuò)大因子，也稱容許度。其中2727對比在只有兩個解釋變量時(如前面的討論)當(dāng)有多個解釋變量時，作對其他解釋變量的輔助回歸，并計(jì)算可決系數(shù)，注意：

是多個解釋變量輔助回歸的多重可決系數(shù)，

而相關(guān)系數(shù)只是說明兩個變量的線性關(guān)系。（一元回歸中可決系數(shù)的數(shù)值等于相關(guān)系數(shù)的平方）2828由

越大多重共線性越嚴(yán)重VIFj越大VIFj的大小可以反映解釋變量之間存在多重共線性的嚴(yán)重程度。優(yōu)點(diǎn)：可從數(shù)量上判斷多重共線性的程度

（給出了一種經(jīng)驗(yàn)規(guī)則）經(jīng)驗(yàn)表明：

VIFj≥10時，說明該解釋變量與其余解釋變量之間有嚴(yán)重的多重共線性，且這種多重共線性可能會過度地影響最小二乘估計(jì)。

方差擴(kuò)大因子的作用2929五、逐步回歸檢測法基本思想：將變量逐個的引入模型，每引入一個解釋變量后，都要觀察可決系數(shù)的變化，進(jìn)行Ｆ檢驗(yàn)，并對已經(jīng)選入的解釋變量逐個進(jìn)行t檢驗(yàn)。（1）當(dāng)引入新變量后可決系數(shù)顯著改善，原來的解釋變量的顯著性不變化，說明新變量是獨(dú)立解釋變量（2）當(dāng)引入新變量后可決系數(shù)變化不顯著，或使得原來的解釋變量變得不再顯著時，說明新變量不是獨(dú)立解釋變量，則提示很可能引起了多重共線性。當(dāng)出現(xiàn)多個解釋變量之間高度相關(guān)的時候，逐步回歸方法是一種檢測多重共線性的方法。30第四節(jié)多重共線性的補(bǔ)救

一、增加樣本容量

多重共線性的后果主要是方差變大，在有兩個解釋變量時

式中為常數(shù)，確定后，當(dāng)樣本容量越大時，越大，可使變小，從而減輕多重共線性的影響

注意：●增大樣本容量只能減輕多重共線性的影響，不能根本解決它，當(dāng)時，仍有●增大樣本容量有時十分困難，受到數(shù)據(jù)來源的限制31二、利用先驗(yàn)信息先驗(yàn)信息：在此之前的研究所提供的信息。

利用某些先驗(yàn)信息可把有共線性的變量組成新的變量，從而消除多重共線性（舉例：生產(chǎn)函數(shù),利用規(guī)模報(bào)酬不變的先驗(yàn)信息，把有共線性的變量組成新的變量,可避免共線性）（

與有多重共線性）32三、截面數(shù)據(jù)與時間序列數(shù)據(jù)的結(jié)合有時在時間序列數(shù)據(jù)中多重共線性嚴(yán)重的變量，在截面數(shù)據(jù)中不一定有嚴(yán)重的共線性假定前提：截面數(shù)據(jù)估計(jì)出的參數(shù)在時間序列中變化不大方法：先用截面數(shù)據(jù)估計(jì)出一個變量的參數(shù)，再代入原模型

用時間序列數(shù)據(jù)估計(jì)另一個變量的參數(shù)如（Y商品銷售量，P價格，I收入）先用截面數(shù)據(jù)估計(jì)（若各截面價格視為相同，即“保持價格不變”），即

再用時序數(shù)據(jù)估計(jì)33四、變換模型的形式對存在多重共線性的變量，進(jìn)行對數(shù)變換、一階差分變換、比率變換等，有時可消除或減輕多重共線性的影響。如一階差分：注意：一階差分可能帶來新的問題：●雖然和都是序列無關(guān)的，但常常是序列相關(guān)的，可能會違反無自相關(guān)假定.●一階差分中減少了一個自由度●一階差分不適于截面數(shù)據(jù)，因截面數(shù)據(jù)沒有先后順序34五、逐步回歸法基本思想：

用逐步引入變量回歸的方法，發(fā)現(xiàn)產(chǎn)生共線性的解釋變量，并按一定原則將其剔除，從而減少多重共線性影響。方法：

這既是判斷是否存在多重共線性的方法，又是解決多重共線性的方法：基本思路的框圖為：(見下頁)注意:逐步回歸剔除變量時應(yīng)非常謹(jǐn)慎，若剔除了重要變量，可能導(dǎo)致設(shè)定誤差，而帶來更嚴(yán)重的后果。

使用逐步回歸剔除變量時要格外小心！35將Y對各個分別回歸計(jì)算各

以最大的作逐步回歸的基礎(chǔ)逐個將其他變量加入模型回歸比較檢驗(yàn)新加入后的模型

改善不顯著對其他變量影響很小

改善顯著多余變量對先引入的變量的顯著性無影響使先引入變量參數(shù)發(fā)生明顯變化或使t檢驗(yàn)不顯著剔除可考慮保留此變量出現(xiàn)多重共線性經(jīng)比較剔除對Y影響小的變量加入新變量保留最優(yōu)變量再加入新變量3636

第五節(jié)案例分析

案例1：中國國內(nèi)旅游收入的分析研究目的：中國國內(nèi)旅游市場發(fā)展迅速，需要定量地研究影響中國國內(nèi)旅游市場發(fā)展的主要原因。經(jīng)分析，可以旅游收入表示旅游市場發(fā)展，除了國內(nèi)旅游人數(shù)和旅游支出外，還可能與旅游基礎(chǔ)設(shè)施有關(guān)。模型設(shè)定：其中：——第t年全國旅游收入——國內(nèi)旅游人數(shù)（萬人）——城鎮(zhèn)居民人均旅游支出（元）——農(nóng)村居民人均旅游支出（元）——公路里程（萬公里）——鐵路里程（萬公里）37371994—2003年的統(tǒng)計(jì)數(shù)據(jù)(教材數(shù)據(jù))

年份國內(nèi)旅游收入Y（億元）國內(nèi)旅游人數(shù)X2（萬人次）城鎮(zhèn)居民人均旅游支出X3（元）農(nóng)村居民人均旅游支出X4（元）公路里程X5（萬公里）鐵路里程X6（萬公里）19941023.552400414.754.9111.785.9019951375.762900464.061.5115.705.9719961638.463900534.170.5118.586.4919972112.764400599.8145.7122.646.6019982391.269450607.0197.0127.856.6419992831.971900614.8249.5135.176.7420003175.574400678.6226.6140.276.8720013522.478400708.3212.7169.807.0120023878.487800739.7209.1176.527.1920033442.387000684.9200.0180.987.303838OLS回歸結(jié)果

3939結(jié)果分析該模型，可決系數(shù)很高，F(xiàn)檢驗(yàn)值173.3525,明顯顯著。但是當(dāng)時,

不僅、系數(shù)的t檢驗(yàn)不顯著，而且系數(shù)的符號與預(yù)期的相反，這表明很可能存在嚴(yán)重的多重共線性。各解釋變量的相關(guān)系數(shù)

各解釋變量相互之間的相關(guān)系數(shù)較高，證實(shí)確實(shí)存在嚴(yán)重多重共線性。4040用方差擴(kuò)大因子法檢驗(yàn)例如作X3對X2、X4、X5、X6的輔助回歸得方差擴(kuò)大因子為：由于，根據(jù)經(jīng)驗(yàn)，說明X3與其他解釋變量間有嚴(yán)重多重共線性。其他變量間的多重共線性可用類似方式檢驗(yàn)。修正多重共線性

—擴(kuò)大樣本到2007年數(shù)據(jù)年份國內(nèi)旅游收入Y（億元）國內(nèi)旅游人數(shù)X2（萬人次）城鎮(zhèn)居民人均旅游花費(fèi)X3（元）農(nóng)村居民人均旅游花費(fèi)X4（元）公路里程

X5（萬km）鐵路里程X6（萬km）19941023.552400414.754.9111.785.9019951375.762900464.061.5115.705.9719961638.463900534.170.5118.586.4919972112.764400599.8145.7122.646.6019982391.269450607.0197.0127.856.6419992831.971900614.8249.5135.176.7420003175.574400678.6226.6140.276.8720013522.478400708.3212.7169.807.0120023878.487800739.7209.1176.527.1920033442.387000684.9200.0180.987.3020044710.7110200731.8210.2187.077.4420055285.9121200737.1227.6193.057.5420066229.74139400766.4221.9345.707.7120077770.62161000906.9222.5358.377.8042結(jié)果：可決系數(shù)F統(tǒng)計(jì)量有改善X2變得顯著了,但X5變得不顯著.X6參數(shù)的符號仍然為負(fù)說明:

多重共線性問題

還沒有解決！修正多重共線性

—模型變換43結(jié)果：可決系數(shù)改變不大,F統(tǒng)計(jì)量有改善X2、X3、X4都顯著,但X5、X6不顯著.X6參數(shù)的符號變?yōu)檎?與經(jīng)驗(yàn)符合說明:

多重共線性問題有改善,但需分析X5、X6的影響和多重共線性的作用.4444修正多重共線性—逐步回歸采用逐步回歸的辦法，去檢驗(yàn)和解決多重共線性問題。分別作Y對X2、X3、X4、X5、X6的一元回歸。一元回歸結(jié)果：變量X2X3X4X5X6參數(shù)估計(jì)值0.058814.022519.610322.59573025.062t統(tǒng)計(jì)量18.24889.30903.27108.70849.13920.96520.87840.47140.86340.87440.96230.86820.42730.85200.8639加入X2的方程最大,以X2為基礎(chǔ)，順次加入其他變量逐步回歸

4545加入新變量回歸結(jié)果（一）X2X3X4X5X6X2、X30.0410（15.2635）5.1427（7.6657）0.9935X2、X40.0523（5.3186）5.4830（5.3186）0.9885X2、X50.0587（5.6753）0.0536（0.0128）0.9589X2、X60.0434（8.2145）935.0066（3.2754）