多重共線性課件

多重共線性

引子：

農(nóng)業(yè)的發(fā)展會減少財政收入嗎？

為了分析各主要因素對財政收入的影響，建立財政收入模型:其中:CS財政收入(億元);NZ農(nóng)業(yè)增加值(億元);GZ工業(yè)增加值(億元);JZZ建筑業(yè)增加值(億元);TPOP總?cè)丝?萬人);CUM最終消費(億元);SZM受災(zāi)面積(萬公頃)數(shù)據(jù)樣本時期1978年-2007年（資料來源：《中國統(tǒng)計年鑒2008》，中國統(tǒng)計出版社2008年版）采用普通最小二乘法得到以下估計結(jié)果財政收入模型的EViews估計結(jié)果VariableCoefficientStd.Errort-StatisticProb.

農(nóng)業(yè)增加值工業(yè)增加值建筑業(yè)增加值總?cè)丝谧罱K消費受災(zāi)面積截距-1.9075480.0459476.4583740.0960220.003108-0.027627-5432.5070.3420450.0427460.7657670.0916600.0428070.0489048607.753-5.5768881.0748928.4338671.0475910.072609-0.564916-0.6311180.00000.29360.00000.30570.94270.57760.5342R-squared0.989654AdjustedR-squared0.986955S.E.ofregression1437.448Sumsquaredresid47523916Loglikelihood-256.7013Durbin-Watsonstat1.654140

Meandependentvar10049.04

S.D.dependentvar12585.51

Akaikeinfocriterion17.58009

Schwarzcriterion17.90704

F-statistic366.6801

Prob(F-statistic)0.000000

●可決系數(shù)為0.9897

，校正的可決系數(shù)為0.9870，模型擬合很好。模型對財政收入的解釋程度高達98.9%。●F統(tǒng)計量為366.68，說明0.05水平下回歸方程整體上顯著?！駎檢驗結(jié)果表明，除了農(nóng)業(yè)增加值、建筑業(yè)增加值以外，其他因素對財政收入的影響均不顯著?！褶r(nóng)業(yè)增加值的回歸系數(shù)是負數(shù)。

農(nóng)業(yè)的發(fā)展反而會使財政收入減少嗎？!

這樣的異常結(jié)果顯然與理論分析和實踐經(jīng)驗不相符。若模型設(shè)定和數(shù)據(jù)真實性沒問題，問題出在哪里呢？模型估計與檢驗結(jié)果分析第四章多重共線性

本章討論四個問題：

●多重共線性的含義和產(chǎn)生的原因●多重共線性產(chǎn)生的后果●多重共線性的檢驗●多重共線性的補救措施第一節(jié)什么是多重共線性

本節(jié)基本內(nèi)容:

●多重共線性的含義●產(chǎn)生多重共線性的背景

在計量經(jīng)濟學(xué)中所謂的多重共線性(Multi-Collinearity)，包括解釋變量之間有準確的線性關(guān)系，也包括近似準確的線性關(guān)系。具體可分為：完全的多重共線性，還包括不完全的多重共線性。

在有截距項的模型中，截距項可以視為其對應(yīng)的解釋變量總

是為1。對于解釋變量，如果存在不全為0的

數(shù)，使得

則稱解釋變量之間存在著完全的多重共

線性。一、多重共線性的含義

實際中，常見的情形是解釋變量之間存在不完全的多重共線性。

對于解釋變量，存在不全為0的數(shù)，使得

為隨機變量。這表明解釋變量只是一種近似的線性關(guān)系。其中，注：（1）如果解釋變量之間不存在完全或不完全的線性關(guān)系，則稱無多重共線性。（2）需要強調(diào)，解釋變量之間不存在線性關(guān)系，并非不存在非線性關(guān)系，當(dāng)解釋變量存在非線性關(guān)系時，并不違反無多重共線性的假定。

，解釋變量間毫無線性關(guān)系，變量間相互正交。這時已不需要作多元回歸，每個參數(shù)

j都可以通過Y對Xj的一元回歸來估計?；貧w模型中解釋變量的關(guān)系

可能表現(xiàn)為三種情形：(1)

，解釋變量間完全共線性。此時模型參數(shù)將無法確定。

，解釋變量間存在一定程度的線性關(guān)系。實際中常遇到的情形。(2)(3)

二、產(chǎn)生多重共線性的背景

多重共線性產(chǎn)生的經(jīng)濟背景主要有幾種情形：

1.經(jīng)濟變量之間具有共同變化趨勢。

2.模型中包含滯后變量。（含有滯后變量的模型一般都存在多重共線性）

3.利用截面數(shù)據(jù)建立模型也可能出現(xiàn)多重共線性。（經(jīng)濟變量之間的內(nèi)在聯(lián)系，這是產(chǎn)生多重共線性的根本原因）

4.樣本數(shù)據(jù)自身的原因。

第二節(jié)多重共線性產(chǎn)生的后果

本節(jié)基本內(nèi)容:●完全多重共線性產(chǎn)生的后果●不完全多重共線性產(chǎn)生的后果一、完全多重共線性產(chǎn)生的后果1.參數(shù)的估計值不確定當(dāng)解釋變量完全線性相關(guān)時——OLS估計式不確定▲從偏回歸系數(shù)意義看：在和完全共線性時，無法保持不變，去單獨考慮對的影響（和的影響不可區(qū)分）▲從OLS估計式看：可以證明此時2.參數(shù)估計值的方差無限大OLS估計式的方差成為無窮大：

二、不完全多重共線性產(chǎn)生的后果⒈參數(shù)估計量的方差增大

對于二元回歸模型

可以證明，的方差為：

D()=D()=

式中第二項因子稱為方差擴大（膨脹）因子記成VIF

r12為x1、x2的相關(guān)系數(shù)

從方差膨脹因子看出，OLS估計量的方差隨著多重共線性的出現(xiàn)而“膨脹”起來。當(dāng)高度相關(guān)時（即兩解釋的相關(guān)系數(shù)趨向于1）,VIF趨向于正無窮大。因而，隨著多重共線性嚴重程度的加大，OLS估計量的方差將成倍地增長，直至趨于無窮大。

2.對參數(shù)區(qū)間估計時，置信區(qū)間趨于變大

方差增大標準差也增大置信區(qū)間變大3.假設(shè)檢驗容易作出錯誤的判斷即t檢驗的可靠性降低。4.可能造成可決系數(shù)較高，經(jīng)F檢驗的參數(shù)聯(lián)合顯著性也很高，但對各個參數(shù)單獨的t檢驗卻可能不顯著，甚至可能使估計的回歸系數(shù)符號相反，得出完全錯誤的結(jié)論。5.回歸模型缺乏穩(wěn)定性6.難以區(qū)分每個解釋變量的單獨影響

計量經(jīng)濟模型中經(jīng)常需要利用回歸系數(shù)分析各個解釋變量對被解釋變量的單獨影響。對于多元線性回歸模型，回歸系數(shù)

b的經(jīng)濟含義是：在其他變量保持不變的情況下，xj變化一個單位將使y變化個b單位.如果模型存在多重共線性，解釋變量的相關(guān)性將無法“保持其他變量不變”，因此也就難以分析每個解釋變量對被解釋變量的單獨影響。

第三節(jié)多重共線性的檢驗

本節(jié)基本內(nèi)容：

●簡單相關(guān)系數(shù)檢驗法●輔助回歸模型檢驗●方差擴大（膨脹）因子法●直觀判斷法●逐步回歸法一、簡單相關(guān)系數(shù)檢驗法

含義：簡單相關(guān)系數(shù)檢驗法是利用解釋變量之間的線性相關(guān)程度去判斷是否存在嚴重多重共線性的一種簡便方法。判斷規(guī)則：一般而言，如果每兩個解釋變量的簡單相關(guān)系數(shù)(零階相關(guān)系數(shù))比較高，例如大于0.8，則可認為存在著較嚴重的多重共線性。

注意：

較高的簡單相關(guān)系數(shù)只是多重共線性存在的充分條件，而不是必要條件。特別是在多于兩個解釋變量的回歸模型中，有時較低的簡單相關(guān)系數(shù)也可能存在多重共線性。因此并不能簡單地依據(jù)相關(guān)系數(shù)進行多重共線性的準確判斷。

命令方式：COR解釋變量名菜單方式：將所有解釋變量設(shè)置成一個數(shù)組，并在數(shù)組窗口中點擊View/Correlations二、輔助回歸模型檢驗

k個解釋變量，以其中一個對其他解釋變量進行回歸，可以獲得k個輔助方程.

(i=1,2,…,k)

如果，其中某些方程顯著（即F檢驗通過），則表明存在多重共線性，所對應(yīng)的變量可以近似地用其他解釋變量線性表示。

輔助回歸方程的擬合程度越高，解釋變量之間的多重共線性越嚴重。

三、方差擴大（膨脹）因子法

統(tǒng)計上可以證明，解釋變量的參數(shù)估計式的方差可表示為

其中的是變量(VarianceInflationFactor)，即的方差擴大因子其中是多個解釋變量輔助回歸的可決系數(shù)

Ri2為xi關(guān)于其它解釋變量輔助回歸模型的可決系數(shù)

為方差膨脹因子經(jīng)驗規(guī)則●方差膨脹因子越大，表明解釋變量之間的多重共性越嚴重。反過來，方差膨脹因子越接近于1，多重共線性越弱?！窠?jīng)驗表明，方差膨脹因子≥10時，說明解釋變量與其余解釋變量之間有嚴重的多重共線性，且這種多重共線性可能會過度地影響最小二乘估計。

另一個與VIF等價的指標是“容許度”（Tolerance），其定義為：

顯然，0≤TOL≤1；當(dāng)xi與其它解釋變量高度相關(guān)時，TOL→0。因此，一般當(dāng)TOL<0.1時，認為模型存在較嚴重的多重共線性。四、直觀判斷法1.當(dāng)增加或剔除一個解釋變量，或者改變一個觀測值時，回歸參數(shù)的估計值發(fā)生較大變化，回歸方程可能存在嚴重的多重共線性。

2.從定性分析認為，一些重要的解釋變量的回歸系數(shù)的標準誤差較大，在回歸方程中沒有通過顯著性檢驗時，可初步判斷可能存在嚴重的多重共線性。（引例）3.有些解釋變量的回歸系數(shù)所帶正負號與定性分析結(jié)果違背時，很可能存在多重共線性。（引例）4.解釋變量的相關(guān)矩陣中，自變量之間的相關(guān)系數(shù)較大時，可能會存在多重共線性問題。五、逐步回歸檢測法

逐步回歸的基本思想將變量逐個的引入模型，每引入一個解釋變量后，都要進行Ｆ檢驗，并對已經(jīng)選入的解釋變量逐個進行t檢驗，當(dāng)原來引入的解釋變量由于后面解釋變量的引入而變得不再顯著時，則將其剔除。以確保每次引入新的變量之前回歸方程中只包含顯著的變量。在逐步回歸中，高度相關(guān)的解釋變量，在引入時會被剔除。因而也是一種檢測多重共線性的有效方法。特征值根據(jù)病態(tài)數(shù)、病態(tài)指數(shù)判斷六、特征值檢驗第四節(jié)多重共線性的補救措施

本節(jié)基本內(nèi)容:

●修正多重共線性的經(jīng)驗方法●逐步回歸法嶺回歸法在本科教學(xué)中只是供選擇使用的內(nèi)容。

首先明確建立模型的目的：預(yù)測、結(jié)構(gòu)分析或政策評價。如果建立模型的目的是進行預(yù)測，只要模型的擬合優(yōu)度較高，并且解釋變量的相關(guān)類型在預(yù)測期內(nèi)保持不變，則可以忽略多重共線性的問題。如果是應(yīng)用模型進行結(jié)構(gòu)分析或政策評價，即利用系數(shù)分析、比較各個解釋變量的單獨影響，則需要消除多重共線性的影響。一、修正多重共線性的經(jīng)驗方法1.剔除變量法把方差擴大因子最大者所對應(yīng)的自變量首先剔除，再重新建立回歸方程，直至回歸方程中不再存在嚴重的多重共線性。注意:

剔除變量一定要慎重！！否則會引起其他問題。需注意產(chǎn)生新的問題:

①模型的經(jīng)濟意義不合理；②是否使模型產(chǎn)生異方差性或自相關(guān)性；③若剔除不當(dāng),可能會產(chǎn)生模型設(shè)定誤差，造成參數(shù)估計嚴重有偏

一般而言，在選擇回歸模型時，可以將回歸系數(shù)的顯著性檢驗（解釋變量的t檢驗通過，則一定不存在多重共線性；若有的t檢驗不一定通過，則可能存在多重共線性）、方差擴大因子VIF的多重共線性檢驗和解釋變量的經(jīng)濟含義（通過經(jīng)濟分析確定變量的相對重要性）結(jié)合考慮，以剔除不重要的變量。2.增大樣本容量

如果樣本容量增加，會減小回歸參數(shù)的方差，標準誤差也同樣會減小。因此盡可能地收集足夠多的樣本數(shù)據(jù)可以改進模型參數(shù)的估計。運用回歸分析研究經(jīng)濟問題時，要盡量使樣本容量遠大于自變量個數(shù)。問題：增加樣本數(shù)據(jù)在實際計量分析中常面臨許多困難。

3.變換模型形式

一般而言，差分后變量之間的相關(guān)性要比差分前弱得多，所以差分后的模型可能降低出現(xiàn)共線性的可能性，此時可直接估計差分方程。問題：差分會丟失一些信息，差分模型的誤差項可能存在序列相關(guān)，可能會違背經(jīng)典線性回歸模型的相關(guān)假設(shè)，在具體運用時要慎重。

4.利用非樣本先驗信息通過經(jīng)濟理論分析能夠得到某些參數(shù)之間的關(guān)系，可以將這種關(guān)系作為約束條件，將此約束條件和樣本信息結(jié)合起來進行約束最小二乘估計。（見課本舉例）5.橫截面數(shù)據(jù)與時序數(shù)據(jù)并用首先利用橫截面數(shù)據(jù)估計出部分參數(shù)，再利用時序數(shù)據(jù)估計出另外的部分參數(shù)，最后得到整個方程參數(shù)的估計。注意：這里包含著假設(shè)，即參數(shù)的橫截面估計和從純粹時間序列分析中得到的估計是一樣的。

6.變量變換變量變換的主要方法：(1)計算相對指標；(2)將名義數(shù)據(jù)轉(zhuǎn)換為實際數(shù)據(jù)；(3)將小類指標合并成大類指標；注意：變量變換有時可得到較好的結(jié)果，但無法保證一定可以得到很好的結(jié)果。

可以看出，上述方法最終還是通過減少模型中解釋變量個數(shù)的方式（即剔除引起多重共線性的變量）來消除多重共線性的影響。二、逐步回歸法（Frisch綜合分析法）

基本原理：從所有解釋變量中間先選擇影響最為顯著的變量建立模型，然后再將模型之外的變量逐個引入模型；每引入一個變量，就對模型中的所有變量進行一次顯著性檢驗，并從中剔除不顯著的變量；逐步引入—剔除—引入，直到模型之外所有變量均不顯著時為止。

實際中，一般步驟為：（1）利用相關(guān)系數(shù)從所有解釋變量中選取與被解釋變量相關(guān)性最強的變量建立一元回歸模型；（2）在一元回歸模型中分別引入第二個變量，共建立k-1個二元回歸模型（設(shè)共有k個解釋變量），從這些模型中再選取一個較優(yōu)的模型。選擇時要求：參數(shù)符號正確,模型中每個解釋變量影響顯著，值有所提高。（3）在選取的二元回歸模型中以同樣方式引入第三個變量，建立k-2個三元回歸模型；如此下去，直至無法引入新的變量時為止。

若新變量的引入改進了和檢驗，且回歸參數(shù)的t檢驗在統(tǒng)計上也是顯著的，則在模型中保留該變量。

若新變量的引入未能改進和檢驗，且對其他回歸參數(shù)估計值的t檢驗也未帶來什么影響，則認為該變量是多余變量。

若新變量的引入未能改進和檢驗，且顯著地影響了其他回歸參數(shù)估計值的數(shù)值或符號，同時本身的回歸參數(shù)也通不過t檢驗，說明出現(xiàn)了嚴重的多重共線性。

第五節(jié)案例分析一、研究的目的要求提出研究的問題——為了規(guī)劃中國未來國內(nèi)旅游產(chǎn)業(yè)的發(fā)展，需要定量地分析影響中國國內(nèi)旅游市場發(fā)展的主要因素。二、模型設(shè)定及其估計影響因素分析與確定——影響因素主要有國內(nèi)旅游人數(shù)，城鎮(zhèn)居民人均旅游支出，農(nóng)村居民人均旅游支出，并以公路里程次和鐵路里程

作為相關(guān)基礎(chǔ)設(shè)施的代表

理論模型的設(shè)定其中：——第t年全國國內(nèi)旅游收入年份國內(nèi)旅游收入Y（億元）國內(nèi)旅游人數(shù)X2（萬人次）城鎮(zhèn)居民人均旅游花費X3（元）農(nóng)村居民人均旅游花費X4（元）公路里程X5（萬km）鐵路里程X6（萬km）19941023.552400414.754.9111.785.9019951375.762900464.061.5115.705.9719961638.463900534.170.5118.586.4919972112.764400599.8145.7122.646.6019982391.269450607.0197.0127.856.6419992831.971900614.8249.5135.176.7420003175.574400678.6226.6140.276.8720013522.478400708.3212.7169.807.0120023878.487800739.7209.1176.527.1920033442.387000684.9200.0180.987.3020044710.7110200731.8210.2187.077.4420055285.9121200737.1227.6193.057.5420066229.74139400766.4221.9345.707.7120077770.62161000906.9222.5358.377.80數(shù)據(jù)的收集與處理1994年—2007年中國旅游收入及相關(guān)數(shù)據(jù)

該模型，可決系數(shù)很高，F(xiàn)檢驗值593.4168,明顯顯著。但是當(dāng)時、不僅、系數(shù)的t檢驗不顯著，而且系數(shù)的符號與預(yù)期的相反，這表明很可能存在嚴重的多重共線性。

OLS估計的結(jié)果計算各解釋變量的相關(guān)系數(shù)

表明各解釋變量間確實存在嚴重的多重共線性X2X3X4X5X6X2

1.000000

0.867192

0.566024

0.945539

0.891303X3

0.867192

1.000000

0.811726

0.805129

0.956903X4

0.566024

0.811726

1.000000

0.487669

0.790144X5

0.945539

0.805129

0.487669

1.000000

0.812921X6

0.891303

0.956903

0.790144

0.812921

1.000000三、消除多重共線性采用逐步回歸法檢驗和解決多重供線性問題。分別作Y對X2、X3、X4、X5、X6的一元回歸的大小排序為：X2、

X3、X6、X5、X4。以X2為基礎(chǔ)，順次加入其他變量逐步回歸，過程從略（見教材）

變量參數(shù)估計值0.058814.022519.610322.59573025.062t統(tǒng)計量18.24889.30