07計(jì)量多重共線性

一、多重共線性的概念二、實(shí)際經(jīng)濟(jì)問題中的多重共線性三、多重共線性的后果四、多重共線性的檢驗(yàn)五、克服多重共線性的方法六、案例第七章多重共線性（Multicollinearity）一、多重共線性的概念對(duì)于模型Yi=0+1X1i+2X2i++kXki+ii=1,2,…,n其基本假設(shè)之一是解釋變量是互相獨(dú)立的。如果某兩個(gè)或多個(gè)解釋變量之間出現(xiàn)了相關(guān)性，則稱為多重共線性(Multicollinearity)。如果存在c1X1i+c2X2i+…+ckXki=0i=1,2,…,n其中:ci不全為0，即某一解釋變量可以用其他解釋變量的線性組合表示，則稱為解釋變量間存在完全共線性（perfectmulticollinearity）。如果存在c1X1i+c2X2i+…+ckXki+vi=0i=1,2,…,n其中ci不全為0，vi為隨機(jī)誤差項(xiàng)，引入vi表明上述線性關(guān)系只是一種近似關(guān)系，則稱為不完全共線性或近似共線性（approximatemulticollinearity）注意：完全共線性的情況并不多見，一般出現(xiàn)的是在一定程度上的共線性，即不完全共線性。例：對(duì)某商品的需求及兩組收入的數(shù)據(jù)如下：數(shù)量Y價(jià)格X1收入X2收益X34945443938373433302912345678910298296294292290288286284282280297.5294.9293.5292.8290.2289.7285.8284.6281.1278.8LSYCX1X2Nearsingularmatrix(奇異矩陣)拒絕估計(jì)的原因:X2=300-2X1LSYCX1X3X3不顯著、符號(hào)錯(cuò)誤的原因：X1與X3之間呈近似線性關(guān)系，兩者高度相關(guān)。當(dāng)解釋變量只有兩個(gè)時(shí)，相關(guān)系數(shù)可用作共線性程度的測(cè)定X1與X2之間呈完全線性關(guān)系雖可得到0、1，但無法得到0、1、2。在矩陣表示的線性回歸模型

Y=X+

中，完全共線性指：秩(X)<k+1，即中，至少有一列向量可由其他列向量（不包括第一列）線性表出。如：X2=X1，則X2對(duì)Y的作用可由X1代替。多重共線性是指解釋變量之間的線性關(guān)系,并不是指它們之間的非線性關(guān)系。X2和X3是X的函數(shù)，但這僅是非線性關(guān)系，不違反多重共線性假設(shè)。其中：Y為總成本，X為產(chǎn)量。二、實(shí)際經(jīng)濟(jì)問題中的多重共線性一般地，產(chǎn)生多重共線性的主要原因有以下三個(gè)方面：（1）經(jīng)濟(jì)變量相關(guān)的共同趨勢(shì)在一定條件下，某些經(jīng)濟(jì)變量會(huì)出現(xiàn)同增或同降的趨勢(shì)。時(shí)間序列樣本：經(jīng)濟(jì)繁榮時(shí)期，各基本經(jīng)濟(jì)變量（收入、消費(fèi)、投資、價(jià)格）都趨于增長(zhǎng)；衰退時(shí)期，又同時(shí)趨于下降。如果將這些有著共變趨勢(shì)的變量同時(shí)引入模型，就會(huì)產(chǎn)生多重共線性。橫截面數(shù)據(jù)：生產(chǎn)函數(shù)中，資本投入與勞動(dòng)力投入往往出現(xiàn)高度相關(guān)情況，大企業(yè)二者都大，小企業(yè)都小。（2）滯后變量的引入在經(jīng)濟(jì)計(jì)量模型中，往往需要引入滯后經(jīng)濟(jì)變量來反映真實(shí)的經(jīng)濟(jì)關(guān)系。例如消費(fèi)變動(dòng)的影響因素不僅有本期可支配收入，還應(yīng)考慮以往各期的可支配收入；固定資產(chǎn)存量變動(dòng)的影響因素不僅有本期投資，還應(yīng)考慮以往若干期的投資。同一變量的前后期之值很可能有較強(qiáng)的線性相關(guān)性，模型中引入了滯后變量，多重共線性就難以避免。（3）樣本資料的限制由于完全符合理論模型所要求的樣本數(shù)據(jù)較難收集，特定樣本可能存在某種程度的多重共線性。一般經(jīng)驗(yàn)：時(shí)間序列數(shù)據(jù)樣本：簡(jiǎn)單線性模型，往往存在多重共線性。截面數(shù)據(jù)樣本：?jiǎn)栴}不那么嚴(yán)重，但多重共線性仍然是存在的。三、多重共線性的后果1、完全共線性下參數(shù)估計(jì)量不存在如果存在完全共線性，則(X’X)-1不存在，無法得到參數(shù)的估計(jì)量。OLS估計(jì)量：完全共線性時(shí)：秩R(X)n×(k+1)<k+1秩R(X’X)(k+1)×(k+1)<k+1(X’X)非滿秩，(X’X)-1不存在例：對(duì)離差形式的二元回歸模型如果兩個(gè)解釋變量完全相關(guān)，如x2=x1，則這時(shí)，只能確定綜合參數(shù)1+2的估計(jì)值：2、近似共線性下OLS估計(jì)量的方差變大近似共線性下，可以得到OLS參數(shù)估計(jì)量，參數(shù)估計(jì)量方差的表達(dá)式由于|X’X|0，引起(X’X)-1主對(duì)角線元素較大，使參數(shù)估計(jì)值的方差增大，從而不能對(duì)總體參數(shù)作出準(zhǔn)確推斷。以二元線性模型y=1x1+2x2+為例:恰為X1與X2的線性相關(guān)系數(shù)的平方r2由于r21，故1/(1-r2)1當(dāng)完全不共線時(shí),r2=0當(dāng)近似共線時(shí),0<r2<1當(dāng)完全共線時(shí)，r2=1，多重共線性使參數(shù)估計(jì)值的方差增大，1/(1-r2)為方差膨脹因子(VarianceInflationFactor,VIF)以二元線性模型y=1x1+2x2+為例:對(duì)多元線性回歸模型，以Xj為被解釋變量做對(duì)其他解釋變量輔助線性回歸的可決系數(shù)用Rj2表示，則解釋變量Xj參數(shù)估計(jì)量的方差可表示為：方差膨脹因子為：經(jīng)驗(yàn)表明：VIFj≥10時(shí)，說明解釋變量Xj與其余解釋變量之間有嚴(yán)重的多重共線性。3、參數(shù)估計(jì)量經(jīng)濟(jì)含義不合理如果模型中兩個(gè)解釋變量具有線性相關(guān)性，例如X1和X2，一個(gè)變量可由另一個(gè)變量表征。這時(shí)，X1和X2前的參數(shù)1、2并不反映各自與被解釋變量之間的結(jié)構(gòu)關(guān)系，而是反映它們對(duì)被解釋變量的共同影響。1、2已經(jīng)失去了應(yīng)有的經(jīng)濟(jì)含義，于是經(jīng)常表現(xiàn)出似乎反常的現(xiàn)象：例如1本來應(yīng)該是正的，結(jié)果恰是負(fù)的。4、變量的顯著性檢驗(yàn)失去意義存在多重共線性時(shí)參數(shù)估計(jì)值的方差與標(biāo)準(zhǔn)差變大容易使通過樣本計(jì)算的t值小于臨界值，誤導(dǎo)作出參數(shù)為0的推斷可能將重要的解釋變量排除在模型之外5、模型的預(yù)測(cè)功能失效變大的方差容易使區(qū)間預(yù)測(cè)的“區(qū)間”變大，使預(yù)測(cè)失去意義。注意：除非是完全共線性，多重共線性并不意味著任何基本假設(shè)的違背；因此，即使出現(xiàn)較高程度的多重共線性，OLS估計(jì)量仍具有線性性等良好的統(tǒng)計(jì)性質(zhì)。問題在于，即使OLS法仍是最好的估計(jì)方法，它卻不是“完美的”，尤其是在統(tǒng)計(jì)推斷上無法給出真正有用的信息。多重共線性檢驗(yàn)的任務(wù)是：（1）檢驗(yàn)多重共線性是否存在；（2）估計(jì)多重共線性的范圍，即判斷哪些變量之間存在共線性。多重共線性表現(xiàn)為解釋變量之間具有相關(guān)關(guān)系，所以用于多重共線性的檢驗(yàn)方法主要是統(tǒng)計(jì)方法：如判定系數(shù)檢驗(yàn)法、逐步回歸檢驗(yàn)法等。四、多重共線性的檢驗(yàn)1、檢驗(yàn)多重共線性是否存在(1)對(duì)兩個(gè)解釋變量的模型，采用簡(jiǎn)單相關(guān)系數(shù)法求出X1與X2的簡(jiǎn)單相關(guān)系數(shù)r，若|r|接近1，則說明兩變量存在較強(qiáng)的多重共線性。(2)對(duì)多個(gè)解釋變量的模型，采用綜合統(tǒng)計(jì)檢驗(yàn)法若在OLS法下：R2與F值較大，但t檢驗(yàn)值較小，說明各解釋變量對(duì)Y的聯(lián)合線性作用顯著，但各解釋變量間存在共線性而使得它們對(duì)Y的獨(dú)立作用不能分辨，故t檢驗(yàn)不顯著。2、判明存在多重共線性的范圍如果存在多重共線性，需進(jìn)一步確定究竟由哪些變量引起。(1)判定系數(shù)檢驗(yàn)法使模型中每一個(gè)解釋變量分別以其余解釋變量為解釋變量進(jìn)行回歸，并計(jì)算相應(yīng)的擬合優(yōu)度。K個(gè)輔助方程：Xji=1X1i+2X2i+j-1Xj-1i+j+1Xj+1i++KXKi在得到的K個(gè)判定系數(shù)中，若Rj2最大，且接近于1，可以判定相應(yīng)的Xj與其他解釋變量之間存在共線性。Xj可以用其他解釋變量的線性組合代替。在原模型中排除某一個(gè)解釋變量Xj，估計(jì)模型；如果擬合優(yōu)度與包含Xj時(shí)十分接近，則說明Xj與其它解釋變量之間存在共線性。另一等價(jià)的檢驗(yàn)是:缺點(diǎn)：（1）計(jì)算繁瑣；（2）如果多重共線性僅存在于其中某幾個(gè)解釋變量之間，輔助回歸方程不能區(qū)分出。(2)逐步回歸法以Y為被解釋變量，逐個(gè)引入解釋變量，構(gòu)成回歸模型，進(jìn)行模型估計(jì)。根據(jù)擬合優(yōu)度的變化決定新引入的變量是否獨(dú)立。如果擬合優(yōu)度變化顯著，則說明新引入的變量是一個(gè)獨(dú)立解釋變量；如果擬合優(yōu)度變化很不顯著，則說明新引入的變量與其它變量之間存在共線性關(guān)系。將被解釋變量Y對(duì)每一個(gè)解釋變量Xj(j=1,2,…k)分別進(jìn)行回歸，對(duì)每一個(gè)回歸方程根據(jù)經(jīng)濟(jì)理論和統(tǒng)計(jì)檢驗(yàn)進(jìn)行綜合判斷分析，從中選出一個(gè)最優(yōu)的基本回歸方程。在此基礎(chǔ)上，再逐一引入其它解釋變量，重新作回歸，逐步擴(kuò)大模型的規(guī)模，直至從綜合情況看出現(xiàn)最好的模型估計(jì)形式。在引進(jìn)新解釋變量進(jìn)入回歸方程時(shí)，（1）如果新解釋變量在符合經(jīng)濟(jì)意義的前提下，能使擬合優(yōu)度有所提高，并且每個(gè)參數(shù)統(tǒng)計(jì)檢驗(yàn)顯著，則采納該變量。（說明該解釋變量是一個(gè)獨(dú)立解釋變量）（2）如果新解釋變量不能改善擬合優(yōu)度，同時(shí)對(duì)其它參數(shù)無明顯影響，則可舍棄該變量。（說明它可以用其它變量的線性組合代替）（3）如果新解釋變量能使擬合優(yōu)度有所改變，提高，但對(duì)其它參數(shù)的符號(hào)和數(shù)值有明顯的影響，統(tǒng)計(jì)檢驗(yàn)也不顯著，可以判定新解釋變量引起了共線性。此時(shí)需按照前述的檢驗(yàn)方法，考察變量間線性相關(guān)的形式和程度，并進(jìn)行經(jīng)濟(jì)意義的判斷，在共線性程度最高的兩個(gè)變量中，舍去對(duì)被解釋變量影響較小、經(jīng)濟(jì)意義相對(duì)次要的一個(gè)，保留影響較大、經(jīng)濟(jì)意義相對(duì)重要的一個(gè)。(2)逐步回歸法找出引起多重共線性的解釋變量，將它排除出去，是最為有效的克服多重共線性的方法。上述用于檢驗(yàn)多重共線性的方法，同時(shí)就是克服多重共線性問題的方法。以逐步回歸法得到最廣泛的應(yīng)用。如果模型被檢驗(yàn)證明存在多重共線性，則需要發(fā)展新的方法估計(jì)模型，最常用的方法有三類。五、克服多重共線性的方法1、第一類方法：排除引起共線性的變量2、第二類方法：改變解釋變量的形式時(shí)間序列數(shù)據(jù)、線性模型：將原模型變換為差分模型:Yi=1X1i+2X2i++kXki+i可以有效地消除原模型中的多重共線性。一般講，增量之間的線性關(guān)系遠(yuǎn)比總量之間的線性關(guān)系弱得多。（1）采用增量型變量（差分法）Y表示國(guó)內(nèi)生產(chǎn)總值，C表示居民消費(fèi)額，△Y、△C表示二者的增量12345678910111213141516YC時(shí)序49015489607671648792101331178414704164661832021280258643450147111594056849829763309363840214694577365427451936010556113621314615952201822721634529C/Y△C△Y0.60720.60280.59960.56130.53390.56970.55520.50670.56840.57620.53390.50830.46240.42840.45810.5041588587108816281441165129201762185429604584863712610122949093333329383673107976990917842806423070347313△C/△Y0.56630.56050.35200.41340.74880.46580.31131.08300.64510.27230.38920.32490.33540.57210.8042由表中的比值可直觀地看到，增量的線性關(guān)系弱于總量之間的線性關(guān)系。進(jìn)一步分析：Y與C之間的判定系數(shù)為0.9845△Y與△C之間的判定系數(shù)為0.7456一般認(rèn)為，兩個(gè)變量之間的判定系數(shù)大于0.8時(shí)，兩者之間存在線性關(guān)系。（2）采用相對(duì)數(shù)變量2、第二類方法：改變解釋變量的形式例：糧食生產(chǎn)模型糧食產(chǎn)量=f(農(nóng)用化肥施用量，有效播種面積，農(nóng)用機(jī)械總動(dòng)力，農(nóng)業(yè)勞動(dòng)力)可改為：糧食產(chǎn)量=f(農(nóng)用化肥施用量/有效播種面積，有效播種面積，農(nóng)用機(jī)械總動(dòng)力/有效播種面積，農(nóng)業(yè)勞動(dòng)力)3、第三類方法：減小參數(shù)估計(jì)量的方差多重共線性的主要后果是參數(shù)估計(jì)量具有較大的方差，所以，采取適當(dāng)方法減小參數(shù)估計(jì)量的方差，雖然沒有消除模型中的多重共線性，但確能消除多重共線性造成的后果。例如：增加樣本容量，可使參數(shù)估計(jì)量的方差減小。此外，獲取新的樣本，或許有助于消除多重共線性。因?yàn)槎嘀毓簿€性是一個(gè)樣本現(xiàn)象，在包括同樣變量的另一個(gè)樣本中，共線性程度或許會(huì)降低。關(guān)鍵是能否獲得另一個(gè)樣本。六、案例——中國(guó)糧食生產(chǎn)函數(shù)根據(jù)理論和經(jīng)驗(yàn)分析，影響糧食生產(chǎn)（Y）的主要因素有：農(nóng)業(yè)化肥施用量（X1）；糧食播種面積(X2)成災(zāi)面積(X3);農(nóng)業(yè)機(jī)械總動(dòng)力(X4);農(nóng)業(yè)勞動(dòng)力(X5)已知中國(guó)糧食生產(chǎn)的相關(guān)數(shù)據(jù)，建立中國(guó)糧食生產(chǎn)函數(shù)：Y=0+1X1+2X2+3X3+4X4+4X5+(第二版)1、用OLS法估計(jì)模型R2接近于1；給定=5%，得F臨界值F0.05(5,12)=3.11F=137.11>3.11，故上述糧食生產(chǎn)的總體線性關(guān)系顯著成立。但X4、X5的參數(shù)未通過t檢驗(yàn)，且符號(hào)不正確，故解釋變量間可能存在多重共線性。(-0.91)(8.39)(3.32)(-2.81)(-1.45)(-0.14)糧食生產(chǎn)Y；農(nóng)業(yè)化肥施用量X1；糧食播種面積X2；成災(zāi)面積X3；農(nóng)業(yè)機(jī)械總動(dòng)力X4；農(nóng)業(yè)勞動(dòng)力X52、檢驗(yàn)簡(jiǎn)單相關(guān)系數(shù)發(fā)現(xiàn)：X1與X4間存在高度相關(guān)性。列出X1，X2，X3，X4，X5的相關(guān)系數(shù)矩陣：糧食生產(chǎn)Y；農(nóng)業(yè)化肥施用量X1；糧食播種面積X2；成災(zāi)面積X3；農(nóng)業(yè)機(jī)械總動(dòng)力X4；農(nóng)業(yè)勞動(dòng)力X53、選最基本的回歸方程分別作Y與X1，X2，X3、X4，X5間的回歸：t=(25.58)(11.49)R2=0.8919F=132.1DW=1.56t=(-0.49)(1.14)R2=0.075F=1.30DW=0.12t=(17.45)(6.68)R2=0.7527F=48.7DW=1.11t=(-1.04)(2.66)R2=0.3064F=7.07DW=0.36糧食生產(chǎn)Y；農(nóng)業(yè)化肥施用量X1；糧食播種面積X2；成災(zāi)面積X3；農(nóng)業(yè)機(jī)械總動(dòng)力X4；農(nóng)業(yè)勞動(dòng)力X5應(yīng)選第1個(gè)式子為初始的回歸模型。4、逐步回歸將其他解釋變量分別導(dǎo)入上述初始回歸方程，尋找最佳回歸方程。5、結(jié)論回歸方程以Y=f(X1，X2，X3)為最優(yōu)：糧食生產(chǎn)Y；農(nóng)業(yè)化肥施用量X1；糧食播種面積X2；成災(zāi)面積X3；農(nóng)業(yè)機(jī)械總動(dòng)力X4；農(nóng)業(yè)勞動(dòng)力X5CX1X2X3X4X52RDWY=f(X1)308684.5760.88521.56t值25.58