計(jì)量經(jīng)濟(jì)學(xué)課件：第7章（多重共線性）

1、計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著1一、多重共線性的概念一、多重共線性的概念二、產(chǎn)生多重共線性的原因二、產(chǎn)生多重共線性的原因三、多重共線性對(duì)三、多重共線性對(duì)OLSOLS估計(jì)量的影響估計(jì)量的影響四、多重共線性現(xiàn)象的偵察四、多重共線性現(xiàn)象的偵察五、對(duì)多重共線性問(wèn)題的補(bǔ)救五、對(duì)多重共線性問(wèn)題的補(bǔ)救第第7 7章章 多重共線性多重共線性Multi-CollinearityMulti-Collinearity計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著27.1 7.1 多重共線性的概念多重共線性的概念 1.多重共線性的概念多重共線性的概念 對(duì)于模型 Yi=0+1X1i+2X2

2、i+kXki+i i=1,2,n其基本假設(shè)之一是解釋變量是互相獨(dú)立的。如果某兩個(gè)或多個(gè)解釋變量之間出現(xiàn)了相關(guān)性，則稱為多重共線性(Multicollinearity)。計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著3 一、完全多重共線性一、完全多重共線性 如果存在 c1X1i+c2X2i+ckXki=0 i=1,2,n 其中: ci不全為0，則稱為解釋變量間存在完全多重共線性（perfect multicollinearity）。 在矩陣表示的線性回歸模型Y=X + 中，完全共線性完全共線性指：指：秩秩(X)k+1，即：中，至少有一列向量可由其他列向量（不包括第一列）線性表出。如X2=

3、kX1，則X2對(duì)Y的作用可由X1代替。knnnkkXXXXXXXXXX212221212111111計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著4注意：注意： 完全多重共線性的情況在經(jīng)濟(jì)學(xué)中并不多見(jiàn)，一般出現(xiàn)的是在一定程度上的共線性，即不完全的多重共線性。二、不完全多重共線性二、不完全多重共線性如果存在 c1X1i+c2X2i+ckXki+vi=0 i=1,2,n 其中ci不全為0，vi為隨機(jī)誤差項(xiàng)，則稱為 不完全多重共線性或欠完全多重共線性（approximate multicollinearity）。計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著57.2.7.2.產(chǎn)生多重

4、共線性的原因產(chǎn)生多重共線性的原因 一般地，產(chǎn)生多重共線性的主要原因有以下四個(gè)方面： （1 1）經(jīng)濟(jì)變量相關(guān)的共同趨勢(shì)）經(jīng)濟(jì)變量相關(guān)的共同趨勢(shì) 時(shí)間序列樣本：經(jīng)濟(jì)繁榮時(shí)期，各基本經(jīng)濟(jì)變量（收入、消費(fèi)、投資、價(jià)格）都趨于增長(zhǎng)；衰退時(shí)期，又同時(shí)趨于下降。 橫截面數(shù)據(jù)：生產(chǎn)函數(shù)中，資本投入與勞動(dòng)力投入往往出現(xiàn)高度相關(guān)情況，大企業(yè)二者都大，小企業(yè)都小。 （2 2）滯后變量的引入）滯后變量的引入 在經(jīng)濟(jì)計(jì)量模型中，往往需要引入滯后經(jīng)濟(jì)變量來(lái)反映真實(shí)的經(jīng)濟(jì)關(guān)系。 例如，消費(fèi)=f(當(dāng)期收入, 前期收入），顯然，兩期收入間有較強(qiáng)的線性相關(guān)性。 計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著6（3 3）多

5、項(xiàng)式項(xiàng)的引入）多項(xiàng)式項(xiàng)的引入 如研究企業(yè)的成本與產(chǎn)量之間的關(guān)系時(shí)，往往在成本模型中引進(jìn)產(chǎn)量的三次方，即：在這種模型中，解釋變量之間可能存在一定程度的多重共線性。 （4 4）樣本資料的限制）樣本資料的限制 由于完全符合理論模型所要求的樣本數(shù)據(jù)較難收集，特定范圍內(nèi)抽取樣本可能存在某種程度的多重共線性。 進(jìn)一步地講，如果在實(shí)際應(yīng)用中我們有足夠多的樣本，解釋變量的多重共線性程度就會(huì)大大降低。這就再次說(shuō)明，多重共線性本質(zhì)上是樣本問(wèn)題。230112131iiiiiYXXXu計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著77.3 7.3 多重共線性對(duì)多重共線性對(duì)OLSOLS估計(jì)量的影響估計(jì)量的影響一

6、、完全多重共線性對(duì)一、完全多重共線性對(duì)OLSOLS估計(jì)量的影響估計(jì)量的影響1 1、完全共線性下參數(shù)估計(jì)量不確定的、完全共線性下參數(shù)估計(jì)量不確定的的OLS估計(jì)量為：如果存在完全共線性，則(XX)-1不存在，無(wú)法得到參數(shù)的估計(jì)量。2、參數(shù)估計(jì)量方差無(wú)窮大、參數(shù)估計(jì)量方差無(wú)窮大對(duì)于模型： ，其OLS估計(jì)量的方差為：XYYXXX1)(01122iiiiYXXu2122121var()(1)irx2222212var()(1)irx計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著8 在完全多重共線性下， 導(dǎo)致上面兩式的分母都等于0，因此OLS估計(jì)量的方差和標(biāo)準(zhǔn)誤都是無(wú)窮大。 二、不完全多重共線性下

7、二、不完全多重共線性下OLSOLS的后果的后果 不完全的多重共線性下，可以得到OLS參數(shù)估計(jì)量，但參數(shù)估計(jì)量方差的表達(dá)式為 由于|XX|0，引起(XX)-1主對(duì)角線元素較大，使參數(shù)估計(jì)值的方差增大，OLS參數(shù)估計(jì)量仍然是有效，但有效并不意味著方差的值較小。1.參數(shù)估計(jì)量的方差增大參數(shù)估計(jì)量的方差增大 以二元線性離差模型 ：y=1x1+2x2+ 為例:2212211rr12)()(XXCov計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著92221221212221222122211121)(1/)()()var(iiiiiiiiiixxxxxxxxxxXX221211rxiX1與X2的線

8、性相關(guān)系數(shù)的平方r2，由于 r2 1，故 1/(1- r2 )1。在X1與X2為不完全多重共線性時(shí)，OLS估計(jì)量方差會(huì)很大，而且隨著共線性程度增加，兩個(gè)估計(jì)量的方差也將隨之增大。因此，從這個(gè)角度看，解釋變量具有不完全多重共線性時(shí)，OLS的估計(jì)量雖然仍具有最小方差性，但方差最小是相對(duì)其他的線性和無(wú)偏估計(jì)量而言。2.參數(shù)的估計(jì)精度較低參數(shù)的估計(jì)精度較低 當(dāng)存在不完全多重共線性時(shí)，從上面已經(jīng)知道，參數(shù)的OLS估計(jì)量方差較大，其標(biāo)準(zhǔn)誤也就較大，從而使得參數(shù)估計(jì)量的精度較低。 計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著10 3.參數(shù)估計(jì)量經(jīng)濟(jì)含義不合理參數(shù)估計(jì)量經(jīng)濟(jì)含義不合理 如果模型中兩個(gè)

9、解釋變量具有線性相關(guān)性，例如 X2= X1 ，這時(shí)，X1和X2前的參數(shù)1、2并不反映各自與被解釋變量之間的結(jié)構(gòu)關(guān)系，而是反映它們對(duì)被解釋變量的共同影響。1、2已經(jīng)失去了應(yīng)有的經(jīng)濟(jì)含義，于是經(jīng)常表現(xiàn)出似乎反常的現(xiàn)象似乎反常的現(xiàn)象：例如1本來(lái)應(yīng)該是正的，結(jié)果恰是負(fù)的。 在含兩個(gè)解釋變量的回歸模型中， 的經(jīng)濟(jì)含義是：在X2保持不變的條件下，X1變化一個(gè)單位會(huì)導(dǎo)致被解釋變量平均變化 個(gè)單位，顯然如果兩個(gè)解釋變量存在較強(qiáng)的線性關(guān)系，則在保持X2不變的條件下，X1變化一個(gè)單位時(shí)，X2也會(huì)變化，因此， 不能正確度量解釋變量X1單獨(dú)對(duì)被解釋變量的平均影響。111計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛

10、等編著114. 4. 顯著性檢驗(yàn)的結(jié)論可能失效顯著性檢驗(yàn)的結(jié)論可能失效存在不完全多重共線性時(shí)參數(shù)估計(jì)值的方差與標(biāo)準(zhǔn)差變大容易使通過(guò)樣本計(jì)算的t值小于臨界值， 誤導(dǎo)作出參數(shù)為0的推斷可能將重要的解釋變量排除在模型之外*注：使本來(lái)影響顯著的變量變得不顯著?；蛘吒鼫?zhǔn)確地說(shuō)，在不完全多重共線性下，t檢驗(yàn)更容易接受原假設(shè)。計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著125. OLS估計(jì)量及其標(biāo)準(zhǔn)誤對(duì)樣本數(shù)據(jù)微小變化較敏感估計(jì)量及其標(biāo)準(zhǔn)誤對(duì)樣本數(shù)據(jù)微小變化較敏感 以兩個(gè)解釋變量的回歸模型為例，OLS估計(jì)量的方差和標(biāo)準(zhǔn)誤都與解釋變量之間的相關(guān)系數(shù)有關(guān)，而相關(guān)系數(shù) 的微小變化，都導(dǎo)致 的變化非常明顯

11、，從而使標(biāo)準(zhǔn)誤會(huì)發(fā)生顯著變化。 如：當(dāng) 由0.9增加到0.95時(shí)， 的值由10增加到20。212r2121/ (1)r212r2121/ (1)r計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著13總結(jié)：總結(jié)： 除非是完全多重共線性，否則多重共線性并不意味著任何基本假設(shè)的違背；也就是說(shuō)，不完全的多重共線性并不違背經(jīng)典假定； 因此，即使出現(xiàn)較高程度的多重共線性，OLS估計(jì)量仍然具有最佳線性無(wú)偏估計(jì)量的統(tǒng)計(jì)性質(zhì)，即高斯-馬爾科夫定理仍然成立； 問(wèn)題在于問(wèn)題在于，即使OLS法仍是最好的估計(jì)方法，它卻不是“完美的”，尤其是在統(tǒng)計(jì)推斷上無(wú)法給出真正有用的信息。因?yàn)?，模型存在多重共線性時(shí)，OLS估計(jì)

12、量的方差會(huì)增大，因此，無(wú)論是參數(shù)的估計(jì)還是參數(shù)的統(tǒng)計(jì)推斷都是不可靠的。計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著14 多重共線性表現(xiàn)為解釋變量之間具有相關(guān)關(guān)系，所以用于多重共用于多重共線性的檢驗(yàn)方法主要是統(tǒng)計(jì)方法線性的檢驗(yàn)方法主要是統(tǒng)計(jì)方法。 1 1、相關(guān)系數(shù)法、相關(guān)系數(shù)法 (1)對(duì)兩個(gè)解釋變量的模型，采用對(duì)兩個(gè)解釋變量的模型，采用簡(jiǎn)單相關(guān)系數(shù)法簡(jiǎn)單相關(guān)系數(shù)法 求出X1與X2的簡(jiǎn)單相關(guān)系數(shù)r，若|r|接近1，則說(shuō)明兩變量存在較強(qiáng)的多重共線性。經(jīng)驗(yàn)表明，當(dāng)r的值大于或等于0.8時(shí)，說(shuō)明存在多重共線性。 (2)對(duì)多個(gè)解釋變量的模型，對(duì)多個(gè)解釋變量的模型，采用相關(guān)系數(shù)矩陣法，采用相關(guān)系數(shù)

13、矩陣法，但是相關(guān)系數(shù)矩陣法是存在多重共線性的充分條件而不是必要條件。尤其在多于兩個(gè)解釋變量的回歸模型中，有時(shí)較低的簡(jiǎn)單相關(guān)系數(shù)也意味著可能存在比較嚴(yán)重的多重共線性，因此僅利用相關(guān)系數(shù)來(lái)判斷是否存在多重共線性，有時(shí)不能準(zhǔn)確判斷多重共線性的嚴(yán)重程度。7.4 7.4 對(duì)多重共線性現(xiàn)象的偵察對(duì)多重共線性現(xiàn)象的偵察計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著15計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著162 2、輔助回歸法、輔助回歸法 利用模型中每一個(gè)解釋變量分別以其余解釋變量為解釋變量進(jìn)行回歸，并計(jì)算相應(yīng)的擬合優(yōu)度。 如果某一種回歸 的判定系數(shù)判定系數(shù)較大，說(shuō)明Xj與其他X間存

14、在共線性共線性。判別的標(biāo)準(zhǔn)是回歸模型是否通過(guò)F檢驗(yàn)。 具體可進(jìn)一步對(duì)上述回歸方程作具體可進(jìn)一步對(duì)上述回歸方程作F檢驗(yàn)，檢驗(yàn)，構(gòu)造如下F統(tǒng)計(jì)量 式中：Rj2為第j個(gè)解釋變量對(duì)其他解釋變量的回歸方程的判定系數(shù)， 若存在較強(qiáng)的共線性，則Rj2較大且接近于1，這時(shí)（1- Rj2 ）較小，從而Fj的值較大。因此，給定顯著性水平，計(jì)算F值，并與相應(yīng)的臨界值比較，來(lái)判定是否存在相關(guān)性。11221111.jjjjjkkXcXXXXX) 1, 2() 1/()1 ()2/(2.2.knkFknRkRFjjj計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著17計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛

15、等編著18計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著19計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著20計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著21 3.3.根據(jù)回歸結(jié)果來(lái)判斷根據(jù)回歸結(jié)果來(lái)判斷（1）對(duì)于原始的多元回歸模型，當(dāng)增加、剔除或者改變一個(gè)變量的觀測(cè)值(不是異常值)時(shí)，回歸參數(shù)的估計(jì)值和標(biāo)準(zhǔn)誤發(fā)生較大變化，據(jù)此可以判斷回歸方程可能存在嚴(yán)重的多重共線性。這是因?yàn)閿?shù)據(jù)的微小變化，引起了解釋變量之間的相關(guān)關(guān)系發(fā)生明顯變化，從而導(dǎo)致回歸系數(shù)的估計(jì)值和標(biāo)準(zhǔn)誤發(fā)生較大變化(如果不理解，看看本章第三節(jié)內(nèi)容)。因此，在實(shí)證研究中，由于樣本數(shù)據(jù)發(fā)生的微小變化而對(duì)估計(jì)結(jié)

16、果產(chǎn)生較大影響，隱含著模型中可能存在嚴(yán)重的多重共線性。（2）在回歸方程中，一些理論上顯著的重要解釋變量的回歸系數(shù)的標(biāo)準(zhǔn)誤較大，t 統(tǒng)計(jì)量值較小而不能拒絕原假設(shè)，同時(shí) 又很高(或F檢驗(yàn)?zāi)茱@著拒絕原假設(shè))，這種情況可初步判斷存在嚴(yán)重的多重共線性。 2R計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著22 上式的第一行是對(duì)應(yīng)參數(shù)估計(jì)值的t統(tǒng)計(jì)量，第二行是對(duì)應(yīng)的t檢驗(yàn)的p-值。從回歸結(jié)果來(lái)看，當(dāng)顯著性水平為5%時(shí)，所有參數(shù)OLS估計(jì)量的p值都大于0.05，說(shuō)明t檢驗(yàn)的結(jié)論是都不能拒絕原假設(shè)。而從模型的F檢驗(yàn)來(lái)看，F(xiàn)統(tǒng)計(jì)量的p值是0，說(shuō)明模型是顯著成立的，同時(shí)R2很高(=0.97)。綜上所述，如果

17、按照t檢驗(yàn)的結(jié)果，所有的解釋變量對(duì)被解釋變量的影響是不顯著的，而按照F檢驗(yàn)的結(jié)果，模型又具有總體顯著性。也就是說(shuō)，t檢驗(yàn)的結(jié)果和F檢驗(yàn)的結(jié)果相互矛盾，這種矛盾的根源在于多元線性回歸模型存在嚴(yán)重的多重共線性現(xiàn)象。在例7.1中，利用Eviews6.0對(duì)模型進(jìn)行估計(jì)，估計(jì)的結(jié)果如下：計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著23（3）如果有些解釋變量的回歸系數(shù)的符號(hào)與經(jīng)濟(jì)原理相違背，這種現(xiàn)象表明很可能存在多重共線性。我們?cè)谇懊嬉呀?jīng)說(shuō)明，多重共線性可能扭曲了參數(shù)的經(jīng)濟(jì)含義。4.方差膨脹因子方差膨脹因子(VIF)檢驗(yàn)檢驗(yàn) 對(duì)于多元線性模型，解釋變量 的參數(shù)估計(jì)值 的方差可以表示為：其中 是

18、的方差膨脹因子，即： 是第j個(gè)解釋變量與其它所有解釋變量回歸時(shí)的判定系數(shù)， 經(jīng)驗(yàn)表明：當(dāng)方差膨脹因子大于10時(shí)，認(rèn)為存在嚴(yán)重的多重共線性。jXj222221()1jjjjjVarVIFxRxjVIFjX211jjVIFR2jR計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著24 在例7.1中，在上面輔助回歸的基礎(chǔ)上，可以直接得到各個(gè)解釋變量的方差膨脹因子，分別是 VIF18.176 ；VIF2=48.41；VIF3=15.42；VIF4=39.281;；VIF5=105.03 除了第一個(gè)解釋變量的VIF小于10以外，其余四個(gè)解釋變量的VIF都大于10，說(shuō)明模型存在嚴(yán)重的多重共線性。計(jì)量經(jīng)

19、濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著25 1. 剔除變量法剔除變量法這是消除多重共線性最簡(jiǎn)單的一種方法。當(dāng)回歸方程中存在嚴(yán)重的多重共線性，可以刪除引起多重共線性的解釋變量。以輔助回歸模型(7.4.1)為例，通過(guò)F檢驗(yàn)發(fā)現(xiàn)變量Xj是其他解釋變量的近似的線性組合，一個(gè)最為簡(jiǎn)單的方法是在回歸模型中去掉變量Xj。這種去掉變量的方法可以持續(xù)下去，直到所有的輔助回歸模型都不能通過(guò)F檢驗(yàn)為止。注意：注意：根據(jù)經(jīng)濟(jì)理論建立的回歸模型，去掉某些解釋變量會(huì)導(dǎo)致模型的設(shè)定誤差，從而使參數(shù)的OLS估計(jì)產(chǎn)生偏誤，因此在使用該方法時(shí)要慎重。 7.5 7.5 對(duì)多重共線性問(wèn)題的補(bǔ)救對(duì)多重共線性問(wèn)題的補(bǔ)救計(jì)量經(jīng)濟(jì)

20、學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著262.增大樣本容量增大樣本容量 造成多重共線性的直接原因是參數(shù)OLS估計(jì)量的標(biāo)準(zhǔn)誤增大，因此如何減小因多重共線性導(dǎo)致OLS估計(jì)量的標(biāo)準(zhǔn)誤是解決多重共線性問(wèn)題的目的之一。我們知道，增加樣本容量，可以提高回歸參數(shù)的估計(jì)精度，即可以導(dǎo)致回歸參數(shù)的方差和標(biāo)準(zhǔn)誤減小，t檢驗(yàn)值也隨之增大，因此盡可能地收集足夠多的數(shù)據(jù)可以改進(jìn)模型參數(shù)的估計(jì)，提高參數(shù)估計(jì)的精度和假設(shè)檢驗(yàn)的有效性。3.變換模型形式變換模型形式 將原設(shè)定的模型形式作適當(dāng)?shù)淖儞Q，可以有效地消除或減弱原模型中解釋變量之間的相關(guān)性，從而減弱多重共線性的影響。一般的變換方式包括：變換模型的函數(shù)形式，如把線

21、性模型變換為對(duì)數(shù)模型等；變換模型的變量形式，如差分變換和對(duì)變量做對(duì)數(shù)變換等。以差分變換為例，對(duì)變量進(jìn)行差分可以減弱多重共線性，因?yàn)樵隽恐g的相關(guān)性往往要低于水平值之間的相關(guān)性。 差分變換的缺陷是丟棄了X、Y變量水平值之間的數(shù)量關(guān)系。計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著274.逐步回歸法逐步回歸法 逐步回歸法逐步回歸法是指在選擇變量時(shí)，遵從“由少到多”的原則，即從所有解釋變量中間先選擇影響最為顯著的變量建立模型，然后再將模型之外的變量逐個(gè)地引入；每引入一個(gè)變量，就對(duì)模型中所有解釋變量進(jìn)行顯著性檢驗(yàn)，并從中剔除不顯著變量；逐步引入-剔除-引入，直到模型之外所有變量均不顯著。 具體步驟：具體步驟：先利用相關(guān)系數(shù)從所有解釋變量中選取相關(guān)性最強(qiáng)的變量建立模型；然后在一元回歸模型中引入第二個(gè)變量，第三個(gè)變量，選擇原則是：每個(gè)解釋變量影響顯著、參數(shù)符號(hào)正確、修正的判定系數(shù) 有所提高。2R計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著28計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生和歐陽(yáng)志剛等編著29計(jì)量經(jīng)