第四章多重共線性PPT課件

1、第四章 多重共線性問題的提出n在前述基本假定下OLS估計具有BLUE的優(yōu)良性。n然而實際問題中，這些基本假定往往不能滿足，使OLS方法失效不再具有BLUE特性。n估計參數(shù)時，必須檢驗基本假定是否滿足，并針對基本假定不滿足的情況，采取相應的補救措施或者新的方法。n檢驗基本假定是否滿足的檢驗稱為計量經(jīng)濟學檢驗回顧6項基本假定n（1）解釋變量間不相關（無多重共線性）n（2）E(ui)=0 （隨機項均值為零） n（3）Var(ui)=2 （同方差） n（4）Cov(ui, uj)=0（隨機項無自相關） n（5）Cov(X, ui)=0（隨機項與解釋變量X不相關）n（6）隨機擾動服從正態(tài)分布。不滿足基本

2、假定的情形（1）n1、通常不會發(fā)生隨機擾動項均值不等于0的情形。若發(fā)生也不會影響解釋變量的系數(shù)，只會影響截距項。n2、隨機擾動項正態(tài)性假設一般能夠成立，就算不成立，在大樣本下也會近似成立的。所以不討論此假定是否違背。不滿足基本假定的情形（2）n3、解釋變量之間相關=多重共線n4、隨機擾動項相關=序列自相關n時間序列數(shù)據(jù)經(jīng)常出現(xiàn)序列相關n5、隨機擾動項方差不等于常數(shù)=異方差n截面數(shù)據(jù)時，經(jīng)常出現(xiàn)異方差解決問題的思路n1、定義違反各個基本假定的基本概念n2、違反基本假定的原因、背景n3、診斷基本假定的違反n4、違反基本假定的補救措施（修正）本章主要介紹4.1 多重共線性的實例、定義、產(chǎn)生背景；4.

3、2 多重共線性產(chǎn)生的后果；4.3 多重共線性的檢驗；4.4 多重共線性的修正。4.5 違反三個假定的總結4.6 案例4.1 多重共線性的實例、定義、產(chǎn)生背景n4.1.1 實例n 例一 消費與收入、家庭財富 例二 汽車保養(yǎng)費與汽車行駛里程、擁有汽車時間4.1.2 多重共線性的定義n多重共線性：在多元線性回歸模型中，解釋變量之間存在著完全的線性關系或近似的線性關系iiiiXbXbbY2211002211iiXX02211iiivXX完全多重共線性近似多重共線性4.1.2 多重共線性的定義矩陣形式多重共線性。則稱模型存在如果這一假定不滿足，即即有：線性無關的的各列向量之間是矩陣基本假定是的中，對在多

4、元線性回歸模型0|XX| ),( )( ,X:nkkXrXXY多重共線性分類的矩陣形式對角線元素較大），（實際中多為此情況）不完全多重共線性：（不存在）（也就是）完全多重共線性：（情況：多重共線性表現(xiàn)為兩種11XX0|XX|2XX0,|XX|,)(1 kXr4.1.3 產(chǎn)生多重共線性的背景（1）時間序列數(shù)據(jù)中經(jīng)濟變量在時間上常有共同的變動趨勢；時間序列樣本：經(jīng)濟繁榮時期，各基本經(jīng)濟變量（收入、消費、投資、價格）都趨于增長；衰退時期，又同時趨于下降。（2）經(jīng)濟變量之間本身具有內在聯(lián)系（常在截面數(shù)據(jù)中出現(xiàn)）；橫截面數(shù)據(jù)：生產(chǎn)函數(shù)中，資本投入與勞動力投入往往出現(xiàn)高度相關情況，大企業(yè)二者都大，小企業(yè)都

5、小。4.1.3 產(chǎn)生多重共線性的背景（3）由于某種決定性因素的影響可能使各個變量向著同方向變化；（4）滯后變量引入模型，同一變量的滯后值一般都存在相互關系；在計量經(jīng)濟模型中，往往需要引入滯后經(jīng)濟變量來反映真實的經(jīng)濟關系。 例如，消費=f(當期收入, 前期收入） 顯然，兩期收入間有較強的線性相關性。有的學者認為多重共線性是一個數(shù)據(jù)樣本的問題。n一般經(jīng)驗一般經(jīng)驗 對于采用對于采用時間序列數(shù)據(jù)時間序列數(shù)據(jù)作樣本、以簡單線性作樣本、以簡單線性形式建立的計量經(jīng)濟學模型，往往存在多重共線形式建立的計量經(jīng)濟學模型，往往存在多重共線性。性。 以以截面數(shù)據(jù)截面數(shù)據(jù)作樣本時，問題不那么嚴重，但作樣本時，問題不那么

6、嚴重，但多重共線性仍然是存在的。多重共線性仍然是存在的。back4.2 多重共線性的后果4.2.1 完全多重共線性下的后果（1）參數(shù)估計值不確定； （2）參數(shù)估計值的方差無限大；來。中沒法解出唯一的不存在，從YXXXXX1)()(例例如如：對一個離差形式的二元回歸模型 2211xxy 如果兩個解釋變量完全相關，如12xx，則有221212212121221221211iiiiiiiiiiixxxxxxxxxxxXX1121iiiiiiyxyxyxYX該回歸模型的正規(guī)方程為 YXBX)X(或 iiiiiyxxxx1212211 iiiiiyxxxx2222121解該線性方程組得：00212212

7、1212121211221221212222111iiiiiiiiiiiiiiiiiiiiiiixxxxxyxxyxxxxxxxxyxxxyx1為不定式； 同理，2也為不定式，其值無法確定。事實上，當12xx時，原二元回歸模型退化為一元回歸模型： 121)(xy只能確定綜合參數(shù)21的估計值：21121iiixyx4.2.2 不完全多重共線性下的后果（1）參數(shù)估計仍是無偏估計，但不穩(wěn)定；估計量及其標準差非常敏感，觀測值稍微變化，估計量就會產(chǎn)生較大的變動。（2）參數(shù)估計式的方差隨著共線性程度的增大而增大。（3）t檢驗失效，區(qū)間估計失去意義；估計量的方差很大，相應標準差增大，進行t檢驗時，接受零假設

8、的可能性增大（4）嚴重多重共線性時，甚至參數(shù)估計式的符號與其經(jīng)濟意義相反。得出完全錯誤的結論。4.2.24.2.2 一般共線性下普通最小二乘法參數(shù)一般共線性下普通最小二乘法參數(shù)估計量非有效估計量非有效 在一般共線性（或稱近似共線性）下，雖然可以得到OLS法參數(shù)估計量，但是由參數(shù)估計量方差的表達式為 12)()(XXCov 可見，由于此時|XX|0，引起(XX) -1主對角線元素較大，從而使參數(shù)估計值的方差增大，OLS參數(shù)估計量非有效。2221221)(iiiixxxx恰為1x與2x的線性相關系數(shù)的平方2r，由于2r1，故1112r。仍以二元模型中1為例，1的方差為 22212212122212

9、22122211121)(1/)()()var(iiiiiiiiiixxxxxxxxxxXX即：多重共線性使參數(shù)估計值的方差增大，多重共線性使參數(shù)估計值的方差增大，方差方差擴大因子擴大因子(Variance Inflation Factor)為為1/(1-r2)，其增大趨勢見下表：當完完全全不不共共線線時，2r=0，2121/)var(ix當不不完完全全共共線線（近似共線）時，102 r， 2122212111)var(iixrx相關系數(shù)平方00.50.80.90.950.960.970.980.990.999方差擴大因子12510202533501001000當完全共線時，2r=1，)var

10、(14.2.2 4.2.2 參數(shù)估計量經(jīng)濟含義不合理參數(shù)估計量經(jīng)濟含義不合理 如果模型中兩個解釋變量具有線性相關性，如果模型中兩個解釋變量具有線性相關性，例如例如X1和和X2，那么它們中的一個變量可以由另一，那么它們中的一個變量可以由另一個變量表征。個變量表征。 這時，這時，X1和和X2前的參數(shù)并不反映各自與被解前的參數(shù)并不反映各自與被解釋變量之間的結構關系，而是反映它們對被解釋變釋變量之間的結構關系，而是反映它們對被解釋變量的共同影響。量的共同影響。 所以各自的參數(shù)已經(jīng)失去了應有的經(jīng)濟含義，所以各自的參數(shù)已經(jīng)失去了應有的經(jīng)濟含義，于是經(jīng)常表現(xiàn)出似乎反常的現(xiàn)象，例如本來應該是于是經(jīng)常表現(xiàn)出似乎

11、反常的現(xiàn)象，例如本來應該是正的，結果恰是負的。正的，結果恰是負的。舉例tttuPOPINTRATEHOUSING1321tttuGNPINTRATEHOUSING2321ttttuGNPPOPINTRATEHOUSING14321A：B：C：Housing:動工的住房數(shù)量Intrate：新房抵押利率POP：人口GNP：收入舉例變量模型A模型B模型C估計值 t值估計值 t值估計值 t值C-3812.93-2.40687.901.80-1315.75-0.27Intrate-198.40-3.87-169.66-3.87-184.75-3.18POP33.823.6114.900.41GNP0.9

12、13.640.520.544.3 多重共線性的檢驗（1）簡單相關系數(shù)矩陣法（輔助手段）n此法簡單易行；但要注意兩變量的簡單相關系數(shù)包含了其他變量的影響，并非它們真實的線性相關程度的反映；一般在0.8以上可初步判定它倆之間有線性相關。（2）變量顯著性與方程顯著性綜合判斷；n擬合優(yōu)度R2很高，F(xiàn)值顯著大于臨界值，而t值不顯著；那么可認為存在多重共線性。（3）輔助回歸：將每個解釋變量對其余變量回歸，若某個回歸方程顯著成立，則該解釋變量和其余變量有多重共線性。即看判定系數(shù)較大。（4）判斷參數(shù)估計值的符號，如果不符合經(jīng)濟理論或實際情況，可能存在多重共線性4.4.1 多重共線性的修正方法（一）：增加樣本容

13、量n 增加后，樣本向量有可能不再線性相關。這也可以降低觀察誤差，減小估計量的方差，有助于提高估計精度。n 但是，增加樣本是比較困難的，也不能根本解決它。n適用于：樣本引起的多重共線性測量誤差、偶然因素，解釋變量總體不存在多重共線性n增加樣本容量，如把時間序列數(shù)據(jù)和截面數(shù)據(jù)合并成平行數(shù)據(jù) 4.4.2 多重共線性的修正方法：（二）利用先驗信息改變約束形式n先驗信息：在此之前的研究成果所提供的信息。n利用某些先驗信息，可以把有共線性的變量組合成新的變量，從而消除共線性。n如 其中Y消費，X2收入X3財富。因為收入與財富有高度共線的趨勢，如果先驗認為 則代入消去iiiiuXXY332212310. 0

14、iiiiiiiiiXXXuXuXXY3221322211 . 010. 0其中4.4.2 多重共線性的修正方法：（二）利用先驗信息改變約束形式KLAYlnlnlnln高度相關已知+ =1，即規(guī)模報酬不變，則將 =1- 代入KLAKYlnlnln 4.4.3 多重共線性的修正方法：（三）截面數(shù)據(jù)和時序數(shù)據(jù)結合n有時在時間序列數(shù)據(jù)中多重共線性嚴重的變量，在截面數(shù)據(jù)中不一定有嚴重的共線性。n在假定截面數(shù)據(jù)估計出的參數(shù)在時間序列數(shù)據(jù)中變化不大的前提下，可先用截面數(shù)據(jù)估計出一些變量的參數(shù)，再代入原模型估計另一些變量的參數(shù)。n例：銷量與商品價格、消費者收入。 4.4.4 多重共線性的修正方法：（四）變換模

15、型形式（差分法）一般慎用。序列自相關問題。所以可能會出現(xiàn)但是這的共線性將明顯減弱。和差分后，則上差分式子變成：，令將上兩式相減，得：將其滯后一期：設原模型為存在高度線性相關。和假設，tttttttttttttttttttttttttttttttttuXXuXXYuuuXXXXXXYYYuuXXXXYYuXXYuXXYXX32, 33, 22113, 3, 312, 2, 21113, 3312, 2211133122113322132 )()( :差分法差分法n 對于以時間序列數(shù)據(jù)為樣本、以直接線性關系為模型關系形式的計量經(jīng)濟學模型，將原模型變換為差分模型 Yi=1 X1i+2 X2i+k X

16、ki+ i可以有效地消除存在于原模型中的多重共線性。 n 一般講，增量之間的線性關系遠比總量之間的一般講，增量之間的線性關系遠比總量之間的線性關系弱得多線性關系弱得多。例如例如：在中國：在中國消費模型中的消費模型中的2個變量個變量： 收入(Y：GDP)與消費 C 的總量與增量數(shù)據(jù)YC(-1)C(-1)/YYC(-1)C(-1)/Y1981490129760.60721982548933090.60285883330.56631983607636380.59965873290.56051984716440210.561310883830.35201985879246940.53391628673

17、0.413419861013357730.5697144110790.748819871178465420.555216517690.465819881470474510.506729209090.311319891646693600.5684176219091.083199018320105560.5762185411960.6451199121280113620.533929608060.2723199225864131460.5083458417840.3892199334501159520.4624863728060.3249199447111201820.42841261042300

18、.3354199559405272160.45811229470340.5721199668498345290.5041909373130.8042 由表中的比值可以直觀地看到，由表中的比值可以直觀地看到，兩變量增量的兩變量增量的線性關系弱于總量之間的線性關系。線性關系弱于總量之間的線性關系。n 進一步分析：進一步分析： Y與C(-1)之間的相關系數(shù)為0.9845， Y與C(-1)之間的相關系數(shù)為0.7456。 一般認為：兩個變量之間的相關系數(shù)大于0.8時，二者之間存在線性關系。 所以，原模型經(jīng)檢驗地被認為具有多重共線性，而差分模型則可認為不具有多重共線性。 4.4.4 多重共線性的修正方法：

19、（五）逐步回歸法n基本思想： 用逐步回歸法發(fā)現(xiàn)產(chǎn)生共線性的解釋變量，將其剔除，從而減少共線性的影響。n這既是判斷是否存在多重共線性的方法，也是解決多重共線性的方法。n具體方法：見流程圖（word文檔：多重共線性逐步回歸法流程圖）多重共線性逐步回歸法流程圖4.4.4 多重共線性的修正方法：（六）剔除不重要的解釋變量n如果多重共線性由不重要的解釋變量引起，可以從模型中除去該解釋變量，減弱多重共線性n該解釋變量被納入隨機誤差項中，可能使隨機誤差項不能滿足零均值假設4.4.4 多重共線性的修正方法：（六）剔除變量與設定偏誤n面對嚴重多重共線性，最簡單的做法之一是剔除共線性諸變量之一，但是從模型中刪除一

20、個變量，可能導致設定偏誤或設定誤差。也就是說在分析中使用了不正確設定的模型。n由上面的討論可見，從模型中除掉一個變量以緩解多重共線性的問題會導致設定上的偏誤，因此在某些情形中，醫(yī)治也許比疾病更糟糕，多重共線性雖然有礙于對模型參數(shù)的準確估計，但是剔除變量，則對參數(shù)的真值有嚴重的誤導，應該記得，在近似共線性情形下，OLS估計量仍是BLUE。4.4.4 多重共線性的修正方法：（七）變量變換n偶爾地，通過對模型中變量的變換能夠降低共線性程度。如有的總量變成人均量，名義量變成實際量。但不能保證一定有效！n參看課本P214。4.4.4 多重共線性的修正方法：（七）變量變換tttttXbXbXbbY3322

21、110lnln銷量出廠價格 市場價格高度相關市場總供應量tttttXbXXbbY322110lnln相對價格數(shù)據(jù)中心化ikikiiiXbXbXbbY2210jijiXX令kikiiiXbXbXbbY22110jijijiXXX*令*22*110kikiiiXbXbXbbY4.4.4 多重共線性的修正方法：（八）用被解釋變量的滯后值代替解釋變量的滯后值ttttXbXbbY1210個人消費現(xiàn)期收入 前期收入高度相關ttttYXY1210線性關系較弱4.5 違反三個假定的總結對于模型對于模型Y Yi i= = 0 0+ + 1 1X X1i1i+ + 2 2X X2i2i+ + + k kX Xki

22、ki+ + i i i=1,2,i=1,2,n,n 其基本假設之一其基本假設之一是解釋變量是互是解釋變量是互相獨立的相獨立的。如果如果某兩個或多個解某兩個或多個解釋變量之間出現(xiàn)釋變量之間出現(xiàn)了相關性了相關性，則稱則稱為為多重共線性多重共線性。定義要點多重共線性多重共線性序列相關性序列相關性異方差性異方差性隨機誤差項互相獨隨機誤差項互相獨立的基本假設表現(xiàn)立的基本假設表現(xiàn)為：為：Covij(,) 0如果出現(xiàn)如果出現(xiàn)Covij(,) 0即即對于不同的樣本對于不同的樣本點，隨機誤差項之點，隨機誤差項之間不再是完全互相間不再是完全互相獨立，而是存在某獨立，而是存在某種相關性種相關性后果多重共線性多重共線

23、性序列相關性序列相關性異方差性異方差性1參數(shù)估計量非有效參數(shù)估計量非有效2變量的顯著性檢驗變量的顯著性檢驗失去意義失去意義3模型的預測失效模型的預測失效1參數(shù)估計量非有效參數(shù)估計量非有效2變量的顯著性檢驗變量的顯著性檢驗失去意義失去意義3模型的預測失效模型的預測失效1完完全全共共線線性性下下參參數(shù)數(shù)估估計計量量不不存存在在2一一般般共共線線性性下下普普通通最最小小二二乘乘法法參參數(shù)數(shù)估估計計量量非非有有效效3參參數(shù)數(shù)估估計計量量經(jīng)經(jīng)濟濟含含義義不不合合理理4變變量量的的顯顯著著性性檢檢驗驗失失去去意意義義5模模型型的的預預測測功功能能失失效效檢檢驗驗解解釋釋變變量量之之間間的的相相關關性性1

24、1 采采 用用 普普 通通 最最 小小 二二 乘乘 法法估估 計計 模模 型型 ， 以以 求求 得得 隨隨 機機誤誤 差差 項項 的的 “ 近近 似似 估估 計計 量量 ”ei2 2 分分 析析 這這 些些 “ 近近 似似 估估 計計 量量 ”之之 間間 的的 相相 關關 性性檢驗隨機誤差項的檢驗隨機誤差項的方差與解釋變量觀方差與解釋變量觀測值之間的相關性測值之間的相關性檢驗思路n1判定系數(shù)檢驗法n2逐步回歸法檢驗方法多重共線性多重共線性序列相關性序列相關性異方差性異方差性解決方法排除引起共線性的變量排除引起共線性的變量差分法差分法減小參數(shù)估計量的方差減小參數(shù)估計量的方差1 1 廣義最小二乘法

25、廣義最小二乘法2 2 差分法差分法（1 1）一階差分法）一階差分法（2 2）廣義差分法）廣義差分法1 1 回歸檢驗法回歸檢驗法2 2 馮諾曼比檢驗法馮諾曼比檢驗法3 3D.W.D.W.檢驗檢驗加加權權最最小小二二乘乘法法1 圖圖示示檢檢驗驗法法2 等等級級相相關關系系數(shù)數(shù)法法3 戈戈里里瑟瑟檢檢驗驗4 巴巴特特列列特特檢檢驗驗5 戈戈德德菲菲爾爾特特夸夸特特檢檢驗驗4.6.1 案例一：服裝市場需求函數(shù)案例一：服裝市場需求函數(shù)1 1、建立模型、建立模型n 根據(jù)理論和經(jīng)驗分析，影響居民服裝類支出的主要因素有：可支配收入、居民流動資產(chǎn)擁有量、服裝價格指數(shù)、物價總指數(shù)。n 已知某地區(qū)的有關資料，根據(jù)散

26、點圖判斷，建立線性服裝消費支出模型： Y=0+1X+2K+3P1+4P0+2 2、樣本數(shù)據(jù)、樣本數(shù)據(jù) 由于R2較大且接近于1，而且 F=638.4，大于臨界值：F 0.05(4,5)=15.19，故認為服裝支出與上述解釋變量間總體線性關系顯著。 但由于參數(shù)K的估計值的t檢驗值較?。ㄎ茨芡ㄟ^檢驗），故解釋變量間存在多重共線性解釋變量間存在多重共線性。 (1)用用 OLS 法法估估計計上上述述模模型型： 01334. 0197. 0001. 010. 020.13PPKXY (-1.76) (3.71) (0.30) (-2.20) (2.24) r2=0.9980 R2=0.9965 F=638

27、.43 3、估計模型、估計模型（2）檢驗簡單相關系數(shù)）檢驗簡單相關系數(shù)n各解釋變量間存在高度相關性，其中尤其以各解釋變量間存在高度相關性，其中尤其以P1，P0間的相關系數(shù)為最高。間的相關系數(shù)為最高。列出 X，K，P1，P0 的相關系數(shù)矩陣：XKP1P0X10.9883 0.9804 0.9878K0.988310.9700 0.9695P10.9804 0.970010.9918P00.9878 0.9695 0.99181（3）找出最簡單的回歸形式）找出最簡單的回歸形式n可見，應選可見，應選為初始的回歸模型。為初始的回歸模型。分別作 Y 與 X，K，P1，P0 間的回歸： XY118. 02

28、4. 1 KY327. 0118. 2 (-3.36) (42.48) (2.58) (15.31)2R=0.9950 F=1805.1 2R=0.9629 F=234.4 1516. 05 .38PY 0663. 07 .53PY (-9.16) (12.53) (-14.77) (18.66)2R=0.9455 F=157.1 2R=0.9747 F=348.1（4 4）逐步回歸）逐步回歸 將其他解釋變量分別導入上述初始回歸模型，尋找最佳回歸方程。YCXKP1P02RF=f(X)-1.250.120.99501805.1t 值-3.3642.49=f(X,P1)1.530.13-0.040

29、.9958826.9t0.318.57-0.57=f(X,P1,K)1.060.14-0.04-0.040.9941509.0t0.215.70-0.68-0.53=f(X,P1,P0)-12.450.10-0.190.310.99701003.6t-1.927.55-2.472.59=f(X,P1,P0,K)-13.200.100.01-0.200.330.9965638.4-1.793.710.30-2.202.244 4、討論：、討論： 在初始模型中引入在初始模型中引入P1，模型擬合優(yōu)度提高，且，模型擬合優(yōu)度提高，且參數(shù)符號合理，但參數(shù)符號合理，但P1的的t檢驗未通過；檢驗未通過； 再引

30、入再引入K，擬合優(yōu)度雖有提高，但，擬合優(yōu)度雖有提高，但K與與P1的的t檢檢驗未能通過，且驗未能通過，且X與與P1的的t檢驗值及檢驗值及F檢驗值有所下檢驗值有所下降，表明引入降，表明引入K并未對回歸模型帶來明顯的并未對回歸模型帶來明顯的“好處好處”，K可能是多余的；可能是多余的； 去掉去掉K K，加入，加入P P0 0，擬合優(yōu)度有所提高，且各解釋，擬合優(yōu)度有所提高，且各解釋變量的變量的t t檢驗全部通過，檢驗全部通過，F(xiàn) F值也增大了。值也增大了。 將將4 4個解釋變量全部包括進模型，擬合優(yōu)度未有個解釋變量全部包括進模型，擬合優(yōu)度未有明顯改觀，明顯改觀，K K的的t t檢驗未能通過，檢驗未能通過

31、，K K顯然是多余的。顯然是多余的。 5 5、結論、結論回歸方程以回歸方程以Y=f(X,P1,P0)Y=f(X,P1,P0)為最優(yōu)：為最優(yōu)： Y=-12.45+0.10X-0.19P1+0.31P0Y=-12.45+0.10X-0.19P1+0.31P0back4.6.2 案例二：中國消費函數(shù)模型案例二：中國消費函數(shù)模型1 1、OLSOLS估計結果估計結果Dependent Variable: CONS Method: Least Squares Date: 03/01/03 Time: 00:46 Sample: 1981 1996 Included observations: 16 Var

32、iable Coefficient Std. Error t-Statistic Prob. C 540.5286 84.30153 6.411848 0.0000 GDP 0.480948 0.021861 22.00035 0.0000 CONS1 0.198545 0.047409 4.187969 0.0011 R-squared 0.999773 Mean dependent var 13618.94 Adjusted R-squared 0.999739 S.D. dependent var 11360.47 S.E. of regression 183.6831 Akaike info criterion 13.43166 Sum squared resid 438613.2 Sc