《多重共線性問題》PPT課件.ppt

1、1,第八章 多重共線性問題,一、問題的種類和原因 二、多重共線性的危害 三、多重共線性的測定 四、多重共線性的克服和處理,2,8.1 問題的種類和原因,1、完全多重共線性 一個自變量剛好是其他自變量的線性組合 如果存在 c1X1i+c2X2i+ckXki=0 i=1,2,n 其中: ci不全為0，則稱為解釋變量間存在完全共線性（perfect multicollinearity）。矩陣X至少有一列向量可由其他列向量（不包括第一列）線性表出，它是非滿秩的。 模型設(shè)定問題 識別問題,3,2、近似多重共線性 如果存在 c1X1i+c2X2i+ckXki+vi=0 i=1,2,n 其中ci不全為0，v

2、i為隨機(jī)誤差項(xiàng)，則稱為 近似共線性（approximate multicollinearity）或交互相關(guān)(intercorrelated)。 主要是數(shù)據(jù)問題，也有模型設(shè)定問題,8.1 問題的種類和原因,4,3、實(shí)際經(jīng)濟(jì)問題中的多重共線性 一般地，產(chǎn)生多重共線性的主要原因有以下三個方面： （1）經(jīng)濟(jì)變量相關(guān)的共同趨勢 時間序列樣本：經(jīng)濟(jì)繁榮時期，各基本經(jīng)濟(jì)變量（收入、消費(fèi)、投資、價格）都趨于增長；衰退時期，又同時趨于下降。 橫截面數(shù)據(jù)：生產(chǎn)函數(shù)中，資本投入與勞動力投入往往出現(xiàn)高度相關(guān)情況，大企業(yè)二者都大，小企業(yè)都小。,8.1 問題的種類和原因,5,（2）滯后變量的引入 在經(jīng)濟(jì)計(jì)量模型中，往往需

3、要引入滯后經(jīng)濟(jì)變量來反映真實(shí)的經(jīng)濟(jì)關(guān)系。 例如，消費(fèi)=f(當(dāng)期收入, 前期收入） 顯然，兩期收入間有較強(qiáng)的線性相關(guān)性。 （3）樣本資料的限制 由于完全符合理論模型所要求的樣本數(shù)據(jù)較難收集，特定樣本可能存在某種程度的多重共線性。 一般經(jīng)驗(yàn)： 時間序列數(shù)據(jù)樣本：簡單線性模型，往往存在多重共線性。 截面數(shù)據(jù)樣本：問題不那么嚴(yán)重，但多重共線性仍然是存在的。,8.1 問題的種類和原因,6,8.2（近似）多重共線性的危害,1、普通最小二乘法估計(jì)量的方差和標(biāo)準(zhǔn)差變大，即精確度下降； 2、置信區(qū)間變寬； 3、t值不顯著； 4、R平方值較高，但t值并不都顯著； 5、OLS估計(jì)量及其標(biāo)準(zhǔn)差對數(shù)據(jù)的微小變化非常敏感

4、，即它們趨于不穩(wěn)定；,7,以二元線性模型 y=1x1+2x2+ 為例:,恰為X1與X2的線性相關(guān)系數(shù)的平方r2，即X1對X2回歸的擬合優(yōu)度。,由于 r2 1，故 1/(1- r2 )1,8,多重共線性使參數(shù)估計(jì)值的方差增大，1/(1-r2)為方差擴(kuò)大因子(Variance Inflation Factor, VIF),當(dāng)完全不共線時, r2 =0,當(dāng)近似共線時, 0 r2 1,方差膨脹因子表,當(dāng)完全共線時， r2=1，,9,8.2 （近似）多重共線性的危害,6、回歸系數(shù)符號有誤； 7、難以衡量各個解釋變量對回歸平方和（ESS）或者R2的貢獻(xiàn)。 總之，隨著多重共線性程度的提高，參數(shù)方差會急劇上升

5、到很大的水平，理論上使最小二乘法估計(jì)的有效性、可靠性和價值都受到影響，實(shí)踐中參數(shù)估計(jì)的穩(wěn)定性和可靠程度下降。,10,8.3 多重共線性的測定,1、R2較高、F檢驗(yàn)通過但有些系數(shù)不能通過t檢驗(yàn)； 2、解釋變量兩兩高度相關(guān)：檢驗(yàn)解釋變量相互之間的樣本相關(guān)系數(shù)； 3、方差擴(kuò)大（膨脹）因子檢驗(yàn)； 4、狀態(tài)數(shù)檢驗(yàn)。 注意：沒有一種檢驗(yàn)方法能夠使我們徹底解決多重共線性問題。多重共線性是一個程度問題。,11,方差擴(kuò)大因子檢驗(yàn),分析已知 記 為 ， 為 。,12,當(dāng) 時， 當(dāng) 時， 自變量xj的方差擴(kuò)大因子（Variance Inflation Factor)定義為矩陣(XX)-1中第k個對角元素，即,13,

6、上式中 表示把xk作為因變量，其余自變量作為自變量進(jìn)行回歸得到的決定系數(shù)。這個值越大，表示該變量與其余自變量的線性依存程度越強(qiáng)，則自變量的共線性越嚴(yán)重。常以方差擴(kuò)大因子是否大于10來判斷第 k個解釋變量是否存在較強(qiáng)的、必須加以處理的多重共線性。還可以用所有自變量所對應(yīng)的方差擴(kuò)大因子的平均數(shù)，當(dāng)其大于10時，表示變量間存在嚴(yán)重的共線性。,14,VIF的EViews計(jì)算 首先建立以某個自變量為因變量、其余自變量為自變量的多元回歸方程. 然后計(jì)算VIF，命令如下： scalar vif=1/(1-equation_name.R2) 其中R2是R2，調(diào)用系數(shù)格式為 equation_name.coef

7、s(n),15,實(shí)例一：美國機(jī)動車汽油消費(fèi)的影響因素分析 給出1950-1987年間美國機(jī)動車汽油消費(fèi)量和影響消費(fèi)量的變量數(shù)值。其中格變量表示：QMG為機(jī)動車汽油消費(fèi)量（單位：千加侖）；CAR為汽車保有量；PMG為機(jī)動車汽油零售價格；POP為人數(shù)；RGNP為按1982年美元計(jì)算的GNP（單位：十億美元）；PGNP為GNP指數(shù)（以1982年為100）。以汽油消費(fèi)量為因變量，其他變量為自變量，建立回歸模型。變量CAR與POP、RGNP之間相關(guān)系數(shù)較大，存在多重共線性。,16,實(shí)例二：,1960至1982年期間美國的雞肉需求： 有關(guān)變量：平均每人雞肉消費(fèi)量（Y），每人實(shí)際可支配收入（X2），雞肉的實(shí)

8、際零售價格（ X3），豬肉的實(shí)際零售價格（ X4），牛肉的實(shí)際零售價格（ X5） 初步回歸 相關(guān)矩陣 輔助回歸,17,狀態(tài)數(shù)檢驗(yàn),狀態(tài)指數(shù) 將X矩陣的每一列xk用其模 相除以實(shí)現(xiàn)標(biāo)準(zhǔn)化，然后再求XX矩陣的特征值，取其中最大的除以最小的后再求平方根，得到該矩陣的“狀態(tài)數(shù)”，記為： 通常當(dāng) 大于20或30時，認(rèn)為存在較明顯的多重共線性。,18,確定哪些解釋變量的系數(shù)受到多重共線性的影響： 先計(jì)算各個特征值的“狀態(tài)指數(shù)” 這些狀態(tài)指數(shù)的水平在1到 之間，很可能有好幾個超過20-30的“危險”水平。,19,8.4 多重共線性的克服和處理,1、增加樣本容量 樣本容量越大，變量相關(guān)性越小，相關(guān)越難。但有局

9、限性，不一定解決問題 2、差分方程 3、模型修正 4、嶺回歸方法、主成分分析方法等,20,差分方程,線性回歸模型為 且已知X1和X2之間存在多重共線性問題。 作如下變換： 改用差分方程 進(jìn)行回歸，受多重共線性的影響比較小。,21,模型修正,（1）刪減解釋變量（利用檢驗(yàn)結(jié)論、經(jīng)驗(yàn)等），但從模型中刪減解釋變量可能導(dǎo)致“模型設(shè)定誤差”。 （2）重新考慮模型（利用原模型回歸信息、經(jīng)驗(yàn)等） （3）變量變換 （4）先驗(yàn)信息參數(shù)約束,22,先驗(yàn)信息參數(shù)約束 例：生產(chǎn)函數(shù) ，經(jīng)對數(shù)變換為： 如果預(yù)先知道所研究的經(jīng)濟(jì)有規(guī)模報(bào)酬不變的性質(zhì)，即函數(shù)中的參數(shù)滿足 就可以克服多重共線性。,23,嶺回歸方法,設(shè)一個多元線

10、性回歸模型為 普通最小二乘估計(jì)的公式為 當(dāng)解釋變量間存在嚴(yán)重的多重共線性時， 矩陣接近于奇異。 用 代替 代入最小二乘估計(jì)的公式，得到： 其中 稱為“嶺回歸參數(shù)”，一般 ， 是用 矩陣對角線上元素 和 構(gòu)成的對角線矩陣 。,24,估計(jì)量的數(shù)學(xué)期望為：,25,8.5 案例中國糧食生產(chǎn)函數(shù),根據(jù)理論和經(jīng)驗(yàn)分析，影響糧食生產(chǎn)（Y）的主要因素有： 農(nóng)業(yè)化肥施用量（X1, 萬噸）；糧食播種面積(X2，萬公斤) 成災(zāi)面積(X3 ，千公頃); 農(nóng)業(yè)機(jī)械總動力(X4 ，公頃); 農(nóng)業(yè)勞動力(X5 ，萬人) 已知中國糧食生產(chǎn)的相關(guān)數(shù)據(jù)，建立中國糧食生產(chǎn)函數(shù)： Y=0+1 X1 +2 X2 +3 X3 +4 X4

11、 +4 X5 +,26,1、用OLS法估計(jì)上述模型：,R2接近于1； 給定=5%，得F臨界值 F0.05(5,12)=3.11 F=638.4 15.19， 故認(rèn)上述糧食生產(chǎn)的總體線性關(guān)系顯著成立。 但X4 、X5 的參數(shù)未通過t檢驗(yàn)，且符號不正確， 故解釋變量間可能存在多重共線性。,(-0.91) (8.39) (3.32) (-2.81) (-1.45) (-0.14),27,2、檢驗(yàn)簡單相關(guān)系數(shù),發(fā)現(xiàn)： X1與X4間存在高度相關(guān)性。,列出X1，X2，X3，X4，X5的相關(guān)系數(shù)矩陣：,28,3、找出最簡單的回歸形式,可見，應(yīng)選第1個式子為初始的回歸模型。,分別作Y與X1，X2，X4，X5間的回歸：,(25.58) (11.49) R2=0.8919 F=132.1 DW=1.56,(-0.49) (1.14)