第四章4.1多重共線性

1、1 第第4章章 違背基本假定的多元線性回歸模型違背基本假定的多元線性回歸模型 計量經(jīng)濟學計量經(jīng)濟學 2 違背基本假定的各種情形：違背基本假定的各種情形： （1）隨機誤差項序列存在異方差異方差性（heteroskedasticity）； （2）隨機誤差項序列存在自相關(guān)自相關(guān)性（autocorrelation）； （3）解釋變量之間存在多重共多重共線線性(MultiCollinearity) ； （4）解釋變量為隨機變量； （5）誤差項不服從正態(tài)分布。 u OLS法是否還適用？所得參數(shù)的OLS估計量是否還具有優(yōu)良 的統(tǒng)計性質(zhì)？變量顯著性t檢驗和方程顯著性F檢驗還有效嗎？ u 如果OLS法失效，有哪

2、些補救措施？ u 如何檢驗模型是否違背基本假定條件？ 回顧回顧：經(jīng)典線性回歸模型的基本假定條件。經(jīng)典線性回歸模型的基本假定條件。 建立違背基本假定回歸模型存在的基本問題：建立違背基本假定回歸模型存在的基本問題： 本章主要討論不滿足基本假定中的某一條，而其余假定條件 均成立時，多元線性回歸模型參數(shù)的有效估計和檢驗問題。 3 目的目的 討論違背基本假定的多元線性回歸模型的建模討論違背基本假定的多元線性回歸模型的建模 問題（參數(shù)的估計、統(tǒng)計檢驗）。問題（參數(shù)的估計、統(tǒng)計檢驗）。 4 教學安排教學安排 共12學時（每講3學時） 第一講 4.1 第二講 4.2 第三講 4.3 第四講 4.4和本章小結(jié)、

3、習題選講 4.1 多重共線性 n多重共線性的概念多重共線性的概念 n多重共線性的來源與后果多重共線性的來源與后果 n多重共線性的檢驗方法多重共線性的檢驗方法 n多重共線性的克服方法多重共線性的克服方法逐步回歸法逐步回歸法 多重共線性的概念多重共線性的概念 “多重共線性（多重共線性（multi-collinearity）” 原指模型的解釋變量間存在線性關(guān)原指模型的解釋變量間存在線性關(guān) 系。系。 01122 = + + + + iiikkii Y XXXu 11213111 12223222 123 (1 10 10 10 k k nnnknk nk XXXX XXXX XXXX X ） 完全多重

4、共線性完全多重共線性意味著： rank(X) k+1，rank(XX) = rank(X) k+1，從而k階方陣XX是不可逆的。 如果非零向量 使得下面的等式成立，則稱這些解釋變量存在多重共 線性。 YXX)(X 1 能夠進行能夠進行OLS估計嗎？估計嗎？ 一個例子：一個例子： 計量經(jīng)濟學考試成績的回歸模型：計量經(jīng)濟學考試成績的回歸模型： 0123 45i scoremathscoreeconscorehourday hourweekothersu 其中，mathscore和econscore分別為數(shù)學成績和經(jīng)濟學成績；hourday 和hourweek分別為每天和每周每天和每周學習計量經(jīng)濟學

5、的時間；others還包含其他 一些變量，如監(jiān)考老師的態(tài)度，身邊有沒有學習好的同學，是否發(fā)現(xiàn)一 些有新意的問題（+5分）等等。 能夠?qū)@個模型進行OLS估計嗎？ 完全多重共線性是一種模型設(shè)定錯誤！完全多重共線性是一種模型設(shè)定錯誤！ 8 k , 10 k XXX, 21 不完全的多重共線性：不完全的多重共線性：解釋變量 之間存在不完全的多重 共線性，是指 X的各列是近似線性相關(guān)的，即存在不全為0的 數(shù) ，使得 ）（niXX kiki , 2 , 10 110 顯然，解釋變量之間存在不完全的多重共線性意味著存在某一解釋 變量的樣本數(shù)據(jù)能由其余解釋變量的樣本數(shù)據(jù)近似地線性表示。 多重共線性：多重共線

6、性：解釋變量之間的完全多重共線性和不完全多重共線性的 統(tǒng)稱，其本質(zhì)是解釋變量的樣本數(shù)據(jù)之間存在完全的或近似的線性相關(guān)性。 一個基本結(jié)論： 當解釋變量中有兩個變量的樣本數(shù)據(jù)之間高度相關(guān)時，模型就存在較 嚴重的多重共線性；但當解釋變量兩兩之間的相關(guān)程度都很低時，所有解 釋變量之間仍可能存在較嚴重的多重共線性。 問題：問題：在多元線性回歸模型中，解釋變量之間存在多重共線性就是指 解釋變量兩兩共線或高度相關(guān)，對否？ 例題（p91） u 特例：不可識別的情形。 l rXi Xj = 0，解釋變量間，解釋變量間無線性關(guān)系無線性關(guān)系，變量間相互正交。，變量間相互正交。 對如下的多元回歸和k個一元回歸模型：

7、yi = 0+1x1 i+ 2x2i + kx ki + ui yi = 11 +1x1i + u1i yi = k1 +kxki + uki 偏回歸系數(shù)j的OLS估計量與一元回歸系數(shù)j的OLS估計量完全相同。 l rXi Xj = 1，解釋變量間，解釋變量間完全共線性完全共線性。此時模型參數(shù)將無法確定。此時模型參數(shù)將無法確定。 l 0|rXi Xj|20，則可以認為 模型存在較嚴重多重共線性的征兆。 （已超范圍） n i ki n i i X X n S 1 2 1 2 1 /100 0/10 00/1 多重共線性的克服方法多重共線性的克服方法 利用已知信息利用已知信息 LnYt =LnA+

8、 LnKt + LnLt + ut + = 1 LnYt = LnA+ LnLt + (1- ) LnKt + ut Ln(Yt/Kt)= LnA + Ln(Lt/Kt)+ ut 估計出后，再利用關(guān)系式 + = 1，估計。 有時LnK和LnL會高度相關(guān)，假設(shè)發(fā)現(xiàn)該行業(yè)是規(guī)模報 酬不變的，則： 從而： 增加樣本容量或重新抽取樣本增加樣本容量或重新抽取樣本 主要適用于那些由測量誤差而引起的多重共線性。主要適用于那些由測量誤差而引起的多重共線性。 當重新抽取樣本時，克服了測量誤差，自然也消除了當重新抽取樣本時，克服了測量誤差，自然也消除了 多重共線性。另外，增加樣本容量也可以減弱多重共多重共線性。另

9、外，增加樣本容量也可以減弱多重共 線性的程度。線性的程度。 合并截面數(shù)據(jù)與時間序列數(shù)據(jù) Ln Yt = 0+ 1 Ln Pt + 2 Ln It + ut 某種商品的銷售量模型如下： 其中Yt 表示銷售量，Pt表示平均價格，It表示消費者收入。時 間序列數(shù)據(jù)中，價格Pt與收入It一般高度相關(guān)。 首先利用截面數(shù)據(jù)估計收入彈性系數(shù)2。因為在截面數(shù)據(jù) 中，平均價格是一個常量，所以不需要估計1。 LnYt = 0+ 1 Ln Pt + Ln It + ut LnYt - Ln It = 0+ 1 LnPt + ut （1）用被解釋變量對每一個所考慮的解釋變量做簡單回歸。）用被解釋變量對每一個所考慮的解

10、釋變量做簡單回歸。 （2）以對被解釋變量貢獻最大的解釋變量所對應的回歸方程為基礎(chǔ)，以對被解釋）以對被解釋變量貢獻最大的解釋變量所對應的回歸方程為基礎(chǔ)，以對被解釋 變量貢獻大小為順序逐個引入其余的解釋變量。變量貢獻大小為順序逐個引入其余的解釋變量。 這個過程會出現(xiàn)3種情形： 若新變量的引入改進了R2，且回歸參數(shù)的t檢驗在統(tǒng)計上也是顯著的，則 該變量在模型中予以保留。 若新變量的引入未能改進R2，且對其他回歸參數(shù)估計值的t檢驗也未帶來 什么影響，則認為該變量是多余的，應該舍棄。 若新變量的引入未能改進R2，且顯著地影響了其他回歸參數(shù)估計值的符號 與數(shù)值，同時本身的回歸參數(shù)也通不過t檢驗，這說明出現(xiàn)

11、了嚴重的多重 共線性。舍棄該變量。 逐步回歸法逐步回歸法 26 多重共線性造成的主要后果是參數(shù)估計量具有較大的方差。為了解決 這一問題，計量經(jīng)濟學家們提出了一些以引入偏誤為代價來提高參數(shù)估計 量的穩(wěn)定性的參數(shù)估計方法，如嶺回歸法（ridge regression）、主成分 回歸法（principal components regression）等。 嶺回歸估計法嶺回歸估計法是借助于OLS估計量的表達式，機械地設(shè)定一種具有較 小方差的參數(shù)估計量以解決多重共線性問題的方法。該方法的吸引力在 于用較小的偏誤換來方差的改善。具體做法是令估計量為 該方法的缺陷：該方法的缺陷：在如何確定r值上缺乏令人信服的理論依據(jù)，而且對 參數(shù)的統(tǒng)計推斷也相當復雜。因此，這種方法在實際中并不常用。 YXrDXX 1 )( 其中D為 主對角線上的元素構(gòu)成的對角矩陣，r為大于0的常數(shù)。 X X 改變參數(shù)的估計方法以減小參數(shù)估計量的方差改變參數(shù)的