義多重共線性

1、補(bǔ)充內(nèi)容：多重共線性“多重共線性”一詞由R.Frisch1934年提出，它原指模型的解釋變量間存在線性關(guān)系。非多重共線性假定rk(XX)=rk(X)=k.解釋變量不是完全線性相關(guān)的或接近完全線性相關(guān)的。|rxixj裝1,|rxix|不近似等于1。就模型中解釋變量的關(guān)系而言，有三種可能。(1) rxixj=0,解釋變量間毫無(wú)線性關(guān)系，變量間相互正交。這時(shí)已不需要多重回歸，每個(gè)參數(shù)月都可以通過(guò)y對(duì)為的一元回歸來(lái)估計(jì)。(2) |rxi為|=1,解釋變量間完全共線性。此時(shí)模型參數(shù)將無(wú)法確定。直觀地看，當(dāng)兩變量按同一方式變化時(shí)，要區(qū)別每個(gè)解釋變量對(duì)被解釋變量的影響程度就非常困難。(3) 0rxixjR2

2、,貝Uxi,為間的多重共線性是有害的。(3) 此外還有其他一些檢驗(yàn)方法，如主成分分析法等，很復(fù)雜。4. 多重共線性的克服方法，逐步回歸法(1)用被解釋變量對(duì)每一個(gè)所考慮的解釋變量做簡(jiǎn)單回歸。(2)以對(duì)被解釋變量貢獻(xiàn)最大的解釋變量所對(duì)應(yīng)的回歸方程為基礎(chǔ)，以對(duì)被解釋變量貢獻(xiàn)大小為順序逐個(gè)引入其余的解釋變量。這個(gè)過(guò)程會(huì)出現(xiàn)3種情形。若新變量的引入改進(jìn)了R2,且回歸參數(shù)的t檢驗(yàn)在統(tǒng)計(jì)上也是顯著的，則該變量在模型中予以保留。若新變量的引入未能改進(jìn)R2,且對(duì)其他回歸參數(shù)估計(jì)值的t檢驗(yàn)也未帶來(lái)什么影響，則認(rèn)為該變量是多余的，應(yīng)該舍棄。若新變量的引入未能改進(jìn)R2,且顯著地影響了其他回歸參數(shù)估計(jì)值的符號(hào)與數(shù)值，

3、同時(shí)本身的回歸參數(shù)也通不過(guò)t檢驗(yàn)，這說(shuō)明出現(xiàn)了嚴(yán)重的多重共線性。舍棄該變量。（2）利用先驗(yàn)信息，合并高度相關(guān)的解釋變量，從而減少解釋變量個(gè)數(shù)，達(dá)到消除多重共線性的目的。案例：中國(guó)電信業(yè)務(wù)總量的計(jì)量模型（文件：coline2）經(jīng)初步分析，認(rèn)為影響中國(guó)電信業(yè)務(wù)總量變化的主要因素是郵政業(yè)務(wù)總量（x）、中國(guó)人口數(shù)（X2）、市鎮(zhèn)人口占總?cè)丝诘谋戎兀╔3）、人均GDP（X）、全國(guó)居民人均消費(fèi)水平（X5）。所得數(shù)據(jù)見(jiàn)附表。40LOG(Y)3020100.5.54LOG(Y)40302010011.411.611.812.012.212.412.6X21.411.611.812.012.212.4124030

4、2010400.270.280.290.300.310.2630201001234567LOG(Y)X30.260.270.280.290.300.3LOG(Y)X440LOG(Y)302010X50.5.0.52.02.53.03.5用1991-1999年數(shù)據(jù)建立中國(guó)電信業(yè)務(wù)總量計(jì)量經(jīng)濟(jì)模型如下，Lny=24.94+2.16X1-3.03X2+33.7X3+1.29X4-2.03X5(0.6)(1.6)(-0.8)(1.0)(1.5)(-1.2)R2=0.99,F=106.3,DW=3.4,T=9,(1991-1999),t0.05=3.18,DependentVariable:LOG(Y)

5、Method:LeastSquaresDate:03/12TOTime：14:17Sample:19911999Includedobservations:9VariableCoefficientSlid.Errort-StalisticProbX1X2X3X4X5249366038.452070.6485110.56292.1636311.3523221.5999380.20793.0345513.986712-0.7B116605019337133332.939431.0234950.39141,2888600.8340691.5452670.2200-20271911.664341-1.2

6、18014.3103R-squred0.994355Meandependentvar2013502AdjusledR-squared0985027S.D.dependentvar1.018022S.Eofregression0.124570Akaikeinfocriterion-3.931056Sumsqumdresid0046553Schwarzcriterion-3799573Loglikelihood10.91930Fstatistic106.2583Durbin-Watsonstat3.408677Prob(F-statistic)0001421R2=0.99,但每個(gè)回歸參數(shù)的t檢驗(yàn)在

7、統(tǒng)計(jì)上都不顯著（估計(jì)量的方差變大所致），這說(shuō)明模型中存在嚴(yán)重的多重共線性。下面用Klein判別法進(jìn)行分析。首先給出解釋變量間的簡(jiǎn)單相關(guān)系數(shù)矩陣。因?yàn)槠渲杏幸粋€(gè)簡(jiǎn)單相關(guān)系數(shù)大于R2=0.9944，所以根據(jù)Klein判別法，模型中存在嚴(yán)重的多重共線性。Ln(y)X1X2X3X4X5Ln(y)1.0000x10.98331.0000x20.99380.98951.0000x30.98750.97000.98821.0000x40.98200.96280.98720.96781.0000x50.98150.97030.98880.96540.99861.0000Lny=-0.34+206X1R20.9

8、668,F=204,T=9(-2.1)(14.3)Lny=-33.26-291X2(-22.2)(23.6)R20.9875,F=555,T=9Lny=-18.46+7075X3(-14.9)(16.6)R20.9752,F=275.5,T=9Lny=-0.49+0.56X4(-2.5)(13.8)R20.9644,F=189.7,T=9Lny=-0.42+1.16X5(-2.1)(14.3)2R0.9633,F=183.5,T=9解釋變量的重要程度依次為X2,X3,X1,X4,X5。(2)以Lny=-33.26-291x2為基礎(chǔ)，依次用逐步回歸法篩選解釋變量。(1)用每個(gè)解釋變量分別對(duì)被解釋

9、變量做簡(jiǎn)單回歸,決系數(shù)為標(biāo)準(zhǔn)確定解釋變量的重要程度，為解釋變量排序。引入X3,Xi,X4,X5。首先把X3引入模型，以可Lny=-29.9-2024X2+16.76X3(-6.9)(2.7)(0.8)R2=0.988,F=265.5,T=9因?yàn)閄3的引入使各回歸系數(shù)的t值下降，同時(shí)X3的系數(shù)也未通過(guò)t檢驗(yàn)，所以應(yīng)剔除X3。接著把Xi引入模型，Lny=-33.37(-3.2)-2.92X2(3.2)-0.007X1(-0.01)R2=0.9875,F=237.9,T:=9同理剔除X1引入X4Lny=-31.94(-3.4)-2.79X2(3.3)+0.022X4(0.14)R2=:0.9876,

10、F=:238.7,T=9同理剔除X4引入X5Lny=-31.94(-3.4)-2.79X2(3.3)+0.022X5(0.14)R2=:0.9876,F=:238.7,T=9同理剔除X5,最后確定的模型是Lny=-33.26-291X2(-22.2)(23.6)R2=0.9875,F=555,T=9或者用解釋變量之間相關(guān)系數(shù)值最小的Xi和X4同做解釋變量與Lny回歸，得Lny=-0.48-1.08Xi+0.28X4(-3.4)(2.7)(2.5)R2=0.98,F=184,T=9(2)已知10年間平均X5=0.4676X4,X3=0.2893X2,可以考慮將X5、X合并，x?、X3合并。得新變

11、量，Z1=X5+X4=0.4676X4+X4=1.4676X4,Z2=X2+X3=X2+0.2893X2=1.2893X2。用Lny對(duì)Z1,Z2回歸，Lny=-31.9444+2.1697Z1+0.0157Z2R2=0.9876,F=184,T=9(-3.4)(3.3)(0.1)Z2的系數(shù)沒(méi)有顯著性。實(shí)際上Zi,Z2仍然高度相關(guān)，R(zi,Z2)=0.9871。近似等于可決系數(shù)。剔除Z2,再次回歸，得Lny=-31.2573+2.2604Zi(-22.2)(23.6)R2=0.9876,F=184,T=9這時(shí)回歸系數(shù)呈高度顯著性，可決系數(shù)也沒(méi)有出現(xiàn)明顯降低。DependentVariable:

12、LOG(Y)Method:LeastSquaresDate:11JO7A12Time:09:13Sample:19911999Includedobservations:9VariableCoefficientStd.Errort-StatisticProb.C-33.257321.497494-22.208650.000012893-X22.2604250.095936235618400000R-squared0.987548Meandependentvar2.013502AdjustedR-squared0.985769S.D,dependentvar1.018022SE.ofregress

13、ion0.121443Akaiikeinfocriterion-1185615Sumsquaredresid0103239Schwar；criterion-1.1J17S7Loglikelihood7.335268F-statistic5551601Durbin-Watsonstat1.690478Prob(F-statistic)0.000000表11991-1999年中國(guó)電信業(yè)務(wù)總量數(shù)據(jù)1y(百億元)1X1(百億元)1X2(億人)X3GDPX4(千元)X5(千元)19911.51630.527511.58230.26371.8790.89619922.26570.636711.71710.

14、27632.2871.07019933.82450.802611.85170.28142.9391.33119945.92300.958911.98500.28623.9231.74619958.75511.133412.11210.29044.8542.236199612.08751.332912.23890.29375.5762.641199712.68951.443412.36260.29926.0532.834199822.64941.662812.48100.30406.3072.972199931.32381.984412.59090.30896.5343.143資料來(lái)源：中國(guó)統(tǒng)計(jì)

15、年鑒2000用EViews求相關(guān)系數(shù)矩陣有兩種方式可以求相關(guān)系數(shù)矩陣。點(diǎn)擊Quick鍵并依次選擇GroupStatistics,Correlations,QuickOfibonsWindowHelpSample.GenerateshowGraphs,.ErriptyGroup(EditSeries)SeriesStatisticsGrouaStatistics!DescriptiveStatisticsCovariancesEstimateEquation.Estimate明RCotrelationsCrossCorrelogramCointegratonTestGrangerCausalit

16、yTest將出現(xiàn)一個(gè)要求填寫(xiě)序列名的對(duì)話框(SeriesList)，填好序列名后按OK。可得。(2)在Workfile窗口中用鼠標(biāo)選中序列名，點(diǎn)擊Show鍵，OK鍵，從而打開(kāi)數(shù)據(jù)組(Group)窗口。在數(shù)據(jù)組窗口點(diǎn)擊View鍵選擇Correlations。)Group:UNTITLEDWorkfile:C0LINE2aroupMembers|Nsrne1FreezeEdi|InwDel|TramSpreadsheetX1X2X3BatedDataTable0.52750011.582300.263700Graph0,63670011.717100,276300MultipleGraphs0.8

17、0260011.851700.2S1400DescriptiveStatsTestsofQuality.N-WayTabulation.0.95890011.995000.286200113340012.112100.2904001,33290012.238900.293700144340012.362600.299200Correlations1,66280012,481000.304000Covariances198440012.590903039001.5.1丟失重要解釋變量可見(jiàn)當(dāng)模型中丟失重要解釋變量后，回歸系數(shù)的估計(jì)量是有偏的。實(shí)際中應(yīng)該對(duì)所研究的問(wèn)題有深入全面的了解，建立模型時(shí)應(yīng)避免丟失重要解釋變量。注意，當(dāng)X與Z相互正交，即XZ=0時(shí)，若丟失變量Z,任仍具有無(wú)偏性。1.5.2誤差項(xiàng)u的期望不等于零線性回歸模型的假定條件是E(u)=0。對(duì)這一假定的違反不會(huì)造成嚴(yán)重后果。因?yàn)楫?dāng)u的期望非零時(shí)，只要在模型中加入一個(gè)常數(shù)項(xiàng)，問(wèn)題就可迎刃而解。1.5.3平穩(wěn)的隨機(jī)解釋變量假定條件規(guī)定解釋變量是非隨機(jī)的且與隨機(jī)誤差項(xiàng)相互獨(dú)立，即E(Xu)=0.這個(gè)假定條件保證了OLS估計(jì)量的無(wú)偏性。然而經(jīng)濟(jì)時(shí)間序列變量有時(shí)很難滿(mǎn)足這個(gè)條件。比如在建立模型過(guò)程中如果