多重共線性的診斷方法和解決方法綜述,計量經(jīng)濟學(xué)論文

多重共線性的診斷方法和解決方法綜述,計量經(jīng)濟學(xué)論文摘要：多元線性回歸模型的經(jīng)典假定之一是解釋變量之間不存在線性關(guān)系。但在實際應(yīng)用中，多元線性回歸模型中的解釋變量之間往往存在近似的線性關(guān)系，假如仍然用最小二乘法估計模型，會造成分析結(jié)果不準確甚至嚴重偏離變量間本來的依存關(guān)系。為此，首先總結(jié)了多重共線性的檢驗方式方法，然后討論了多重共線性常用的修正方式方法，最后結(jié)合實例演繹了逐步回歸法和主成分回歸法的詳細應(yīng)用，為現(xiàn)實經(jīng)濟問題中多重共線性的檢驗與處理提供一定借鑒。本文關(guān)鍵詞語：多重共線性;診斷;彌補措施;逐步回歸法;主成分回歸;Abstract：Therebeingnolinearrelationshipamonginterpretationvariablesisoneoftheclassicalassumptionsinmultiplelinearregressionmodel.However,inthepracticalapplication,thereisoftenanapproximatelinearrelation.Ifwestillusethemethodofordinaryleastsquarestoestimatethemodel,theresultmaybecomeincorrectandevenfarfromtheoriginalrelationshipamongthevariables.Therefore,thepaperfirstsummarizesthetestmethodsofMulticollinearity.Andthen,thepapersummarizesthecommomcorrectionmethodsofmulticollinearity.Finally,theapplicationofstepwiseregressionandprincipalcomponentregressionisdeducedbyusinganexample.Theresearchwillprovidesomereferenceforthetestandtreatmentofmulticollinearityinrealeconomicproblems.Keyword：multicollinearity;diagnosis;remedialmeasures;stepwiseregression;principalcomponentregression;多重共線性是指模型中解釋變量間存在相關(guān)關(guān)系。假如解釋變量之間存在完全線性相關(guān)關(guān)系，則稱模型出現(xiàn)了完全多重共線性；假如解釋變量之間近似線性相關(guān)，則稱模型出現(xiàn)了不完全多重共線性。古典線性回歸模型的假設(shè)之一是模型中不存在多重共線性。假如模型存在多重共線性，仍然采用普通最小二乘法估計模型參數(shù)，會產(chǎn)生下面后果：完全共線性下模型的普通最小二乘估計量不存在，無法得到參數(shù)的估計量；近似共線性下普通最小二乘估計量即便存在，但共線性使得參數(shù)估計量的方差增大，進而導(dǎo)致變量的顯著性檢驗失去意義、模型的預(yù)測失效。在實際經(jīng)濟問題中，解釋變量之間往往存在某種關(guān)聯(lián)，多重共線性是多元回歸模型中普遍存在的問題。那么，怎樣診斷多重共線性及其影響程度以及如何處理模型中的多重共線性，顯得尤為重要。關(guān)于多重共線性的診斷方式方法與解決方式方法，不少學(xué)者進行了研究。本文綜述了多重共線性的診斷方式方法和解決方式方法。在實際應(yīng)用中，對于多重共線性的檢驗有時并不需要復(fù)雜的檢驗方式方法，而經(jīng)歷體驗方式方法簡單易行，本文結(jié)合實例給出了診斷共線性的經(jīng)歷體驗方式方法。本研究可為現(xiàn)實經(jīng)濟問題中多重共線性的檢驗與處理提供一定借鑒。1、多重共線性的診斷方式方法1.1、經(jīng)歷體驗方式方法模型的可決系數(shù)R2值較高，但變量顯著性檢驗〔t檢驗〕表示清楚變量不顯著，或模型的經(jīng)濟意義不合理，這是多重共線性的典型特征。也就是講假如R2較高，則模型顯著性檢驗〔F檢驗〕通常會拒絕零假設(shè)，即方程整體顯著，但t檢驗表示清楚，沒有或很少有斜率系數(shù)是顯著不為零的。1.2、簡單相關(guān)系數(shù)檢驗法對模型中任意兩個不同的解釋變量求簡單相關(guān)系數(shù)。假如相關(guān)系數(shù)的絕對值較大，則以為這兩個變量相關(guān)性較高。但是，相關(guān)系數(shù)檢驗法只能檢驗兩個解釋變量的相關(guān)性，對于3個或更多個解釋變量的相關(guān)性檢驗不適用。1.3、輔助回歸模型檢驗[1]將模型中每一個解釋變量對其余解釋變量進行回歸。假如某一種回歸的擬合優(yōu)度較大，講明Xj與其他解釋變量之間存在共線性。另一等價的檢驗是：在模型中排除某一解釋變量Xj，重新估計模型，假如調(diào)整的可決系數(shù)〔珚R2〕與包含Xj時特別接近，則講明Xj與其他解釋變量之間存在線性關(guān)系。1.4、方差膨脹因子檢驗[2]在多元線性回歸模型中，第i個解釋變量的方差膨脹因子為：華而不實，Ri2是把第i個解釋變量作為被解釋變量，將其對其他k-1個解釋變量作線性回歸所得的可決系數(shù)。該方式方法其實和輔助回歸模型檢驗一樣，只不過利用可決系數(shù)構(gòu)造了一個新的指標VIFi。方差膨脹因子越大，講明Ri2越接近1，則第i個解釋變量與其他解釋變量之間共線程度越強。1.5、特征值、病態(tài)數(shù)與病態(tài)指數(shù)檢驗[2]對于由k個解釋變量、n個樣本觀察值組成的樣本數(shù)據(jù)矩陣：當模型存在完全共線性時，|XX|=0；當模型存在嚴重共線性時，|XX|0。設(shè)1，2，，k+1為矩陣XX的k+1個特征值，若則特征值1，2，，k+1中至少有一個近似等于0，表示清楚模型存在嚴重的共線性。病態(tài)數(shù)〔CN〕和病態(tài)指數(shù)〔CI〕是利用特征值構(gòu)造的用于檢驗多重共線性的指標。其指標定義為這兩個指標數(shù)值越大，講明多重共線性越嚴重。一般經(jīng)歷體驗是：CI大于10即可以為模型存在共線性，大于30即可以為模型存在嚴重的共線性。2、多重共線性的解決方式方法2.1、排除引起共線性的解釋變量找出引起多重共線性的解釋變量，然后把它從模型中剔除出去，這是解決多重共線性最有效的方式方法。在實際應(yīng)用中，解決方式方法有逐步回歸法、利用粗糙集理論的屬性約簡方式方法和GMDH算法[3,4]，華而不實逐步回歸法應(yīng)用最廣泛。逐步回歸法是在模型中逐個引入解釋變量，根據(jù)模型經(jīng)濟意義的檢驗、統(tǒng)計意義的檢驗以及珚R2的變化來判定新引入的變量能否引起了共線性。假如新引入的變量使得模型經(jīng)濟意義檢驗和統(tǒng)計意義檢驗都能通過，且又能提高模型的珚R2，則應(yīng)引入；假如珚R2無顯著變化，或者模型的經(jīng)濟意義檢驗通不過，或者變量的顯著性檢驗沒有通過，則無需引入[5]。利用逐步回歸法能夠剔除掉引起共線性的變量，但是，當排除了引起共線性的變量后，保存在模型中的變量的系數(shù)的估計值將會發(fā)生改變，其經(jīng)濟意義也將發(fā)生變化。2.2、改變參數(shù)的約束形式根據(jù)經(jīng)濟理論或其他信息，找出參數(shù)間的某種關(guān)系進行受約束回歸。受約束回歸模型減少了解釋變量的個數(shù)，消除或削弱了多重共線性。這種方式方法的缺點在于外生的或先驗的信息并不總是可獲得的，即便能獲得這一信息，但要假設(shè)外生的或先驗的信息在當下樣本中仍然有效并不總是能夠?qū)崿F(xiàn)。所以應(yīng)用這種方式方法的關(guān)鍵在于獲得這一信息，并檢驗約束條件在當下樣本中的真?zhèn)?。假如約束條件為真，則能夠應(yīng)用該方式方法。2.3、變換模型的形式對原設(shè)定的模型形式進行適當?shù)淖儞Q，能夠消除或削弱模型中解釋變量之間的線性關(guān)系。詳細有3種變換方式：一是變換模型中變量的形式；二是變換模型的函數(shù)形式，如將線性模型轉(zhuǎn)換成非線性模型；三是改變變量的統(tǒng)計指標[6]。2.4、減少參數(shù)估計量的方差減少參數(shù)估計量的方差，能夠使變量顯著性檢驗的t值增大，使本來不顯著的解釋變量變得顯著。在實際應(yīng)用中，有增大樣本容量和嶺回歸兩種方式方法。2.4.1、增大樣本容量在建立的計量經(jīng)濟學(xué)模型中，假如變量的樣本數(shù)據(jù)太少，很容易產(chǎn)生多重共線性。對于多元線性回歸模型，參數(shù)估計值^bi的方差為：式中：2為隨機誤差項的方差；Xi為第i個解釋變量的觀察值；珡Xi為i個解釋變量的均值；,Ri2表示第i個解釋變量對模型中其他解釋變量回歸時的可決系數(shù)。從式〔7〕能夠看出，當樣本容量增大時，將會增大，進而使var(^bi〕變小，這對提高^bi的估計精度有益。2.4.2、嶺回歸法嶺回歸法是以引入偏誤為代價來減少參數(shù)估計量方差的方式方法。嶺回歸法的參數(shù)估計量為矩陣D一般選擇為主對角矩陣。即式中：l為大于0的常數(shù)；I為單位矩陣。關(guān)于l的取值，一般采用何瑞爾和肯納德于1975年提出的方式方法。與最小二乘估計量相比，式〔9〕的估計量方差較小。嶺回歸分析方式方法固然能夠減少參數(shù)估計量的方差，使回歸結(jié)果更符合實際，但假如原模型的經(jīng)濟意義不合理，即便使用嶺回歸法也不一定使修正后的模型能通過經(jīng)濟意義的檢驗。因而在實際應(yīng)用中并不是所有的共線性都能夠用嶺回歸法來解決[7]。2.5、主成份回歸主成分回歸是運用降維的思想，在盡量減少信息損失的情況下，將多個指標通過正交旋轉(zhuǎn)轉(zhuǎn)化為幾個綜合指標的分析方式方法。其基本原理是：利用主成分分析將解釋變量轉(zhuǎn)換成若干個主成分，這些主成分從不同側(cè)面反映了解釋變量的綜合影響[8,9]。因而，能夠?qū)⒔忉屪兞繉@些主成分進行回歸，再根據(jù)主成分與解釋變量之間的關(guān)系，求得原回歸模型的估計方程。3、實踐應(yīng)用根據(jù)上述多重共線性的診斷方式方法及解決方式方法，本文將結(jié)合實際例子對多重共線性進行檢驗與修正，進而給出多重共線性檢驗與修正的詳細操作方式方法，為相關(guān)研究與應(yīng)用提供一定的借鑒。取中國民航客運量作為被解釋變量〔Y，萬人〕。選取的解釋變量為居民消費支出〔X1，億元〕、消費支出〔X2，億元〕、來華旅游入境人數(shù)〔X3，萬人〕、民航航線里程〔X4，萬公里〕。收集整理的樣本數(shù)據(jù)〔表1〕來源于1996-2022年的(中國統(tǒng)計年鑒〕[10]。將居民消費支出和消費支出換算為以1995年為基期的不變價，建立中國民航客運量預(yù)測模型。表11995-2021年中國民航客運量及其影響因素數(shù)據(jù)表11995-2021年中國民航客運量及其影響因素數(shù)據(jù)運用Eviews軟件對中國民航客運量的多元線性回歸模型進行最小二乘估計，結(jié)果如下：式〔10〕中括號內(nèi)的數(shù)字是各變量顯著性檢驗對應(yīng)的P值，下同。從模型的最小二乘估計結(jié)果能夠看出，模型的整體擬合優(yōu)度非常高，但除X4之外，其余解釋變量的顯著性檢驗都沒有通過，并且變量X3經(jīng)濟意義檢驗沒有通過，講明模型出現(xiàn)了嚴重的多重共線性。為了消除或削弱多重共線性的影響，本文選擇兩種修正方式方法：第一種方式方法是逐步回歸法，即排除引起共線性的變量的方式方法；第二種方式方法是主成分分析方式方法，該方式方法沒有去掉任何變量便能夠削弱共線性的影響，使模型經(jīng)濟意義合理。3.1、逐步回歸法3.1.1、一元回歸模型根據(jù)相關(guān)系數(shù)和理論分析可知，中國民航客運量與民航航線里程關(guān)聯(lián)程度最大，因而，設(shè)建立一元回歸方程為：3.1.2、最優(yōu)回歸模型的選擇通過逐步引入其他變量，確定最適宜的多元回歸方程?；貧w結(jié)果見表2。表2中國民航客運量預(yù)測模型逐步回歸結(jié)果由表2可知，模型Y=f(X1,X4〕中調(diào)整的斷定系數(shù)較一元模型Y=f(X4〕的高，模型經(jīng)濟意義合理，變量都通過了顯著性檢驗，因而最終的預(yù)測模型為：比照模型〔10〕和模型〔12〕可知，利用逐步回歸法可有效解決多重共線性問題，但要剔除引起共線性的變量X2和X3。3.2、主成分回歸利用Eviews軟件對標準化的解釋變量X1、X2、X3、X4進行主成分分析。分析結(jié)果見表3和表4。表3特征值、累計奉獻率等表4特征向量由表3能夠看出，特征值最大為3.6214、最小為0.006。第1主成分的奉獻率為90.53%，講明第一個主成分包含了原始數(shù)據(jù)90%以上的信息。由表4可知主成分為：將標準化的Y〔記為Yz〕關(guān)于Z1進行回歸，估計模型后發(fā)現(xiàn)模型存在一階序列相關(guān)，用廣義差分法重新估計模型，得到下面估計結(jié)果：R2=0.9962,DW=1.81模型〔14〕擬合優(yōu)度高，且不存在序列相關(guān)性。將式〔13〕代入式〔14〕，得：模型〔15〕中各變量均為標準化變量。將各變量復(fù)原，最終得到復(fù)原后的預(yù)測模型為：模型〔16〕擬合優(yōu)度高，模型的經(jīng)濟意義合理。從模型〔16〕中能夠得到每個解釋變量對民航客運量的影響。盡管多重共線性的檢驗方式方法很多，但在實際應(yīng)用中，經(jīng)歷體驗方式方法是最常使用的方式方法。當模型總體擬合優(yōu)度高，但多個變量的顯著性檢驗不能通過甚至模型的經(jīng)濟意義不合理時，基本能夠斷定模型出現(xiàn)了多重共線性。至于修正方式方法，假如決策者不介意剔除引起共線性的變量，則逐步回歸法是簡單易行的，而且會徹底解決多重共線性帶來的問題，但它無法得到剔除掉的影響因素對被解釋變量的影響。主成分回歸會削弱解釋變量之間的共線程度，能求得各個影響因素對被解釋變量的單獨影響，但有時會碰到修正過的模型經(jīng)濟意義不合理的情況，這時決策者能夠考慮其他修正方式方法，比方嶺回歸法，詳細哪一種方式方法更優(yōu)，則需詳細試算并比擬才可得知。4、結(jié)束語本文對已有的多重共線性的診斷及處理方式方法進行了總結(jié)，并結(jié)合實際例子給出了多重共線性的檢驗與修正經(jīng)過。需要指出的是，模型存在多重共線性并不意味著