多重共線性問題的幾種解決方式

1、多重共線性問題的幾種解決方式在多元線性回歸模型經(jīng)典假設(shè)中，其重要假定之一是回歸模型的說明變量之 間不存在線性關(guān)系，也確實是說，說明變量X1，X2，Xk中的任何一個都不 能是其他說明變量的線性組合。若是違抗這一假定，即線性回歸模型中某一個說 明變量與其他說明變量間存在線性關(guān)系，就稱線性回歸模型中存在多重共線性。 多重共線性違抗了說明變量間不相關(guān)的古典假設(shè)，將給一般最小二乘法帶來嚴峻 后果。那個地址，咱們總結(jié)了8個處置多重共線性問題的可用方式，大伙兒在碰到 多重共線性問題時可作參考：1、保留重要說明變量，去掉次要或可替代說明變量2、用相對數(shù)變量替代絕對數(shù)變量3、差分法4、慢慢回歸分析5、主成份分析

2、6、偏最小二乘回歸7、嶺回歸8、增加樣本容量這次咱們要緊研究慢慢回歸分析方式是如何處置多重共線性問題的。慢慢回歸分析方式的大體思想是通過相關(guān)系數(shù)r、擬合優(yōu)度R2和標準誤 差三個方面綜合判定一系列回歸方程的好壞，從而取得最優(yōu)回歸方程。具體方式 分為兩步：第一步，先將被說明變量y對每一個說明變量氣，明知作簡單回歸：對每一個回歸方程進行統(tǒng)計查驗分析（相關(guān)系數(shù)r、擬合優(yōu)度R2和標準 誤差），并結(jié)合經(jīng)濟理論分析選出最優(yōu)回歸方程，也稱為大體回歸方程。第二步，將其他說明變量一一引入到大體回歸方程中，成立一系列回歸方 程，依照每一個新加的說明變量的標準差和復(fù)相關(guān)系數(shù)來考察其對每一個回歸系 數(shù)的阻礙，一樣依照如

3、下標準進行分類判別：1.若是新引進的說明變量使R2取得提高，而其他參數(shù)回歸系數(shù)在統(tǒng)計上 和經(jīng)濟理論上仍然合理，那么以為那個新引入的變量對回歸模型是有利的，能夠 作為說明變量予以保留。.若是新引進的說明變量對R2改良不明顯，對其他回歸系數(shù)也沒有多大 阻礙，那么沒必要保留在回歸模型中。.若是新引進的說明變量不僅改變了 R2，而且對其他回歸系數(shù)的數(shù)值或 符號具有明顯阻礙，那么以為該說明變量為不利變量，引進后會使回歸模型顯現(xiàn) 多重共線性問題。不利變量未必是多余的，若是它可能對被說明變量是不可缺少 的，那么不能簡單舍棄，而是應(yīng)研究改善模型的形式，尋覓更符合實際的模型， 從頭進行估量。若是通過查驗證明回歸

4、模型存在明顯線性相關(guān)的兩個說明變量中 的其中一個能夠被另一個專門好地說明，那么可略去其中對被說明變量阻礙較小 的那個變量，模型中保留阻礙較大的那個變量。下邊咱們通過實例來講明慢慢回歸分析方式在解決多重共線性問題上的具 體應(yīng)用進程。具體實例例1設(shè)某地10年間有關(guān)服裝消費、可支配收入、流動資產(chǎn)、服裝類物價 指數(shù)、總物價指數(shù)的調(diào)查數(shù)據(jù)如表1，請成立需求函數(shù)模型。表1 服裝消費及相關(guān)變量調(diào)查數(shù)據(jù)年份服裝開支可支配收入流動資產(chǎn)服裝類物價總物價指數(shù)指數(shù)PcCYLP0(百萬元) (百萬元) (百萬元)1992年= 1001992 年=1009293969410010110511211211294969797

5、100101104109111111設(shè)對服裝的需求函數(shù)為(5 =用+局+鑫 +用任+廚吒+據(jù)用最小二乘法估量得估量模型：C = -13.534 + 0.097Y + 0.015L - 0.199Pc + O.O334Po模型的查驗量得分，R2=，DW=，F(xiàn)=R2接近1,說明該回歸模型與原始數(shù)據(jù)擬合得專門好。由-:-得出拒絕零假設(shè)，以為服裝支出與說明變量間存在顯著關(guān)系。求各說明變量的大體相關(guān)系數(shù)r您=0.9883= 0.9804隊=0.9877 j =0.9799r軟=0.9695 膈鳥=0.9918上述大體相關(guān)系數(shù)說明說明變量間高度相關(guān)，也確實是存在較嚴峻的多重共 線性。為查驗多重共線性的阻礙

6、，作如下簡單回歸: C =-1.2455+0.1178Y2 = 0.99550- = 2.6271C = -38.3190 + 0.5164（-9.16B2）12.5363）R2 =0.9516 D版= 2.4013C = 2.1182 + 0.32691（2.5858）（15.309&）/ = 0.96670- = 0.4684C = -53.6508+0.6632（-14一771（1）（1 隊相暗）7?2 =0.9775。附= 2.1720各方程下邊括號內(nèi)的數(shù)字別離表示的是對應(yīng)說明變量系數(shù)的t查驗值。觀看以上四個方程，依照經(jīng)濟理論和統(tǒng)計查驗（t查驗值二最大，擬合優(yōu)度 也最高），收入丫是最重

7、要的說明變量，從而得出最優(yōu)簡單回歸方程廠了四（4）將其余變量逐個引入 =伯），計算結(jié)果如下表2：表2服裝消費模型的估量&常數(shù)1乩（元） M。） 亂（已） p? D-Wc = /(F)-1.355(-3.3102)0.117(41.SB7O)0.93552.6271C = f()1.447(.G.22S2)0.1257(0.4259)-0.QS61(-0.539B)0.95572 533SC=f(Y.PL)0.9400(0.1515)0.13B7(5.5E45)-0.0345(-0.4341)-0.0379(-0.6682)0.995-9S.15F3C = f(Y,PP0)-12.759S(-1

8、.9531)0.1036(7.4640)-0.1332(-2.4693)0.3106(2.6139)0.9SB03.5241C=f(Y,Pc,L,P0)-133335(-1013)0.0970(3.6603)-0.1S91(-2.2087)0.01513一mcsm0.5401(2.2714)0.95303 3325結(jié)果分析：在最優(yōu)簡單回歸方程 =伯）中引入變量Pc,使R2由提高到；依照經(jīng)濟 理論分析，同正號，0負號是合理的。但是t查驗田衛(wèi)不顯著口加以0）1895卜。53知|），而從經(jīng)濟理論分析，Pc應(yīng)該是重要因素。盡 管Y與Pc高度相關(guān)，但并非阻礙收入丫回歸系數(shù)對的顯著性和穩(wěn)固性。依照第 1條

9、判別標準，Pc可能是“有利變量”，臨時給予保留。模型中引入變量L，R2由提高到，值略有提高。一方面，盡管Y與L， Pc與L均高度相關(guān)，可是L的引入對回歸系數(shù)片、妙的阻礙不大（其中局的值 由變成，為值由變成，轉(zhuǎn)變很?。涣硪环矫?，依照經(jīng)濟理論的分析，L與服裝 支出C之間應(yīng)該是正相關(guān)關(guān)系，即庵的符號應(yīng)該為正號而非負號，依照第2條 判別標準，說明變量L沒必要保留在模型中。舍去變量L，加入變量P0，使R2由提高到，R2值改良較大。對、片凡均顯著（這三個回歸系數(shù)的t查驗值絕對值均大于如血（6）二L943），從經(jīng) 濟意義上看也是合理的（服裝支出C與Y,P0之間呈正相關(guān)，而與服裝價錢Pc 之間呈負相關(guān)關(guān)系）。依照判別標準第1條，能夠以為Pc、P0皆為“有利變量”， 給予保留。最后再引入變量L，現(xiàn)在R2 =沒有增加（或幾乎沒有增加），新引入變 量對其他三個說明變量的參數(shù)系數(shù)也沒有產(chǎn)生多大阻礙，能夠確信L是多余變 量，依照判別標準第2條，說明變量L沒必要保留在模型中。因此咱們?nèi)〉萌缦陆Y(jié)論：.=以玨思）回歸模型為最優(yōu)模型。通過以上案例的分析，咱們從理論和實際問題兩方面具體了解了慢慢回歸分 析是如何對多重共線性問題進行處置的。事實上，一樣統(tǒng)