多元線性回歸中自變量的確定

為何要剔除一部分自變量？自變量太多，信息成本高，模型復(fù)雜，不易分析理解；高度相關(guān)的自變量并不增強(qiáng)模型的預(yù)測(cè)能力，反而加大回歸系數(shù)的樣本變差，削弱模型的描述能力。多元逐步回歸多元逐步回歸------從m個(gè)自變量中選擇Ｋ（Ｋ≤m）個(gè)自變量，擬合最優(yōu)或較理想的多元線性回歸方程。選出的自變量數(shù)應(yīng)：足夠少：對(duì)應(yīng)變量無(wú)重要作用的自變量不能多，剔除在方程外充分多：對(duì)應(yīng)變量有重要作用的自變量不能少，保留在方程中自變量選擇準(zhǔn)則殘差平方和（SS殘）與確定系數(shù)（R2）殘差均方(MS殘）與調(diào)整確定系數(shù)（AdjR2）AIC信息統(tǒng)計(jì)量ＣＰ統(tǒng)計(jì)量預(yù)測(cè)殘差平方和ＰＲＥＳＳ殘差平方和（SS殘）殘差平方和（SS殘）與確定系數(shù)（R2）以某一自變量Ｘj被引入模型中導(dǎo)致殘差平方和的改變量評(píng)價(jià)在此模型條件下Ｘj對(duì)應(yīng)變量影響程度；引入Ｘj，SS殘減少量多，則Ｘj對(duì)Ｙ的作用大，可被引入；剔除Ｘj，SS殘?jiān)黾恿慷?，則Ｘj對(duì)Ｙ的作用大，不應(yīng)剔除．確定系數(shù)（R2）R2=1-SS殘/SS總

R2與SS殘完全相關(guān)，作為選擇自變量的準(zhǔn)則時(shí)完全與SS殘等價(jià)。SS殘與R2如具有p個(gè)自變量的某一種組合可使：SS殘P與含全部（m個(gè)）自變量SS殘m接近；R2P與

R2m接近，則含這p個(gè)自變量的方程為“最優(yōu)”方程。但“接近”的標(biāo)準(zhǔn)憑主觀確定SS殘與R2

SS殘值小，R2大的模型為較“優(yōu)”模型。SS殘、R2值的大小與引入自變量個(gè)數(shù)有關(guān)，隨自變量個(gè)數(shù)的增加SS殘減少，R2缺點(diǎn)：按SS殘值小，R2大的原則選擇自變量，全部自變量均引入時(shí)的模型為較“優(yōu)”模型，未起到選擇自變量作用；

SS殘變化量準(zhǔn)則適用于比較具有相同自變量個(gè)數(shù)模型優(yōu)劣的判據(jù)，而不適合對(duì)變量個(gè)數(shù)不同的模型的比較。殘差均方(MS殘）MS殘P=SS殘P/（n-p-1)：含P個(gè)自變量時(shí)的MS殘MS殘是在SS殘準(zhǔn)則基礎(chǔ)上增加了（n-p-1)-1因子，隨著自變量個(gè)數(shù)的增加，SS殘減少，（n-p-1)同時(shí)減少，MS殘不一定減低。殘差均方(MS殘）模型從無(wú)自變量開(kāi)始，按自變量對(duì)Y作用大小逐漸引入，當(dāng)對(duì)Y作用大的自變量引入時(shí)，SS殘減少幅度大于（n-p-1)減少幅度，MS殘降低；當(dāng)模型中自變量增加到一定程度，對(duì)Y作用大的自變量已基本引入，再增加自變量，SS殘減少幅度小于（n-p-1)減少幅度，MS殘?jiān)黾印Ｕ{(diào)整確定系數(shù)（AdjR2）作為選擇自變量的準(zhǔn)則，AdjR2與MS殘等價(jià)。缺點(diǎn)：當(dāng)n很大，AdjR2≈

R2

，評(píng)判效果不佳AIC信息統(tǒng)計(jì)量由日本統(tǒng)計(jì)學(xué)家Akaike（1974）提出并修正以適合于回歸模型選擇的準(zhǔn)則------Akaike

信息量準(zhǔn)則（Akaikeinformationcriterion)，簡(jiǎn)記AIC。AIC實(shí)用計(jì)算式

AIC=n.Ln(SS殘Ｐ）＋２Ｐ

SS殘Ｐ：含P個(gè)自變量時(shí)的殘差平方和。AIC達(dá)到最小為準(zhǔn)則ＣＰ統(tǒng)計(jì)量Mallows，C.L（1966）提出。

：含有P個(gè)自變量的殘差平方和；：含有全部自變量（m個(gè)）的殘差平方和ＣＰ統(tǒng)計(jì)量ＣＰ統(tǒng)計(jì)量從預(yù)測(cè)出發(fā)，基于殘差平方和的一個(gè)準(zhǔn)則。若含有P個(gè)自變量的模型合適，具有較小的ＣＰ值，且ＣＰ接近于P+1的模型為“最優(yōu)”模型。n大時(shí)，ＣＰ準(zhǔn)則效果好預(yù)測(cè)殘差平方和ＰＲＥＳＳhii

度量第i個(gè)數(shù)據(jù)點(diǎn)到數(shù)據(jù)中心的距離當(dāng)ＰＲＥＳＳ達(dá)到最小的自變量組合模型為“最優(yōu)”模型自變量選擇方法目的決定自變量選擇方法選擇對(duì)應(yīng)變量作最好預(yù)報(bào)的一組自變量----著眼點(diǎn)是擬合回歸方程的一組自變量整體，用該組自變量應(yīng)使回歸方程擬合得最好；選擇對(duì)應(yīng)變量作最好解釋的主要自變量----著眼點(diǎn)是引入回歸方程的一組自變量的每個(gè)自變量自變量選擇方法最優(yōu)子集法向前法向后法逐步法最優(yōu)子集法m個(gè)自變量，可建立２m-1個(gè)不同自變量組合方程，按某一自變量選擇準(zhǔn)則，從２m-1個(gè)方程中選擇一個(gè)或幾個(gè)最優(yōu)的方程。常用自變量選擇準(zhǔn)則：SS殘準(zhǔn)則、R2準(zhǔn)則、AdjR2準(zhǔn)則、ＣＰ準(zhǔn)則建議選擇：AdjR2準(zhǔn)則、ＣＰ準(zhǔn)則最優(yōu)子集法優(yōu)點(diǎn)

MS殘最小，F(xiàn)最大，回歸方程最優(yōu)；缺點(diǎn)：計(jì)算量大，如m＝15，則必須擬合２15-1=32767個(gè)子集回歸方程來(lái)挑選最優(yōu)，因此該法主要適用于m較小情況

當(dāng)樣本含量n小時(shí)，結(jié)果的重復(fù)性差；不能保證：引入回歸方程的各自變量都有統(tǒng)計(jì)學(xué)意義、回歸方程外的各自變量都無(wú)統(tǒng)計(jì)學(xué)意義最優(yōu)子集法實(shí)例輸出結(jié)果解讀(M=3）子集SS殘R2MS殘AdjR2CPX18774770.48241096840.41775.8226X211123380.34391390420.26188.9866X37947590.5312993450.47264.7079X1.X24964370.7072709190.62352.6885X1.X36459250.6190922750.51014.7026X2.X36541650.6141934520.50394.8136X1.X2.X34453320.7373742220.60604.0000向前法（forwardselection)基本思想０步:方程中無(wú)自變量，SS回=

0，SS殘=

SS總；１步：分別建立自變量為X1、X2…Xm的m個(gè)回歸方程，對(duì)貢獻(xiàn)最大者，即F最大者（假如為X1）作偏回歸平方和Ｆ檢驗(yàn)，如無(wú)統(tǒng)計(jì)學(xué)意義，則終止，如有統(tǒng)計(jì)學(xué)意義，則引入X1，完成第１步；向前法２步：在方程中已有Ｘ1情況下，分別引入１個(gè)其余自變量，（X1，X2），（X1，X3）…(X1,Xm）建立方程，引入偏F最大者（假設(shè)為X2）作Ｆ檢驗(yàn)，如無(wú)統(tǒng)計(jì)學(xué)意義，則終止，如有統(tǒng)計(jì)學(xué)意義，則引入X2，完成第2步；反復(fù)上述過(guò)程，直到剩余變量不能再引入。整個(gè)過(guò)程結(jié)束。向前法優(yōu)點(diǎn)：計(jì)算量小缺點(diǎn)：引入自變量在當(dāng)時(shí)有統(tǒng)計(jì)學(xué)意義，但隨著其他自變量引入，可能引入的自變量與前期引入自變量間存在共線性，導(dǎo)致前期引入自變量作用無(wú)統(tǒng)計(jì)學(xué)意義，因此，最終方程中可能存在無(wú)統(tǒng)計(jì)學(xué)意義的自變量。向后法(backwardselection)0步：建立1個(gè)包含全部自變量的方程，作F檢驗(yàn)，如無(wú)統(tǒng)計(jì)學(xué)意義，全部過(guò)程結(jié)束，否則進(jìn)行第1步；1步：建立剔除1個(gè)自變量的方程（共m個(gè)方程），計(jì)算剔除變量后所致殘差平方和增量的偏F值，取最小者與F界值比較，如無(wú)統(tǒng)計(jì)學(xué)意義，則將對(duì)應(yīng)的自變量剔除；……重復(fù)上述過(guò)程，每次循環(huán)剔除1個(gè)對(duì)模型貢獻(xiàn)最小的且無(wú)統(tǒng)計(jì)學(xué)意義的自變量，直到方程中變量都不能再剔除為止。向后法優(yōu)點(diǎn)：可行性強(qiáng)，若自變量較少時(shí)，不太多的步驟可以獲得回歸方程；缺點(diǎn)：1、第０步計(jì)算含全部自變量的回歸方程，如自變量數(shù)多，則計(jì)算量大；2、每次剔除１個(gè)貢獻(xiàn)最小且無(wú)統(tǒng)計(jì)學(xué)意義的自變量，若無(wú)統(tǒng)計(jì)學(xué)意義的自變量多，則計(jì)算量大。逐步法（stepwiseselection)向前法與向后法相結(jié)合，基本思想：1步：在全部自變量中，引入一個(gè)對(duì)Y貢獻(xiàn)最大的自變量，建立只含1個(gè)