第15章 多重線性回歸課件

Multiplelinearregression多元（重）線性回歸第15章多重線性回歸

人的體重與身高、胸圍血壓值與年齡、性別、勞動強(qiáng)度、飲食習(xí)慣、吸煙狀況、家族史糖尿病人的血糖與胰島素、糖化血紅蛋白、血清總膽固醇、甘油三脂射頻治療儀定向治療腦腫瘤過程中，腦皮質(zhì)的毀損半徑與輻射的溫度、與照射的時間例子2005年11月第15章多重線性回歸表15－132例40歲以上男性的年齡、吸煙、體重指數(shù)與收縮壓2005年11月第15章多重線性回歸多元回歸分析數(shù)據(jù)格式2005年11月第15章多重線性回歸第一節(jié)多元線性回歸模型一、回歸模型簡介2005年11月第15章多重線性回歸（一）多元線性回歸模型的一般形式

2005年11月第15章多重線性回歸兩自變量與應(yīng)變量的散點圖第15章多重線性回歸兩自變量與應(yīng)變量的擬合面bj

為xj方向的斜率第15章多重線性回歸（二）多元線性回歸分析的一般步驟

2005年11月第15章多重線性回歸二、采用最小二乘法

建立多元線性回歸方程2005年11月第15章多重線性回歸2005年11月第15章多重線性回歸2005年11月第15章多重線性回歸表15－1有三個自變量2005年11月第15章多重線性回歸表15－1有三個自變量2005年11月第15章多重線性回歸SAS軟件輸出結(jié)果ParameterEstimates

ParameterStandardStandardizedVariableDFEstimateErrortValuePr>|t|EstimateIntercept142.788789.881594.330.00020x111.431840.310574.61<.00010.68980x219.490432.421743.920.00050.33641x315.839084.287541.360.18410.20293分別為參數(shù)估計值b0、b1、b2、b328第15章多重線性回歸SAS軟件輸出結(jié)果dataa;inputnoyx1-x3;cards;1 135 45 0 2.8762 122 41 0 3.251

。。。

31 152 62 0 3.96232 164 65 0 4.01;proc

reg;modely=x1-x2/stb;run;第15章多重線性回歸第二節(jié)回歸方程的假設(shè)檢驗與評價

一、回歸方程的假設(shè)檢驗二、偏回歸系數(shù)的假設(shè)檢驗三、有關(guān)評價指標(biāo)

2005年11月第15章多重線性回歸一、回歸方程的方差分析

（H0：所有總體回歸系數(shù)bj為0）

AnalysisofVarianceSumofMeanSourceDFSquaresSquareFValuePr>FModel35052.618281684.2060936.58<.0001Error281289.2567246.04488CorrectedTotal316341.875002005年11月第15章多重線性回歸有關(guān)計算公式2005年11月第15章多重線性回歸有關(guān)計算公式X2X1YModelSSTotalSSResidualSS2005年11月第15章多重線性回歸二、各回歸系數(shù)的t檢驗

ParameterStandardStandardizedVariableDFEstimateErrortValuePr>|t|Estimate

變量自由度回歸系數(shù)標(biāo)準(zhǔn)誤t值P值標(biāo)準(zhǔn)化回歸系數(shù)

Intercept2842.788789.881594.330.00020x1281.431840.310574.61<.00010.68980x2289.490432.421743.920.00050.33641x3285.839084.287541.360.18410.202932005年11月第15章多重線性回歸標(biāo)準(zhǔn)化回歸系數(shù)（可說明各自變量相對貢獻(xiàn)大?。?/p>

變量回歸系數(shù)bj標(biāo)準(zhǔn)化回歸系數(shù)b’jljj標(biāo)準(zhǔn)差S常數(shù)項42.788780.00000X11.431840.689801471.8756.890561X29.490430.336417.9690.507007X35.839080.202937.6600.497078Y6341.87514.303032005年11月第15章多重線性回歸三、有關(guān)評價指標(biāo)

(軟件有關(guān)結(jié)果)RootMSE（剩余標(biāo)準(zhǔn)差）

6.7856

R-Square（決定系數(shù)）0.7967AdjR-Sq（校正決定系數(shù)）0.7749DependentMean應(yīng)變量Y的均值＝144.437502005年11月第15章多重線性回歸1.剩余標(biāo)準(zhǔn)差（RootMSE）反映了回歸方程的精度，其值越小說明回歸效果越好

2005年11月第15章多重線性回歸2.決定系數(shù)

（determinationcoefficient）

說明所有自變量能解釋Y變異的百分比。取值（0，1），越接近1模型擬合越好

2005年11月第15章多重線性回歸3.復(fù)相關(guān)系數(shù)

（multiplecorrelation

coefficient）說明所有自變量與Y間的線性相關(guān)程度。即與Y間的相關(guān)程度。如果只有一個自變量，此時

2005年11月第15章多重線性回歸4.校正決定系數(shù)（Adjusteddeterminationcoefficient）

2005年11月第15章多重線性回歸5.偏回歸平方和（sumofsquaresforpartialregression）及其F檢驗

在其它自變量存在于回歸方程中的條件下，考察某一自變量Xj對應(yīng)變量Y的回歸效應(yīng)

；j=1,2,…,p

2005年11月第15章多重線性回歸

FullModelReducedModel2005年11月第15章多重線性回歸實例計算2005年11月第15章多重線性回歸第四節(jié)自變量的選擇一、全局擇優(yōu)法

二、逐步回歸法

2005年11月第15章多重線性回歸一、全局擇優(yōu)法

根據(jù)一些準(zhǔn)則（criterion）建立“最優(yōu)”回歸模型校正決定系數(shù)（考慮了自變量的個數(shù)）Cp準(zhǔn)則（C即criterion，p為所選模型中變量的個數(shù)；Cp接近（p+1）模型為最優(yōu)）AIC(Akaike’sInformationCriterion)準(zhǔn)則；AIC越小越好2005年11月第15章多重線性回歸第三節(jié)模型的變量篩選

根據(jù)一些準(zhǔn)則（criterion）建立“最優(yōu)”回歸模型校正決定系數(shù)（考慮了自變量的個數(shù)）Cp準(zhǔn)則（C即criterion，p為所選模型中變量的個數(shù)；Cp接近（p+1）模型為最優(yōu)）AIC(Akaike’sInformationCriterion)準(zhǔn)則；AIC越小越好2005年11月第15章多重線性回歸(一)校正決定系數(shù)（Adjusteddeterminationcoefficient）

2005年11月第15章多重線性回歸（二）Cp準(zhǔn)則的計算公式2005年11月第15章多重線性回歸（三）AIC準(zhǔn)則的計算公式2005年11月第15章多重線性回歸1.全局擇優(yōu)法

求出所有可能的回歸模型（共有2m－1個）對應(yīng)的準(zhǔn)則值；按上述準(zhǔn)則選擇最優(yōu)模型2005年11月第15章多重線性回歸SAS獲得的幾個準(zhǔn)則值結(jié)果

ADJRSQCPAIC

ADJRSQCPAICx2x3x40.54563440.343x2x30.40748346.66x1x2x3x40.52823542.157x1x30.37522348.091x1x3x40.48797443.568x40.34653248.405x1x2x40.44683445.655x10.28443250.857x1x40.44137345.07x1x20.27478352.116x2x40.4395345.16x30.23063252.814x3x40.43542345.356x20.17864254.579x1x2x30.40756447.507

2005年11月第15章多重線性回歸全局擇優(yōu)法的局限性

如果自變量個數(shù)為4，則所有的回歸模型有24－1＝15個；當(dāng)自變量數(shù)個數(shù)為10時，所有可能的回歸為210－1＝1023個；……；當(dāng)自變量數(shù)個數(shù)為50時，所有可能的回歸為250－1≈1015個。2005年11月第15章多重線性回歸2.逐步選擇法

1.前進(jìn)法（forwardselection）2.后退法（backwardelimination）3.逐步回歸法（stepwiseregression）

它們的共同特點是每一步只引入或剔除一個自變量。決定引入或剔除基于對偏回歸平方和的F檢驗2005年11月第15章多重線性回歸（一）前進(jìn)法

自變量從無到有、從少到多

Y對每一個自變量作直線回歸，對回歸平方和最大的自變量作F檢驗，有意義（P?。﹦t引入。在此基礎(chǔ)上，計算其它自變量的偏回歸平方和，選取偏回歸平方和最大者作F檢驗，…。

局限性：即后續(xù)變量的引入可能會使先進(jìn)入方程的自變量變得不重要。2005年11月第15章多重線性回歸（二）后退法

先將全部自變量放入方程，然后逐步剔除

偏回歸平方和最小的變量，作F檢驗及相應(yīng)的P值，決定它是否剔除（P大）

。建立新的回歸方程。重復(fù)上述過程。

局限性：自變量高度相關(guān)時，可能得不出正確的結(jié)果

。2005年11月第15章多重線性回歸（三）逐步回歸法

雙向篩選；引入有意義的變量（前進(jìn)法），剔除無意義變量（后退法）

小樣本檢驗水準(zhǔn)a定為0.10或0.15，大樣本把值定為0.05。值越小表示選取自變量的標(biāo)準(zhǔn)越嚴(yán)。注意，引入變量的檢驗水準(zhǔn)要小于或等于剔除變量的檢驗水準(zhǔn)。2005年11月第15章多重線性回歸第四節(jié)多元線性回歸的應(yīng)用及其注意事項2005年11月第15章多重線性回歸一、應(yīng)用影響因素分析，控制混雜因素預(yù)測：由自變量值推出應(yīng)變量Y的值控制：指定應(yīng)變量Y的值查看自變量的改變量2005年11月第15章多重線性回歸二、應(yīng)用條件2005年11月第15章多重線性回歸三、應(yīng)用的注意事項

（一）變量的數(shù)量化

（二）樣本含量

（三）統(tǒng)計“最優(yōu)”與專業(yè)的“最優(yōu)”

（四）多重共線性

（五）交互作用

（六）殘差圖

（七）偏相關(guān)系數(shù)

2005年11月第15章多重線性回歸（一）變量的數(shù)量化（1）自變量為連續(xù)型變量(必要時作變換)（2）自變量為有序變量(依次賦值，如療效好中差，可分別賦值3、2、1)（3）自變量為二分類(可令男＝1，女＝0）（4）自變量為名義分類（需要采用啞變量（dummyvariables）進(jìn)行編碼）2005年11月第15章多重線性回歸名義分類變量的啞變量化

假如職業(yè)分類為工、農(nóng)、商、學(xué)、兵5類，則可定義比分類數(shù)少1個，即4個啞變量。編碼方法如下：2005年11月第15章多重線性回歸舉例

姓名性別sex年齡職業(yè)(J)J1J2J3J4張山男119學(xué)生0001李四女025商人0010王五男130軍人0000趙六女040農(nóng)民0100錢七女036工人1000孫八男130商人0010劉九男126軍人0000注意：1.啞變量是同時存在，其統(tǒng)計學(xué)意義是相對而言的。

2.啞變量有無意義可采用加與不加入啞變量的偏回歸平方和F檢驗確定。2005年11月第15章多重線性回歸（二）樣本含量

觀察個體數(shù)n與變量個數(shù)m的比例一般至少應(yīng)為：觀察個體n：變量m

＝5～102005年11月第15章多重線性回歸（三）統(tǒng)計“最優(yōu)”與專業(yè)的“最優(yōu)”不同準(zhǔn)則、方法得出的“最優(yōu)”方程不同；不同的引入、剔除標(biāo)準(zhǔn)獲得的“最優(yōu)”方程不同；方程還受數(shù)據(jù)的正確性、共線性影響2005年11月第15章多重線性回歸（四）多重共線性

自變量間存在著相關(guān)關(guān)系，使一個或幾個自變量可以由另外的自變量線性表示時，稱為該變量與另外的自變量間存在有共線性(collinearity)。xxxxxxxxxxxxxX1X2Y2005年11月第15章多重線性回歸多重共線性的識別與解決辦法篩選自變量用主成分回歸嶺回歸回歸系數(shù)的符號與專業(yè)知識不符變量的重要性與專業(yè)不符R2高，但各自變量對應(yīng)的回歸系數(shù)均不顯著。方差膨脹因子（VarianceInflationFactors，VIF)>102005年11月第15章多重線性回歸（五）交互作用

當(dāng)某一自變量對應(yīng)變量的作用大小與另一個自變量的取值有關(guān)時，則表