多重線性回歸課件

Multiplelinearregression多元（重）線性回歸多元（重）線性回歸

人的體重與身高、胸圍血壓值與年齡、性別、勞動(dòng)強(qiáng)度、飲食習(xí)慣、吸煙狀況、家族史糖尿病人的血糖與胰島素、糖化血紅蛋白、血清總膽固醇、甘油三脂射頻治療儀定向治療腦腫瘤過程中，腦皮質(zhì)的毀損半徑與輻射的溫度、與照射的時(shí)間例子人的體重與身高、胸圍例子表15－132例40歲以上男性的年齡、吸煙、體重指數(shù)與收縮壓表15－132例40歲以上男性的年齡、吸煙、體重指數(shù)與多元回歸分析數(shù)據(jù)格式多元回歸分析數(shù)據(jù)格式第一節(jié)多元線性回歸模型一、回歸模型簡(jiǎn)介第一節(jié)多元線性回歸模型一、回歸模型簡(jiǎn)介（一）多元線性回歸模型的一般形式

（一）多元線性回歸模型的一般形式兩自變量與應(yīng)變量的散點(diǎn)圖兩自變量與應(yīng)變量的散點(diǎn)圖兩自變量與應(yīng)變量的擬合面bj

為xj方向的斜率兩自變量與應(yīng)變量的擬合面bj為xj方向（二）多元線性回歸分析的一般步驟

（二）多元線性回歸分析的一般步驟二、采用最小二乘法

建立多元線性回歸方程二、采用最小二乘法

建立多元線性回歸方程第15章多重線性回歸課件第15章多重線性回歸課件表15－1有三個(gè)自變量表15－1有三個(gè)自變量表15－1有三個(gè)自變量表15－1有三個(gè)自變量SAS軟件輸出結(jié)果ParameterEstimatesParameterStandardStandardizedVariableDFEstimateErrortValuePr>|t|EstimateIntercept142.788789.881594.330.00020x111.431840.310574.61<.00010.68980x219.490432.421743.920.00050.33641x315.839084.287541.360.18410.20293分別為參數(shù)估計(jì)值b0、b1、b2、b328SAS軟件輸出結(jié)果ParameterEstimates分SAS軟件輸出結(jié)果dataa;inputnoyx1-x3;cards;1 135 45 0 2.8762 122 41 0 3.251。。。31 152 62 0 3.96232 164 65 0 4.01;proc

reg;modely=x1-x2/stb;run;SAS軟件輸出結(jié)果dataa;第二節(jié)回歸方程的假設(shè)檢驗(yàn)與評(píng)價(jià)

一、回歸方程的假設(shè)檢驗(yàn)二、偏回歸系數(shù)的假設(shè)檢驗(yàn)三、有關(guān)評(píng)價(jià)指標(biāo)

第二節(jié)回歸方程的假設(shè)檢驗(yàn)與評(píng)價(jià)

一、回歸方程的假設(shè)檢驗(yàn)一、回歸方程的方差分析

（H0：所有總體回歸系數(shù)bj為0）

AnalysisofVarianceSumofMeanSourceDFSquaresSquareFValuePr>FModel35052.618281684.2060936.58<.0001Error281289.2567246.04488CorrectedTotal316341.87500一、回歸方程的方差分析

（H0：所有總體回歸系數(shù)bj為0）有關(guān)計(jì)算公式有關(guān)計(jì)算公式有關(guān)計(jì)算公式X2X1YModelSSTotalSSResidualSS有關(guān)計(jì)算公式X2X1YModelSSTotalSSRes二、各回歸系數(shù)的t檢驗(yàn)

ParameterStandardStandardizedVariableDFEstimateErrortValuePr>|t|Estimate

變量自由度回歸系數(shù)標(biāo)準(zhǔn)誤t值P值標(biāo)準(zhǔn)化回歸系數(shù)

Intercept2842.788789.881594.330.00020x1281.431840.310574.61<.00010.68980x2289.490432.421743.920.00050.33641x3285.839084.287541.360.18410.20293二、各回歸系數(shù)的t檢驗(yàn)

標(biāo)準(zhǔn)化回歸系數(shù)（可說明各自變量相對(duì)貢獻(xiàn)大?。?/p>

變量回歸系數(shù)bj標(biāo)準(zhǔn)化回歸系數(shù)b’jljj標(biāo)準(zhǔn)差S常數(shù)項(xiàng)42.788780.00000X11.431840.689801471.8756.890561X29.490430.336417.9690.507007X35.839080.202937.6600.497078Y6341.87514.30303標(biāo)準(zhǔn)化回歸系數(shù)（可說明各自變量相對(duì)貢獻(xiàn)大小）

三、有關(guān)評(píng)價(jià)指標(biāo)

(軟件有關(guān)結(jié)果)RootMSE（剩余標(biāo)準(zhǔn)差）6.7856

R-Square（決定系數(shù)）0.7967AdjR-Sq（校正決定系數(shù)）0.7749DependentMean應(yīng)變量Y的均值＝144.43750三、有關(guān)評(píng)價(jià)指標(biāo)

(軟件有關(guān)結(jié)果)RootMSE（剩余1.剩余標(biāo)準(zhǔn)差（RootMSE）反映了回歸方程的精度，其值越小說明回歸效果越好

1.剩余標(biāo)準(zhǔn)差（RootMSE）反映了回歸方程的精度2.決定系數(shù)

（determinationcoefficient）說明所有自變量能解釋Y變異的百分比。取值（0，1），越接近1模型擬合越好

2.決定系數(shù)

（determinationcoeffic3.復(fù)相關(guān)系數(shù)

（multiplecorrelation

coefficient）說明所有自變量與Y間的線性相關(guān)程度。即與Y間的相關(guān)程度。如果只有一個(gè)自變量，此時(shí)

3.復(fù)相關(guān)系數(shù)

（multiplecorrelatio4.校正決定系數(shù)（Adjusteddeterminationcoefficient）

4.校正決定系數(shù)（Adjusteddeterminat5.偏回歸平方和（sumofsquaresforpartialregression）及其F檢驗(yàn)

在其它自變量存在于回歸方程中的條件下，考察某一自變量Xj對(duì)應(yīng)變量Y的回歸效應(yīng)

；j=1,2,…,p

5.偏回歸平方和（sumofsquaresforp

FullModelReducedModel

實(shí)例計(jì)算實(shí)例計(jì)算第四節(jié)自變量的選擇一、全局擇優(yōu)法

二、逐步回歸法

第四節(jié)自變量的選擇一、全局擇優(yōu)法

二、逐步回一、全局擇優(yōu)法根據(jù)一些準(zhǔn)則（criterion）建立“最優(yōu)”回歸模型校正決定系數(shù)（考慮了自變量的個(gè)數(shù)）Cp準(zhǔn)則（C即criterion，p為所選模型中變量的個(gè)數(shù)；Cp接近（p+1）模型為最優(yōu)）AIC(Akaike’sInformationCriterion)準(zhǔn)則；AIC越小越好一、全局擇優(yōu)法根據(jù)一些準(zhǔn)則（criteri第三節(jié)模型的變量篩選根據(jù)一些準(zhǔn)則（criterion）建立“最優(yōu)”回歸模型校正決定系數(shù)（考慮了自變量的個(gè)數(shù)）Cp準(zhǔn)則（C即criterion，p為所選模型中變量的個(gè)數(shù)；Cp接近（p+1）模型為最優(yōu)）AIC(Akaike’sInformationCriterion)準(zhǔn)則；AIC越小越好第三節(jié)模型的變量篩選根據(jù)一些準(zhǔn)則（c(一)校正決定系數(shù)（Adjusteddeterminationcoefficient）

(一)校正決定系數(shù)（Adjusteddeterminat（二）Cp準(zhǔn)則的計(jì)算公式（二）Cp準(zhǔn)則的計(jì)算公式（三）AIC準(zhǔn)則的計(jì)算公式（三）AIC準(zhǔn)則的計(jì)算公式1.全局擇優(yōu)法

求出所有可能的回歸模型（共有2m－1個(gè)）對(duì)應(yīng)的準(zhǔn)則值；按上述準(zhǔn)則選擇最優(yōu)模型1.全局擇優(yōu)法求出所有可能的回歸模型（共有2mSAS獲得的幾個(gè)準(zhǔn)則值結(jié)果

ADJRSQCPAIC

ADJRSQCPAICx2x3x40.54563440.343x2x30.40748346.66x1x2x3x40.52823542.157x1x30.37522348.091x1x3x40.48797443.568x40.34653248.405x1x2x40.44683445.655x10.28443250.857x1x40.44137345.07x1x20.27478352.116x2x40.4395345.16x30.23063252.814x3x40.43542345.356x20.17864254.579x1x2x30.40756447.507

SAS獲得的幾個(gè)準(zhǔn)則值結(jié)果ADJRSQCPAI全局擇優(yōu)法的局限性

如果自變量個(gè)數(shù)為4，則所有的回歸模型有24－1＝15個(gè)；當(dāng)自變量數(shù)個(gè)數(shù)為10時(shí)，所有可能的回歸為210－1＝1023個(gè)；……；當(dāng)自變量數(shù)個(gè)數(shù)為50時(shí)，所有可能的回歸為250－1≈1015個(gè)。全局擇優(yōu)法的局限性如果自變量個(gè)數(shù)為4，2.逐步選擇法

1.前進(jìn)法（forwardselection）2.后退法（backwardelimination）3.逐步回歸法（stepwiseregression）

它們的共同特點(diǎn)是每一步只引入或剔除一個(gè)自變量。決定引入或剔除基于對(duì)偏回歸平方和的F檢驗(yàn)2.逐步選擇法1.前進(jìn)法（forward（一）前進(jìn)法

自變量從無到有、從少到多

Y對(duì)每一個(gè)自變量作直線回歸，對(duì)回歸平方和最大的自變量作F檢驗(yàn)，有意義（P小）則引入。在此基礎(chǔ)上，計(jì)算其它自變量的偏回歸平方和，選取偏回歸平方和最大者作F檢驗(yàn)，…。

局限性：即后續(xù)變量的引入可能會(huì)使先進(jìn)入方程的自變量變得不重要。（一）前進(jìn)法自變量從無到有、從少到多Y對(duì)每一個(gè)（二）后退法

先將全部自變量放入方程，然后逐步剔除

偏回歸平方和最小的變量，作F檢驗(yàn)及相應(yīng)的P值，決定它是否剔除（P大）

。建立新的回歸方程。重復(fù)上述過程。

局限性：自變量高度相關(guān)時(shí)，可能得不出正確的結(jié)果

。（二）后退法先將全部自變量放入方程，然后逐步剔除（三）逐步回歸法

雙向篩選；引入有意義的變量（前進(jìn)法），剔除無意義變量（后退法）小樣本檢驗(yàn)水準(zhǔn)a定為0.10或0.15，大樣本把值定為0.05。值越小表示選取自變量的標(biāo)準(zhǔn)越嚴(yán)。注意，引入變量的檢驗(yàn)水準(zhǔn)要小于或等于剔除變量的檢驗(yàn)水準(zhǔn)。（三）逐步回歸法雙向篩選；引入有意義的變量（前第四節(jié)多元線性回歸的應(yīng)用及其注意事項(xiàng)第四節(jié)多元線性回歸的應(yīng)用及其注意事項(xiàng)一、應(yīng)用影響因素分析，控制混雜因素預(yù)測(cè)：由自變量值推出應(yīng)變量Y的值控制：指定應(yīng)變量Y的值查看自變量的改變量一、應(yīng)用影響因素分析，控制混雜因素二、應(yīng)用條件二、應(yīng)用條件三、應(yīng)用的注意事項(xiàng)（一）變量的數(shù)量化

（二）樣本含量

（三）統(tǒng)計(jì)“最優(yōu)”與專業(yè)的“最優(yōu)”

（四）多重共線性

（五）交互作用

（六）殘差圖

（七）偏相關(guān)系數(shù)

三、應(yīng)用的注意事項(xiàng)（一）變量的數(shù)量化

（二）樣本含量

（一）變量的數(shù)量化（1）自變量為連續(xù)型變量(必要時(shí)作變換)（2）自變量為有序變量(依次賦值，如療效好中差，可分別賦值3、2、1)（3）自變量為二分類(可令男＝1，女＝0）（4）自變量為名義分類（需要采用啞變量（dummyvariables）進(jìn)行編碼）（一）變量的數(shù)量化（1）自變量為連續(xù)型變量(必要時(shí)作變換)名義分類變量的啞變量化假如職業(yè)分類為工、農(nóng)、商、學(xué)、兵5類，則可定義比分類數(shù)少1個(gè)，即4個(gè)啞變量。編碼方法如下：名義分類變量的啞變量化假如職業(yè)分類為工、農(nóng)、商、學(xué)、舉例

姓名性別sex年齡職業(yè)(J)J1J2J3J4張山男119學(xué)生0001李四女025商人0010王五男130軍人0000趙六女040農(nóng)民0100錢七女036工人1000孫八男130商人0010劉九男126軍人0000注意：1.啞變量是同時(shí)存在，其統(tǒng)計(jì)學(xué)意義是相對(duì)而言的。2.啞變量有無意義可采用加與不加入啞變量的偏回歸平方和F檢驗(yàn)確定。舉例

（二）樣本含量觀察個(gè)體數(shù)n與變量個(gè)數(shù)m的比例一般至少應(yīng)為：觀察個(gè)體n：變量m

＝5～10（二）樣本含量觀察個(gè)體數(shù)n與變量個(gè)數(shù)m的比例一般至少（三）統(tǒng)計(jì)“最優(yōu)”與專業(yè)的“最優(yōu)”不同準(zhǔn)則、方法得出的“最優(yōu)”方程不同；不同的引入、剔除標(biāo)準(zhǔn)獲得的“最優(yōu)”方程不同；方程還受數(shù)據(jù)的正確性、共線性影響（三）統(tǒng)計(jì)“最優(yōu)”與專業(yè)的“最優(yōu)”不同準(zhǔn)則、方法得出的“最優(yōu)（四）多重共線性自變量間存在著相關(guān)關(guān)系，使一個(gè)或幾個(gè)自變量可以由另外的自變量線性表示時(shí)，稱為該變量與另外的自變量間存在有共線性(collinearity)。xxxxxxxxxxxxxX1X2Y（四）多重共線性自變量間存在著相關(guān)關(guān)系，使一個(gè)或幾個(gè)多重共線性的識(shí)別與解決辦法篩選自變量用主成分回歸嶺回歸回歸系數(shù)的符號(hào)與專業(yè)知識(shí)不符變量的重要性與專業(yè)不符R2高，但各自變量對(duì)應(yīng)的回歸系數(shù)均不顯著。方差膨脹因子（VarianceInflationFactors，VIF)>10多重共線性的識(shí)別與解決辦法篩選自變量回歸系數(shù)的符號(hào)與專業(yè)知識(shí)（五）交互作用

當(dāng)某一自變量對(duì)應(yīng)變量的作用大小與另一個(gè)自變