第十二講 多重線性回歸

1、1 第十三章第十三章 多因素線性回歸多因素線性回歸2主要內(nèi)容主要內(nèi)容1 多重線性回歸模型簡(jiǎn)介多重線性回歸模型簡(jiǎn)介2 回歸系數(shù)的估計(jì)回歸系數(shù)的估計(jì)3 多重回歸的假設(shè)檢驗(yàn)多重回歸的假設(shè)檢驗(yàn)4 評(píng)價(jià)回歸方程的標(biāo)準(zhǔn)評(píng)價(jià)回歸方程的標(biāo)準(zhǔn)5 自變量的篩選自變量的篩選6 多重線性回歸的應(yīng)用及其注意事項(xiàng)多重線性回歸的應(yīng)用及其注意事項(xiàng) 3某地某地13歲男童身高、體重、肺活量的實(shí)測(cè)數(shù)據(jù)歲男童身高、體重、肺活量的實(shí)測(cè)數(shù)據(jù)編號(hào)身高(cm)x1體重(kg)x2肺活量(L)y1135.132.01.753163.646.22.755156.237.12.757167.841.52.759145.033.02.5011165

2、.549.53.0013153.341.02.7515160.547.22.2517147.640.52.0019155.144.72.7521143.031.51.7523160.840.42.7525158.237.52.0027144.534.72.2529156.532.01.754問題 身高、體重與肺活量有無線性關(guān)系？身高、體重與肺活量有無線性關(guān)系？ 用身高和體重預(yù)測(cè)肺活量有多高的精度？用身高和體重預(yù)測(cè)肺活量有多高的精度？ 單獨(dú)用身高、或體重是否也能達(dá)到同樣效果？單獨(dú)用身高、或體重是否也能達(dá)到同樣效果？ 身高的貢獻(xiàn)大，還是體重的貢獻(xiàn)大？身高的貢獻(xiàn)大，還是體重的貢獻(xiàn)大？5一、多重線性回

3、歸模型一、多重線性回歸模型多重線性回歸數(shù)學(xué)模型：多重線性回歸數(shù)學(xué)模型：Y為因變量的實(shí)際觀測(cè)值為因變量的實(shí)際觀測(cè)值X1、X2、Xm為為m個(gè)自變量個(gè)自變量 為常數(shù)項(xiàng)為常數(shù)項(xiàng) 為總體偏回歸系數(shù)為總體偏回歸系數(shù) 為殘差，為殘差，Y的變化中不能用現(xiàn)有自變量解釋的部分的變化中不能用現(xiàn)有自變量解釋的部分01122mmYXXX0j6 多重線性回歸方程多重線性回歸方程 b0為截距(intercept)，又稱常數(shù)(constant), 表示各自變量均為0時(shí)y的估計(jì)值 bj稱為樣本偏回歸系數(shù)(partial regression coefficient)， 表示在其他自變量固定不變的情況下，自變量xj每改變一個(gè)單位

4、時(shí)單獨(dú)引起因變量y的平均改變量。 稱為 y 的估計(jì)值或預(yù)測(cè)值(predicted value) 01 122mmybb xb xb x y7舉例 根據(jù)某地根據(jù)某地29名名13歲男童的身高歲男童的身高x1(cm)，體重，體重x2(kg)和肺活量和肺活量y(L)建立的回歸方程為：建立的回歸方程為： 當(dāng)x1=150，x2=32時(shí)， 表示對(duì)所有身高為表示對(duì)所有身高為150cm，體重，體重為為32kg的的13歲男歲男童，估計(jì)平均肺活量為童，估計(jì)平均肺活量為1.9168(L)。120.56570.0050170.05406yxx 1.9168y 8二、回歸系數(shù)的估計(jì) 最小二乘法最小二乘法(least sq

5、uare, LS) 基本思想基本思想 殘差平方和殘差平方和(sum of squares for residuals)最小最小 2201 12211 nniiikkiiQyyybb xb xb x9用偏導(dǎo)數(shù)方法可得出下列正規(guī)方程組1 112 12111 212 22221122kkykkykkk kkkyblb lb llblb lb llblb lb ll( ,1, 2 ,)ijlijk2()jjjjijlxx當(dāng)時(shí)，()()ijiijjijlxxxx當(dāng)時(shí)，()()jyjjlxxyy10 求解正規(guī)方程組得偏回歸系數(shù)jb01 122()kkbyb xb xb x11標(biāo)準(zhǔn)化偏回歸系數(shù)標(biāo)準(zhǔn)化偏回歸系

6、數(shù)（standardized partial regression coefficient) 無量綱， 越大說明相應(yīng)的自變量xj 對(duì)y的貢獻(xiàn)越大jbjb()jjjjjjyyyslbbbsl12例例20-1 總膽固醇和甘油三酯對(duì)空腹血糖的影響Coefficientsa5.358.44412.079.000.171.055.4343.137.003.318.147.2982.155.038(Constant)總膽固醇甘油三酯Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Va

7、riable: 空腹血糖a. 125.3580.1720.318YXX=+13三、多重回歸的假設(shè)檢驗(yàn) 回歸方程（模型）的檢驗(yàn)回歸方程（模型）的檢驗(yàn) 偏回歸系數(shù)的檢驗(yàn)偏回歸系數(shù)的檢驗(yàn)14模型檢驗(yàn)?zāi)Ｐ蜋z驗(yàn) 方差分析法方差分析法 確定系數(shù)法確定系數(shù)法15方差分析法方差分析法 變異分解1.總變異：2.引進(jìn)回歸以后的變異(剩余): 3.回歸的貢獻(xiàn)，回歸平方和：2()1YYSSlYYn總2()j jySSYYb lvk回歸2()1SSYYvnk剩余SSSSSS總回歸剩余16回歸方程檢驗(yàn)的方差分析表 變異來源離均差平方和SS自由度df離均差平方均方MSF回歸SS回歸KSS回歸/KMS回歸剩余SS剩余N-K-

8、1SS剩余/(N-K-1)/MS剩余總SS總N-117檢驗(yàn)步驟檢驗(yàn)步驟 1.建立假設(shè)，確定檢驗(yàn)水準(zhǔn) 2.計(jì)算F值 3.確定P值，得出結(jié)論01210:00.05kjHH：各不全為18確定系數(shù)法 (coefficient of determination) 確定系數(shù)2SSRSS回歸總19R2可用于檢驗(yàn)多元回歸方程 H0：2=0； H1：20。 檢驗(yàn)統(tǒng)計(jì)量為：22(1) (1)RkFRnk20 偏回歸系數(shù)的假設(shè)檢驗(yàn)偏回歸系數(shù)的假設(shè)檢驗(yàn) t檢驗(yàn)檢驗(yàn)H0： j =0；H1： j 0。(1) jjjn kbbtts 21 偏回歸平方和法偏回歸平方和法 偏回歸平方和：是指將某自變量xj從回歸方程中刪除后所引

9、起的回歸平方和減少的量。1211,)/()11)jjkjjx xxxxxxSSFSSnk回(剩余（22例例20-1 總膽固醇和甘油三酯對(duì)空腹血糖的影響 模型檢驗(yàn)結(jié)果ANOVAb4.28122.1407.694.002a10.29337.27814.57439RegressionResidualTotalModel1Sum ofSquaresdfMean SquareFSig.Predictors: (Constant), 甘油三酯, 總膽固醇a. Dependent Variable: 空腹血糖b. 23偏回歸系數(shù)的偏回歸系數(shù)的t檢驗(yàn)結(jié)果檢驗(yàn)結(jié)果Coefficientsa5.358.44412

10、.079.000.171.055.4343.137.003.318.147.2982.155.038(Constant)總膽固醇甘油三酯Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: 空腹血糖a. 24偏回歸平方和法的檢驗(yàn)結(jié)果偏回歸平方和法的檢驗(yàn)結(jié)果方程內(nèi)變量方程外變量SS回歸偏回歸平方和（xj）F(xj)x1, x24.281x2x11.5432.738 9.849x1x22.9891.292 4.647F0.05,(1,37)=4.1125評(píng)價(jià)回歸

11、方程的標(biāo)準(zhǔn)評(píng)價(jià)回歸方程的標(biāo)準(zhǔn) 復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù) 校正復(fù)相關(guān)系數(shù)校正復(fù)相關(guān)系數(shù) 剩余標(biāo)準(zhǔn)差剩余標(biāo)準(zhǔn)差26復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)(multiple correlation coefficient) 0R1 R反映的是因變量與所有自變量的總的相關(guān)關(guān)系,當(dāng)方程中自變量個(gè)數(shù)增加時(shí),R總是增加的。當(dāng)只有一個(gè)因變量y與一個(gè)自變量x時(shí)，R就等于y與x的簡(jiǎn)單相關(guān)系數(shù)之絕對(duì)值：R= | ryx |。 根據(jù)R的大小判斷方程的優(yōu)劣時(shí)，結(jié)論總是自變量最多的方程最好，用R衡量方程的優(yōu)劣是有缺陷的。2SSRRSS回歸總27校正復(fù)相關(guān)系數(shù)Rad 當(dāng)有統(tǒng)計(jì)學(xué)意義的變量進(jìn)入方程中，可使Rad增加，而當(dāng)無統(tǒng)計(jì)學(xué)意義的變量增加到方

12、程中時(shí)， Rad反而減少。 Rad是衡量方程優(yōu)劣的重要指標(biāo)2211111adMSnRRnkMS 誤差總28 剩余標(biāo)準(zhǔn)差 剩余標(biāo)準(zhǔn)差 小則估計(jì)值與實(shí)測(cè)值接近，反之則估計(jì)值與實(shí)測(cè)值相差較大，它是反映回歸方程精度的指標(biāo)1 221,11kniiiy x xxyySSsMSnmnm剩余剩余29自變量的篩選 全面分析法 前進(jìn)法 后退法 逐步回歸法30全面分析法（最優(yōu)子集法） 從所有可能的變量組合的回歸方程中挑選最優(yōu)者，即把所有包含1個(gè)、2個(gè)、直至全部k個(gè)自變量的回歸方程都計(jì)算出來（ ），挑選剩余標(biāo)準(zhǔn)差最小的。21k31前進(jìn)法的基本思想選定一個(gè)標(biāo)準(zhǔn)。開始方程中沒有自變量(常數(shù)項(xiàng)除外)按自變量對(duì)y的貢獻(xiàn)大小由

13、大到小依次挑選進(jìn)入方程。每選入一個(gè)變量進(jìn)入方程，則重新計(jì)算方程外各自變量對(duì)y的貢獻(xiàn)。直到方程外變量均達(dá)不到入選標(biāo)準(zhǔn)，沒有自變量可被引入方程為止。32圖示：前進(jìn)法 計(jì)算lij、ix方程外的變量分別進(jìn)入方程，計(jì)算SS回增加量增加最大者為XKXK進(jìn)入方程顯著對(duì)XK進(jìn)行檢驗(yàn)不顯著結(jié)束33前進(jìn)法 Y，X1X2 X3 X4 X5 第一步 建立5個(gè)方程 Y與x1 P1=0.015 Y與x2 P2=0.003 Y與x3 P3=0.026 Y與x4 P4=0.223 Y與x5 P5=0.665 選入X2 方程中有一個(gè)變量34前進(jìn)法 第二步 建立4個(gè)方程 Y與X2，x1 P1=0.023 Y與x2 ，x3 P2=

14、0.005 Y與x2 ， x4 P3=0.223 Y與x2 ， x5 P4=0.635 選入X3 方程中有二個(gè)變量 x2 ，x3 35前進(jìn)法 第三步 建立3個(gè)方程 Y與X2，X3，x1 P1=0.023 Y與X2，X3， x4 P2=0.000 Y與X2，X3， x5 P3=0.535 選入X4 方程中有三個(gè)變量 X2，X3， x436前進(jìn)法前進(jìn)法 考慮在剩余的考慮在剩余的X1、X5選入。選入。 若若P有小于有小于0.05，繼續(xù)考慮選入。，繼續(xù)考慮選入。 依次循環(huán)，直到方程外也選不入，計(jì)依次循環(huán)，直到方程外也選不入，計(jì)算停止，此時(shí)的方程為前進(jìn)法的最優(yōu)算停止，此時(shí)的方程為前進(jìn)法的最優(yōu)方程。方程。

15、37后退法的基本思想選定一個(gè)標(biāo)準(zhǔn)開始所有變量均在方程中按自變量對(duì)y的貢獻(xiàn)大小由小到大依次剔除變量。每剔除一個(gè)變量，則重新計(jì)算方程內(nèi)各自變量對(duì)y的貢獻(xiàn)。直到方程內(nèi)變量均達(dá)到入選標(biāo)準(zhǔn)，沒有自變量可被剔除為止。38圖示：后退法 變量全部進(jìn)變量全部進(jìn)入方程入方程方程內(nèi)的變量分別剔方程內(nèi)的變量分別剔除，計(jì)算除，計(jì)算SS回回減少量減少量，減少量最小者為，減少量最小者為Xk剔除剔除Xk顯著顯著對(duì)對(duì)XK進(jìn)行檢驗(yàn)進(jìn)行檢驗(yàn)不顯著不顯著不剔除不剔除Xk,結(jié)束結(jié)束39后退法 Y，X1X2 X3 X4 X5 第一步第一步 建立建立1個(gè)方程個(gè)方程 Y與與X1 ，X2，X3，X4 ，X5 40后退法 第二步第二步 建立建立

16、5個(gè)方程個(gè)方程（考慮剔除）（考慮剔除） Y與與X1 ，X2，X3，X4 無無X5所損失所損失 P1=0.723 Y與與X1 ，X2，X3，X5 無無X4所損失所損失 P2=0.005 Y與與X1 ，X2，X4 ，X5 無無X3所損失所損失 P3=0.123 Y與與X1 ，X3，X4 ，X5 無無X2所損失所損失 P4=0.035 Y與與X2，X3，X4 ，X5 無無X1所損失所損失 P4=0.53541后退法 第三步第三步 建立建立4個(gè)方程個(gè)方程（考慮剔除）（考慮剔除） Y與與X1 ，X2，X3 無無X4所損失所損失 P1=0.003 Y與與X1 ，X2，X4 無無X3所損失所損失 P2=0.

17、005 Y與與X1 ，X3，X4 無無X2所損失所損失 P4=0.035 Y與與X2，X3，X4 無無X1所損失所損失 P4=0.53542后退法 第四步 建立3個(gè)方程（考慮剔除） Y與X2，X3 無X4所損失 P1=0.003 Y與X2，X4 無X3所損失 P2=0.002 Y與X3，X4 無X2所損失 P3=0.00543后退法后退法 若若P都小于都小于0.05，不能剔除，直到方程，不能剔除，直到方程內(nèi)剔不出，計(jì)算停止，此時(shí)的方程為內(nèi)剔不出，計(jì)算停止，此時(shí)的方程為后退法的最優(yōu)方程。后退法的最優(yōu)方程。44逐步回歸 將自變量逐個(gè)地引入方程，引入的條件是該自變量的偏回歸平方和在未選入的自變量中是

18、最大的，并F檢驗(yàn)具有顯著意義。另一方面，每引入一個(gè)新變量，要對(duì)先前選入方程的自變量逐個(gè)進(jìn)行F檢驗(yàn)，將偏回歸平方和最小且無顯著性的自變量剔出方程，直到方程外的自變量不能再引入，方程內(nèi)的自變量不能再剔除。45圖示：逐步回歸過程 計(jì)算計(jì)算lij、ix方程外的變量分別進(jìn)方程外的變量分別進(jìn)入方程，計(jì)算入方程，計(jì)算SS回回增增加量增加最大者為加量增加最大者為XKXK進(jìn)入方程進(jìn)入方程步數(shù)步數(shù)2方程內(nèi)的變量分別剔方程內(nèi)的變量分別剔除，計(jì)算除，計(jì)算SS回回減少量減少量，減少量最小者為，減少量最小者為XS對(duì)對(duì)XS檢驗(yàn)檢驗(yàn)剔除剔除XS顯著顯著不顯著不顯著顯著顯著對(duì)對(duì)XK進(jìn)行檢驗(yàn)進(jìn)行檢驗(yàn)不顯著不顯著結(jié)束結(jié)束是是否否4

19、6前進(jìn)法逐步回歸 Y，X1X2 X3 X4 X5 第一步第一步 建立建立5個(gè)方程個(gè)方程 Y與與x1 P1=0.015 Y與與x2 P2=0.003 Y與與x3 P3=0.026 Y與與x4 P4=0.223 Y與與x5 P5=0.665 選入選入X2 方程中有一個(gè)變量方程中有一個(gè)變量47前進(jìn)法逐步回歸 第二步第二步 建立建立4個(gè)方程個(gè)方程 Y與與X2，x1 P1=0.023 Y與與x2 ，x3 P2=0.005 Y與與x2 ， x4 P3=0.223 Y與與x2 ， x5 P4=0.635 選入選入X3 方程中有二個(gè)變量方程中有二個(gè)變量 x2 ，x3 48前進(jìn)法逐步回歸 第三步第三步 建立建立

20、3個(gè)方程個(gè)方程 Y與與X2，X3，x1 P1=0.023 Y與與X2，X3， x4 p2=0.000 Y與與X2，X3， x5 p3=0.535 選入選入X4 方程中有三個(gè)變量方程中有三個(gè)變量 X2，X3， x449前進(jìn)法逐步回歸 第四步第四步 建立建立3個(gè)方程個(gè)方程（考慮剔除）（考慮剔除） Y與與X2，X3 無無X4所損失所損失 P1=0.003 Y與與X2，X4 無無X3所損失所損失 P2=0.002 Y與與X3，X4 無無X2所損失所損失 P3=0.25050前進(jìn)法逐步回歸 此時(shí)此時(shí)P3大于大于0.05,則剔除變量則剔除變量X2，然后，然后考慮在剩余的考慮在剩余的X1、X5選入。選入。

21、若若P都小于都小于0.05,繼續(xù)考慮選入。繼續(xù)考慮選入。 依次循環(huán)，直到方程內(nèi)剔不出，方程依次循環(huán)，直到方程內(nèi)剔不出，方程外也選不入，計(jì)算停止，此時(shí)的方程外也選不入，計(jì)算停止，此時(shí)的方程為前進(jìn)法的最優(yōu)方程。為前進(jìn)法的最優(yōu)方程。51后退法逐步回歸 開始時(shí)全部因素都引入模型，然后分別剔除各因開始時(shí)全部因素都引入模型，然后分別剔除各因素，比較值最大者，經(jīng)檢驗(yàn)，如沒有顯著性，素，比較值最大者，經(jīng)檢驗(yàn)，如沒有顯著性，首先剔除。再分別考慮剔除還在模型內(nèi)的各因素，首先剔除。再分別考慮剔除還在模型內(nèi)的各因素，如果值最大者經(jīng)檢驗(yàn)，沒有顯著性，再剔除。如果值最大者經(jīng)檢驗(yàn)，沒有顯著性，再剔除。直到模型內(nèi)的因素均不能

22、剔除為止。再考慮模型直到模型內(nèi)的因素均不能剔除為止。再考慮模型外的各因素，分別引入模型，經(jīng)檢驗(yàn)，具有顯著外的各因素，分別引入模型，經(jīng)檢驗(yàn)，具有顯著性者再引入。直到模型內(nèi)的因素都具有顯著性，性者再引入。直到模型內(nèi)的因素都具有顯著性，都不能剔除，而模型外的因素都不具有顯著性，都不能剔除，而模型外的因素都不具有顯著性，不能引入，則得到最后的模型。不能引入，則得到最后的模型。52后退法逐步回歸 Y，X1X2 X3 X4 X5 第一步第一步 建立建立1個(gè)方程個(gè)方程 Y與與X1 ，X2，X3，X4 ，X5 53后退法逐步回歸 第二步第二步 建立建立5個(gè)方程個(gè)方程（考慮剔除）（考慮剔除） Y與與X1 ，X2

23、，X3，X4 無無X5所損失所損失 P1=0.723 Y與與X1 ，X2，X3，X5 無無X4所損失所損失 P2=0.005 Y與與X1 ，X2，X4 ，X5 無無X3所損失所損失 P3=0.123 Y與與X1 ，X3，X4 ，X5 無無X2所損失所損失 P4=0.035 Y與與X2，X3，X4 ，X5 無無X1所損失所損失 P4=0.53554后退法逐步回歸 第三步第三步 建立建立4個(gè)方程個(gè)方程（考慮剔除）（考慮剔除） Y與與X1 ，X2，X3 無無X4所損失所損失 P1=0.003 Y與與X1 ，X2，X4 無無X3所損失所損失 P2=0.005 Y與與X1 ，X3，X4 無無X2所損失所損失 P4=0.035 Y與與X2，X3，X4 無無X1所損失所損失 P4=0.53555后退法逐步回歸 第四步第四步 建立建立3個(gè)方程個(gè)方程（考慮剔除）（考慮剔除） Y與與X2，X3 無無X4所損失所損失 P1=0.003 Y與與X2，X4 無無X3所損失所損失 P2=0.002 Y與與X3，X4 無無X2所損失所損失 P3=0.00556后退法逐步回歸 若若P都