多重線性回歸

多重線性回歸1第1頁(yè)，共60頁(yè)，2023年，2月20日，星期四主要內(nèi)容1多重線性回歸模型簡(jiǎn)介2回歸系數(shù)的估計(jì)3多重回歸的假設(shè)檢驗(yàn)4評(píng)價(jià)回歸方程的標(biāo)準(zhǔn)5自變量的篩選6多重線性回歸的應(yīng)用及其注意事項(xiàng)

2第2頁(yè)，共60頁(yè)，2023年，2月20日，星期四某地13歲男童身高、體重、肺活量的實(shí)測(cè)數(shù)據(jù)編號(hào)身高(cm)x1體重(kg)x2肺活量(L)y1135.132.01.753163.646.22.755156.237.12.757167.841.52.759145.033.02.5011165.549.53.0013153.341.02.7515160.547.22.2517147.640.52.0019155.144.72.7521143.031.51.7523160.840.42.7525158.237.52.0027144.534.72.2529156.532.01.753第3頁(yè)，共60頁(yè)，2023年，2月20日，星期四問題身高、體重與肺活量有無(wú)線性關(guān)系？用身高和體重預(yù)測(cè)肺活量有多高的精度？單獨(dú)用身高、或體重是否也能達(dá)到同樣效果？身高的貢獻(xiàn)大，還是體重的貢獻(xiàn)大？4第4頁(yè)，共60頁(yè)，2023年，2月20日，星期四一、多重線性回歸模型多重線性回歸數(shù)學(xué)模型：Y為因變量的實(shí)際觀測(cè)值X1、X2、…Xm為m個(gè)自變量為常數(shù)項(xiàng)為總體偏回歸系數(shù)為殘差，Y的變化中不能用現(xiàn)有自變量解釋的部分5第5頁(yè)，共60頁(yè)，2023年，2月20日，星期四多重線性回歸方程

b0為截距(intercept)，又稱常數(shù)(constant),

表示各自變量均為0時(shí)y的估計(jì)值

bj稱為樣本偏回歸系數(shù)(partialregressioncoefficient)，表示在其他自變量固定不變的情況下，自變量xj每改變一個(gè)單位時(shí)單獨(dú)引起因變量y的平均改變量。稱為y的估計(jì)值或預(yù)測(cè)值(predictedvalue)6第6頁(yè)，共60頁(yè)，2023年，2月20日，星期四舉例根據(jù)某地29名13歲男童的身高x1(cm)，體重x2(kg)和肺活量y(L)建立的回歸方程為：當(dāng)x1=150，x2=32時(shí)，

表示對(duì)所有身高為150cm，體重為32kg的13歲男童，估計(jì)平均肺活量為1.9168(L)。7第7頁(yè)，共60頁(yè)，2023年，2月20日，星期四二、回歸系數(shù)的估計(jì)最小二乘法(leastsquare,LS)基本思想殘差平方和(sumofsquaresforresiduals)最小8第8頁(yè)，共60頁(yè)，2023年，2月20日，星期四用偏導(dǎo)數(shù)方法可得出下列正規(guī)方程組9第9頁(yè)，共60頁(yè)，2023年，2月20日，星期四求解正規(guī)方程組得偏回歸系數(shù)10第10頁(yè)，共60頁(yè)，2023年，2月20日，星期四標(biāo)準(zhǔn)化偏回歸系數(shù)

（standardizedpartialregressioncoefficient)無(wú)量綱，越大說明相應(yīng)的自變量xj

對(duì)y的貢獻(xiàn)越大11第11頁(yè)，共60頁(yè)，2023年，2月20日，星期四例20-1

總膽固醇和甘油三酯對(duì)空腹血糖的影響12第12頁(yè)，共60頁(yè)，2023年，2月20日，星期四三、多重回歸的假設(shè)檢驗(yàn)回歸方程（模型）的檢驗(yàn)偏回歸系數(shù)的檢驗(yàn)13第13頁(yè)，共60頁(yè)，2023年，2月20日，星期四模型檢驗(yàn)方差分析法確定系數(shù)法14第14頁(yè)，共60頁(yè)，2023年，2月20日，星期四方差分析法變異分解1.總變異：2.引進(jìn)回歸以后的變異(剩余):

3.回歸的貢獻(xiàn)，回歸平方和：15第15頁(yè)，共60頁(yè)，2023年，2月20日，星期四回歸方程檢驗(yàn)的方差分析表變異來源離均差平方和SS自由度df離均差平方均方MSF回歸SS回歸KSS回歸/KMS回歸剩余SS剩余N-K-1SS剩余/(N-K-1)/MS剩余總SS總N-116第16頁(yè)，共60頁(yè)，2023年，2月20日，星期四檢驗(yàn)步驟1.建立假設(shè)，確定檢驗(yàn)水準(zhǔn)2.計(jì)算F值3.確定P值，得出結(jié)論17第17頁(yè)，共60頁(yè)，2023年，2月20日，星期四確定系數(shù)法

(coefficientofdetermination)確定系數(shù)18第18頁(yè)，共60頁(yè)，2023年，2月20日，星期四R2可用于檢驗(yàn)多元回歸方程H0：2=0；H1：20。檢驗(yàn)統(tǒng)計(jì)量為：19第19頁(yè)，共60頁(yè)，2023年，2月20日，星期四

偏回歸系數(shù)的假設(shè)檢驗(yàn)t檢驗(yàn)H0：j=0；H1：j0。20第20頁(yè)，共60頁(yè)，2023年，2月20日，星期四偏回歸平方和法偏回歸平方和：是指將某自變量xj從回歸方程中刪除后所引起的回歸平方和減少的量。21第21頁(yè)，共60頁(yè)，2023年，2月20日，星期四例20-1

總膽固醇和甘油三酯對(duì)空腹血糖的影響模型檢驗(yàn)結(jié)果22第22頁(yè)，共60頁(yè)，2023年，2月20日，星期四偏回歸系數(shù)的t檢驗(yàn)結(jié)果23第23頁(yè)，共60頁(yè)，2023年，2月20日，星期四偏回歸平方和法的檢驗(yàn)結(jié)果方程內(nèi)變量方程外變量SS回歸偏回歸平方和（xj）F(xj)x1,x24.281x2x11.5432.7389.849x1x22.9891.2924.647F0.05,(1,37)=4.1124第24頁(yè)，共60頁(yè)，2023年，2月20日，星期四評(píng)價(jià)回歸方程的標(biāo)準(zhǔn)復(fù)相關(guān)系數(shù)校正復(fù)相關(guān)系數(shù)剩余標(biāo)準(zhǔn)差25第25頁(yè)，共60頁(yè)，2023年，2月20日，星期四復(fù)相關(guān)系數(shù)

(multiplecorrelationcoefficient)

0≤R≤1R反映的是因變量與所有自變量的總的相關(guān)關(guān)系,當(dāng)方程中自變量個(gè)數(shù)增加時(shí),R總是增加的。當(dāng)只有一個(gè)因變量y與一個(gè)自變量x時(shí)，R就等于y與x的簡(jiǎn)單相關(guān)系數(shù)之絕對(duì)值：R=|ryx

|。根據(jù)R的大小判斷方程的優(yōu)劣時(shí)，結(jié)論總是自變量最多的方程最好，用R衡量方程的優(yōu)劣是有缺陷的。26第26頁(yè)，共60頁(yè)，2023年，2月20日，星期四校正復(fù)相關(guān)系數(shù)Rad當(dāng)有統(tǒng)計(jì)學(xué)意義的變量進(jìn)入方程中，可使Rad增加，而當(dāng)無(wú)統(tǒng)計(jì)學(xué)意義的變量增加到方程中時(shí)，Rad反而減少。Rad是衡量方程優(yōu)劣的重要指標(biāo)27第27頁(yè)，共60頁(yè)，2023年，2月20日，星期四剩余標(biāo)準(zhǔn)差剩余標(biāo)準(zhǔn)差小則估計(jì)值與實(shí)測(cè)值接近，反之則估計(jì)值與實(shí)測(cè)值相差較大，它是反映回歸方程精度的指標(biāo)28第28頁(yè)，共60頁(yè)，2023年，2月20日，星期四自變量的篩選全面分析法前進(jìn)法后退法逐步回歸法29第29頁(yè)，共60頁(yè)，2023年，2月20日，星期四全面分析法

（最優(yōu)子集法）從所有可能的變量組合的回歸方程中挑選最優(yōu)者，即把所有包含1個(gè)、2個(gè)、…直至全部k個(gè)自變量的回歸方程都計(jì)算出來（），挑選剩余標(biāo)準(zhǔn)差最小的。30第30頁(yè)，共60頁(yè)，2023年，2月20日，星期四前進(jìn)法的基本思想選定一個(gè)標(biāo)準(zhǔn)。開始方程中沒有自變量(常數(shù)項(xiàng)除外)按自變量對(duì)y的貢獻(xiàn)大小由大到小依次挑選進(jìn)入方程。每選入一個(gè)變量進(jìn)入方程，則重新計(jì)算方程外各自變量對(duì)y的貢獻(xiàn)。直到方程外變量均達(dá)不到入選標(biāo)準(zhǔn)，沒有自變量可被引入方程為止。31第31頁(yè)，共60頁(yè)，2023年，2月20日，星期四圖示：前進(jìn)法

計(jì)算lij、方程外的變量分別進(jìn)入方程，計(jì)算SS回增加量增加最大者為XKXK進(jìn)入方程顯著對(duì)XK進(jìn)行檢驗(yàn)不顯著結(jié)束32第32頁(yè)，共60頁(yè)，2023年，2月20日，星期四前進(jìn)法Y，X1

X2X3X4X5第一步建立5個(gè)方程

Y與x1P1=0.015

Y與x2P2=0.003Y與x3P3=0.026Y與x4P4=0.223Y與x5P5=0.665選入X2方程中有一個(gè)變量33第33頁(yè)，共60頁(yè)，2023年，2月20日，星期四前進(jìn)法第二步建立4個(gè)方程

Y與X2，x1P1=0.023

Y與x2，x3P2=0.005Y與x2，x4P3=0.223Y與x2，x5P4=0.635選入X3方程中有二個(gè)變量

x2，x334第34頁(yè)，共60頁(yè)，2023年，2月20日，星期四前進(jìn)法第三步建立3個(gè)方程

Y與X2，X3，x1P1=0.023

Y與X2，X3，x4P2=0.000Y與X2，X3，x5P3=0.535選入X4方程中有三個(gè)變量

X2，X3，x435第35頁(yè)，共60頁(yè)，2023年，2月20日，星期四前進(jìn)法考慮在剩余的X1、X5選入。若P有小于0.05，繼續(xù)考慮選入。依次循環(huán)，直到方程外也選不入，計(jì)算停止，此時(shí)的方程為前進(jìn)法的最優(yōu)方程。36第36頁(yè)，共60頁(yè)，2023年，2月20日，星期四后退法的基本思想選定一個(gè)標(biāo)準(zhǔn)開始所有變量均在方程中按自變量對(duì)y的貢獻(xiàn)大小由小到大依次剔除變量。每剔除一個(gè)變量，則重新計(jì)算方程內(nèi)各自變量對(duì)y的貢獻(xiàn)。直到方程內(nèi)變量均達(dá)到入選標(biāo)準(zhǔn)，沒有自變量可被剔除為止。37第37頁(yè)，共60頁(yè)，2023年，2月20日，星期四圖示：后退法

變量全部進(jìn)入方程方程內(nèi)的變量分別剔除，計(jì)算SS回減少量，減少量最小者為Xk剔除Xk顯著對(duì)XK進(jìn)行檢驗(yàn)不顯著不剔除Xk,結(jié)束38第38頁(yè)，共60頁(yè)，2023年，2月20日，星期四后退法Y，X1

X2X3X4X5第一步建立1個(gè)方程

Y與X1，X2，X3，X4，X5

39第39頁(yè)，共60頁(yè)，2023年，2月20日，星期四后退法第二步建立5個(gè)方程（考慮剔除）

Y與X1，X2，X3，X4

無(wú)X5所損失P1=0.723Y與X1，X2，X3，X5

無(wú)X4所損失P2=0.005Y與X1，X2，X4，X5

無(wú)X3所損失P3=0.123Y與X1，X3，X4，X5

無(wú)X2所損失P4=0.035Y與X2，X3，X4，X5

無(wú)X1所損失P4=0.53540第40頁(yè)，共60頁(yè)，2023年，2月20日，星期四后退法第三步建立4個(gè)方程（考慮剔除）

Y與X1，X2，X3

無(wú)X4所損失P1=0.003Y與X1，X2，X4

無(wú)X3所損失P2=0.005Y與X1，X3，X4

無(wú)X2所損失P4=0.035Y與X2，X3，X4

無(wú)X1所損失P4=0.53541第41頁(yè)，共60頁(yè)，2023年，2月20日，星期四后退法第四步建立3個(gè)方程（考慮剔除）

Y與X2，X3無(wú)X4所損失P1=0.003Y與X2，X4無(wú)X3所損失P2=0.002Y與X3，X4無(wú)X2所損失P3=0.00542第42頁(yè)，共60頁(yè)，2023年，2月20日，星期四后退法若P都小于0.05，不能剔除，直到方程內(nèi)剔不出，計(jì)算停止，此時(shí)的方程為后退法的最優(yōu)方程。43第43頁(yè)，共60頁(yè)，2023年，2月20日，星期四逐步回歸將自變量逐個(gè)地引入方程，引入的條件是該自變量的偏回歸平方和在未選入的自變量中是最大的，并F檢驗(yàn)具有顯著意義。另一方面，每引入一個(gè)新變量，要對(duì)先前選入方程的自變量逐個(gè)進(jìn)行F檢驗(yàn)，將偏回歸平方和最小且無(wú)顯著性的自變量剔出方程，直到方程外的自變量不能再引入，方程內(nèi)的自變量不能再剔除。44第44頁(yè)，共60頁(yè)，2023年，2月20日，星期四圖示：逐步回歸過程

計(jì)算lij、方程外的變量分別進(jìn)入方程，計(jì)算SS回增加量增加最大者為XKXK進(jìn)入方程步數(shù)>2方程內(nèi)的變量分別剔除，計(jì)算SS回減少量，減少量最小者為XS對(duì)XS檢驗(yàn)剔除XS顯著不顯著顯著對(duì)XK進(jìn)行檢驗(yàn)不顯著結(jié)束是否45第45頁(yè)，共60頁(yè)，2023年，2月20日，星期四前進(jìn)法逐步回歸Y，X1

X2X3X4X5第一步建立5個(gè)方程

Y與x1P1=0.015

Y與x2P2=0.003Y與x3P3=0.026Y與x4P4=0.223Y與x5P5=0.665選入X2方程中有一個(gè)變量46第46頁(yè)，共60頁(yè)，2023年，2月20日，星期四前進(jìn)法逐步回歸第二步建立4個(gè)方程

Y與X2，x1P1=0.023

Y與x2，x3P2=0.005Y與x2，x4P3=0.223Y與x2，x5P4=0.635選入X3方程中有二個(gè)變量

x2，x3

47第47頁(yè)，共60頁(yè)，2023年，2月20日，星期四前進(jìn)法逐步回歸第三步建立3個(gè)方程

Y與X2，X3，x1P1=0.023

Y與X2，X3，x4p2=0.000Y與X2，X3，x5p3=0.535選入X4方程中有三個(gè)變量

X2，X3，x448第48頁(yè)，共60頁(yè)，2023年，2月20日，星期四前進(jìn)法逐步回歸第四步建立3個(gè)方程（考慮剔除）

Y與X2，X3無(wú)X4所損失P1=0.003Y與X2，X4無(wú)X3所損失P2=0.002Y與X3，X4無(wú)X2所損失P3=0.25049第49頁(yè)，共60頁(yè)，2023年，2月20日，星期四前進(jìn)法逐步回歸此時(shí)P3大于0.05,則剔除變量X2，然后考慮在剩余的X1、X5選入。若P都小于0.05,繼續(xù)考慮選入。依次循環(huán)，直到方程內(nèi)剔不出，方程外也選不入，計(jì)算停止，此時(shí)的方程為前進(jìn)法的最優(yōu)方程。50第50頁(yè)，共60頁(yè)，2023年，2月20日，星期四后退法逐步回歸開始時(shí)全部因素都引入模型，然后分別剔除各因素，比較Ｐ值最大者，經(jīng)檢驗(yàn)，如沒有顯著性，首先剔除。再分別考慮剔除還在模型內(nèi)的各因素，如果Ｐ值最大者經(jīng)檢驗(yàn)，沒有顯著性，再剔除。直到模型內(nèi)的因素均不能剔除為止。再考慮模型外的各因素，分別引入模型，經(jīng)檢驗(yàn)，具有顯著性者再引入。直到模型內(nèi)的因素都具有顯著性，都不能剔除，而模型外的因素都不具有顯著性，不能引入，則得到最后的模型。51第51頁(yè)，共60頁(yè)，2023年，2月20日，星期四后退法逐步回歸Y，X1

X2X3X4X5第一步建立1個(gè)方程

Y與X1，X2，X3，X4，X5

52第52頁(yè)，共60頁(yè)，2023年，2月20日，星期四后退法逐步回歸第二步建立5個(gè)方程（考慮剔除）

Y與X1，X2，X3，X4

無(wú)X5所損失P1=0.723Y與X1，X2，X3，X5

無(wú)X4所損失P2=0.005Y與X1，X2，X4，X5

無(wú)X3所損失P3=0.123Y與X1，X3，X4，X5

無(wú)X2所損失P4=0.035Y與X2，X3，X4，X5

無(wú)X1所損失P4=0.53553第53頁(yè)，共60頁(yè)，2023年，2月20日，星期四后退法逐步回歸第三步建立4個(gè)方程（考慮剔除）

Y與X1，X2，X3

無(wú)X4所損失P1=0.003Y與X1，X2，X4

無(wú)X3所損失P2=0.005Y與X1，X3，X4

無(wú)X2所損失P4=0.035Y與X2，X3，X4