第11章 多元線性回歸與多元逐步回歸

第十一章多元線性回歸與多元逐步回歸

(MultipleLinearRegression

andMultipleStepwiseRegression)

華中科技大學(xué)同濟(jì)醫(yī)學(xué)院尹平例子一個(gè)應(yīng)變量與多個(gè)自變量間的關(guān)系兒童身高與年齡、性別的關(guān)系肺活量與年齡、性別、身高、體重以及胸圍的呼吸差等因素的關(guān)系多元線性回歸如構(gòu)成線性依存關(guān)系第一節(jié)多元線性回歸

第二節(jié)多元逐步回歸

第三節(jié)多元線性回歸的注意事項(xiàng)第一節(jié)多元線性回歸

（multiplelinearregression

）多元線性回歸的數(shù)據(jù)格式一、多元線性回歸方程

(multiplelinearregressionequation)

常數(shù)項(xiàng)，表示當(dāng)所有自變量為0時(shí)應(yīng)變量Y的總體平均值的估計(jì)值

表示除以外的其它自變量固定不變的情況下，每改變一個(gè)測(cè)量單位時(shí)所引起的應(yīng)變量Y的平均改變量bj為偏回歸系數(shù)（partialregressioncoefficient)兩個(gè)自變量與應(yīng)變量的散點(diǎn)圖兩個(gè)自變量與應(yīng)變量的擬合面bj為xj方向的斜率1.求偏回歸系數(shù)bj及b0根據(jù)最小二乘法(methodofleastsquare)原理求出bj,即得到bj

2.例子

例11.120名糖尿病人的血糖、胰島素及生長(zhǎng)素的測(cè)定值列于下表中，試建立血糖對(duì)于胰島素及生長(zhǎng)素的二元線性回歸方程。

對(duì)于本例有:采用最小二乘法即可求出常數(shù)項(xiàng)b0和偏回歸系數(shù)b1、b2。

其中

對(duì)表11-2的數(shù)據(jù)資料由SAS統(tǒng)計(jì)軟件可得到如下

表11-3的主要結(jié)果。

由此得到回歸方程為二、回歸方程的假設(shè)檢驗(yàn)1.模型檢驗(yàn)其中：自由度為

總＝n－1，

回歸＝k，

剩余＝n－k－1

X2X1YModelSSTotalSSResidualSS

由表11-4可知，F(xiàn)＝21.54，P<0.05。從而，拒絕H0，可以認(rèn)為β１和β２不全為0，即所求回歸方程有統(tǒng)計(jì)學(xué)意義。對(duì)于例11.1的模型檢驗(yàn)H0：β１＝β２＝０H1：β１和β２不全為0

＝0.05對(duì)表11-3的數(shù)據(jù)資料，由SAS統(tǒng)計(jì)軟件可得到如下表11-4的模型檢驗(yàn)結(jié)果。

２．偏回歸系數(shù)的檢驗(yàn)

（1）F檢驗(yàn)j=1,2,…,k之中，U為Xj的偏回歸平方和,即U=SS回歸－SS回歸(-j)

Fj服從F

(1,n-k-1)分布表11-5例11.1數(shù)據(jù)的偏回歸系數(shù)F檢驗(yàn)表方程內(nèi)自變量平方和FPSS回歸SS回歸-SS回歸(-j)

SS殘差X1,X2116.6２６46.025X266.27550.35218.598<0.0５X1114.7031.9240.710>0.05

在

＝0.05水平上，可以認(rèn)為胰島素對(duì)血糖的線性回歸關(guān)系有統(tǒng)計(jì)學(xué)意義，而生長(zhǎng)素對(duì)血糖的線性回歸關(guān)系無(wú)統(tǒng)計(jì)學(xué)意義。所以應(yīng)剔除X2，只建立X1與Y的線性回歸方程。

(2)t檢驗(yàn)j=1,2,…,k，P=0.0005；

在α＝0.05水平下，認(rèn)為血糖與胰島素的線性回歸關(guān)系有統(tǒng)計(jì)學(xué)意義，而與生長(zhǎng)素的線性回歸關(guān)系無(wú)統(tǒng)計(jì)學(xué)意義。

結(jié)論與F檢驗(yàn)一致。，P=0.4110。三、標(biāo)準(zhǔn)化回歸系數(shù)

（standardizedpartialregressioncoefficient)

式中，Sj及Sy分別為自變量Xj

及因變量Y的標(biāo)準(zhǔn)差?？梢岳脴?biāo)準(zhǔn)化偏回歸系數(shù)的大小來(lái)反映各自變量的貢獻(xiàn)大小。

１．復(fù)相關(guān)系數(shù)（multiplecorrelation

coefficient）

又稱多元相關(guān)系數(shù)或全相關(guān)系數(shù)，表示回歸方程中的全部自變量X共同對(duì)應(yīng)變量Y的相關(guān)密切程度。復(fù)相關(guān)系數(shù)取值總為正值，在0與1之間，簡(jiǎn)記為R。如果只有一個(gè)自變量，此時(shí)

四、復(fù)相關(guān)系數(shù)與決定系數(shù)2．決定系數(shù)(coefficientofdetermination）

復(fù)相關(guān)系數(shù)的平方又稱決定系數(shù)，記為，用以反映線性回歸方程能在多大程度上解釋?xiě)?yīng)變量Y的變異性?；貧w方程的擬合程度越好，殘差平方和就越小，決定系數(shù)越接近1，決定系數(shù)越接近1第二節(jié)多元逐步回歸

（multiplestepwiseregression）

1.多元逐步回歸的基本思想多元逐步回歸（multiplestepwiseregression）有三種篩選自變量的方法：1．向后法（Backwardselection）先建立一個(gè)全因素的回歸方程，然后每次剔除一個(gè)偏回歸平方和最小且無(wú)統(tǒng)計(jì)學(xué)意義的自變量，直到不能剔除時(shí)為止，此法的計(jì)算量大，有時(shí)不能實(shí)現(xiàn)。2．向前法（forwardselection）方程由一個(gè)自變量開(kāi)始，每次引入一個(gè)偏回歸平方和最大，且具有統(tǒng)計(jì)學(xué)意義的自變量，由少到多，直到無(wú)具有統(tǒng)計(jì)意義的因素可以引入為止。用此法建立的方程有時(shí)不夠精煉。3.逐步法（stepwiseselecfion）取上述兩種方法的優(yōu)點(diǎn)，在向前引入每一個(gè)新自變量之后都要重新對(duì)前已選入的自變量進(jìn)行檢查，以評(píng)價(jià)其有無(wú)繼續(xù)保留在方程中的價(jià)值。為此引入和剔除交替進(jìn)行，直到無(wú)具有統(tǒng)計(jì)學(xué)意義的新變量可以引入也無(wú)失去其統(tǒng)計(jì)學(xué)意義的自變量可以剔除時(shí)為止。2.多元逐步回歸的基本原理

每一步只引入或剔除一個(gè)自變量。自變量是否被引入或剔除則取決于其偏回歸平方和的F檢驗(yàn)或校正決定系數(shù)。如方程中已引入了(m-1)個(gè)自變量，在此基礎(chǔ)上考慮再引入變量Xj。記引入Xj

后方程（即含m個(gè)自變量）的回歸平方和為SS回歸，殘差為SS殘差；之前含(m-1)個(gè)自變量（不包含Xj）方程的回歸平方和為SS回歸(-j)，則Xj

的偏回歸平方和為U