第11章 多元線性回歸與多元逐步回歸

第十一章多元線性回歸與多元逐步回歸

(MultipleLinearRegression

andMultipleStepwiseRegression)

華中科技大學(xué)同濟醫(yī)學(xué)院尹平例子一個應(yīng)變量與多個自變量間的關(guān)系兒童身高與年齡、性別的關(guān)系肺活量與年齡、性別、身高、體重以及胸圍的呼吸差等因素的關(guān)系多元線性回歸如構(gòu)成線性依存關(guān)系第一節(jié)多元線性回歸

第二節(jié)多元逐步回歸

第三節(jié)多元線性回歸的注意事項第一節(jié)多元線性回歸

（multiplelinearregression

）多元線性回歸的數(shù)據(jù)格式一、多元線性回歸方程

(multiplelinearregressionequation)

常數(shù)項，表示當(dāng)所有自變量為0時應(yīng)變量Y的總體平均值的估計值

表示除以外的其它自變量固定不變的情況下，每改變一個測量單位時所引起的應(yīng)變量Y的平均改變量bj為偏回歸系數(shù)（partialregressioncoefficient)兩個自變量與應(yīng)變量的散點圖兩個自變量與應(yīng)變量的擬合面bj為xj方向的斜率1.求偏回歸系數(shù)bj及b0根據(jù)最小二乘法(methodofleastsquare)原理求出bj,即得到bj

2.例子

例11.120名糖尿病人的血糖、胰島素及生長素的測定值列于下表中，試建立血糖對于胰島素及生長素的二元線性回歸方程。

對于本例有:采用最小二乘法即可求出常數(shù)項b0和偏回歸系數(shù)b1、b2。

其中

對表11-2的數(shù)據(jù)資料由SAS統(tǒng)計軟件可得到如下

表11-3的主要結(jié)果。

由此得到回歸方程為二、回歸方程的假設(shè)檢驗1.模型檢驗其中：自由度為

總＝n－1，

回歸＝k，

剩余＝n－k－1

X2X1YModelSSTotalSSResidualSS

由表11-4可知，F(xiàn)＝21.54，P<0.05。從而，拒絕H0，可以認(rèn)為β１和β２不全為0，即所求回歸方程有統(tǒng)計學(xué)意義。對于例11.1的模型檢驗H0：β１＝β２＝０H1：β１和β２不全為0

＝0.05對表11-3的數(shù)據(jù)資料，由SAS統(tǒng)計軟件可得到如下表11-4的模型檢驗結(jié)果。

２．偏回歸系數(shù)的檢驗

（1）F檢驗j=1,2,…,k之中，U為Xj的偏回歸平方和,即U=SS回歸－SS回歸(-j)

Fj服從F

(1,n-k-1)分布表11-5例11.1數(shù)據(jù)的偏回歸系數(shù)F檢驗表方程內(nèi)自變量平方和FPSS回歸SS回歸-SS回歸(-j)

SS殘差X1,X2116.6２６46.025X266.27550.35218.598<0.0５X1114.7031.9240.710>0.05

在

＝0.05水平上，可以認(rèn)為胰島素對血糖的線性回歸關(guān)系有統(tǒng)計學(xué)意義，而生長素對血糖的線性回歸關(guān)系無統(tǒng)計學(xué)意義。所以應(yīng)剔除X2，只建立X1與Y的線性回歸方程。

(2)t檢驗j=1,2,…,k，P=0.0005；

在α＝0.05水平下，認(rèn)為血糖與胰島素的線性回歸關(guān)系有統(tǒng)計學(xué)意義，而與生長素的線性回歸關(guān)系無統(tǒng)計學(xué)意義。

結(jié)論與F檢驗一致。，P=0.4110。三、標(biāo)準(zhǔn)化回歸系數(shù)

（standardizedpartialregressioncoefficient)

式中，Sj及Sy分別為自變量Xj

及因變量Y的標(biāo)準(zhǔn)差。可以利用標(biāo)準(zhǔn)化偏回歸系數(shù)的大小來反映各自變量的貢獻(xiàn)大小。

１．復(fù)相關(guān)系數(shù)（multiplecorrelation

coefficient）

又稱多元相關(guān)系數(shù)或全相關(guān)系數(shù)，表示回歸方程中的全部自變量X共同對應(yīng)變量Y的相關(guān)密切程度。復(fù)相關(guān)系數(shù)取值總為正值，在0與1之間，簡記為R。如果只有一個自變量，此時

四、復(fù)相關(guān)系數(shù)與決定系數(shù)2．決定系數(shù)(coefficientofdetermination）

復(fù)相關(guān)系數(shù)的平方又稱決定系數(shù)，記為，用以反映線性回歸方程能在多大程度上解釋應(yīng)變量Y的變異性。回歸方程的擬合程度越好，殘差平方和就越小，決定系數(shù)越接近1，決定系數(shù)越接近1第二節(jié)多元逐步回歸

（multiplestepwiseregression）

1.多元逐步回歸的基本思想多元逐步回歸（multiplestepwiseregression）有三種篩選自變量的方法：1．向后法（Backwardselection）先建立一個全因素的回歸方程，然后每次剔除一個偏回歸平方和最小且無統(tǒng)計學(xué)意義的自變量，直到不能剔除時為止，此法的計算量大，有時不能實現(xiàn)。2．向前法（forwardselection）方程由一個自變量開始，每次引入一個偏回歸平方和最大，且具有統(tǒng)計學(xué)意義的自變量，由少到多，直到無具有統(tǒng)計意義的因素可以引入為止。用此法建立的方程有時不夠精煉。3.逐步法（stepwiseselecfion）取上述兩種方法的優(yōu)點，在向前引入每一個新自變量之后都要重新對前已選入的自變量進行檢查，以評價其有無繼續(xù)保留在方程中的價值。為此引入和剔除交替進行，直到無具有統(tǒng)計學(xué)意義的新變量可以引入也無失去其統(tǒng)計學(xué)意義的自變量可以剔除時為止。2.多元逐步回歸的基本原理

每一步只引入或剔除一個自變量。自變量是否被引入或剔除則取決于其偏回歸平方和的F檢驗或校正決定系數(shù)。如方程中已引入了(m-1)個自變量，在此基礎(chǔ)上考慮再引入變量Xj。記引入Xj

后方程（即含m個自變量）的回歸平方和為SS回歸，殘差為SS殘差；之前含(m-1)個自變量（不包含Xj）方程的回歸平方和為SS回歸(-j)，則Xj

的偏回歸平方和為U