多元線性回歸

多元線性回歸Multiplelinearregression表127名糖尿病人的血糖及有關(guān)變量的測(cè)量結(jié)果

人的體重與身高、胸圍有關(guān)人的心率與年齡、體重、肺活量有關(guān)人的血壓值與年齡、性別、勞動(dòng)強(qiáng)度、飲食習(xí)慣、吸煙狀況、家族史等有關(guān)射頻治療儀定向治療腦腫瘤過(guò)程中，腦皮質(zhì)的毀損半徑與輻射的溫度、照射的時(shí)間有關(guān)

…多元線性回歸：簡(jiǎn)稱為多元回歸，分析一個(gè)應(yīng)變量與多個(gè)自變量間的線性關(guān)系。

多元線性回歸方程（或模型）：在這個(gè)模型中，Y由X1，X2，

X3，

…，Xm所解釋，有m+1個(gè)未知參數(shù)β0、β1、

β2、…、βm。為常數(shù)項(xiàng)，為總體偏回歸系數(shù)（partialregression），表示在其它自變量保持不變時(shí)，增加或減少一個(gè)單位時(shí)Y的平均變化量，e是去除m個(gè)自變量對(duì)Y影響后的隨機(jī)誤差（殘差）。

總體回歸方程：樣本回歸方程：

b0為常數(shù)項(xiàng)，b1，

b2，

…，bm為樣本偏回歸系數(shù)，是對(duì)總體偏回歸系數(shù)β0、β1、

β2、…、βm

的估計(jì)。

表示Y的估計(jì)值。多元線性回歸模型的應(yīng)用條件：1.線性趨勢(shì)：Y與Xi間具有線性關(guān)系2.獨(dú)立性：應(yīng)變量Y的取值相互獨(dú)立3.正態(tài)性：對(duì)任意一組自變量取值，因變量Y服從正態(tài)分布4.方差齊性：對(duì)任意一組自變量取值，因變量y的方差相同

后兩個(gè)條件等價(jià)于：殘差ε服從均數(shù)為0、方差為σ2的正態(tài)分布表2多元回歸分析數(shù)據(jù)格式例號(hào)X1X2XmY1X11X12X1mY12X21X22X2mY2nXn1Xn2XnmYn多元線性回歸的分析步驟：1.根據(jù)樣本數(shù)據(jù)求得模型參數(shù)的估計(jì)值，得到應(yīng)變量與自變量數(shù)量關(guān)系的表達(dá)式：2.對(duì)回歸方程及各自變量作假設(shè)檢驗(yàn)，并對(duì)方程的擬和效果及各自變量的作用大小作出評(píng)價(jià)此公式稱為多元線性回歸方程多元線性回歸方程的建立：利用最小二乘法原理估計(jì)模型的參數(shù)：（使殘差平方和最小）方程的求解過(guò)程復(fù)雜，可借助于SPSS、SAS等統(tǒng)計(jì)軟件來(lái)完成SPSS：Analyze→Regression→Linearregression→dependent：yindependent：x1-x5SPSS軟件操作

(1)選擇分析窗口（Analyze)

(2)選擇回歸分析（Regression)

(3)選擇線性回歸(Linear)

SPSS數(shù)據(jù)庫(kù)格式操作（一）12操作（二）結(jié)果變量Y多個(gè)自變量系統(tǒng)默認(rèn)操作（三）回歸系數(shù)估計(jì)回歸系數(shù)可信區(qū)間模型擬合統(tǒng)計(jì)圖形存儲(chǔ)其他操作（四）正態(tài)概率圖直方圖因變量自變量操作（五）（設(shè)定界值）系統(tǒng)默認(rèn)描述回歸系數(shù)的檢驗(yàn)及結(jié)果偏回歸系數(shù)的假設(shè)檢驗(yàn)t檢驗(yàn)法：標(biāo)準(zhǔn)化偏回歸系數(shù)對(duì)各數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化后求得的回歸方程即標(biāo)準(zhǔn)化回歸方程，其相應(yīng)的偏回歸系數(shù)即標(biāo)準(zhǔn)化偏回歸系數(shù)。標(biāo)準(zhǔn)化偏回歸系數(shù)和偏回歸系數(shù)的關(guān)系：在有統(tǒng)計(jì)學(xué)意義的前提下，標(biāo)準(zhǔn)化偏回歸系數(shù)絕對(duì)值的大小可直接進(jìn)行比較，以衡量自變量對(duì)應(yīng)變量的作用大小建立回歸方程模型效果檢驗(yàn)(殘差分析)F=12.733,P=0.000,模型有效。殘差直方圖殘差正態(tài)累計(jì)概率圖散點(diǎn)圖模型效果檢驗(yàn)(復(fù)相關(guān)系數(shù)R的檢驗(yàn))復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)：multiplecorrelationcoefficient衡量因變量y與回歸方程內(nèi)所有自變量線性組合間相關(guān)關(guān)系的密切程度，也即Y與之間的相關(guān)系數(shù)。R其值在0與1之間如果只有一個(gè)自變量，此時(shí)

R2稱為決定系數(shù)表明回歸平方和在總平方和中所占的比重。R2越接近于1，說(shuō)明引入方程的自變量與因變量的相關(guān)程度越高，Xi與y的回歸效果越好。R2受自變量個(gè)數(shù)的影響，由此又提出校正決定系數(shù)，既反映模型的擬和優(yōu)度，又同時(shí)考慮了模型中的自變量個(gè)數(shù)。去除x2后又去除x5又去除x4又去除x4繪制個(gè)體值及估計(jì)值與實(shí)測(cè)值回歸線的可信區(qū)間逐步篩選變量的方法：選擇最優(yōu)回歸方程的方法1.最優(yōu)回歸方程:1）對(duì)y的作用有統(tǒng)計(jì)學(xué)意義的自變量，全部選入回歸方程

2）對(duì)y的作用沒(méi)有統(tǒng)計(jì)學(xué)意義的自變量，一個(gè)也不引入回歸方程

2.方法：1)最優(yōu)子集回歸法：又稱全局擇優(yōu)法，求出所有可能的回歸模型（共有2m－1個(gè)）選取最優(yōu)者2)向后剔除法（backwardselection）3)向前引入法（forwardselection）4)逐步回歸法（stepwiseregression）逐步回歸法自變量回歸平方和最大的Xi首先進(jìn)入方程，在Xi進(jìn)入方程的基礎(chǔ)上計(jì)算其余m-1個(gè)自變量分別進(jìn)入回歸方程時(shí)的偏回歸平方和，其中最大者記為SSj，對(duì)Xj進(jìn)行檢驗(yàn)，若有意義則進(jìn)入方程，并重新對(duì)Xi進(jìn)行檢驗(yàn)。若Xi退化為無(wú)意義，則剔除Xi，同時(shí)再對(duì)Xj進(jìn)行檢驗(yàn)。若Xj依然有意義則繼續(xù)選擇下一個(gè)偏回歸平方和最大者并進(jìn)行檢驗(yàn)。重復(fù)此過(guò)程。逐步回歸法每引入或剔除一個(gè)自變量后都要重新對(duì)已進(jìn)入方程中的自變量進(jìn)行檢驗(yàn)，直到方程外沒(méi)有有意義的自變量可引入、方程內(nèi)也沒(méi)有無(wú)意義的自變量可剔除為止。逐步回歸法雙向篩選；引入一個(gè)有意義變量（前進(jìn)法）的同時(shí)，剔除無(wú)意義的變量（后退法）

“先剔除后選入”原則α入和α出可等可不等注意，引入變量的檢驗(yàn)水準(zhǔn)要小于或等于剔除變量的檢驗(yàn)水準(zhǔn)。操作（一）12SPSS軟件包逐步回歸操作