第十二講多重線性回歸

1、中醫(yī)藥統(tǒng)計學(xué)與軟件應(yīng)用中醫(yī)藥統(tǒng)計學(xué)與軟件應(yīng)用 曹治清曹治清成都中醫(yī)藥大學(xué)管理學(xué)院成都中醫(yī)藥大學(xué)管理學(xué)院 數(shù)學(xué)與統(tǒng)計教研室數(shù)學(xué)與統(tǒng)計教研室 2第第10講講 非參數(shù)檢驗(yàn)非參數(shù)檢驗(yàn) o概述概述o多重線性回歸的應(yīng)用以及注意事項(xiàng)多重線性回歸的應(yīng)用以及注意事項(xiàng)o多重線性回歸的電腦實(shí)驗(yàn)多重線性回歸的電腦實(shí)驗(yàn)3第第11講講 多重線性回歸多重線性回歸引言引言o在醫(yī)藥研究中，應(yīng)變量的變化往往受到多個因素的影響，此時就需要用多重線性回歸（Multiple Linear Regression），多重線性回歸是直線回歸的擴(kuò)展。例如，人的體重與身高、胸圍有關(guān)；人的心率與年齡、體重、肺活量有關(guān)。因此，采用兩個或多個影響因素

2、作為自變量(Xi)來解釋應(yīng)變量(Y)的變化，建立最優(yōu)組合模型來預(yù)測或估計因變量，比只用一個自變量進(jìn)行預(yù)測或估計更有效，更符合實(shí)際。4第一節(jié)第一節(jié) 多重線性回歸多重線性回歸 一、一、多重線性回歸模型多重線性回歸模型 Y01X12X2mXme 二、多二、多重重線性回歸的基本條件線性回歸的基本條件 o多重線性回歸模型的應(yīng)用條件同直線回歸，即線性多重線性回歸模型的應(yīng)用條件同直線回歸，即線性（linearitylinearity）、獨(dú)立性（）、獨(dú)立性（indepen-dencyindepen-dency）、正態(tài)性和方差）、正態(tài)性和方差齊性（齊性（normal distribution and equal

3、 variancenormal distribution and equal variance）等條件，）等條件，簡記簡記LINELINE。還要注意個自變量間不能存在多重共線性。還要注意個自變量間不能存在多重共線性。mmXbXbXbbY.221105三、多重線性回歸分析的步驟6四、多重共線性問題四、多重共線性問題 如果一些自變量之間存在較強(qiáng)的線性關(guān)系，稱如果一些自變量之間存在較強(qiáng)的線性關(guān)系，稱多重共線性。判斷多重共線有相關(guān)系數(shù)、容忍度、多重共線性。判斷多重共線有相關(guān)系數(shù)、容忍度、方差膨脹因子等指標(biāo)。方差膨脹因子等指標(biāo)。 一般來說，相關(guān)系數(shù)一般來說，相關(guān)系數(shù)r0.8的變量可能存在共線的變量可能存

4、在共線問題，問題，r0.9的變量存在共線。的變量存在共線。 容忍度容忍度=1R2，愈小說明共線問題愈嚴(yán)重，如，愈小說明共線問題愈嚴(yán)重，如果某個自變量的容忍度果某個自變量的容忍度0.1，共線問題嚴(yán)重。，共線問題嚴(yán)重。 方差膨脹因子方差膨脹因子 = 容忍度的倒數(shù)，愈大說明共線容忍度的倒數(shù)，愈大說明共線問題愈嚴(yán)重。問題愈嚴(yán)重。 消除多重共線性的方法有多種，如嶺回歸、主消除多重共線性的方法有多種，如嶺回歸、主成分回歸等。成分回歸等。7五、多重回歸的樣本含量五、多重回歸的樣本含量 只要例數(shù)只要例數(shù)n多于自變量個數(shù)多于自變量個數(shù)m即可，一般要求即可，一般要求n為為m的的5倍以上。倍以上。 六、多重回歸的檢

5、驗(yàn)六、多重回歸的檢驗(yàn) 多元線性回歸方程的假設(shè)檢驗(yàn)：對整個方程多元線性回歸方程的假設(shè)檢驗(yàn)：對整個方程的綜合檢驗(yàn)，即對回歸方程的線性假設(shè)檢驗(yàn)；對的綜合檢驗(yàn)，即對回歸方程的線性假設(shè)檢驗(yàn)；對每一個自變量的檢驗(yàn)，即對每個偏回歸系數(shù)的假設(shè)每一個自變量的檢驗(yàn)，即對每個偏回歸系數(shù)的假設(shè)檢驗(yàn)。檢驗(yàn)。 8 回歸方程的方差分析回歸方程的方差分析?；厥；厥；豐SmSSmnmnSSmSSMSMSF) 1() 1/(/112mnSSsmY剩剩余標(biāo)準(zhǔn)差剩余標(biāo)準(zhǔn)差 剩余標(biāo)準(zhǔn)差的平方是殘差的方差，又稱均方誤剩余標(biāo)準(zhǔn)差的平方是殘差的方差，又稱均方誤差，記為差，記為MSE，其值越小越好，其值越小越好 （2） 偏回歸系數(shù)的假設(shè)檢驗(yàn)偏

6、回歸系數(shù)的假設(shè)檢驗(yàn) 分別考察每一個自變量分別考察每一個自變量 xi 與應(yīng)變量與應(yīng)變量 Y 是否都有是否都有直線回歸關(guān)系直線回歸關(guān)系 9R2SS回回 /SS總總 校正決定系數(shù)是衡量方校正決定系數(shù)是衡量方程好壞的常用指標(biāo)之一程好壞的常用指標(biāo)之一 總剩MSMSRad12YYiiiillbb/七、決定系數(shù)七、決定系數(shù)八、標(biāo)準(zhǔn)化偏回歸系數(shù)八、標(biāo)準(zhǔn)化偏回歸系數(shù) 10九、殘差分析九、殘差分析 1112o資料不滿足其條件時，常用的處理方法有：修改模型或者采用曲線擬合；變量變換，常用的變量變換有對數(shù)變換、平方根變換、倒數(shù)變換等。變量變換對自變量或（和）應(yīng)變量均適宜；如果方差不齊，可采用加權(quán)最小二乘法估計偏回歸系

7、數(shù)。 13 （1）分析因素的相對重要性，找出對因變量最）分析因素的相對重要性，找出對因變量最大的關(guān)鍵因素。大的關(guān)鍵因素。 （2）同時調(diào)整多個混雜因素的作用（類似多元）同時調(diào)整多個混雜因素的作用（類似多元協(xié)方差分析調(diào)整多個混雜因素的作用）。協(xié)方差分析調(diào)整多個混雜因素的作用）。 （3）估計與預(yù)測，用較易測量的多個自變量來）估計與預(yù)測，用較易測量的多個自變量來估計難以測得應(yīng)變量總體均數(shù)估計難以測得應(yīng)變量總體均數(shù)Y或預(yù)測個體或預(yù)測個體Y值。值。 （4）多重回歸分析是進(jìn)一步學(xué)習(xí)）多重回歸分析是進(jìn)一步學(xué)習(xí)logistic回歸、回歸、判別分析、判別分析、 主成分分析、主成分分析、 因子分析等多元統(tǒng)計分析因子

8、分析等多元統(tǒng)計分析方法的基礎(chǔ)。方法的基礎(chǔ)。 十一、十一、篩篩選自變量方法選自變量方法十、多元回歸分析的應(yīng)用十、多元回歸分析的應(yīng)用 14 （1）全局擇優(yōu)法：）全局擇優(yōu)法：m 個自變量的不同組合共有個自變量的不同組合共有 2m-1 種，分別建立回歸方程進(jìn)行比較后擇優(yōu)。擇優(yōu)種，分別建立回歸方程進(jìn)行比較后擇優(yōu)。擇優(yōu)的準(zhǔn)則有多種，準(zhǔn)則不同，的準(zhǔn)則有多種，準(zhǔn)則不同，篩篩選的結(jié)果可能不同。選的結(jié)果可能不同。如果用最大校正決定系數(shù)準(zhǔn)則，則挑選校正決定系如果用最大校正決定系數(shù)準(zhǔn)則，則挑選校正決定系數(shù)數(shù)R2a最大者來獲得最大者來獲得“最優(yōu)子集最優(yōu)子集”的回歸方程。的回歸方程。SPSS為為Enter法。法。 （2）

9、逐步逐步選擇選擇法法： 備選自變量較多時，全局擇備選自變量較多時，全局擇優(yōu)的計算量非常大，優(yōu)的計算量非常大， 用用逐步逐步回歸回歸法法選擇可減少計算選擇可減少計算量。常用逐步（量。常用逐步（Stepwise）、向前（）、向前（Forward）、向）、向后（后（Backward）法。向后法考慮了自變量的組合作）法。向后法考慮了自變量的組合作用，但變量數(shù)不能太多。用，但變量數(shù)不能太多。3種逐步回歸方法選中的自種逐步回歸方法選中的自變量不一定相同。變量不一定相同。 逐步回歸得到只是局部最優(yōu)逐步回歸得到只是局部最優(yōu)，不，不一定是全局最優(yōu)回歸方程。一定是全局最優(yōu)回歸方程。 15 將自變量的交互項(xiàng)引入方程

10、進(jìn)行檢驗(yàn)分析。將自變量的交互項(xiàng)引入方程進(jìn)行檢驗(yàn)分析。 十二、自變量間交互作用的分析十二、自變量間交互作用的分析 【例例17-1】 大白鼠作受試對象，分析烏頭堿不大白鼠作受試對象，分析烏頭堿不同注射速度同注射速度x1、?？┻牟煌瑒┝俊⒊？┻牟煌瑒┝縳2，大鼠體重，大鼠體重 x3與應(yīng)變量延緩心律失常發(fā)生的時間與應(yīng)變量延緩心律失常發(fā)生的時間Y的關(guān)系。的關(guān)系。編編號號123456789101112131415X14.85.67.14.92.66.65.25.54.76.85.42.94.03.13.1X20.080.070.010.070.110.110.070.110.030.010.020.2

11、10.010.110.10X3230260252229220247233222206244222226234212212Y19.115.714.919.020.917.519.221.820.514.518.623.216.822.721.916 【SPSS操作操作】 以以X1、X2、X3、Y為變量名建立數(shù)據(jù)文件為變量名建立數(shù)據(jù)文件L17-1.SAV。 Data ViewVariable View17AnalyzeRegressionLinear.Y選選Dependent框、框、X1、X2、X3選選Independent框框。 Method框選框選Stepwise。18Model Summar

12、yModel Summary.820a.673.6481.6533.986b.972.968.5019Model12RR SquareAdjustedR SquareStd. Error ofthe EstimatePredictors: (Constant), 大鼠體重a. Predictors: (Constant), 大鼠體重, ?？┻鴦┝縝. 校正決校正決定系數(shù)定系數(shù)R2a= 0.968，擬，擬合效果好。合效果好。 A AN NO OV VA Ac c73.041173.04126.720.000a35.536132.734108.57714105.555252.777209.539.

13、000b3.02212.252108.57714RegressionResidualTotalRegressionResidualTotalModel12Sum ofSquaresdfMean SquareFSig.Predictors: (Constant), 大鼠體重a. Predictors: (Constant), 大鼠體重, ?？┻鴦┝縝. Dependent Variable: 延緩心律失常時間c. 第第2步回歸的步回歸的F=209.539，P=0.000，故，故線性回歸模線性回歸模型有統(tǒng)計學(xué)型有統(tǒng)計學(xué)意義。意義。19C Co oe ef ff fi ic ci ie en nt

14、ts sa a52.9736.5698.064.00038.78167.165-.147.029-.820-5.169.000-.209-.0861.0001.00045.1102.11121.371.00040.51049.709-.123.009-.682-13.729.000-.142-.103.9401.06428.8442.539.56411.362.00023.31234.375.9401.064(Constant)大鼠體重(Constant)大鼠體重常咯啉劑量Model12BStd. ErrorUnstandardizedCoefficientsBetaStandardizedC

15、oefficientstSig.Lower BoundUpper Bound95% Confidence Interval for BToleranceVIFCollinearity StatisticsDependent Variable: 延緩心律失常時間a. 共線性診斷大鼠體重和?？┻鴦┝康娜萑潭榷紴楣簿€性診斷大鼠體重和常咯啉劑量的容忍度都為0.940, 方差膨脹因子都為方差膨脹因子都為1.064, 可認(rèn)為不存在共線可認(rèn)為不存在共線問題。建立線性回歸方程為問題。建立線性回歸方程為 Y=45.110+28.844常咯啉劑量?？┻鴦┝?.123大鼠體重大鼠體重 大鼠體重、?？┻鴦┝康臉?biāo)準(zhǔn)回歸

16、系數(shù)分別為大鼠體重、?？┻鴦┝康臉?biāo)準(zhǔn)回歸系數(shù)分別為 -0.682、0.564?？梢妼ρ泳徯穆墒Сr間影響的重?？梢妼ρ泳徯穆墒Сr間影響的重要性大鼠體重大于?？┻鴦┝俊Ｒ源笫篌w重大于?？┻鴦┝?。 20因主要考察因素因主要考察因素x1未進(jìn)入方程，分析未進(jìn)入方程，分析自變量間的交互作自變量間的交互作用，用， Transform Compute，計算，計算X12、X13、X23。將將X1,*,X2送送Numeric Expression,X12送送Target Variable21Transform Compute，計算，計算X12、X13、X23。22用原變量連用原變量連同交互作用同交互作用變量

17、建立回變量建立回歸方程歸方程: X12、X13、X23送送IndependentMethod選選EnterOK233個變量個變量3個交互作用變量共個交互作用變量共6個自變量，不同組合個自變量，不同組合有有26-1=63種，種，Method框選框選Ente，建立的，建立的63個回歸方個回歸方程中，程中，R2a= 0.980最大最大M Mo od de el l S Su um mm ma ar ry y.990a.980.964.5274Model1RR SquareAdjusted RSquareStd. Error ofthe EstimatePredictors: (Constant),

18、X23, 大鼠體重, 烏頭堿注射速度, X12, X13, 常咯啉劑量a. A AN NO OV VA Ab b106.352617.72563.724.000a2.2258.278108.57714RegressionResidualTotalModel1Sum ofSquaresdfMean SquareFSig.Predictors: (Constant), X23, 大鼠體重, 烏頭堿注射速度, X12, X13, ?？┻鴦┝縜. Dependent Variable: 延緩心律失常時間b. 方差分析方差分析F值值63.724,方程有統(tǒng)計學(xué)意義方程有統(tǒng)計學(xué)意義24C Co oe ef

19、ff fi ic ci ie en nt ts sa a28.79314.7151.957.0861.7952.373.928.756.471130.89177.3942.5611.691.129-.048.065-.266-.740.4803.1882.353.2421.355.212-.009.010-1.207-.848.421-.502.358-2.213-1.400.199(Constant)烏頭堿注射速度?？┻鴦┝看笫篌w重X12X13X23Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientst

20、Sig.Dependent Variable: 延緩心律失常時間a. 最優(yōu)方程：最優(yōu)方程：Y=28.793+1.795x1+130.891x2-0.048x3+3.188 x12-0.009 x13-0.502x23。x2標(biāo)化系數(shù)標(biāo)化系數(shù)=2.561 最大，?？┻鴦┝繉ρ泳徯穆墒С０l(fā)生時間最大，?？┻鴦┝繉ρ泳徯穆墒С０l(fā)生時間作用最大。作用最大。x23標(biāo)化偏回歸系數(shù)標(biāo)化偏回歸系數(shù)=-2.213絕對值第二大絕對值第二大，?？┻鴦┝颗c大鼠體重的交互效應(yīng)對延緩心律失，?？┻鴦┝颗c大鼠體重的交互效應(yīng)對延緩心律失常發(fā)生時間產(chǎn)生負(fù)面影響不可勿視。常發(fā)生時間產(chǎn)生負(fù)面影響不可勿視。25 （1）二分類自變量二分

21、類自變量常采用常采用0、1賦值賦值方法。如，方法。如，用用X代表性別：代表性別：X=0為女，為女，X=1為男，或者用為男，或者用X=1為為女，女，X=0為男。為男。 十三、分類變量賦值方法十三、分類變量賦值方法 （2）指標(biāo)為無序）指標(biāo)為無序 k類，類，定義定義k-1個二分類啞變量個二分類啞變量。例。例如，如， 中醫(yī)治崩漏，分腎虛、中醫(yī)治崩漏，分腎虛、肝虛、肝郁、血虛肝虛、肝郁、血虛4型，只型，只要用要用 3 個個二分類變量二分類變量X1，X2，X3就能標(biāo)記這就能標(biāo)記這4個類別。個類別。 崩漏分型崩漏分型X1X2X3腎腎虛型虛型100肝虛型肝虛型010肝郁型肝郁型001血虛型血虛型00026，

22、其它腎虛型011X其它肝虛型012X其它肝郁型013X（3）有序分類變量數(shù)量化方法：）有序分類變量數(shù)量化方法：對等級根據(jù)級對等級根據(jù)級別別大小進(jìn)行量化大小進(jìn)行量化后按連續(xù)變量處理后按連續(xù)變量處理。例如，用。例如，用X1，2，3分別為表示病情分別為表示病情輕輕，中中，重重。用無序多分用無序多分類變量設(shè)置類變量設(shè)置啞啞變量的方法變量的方法。采用哪種方法更好要視。采用哪種方法更好要視具體情況而定。具體情況而定。 第二節(jié)第二節(jié) 多元相關(guān)分析多元相關(guān)分析 一、多元相關(guān)分析的統(tǒng)計量一、多元相關(guān)分析的統(tǒng)計量 271. 簡單相關(guān)系數(shù)簡單相關(guān)系數(shù) rij，簡記為，簡記為r 2. 偏相關(guān)系數(shù)偏相關(guān)系數(shù)偏相關(guān)系數(shù)偏

23、相關(guān)系數(shù)rij表示其他變量固定不變條件下，變表示其他變量固定不變條件下，變量量Xi與與Xj之間相關(guān)程度與方向的真實(shí)情況之間相關(guān)程度與方向的真實(shí)情況 3. 復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)R是多個自變量共同對因變量直線相關(guān)是多個自變量共同對因變量直線相關(guān)程度的統(tǒng)計指標(biāo)，是相關(guān)與回歸聯(lián)系起來的統(tǒng)計量程度的統(tǒng)計指標(biāo)，是相關(guān)與回歸聯(lián)系起來的統(tǒng)計量 28二、多元相關(guān)的假設(shè)檢驗(yàn)二、多元相關(guān)的假設(shè)檢驗(yàn) 【例例17-2】 用表用表17-1資料計算烏頭堿注射速度資料計算烏頭堿注射速度x1、?？┻鴦┝砍？┻鴦┝縳2、大鼠體重、大鼠體重x3對延緩心律失常發(fā)生時對延緩心律失常發(fā)生時間間Y的影響的影響4個變量的

24、簡單相關(guān)系數(shù)、偏相關(guān)系數(shù)，個變量的簡單相關(guān)系數(shù)、偏相關(guān)系數(shù)，并作假設(shè)檢驗(yàn)。并作假設(shè)檢驗(yàn)。 【SPSS操作操作】文件文件L17-1.sav Analyze CorrelatePartial，29x1、Y選入選入Variables框，框，x2、x3選入選入Controlling for框框,Options, 選選 Zero-order correlations，Continue，OK。30CorrelationsCorrelations1.000-.779-.555.684.001.032.0050131313-.7791.000.731-.820.001.002.0001301313-.555.

25、7311.000-.245.032.002.3791313013.684-.820-.2451.000.005.000.379.13131301.000.010.975011.0101.000.975.110CorrelationSignificance (2-tailed)dfCorrelationSignificance (2-tailed)dfCorrelationSignificance (2-tailed)dfCorrelationSignificance (2-tailed)dfCorrelationSignificance (2-tailed)dfCorrelationSignificance (2-tailed)df烏頭堿注射速度延緩心律失常時間?？┻鴦┝看笫篌w重烏頭堿注射速度延緩心律失常時間Control Variables-none-a常咯啉劑