第15章多元線性回歸分析(正式)

1、1Multiple Linear Regression Analysis 華中科技大學(xué)同濟(jì)醫(yī)學(xué)院公共衛(wèi)生學(xué)院華中科技大學(xué)同濟(jì)醫(yī)學(xué)院公共衛(wèi)生學(xué)院流行病學(xué)與衛(wèi)生統(tǒng)計(jì)學(xué)系流行病學(xué)與衛(wèi)生統(tǒng)計(jì)學(xué)系2第一節(jié)第一節(jié) 多元線性回歸多元線性回歸(重點(diǎn)重點(diǎn))第二節(jié)第二節(jié) 自變量選擇方法自變量選擇方法(重點(diǎn)重點(diǎn))第三節(jié)第三節(jié) 多元線性回歸的應(yīng)用及注多元線性回歸的應(yīng)用及注 意事項(xiàng)意事項(xiàng)3一、多元線性回歸模型一、多元線性回歸模型45多元回歸：多元回歸：多個(gè)多個(gè)Y，多個(gè)，多個(gè)X多重回歸：多重回歸：一個(gè)一個(gè)Y，多個(gè)，多個(gè)X6 eXXXYmm22110 0 常數(shù)項(xiàng)常數(shù)項(xiàng)j 偏回歸系數(shù)偏回歸系數(shù)(partial regress

2、ion coefficient)： 在其它自變量保持不變時(shí)，在其它自變量保持不變時(shí)，Xj增加或減少增加或減少 一個(gè)單位時(shí)一個(gè)單位時(shí)Y的平均變化量。的平均變化量。e 去除去除m個(gè)自變量對個(gè)自變量對Y影響后的隨機(jī)誤差。影響后的隨機(jī)誤差。7 多元線性回歸模型應(yīng)用條件：多元線性回歸模型應(yīng)用條件：1.Y與與X1，X2，Xm之間具有線性關(guān)系；之間具有線性關(guān)系；2.各個(gè)各個(gè)Yi間相互獨(dú)立；間相互獨(dú)立；3.e服從均數(shù)為服從均數(shù)為0、方差為、方差為 2的正態(tài)分布。的正態(tài)分布。8多元線性回歸分析步驟：多元線性回歸分析步驟：1.根據(jù)樣本數(shù)據(jù)求得模型參數(shù)估計(jì)值：根據(jù)樣本數(shù)據(jù)求得模型參數(shù)估計(jì)值：2.對回歸方程及各對回歸

3、方程及各Xj作假設(shè)檢驗(yàn)。作假設(shè)檢驗(yàn)。mm22110XbXbXbbY 9二、多元線性回歸方程的建立二、多元線性回歸方程的建立10YX bXaY 110XbbY 11110XbbY 110XbYb 11Y11llb Y1111lbl XXXY2ll)XX()YY)(XX(b XbYa 12X1X2Y22110XbXbbY 1102XbbX 1322110XbXbbY ）（22110XbXbYb Y1212111lblbl Y2222121lblbl 用最小二乘法解正規(guī)方程組，使殘差平方和用最小二乘法解正規(guī)方程組，使殘差平方和Q最小。最小。 2221102XbXbbYYYQ 14mm22110XbX

4、bXbbY ）（mm22110XbXbXbYb Y1mm1212111lblblbl Y2mm2222121lblblbl mYmmm22m11mlblblbl 15 2mm221102XbXbXbbYYYQ 用最小二乘法解正規(guī)方程組，用最小二乘法解正規(guī)方程組，使殘差平方和使殘差平方和Q最小。最小。16 17 222.5519 84.5570 142.4347- 89.8025 67.6962 84.5570 86.4407 57.3863- 26.7286 31.3687 142.4347- 57.3863- 350.3106 9.4929- 53.9523-89.8025 26.7286

5、9.4929- 172.3648 67.3608 67.6962 31.3687 53.9523- 67.3608 0103.66 l ij84.5570 b86.4407b 57.3863-b26.7286b31.3687 142.4347- b57.3863-b350.3106b9.4929-b53.9523-89.8025b26.7286b9.4929-b172.3648 b67.360867.6962 b31.3687 b53.9523- b67.3608 b0103.664321432143214321 6382. 0b 2706. 0b 3515. 0b 1424. 0b4321

6、18 9259.11Y1185. 9X 1467. 6X 8407. 2X 8126. 5X6382. 0b 2706. 0b 3515. 0b 1424. 0b43214321 9433. 5XbXbXbYbmm22110 ）（4321X6382. 0X2706. 0X3515. 0X1424. 09433. 5Y 19 三、多元線性回歸方程的三、多元線性回歸方程的 假設(shè)檢驗(yàn)及評價(jià)假設(shè)檢驗(yàn)及評價(jià)20 （一）回歸方程的假設(shè)檢驗(yàn)及評價(jià)（一）回歸方程的假設(shè)檢驗(yàn)及評價(jià)1.1.方差分析法方差分析法殘殘回回殘殘回回回回總總殘殘回回）（MSMS1mn /SSm/SSF SSSSSS lblblbSS )m

7、,2, 1j(:H 0:H mYmY22Y11j1m210 不全為不全為0。21 22 23 6008. 05519.2227107.133SSSSR2 總總回回2.決定系數(shù)決定系數(shù)R2血糖含量變異的血糖含量變異的60%可由總膽固醇、甘可由總膽固醇、甘油三酯、胰島素和糖化血紅蛋白的變異油三酯、胰島素和糖化血紅蛋白的變異解釋。解釋。247751. 06008. 0RR2 3.復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)RY與多個(gè)自變量間的與多個(gè)自變量間的線性相關(guān)程度線性相關(guān)程度；Y與估計(jì)值與估計(jì)值 間的間的Pearson相關(guān)系數(shù)相關(guān)系數(shù)r。Y25 （二）各自變量的假設(shè)檢驗(yàn)及評價(jià)（二）各自變量的假設(shè)檢驗(yàn)及評價(jià)）（）（殘殘

8、回回1mn/SS1/XSSF 0.05 0:H ,0:H jjj1j0 1.偏回歸平方和偏回歸平方和表示模型中含有其它表示模型中含有其它m-1個(gè)自變量的條個(gè)自變量的條件下該自變量對件下該自變量對Y的回歸貢獻(xiàn)。其值愈的回歸貢獻(xiàn)。其值愈大說明相應(yīng)的自變量愈重要。大說明相應(yīng)的自變量愈重要。26 27 7939.279168.1057107.133XSS0635.206472.1137107.133XSS9627.117480.1217107.133XSS6129.00978.1337107.133XSS4321 回回回回回回回回0.6129+11.9627+20.0635+27.7939133.71

9、0728 30. 4F0.05P 883. 61427/8412.881/7939.27F0.05P 968. 41427/8412.881/0635.20F0.05P 962. 21427/8412.881/9627.11F0.05P 152. 01427/8412.881/6129. 0F)22,1(05. 04321 ）（）（）（）（胰島素胰島素(X3)與糖化血紅蛋白與糖化血紅蛋白(X4)與血糖與血糖(Y)有有線性回歸關(guān)系。線性回歸關(guān)系。29 jbjjSbt 2433. 0S 1214. 0S 2042. 0S 3656. 0S6382. 0b 2706. 0b 3515. 0b 142

10、4. 0b4321bbbb4321 2.t檢驗(yàn)法檢驗(yàn)法30 074. 2t0.05P 623. 22433. 06382. 0t0.05P 229. 21214. 02706. 0t0.05P 721. 12042. 03515. 0t0.05P 390. 03656. 01424. 0t22,2/05. 04321 胰島素胰島素(X3)與糖化血紅蛋白與糖化血紅蛋白(X4)與血糖與血糖(Y)有線性回歸關(guān)系。有線性回歸關(guān)系。31 標(biāo)準(zhǔn)化回歸系數(shù)標(biāo)準(zhǔn)化回歸系數(shù)bj 的絕對值用來比較各個(gè)的絕對值用來比較各個(gè)自變量自變量Xj 對對Y的影響程度大?。唤^對值越的影響程度大??；絕對值越大影響越大。標(biāo)準(zhǔn)化回歸

11、方程的截距為大影響越大。標(biāo)準(zhǔn)化回歸方程的截距為0。3.標(biāo)準(zhǔn)化回歸系數(shù)標(biāo)準(zhǔn)化回歸系數(shù) YjjYYjjjjSSbllbb p標(biāo)準(zhǔn)化回歸系數(shù)與一般回歸方程的回歸系標(biāo)準(zhǔn)化回歸系數(shù)與一般回歸方程的回歸系 數(shù)的關(guān)系：數(shù)的關(guān)系： SXXX jjjj 標(biāo)準(zhǔn)化回歸方程標(biāo)準(zhǔn)化回歸方程p 323977. 09257. 28234. 16382. 0b3395. 09257. 26706. 32706. 0b3093. 09257. 25748. 23515. 0b0776. 09257. 25934. 11424. 0b4321 對血糖影響大小的順序依次為糖化血紅蛋對血糖影響大小的順序依次為糖化血紅蛋白白(X4)、

12、胰島素、胰島素(X3)、甘油三酯、甘油三酯(X2)與總膽與總膽固醇固醇 (X1)。胰島素為負(fù)向影響。胰島素為負(fù)向影響。33 34 一、全局選擇法一、全局選擇法對自變量各種不同的組合所建立的回歸方程對自變量各種不同的組合所建立的回歸方程進(jìn)行比較，從全部組合中挑出一個(gè)進(jìn)行比較，從全部組合中挑出一個(gè)“最優(yōu)最優(yōu)”的回歸方程。的回歸方程。35 uR2可用來評價(jià)回歸方程優(yōu)劣?？捎脕碓u價(jià)回歸方程優(yōu)劣。u隨著自變量增加，隨著自變量增加，R2不斷增大，對兩個(gè)不不斷增大，對兩個(gè)不 同個(gè)數(shù)自變量回歸方程比較，須考慮方程同個(gè)數(shù)自變量回歸方程比較，須考慮方程 包含自變量個(gè)數(shù)影響，應(yīng)對包含自變量個(gè)數(shù)影響，應(yīng)對R2進(jìn)行校正

13、。進(jìn)行校正。u所謂所謂“最優(yōu)最優(yōu)”回歸方程指回歸方程指 最大者。最大者。2cR總總殘殘）（MSMS11pn1nR11R 22c 2cR1.校正決定系數(shù)校正決定系數(shù) 選擇法選擇法36 pCuP為方程中自變量個(gè)數(shù)。為方程中自變量個(gè)數(shù)。u最優(yōu)方程的最優(yōu)方程的Cp期望值是期望值是p+1。 應(yīng)選擇應(yīng)選擇Cp最接近最接近P+1的回歸方程為最優(yōu)。的回歸方程為最優(yōu)。 mp 1p2nMSSSC mpp ）（）（殘殘殘殘2. 選擇法選擇法37 38 二、逐步選擇法二、逐步選擇法n全局選擇計(jì)算量很大：全局選擇計(jì)算量很大： 6個(gè)變量，計(jì)算個(gè)變量，計(jì)算26-1=63個(gè)方程；個(gè)方程； 10個(gè)變量，計(jì)算個(gè)變量，計(jì)算210-

14、1=1023個(gè)方程。個(gè)方程。n按選入變量順序不同分按選入變量順序不同分前進(jìn)法、后退法前進(jìn)法、后退法 與與逐步回歸法逐步回歸法，共同特點(diǎn)是每一步只引，共同特點(diǎn)是每一步只引 入或剔除一個(gè)自變量入或剔除一個(gè)自變量Xj。39n對對Xj的取舍要進(jìn)行的取舍要進(jìn)行F檢驗(yàn)：檢驗(yàn)： ）（）（殘殘回回1pn/SS1/XSSF ljlj 計(jì)算進(jìn)行到第計(jì)算進(jìn)行到第l步時(shí)：步時(shí)：p :方程中自變量個(gè)數(shù)方程中自變量個(gè)數(shù)SS回：回：Xj的偏回歸平方和的偏回歸平方和SS殘：殘：殘差平方和殘差平方和40 1.前進(jìn)法前進(jìn)法（只選不剔）（只選不剔）開始方程中無自變量開始方程中無自變量，然后從方程外選取偏，然后從方程外選取偏回歸平方

15、和最大的自變量作回歸平方和最大的自變量作F F檢驗(yàn)以決定是檢驗(yàn)以決定是否選入方程，直至無自變量可以引入方程為否選入方程，直至無自變量可以引入方程為止。止。缺點(diǎn)：缺點(diǎn)：后續(xù)變量的引入可能使先前引入的變后續(xù)變量的引入可能使先前引入的變量變的不重要。量變的不重要。入入入入 P FF )1pn, 1(jXj入選入選41 2.后退法后退法（只剔不選）（只剔不選）開始方程中包含全部自變量開始方程中包含全部自變量，然后從方程中，然后從方程中選取偏回歸平方和最小的自變量作選取偏回歸平方和最小的自變量作F F檢驗(yàn)以檢驗(yàn)以決定是否從方程中剔除，直至無自變量可以決定是否從方程中剔除，直至無自變量可以從方程中剔除為止

16、。從方程中剔除為止。缺點(diǎn)：缺點(diǎn)：當(dāng)某些自變量高度相關(guān)時(shí)，可能得不當(dāng)某些自變量高度相關(guān)時(shí)，可能得不 出正確結(jié)果。出正確結(jié)果。出出出出 P FF )1pn, 1(jXj剔除剔除42 3.逐步回歸法（先選后剔，雙向篩選）逐步回歸法（先選后剔，雙向篩選）p開始方程中無自變量，從方程外選取偏回歸開始方程中無自變量，從方程外選取偏回歸 平方和最大的自變量作平方和最大的自變量作F檢驗(yàn)以決定是否選入檢驗(yàn)以決定是否選入 方程；方程；p每引一個(gè)自變量進(jìn)入方程后，從方程中選取每引一個(gè)自變量進(jìn)入方程后，從方程中選取 偏回歸平方和最小的自變量作偏回歸平方和最小的自變量作F檢驗(yàn)以決定是檢驗(yàn)以決定是 否從方程中剔除；否從方

17、程中剔除；p直至方程外無自變量可引入，方程內(nèi)無自變直至方程外無自變量可引入，方程內(nèi)無自變 量可剔除為止。量可剔除為止。43 出出出出 P FF )1pn, 1(jXj剔除剔除內(nèi)剔內(nèi)剔入入入入 P FF )1pn, 1(jXj入選入選外引外引入入值定的越小選取自變量標(biāo)準(zhǔn)越嚴(yán)，被選值定的越小選取自變量標(biāo)準(zhǔn)越嚴(yán)，被選 入方程內(nèi)自變量數(shù)越少。入方程內(nèi)自變量數(shù)越少。 入入值越大則反之。值越大則反之。小樣本：小樣本：入入=0.05，出出=0.10。 大樣本：大樣本：入入=0.10，出出=0.15。 入入出出，以免以免Xj上一步剔除后下一步又被選入上一步剔除后下一步又被選入44 選選X4前先建立前先建立4個(gè)

18、直線回歸方程；個(gè)直線回歸方程；選選X1前先建立前先建立3個(gè)含個(gè)含2個(gè)自變量的多元線性個(gè)自變量的多元線性回歸方程?；貧w方程。45 0.10P 92. 2FF788.14)1127/(837.139714.821pn/SS1/XSSF0.10(1,25)141 ）（）（殘殘回回）第第一一步步（選選：4X 0.10P 93. 2FF244. 5) 1227/(762.114076.251pn/SS1/XSSF0.10(1,24)212 ）（）（殘殘回回）第第二二步步（剔剔：無無，選選：1X46 0.10P 94. 2FF185. 3)1327/(804.100958.131pn/SS1/XSSF0.

19、10(1,23)333 ）（）（殘殘回回）第三步（剔：無，選：第三步（剔：無，選：3X 0.10P 95. 2FF962. 2) 1427/(841.88963.111pn/SS1/XSSF0.10(1,22)424 ）（）（殘殘回回）第第四四步步（剔剔：無無，選選：2X47 0.15P 92. 2FF0.15(1,22) 152. 0) 1427/(841.88613. 01pn/SS1/XSSF515 ）（）（殘殘回回）第第五五步步（剔剔：1X48 逐逐步步回回歸歸方方程程的的方方差差分分析析表表 變變異異來來源源 自自由由度度 SS MS F P 總總變變異異 26 222.5519 回

20、回 歸歸 3 133.0980 44.366 11.41 0.0001 殘殘 差差 23 89.4540 3.889 49 432X6632. 0X2871. 0X4023. 04996. 6Y 5051 一、多元線性回歸的應(yīng)用一、多元線性回歸的應(yīng)用 1.影響因素分析影響因素分析 年齡年齡(X1)飲食習(xí)慣飲食習(xí)慣(X2)吸煙狀況吸煙狀況(X3)工作緊張度工作緊張度(X4)家族史家族史(X5) 高高血血壓壓(Y)bj的意義為在的意義為在其它自變量保其它自變量保持不變時(shí)，持不變時(shí)，Xj增加或減少一增加或減少一個(gè)單位時(shí)個(gè)單位時(shí)Y的的平均變化量。平均變化量。故可排除混雜故可排除混雜因素。因素。52 2

21、.估計(jì)與預(yù)測估計(jì)與預(yù)測心臟表面積心臟表面積(Y)=b0+b1心臟橫徑心臟橫徑(X1) + b2心臟縱徑心臟縱徑(X2)+ b3心臟寬徑心臟寬徑(X3)新生兒體重新生兒體重(Y)=b0+b1胎兒孕齡胎兒孕齡(X1)+ b2 胎兒胎兒 頭徑頭徑(X2)+ b3胎兒胸徑胎兒胸徑(X3)+ b4胎兒腹徑胎兒腹徑(X4)53 3.統(tǒng)計(jì)控制統(tǒng)計(jì)控制利用回歸方程進(jìn)行逆估計(jì)，確定利用回歸方程進(jìn)行逆估計(jì)，確定Y后控制后控制X 。采用射頻治療儀治療腦腫瘤：采用射頻治療儀治療腦腫瘤：腦皮質(zhì)毀損半徑腦皮質(zhì)毀損半徑(Y) =b0+b1射頻溫度射頻溫度(X1)+ b2照射時(shí)間照射時(shí)間(X2)54 二、多元線性回歸應(yīng)用的注意事項(xiàng)二、多元線性回歸應(yīng)用的注意事項(xiàng) 1.1.指標(biāo)的數(shù)量化指標(biāo)的數(shù)量化 應(yīng)變量應(yīng)變量Y為連續(xù)變量為連續(xù)變量自