醫(yī)學(xué)統(tǒng)計學(xué)教學(xué)課件：第十三章 多因素線性回歸

1、第十三章 多因素線性回歸內(nèi) 容多因素線性回歸回歸分析中自變量的選擇多因素線性回歸的應(yīng)用及注意事項復(fù) 習(xí)線性回歸分析是研究一個變量和另外一些變量間線性關(guān)系的統(tǒng)計分析方法。 在回歸分析中，最簡單的情形是模型中只包含兩個有“依存關(guān)系”的變量，一個變量（反應(yīng)變量）隨另一個變量（自變量）的變化而變化，且呈直線變化趨勢，稱之為簡單線性回歸。 給定X的數(shù)值, Y 的數(shù)值取在一個平均值 (y|x)附近 對應(yīng)于不同的X值, Y 的平均值座落在一條直線上 - 回歸直線. y|x 和 X的關(guān)系可用一個線性方程描寫.簡單線性回歸方程總體樣本“Y hat”表示估計值，給定x時y的總體均數(shù)的估計值。直線回歸方程的求解：最

2、小二乘原理YX 回歸系數(shù)及其計算找一條直線使殘差平方和最小 利用微積分知識,容易得到 這條線一定過兩個點 和線性回歸分析的前提條件線性(linear)反應(yīng)變量Y與自變量X呈線性變化趨勢獨立(independent)任意兩個觀察值相互獨立，一個個體的取值不受其他個體的影響給定X時，Y正態(tài)分布(normal)給定X取值時，Y的取值服從正態(tài)分布等方差(equal variance)指對應(yīng)于不同的X值，Y值的總體變異相同直線回歸應(yīng)用條件LINE示意圖回歸方程有統(tǒng)計學(xué)意義嗎 建立樣本直線回歸方程，只是完成了統(tǒng)計分析中兩變量關(guān)系的統(tǒng)計描述，這種關(guān)系是否有統(tǒng)計學(xué)意義，還需要進(jìn)一步進(jìn)行假設(shè)檢驗。檢驗回歸模型是

3、否成立：方差分析檢驗總體回歸系數(shù)是否為零：t檢驗例1: 某研究者研究大氣污染物一氧化氮（NO）的濃度（ppm）與汽車流量（千輛）、氣溫（）、空氣濕度（%）、風(fēng)速（m/s）等因素的關(guān)系，結(jié)果見表1： 單位時間內(nèi)過往的汽車數(shù)（千輛）、氣溫（）、空氣濕度（%）、風(fēng)速（m/s）這四個因素是否都對空氣中一氧化氮（NO）的濃度（ppm）有影響？如何定量地描述這些因素對一氧化氮濃度的影響？哪個因素對一氧化氮濃度的影響最大？哪個因素的影響最??？如果利用這些影響因素去預(yù)測空氣中一氧化氮的濃度，如何預(yù)測？效果如何？ 第一節(jié) 多因素線性回歸多因素線性回歸(multiple linear regression)因變量

4、: 一個, Y自變量: 多個, X1, X2, X3, , Xp方程：概 念多元線性回歸(multi- variate linear regression)簡稱多元回歸(multi- variate regression):因變量: 多個, Y1，Y2 , 自變量: 多個, X1, X2, X3, 方程：多因素線性回歸方程多因素線性回歸方程是簡單線性回歸方程的擴(kuò)展其中 表示當(dāng)所有自變量為0時反應(yīng)變量Y的總體平均值。 為變量Xi 的總體偏回歸系數(shù)（partial regression coefficient），表示當(dāng)方程中其他自變量保持常量時，自變量Xi每增加（或減少）一個計量單位,反應(yīng)變量Y平

5、均變化 個單位。樣本回歸方程 反應(yīng)變量Y的總體平均值的估計值。 b0的估計。 為常數(shù)項，又稱為截距，是總體參數(shù)bi為自變量Xi 的偏回歸系數(shù)，是總體參數(shù) 的估計值。如果要建立由車流量（ ）和風(fēng)速（ ）預(yù)測一氧化氮濃度（Y）的線性回歸方程，模型可以寫成： 表示在車流量不變的情況下，風(fēng)速每增加一個單位（1m/s），估計空氣中一氧化氮的濃度平均改變個單位（ppm）。表13-1 多因素線性回歸分析數(shù)據(jù)格式 前提條件（LINE）多因素線性回歸分析步驟求回歸方程 - 最小二乘原則假設(shè)檢驗 - 檢驗回歸方程是否具有統(tǒng)計學(xué)意義，模型有意義的前提下，再分別對各偏回歸系數(shù)進(jìn)行假設(shè)檢驗。(3)變量選擇 - 以盡量少

6、的自變量, 達(dá)到較好地解釋Y的目的基本原理：尋找一套適宜的偏回歸系數(shù)（ ），建立多因素線性回歸方程，使得反應(yīng)變量的觀測值 與回歸方程的估計值回歸系數(shù)的估計，求回歸方程采用最小二乘法 (least squared method)來估計偏回歸系數(shù) 之間的殘差平方和最小。 SPSS實現(xiàn)方法：Analyze-Regression-Linear- y選入Dependent x1、x2、X3.XP選入Independent Method-Enter Stepwise Backward Forward -ok當(dāng)建立樣本回歸方程后，首先要考察這個回歸方程是否有意義？即在， ， ， ， 中，是否至少存在一個自變

7、量與Y的總體均數(shù)呈線性關(guān)系？回歸方程的效果如何？也即是這四個自變量能夠解釋反應(yīng)變量的變異的百分比是多少？四個自變量是否都對反應(yīng)變量有影響？也即是各個偏回歸系數(shù)（ ）所對應(yīng)的總體偏回歸系數(shù)（ 是否等于0？思考：回歸的目的:估計H0成立時, 只能用Y的均數(shù) 來估計殘差: , 自由度=H1成立時, 給定 可以用 來估計殘差: , 自由度= 殘差減少了 統(tǒng)計推斷這個回歸方程有統(tǒng)計學(xué)意義嗎? - 這是回歸模型的貢獻(xiàn) 自由度= 方差分析的基本思想總變異：把反應(yīng)變量的觀察值的離均差平方和記為 ，它反映了沒有利用自變量的信息時的觀察值的變異性，即沒有考慮車流量、氣溫、氣濕和風(fēng)速等因素的情況下一氧化氮濃度的變異

8、的大小，其自由度記為 (為樣本量）。 根據(jù)回歸方程計算得到的預(yù)測值 與實際觀察值 之間的差異稱為殘差，記殘差的離均差平方和為 ，它反映了的變異中不能由回歸解釋的部分，其自由度記為 ，P 為自變量個數(shù)。 把 與 之差記為回歸平方和 ，它反應(yīng)了回歸模型的貢獻(xiàn)，即車流量、氣溫、氣濕和風(fēng)速等因素對一氧化氮濃度的影響,其自由度記為 。 表13-2 方差分析表 表13-3 檢驗回歸方程整體意義的方差分析表變異來源自由度回歸40.0640.01617.59.001殘差190.0170.001總230.081表中值小于0.001，按照0.05的檢驗水準(zhǔn)，可以拒絕，認(rèn)為所建立的回歸方程是有意義的。用這四個自變量

9、構(gòu)成的回歸方程解釋空氣中一氧化氮濃度的變化是有意義的。確定系數(shù) 或稱決定系數(shù)，以反映回歸方程的效果好壞。 本例 0.79，說明利用車流量、氣溫、氣濕和風(fēng)速等四個因素可以解釋一氧化氮濃度的約80的變異，可以認(rèn)為回歸的效果較好 。復(fù)相關(guān)系數(shù) (coefficient of multiple correlation)又稱多重相關(guān)系數(shù) 調(diào)整的確定系數(shù)（adjusted R2， ） 回歸系數(shù)的假設(shè)檢驗 由于存在抽樣誤差，即使總體偏回歸系數(shù)為零，也可能得到樣本偏回歸系數(shù)不為零的情形，因此需要對偏回歸系數(shù)進(jìn)行假設(shè)檢驗，以推斷總體偏回歸系數(shù)是否為零 。檢驗統(tǒng)計量為其中， 是第 個偏回歸系數(shù)的標(biāo)準(zhǔn)誤 車流量、氣

10、溫、風(fēng)速對一氧化氮濃度的影響有統(tǒng)計學(xué)意義（ ），但是氣濕的影響沒有統(tǒng)計學(xué)意義（ ）。）。 標(biāo)準(zhǔn)偏回歸系數(shù)Standardized partial regression coefficient所有變量標(biāo)準(zhǔn)化后做回歸,所得系數(shù)稱為標(biāo)準(zhǔn)偏回歸系數(shù).注意： 一般回歸系數(shù)有單位，用來解釋各自變量對應(yīng)變量的影響，表示在其它自變量保持不變時， 增加或減少一個單位時Y的平均變化量 。不能用各 來比較各 對 的影響大小。 標(biāo)準(zhǔn)化回歸系數(shù)無單位，用來比較各自變量對應(yīng)變量的影響大小， 越大， 對 的影響越大。第二節(jié) 回歸分析中變量的選擇并不是事先考慮的所有的自變量對反應(yīng)變量的影響都有統(tǒng)計學(xué)意義。在許多研究中，多重線

11、性回歸分析的目的是建立一個預(yù)測效果最優(yōu)的回歸模型，需要對自變量進(jìn)行篩選：將對反應(yīng)變量沒有影響的自變量從模型中剔除，將對反應(yīng)變量的作用有意義的自變量納入模型當(dāng)中。 殘差平方和（ ）縮小或確定系數(shù)（ ）增大 越小越好！越大越好！ 然而, 只要增加自變量個數(shù), 這個量就會減小!?自變量篩選的統(tǒng)計學(xué)標(biāo)準(zhǔn)殘差的均方（ ）縮小或調(diào)整確定系數(shù)（ ）增大 自變量篩選的統(tǒng)計學(xué)標(biāo)準(zhǔn)AIC統(tǒng)計量AIC值達(dá)到最小，該模型為最佳模型，AIC準(zhǔn)則自變量篩選的統(tǒng)計學(xué)標(biāo)準(zhǔn)自變量篩選的方法最優(yōu)子集回歸分析法： p個變量有2p1個方程逐步回歸分析：向前引入法(forward selection)向后剔除法(backward se

12、lection)逐步引入剔除法(stepwise selection)（一）最優(yōu)子集回歸法求出所有自變量可能組合子集的回歸方程的模型（共有2p1個），按一定準(zhǔn)則選擇最優(yōu)模型，常用的準(zhǔn)則有： 校正決定系數(shù)或殘差的均方（考慮了自變量的個數(shù)） AIC(Akaikes Information Criterion)準(zhǔn)則；AIC 越小越好最優(yōu)子集法的局限性 如果自變量個數(shù)為4，則所有的回歸有24115個；當(dāng)自變量數(shù)個數(shù)為10時，所有可能的回歸為 2101 1023個；.；當(dāng)自變量數(shù)個數(shù)為50時，所有可能的回歸為25011015個。 前進(jìn)法（forward selection）后退法（backward el

13、imination）逐步回歸法（stepwise regression）。它們的共同特點是每一步只引入或剔除一個自變量。決定其取舍則基于對偏回歸平方和的F檢驗，對應(yīng)該自變量的回歸系數(shù)的統(tǒng)計檢驗的P值是否小于等于或P值大于就可以決定引入或剔除該變量。 （二）逐步回歸分析（1）前進(jìn)法 自變量從無到有、從少到多 將偏回歸平方和最大且能使回歸系數(shù)檢驗拒絕者入選為第一個自變量；規(guī)定一個界值，接著將余下的變量中偏回歸平方和最大并使檢驗拒絕者選為第二個自變量； 如此不斷引入新的自變量，直到再不能拒絕時為止。 局限性：只進(jìn)不出，后續(xù)變量的引入可能會使先進(jìn)入方程的自變量變得不重要。（2）后退法 先將全部自變量放

14、入方程，然后逐步剔除 首先對全部候選變量作總的回歸，每次剔除一個偏回歸平方和最小而使回歸系數(shù)的檢驗不能拒絕者。直到再不能剔除時為止 。 局限性：只出不進(jìn)，自變量高度相關(guān)時，可能得不出正確的結(jié)果；開始時剔除的變量即使后來變得有顯著性也不能再進(jìn)入方程 。（3）逐步回歸法 雙向篩選（實際應(yīng)用最多）：在向前引入的每一步之后都要考慮從已引入方程的變量中剔除相形見絀者. 引入有意義的變量（前進(jìn)法），剔除無意義變量 （后退法） 先規(guī)定兩個閾值P引入和P剔除，當(dāng)候選變量中最大P值 P引入時，引入相應(yīng)變量；已進(jìn)入方程的變量最小P值 P剔除時，剔除相應(yīng)變量。如此交替進(jìn)行直到無引入和無剔除為止（計算復(fù)雜）多因素線性

15、回歸的應(yīng)用（1）定量地建立一個反應(yīng)變量與多個解釋變量之間的線性關(guān)系。例如，建立肺活量的大小與身高、體重、年齡和性別之間的線性關(guān)系。（2）篩選危險因素。例如，篩選高血壓的危險因素。（3）通過較易測量的變量估計不易測量的變量。例如，建立嬰兒體表面積關(guān)于身高、體重、月齡的多因素線性回歸方程，可以通過容易測量的身高、體重、月齡等變量估計不易測量的體表面積。（4）通過解釋變量預(yù)測反應(yīng)變量。例如，通過風(fēng)速、汽車流量、氣溫等指標(biāo)預(yù)測空氣中一氧化氮的濃度。（5）通過反應(yīng)變量控制解釋變量。例如，在氣溫、風(fēng)速不變的情況下，通過控制汽車流量來實現(xiàn)空氣中一氧化氮濃度不超過一定的水平。多元線性回歸應(yīng)用時的注意事項 1樣

16、本含量 2方程“最優(yōu)”問題 3關(guān)于逐步回歸 4多元共線性 5. 啞變量設(shè)定6. 變量間的交互作用7. 殘差分析多重共線性是指在進(jìn)行多元回歸分析時，自變量間存在較強(qiáng)的線性相關(guān)關(guān)系。共線關(guān)系的存在，可使得估計系數(shù)方差加大，系數(shù)估計不穩(wěn)，結(jié)果分析困難。因此在多因素線性回歸分析時，特別是當(dāng)回歸結(jié)果難以用專業(yè)知識解釋時，要進(jìn)行共線性診斷，找出存在共線性且不重要的那些自變量，剔出方程，另行回歸分析。對于存在共線性的資料，可以利用共線性診斷有選擇的保留自變量以消除共線性；或者采用嶺回歸、主成分回歸等回歸分析方法以避免共線性指標(biāo)對結(jié)果的影響。剔除某個造成共線性的自變量，重建回歸方程；合并自變量；采用逐步回歸方

17、法。4多重共線性 多重共線性的表現(xiàn)在實際應(yīng)用中主要表現(xiàn)為：（1）模型擬合效果很好，但偏回歸系數(shù)幾乎都無統(tǒng)計學(xué)意義；（2）偏回歸系數(shù)估計值的方差很大；（3）偏回歸系數(shù)估計值不穩(wěn)定，隨著樣本含量的增減各偏回歸系數(shù)發(fā)生較大變化或當(dāng)一個自變量被引入或剔除時其余變量偏回歸系數(shù)有很大變化；（4）偏回歸系數(shù)估計值的大小與符號可能與事先期望的不一致或與經(jīng)驗相悖，結(jié)果難以解釋 出現(xiàn)以上表現(xiàn)，提示存在多元共線性問題，應(yīng)進(jìn)行多元共線性診斷。方差膨脹因子VIF(2) 容忍度（tolerance） 以每個自變量作為應(yīng)變量，對其他自變量進(jìn)行回歸分析時得到的殘差比例，大小用1-R2來表示，該指標(biāo)越小，則說明該自變量被其余變

18、量預(yù)測的越精確，共線性可能越嚴(yán)重。如果自變量的容忍度小于0.1，則可能存在共線性問題。5 啞變量的設(shè)定2分類，可用一個（0，1）變量。如性別 k分類，k-1個（0，1）變量，如血型。 多重線性回歸分析有時先將有序變量或無序多分類變量轉(zhuǎn)換成為多個二分類變量之后，才能將它們引入回歸模型。將有序變量或無序多分類變量轉(zhuǎn)換成為多個二分類變量的過程常被稱為“啞元化（dummying）”,得到的多個二分類變量稱為“啞變量（dummy variable）”。血型是一個無序多分類變量，它的取“值”是A、B、AB、O四種，可以用3個二分類變量來描述。令表11-5 用二分類啞變量描述血型血型變量1000100010

19、00數(shù)據(jù)格式回歸方程 建立回歸方程 b1 ：相當(dāng)A 型相對于O 型的差別b2 ：相當(dāng)B 型相對于O 型的差別b3 ：相當(dāng)AB 型相對于O 型的差別 （2）等級 定量。 一般是將等級從弱到強(qiáng)轉(zhuǎn)換為 （或 ）如文化程度分為小學(xué)、中學(xué)、大學(xué)、大學(xué)以上四個等級。Y為經(jīng)濟(jì)收入。解釋：b(b1)反映X（X1） 增加1個單位， 增加b個單位（如：500元）。 表示中學(xué)文化較小學(xué)收入多500， 大學(xué)較中學(xué)多500，余類推。b1,b2,b3分別反映中學(xué)、大學(xué)、大學(xué)以上相對于小學(xué)文化程度者經(jīng)濟(jì)收入差別的大小也可將K個等級轉(zhuǎn)換為K-1個（0，1）變量為了檢驗兩個自變量是否具有交互作用，普遍的做法是在方程中加入它們的

20、乘積項。6. 變量間的交互作用例2 某項研究調(diào)查了3334名有心臟疾患的婦女，了解血清高密度脂蛋白膽固醇（HDL cholesterol，mg/dl）與體質(zhì)指數(shù)（body mass index, BMI, kg/m2）的關(guān)系，考慮到是否患糖尿病（DIABETES）也是影響HDL水平的因素，因此建立了一個以體質(zhì)指數(shù)、是否患糖尿病為自變量，HDL為反應(yīng)變量的線性回歸方程，結(jié)果如表13-4所示。表13-4 以體質(zhì)指數(shù)、是否患糖尿病為自變量的線性回歸方程變量bSEtP95%CIBMI-0.3910.017-22.5310.000-0.426-0.357DIABETES-4.7830.092-52.20

21、70.000-4.962-4.603CONSTANT67.5510.363185.8470.00066.83968.264F=2441.323, P0.001; R2=0.594, adjR2=0.594, Root MSE=2.02模型假定HDL的平均水平隨BMI的變化而變化的規(guī)律在糖尿病婦女和非糖尿病組之間是相同的，表現(xiàn)為相同的偏回歸系數(shù) -0.391在多重線性回歸模型中引入一個新的自變量（DMBMI），定義為BMI和DIABETES的乘積，這個乘積項描述的是兩個自變量與反應(yīng)變量之間的關(guān)系。由于兩個自變量已經(jīng)在模型中，乘積項就可以解釋為交互作用。 表13-5 以體質(zhì)指數(shù)、是否患糖尿病為自變

22、量，包含交互作用項的線性回歸結(jié)果VariablebSEtP95%CIDIABETES-11.3400.965-11.7550.001-13.231-9.448BMI-0.7350.053-13.8220.001-0.839-0.631DMBMI0.2780.0416.8280.0010.1980.358CONSTANT75.5441.22561.6720.00173.14277.945F=1665.379, P=0.000; R2=0.600, adjR2=0.600, Root MSE=2.01所以，對于非糖尿病人，有對于患糖尿病的婦女，有反映了患糖尿病的婦女HDL與BMI的關(guān)系 反映了非糖

23、尿病患者HDL與BMI的關(guān)系 刻畫了糖尿病組和非糖尿病組的婦女HDL與BMI回歸關(guān)系的差異。7. 殘差分析 殘差定義為（ ）。通常使用殘差圖(residual plot)作為一種直觀有效的非正式檢查方法。繪制殘差與反應(yīng)變量的預(yù)測值的散點圖考察模型是否滿足線性和方差齊性. 如果散點隨機(jī)地分布在以為中心的、與橫軸平行的的帶狀區(qū)域內(nèi)，如圖（a）所示，就可以認(rèn)為基本滿足線性和等方差的假定條件。圖（b）、（c）的散點呈現(xiàn)曲線趨勢，提示資料不滿足線性的假定。圖（d）、（e）、（f）顯示殘差隨 的變化而變化，提示資料不滿足方差齊的前提條件。圖（g）、（h）顯示殘差不僅隨 的變化而變化，而且散點呈現(xiàn)曲線趨勢，

24、提示資料不滿足線性和方差齊性的前提條件。補(bǔ)充 多元相關(guān)分析（multiple correlation analysis)研究兩個變量之間的關(guān)系時，所求出的相關(guān)系數(shù)為簡單相關(guān)系數(shù)。當(dāng)存在3個（或以上）變量時，且彼此間有聯(lián)系，就需要作多元相關(guān)分析。資料類型: 多個定量變量 （1）數(shù)據(jù)形式設(shè)研究問題中有p個指標(biāo)變量x1、 x2、xp，n個觀察對象，其數(shù)據(jù)結(jié)構(gòu)見表1。 表1 多元偏相關(guān)分析數(shù)據(jù)結(jié)構(gòu) 編號 X1 X2 . XP 1 x11 x21 xp1 2 x12 x22 xp2 3 x13 x23 xp3 n x1n x2n xpn（2）偏相關(guān)系數(shù) （partial correlation coef

25、ficient)研究兩個變量之間的關(guān)系時，所求出的相關(guān)系數(shù)為簡單相關(guān)系數(shù)。當(dāng)存在3個（或以上）變量時，當(dāng)把其中兩個變量以外的其他變量對它們的影響都扣除掉（或平衡掉）以后，求得的相關(guān)系數(shù)為偏相關(guān)系數(shù)。 一般地,設(shè)有三個變量X1 ,X2 和X3 , 扣除X3 的線性效應(yīng)后X1 和X2 的偏相關(guān)系數(shù)記為r12,3，扣除X1 的線性效應(yīng)后X2 和X3 的偏相關(guān)系數(shù)記為r23,1，,其絕對值介于1與1之間，可正可負(fù)。 計算公式為：表1 冷飲銷售量、游泳人數(shù)與氣溫數(shù)據(jù)冷飲（元） X1游泳人數(shù) X2氣溫（攝氏） X3267722293978143045192431528106632618125333655136934690159335740176136780193137889223138996274939例1表2 簡單相關(guān)與偏相關(guān)結(jié)果自變量相關(guān)系數(shù)P偏相關(guān)系數(shù)P冷飲 * 游泳人數(shù)0.9720.0000.2150.551游泳人數(shù) * 氣溫0.9760.0000.4190.229冷飲 * 氣溫0.9890.0000.7870.007例2 隨機(jī)抽查測得9名