線性回歸分析ppt課件

1、,第七講 回歸分析,一、線性回歸分析,線性回歸是統(tǒng)計(jì)分析方法中最常用的方法之一。如果所研究的現(xiàn)象有若干個影響因素，且這些因素對現(xiàn)象的綜合影響是線性的，則可以使用線性回歸的方法建立現(xiàn)象 （因變量）與影響因素（自變量）之間的線性函數(shù)關(guān)系式。 由于多元線性回歸的計(jì)算量比較大，所以有必要應(yīng)用統(tǒng)計(jì)分析軟件實(shí)現(xiàn)。,SPSS軟件中進(jìn)行線性回歸分析的選擇項(xiàng)為AnalyzeRegressionLinear。如圖所示。,（一）雙變量線性回歸,某醫(yī)師測得10名3歲兒童的身高（cm）、體重（kg）和體表面積（cm2）資料如下。試用多元回歸方法確定以身高、體重為自變量，體表面積為應(yīng)變量的回歸方程。,1、數(shù)據(jù)準(zhǔn)備,激活數(shù)

2、據(jù)管理窗口，定義變量名：體表面積為Y，保留3位小數(shù)；身高、體重分別為X1、X2，1位小數(shù)。輸入原始數(shù)據(jù)，結(jié)果如圖8.1所示。,2、統(tǒng)計(jì)分析,激活A(yù)nalyze菜單選Regression中的Linear.項(xiàng)，彈出Linear Regression對話框。 選y，點(diǎn)擊鈕使之進(jìn)入Dependent框； 選x1、x2，點(diǎn)擊鈕進(jìn)入Indepentdent(s)框； 在Method處下拉菜單，共有5個選項(xiàng)：Enter（全部入選法）、Stepwise（逐步法）、Remove（強(qiáng)制剔除法）、Backward（向后法）、Forward（向前法）。 本例選用Enter法，點(diǎn)擊OK鈕即完成分析。,點(diǎn)擊Statist

3、ics.鈕選擇是否作變量的描述性統(tǒng)計(jì)、回歸方程應(yīng)變量的可信區(qū)間估計(jì)等分析； 點(diǎn)擊Plots.鈕選擇是否作變量分布圖（本例要求對標(biāo)準(zhǔn)化Y預(yù)測值作變量分布圖）； 點(diǎn)擊Save.鈕選擇對回歸分析的有關(guān)結(jié)果是否作保存（本例要求對根據(jù)所確定的回歸方程求得的未校正Y預(yù)測值和標(biāo)準(zhǔn)化Y預(yù)測值作保存）； 點(diǎn)擊Options.鈕選擇變量入選與剔除的、值和缺失值的處理方法。,3、結(jié)果解釋,本例以X1、X2為自變量，Y為應(yīng)變量，采用全部入選法建立回歸方程。 回歸方程的復(fù)相關(guān)系數(shù)為0.94964，決定系數(shù)（即r2）為0.90181，經(jīng)方差分析，F(xiàn)=34.14499，P=0.0003，回歸方程有效。 回歸方程為Y=0.0

4、687101X1+0.183756X2-2.856476。,本例要求按所建立的回歸方程計(jì)算Y預(yù)測值和標(biāo)準(zhǔn)化Y預(yù)測值（所謂標(biāo)準(zhǔn)化Y預(yù)測值是指將根據(jù)回歸方程求得的Y預(yù)測值轉(zhuǎn)化成按均數(shù)為0、標(biāo)準(zhǔn)差為1的標(biāo)準(zhǔn)正態(tài)分布的Y值）并將計(jì)算結(jié)果保存入原數(shù)據(jù)庫。 系統(tǒng)將原始的X1、X2值代入方程求Y值預(yù)測值（即庫中pre_1欄）和標(biāo)準(zhǔn)化Y預(yù)測值。,本例還要求對標(biāo)準(zhǔn)化Y預(yù)測值作變量分布圖，系統(tǒng)將繪制的統(tǒng)計(jì)圖送向Chart Carousel窗口，雙擊該窗口可見下圖顯示結(jié)果。,Y 401.73967.922,Y 1190.017793.915,例：為了考察火柴銷售量的影響因素，選擇煤氣戶數(shù)、卷煙銷量、蚊香銷量、打火石

5、銷量作為影響因素，得數(shù)據(jù)表。 建立火柴銷售量對于相關(guān)因素煤氣戶數(shù)、卷煙銷量、蚊香銷量、打火石銷量的線性回歸模型，通過對模型的分析，找出合適的線性回歸方程。,（二）多元線性回歸分析,1、打開數(shù)據(jù)文件，單擊Analyze Regression Linear打開Linear 對話框如圖所示。,2、從左邊框中選擇因變量Y進(jìn)入Dependent 框內(nèi)，選擇一個或多個自變量進(jìn)入Independent框內(nèi)。 從Method 框內(nèi)下拉式菜單中選擇回歸分析方法： 強(qiáng)行進(jìn)入法(Enter)，消去法(Remove)，向前選擇法(Forward)，向后剔除法(Backward)及逐步回歸法(Stepwise)五種。

6、本例中選擇逐步回歸法(Stepwise)。,Enter(強(qiáng)迫引入法默認(rèn)選擇項(xiàng)) 定義的全部自變量均引入方程； Remove(強(qiáng)迫剔除法) 定義的全部自變量均刪除； Forward(向前引入法) 自變量由少到多一個一個引入回歸方程，直到不能按檢驗(yàn)水準(zhǔn)引入新的變量為止。該法的缺點(diǎn)是：當(dāng)兩個變量一起時(shí)效果好單獨(dú)時(shí)效果不好，有可能只引入其中一個變量或兩個變量都不能引入。,Backward(向后剔除法) 自變量由多到少一個一個從回歸方程中剔除，直到不能按檢驗(yàn)水準(zhǔn)剔除為止。能克服向前引入法的缺點(diǎn)，當(dāng)兩個變量一起時(shí)效果好單獨(dú)時(shí)效果不好，該法可將兩個變量都引入方程。 Stepwise(逐步引入一剔除法) 將向

7、前引入法和向后剔除法結(jié)合起來，在向前引入的每一步之后都要考慮從已引入方程的變量中剔除作用不顯著者，直到?jīng)]有一個自變量能引入方程和沒有一個自變量能從方程中剔除為止。缺點(diǎn)同向前引入法，但選中的變量比較精悍。,3、單擊Statistics，打開Linear Regression： Statistics對話框，可以選擇輸出的統(tǒng)計(jì)量。,Regression Coefficients欄，回歸系數(shù)選項(xiàng)欄： Estimates (系統(tǒng)默認(rèn)): 輸出回歸系數(shù)的相關(guān)統(tǒng)計(jì)量。 Confidence intervals:輸出每一個非標(biāo)準(zhǔn)化回歸系數(shù)95的置信區(qū)間。 Covariance matrix: 輸出協(xié)方差矩陣。

8、,Model fit是默認(rèn)項(xiàng)。能夠輸出復(fù)相關(guān)系數(shù)R、R2及R2修正值，（R2 判定系數(shù)在判定一個線性回歸直線的擬合優(yōu)度的好壞時(shí)，是一個重要的判定指標(biāo)） R squared change:引入或剔除一個變量時(shí)，R2的變化。 Descriptives: 基本統(tǒng)計(jì)描述。 Part and Partial correlations：相關(guān)、偏相關(guān)系數(shù)。 Collinearity diagnostics：共線性診斷。,Residuals 殘差欄： Durbin-Watson：D.W檢驗(yàn). Casewise diagnostics: 奇異值診斷,有兩個選項(xiàng)： Outliers outside( )stand

9、ard deviations:奇異值判據(jù)，默認(rèn)項(xiàng)標(biāo)準(zhǔn)差3。 All case 輸出所有觀測量的殘差值。 本例中選擇D.W檢驗(yàn)及奇異值診斷，選擇標(biāo)準(zhǔn)差為2，即置信度約為95%。,4、如果需要觀察圖形，可單擊Plots按紐，打開Linear Regression：Plots對話框如圖所示。在此對話框中可以選擇所需要的圖形。,在左上角的源變量框中，選擇Dependent 進(jìn)入X（或Y）軸變量框，選擇其它變量進(jìn)入Y（或X）軸變量框，除因變量外，其客觀存在變量依次是：ZPRED:標(biāo)準(zhǔn)化預(yù)測值，ZRESID:標(biāo)準(zhǔn)化殘差，DRESID:剔除殘差，ADJPRED:修正后預(yù)測值，SRESID學(xué)生化殘差，SDRE

10、SID:學(xué)生化剔除殘差。,Standardized Residual Plots欄，標(biāo)準(zhǔn)化殘差圖類型： Histogram: 標(biāo)準(zhǔn)化殘差直方圖 Normal probability plot 標(biāo)準(zhǔn)化殘差序列的正態(tài)分布概率圖. Produce all partial plots 依次繪制因變量和所有自變量的散布圖 本例中選擇因變量Dependent與標(biāo)準(zhǔn)化殘差ZRESID的殘差圖。,5、單擊Options按紐，打開Linear Regression：Options對話框，如圖所示?？梢詮闹羞x擇模型擬合判斷準(zhǔn)則Stepping Method Criteria 及缺失值的處理方式。,Stepping

11、 Method Criteria 欄： Use probability of F:采用F檢驗(yàn)的概率為判別依據(jù)。 Use F value: 采用F值作為檢驗(yàn)標(biāo)準(zhǔn)。 Include constant in equation 回歸方程中包括常數(shù)項(xiàng)。 Missing Values 缺失值處理方式。,6、如果要保存預(yù)測值等數(shù)據(jù)，可單擊Save按紐打開Linear Regression：Save對話框。選擇需要保存的數(shù)據(jù)種類作為新變量存在數(shù)據(jù)編輯窗口。其中有預(yù)測值、殘差，預(yù)測區(qū)間等。本例中不做選擇。 7、當(dāng)所有選擇完成后，單擊OK，得到分析結(jié)果,Model Summary(d) 模型綜合分析表,表模型綜合

12、分析中有模型的復(fù)相關(guān)系數(shù)R，樣本決定系數(shù)R2，修正的可決系數(shù)，估計(jì)標(biāo)準(zhǔn)誤，模型變化導(dǎo)致的可決系數(shù)及F值的變化，D.W檢驗(yàn)值等。由上表中知模型3的修正的可決系數(shù)為0.993，其模型的擬合程度最好，DW值為2.066，顯然通過DW檢驗(yàn)，說明殘差項(xiàng)不存在一階自相關(guān)。,方差分析表,方差分析表同時(shí)給出了3個模型的方差分析表。其中模型3的F值最大，說明模型3的回歸效果最顯著。,回歸系數(shù),回歸系數(shù)表的輸出結(jié)果Model欄可以看出： 模型1是先將卷煙銷量作為自變量進(jìn)入模型； 模型2將卷煙銷量與打火石銷量兩個自變量進(jìn)入模型； 模型3是將卷煙、打火石和煤氣戶數(shù)三個自變量進(jìn)入模型，自變量蚊香銷量沒有通過檢驗(yàn)自動剔除

13、，得回歸模型為：,回歸系數(shù)表的輸出結(jié)果可以看出，回歸系數(shù)都通過檢驗(yàn)，模型中自變量與因變量的偏相關(guān)系數(shù)都在0.7以上，說明進(jìn)入模型的自變量對因變量的影響都比較顯著。 由最后兩列的容忍度Tolerance和方差膨脹因子VIF的值來看，自變量之間不存在強(qiáng)烈的共線性。,相關(guān)系數(shù)表,相關(guān)分析表中表示的相關(guān)系數(shù)是全部變量（自變量與因變量）兩兩變量之間的簡單相關(guān)系數(shù)和相關(guān)性檢驗(yàn)。,殘差統(tǒng)計(jì),殘差統(tǒng)計(jì)表表示了預(yù)測值、殘差、標(biāo)準(zhǔn)化預(yù)測值和標(biāo)準(zhǔn)化殘差的特征值。其中包括預(yù)測值及殘差項(xiàng)的最小值和最大值、均值、標(biāo)準(zhǔn)誤和樣本容量。,共線性診斷表,共線性診斷表中第二列是特征值，第三列是條件指數(shù)，最后一列是方差比。最大的條件

14、指數(shù)小于20，說明自變量之間不存在比較強(qiáng)烈的共線性。,練習(xí)1,15例兒童的血液中血紅蛋白(y,g)與鈣(x1) 鎂(x2) 鐵(x3) 錳(x4)及銅(x5)的含量如下圖所示用，逐步回歸方法篩選對血紅蛋白有顯著作用的微量元素(ug)。,練習(xí)2,二、曲線估計(jì),上面介紹了線性回歸模型的分析和檢驗(yàn)方法。 如果某對變量數(shù)據(jù)的散點(diǎn)圖不是直線，而是某種曲線的形式時(shí)，可以利用曲線估計(jì)的方法為數(shù)據(jù)尋求一條合適的曲線，也可用變量代換的方法將曲線方程變?yōu)橹本€方程，用線性回歸模型進(jìn)行分析和預(yù)測。 SPSS提供了多種曲線方程。,例：下表表示的是全國1990年至2002年人均消費(fèi)支出與教育支出的統(tǒng)計(jì)數(shù)據(jù)，試以人均消費(fèi)性

15、支出為解釋變量，教育支出作為被解釋變量，擬合用一條合適的函數(shù)曲線。,人均消費(fèi)支出與教育支出數(shù)據(jù)表,解：首先根據(jù)上表建立數(shù)據(jù)，作出人均消費(fèi)支出與教育支出的散點(diǎn)圖，如下：由上面圖形可以看出，兩個變量的散點(diǎn)圖為增長的曲線形式，故選擇合適的函數(shù)進(jìn)行曲線估計(jì)。,1、單擊Analyze Regression Curve Estimation打開Curve Estimation對話框。 2、選擇估計(jì)曲線：SPSS有多條曲線形式供選擇。,3、單擊Save按紐，打開Save對話框如圖所示。,選擇需要保存到數(shù)據(jù)表中的項(xiàng)目。在Save Variables欄中，復(fù)選項(xiàng)依次是：Predicted Values預(yù)測值、R

16、esiduals殘差、Prediction intervals預(yù)測區(qū)間，可以在下方框中選擇置信度，默認(rèn)值為95%。,4、所有選擇完成后，單擊OK，得到輸出結(jié)果如表,曲線估計(jì)輸出表,Independent: X,曲線圖,從表中可以看出，可決系數(shù)接近1的模型是 Com復(fù)合函數(shù)；也可通過圖形驗(yàn)證這三個模型對觀察值的擬合程度。 對以上三個模型進(jìn)一步分析。在主對話框下方選擇輸出方差分析表Display AMOVA table, 可得到方差分析表詳細(xì)結(jié)果。,通過比較各種估計(jì)模型的樣本決定系數(shù)，標(biāo)準(zhǔn)誤，F(xiàn)值，擬合程度最好的復(fù)合函數(shù)曲線，并且其模型的回歸系數(shù)的檢驗(yàn)也通過。 故可以選擇復(fù)合函數(shù)曲線作為擬合曲線，

17、其回歸方程為：,三、 Logistic回歸分析,使用多元線性回歸來分析多個自變量與一個因變量的關(guān)系，因變量要求正態(tài)分布的連續(xù)隨機(jī)變量。 所謂Logistic 回歸是指因變量為二級計(jì)分或二類評定的回歸分析。,某醫(yī)師研究男性胃癌患者發(fā)生術(shù)后院內(nèi)感染的影響因素，資料如下表，請通過Logistic回歸統(tǒng)計(jì)方法對主要影響因素進(jìn)行分析。,激活數(shù)據(jù)管理窗口，定義變量名：術(shù)后感染為Y（字符變量，有輸入Y、無輸入N），年齡為X1，手術(shù)創(chuàng)傷程度為X2，營養(yǎng)狀態(tài)為X3，術(shù)前預(yù)防性抗菌為X4（字符變量，有輸入Y、無輸入N），白細(xì)胞數(shù)為X5，癌腫病理分度為X6。,激活A(yù)nalyze菜單選Regression中的Logi

18、stic.項(xiàng)，彈出Logistic Regression對話框。 選y，點(diǎn)擊鈕使之進(jìn)入Dependent框; 選x1、x2、x3、x4、x5和x6，點(diǎn)擊鈕使之進(jìn)入Covariates框；,點(diǎn)擊Method處的下拉按鈕，系統(tǒng)提供7種方法：,1、Enter：所有自變量強(qiáng)制進(jìn)入回歸方程； 2、Forward: Conditional：以假定參數(shù)為基礎(chǔ)作似然比概率檢驗(yàn)，向前逐步選擇自變量； 3、Forward: LR：以最大局部似然為基礎(chǔ)作似然比概率檢驗(yàn)，向前逐步選擇自變量； 4、Forward: Wald：作Wald概率統(tǒng)計(jì)法，向前逐步選擇自變量； 5、Backward: Conditional：以假定參數(shù)為基礎(chǔ)作似然比概率檢驗(yàn)，向后逐步選擇自變量； 6、Backward: LR：以最大局部似然為基礎(chǔ)作似然比概率檢驗(yàn)，向后逐步選擇自變量； 7、Back