SAS EM實(shí)現(xiàn)邏輯回歸.ppt

1、SAS Logistic 回歸模型實(shí)現(xiàn),By 周穎,CONTENTS,overview,常常需要進(jìn)行預(yù)測(cè),用父母身高預(yù)測(cè)孩子身高？,用各影響因素預(yù)測(cè)空氣的PM2.5值？,用客戶行為預(yù)測(cè)是否會(huì)流失？,通常將預(yù)測(cè)問(wèn)題分為連續(xù)變量的預(yù)測(cè)問(wèn)題和離散變量的分類問(wèn)題。,overview,通常怎么解決？,回歸分析,決策樹,得出的結(jié)果都較易于 展示和理解； 自變量可為連續(xù)型或 離散型；,目標(biāo)變量可為連續(xù)型或離散 型； 輸入必須為完整的數(shù)據(jù)； 對(duì)極值敏感； 得到數(shù)學(xué)模型 ；,對(duì)于目標(biāo)變量為連續(xù)型目標(biāo)較難處理； 輸入數(shù)據(jù)可存在缺失； 對(duì)極值有很好的抗干擾性； 得到規(guī)則；,神經(jīng)網(wǎng)絡(luò)、 支持向量機(jī) ,overview

2、,一般的回歸分析？,一般線性回歸,g為logit函數(shù)； 服從二項(xiàng)分布；,廣義線性模型：,g =,服從指數(shù)族分布,g為恒等函數(shù)； 服從正態(tài)分布；,g為log函數(shù)、 1 函數(shù)、余對(duì) 數(shù)-對(duì)數(shù)函數(shù)等 ； 服從泊松分布、正態(tài)分布 等；,Logistic回歸,probit回歸、cloglog回歸等,鏈結(jié)函數(shù),overview,什么情況下用Logistic回歸？,是否通過(guò)考試,學(xué)習(xí)時(shí)間,Logistic回歸模型介紹,二分類Logistic回歸數(shù)學(xué)模型,p= =1 = + 1+ + 1-p = 1 1+ +,ln p/(1p) =+ p/(1p)= +,OR(優(yōu)勢(shì)比)p/(1p)； Logit變換ln p/

3、(1p) ； Sigmod函數(shù) 1+ 。, 每增加1個(gè)單位，優(yōu)勢(shì)比變?yōu)樵瓉?lái)的 倍,Logistic回歸模型介紹,可以怎么分類？,Logistic回歸模型介紹,多分類Logistic回歸數(shù)學(xué)模型,ln (=1| (=3| = 1 + 1 ln (=2| (=3| = 2 + 2 ,例如，當(dāng)y取值1,2,3時(shí)，Logistic回歸模型是：,ln (=1| (=2| +(=3| = 1 + 1 ln =1 + (=2| (=3| = 2 + 2 ,有序多分類Logistic模型,無(wú)序多分類Logistic模型,療效：無(wú)效有效治愈,花朵：玫瑰菊花百合,Logistic回歸模型介紹,Logistic回歸

4、分析方法步驟,解釋模型實(shí)際意義,檢驗(yàn)參數(shù)顯著性,檢驗(yàn)?zāi)Ｐ惋@著性,估計(jì)參數(shù)，,模型參數(shù)意義； 模型統(tǒng)計(jì)量；,Wald檢驗(yàn)； 似然比檢驗(yàn)； Score檢驗(yàn)；,擬合優(yōu)度檢驗(yàn)； 似然比檢驗(yàn)；,極大似然估計(jì)法；,overview,小結(jié),Logistic模型通過(guò)分析目標(biāo)變量取某個(gè)值的概率與各效應(yīng)之間的 關(guān)系解決分類問(wèn)題，包括二分類及多分類問(wèn)題； Logistic模型建立包括參數(shù)估計(jì)、模型檢驗(yàn)、參數(shù)檢驗(yàn)等步驟；,CONTENTS,SAS EM實(shí)現(xiàn)二分類Logistic回歸,提供了哪些模型實(shí)現(xiàn)？,。,回歸 支持多分類邏輯回歸,LARS（最小角回歸） 優(yōu)化的變量選擇方法,偏最小二乘法 共線性、自變量多的回歸中有

5、卓越表現(xiàn)； 支持多個(gè)因變量回歸；,Dmine回歸 建模前篩選變量； 進(jìn)行變量分組；,SAS EM實(shí)現(xiàn)二分類Logistic回歸,案例實(shí)現(xiàn)源數(shù)據(jù)說(shuō)明,college.dat中有4個(gè)變量和1000個(gè)觀測(cè)：,SAS EM實(shí)現(xiàn)二分類Logistic回歸,案例實(shí)現(xiàn)-建模過(guò)程,S 數(shù) 據(jù) 導(dǎo) 入,E 數(shù)據(jù)探索,M 建 模,A 模 型 評(píng) 估,SAS EM實(shí)現(xiàn)二分類Logistic回歸,參數(shù)設(shè)置回歸,可選擇logit/probit /cloglog函數(shù),可選擇向前/向后/逐步回歸,可選擇Logistic 回歸/ 線性回歸,回歸,SAS EM實(shí)現(xiàn)二分類Logistic回歸,參數(shù)設(shè)置Dmine回歸,進(jìn)入模型的變

6、量所滿足的R方下限,生成分組變量,Dmine回歸,SAS EM實(shí)現(xiàn)二分類Logistic回歸,參數(shù)設(shè)置最小角回歸&偏最小二乘法,支持LAR/LASSO等,支持PLS/PCR/SIMPLS,SAS EM實(shí)現(xiàn)二分類Logistic回歸,案例實(shí)現(xiàn)結(jié)果分析,P(y=1)= ； 各效應(yīng)增加時(shí)，目標(biāo)變量為1的優(yōu)勢(shì)比增加；,1 1+ e (33.1713+0.3872+(0.3611(0.3611)+(0.4384(0.4384),SAS EM實(shí)現(xiàn)二分類Logistic回歸,案例實(shí)現(xiàn)結(jié)果分析,模型具有高度顯著性； 模型參數(shù)均通過(guò)檢驗(yàn)；,模型似然比檢驗(yàn)結(jié)果,參數(shù)wald檢驗(yàn)結(jié)果,SAS EM實(shí)現(xiàn)二分類Logi

7、stic回歸,案例結(jié)果分析,響應(yīng)百分比=預(yù)測(cè)為1且實(shí)際為1的樣本數(shù)/預(yù)測(cè)為1的樣本數(shù)； 提升度=響應(yīng)百分比/（實(shí)際為1的樣本數(shù)/所有樣本數(shù)）；,模型概率值前5%的樣本中，響應(yīng)率約為95%； 模型概率值前5%的樣本中，模型提升度達(dá)到2.7； 測(cè)試樣本正確分類率達(dá)到約80%；,累積提升度,累積響應(yīng)百分比,模型統(tǒng)計(jì)量,CONTENTS,SAS EM實(shí)現(xiàn)多分類Logistic回歸,SAS EM實(shí)現(xiàn)多分類Logistic回歸,案例實(shí)現(xiàn)源數(shù)據(jù)說(shuō)明,Iris數(shù)據(jù)集中有5個(gè)變量和150個(gè)觀測(cè)：,SAS EM實(shí)現(xiàn)多分類Logistic回歸,案例實(shí)現(xiàn)-建模過(guò)程,S-E 數(shù)數(shù) 據(jù)據(jù) 導(dǎo)探 入索,M 建 立 模 型,

8、A 模型 評(píng)估,SAS EM實(shí)現(xiàn)二分類Logistic回歸,案例實(shí)現(xiàn)結(jié)果分析,Class:1-Iris-setosa,2-Iris-versic,3-Iris-virgin。,ln (=3 (=1 =17.3+22.28_+20.52_14.76_ ln (=2 (=1 =11.96+15.29_+8.97_10.88_,SAS EM實(shí)現(xiàn)二分類Logistic回歸,案例實(shí)現(xiàn)結(jié)果分析,當(dāng)花萼長(zhǎng)度或花萼寬度增加時(shí)，鳶尾花為其他品種的概率比為Iris-setosa優(yōu)勢(shì)變大； 當(dāng)花瓣長(zhǎng)度增加時(shí)，鳶尾花為其他品種的概率比為Iris-setosa優(yōu)勢(shì)變小；,優(yōu)勢(shì)比,SAS EM實(shí)現(xiàn)二分類Logistic回歸,案例實(shí)現(xiàn)結(jié)果分析,模型具有高度顯著性； 花萼寬度這一效應(yīng)未通過(guò)檢驗(yàn)；,模型檢驗(yàn)結(jié)果,參數(shù)檢驗(yàn)結(jié)果,SAS EM實(shí)現(xiàn)二分類Logistic回歸,案例結(jié)果分析,響應(yīng)百分比=預(yù)測(cè)為1且實(shí)際為1的樣本數(shù)/預(yù)測(cè)為1的樣本數(shù)； 提升度=響應(yīng)百分比/（實(shí)際為1的樣本數(shù)/所有樣本數(shù)）；,模型概率值前20%的樣本中，響應(yīng)率為100%； 模型概率值前20%的樣本中，模型提升度達(dá)到3； 測(cè)試樣本正確分類率達(dá)到約98%；,累積提升度,累積響應(yīng)百分比,模型統(tǒng)計(jì)量,overview,小結(jié),SAS EM中回歸、Dmine回歸、LARS