多元統(tǒng)計(jì)分析邏輯回歸

概述現(xiàn)實(shí)生活中，有很多諸如需要確定客戶買或不買某種商品、銀行客戶信用好或不好等情況這時(shí)，某個(gè)事件以多大概率出現(xiàn)和哪些影響量決定該概率的問題尤為重要如果用狀態(tài)1（購買）和0（不買）的因變量（Y）表示事件，則事件發(fā)生的概率P有如下關(guān)系：P(y=0)+P(y=1)=1當(dāng)前1頁，總共41頁。由于這類問題的因變量是類別變量，無法應(yīng)用回歸方程來解決邏輯回歸是通過回歸方程，確定概率的期望值一種通過分析影響因素，來得到某種結(jié)果的概率分為二項(xiàng)邏輯回歸和多項(xiàng)邏輯回歸當(dāng)前2頁，總共41頁。當(dāng)前3頁，總共41頁。當(dāng)前4頁，總共41頁。建立邏輯回歸方程例子：超市的銷售主管想知道，顧客收入水平是否對(duì)購買新的高級(jí)黃油產(chǎn)品有影響。為此，他選擇了12位顧客，調(diào)查他們的月凈收入(x)及是否購買了該類黃油產(chǎn)品購買記為{y=1}，未購買記為{y=0}調(diào)查結(jié)果如下：當(dāng)前5頁，總共41頁。購買黃油=-0.749+0.000336×收入當(dāng)前6頁，總共41頁。邏輯回歸不是要估計(jì)二元變量的觀察值，而是要明確這些觀察值的出現(xiàn)概率通常把狀態(tài){y=1}看作“事件y發(fā)生”，而狀態(tài){y=0}為“事件不發(fā)生”假設(shè)存在一個(gè)非經(jīng)驗(yàn)觀察到的隱變量z，它能對(duì)應(yīng)自變量的狀態(tài)xj給出因變量y的二元水平當(dāng)前7頁，總共41頁。y通過隱變量與xj建立聯(lián)系：邏輯函數(shù)：(1)(2)(1)、(2)構(gòu)成邏輯回歸方程。z值稱為L(zhǎng)ogit當(dāng)前8頁，總共41頁。當(dāng)前9頁，總共41頁。分析過程邏輯回歸分析可分為五個(gè)步驟：（1）建模（2）估計(jì)邏輯回歸函數(shù)（3）解釋回歸系數(shù)（4）檢驗(yàn)?zāi)Ｐ驼w（5）檢驗(yàn)特征變量當(dāng)前10頁，總共41頁。（1）建模邏輯回歸分析的前提也是使用者首先根據(jù)實(shí)施邏輯思考確定，哪些事件應(yīng)作為可能的因變量類型，哪些影響量決定事件類型的概率，從而提出關(guān)于自變量和因變量可能關(guān)系的假設(shè)自變量和事件{y=1}的出現(xiàn)概率間的連帶關(guān)系假設(shè)當(dāng)前11頁，總共41頁。二元邏輯回歸：因變量是二元的，即只有0和1兩個(gè)水平；因變量多于兩類的，多元邏輯回歸分析自變量也稱為共變量，可以是基數(shù)測(cè)度和非基數(shù)測(cè)度，也可“混合”xj自變量線性組合z指數(shù)連接eZ邏輯連接P(y=1)聯(lián)合影響量Logit可能性比P(y=1)/P(y=0)出現(xiàn)概率當(dāng)前12頁，總共41頁。數(shù)據(jù)當(dāng)前13頁，總共41頁。（2）估計(jì)邏輯回歸函數(shù)通常用極大似然估計(jì)法估計(jì)模型的參數(shù)，目的是使觀察到的調(diào)查數(shù)據(jù)的概率最大，來確定反映自變量權(quán)重的邏輯回歸模型參數(shù)bj若對(duì)每個(gè)觀察個(gè)體k考慮如下關(guān)系式：當(dāng)前14頁，總共41頁。Newton-Raphson算法合成一個(gè)方程：似然函數(shù)：求解：判別準(zhǔn)則：Pk>0.5，把個(gè)體分入{y=1}；否則分入{y=0}當(dāng)前15頁，總共41頁。確定zk值（Logit）的回歸方程：zk×可涂抹性k+1.119×保質(zhì)期k將原始數(shù)據(jù)代入回歸方程Y=1Y=0當(dāng)前16頁，總共41頁。（3）解釋回歸系數(shù)自變量xj與概率Pk(y=1)間不存在線性關(guān)系，導(dǎo)致回歸系數(shù)間不能相互比較，無法直接解釋回歸系數(shù)當(dāng)前17頁，總共41頁。常數(shù)項(xiàng)只影響邏輯函數(shù)的水平位置。為正時(shí)，邏輯函數(shù)左移；為負(fù)時(shí)，邏輯函數(shù)右移回歸系數(shù)影響邏輯函數(shù)的走向?；貧w系數(shù)較大時(shí)，概率值很快接近邏輯函數(shù)的邊緣負(fù)的回歸系數(shù)使事件{y=1}的概率隨x值增大而減小，而正回歸系數(shù)則使事件{y=1}的概率隨x值增大而增大當(dāng)前18頁，總共41頁。邏輯回歸的發(fā)生比：邏輯回歸的Logit：z=Logit=ln(發(fā)生比)當(dāng)前19頁，總共41頁?！翱赏磕ㄐ浴钡幕貧w系數(shù)為負(fù)，該變量降低了人造黃油的購買概率；“保質(zhì)期”的回歸系數(shù)為正，它對(duì)購買概率產(chǎn)生正向影響；若自變量增加1單位，則有利于事件{y=1}的可能性比（發(fā)生比）擴(kuò)大ebj倍發(fā)生比說明了變量對(duì)出現(xiàn)概率的影響程度，發(fā)生比也稱為效應(yīng)系數(shù)當(dāng)前20頁，總共41頁。正、負(fù)回歸系數(shù)對(duì)事件{y=1}的出現(xiàn)概率的影響：當(dāng)前21頁，總共41頁。（4）檢驗(yàn)?zāi)Ｐ驼w需要回答兩個(gè)問題：參數(shù)估計(jì)在整體中能多有效地描述定義的回歸模型?是否存在極端觀察個(gè)體，應(yīng)把它看作離群者剔除掉，還是由于其經(jīng)常出現(xiàn)而改變模型？回歸方程的評(píng)價(jià)指標(biāo)：基于對(duì)數(shù)似然函數(shù)的評(píng)價(jià)；偽R2統(tǒng)計(jì)量；分類結(jié)果的評(píng)價(jià)；當(dāng)前22頁，總共41頁。似然比值檢驗(yàn)(LikelihoodRatioTest)該方法將考慮所有解釋變量最大的LL值與所有自變量的回歸系數(shù)都為0且僅考慮常數(shù)項(xiàng)時(shí)所得出的LL值比較若兩偏差的絕對(duì)差較小，則自變量對(duì)區(qū)分y水平的貢獻(xiàn)小；若偏差絕對(duì)差較大，則認(rèn)為自變量的解釋能力強(qiáng)；考慮所有解釋變量時(shí)LL最大值給定數(shù)據(jù)組的零模型的LL最大值LLvLL0當(dāng)前23頁，總共41頁。似然比值檢驗(yàn)（LR檢驗(yàn)）的假設(shè)：H0：所有回歸系數(shù)都等于0H1：所有回歸系數(shù)都不等于0零模型和完整模型的偏差作為檢驗(yàn)統(tǒng)計(jì)量，它近似服從自由度為J（自變量個(gè)數(shù)）的卡方分布在本例中，LL0=30.498，LLv=15.818，卡方值為14.68；卡方表中值5.99（自由度2，α=0.05），故模型是顯著的當(dāng)前24頁，總共41頁。偽R2統(tǒng)計(jì)量偽R2統(tǒng)計(jì)量試圖量化回歸模型中已解釋“變化”比例；通常McF-R2值達(dá)到0.2或0.4以上就已認(rèn)為模型擬合度良好；LR檢驗(yàn)回答了模型顯著性以及結(jié)果能夠運(yùn)用到總體的問題，McF-R使自變量的判別能力總和可用數(shù)值表示，并可在不同模型間相互比較當(dāng)前25頁，總共41頁。Cox&Snell-R2：L0：零模型的似然LV：完整模型的似然K：樣本容量當(dāng)前26頁，總共41頁。Nagelkerke-R2：該值大于0.5時(shí)認(rèn)為模型解釋能力非常好當(dāng)前27頁，總共41頁。分類結(jié)果評(píng)價(jià)將由自變量水平0和1表示的實(shí)際觀察組屬性與由回歸方程算出的概率相比較通常使用概率0.5作為分類的判別值把出現(xiàn)概率Pk(y=1)>0.5的個(gè)體分入人造黃油的購買者(M)，其他分入未購買者(N)當(dāng)前28頁，總共41頁。分類矩陣(Confusion-Matrix)判對(duì)比例(hitratio)=判對(duì)數(shù)目/總數(shù)=20/24=0.833當(dāng)前29頁，總共41頁。如果樣本容量允許，把隨機(jī)樣本分成兩個(gè)子樣本：一個(gè)分析樣本和一個(gè)檢驗(yàn)樣本(Holdout-sample)。分析樣本用于估計(jì)邏輯回歸函數(shù)，然后根據(jù)此函數(shù)將檢驗(yàn)樣本中的元素分類，并計(jì)算判對(duì)比率；當(dāng)前30頁，總共41頁。PressQ檢驗(yàn)該檢驗(yàn)統(tǒng)計(jì)量服從自由度為1的卡方分布取α=0.05，查得臨界值為3.84，故該分類結(jié)果與隨機(jī)分類結(jié)果有顯著差別當(dāng)前31頁，總共41頁。重要模型擬合度評(píng)價(jià)指標(biāo)總結(jié)當(dāng)前32頁，總共41頁。離群者診斷除了說明邏輯回歸方程的整體擬合度外，單個(gè)觀察個(gè)體對(duì)模型整體有效性有何作用也很重要邏輯估計(jì)的模型關(guān)系與調(diào)查數(shù)據(jù)擬合度不佳的基本原因有兩個(gè)：模型不合適；存在許多個(gè)體（觀察值），不具有模型所描述的關(guān)系，并由于其特殊的變量水平明顯偏離結(jié)果；當(dāng)前33頁，總共41頁。對(duì)于第二種情況，通過確定每個(gè)個(gè)體的單獨(dú)殘差可說明在觀察中是否存在“離群者”，對(duì)個(gè)體k殘差如下：通常認(rèn)為殘差絕對(duì)值大于0.5（兩組情況下）為離群者，并導(dǎo)致分類錯(cuò)誤為了更好地辨認(rèn)出此類離群者，采用一種加權(quán)方法，標(biāo)準(zhǔn)化殘差：當(dāng)前34頁，總共41頁。當(dāng)前35頁，總共41頁。對(duì)第三位受訪者，他購買了人造黃油{y=1}，根據(jù)他的評(píng)價(jià)（可涂抹性=6，保質(zhì)期=5），用估計(jì)出來的邏輯方程計(jì)算出購買概率為0.073，其標(biāo)準(zhǔn)化殘差值為3.589，明顯將該受訪者分類錯(cuò)誤必須深入分析離群者的情況，以解釋極端位置的原因，通?？紤]如下原因：（1）受訪者回答問題的方式反常，把該觀察值去除；（2）大的殘差值表明模型的解釋能力差，模型中未考慮重要影響量，需擴(kuò)展或修正模型當(dāng)前36頁，總共41頁。（5）檢驗(yàn)特征變量

似然比檢驗(yàn)LR檢驗(yàn)也可用于與簡(jiǎn)約模型的比較。分別令一個(gè)回歸系數(shù)為0，構(gòu)建不同的簡(jiǎn)約模型，再寫出完整模型（LLV）和一個(gè)簡(jiǎn)約模型（LLR）的-2倍對(duì)數(shù)似然之差相應(yīng)的零假設(shè)為：H0:回歸系數(shù)bj的效應(yīng)為0；H1:回歸系數(shù)bj的效應(yīng)不為0當(dāng)前37頁，總共41頁。完整模型（LLV）和一個(gè)簡(jiǎn)約模型（LLR）的-2倍對(duì)數(shù)似然之差所形成的檢驗(yàn)統(tǒng)計(jì)量服從卡方分布，自由度為兩模型參數(shù)個(gè)數(shù)之差。若僅檢驗(yàn)一個(gè)變量，則自由度等于1當(dāng)前38頁，總共41頁。Wald統(tǒng)計(jì)量分母是bj的標(biāo)準(zhǔn)差W基本服從自由度為1的卡方分布回歸系數(shù)標(biāo)準(zhǔn)誤差Walddf顯著水平可涂抹性保質(zhì)期常數(shù)項(xiàng)-1.9431.1193.5280.7980.5862.3385.9243.6452.2761110.0150.0560.131當(dāng)前39頁，總共41頁。多項(xiàng)邏輯回歸