邏輯回歸模型分析報(bào)告見解

1、1. 邏輯回歸模型1.1邏輯回歸模型考慮具有p個(gè)獨(dú)立變量的向量，設(shè)條件概率為根據(jù)觀測量相對(duì)于某事件發(fā)生的概率。邏輯回歸模型可表示為. ； （ 1.1）上式右側(cè)形式的函數(shù)稱為稱為邏輯函數(shù)。下圖給出其函數(shù)圖象形式。其中二-。如果含有名義變量,則將其變?yōu)閐ummy變量。個(gè)具有k個(gè)取值的名義變量，將變?yōu)?k-1個(gè)dummy變量。這樣，有定義不發(fā)生事件的條件概率為1(1.3)那么，事件發(fā)生與事件不發(fā)生的概率之比為戶（工二|力二F二護(hù)代P（"O|x）-p(1.4)這個(gè)比值稱為事件的發(fā)生比（the odds of experiencing an event）,簡稱為odds。因?yàn)?<p<

2、;1,故odds>0。對(duì)odds取對(duì)數(shù)，即得到線性函數(shù)，呵（:-島8用-"+：一.6州- .'（ 1.5）1.2極大似然函數(shù)假設(shè)有n個(gè)觀測樣本，觀測值分別為 】匚設(shè)一-:-為給定條件下得到一 的概率。在同樣條件下得到二-1的條件概率為 = 0|）=1-。于是,得到一個(gè)觀測值的概率為口打 /'（ 1.6）因?yàn)楦黜?xiàng)觀測獨(dú)立，所以它們的聯(lián)合分布可以表示為各邊際分布的乘積。/（Q二fl加計(jì)1 班勁7（1.7）上式稱為n個(gè)觀測的似然函數(shù)。我們的目標(biāo)是能夠求出使這一似然函數(shù)的值最大的參數(shù)估 計(jì)。于是，最大似然估計(jì)的關(guān)鍵就是求出參數(shù)必二小上'，使上式取得最大值。對(duì)上述

3、函數(shù)求對(duì)數(shù).1I（ 1.8）上式稱為對(duì)數(shù)似然函數(shù)。為了估計(jì)能使匸取得最大的參數(shù)的值。對(duì)此函數(shù)求導(dǎo)，得到 p+1個(gè)似然方程。j.i(1.9)Vrj=1,2,.,p.上式稱為似然方程。為了解上述非線性方程，應(yīng)用牛頓拉斐森（Newton-Raphson）方法進(jìn)行 迭代求解。1.3 牛頓拉斐森迭代法對(duì)二,1求二階偏導(dǎo)數(shù)，即 Hessian矩陣為二心碼（1 羽）J-1(1.10)如果寫成矩陣形式，以H表示Hessian矩陣，X表示耳1？邯（1.11 ）令: - (1(1.12 )u =1殆1%-W4*切*則袈。再令9»11和-%a(注：前一個(gè)矩陣需轉(zhuǎn)置 )，即似然方程的矩陣形式。Av得牛頓迭代

4、法的形式為(1.13)注意到上式中矩陣H為對(duì)稱正定的，求解二 即為求解線性方程HX = U中的矩陣X。對(duì)H進(jìn)行cholesky 分解。最大似然估計(jì)的漸近方差(asymptotic varianee)和協(xié)方差(covarianee)可以由信息矩陣(information matrix)的逆矩陣估計(jì)出來。而信息矩陣實(shí)際上是川二階導(dǎo)數(shù)的負(fù)值，8乜(肉/ 二 1斥表示為疔：。估計(jì)值的方差和協(xié)方差表示為- ',也就是說，估計(jì)值的方差為矩陣I的逆矩陣的對(duì)角線上的值，而估計(jì)值-;和- 的協(xié)方差為除了對(duì)角線以外的值。然而在多數(shù)情況，我們將使用估計(jì)值"的標(biāo)準(zhǔn)方差，表示為2上'】忙 -，

5、for j=o,1,2,p (1.14 )2. 顯著性檢驗(yàn)下面討論在邏輯回歸模型中自變量 'i是否與反應(yīng)變量顯著相關(guān)的顯著性檢驗(yàn)。零假設(shè) '* = 0 (表示自變量 '對(duì)事件發(fā)生可能性無影響作用)。如果零假設(shè)被拒絕，說明事件發(fā)生可能性依賴于、的變化。2.1 Wald testWald檢驗(yàn)，其公式為對(duì)回歸系數(shù)進(jìn)行顯著性檢驗(yàn)時(shí)，通常使用(2.1 )爲(wèi)磁(&)F其中， 浪紗為A 的標(biāo)準(zhǔn)誤差。這個(gè)單變量 Wald統(tǒng)計(jì)量服從自由度等于1的分布。如果需要檢驗(yàn)假設(shè) 匚：止：匚；'?。? 0,計(jì)算統(tǒng)計(jì)量肛二刖磁（夕）F(2.2 )其中，：為去掉所在的行和列的估計(jì)值，相應(yīng)

6、地，為去掉 所在的行和列的標(biāo) 準(zhǔn)誤差。這里， Wald統(tǒng)計(jì)量服從自由度等于 p的分布。如果將上式寫成矩陣形式，有（2.3）矩陣Q是第一列為零的一常數(shù)矩陣。例如，如果檢驗(yàn)',則然而當(dāng)回歸系數(shù)的絕對(duì)值很大時(shí)，這一系數(shù)的估計(jì)標(biāo)準(zhǔn)誤就會(huì)膨脹，于是會(huì)導(dǎo)致Wald統(tǒng)計(jì)值變得很小，以致第二類錯(cuò)誤的概率增加。也就是說，在實(shí)際上會(huì)導(dǎo)致應(yīng)該拒絕零假設(shè)時(shí)卻未能拒絕。所以當(dāng)發(fā)現(xiàn)回歸系數(shù)的絕對(duì)值很大時(shí)，就不再用 Wald統(tǒng)計(jì)值來檢驗(yàn)零假設(shè)，而應(yīng)該使用似然比檢驗(yàn)來代替。2.2 似然比(Likelihood ratio test )檢驗(yàn)在一個(gè)模型里面，含有變量與不含變量的對(duì)數(shù)似然值乘以-2的結(jié)果之差，服從分布。這一

7、檢驗(yàn)統(tǒng)計(jì)量稱為似然比（likelihood ratio），用式子表示為G = -2fa(不含石似然） 含有召似然丿(2.4)計(jì)算似然值采用公式（1.8 ）。倘若需要檢驗(yàn)假設(shè)=0,計(jì)算統(tǒng)計(jì)量(2.5 )+>i Ji'.! .1-4 JiF昇-呻咸1上式中， 表示I =0的觀測值的個(gè)數(shù)，而 表示丄 1的觀測值的個(gè)數(shù)，那么 n就表示 所有觀測值的個(gè)數(shù)了。實(shí)際上，上式的右端的右半部分'.-1 ;1 _- 表示只含有的似然值。統(tǒng)計(jì)量 G服從自由度為p的；分布2.3 Score 檢驗(yàn)在零假設(shè)"1 ： - = 0下，設(shè)參數(shù)的估計(jì)值為-工，即對(duì)應(yīng)的"=0。計(jì)算Scor

8、e統(tǒng)計(jì) 量的公式為(2.6 )上式中，.山：；表示在"=0下的對(duì)數(shù)似然函數(shù)(1.9 )的一價(jià)偏導(dǎo)數(shù)值，而：學(xué) 表示在一=0下的對(duì)數(shù)似然函數(shù)(1.9 )的二價(jià)偏導(dǎo)數(shù)值。Score統(tǒng)計(jì)量服從自由度等于1的 / 分布。2.4 模型擬合信息模型建立后，考慮和比較模型的擬合程度。有三個(gè)度量值可作為擬合的判斷根據(jù)。(1) -2LogLikelihood簡寫為AIC)(2) Akaike 信息準(zhǔn)則(Akaike In formation Criterio n.AlC = -2LogL+2(K+S)(2.8)S=2-1=1。其中K為模型中自變量的數(shù)目，S為反應(yīng)變量類別總數(shù)減1,對(duì)于邏輯回歸有-2Lo

9、gL的值域?yàn)?至二，其值越小說明擬合越好。當(dāng)模型中的參數(shù)數(shù)量越大時(shí)，似然值也就越大，-2LogL就變小。因此，將2(K+S)加到AIC公式中以抵銷參數(shù)數(shù)量產(chǎn)生的影響。在其它條件不變的情況下，較小的AIC值表示擬合模型較好。(3) Schwarz 準(zhǔn)則這一指標(biāo)根據(jù)自變量數(shù)目和觀測數(shù)量對(duì)-2LogL值進(jìn)行另外一種調(diào)整。SC指標(biāo)的定義為SC 二-2 必四+2(K+S)恤(2.9)其中l(wèi)n(n)是觀測數(shù)量的自然對(duì)數(shù)。這一指標(biāo)只能用于比較對(duì)同一數(shù)據(jù)所設(shè)的不同模型。在 其它條件相同時(shí)，一個(gè)模型的AIC或SC值越小說明模型擬合越好。3. 回歸系數(shù)解釋3.1發(fā)生比odds=p/(1-p)率(odds rati

10、 on).Y(1)連續(xù)自變量。對(duì)于自變量，每增加一個(gè)單位，odds rati on 為(3.1)(2)二分類自變量的發(fā)生比率。變量的取值只能為0或1,稱為dummy variable。當(dāng) i 取值為1，對(duì)于取值為0的發(fā)生比率為(3.2)亦即對(duì)應(yīng)系數(shù)的幕。(3)分類自變量的發(fā)生比率。如果一個(gè)分類變量包括 m個(gè)類別，需要建立的dummyvariable的個(gè)數(shù)為m-1,所省略的那個(gè)類另U稱作參照類 (reference category) 。設(shè) dummy variable為，其系數(shù)為照類，其發(fā)生比率為1。3.2邏輯回歸系數(shù)的置信區(qū)間對(duì)于置信度1-亠，參數(shù) 的100% (1 - _：)的置信區(qū)間為上

11、式中，：為與正態(tài)曲線下的臨界乙值(critical valueA為系數(shù)估計(jì)代的以-£席x s卷A+迓x翌標(biāo)準(zhǔn)誤差，.和f ft-'兩值便分別是置信區(qū)間的下限和上限。當(dāng)樣本較大時(shí)，= 0.05水平的系數(shù)-：的95%置信區(qū)間為A±1 河%( 3.4 )4. 變量選擇4.1 前向選擇(forward select ion 一次一個(gè)地加入模型。):在截距模型的基礎(chǔ)上，將符合所定顯著水平的自變量(1)具體選擇程序如下常數(shù)(即截距)進(jìn)入模型。(2)(3)根據(jù)公式(2.6 )計(jì)算待進(jìn)入模型變量的Score檢驗(yàn)值，并得到相應(yīng)的P值。找出最小的p值，如果此p值小于顯著性水平,則此變量

12、進(jìn)入模型。如果此變量 是某個(gè)名義變量的單面化 (dummy)變量，則此名義變量的其它單面化變理同時(shí)也進(jìn)入模型。 不然，表明沒有變量可被選入模型。選擇過程終止。(4) 回到(2)繼續(xù)下一次選擇。4.2后向選擇(backward selection ):在模型包括所有候選變量的基礎(chǔ)上，將不符合保留 要求顯著水平的自變量一次一個(gè)地刪除。具體選擇程序如下(1)所有變量進(jìn)入模型。 根據(jù)公式(2.1 )計(jì)算所有變量的 Wald檢驗(yàn)值，并得到相應(yīng)的p值。(3) 找出其中最大的p值，如果此P值大于顯著性水平、則此變量被剔除。對(duì)于某個(gè)名義變量的單面化變量，其最小p值大于顯著性水平，則此名義變量的其它單面化變量也

13、 被刪除。不然，表明沒有變量可被剔除，選擇過程終止。(4) 回到(2)進(jìn)行下一輪剔除。4.3 逐步回歸(stepwise selection)(1)基本思想：逐個(gè)引入自變量。每次引入對(duì)Y影響最顯著的自變量，并對(duì)方程中的老變量逐個(gè)進(jìn)行檢驗(yàn)，把變?yōu)椴伙@著的變量逐個(gè)從方程中剔除掉，最終得到的方程中既不漏掉對(duì)Y影響顯著的變量，又不包含對(duì)Y影響不顯著的變量。 篩選的步驟：首先給出引入變量的顯著性水平和剔除變量的顯著性水平“，然后按下圖篩選變量。乳7=工士 、 -2JY>、叫用丄I引小魚I(亦爲(wèi)£J一亠-.-卽冷J. I(3)逐步篩選法的基本步驟逐步篩選變量的過程主要包括兩個(gè)基本步驟：一是

14、從不在方程中的變量考慮引入新變量的步驟；二是從回歸方程中考慮剔除不顯著變量的步驟。假設(shè)有p個(gè)需要考慮引入回歸方程的自變量. 設(shè)僅有截距項(xiàng)的最大似然估計(jì)值為二。對(duì)p個(gè)自變量每個(gè)分別計(jì)算Score檢驗(yàn)值，設(shè)有最小p值的變量為-，且有“1 / 1，對(duì)于單面化(dummy)變量，也如此。若5 <血 ，則此變量進(jìn)入模型，不然停止。如果此變量是名義變量單面化(dummy)的變量,則此名義變量的其它單面化變量也進(jìn)入模型。其中為引入變量的顯著性水平。 為了確定當(dāng)變量在模型中時(shí)其它p-1個(gè)變量也是否重要，將/ -分 別與進(jìn)行擬合。對(duì)p-1個(gè)變量分別計(jì)算 Score檢驗(yàn)值，其p值設(shè)為I。設(shè)有最小p值的 變量為,且有 二唄內(nèi)）.若他 < 兔 ，則進(jìn)入下一步，不然停止。對(duì)于單面化變量，其方式如同上步。 此步開始于模型中已含有變量< 與；I。注意到有可能在變量被引入后，變量2不再重要。本步包括向后刪除。根據(jù) （2.1）計(jì)算變量與：I的Wald檢驗(yàn)