第十二章Logistic回歸分析

1、logit（P）= ln（±）=B o+B * 1 x 1 + , + B n x n第十二章Logistic 回歸分析一、Logistic 回歸概述：Logistic 回歸主要用于篩選疾病的危險(xiǎn)因素、預(yù)后因素或評價(jià)治療措施； 通常以疾病的死亡、痊愈等結(jié)果發(fā)生的概率為因變量，以影響疾病發(fā)生和預(yù)后的 因素為自變量建立模型。、Logistic回歸的分類及資料類型：第一節(jié)非條件Logistic回歸分析、Logistic回歸模型：Logistic 回歸模型：exp（ ：i Xi 亠pX p）p 二1 +exp（ Bo + Bi X i i + PpX p）1二、回歸系數(shù)的估計(jì)(參數(shù)估計(jì))：回

2、歸模型的參數(shù)估計(jì)通常利用最大似然估回歸模型的參數(shù)估計(jì)：Logistic 計(jì)法。二、假設(shè)檢驗(yàn)：1. Logistic 回歸方程的檢驗(yàn)：檢驗(yàn)?zāi)Ｐ椭兴凶宰兞空w來看是否與所研究事件的對數(shù)優(yōu)勢比存在線性 關(guān)系，也即方程是否成立。檢驗(yàn)的方法有似然比檢驗(yàn)、比分檢驗(yàn)(score test )和Wald檢驗(yàn)(wald test )。 上述三種方法中，似然比檢驗(yàn)最可靠。似然比檢驗(yàn)(likehood ratio test ):通過比較包含與不包含某一個(gè)或幾 個(gè)待檢驗(yàn)觀察因素的兩個(gè)模型的對數(shù)似然函數(shù)變化來進(jìn)行，其統(tǒng)計(jì)量為 G=-2l n(L)(又稱Devia nee )。無效假設(shè)HO： B =0。當(dāng)H0成立時(shí)，檢

3、驗(yàn)統(tǒng)計(jì)量 G 近似服從自由度為N-P-1的X1亠e分布。當(dāng)G大于臨界值時(shí)，接受H,拒絕無效假設(shè)， 認(rèn)為從整體上看適合作Logistic回歸分析，回歸方程成立。2. Logistic 回歸系數(shù)的檢驗(yàn)：為了確定哪些自變量能進(jìn)入方程，還需要對每個(gè)自變量的回歸系數(shù)進(jìn)行假 設(shè)檢驗(yàn)，判斷其對模型是否有貢獻(xiàn)。檢驗(yàn)方法常用 WaldX檢驗(yàn)，無效假設(shè)H0 B =0。當(dāng)X2大于臨界值時(shí)，拒 絕無效假設(shè)，自變量能進(jìn)入方程。3 Logistic 回歸模型的擬合優(yōu)度檢驗(yàn)：Logistic 回歸模型的擬合優(yōu)度檢驗(yàn)是通過比較模型預(yù)測的與實(shí)際觀測的事 件發(fā)生與不發(fā)生的頻數(shù)有無差別來進(jìn)行檢驗(yàn)。 如果預(yù)測的值與實(shí)際觀測的值越接

4、近，說明模型的擬合效果越好。模型的擬合優(yōu)度檢驗(yàn)方法有偏差檢驗(yàn)(Devia nee )、皮爾遜(pearson )檢 驗(yàn)、統(tǒng)計(jì)量(Homser-Lemeshow),分別計(jì)算統(tǒng)計(jì)量 XD Xp、Xl值。統(tǒng)計(jì)量值越小， 對應(yīng)的概率越大。無效假設(shè) H0:模型的擬合效果好。模型擬合優(yōu)度信息指標(biāo)有：-2lnL、AIC、SC這3個(gè)指標(biāo)越小表示模型擬 合的越好。四、Logistie 回歸模型的預(yù)測準(zhǔn)確度： 常用的有以下 2 種：1廣義決定系數(shù)氏：2 預(yù)測準(zhǔn)確率:五、回歸系數(shù)的意義：利用參數(shù)和優(yōu)勢比探討影響因素。當(dāng)B i =0,優(yōu)勢比OR=1時(shí)，表示自變量X對是否出現(xiàn)陽性結(jié)果不存在影響；當(dāng) B i工0,優(yōu)勢比0

5、寺1時(shí)，表示自變 量X對是否出現(xiàn)陽性結(jié)果有影響。B i >0，OR增加是危險(xiǎn)因素，B i v0，OR 減小是保護(hù)因素。六、Logistie 回歸分析方法： 從所用的方法看，有強(qiáng)迫法、前進(jìn)法、后退法和逐步法。在這些方法中，篩 選變量的過程與線性回歸過程的完全一樣。七、Logistie 回歸的應(yīng)用：1醫(yī)學(xué)中 Logistie 回歸主要用于篩選疾病的危險(xiǎn)因素或預(yù)后因素， 進(jìn)行病 因?qū)W分析2控制和校正混雜因素。第二節(jié) 條件 Logistie 回歸分析(略)第十三章 主成分分析與因子分析第一節(jié) 主成分分析1概念：主成分分析是從多個(gè)數(shù)值變量（指標(biāo)）之間的相互關(guān)系入手，利 用降維的思想，將多個(gè)變量（指

6、標(biāo)）化為少數(shù)幾個(gè)互不相關(guān)的綜合變量（指標(biāo)） 的統(tǒng)計(jì)方法。2主成分線性模型：z1=a11X1+ a 12X2+,+ az2=a21X1+ a 22X2+,+ a1mXm2mXmzJJJm=am1X1+ a m2X2+,+ ammXm主成分分析的基本思想： 主成分分析就是設(shè)法將原來眾多具有一定相關(guān)性的 指標(biāo)，重新組合成一組新的相互無關(guān)的綜合指標(biāo)， 來代替原來指標(biāo)。 通常數(shù)學(xué)上 的處理就是將原來 k 個(gè)指標(biāo)做線性組合，作為新的綜合指標(biāo)， （ 即幾個(gè) Z1、Z2, Zm）。如果將第一個(gè)線性組合即第一個(gè)綜合指標(biāo)記為 乙，則希望Z1盡可能多地反 映原來指標(biāo)的信息，這里的方法就是用方差來表達(dá)，即（Z1）S2

7、Z1 方差越大，表示乙包含的信息越多。因此，在所有的線性組合中所選取的乙應(yīng)該是方差最大的，故稱 Z1 為第一主成分。第一主成分不足以代表原來 K個(gè)指標(biāo)的信息時(shí)，再考慮選取Z2,乙已有的信 息不需要再出現(xiàn)在 乙中。以此類推可以構(gòu)造出第三， 四個(gè)主成分， , 。 這些主成分不僅不相關(guān)， 而 且他們的方差依次遞減。因此在實(shí)際工作中，就挑選前幾個(gè)最大主成分。3主成分分析步驟：（1）對原始指標(biāo)進(jìn)行標(biāo)準(zhǔn)化；（2）求協(xié)方差或相關(guān)矩陣；（3）求出協(xié)方差矩陣的特征根和特征向量；（4）確定主成分，并結(jié)合專業(yè)知識(shí)給各個(gè)主成分的信息給予解釋4主成分的性質(zhì)：（1）各主成分互不相關(guān) , 兩個(gè)主成分間相關(guān)系數(shù)等于零；（2）

8、 各主成分的方差依次遞減；Szi> Sz2> Sz3, > Szn> 0（3）總方差保持不變。即各個(gè)原指標(biāo)的方差之和與各主成分的方差之和相等。2 2 2 ( 4) ai1 +ai2 +, +aim =15主成分模型中的統(tǒng)計(jì)量：(1) 特征根(值)入：表示主成分Z的方差。它是主成分影響力度的指標(biāo), 代表某主成分可以解釋平均多少原始變量信息。(2) 貢獻(xiàn)率：表示某主成分的方差在全部方差中的比重。貢獻(xiàn)率越大,表 示該主成分綜合原變量的能力越強(qiáng)。貢獻(xiàn)率=入/工入( 3)累計(jì)貢獻(xiàn)率：表示前幾個(gè)主成分累計(jì)提取原變量多少信息。前幾個(gè)主 成分累計(jì)貢獻(xiàn)率越大,表示包含原變量的信息越多。累

9、計(jì)貢獻(xiàn)率=2 (入/工入)(4) 特征向量(因子載荷、因子負(fù)載)a：實(shí)質(zhì)是公因子F與變量X的相關(guān) 系數(shù)，表示變量X依賴因子F的程度，反映變量X對公因子F的重要性。在主成 分分析中，可理解為反映主成分Z與變量X之間的相關(guān)系數(shù)，反映兩者間相關(guān)密 切程度。a = r5. 主成分個(gè)數(shù)：(1) 以累計(jì)貢獻(xiàn)率確定：大于 7080% ( 2)以特征值確定：大于 1 則保留。第二節(jié) 因子分析1 概念：因子分析是從分析多個(gè)原始指標(biāo)的相關(guān)關(guān)系入手，找出支配這種 相關(guān)關(guān)系的有限個(gè)不可觀測的潛在變量， 并用這些潛在變量來解釋原始指標(biāo)之間 相關(guān)性或協(xié)方差關(guān)系。1 ）因子線性模型：Xi=aii Fi+ a 12F2+,+

10、 a inFm+ £ 1X?=92lFl + a 22F2+,+ a 2mF m+ £ 2Xm=am1F 1+ a m2 F 2+,+ ammFm+£其中：x為變量指標(biāo)。 a 為因子載荷。 F為公因子。為特殊因子，代表公因子以外的影響因素(2) 因子線性模型特點(diǎn)：因子線性模型不受量綱的影響；因子載荷不是唯一的，通過因子軸旋轉(zhuǎn)，可得到新的因子載荷陣。(3) 模型要求：各X、各公因子F的均數(shù)均為0,方差均為1;各特殊因子&的均數(shù)為0;各公因子之間的相關(guān)系數(shù)、 各特殊因子之間的相關(guān)系數(shù)、 各公因子與各特 殊因子之間的相關(guān)系數(shù)均為 0。2. 因子模型中的統(tǒng)計(jì)量：(

11、1) 公共度(公因子方差)：h2=X a2,反映全體公因子對原始指標(biāo) X的影響， 或反映原始指標(biāo)X對全體公因子的依賴程度，表示各變量中原始信息被公因子表 示的程度。公共度取值范圍在 0和1 之間，當(dāng)公共度接近 0時(shí)，表示原始指標(biāo) X 受公因子的影響不大。(2) KMO僉驗(yàn)：用于檢驗(yàn)變量間的偏相關(guān)性，取值范圍在0和1之間，當(dāng) 統(tǒng)計(jì)量越接近 1 時(shí)，變量的間偏相關(guān)性越強(qiáng)，因子分析效果越好。(3) 因子旋轉(zhuǎn)：因子旋轉(zhuǎn)的目的是使某些變量在某個(gè)因子上的負(fù)載較高， 而在其它因子上的負(fù)載則顯著的低， 這事實(shí)上是依據(jù)因子對變量進(jìn)行更好的“聚 類”。為使因子載荷矩陣中系數(shù)更加明顯， 對初始因子載荷矩陣進(jìn)行旋轉(zhuǎn)，

12、 使得 因子和原始變量間的關(guān)系重新分配， 相關(guān)系數(shù)向 0-1 分化，使得各因子的意義更 加明顯。正交旋轉(zhuǎn)( orthogonal rotation )和斜交旋轉(zhuǎn)( oblique rotation )是因 子旋轉(zhuǎn)的兩類方法。3計(jì)算并檢驗(yàn)協(xié)方差(相關(guān))矩陣因子分析基于變量間的協(xié)方差矩陣。 換言之， 包含在因子分析中的變量必 須具有一定的相關(guān)性， 如果變量間不存在相關(guān)， 或者相關(guān)性很小， 那么因子分析 將不是一種合適的分析方法。檢驗(yàn)方法：巴特利特球體檢驗(yàn)和KMOffl度。巴特利特球體檢驗(yàn)( Bartlett 's test of sphericity )可以用來檢驗(yàn)變量 間是否存在相關(guān)。

13、它是一種建立在協(xié)方差陣是單位陣 (即變量間不相關(guān)) 的假設(shè) 基礎(chǔ)之上的檢驗(yàn)。 一個(gè)大的檢驗(yàn)值通常意味著檢驗(yàn)結(jié)果的顯著性， 因此可以拒絕 原假設(shè)，可以進(jìn)行因子分析，否則應(yīng)該慎重考慮。«皿0度(Kaiser-Meyer-Olkin measure of sampling adequacy) ，它比較了觀測到的變量間的相關(guān)系數(shù)和偏相關(guān)系數(shù)的大小。一個(gè)大的kmOM度值同樣 支持我們進(jìn)行因子分析。一般而言，KMO測度0.5意味著因子分析可以進(jìn)行， 而在 0.7 以上則是令人滿意的值。 選擇因子分析的方法( method of factor analysis ) 主成分分析法( principa

14、l component analysis )和公因子分析法( common factor analysis )是兩種主要的尋找公因子的方法。5. 各公因子的表達(dá)式：F1=a11X1+ a 12X2+,+ a 1mXmF2=a21X1+ a 22X2+,+ a 2mXmF m=am1X1+ a m2X2+,+ ammXm因子得分 : 如果后續(xù)分析需要， 如進(jìn)行回歸分析等等， 通常需要進(jìn)一步計(jì)算 各公因子的因子得分。即給出各因子在每一個(gè)案例(case )上的值。6. 模型的適合度 :因子分析的最后， 應(yīng)該對構(gòu)建的模型是否適合問題本身有一個(gè)認(rèn)識(shí)， 這就涉 及到模型的適合度的判斷。這種判斷常?；跉埐罹仃嚩M(jìn)行。因子模型建立，有了因子負(fù)載后，我們就可以計(jì)算的觀測變量的方差 - 協(xié)方 差陣，這種由公因子再生的方差 -協(xié)方差陣( repro