有序多分類(lèi)邏輯斯蒂回歸模型

關(guān)于有序多分類(lèi)邏輯斯蒂回歸模型第一頁(yè)，共三十二頁(yè)，編輯于2023年，星期一Logistic回歸因變量二項(xiàng)Logistic回歸多項(xiàng)Logistic回歸有序回歸Probit回歸第二頁(yè)，共三十二頁(yè)，編輯于2023年，星期一第14章有序回歸

（有序多分類(lèi)因變量Logistic回歸）14.1有序回歸的基本思想14.2有序回歸的案例分析第三頁(yè)，共三十二頁(yè)，編輯于2023年，星期一研究中常遇到反應(yīng)變量為有序多分類(lèi)（k>2）的資料，如城市綜合競(jìng)爭(zhēng)力等級(jí)、滿(mǎn)意度等可以劃分為低、中、高。與名義多分類(lèi)因變量有所不同，定性有序多分類(lèi)因變量采用累積logit模型，該模型可利用有序這一特點(diǎn)，得到比基線-類(lèi)別有更簡(jiǎn)單解釋的模型。Y的累積概率是指Y落在一個(gè)特定點(diǎn)的概率，對(duì)結(jié)果為類(lèi)別j時(shí)，其累積概率為：累積概率滿(mǎn)足：累積概率的模型并不利用最后一個(gè)概率，因?yàn)樗厝坏扔?14.1有序回歸的基本思想第四頁(yè)，共三十二頁(yè)，編輯于2023年，星期一pj=p(y≤j|x)，它表示y

取前j

個(gè)值的累積概率。累積概率函數(shù)：14.1有序回歸的基本思想J等級(jí)分為兩類(lèi)：{1,,j}與{j+1,,k}在這兩類(lèi)的基礎(chǔ)上定義的logit表示:屬于后k-j個(gè)等級(jí)的累積概率與前j個(gè)等級(jí)的累積概率的優(yōu)勢(shì)的對(duì)數(shù)，故該模型稱(chēng)為累積優(yōu)勢(shì)模型(cumulativeoddsmodel)。第五頁(yè)，共三十二頁(yè)，編輯于2023年，星期一第一個(gè)模型表示了y

取第一個(gè)值的概率p1與x的關(guān)系；第二個(gè)模型表示了y取前兩個(gè)值的累積概率p2與x的關(guān)系。這兩個(gè)模型的常數(shù)項(xiàng)不同，回歸系數(shù)完全相同的。y

取第一個(gè)值的概率p(1)=p1

，y

取第二個(gè)值的概率p(2)=p2-p1，y

取第三個(gè)值的概率p(3)=1-p2

。它們的截距不同，斜率相同，所以是J-1條平行直線族。多值因變量logistic回歸模型要求進(jìn)行數(shù)據(jù)的平行性檢驗(yàn)。第六頁(yè)，共三十二頁(yè)，編輯于2023年，星期一平行性檢驗(yàn)（只適用于位置模型/位置參數(shù)/斜率系數(shù)）當(dāng)因變量維多值變量時(shí)，模型包含多個(gè)回歸方程。Logistic回歸分析要求這多個(gè)回歸方程中自變量的系數(shù)是相等的。因此需要做平行行檢驗(yàn)，也稱(chēng)為比例比數(shù)假設(shè)檢驗(yàn)（testfotheproportionaloddsassumption），使用的方法是計(jì)分檢驗(yàn)法。當(dāng)P>a時(shí)，接受平行的原假設(shè)。否則，應(yīng)該將因變量的某些值進(jìn)行合并，減少因變量的取值個(gè)數(shù)，使得多值變量logistic回歸模型平行性成立。還可以嘗試其他鏈接函數(shù)。如果各種連接函數(shù)都無(wú)法滿(mǎn)足平行性假定，則需要考慮回歸系數(shù)是否會(huì)隨著分割點(diǎn)而發(fā)生改變。此時(shí)最好使用無(wú)序多分類(lèi)的Logistic回歸進(jìn)行模型擬合，然后再根據(jù)系數(shù)估計(jì)值考慮如何進(jìn)行處理。第七頁(yè)，共三十二頁(yè)，編輯于2023年，星期一以4水平的反應(yīng)變量為例，假設(shè)反應(yīng)變量的取值為1、2、3、4，相應(yīng)取值水平的概率為p1、p2、p3、p4，則此時(shí)進(jìn)行Logit變換的分別為p1、p1+p2、p1+p2+p3，對(duì)k個(gè)自變量擬合三個(gè)模型如下:常數(shù)項(xiàng)不同，回歸系數(shù)完全相同的張文彤版本的常數(shù)項(xiàng)前均為負(fù)號(hào)第八頁(yè)，共三十二頁(yè)，編輯于2023年，星期一根據(jù)上述公式，可以分別求出：第九頁(yè)，共三十二頁(yè)，編輯于2023年，星期一由上述建立的模型可以看出，這種模型實(shí)際上是依次將反應(yīng)變量按不同的取值水平分割成兩個(gè)等級(jí)，對(duì)這兩個(gè)等級(jí)建立反應(yīng)變量為二分類(lèi)的Logistic回歸模型。不管模型中反應(yīng)變量的分割點(diǎn)在什么位置，模型中各自變量的系數(shù)都保持不變，所改變的只是常數(shù)項(xiàng)。此時(shí)求出的OR值表示自變量每改變一個(gè)單位，反應(yīng)變量提高一個(gè)及一個(gè)以上等級(jí)的比數(shù)比。張文彤認(rèn)為，這里擬合的模型中常數(shù)項(xiàng)之前的符號(hào)應(yīng)當(dāng)是“負(fù)號(hào)”，原因在于此處的常數(shù)項(xiàng)正好表示低級(jí)別和高級(jí)別相比的情況，且必然有，但由于研究者主要關(guān)心的是各參數(shù)（系數(shù)）的大小，因此這種差異影響不大。并且由SPSS給出的系數(shù)無(wú)需再添加符號(hào)。第十頁(yè)，共三十二頁(yè)，編輯于2023年，星期一某大學(xué)醫(yī)院外科采用兩種不同的繃帶和兩種不同的包扎方式進(jìn)行腿潰瘍的治療處理。治療的結(jié)果分三種：不愈、有效和痊愈。試分析治療方法對(duì)治療效果的影響。設(shè)因變量y表示治療效果，0=不愈、1=有效、2=痊愈。設(shè)自變量x1表示繃帶種類(lèi)，自變量x2

表示包扎方式。對(duì)于多值因變量模型，平行性假設(shè)決定了每個(gè)自變量的OR值對(duì)于前k-1個(gè)模型是相同的。例如，變量x1的OR=5.172，它表示使用第一種繃帶治愈腿潰瘍的可能性是使用第二種繃帶的5.172倍；它也表示使用第一種繃帶至少有效的可能性是使用第二種繃帶的5.172倍。第十一頁(yè)，共三十二頁(yè)，編輯于2023年，星期一14.1有序回歸的基本思想有序回歸模型的類(lèi)型：

當(dāng)定性因變量y取k個(gè)順序類(lèi)別時(shí)，記為1，2，…，k，這里的數(shù)字1，2，…，k僅表示順序的大小。因變量y取值于每個(gè)類(lèi)別的概率仍與一組自變量x1,x2,…,xk有關(guān)，對(duì)于樣本數(shù)據(jù)(xi1,xi2,…,xip

;yi)，i=1,2,…,n，順序類(lèi)別回歸模型有兩種主要類(lèi)型，位置結(jié)構(gòu)（Locationcomponent）模型，位置模型，定位模型規(guī)模結(jié)構(gòu)（Scalecomponent）模型，尺度模型，定量模型第十二頁(yè)，共三十二頁(yè)，編輯于2023年，星期一

位置結(jié)構(gòu)模型（位置模型/定位模型）：（1）

規(guī)模結(jié)構(gòu)模型(尺度模型/度量模型,Scale)：其中z是x1,x2,…,xp的一個(gè)子集，作為規(guī)模結(jié)構(gòu)解釋變量，（2）第十三頁(yè)，共三十二頁(yè)，編輯于2023年，星期一第十四頁(yè)，共三十二頁(yè)，編輯于2023年，星期一14.2有序回歸的案例分析例：對(duì)某地人群調(diào)查其對(duì)所從事的工作是否滿(mǎn)意，可能的影響因素有:年齡、性別、年收入水平、文化程度。變量的賦值情況見(jiàn)下表，數(shù)據(jù)見(jiàn)文件satisfy.sav。試進(jìn)行統(tǒng)計(jì)分析。變量的賦值情況如下：第十五頁(yè)，共三十二頁(yè)，編輯于2023年，星期一警告信息說(shuō)明自變量的各種取值水平組合中有多少其觀察頻數(shù)為0。由于數(shù)據(jù)庫(kù)中變量age為連續(xù)性變量，所以這個(gè)比例顯得較大，此種情況下屬于正?，F(xiàn)象。反應(yīng)變量與離散自變量不同取值水平的邊際頻數(shù)分布第十六頁(yè)，共三十二頁(yè)，編輯于2023年，星期一對(duì)模型中是否所有自變量偏回歸系數(shù)全為0進(jìn)行似然比檢驗(yàn)（判斷規(guī)則：P<a，擬合較好），結(jié)果P<0.001，說(shuō)明至少有一個(gè)自變量的偏回歸系數(shù)不為0。即：擬合包含年齡、性別、年收入水平、文化程度4個(gè)自變量的模型其擬合優(yōu)度好于僅包含常數(shù)項(xiàng)的模型。第十七頁(yè)，共三十二頁(yè)，編輯于2023年，星期一是Pearson和Deviance兩種擬合優(yōu)度檢驗(yàn)結(jié)果。判定規(guī)則：卡方值很小或者P>a，擬合較好。當(dāng)自變量很多或者自變量中存在連續(xù)性變量時(shí)，這兩個(gè)統(tǒng)計(jì)量不太適用。這兩個(gè)統(tǒng)計(jì)量有個(gè)致命的缺點(diǎn)是對(duì)于自變量取值水平組合的實(shí)際觀察頻數(shù)為0的比例十分敏感，如果上述比例過(guò)高，這兩個(gè)統(tǒng)計(jì)量不一定仍舊服從卡方分布，因而基于卡方分布計(jì)算的P值也不可信。即：這兩個(gè)統(tǒng)計(jì)量不一定能真實(shí)地反映模型擬合情況。當(dāng)自變量中存在連續(xù)性變量時(shí)，如本例中的年齡，常會(huì)導(dǎo)致上述比例過(guò)高。與上述兩個(gè)統(tǒng)計(jì)量相比，似然比卡方則要穩(wěn)健得多。本例兩個(gè)統(tǒng)計(jì)量對(duì)應(yīng)的P值均小于0.050第十八頁(yè)，共三十二頁(yè)，編輯于2023年，星期一第十九頁(yè)，共三十二頁(yè)，編輯于2023年，星期一14.2有序回歸的案例分析例：分析債權(quán)人如何確定申請(qǐng)者信用風(fēng)險(xiǎn)的問(wèn)題，SPSS自帶數(shù)據(jù)文件“信譽(yù)評(píng)價(jià)數(shù)據(jù).sav”因變量Chist（賬目情況）取值：沒(méi)有貸款歷史、現(xiàn)在沒(méi)有貸款、正在償還、逾期償還、拖欠貸款因子一般為分類(lèi)變量協(xié)變量一般為連續(xù)變量，也可以為二分類(lèi)變量第二十頁(yè)，共三十二頁(yè)，編輯于2023年，星期一鏈接：指定鏈接函數(shù)(聯(lián)系函數(shù)、連接函數(shù)),即對(duì)模型估計(jì)中的累積概率的轉(zhuǎn)換函數(shù)，根據(jù)因變量（反應(yīng)變量）的情況選擇補(bǔ)充對(duì)數(shù)—對(duì)數(shù)負(fù)對(duì)數(shù)—對(duì)數(shù)第二十一頁(yè)，共三十二頁(yè)，編輯于2023年，星期一輸出偽R方檢驗(yàn)系數(shù)在各響應(yīng)類(lèi)別中是否相同，僅適用于位置模型輸出累積頻數(shù)、概率的殘差、觀測(cè)概率、預(yù)測(cè)概率等內(nèi)容把觀測(cè)記錄按因變量進(jìn)行分類(lèi)的估計(jì)概率，有幾個(gè)水平就保存幾個(gè)變量保存最大的估計(jì)響應(yīng)概率保存預(yù)測(cè)正確時(shí)的估計(jì)響應(yīng)概率保存模型的預(yù)測(cè)響應(yīng)分類(lèi)第二十二頁(yè)，共三十二頁(yè)，編輯于2023年，星期一位置模型設(shè)置：用于指定定位模型中的各種效應(yīng)第二十三頁(yè)，共三十二頁(yè)，編輯于2023年，星期一尺度模型設(shè)置：設(shè)置與尺度模型有關(guān)的參數(shù)第二十四頁(yè)，共三十二頁(yè)，編輯于2023年，星期一案例處理摘要：可以看出，本例在鏈接函數(shù)的選擇上，可以選擇補(bǔ)充對(duì)數(shù)——對(duì)數(shù)，也可以選擇Cauchit鏈接函數(shù)主要輸出結(jié)果第二十五頁(yè)，共三十二頁(yè)，編輯于2023年，星期一主要輸出結(jié)果說(shuō)明最終模型要優(yōu)于只含截距的模型，即模型顯著成立由于本例模型包含連續(xù)變量，故空單元格較多，影響了統(tǒng)計(jì)量的計(jì)算和有效性。因此，本例基于卡方檢驗(yàn)的擬合優(yōu)度統(tǒng)計(jì)量不太可信第二十六頁(yè)，共三十二頁(yè)，編輯于2023年，星期一系數(shù)大都不夠顯著，原因可能是因變量的分類(lèi)順序不對(duì)，也可能是因?yàn)殒溄雍瘮?shù)選擇不理想。若協(xié)變量的參數(shù)估計(jì)之為正，那么對(duì)此變量取值越大的觀測(cè)目標(biāo)類(lèi)別取值也越大，如age變量顯著且為正，表明年齡越大拖欠貸款的概率也越大。第二十七頁(yè)，共三十二頁(yè)，編輯于2023年，星期一平行檢驗(yàn)：原假設(shè)是斜率系數(shù)（位置參數(shù)）在各響應(yīng)類(lèi)別中都是相等的。由于P<a,否定原假設(shè)，說(shuō)明各回歸方程不平行如果平行性檢驗(yàn)的P值非常小，是不能就這樣蒙混過(guò)關(guān)的。其主要原因是鏈接函數(shù)選擇不準(zhǔn)確，或者系數(shù)的確在隨著分割點(diǎn)發(fā)生變化。可以考慮其他鏈接函數(shù)以及使用無(wú)序多分類(lèi)模型。第二十八頁(yè)，共三十二頁(yè)，編輯于2023年，星期一根據(jù)所得到的模型預(yù)測(cè)方程和相關(guān)個(gè)案信息，即可進(jìn)行預(yù)測(cè)，預(yù)測(cè)該個(gè)案的信譽(yù)屬于哪一種類(lèi)別。這對(duì)于銀行貸款決策具有重要意義。例如，某申請(qǐng)者的信息為：申請(qǐng)48個(gè)月的貸款，22歲，有銀行貸款，沒(méi)有其他貸款，有住房，此時(shí)可以評(píng)估其信譽(yù)水平。把上述個(gè)案信息代入所得到的（k-1）個(gè)模型預(yù)測(cè)方程，即可得到（k-1）個(gè)估計(jì)值，再把這些估計(jì)值代入所選擇的鏈接函數(shù)的逆函數(shù)中，得到累計(jì)概率值，然后再根據(jù)累積概率概率求出每個(gè)類(lèi)別的預(yù)測(cè)概率，預(yù)測(cè)概率最大的類(lèi)別即為該個(gè)案的類(lèi)別，進(jìn)而做出信譽(yù)類(lèi)別的判斷第二十九頁(yè)，共三十二頁(yè)，編輯于2023年，星期一練習(xí)1：兒童智力等級(jí)與母親文化程度的關(guān)系智商等級(jí)y母親文化程度小學(xué)初中高中或中專(zhuān)大專(zhuān)及以上合計(jì)x=0x=1x=2x=31=中下2257111912=中等8123611244333=中上30135105102804=上等32617753合計(jì)1364542452285714.2有序回歸的案例分析第三十頁(yè)，共三十二頁(yè)，編輯于2023年，