對數(shù)線性模型

關(guān)于對數(shù)線性模型第1頁，課件共43頁，創(chuàng)作于2023年2月一、對數(shù)線性模型簡介1、對數(shù)線性模型基本思想

對數(shù)線性模型分析是把列聯(lián)表資料的網(wǎng)格頻數(shù)的對數(shù)表示為各變量及其交互效應(yīng)的線性模型，然后運用類似方差分析的基本思想，以及邏輯變換來檢驗各變量及其交互效應(yīng)的作用大小

第2頁，課件共43頁，創(chuàng)作于2023年2月區(qū)別

方法列聯(lián)表邏輯回歸對數(shù)線性模型作用分析定類變量和定類變量之間有無關(guān)系分析尺度變量（也可引入類別變量）與二分類別變量之間的因果關(guān)系綜合運用方差分析和邏輯回歸中的建模方法，應(yīng)用于純粹定類變量之間，系統(tǒng)評價各變量間關(guān)系和交互作用大小的多元統(tǒng)計方法優(yōu)缺點

不需要確定因變量和自變量。但是，卡方檢驗對三維和三維以上列聯(lián)表資料的分析有一定困難，即對混雜變量的控制較難

解決了對混雜變量的控制的問題，而且，它能將因變量與自變量的關(guān)系用模型表示出來，清晰易理解。

但是，當(dāng)模型中自變量較多，特別是名義變量較多，或名義變量的類別較多時，分析自變量之間的交互效應(yīng)就很繁雜，可能需要建立很多啞變量

可以直接分析各種類型的分類變量，對于名義變量，也不需要事先建立啞變量，可以直接分析變量的主效應(yīng)和交互效應(yīng)。對數(shù)線性模型不僅可以解決卡方分析中常遇到的高維列聯(lián)表的“壓縮”問題，又可以解決logistic回歸分析中多個自變量的交互效應(yīng)問題

第3頁，課件共43頁，創(chuàng)作于2023年2月2、列聯(lián)表的四種類型雙向無序列聯(lián)表；單向有序列聯(lián)表；雙向有序且屬性不同的列聯(lián)表；雙向有序且屬性相同的列聯(lián)表第4頁，課件共43頁，創(chuàng)作于2023年2月3、列聯(lián)表的優(yōu)勢約束條件少清晰可以快速準(zhǔn)確進行判斷第5頁，課件共43頁，創(chuàng)作于2023年2月4、列聯(lián)表的劣勢：對于多關(guān)系變量（兩個以上）研究：不能被清晰解讀失去了對多變量之間的交互聯(lián)系的分析進行兩變量間關(guān)聯(lián)分析時缺乏統(tǒng)計控制不能準(zhǔn)確定量描述一個變量對另一個變量的作用幅度第6頁，課件共43頁，創(chuàng)作于2023年2月5、對數(shù)線性模型：多維度列聯(lián)表解決之道，以及模型自身特點

通過數(shù)學(xué)方法（方差分析+邏輯變換）來描述多元頻數(shù)分布。

綜合性：同時囊括多個變量于一個模型之中。

控制性：可以在控制其他變量的條件下研究兩個分類變量之間的關(guān)聯(lián)。

飽和性：將多元頻數(shù)分布分解成具體的各項主效應(yīng)和各項交互效應(yīng)，以及高階效應(yīng)，不會漏項。（飽和模型與不飽和模型）定量性：以發(fā)生比的形式來表示自變量的類型不同反映在因變量頻數(shù)分布上的差異。

可檢驗性：不僅可以對所有參數(shù)估計進行檢驗，使抽樣數(shù)據(jù)可以推論總體，且能夠通過不同模型的統(tǒng)計檢驗結(jié)果，對備選模型進行篩選和評價，進而確定具有最大解釋能力且最簡單的模型。消除抽樣波動所帶來的明顯的不規(guī)則性第7頁，課件共43頁，創(chuàng)作于2023年2月6、對數(shù)線性模型的缺點

對數(shù)線性模型更強調(diào)的是變量之間的交互效應(yīng)，它不能直接將因變量用自變量的函數(shù)表示出來。對數(shù)線性模型抽象復(fù)雜，特別是高維模型，不如線性回歸模型易理解第8頁，課件共43頁，創(chuàng)作于2023年2月二、對數(shù)線性模型的基本原理1、與方差分析相關(guān)的

在多元方差分析中，以二元方差為例：每一個觀測值yij=μ+Ai的效果+Bj的效果+(AB)ij交互作用+?ij

第9頁，課件共43頁，創(chuàng)作于2023年2月2、比數(shù)比

比數(shù)比是對數(shù)線性模型的基礎(chǔ)，而比數(shù)比又是由比數(shù)計算而來。那么什么叫做比數(shù)呢？比數(shù)是一個事件發(fā)生的概率與其不發(fā)生概率之比,測量了一個事件發(fā)生的可能性。這個數(shù)值越高說明結(jié)果2相對于結(jié)果1發(fā)生的可能性就越高。

第10頁，課件共43頁，創(chuàng)作于2023年2月Fij代表某模型fij的期望值，令πij代表與單元格（i,j）有關(guān)的期望概率上表可轉(zhuǎn)化為第11頁，課件共43頁，創(chuàng)作于2023年2月第12頁，課件共43頁，創(chuàng)作于2023年2月?1=π12/π11?2=π22/π21同理我們可以測量兩個兩個類別間的比值，稱作比數(shù)比。?=?1/?2=π22π21/π12π21=F11F22/F12F21

一個大于1的比數(shù)比意味著行變量和列變量的第二個（或者第一個）存在正相關(guān)；等于1無關(guān)；小于1負(fù)相關(guān)。

第13頁，課件共43頁，創(chuàng)作于2023年2月比數(shù)比的不變性，不隨1）總樣本量2）行邊緣分布3）列邊緣分布的變化而變化。所以，只要關(guān)心比數(shù)比的估值，那么適用于簡單隨機樣本的最大似然估計就可以被直接應(yīng)用到分層樣本中了。第14頁，課件共43頁，創(chuàng)作于2023年2月3、與邏輯變換有關(guān)的：對數(shù)線性模型的出現(xiàn)令R表示行，C表示列，fij表示第i行第j列的觀測頻次。那么期望頻次Fij被設(shè)定為一個乘積的函數(shù)Fij=??Ri?Cj?RCij?代表概率里面的總概率值1，?R和?C分別代表R和C的邊緣效應(yīng)，?RC代表R與C的二維交互效應(yīng)，而交互效應(yīng)實質(zhì)上測量的就是R與C之間的比數(shù)比，當(dāng)?RCij=1的時候就是我們熟悉的獨立模型。相乘形式的不好計算，我們將其取對數(shù)第15頁，課件共43頁，創(chuàng)作于2023年2月上兩式的數(shù)學(xué)變換使各種效應(yīng)項相乘的關(guān)系被轉(zhuǎn)換成相加的關(guān)系，使各項效應(yīng)獨立化了。

常數(shù)效應(yīng)；

A因素效應(yīng)；B因素效應(yīng)；（主效應(yīng)）A、B兩因素的交互效應(yīng)；第16頁，課件共43頁，創(chuàng)作于2023年2月主效應(yīng)和多元交互列表涉及因素數(shù)量相等；交互效應(yīng)的總數(shù)則為所有因素各階組合數(shù)之和。對數(shù)線性模型有一個限制條件：模型中每一項效應(yīng)的各類參數(shù)之和等于0；如果每項效應(yīng)中只有一類的參數(shù)未知，那么可以由已知參數(shù)推算出來。第17頁，課件共43頁，創(chuàng)作于2023年2月通過上組式子，我們可以計算出線性模型等式右側(cè)的所有參數(shù)值。A因素效應(yīng)是行平均值與總平均值之差B因素效應(yīng)是列平均值與總平均值之差交互效應(yīng)計算結(jié)果表示在除去所有其他分布效應(yīng)之后兩個因素之間的凈關(guān)聯(lián)。

第18頁，課件共43頁，創(chuàng)作于2023年2月常數(shù)項只受樣本規(guī)模和交互單元數(shù)的影響；主效應(yīng)項反映的是各因素內(nèi)部類別頻數(shù)分布的特征，是在總平均頻數(shù)基礎(chǔ)上的“補差”；如果模型中所有交互效應(yīng)都等于0，我們將會看到雖然每行（列）頻數(shù)不同，但行（列）頻數(shù)分布比例卻是相同的，都等于原來分類變量的類別分布比例。第19頁，課件共43頁，創(chuàng)作于2023年2月泊松分布多項分布乘積-多項分布所以我們不能直接應(yīng)用最小二乘法對模型、總體、參數(shù)進行估計，但幸運的是，三個抽樣模型下的極大似然估計是等同的。但是可以通過迭代再加權(quán)最小二乘法，可是運算起來比較繁瑣。

4、分布第20頁，課件共43頁，創(chuàng)作于2023年2月5、估計參數(shù)估計通俗的來講：根據(jù)抽樣結(jié)果來合理地、科學(xué)的猜測一下總體的參數(shù)大概是什么？或者是在什么范圍？點估計就是用樣本計算出來的一個參數(shù)來估計未知參數(shù)；區(qū)間估計就是通過樣本計算出來一個范圍來對位置參數(shù)進行估計。第21頁，課件共43頁，創(chuàng)作于2023年2月極大似然法與最小二乘法的區(qū)別于聯(lián)系最小二乘法所要解決的問題是：為了選出似的模型輸出與系統(tǒng)輸出盡可能接近的參數(shù)估計，用誤差平方和即離差平方和的大小來表示接近程度。使離差平方和最小的參數(shù)值即為估計值。簡單來說，已知點，自己擬合模型也即分布函數(shù)（概率密度函數(shù)的積分），進行預(yù)測。

極大似然估計所要解決的問題是：選擇參數(shù)?，使已知數(shù)據(jù)在某種意義下最可能出現(xiàn)。某種意義指的是似然函數(shù)最大，此處似然函數(shù)就是概率密度函數(shù)。也就是經(jīng)常提到的“模型已知，參數(shù)未定”。

第22頁，課件共43頁，創(chuàng)作于2023年2月二者的區(qū)別就是，后者需要知道概率密度函數(shù)。最小二乘法要的是求出最優(yōu)的那個參數(shù)，而極大似然要求出概率最大（最可能出現(xiàn)的）參數(shù)。舉個例子，生活中我們一個著眼最合理是哪一個，一個著眼于最可能的是哪一個（極大似然法）當(dāng)總體服從正態(tài)分布時，二者是一樣的。對于最小二乘法，當(dāng)從模型總體隨機抽取n組樣本觀測值后，最合理的參數(shù)估計量應(yīng)該使得模型能最好地擬合樣本數(shù)據(jù)；而對于最大似然法，當(dāng)從模型總體隨機抽取n組樣本觀測值后，最合理的參數(shù)估計量應(yīng)該是使得從模型中抽取該n組樣本觀測值的概率最大。第23頁，課件共43頁，創(chuàng)作于2023年2月密度函數(shù)和似然函數(shù)（帶著參數(shù)的密度函數(shù)）是相同的，但前者視參數(shù)是固定的且數(shù)據(jù)時變化的，后者視參數(shù)變化的且數(shù)據(jù)時固定的。（1）

寫出似然函數(shù)；

（2）

對似然函數(shù)取對數(shù)，并整理；

（3）

求導(dǎo)數(shù)

；

（4）

解似然方程第24頁，課件共43頁，創(chuàng)作于2023年2月三、對數(shù)線性模型的假設(shè)檢驗1、假設(shè)檢驗的作用統(tǒng)計推論中包括參數(shù)估計與假設(shè)檢驗兩部分，上面我們已經(jīng)介紹了參數(shù)估計，那估計的可信度有多少，還要經(jīng)過假設(shè)檢驗。不經(jīng)過統(tǒng)計檢驗，研究者便不能肯定得到的參數(shù)估計是不是僅僅源于抽樣誤差，因而不能肯定在總體中是否存在相同情況。所有結(jié)論只能限于這個樣本之內(nèi)，不能肯定再抽一個樣本能否得到類似結(jié)果。第25頁，課件共43頁，創(chuàng)作于2023年2月2、統(tǒng)計量似然卡方比，根據(jù)相關(guān)計算，看原假設(shè)是否成立。貝葉斯信息標(biāo)準(zhǔn)，不同模型而言越小的BIC越好。

第26頁，課件共43頁，創(chuàng)作于2023年2月3、對數(shù)線性模型的統(tǒng)計檢驗四種主要檢驗：1、對于假設(shè)模型的整體檢驗；2、分層效應(yīng)的檢驗；3、單項效應(yīng)的檢驗；4、單個參數(shù)估計的檢驗。第27頁，課件共43頁，創(chuàng)作于2023年2月對數(shù)線性模型的統(tǒng)計檢驗1、對于假設(shè)模型的整體檢驗采用似然比卡方檢驗（likelihood-ratiochi-squaretest，標(biāo)為L2）在樣本量較大時，L2與皮爾遜卡方統(tǒng)計量的值十分接近。L2優(yōu)越性： 1、期望頻數(shù)采用似然估計方法，因而更加穩(wěn)??； 2、可以被分解成若干部分，即各項效應(yīng)都有對應(yīng)的似然卡方值，并且它們的似然卡方值之和等于整個模型的似然卡方比值。第28頁，課件共43頁，創(chuàng)作于2023年2月對數(shù)線性模型的統(tǒng)計檢驗公式：

其中為估計交互頻數(shù)。原假設(shè)：檢驗?zāi)Ｐ偷念l數(shù)估計與觀測頻數(shù)無差異，也可以理解為檢驗?zāi)Ｐ秃惋柡湍Ｐ蜔o差異。（無關(guān)假設(shè)）第29頁，課件共43頁，創(chuàng)作于2023年2月對數(shù)線性模型的統(tǒng)計檢驗飽和對數(shù)線性模型可以完美無缺的再現(xiàn)觀測頻數(shù)，因此不需要對飽和模型進行整體性檢驗。DF等于0，意味著所檢驗的模型與飽和模型之間的效應(yīng)項目沒有差別。

第30頁，課件共43頁，創(chuàng)作于2023年2月對數(shù)線性模型的統(tǒng)計檢驗真正有意義的是檢驗非飽和模型（簡略模型，reducedmodel）如果簡略模型仍然可以比較準(zhǔn)確的擬合觀測數(shù)據(jù)（其擬合程度與飽和模型無顯著差異），說明剔除的效應(yīng)對于擬合意義不大。（科學(xué)的簡約性原則）研究目的：不是為了再現(xiàn)觀測頻數(shù)，而是通過在模型中加入和減少交互效應(yīng)項的試驗，以尋求真正重要的因素。從飽和模型開始逐步剔除不重要的交互效應(yīng)項，在保證擬合程度不受較大影響的前提下，直到形成效應(yīng)項最少的模型。（找到最關(guān)鍵因素）第31頁，課件共43頁，創(chuàng)作于2023年2月對數(shù)線性模型的統(tǒng)計檢驗舉例說明：由圖可知，自由度變?yōu)?，L2由0增大到10.284，顯著性水平α為0.01（P）（拒絕原假設(shè)），說明簡略模型和飽和模型存在十分顯著的差異，即擬合程度受到很大影響。顯著=不能剔除該交互因素在因素很多的復(fù)雜飽和模型中，通過此方法刪減多個不顯著效應(yīng)項來形成簡略模型。第32頁，課件共43頁，創(chuàng)作于2023年2月對數(shù)線性模型的統(tǒng)計檢驗整體檢驗的不足之處：

整體檢驗顯著只能說明撤銷的效應(yīng)項中起碼有一項是有顯著作用的，但不能確定是哪一項顯著。所以，整體檢驗在實際對數(shù)線性模型分析中，主要服務(wù)于整個檢驗?zāi)Ｐ偷臋z驗情況，而確定各項效應(yīng)時則是通過單項效應(yīng)的檢驗。

且，對于一個多階多項效應(yīng)的復(fù)雜模型，采用整體檢驗方式就意味著逐項效應(yīng)的剔除測試，這樣分析過程效率太低。第33頁，課件共43頁，創(chuàng)作于2023年2月對數(shù)線性模型的統(tǒng)計檢驗2、分層效應(yīng)檢驗當(dāng)研究中涉及的因素較多時，不僅主效應(yīng)項會增加，交互效應(yīng)項增加得更快。例如，四個因素的模型，主效應(yīng)4個，二階交互效應(yīng)6項，三階交互效應(yīng)4項，四階交互效應(yīng)1項。如此，逐項檢驗篩選重要目標(biāo)就太繁瑣了。且，在一般情況下，高階交互效應(yīng)不太容易顯著。因此采用按階次集體檢驗交互效應(yīng)項的方法十分間接有效。第34頁，課件共43頁，創(chuàng)作于2023年2月對數(shù)線性模型的統(tǒng)計檢驗分層效應(yīng)檢驗有兩種：一、某一階及更高階所有交互效應(yīng)項的集體檢驗，它的檢驗是否顯著表明這一階及以上各階中是否至少有一項是重要的；二、某一階所有交互效應(yīng)的集體檢驗，它的檢驗是否顯著表明這一階所有交互效應(yīng)中是否至少有一項是重要的。前者檢驗比后者綜合性更強。第35頁，課件共43頁，創(chuàng)作于2023年2月對數(shù)線性模型的統(tǒng)計檢驗案例

二階以上(簡略模型)一階以上一階二階第36頁，課件共43頁，創(chuàng)作于2023年2月對數(shù)線性模型的統(tǒng)計檢驗分層檢驗提供了模型L2的分解。第一種分層檢驗中，一階及以上所有效應(yīng)都從模型中刪除，就會使簡略模型的L2增加到13.142，而第二種分層檢驗告訴我們，這個L2的增量是一階效應(yīng)L22.858與二階效應(yīng)L210.284之和。第37頁，課件共43頁，創(chuàng)作于2023年2月對數(shù)線性模型的統(tǒng)計檢驗分層效應(yīng)檢驗的不足：

整體檢驗或分層檢驗的結(jié)果只能說明所有效應(yīng)中或某一組效應(yīng)中至少有一項效應(yīng)具有顯著重要影響。但并不能明確知道究竟是哪一項顯著。

為了了解到底是哪些具體