多層線性模型簡介兩水平模型

1、關(guān)于多層線性模型簡介兩水平模型第一張，PPT共七十六頁，創(chuàng)作于2022年6月主要內(nèi)容為什么要用多層線性模型?回歸分析模型回顧多層（多水平）數(shù)據(jù)特點什么是多層線性模型？HLM發(fā)展HLM數(shù)學(xué)模型HLM常見簡化模型兩水平模型應(yīng)用舉例應(yīng)該注意的問題第二張，PPT共七十六頁，創(chuàng)作于2022年6月回歸分析模型第三張，PPT共七十六頁，創(chuàng)作于2022年6月回歸分析模型的假設(shè)線性（Linearity）誤差正態(tài)分布（ normally distributed）誤差方差齊性（homoskedastic）誤差或觀測個體之間相互獨立（independent）第四張，PPT共七十六頁，創(chuàng)作于2022年6月什么是多層（多

2、水平）數(shù)據(jù)?多層（多水平）數(shù)據(jù)指的是觀測數(shù)據(jù)在單位上具有嵌套的關(guān)系。如學(xué)生嵌套于班級，班級嵌套于學(xué)校等。同一單位內(nèi)的觀測，具有更大的相似性。同一個班級的學(xué)生由于受相同的班級環(huán)境等因素的影響有更大的相似性。第五張，PPT共七十六頁，創(chuàng)作于2022年6月嵌套于背景（contextual）特征的多層數(shù)據(jù)舉例學(xué)生水平特征的觀測，嵌套于班級或?qū)W校兄弟姊妹特征的觀測，嵌套于家庭個體之間的觀測嵌套于社區(qū)個體不同時間點的重復(fù)測量嵌套于個體病人嵌套于醫(yī)院參數(shù)的估計嵌套于不同的研究 (元分析，meta-analysis)第六張，PPT共七十六頁，創(chuàng)作于2022年6月對多層數(shù)據(jù)，我們了解什么.隨機選取兩個觀測，同一

3、組內(nèi)的觀測之間的相似性要比不同組觀測之間的相似性大；如果回歸模型不能解釋所有的組間的差異（事實上傳統(tǒng)回歸不可能做到這一點）,那么同一組內(nèi)的觀測之間的誤差可能相關(guān)；這就違背了傳統(tǒng)回歸（OLS）中關(guān)于殘差相互獨立的假設(shè)；至少，傳統(tǒng)回歸分析得到的標(biāo)準(zhǔn)誤的估計不正確（太小）。第七張，PPT共七十六頁，創(chuàng)作于2022年6月HLM數(shù)據(jù)特點對于嵌套數(shù)據(jù)，傳統(tǒng)回歸模型的做法：（1）個體（如學(xué)生）水平上分析 問題：同一班級的學(xué)生間相互獨立的假設(shè)是不合理的，同樣對不同班級的學(xué)生和相同班級的學(xué)生作同一假設(shè)也是不合理的。 （2）組（如學(xué)校）水平上分析 問題：丟失了班級內(nèi)學(xué)生個體間的差異的信息。 第八張，PPT共七十六

4、頁，創(chuàng)作于2022年6月HLM數(shù)據(jù)特點對于嵌套數(shù)據(jù)，傳統(tǒng)回歸分析的假設(shè)往往無法滿足。 傳統(tǒng)的線性回歸模型假設(shè)變量間存在直線關(guān)系，因變量總體上服從正態(tài)分布，方差齊性，個體間相互獨立。前兩個假設(shè)較易保證，但方差齊性，尤其是個體間相互獨立的假設(shè)卻很難滿足。 第九張，PPT共七十六頁，創(chuàng)作于2022年6月獨立性不滿足帶來的問題傳統(tǒng)回歸系數(shù)估計的標(biāo)準(zhǔn)誤依賴于相互獨立的假設(shè)；如果獨立性的假設(shè)不滿足，得到的標(biāo)準(zhǔn)誤的估計往往偏小，因此所犯第一類錯誤的概率往往偏大。第十張，PPT共七十六頁，創(chuàng)作于2022年6月表1 當(dāng)組內(nèi)相關(guān)存在時，第一類錯誤限定為0.05時，實際所犯第一類錯誤的概率第十一張，PPT共七十六頁

5、，創(chuàng)作于2022年6月HLM數(shù)學(xué)模型例如：對73個學(xué)校1905名學(xué)生進(jìn)行調(diào)查，目的是考慮其剛上高中時的入學(xué)成績與三年后高考成績之間的關(guān)系。 考慮方法：（1）如果用傳統(tǒng)的線性回歸分析，直接在學(xué)生水平上進(jìn)行分析，得出入學(xué)學(xué)業(yè)成績對高考成績之間的一條回歸直線，如下圖1所示，從圖1的結(jié)果可以看出，傳統(tǒng)回歸分析沒有區(qū)分不同的學(xué)校之間的差異。 第十二張，PPT共七十六頁，創(chuàng)作于2022年6月圖1：不考慮學(xué)校之間差異的回歸直線 第十三張，PPT共七十六頁，創(chuàng)作于2022年6月HLM數(shù)學(xué)模型（2）如果將數(shù)據(jù)進(jìn)行簡單合并，用每個學(xué)校學(xué)生的平均成績代替這個學(xué)校的成績，直接在學(xué)校水平上估計入學(xué)成績對高考成績的影響，

6、得到一條回歸直線，如圖2所示，這種方法忽略了不同學(xué)生之間的差異；第十四張，PPT共七十六頁，創(chuàng)作于2022年6月圖2：只考慮學(xué)校差異忽略學(xué)生差異回歸直線 第十五張，PPT共七十六頁，創(chuàng)作于2022年6月HLM數(shù)學(xué)模型（3）如果假設(shè)不同學(xué)校入學(xué)成績對高考成績的回歸直線截距不同，斜率相同（平均學(xué)習(xí)成績之間存在差異），得到如圖3的結(jié)果，從圖中結(jié)果可以看出，不同學(xué)校學(xué)生平均高考成績之間存在差異。第十六張，PPT共七十六頁，創(chuàng)作于2022年6月圖3：考慮不同學(xué)校平均成績差異的回歸直線第十七張，PPT共七十六頁，創(chuàng)作于2022年6月HLM數(shù)學(xué)模型（4）對73所學(xué)校分別做回歸分析，得到如圖4的結(jié)果，如圖4所

7、示，從圖中結(jié)果可以看出，不同學(xué)?；貧w直線的截距和斜率均不同，即：不同學(xué)校學(xué)生平均高考成績之間存在差異，入學(xué)學(xué)業(yè)成績對高考成績的影響強度不同。第十八張，PPT共七十六頁，創(chuàng)作于2022年6月圖4：考慮不同學(xué)校平均成績差異 和入學(xué)對畢業(yè)成績影響程度差異的回歸直線第十九張，PPT共七十六頁，創(chuàng)作于2022年6月回歸模型中，如何解決殘差相關(guān)的問題?希望定義一個模型，可以明確地允許因變量水平在組內(nèi)和組間存在差異例如，允許學(xué)生的學(xué)業(yè)成績存在學(xué)校之間的差異第二十張，PPT共七十六頁，創(chuàng)作于2022年6月告別 OLS: 一個簡單的多層線性模型將重寫為:第二十一張，PPT共七十六頁，創(chuàng)作于2022年6月一個簡單

8、的多層線性模型第二十二張，PPT共七十六頁，創(chuàng)作于2022年6月一個簡單的多層線性模型Outcome for observation i in unit j第二十三張，PPT共七十六頁，創(chuàng)作于2022年6月一個簡單的多層線性模型Outcome for observation i in unit jIntercept 第二十四張，PPT共七十六頁，創(chuàng)作于2022年6月一個簡單的多層線性模型Outcome for observation i in unit jIntercept Coefficient Value of X for observation i in unit j 第二十五張，PPT

9、共七十六頁，創(chuàng)作于2022年6月一個簡單的多層線性模型Outcome for observation i in unit jIntercept Coefficient Value of X for observation i in unit j Residual term specific to unit j 第二十六張，PPT共七十六頁，創(chuàng)作于2022年6月一個簡單的多層線性模型Outcome for observation i in unit jIntercept Coefficient Value of X for observation i in unit j Residual ter

10、m specific to unit j Residual term specific to observation i in unit j第二十七張，PPT共七十六頁，創(chuàng)作于2022年6月一個簡單的多層線性模型Outcome for observation i in unit jIntercept Coefficient Value of X for observation i in unit j Residual term specific to unit j Residual term specific to observation i in unit j第二十八張，PPT共七十六頁，創(chuàng)

11、作于2022年6月 uj表示什么?殘差項定義第 j 組（第二水平）對于第 j組的所有觀測都相同只有下標(biāo) j, 沒有下標(biāo) i解釋: 總截距和第 j組的截距之間的差異第二十九張，PPT共七十六頁，創(chuàng)作于2022年6月 rij表示什么?殘差項定義第 j 組第i 個觀測 均值為0第三十張，PPT共七十六頁，創(chuàng)作于2022年6月模型的特征注意到: ij = uj + rij我們有: Var(ij)= Var(uj + rij)= Var(uj) + Var(rij) + 2*Cov(uj,rij) = Var(uj) + Var(rij)第三十一張，PPT共七十六頁，創(chuàng)作于2022年6月模型的特征 Yi

12、j 的值可能存在第二水平（組間）的差異對于 uj和 rij沒有定義其分布. X 和 Y 之間的關(guān)系不依賴于 j (1 不依賴于 j)第三十二張，PPT共七十六頁，創(chuàng)作于2022年6月模型的另一種表達(dá)這里第三十三張，PPT共七十六頁，創(chuàng)作于2022年6月多層線性模型水平1（如：學(xué)生） 水平2（如：學(xué)校） jju0000+=gbYij-第j個學(xué)校的第i個學(xué)生jju1101+=gb第三十四張，PPT共七十六頁，創(chuàng)作于2022年6月何謂多層線性模型?多層線性模型又稱為： 多水平分析（ Multilevel Analysis ）混合模型（Mixed Models）隨機系數(shù)模型（Random Coeffi

13、cient Models）第三十五張，PPT共七十六頁，創(chuàng)作于2022年6月HLM的發(fā)展 快速發(fā)展與應(yīng)用 HLM（Bryk，Randenbush，SeltzerCongdon，1988）； Mlwin（Rabash，ProsserGoldstein，1989）； VARCL（Longford，1988）； MPLUS（Muthen，1992）; SAS, SPSS第三十六張，PPT共七十六頁，創(chuàng)作于2022年6月多層線性模型回歸模型的一種常用來回答背景變量（如班級環(huán)境等）與個體變量（如學(xué)生特征）之間的關(guān)系常用來估計組內(nèi)（如班級內(nèi)）和組間（如班級間）變量間的關(guān)系 以及跨水平的交互作用。例如, 學(xué)

14、校組織氣氛對學(xué)生學(xué)業(yè)成績的影響；學(xué)校組織氣氛與學(xué)生社會經(jīng)濟地位的交互作用。 第三十七張，PPT共七十六頁，創(chuàng)作于2022年6月多層線性模型簡介多層線性模型一種處理嵌套數(shù)據(jù)的統(tǒng)計方法。通過定義不同水平（層）的模型，將隨機變異分解為兩個部分，其一是第一水平個體間差異帶來的誤差，另一個是第二水平班級的差異帶來的誤差?？梢约僭O(shè)第一水平個體間的測量誤差相互獨立，第二水平班級帶來的誤差在不同班級之間相互獨立。多水平分析法同時考慮到不同水平的變異 。第三十八張，PPT共七十六頁，創(chuàng)作于2022年6月多層線性模型多層分析方法提供了解決嵌套數(shù)據(jù)關(guān)系的合理的正確的統(tǒng)計方法。下面結(jié)合上面提到的例子，介紹兩水平模型的

15、一般數(shù)學(xué)表示：第三十九張，PPT共七十六頁，創(chuàng)作于2022年6月多層線性模型水平1（如：學(xué)生） 水平2（如：學(xué)校） jjjuW001000+=ggbYij-第j個學(xué)校的第i個學(xué)生第四十張，PPT共七十六頁，創(chuàng)作于2022年6月多層線性模型合并模型： 其中：yij表示因變量（如三年后的高考成績），xij表示第一水平（學(xué)生）的預(yù)測變量，Wj表示第二水平（學(xué)校）的預(yù)測變量。 第四十一張，PPT共七十六頁，創(chuàng)作于2022年6月多層線性模型模型的假設(shè)條件為： 第四十二張，PPT共七十六頁，創(chuàng)作于2022年6月多層線性模型截距與斜率之間的相關(guān)系數(shù)：截距與斜率之間的相關(guān)系數(shù)大小表示了不同學(xué)校平均高考成績與入

16、學(xué)成績對高考成績影響強度之間的關(guān)系，如果相關(guān)系數(shù)大于零，表示平均成績越高，入學(xué)成績對期末成績的影響越大。 第四十三張，PPT共七十六頁，創(chuàng)作于2022年6月HLM常用模型類型隨機效應(yīng)一元方差分析模型（one-way Anova with Random Effect） 第一水平： 第二水平： 合并模型：ijojijeuY+=00g第四十四張，PPT共七十六頁，創(chuàng)作于2022年6月HLM常用模型類型無條件模型：模型中沒任何預(yù)測變量的多層分析模型； 模型表示與隨機效應(yīng)的方差分析模型相同。在無條件模型中： 上式的相關(guān)系數(shù)描述了水平2單位內(nèi)個體之間的相關(guān)（intra level 2-unit corre

17、lation），它測量了學(xué)校之間方差占總方差的比例，或者說在總的變異中由水平二解釋的方差的比例。 第四十五張，PPT共七十六頁，創(chuàng)作于2022年6月HLM常用模型類型隨機效應(yīng)單因素協(xié)方差分析（One-way ANCOVA with Random Effects） 水平1： 水平2： 第四十六張，PPT共七十六頁，創(chuàng)作于2022年6月HLM常用模型類型一般的線性回歸模型 第一水平 ：第二水平：第四十七張，PPT共七十六頁，創(chuàng)作于2022年6月HLM常用模型類型隨機系數(shù)回歸模型（Random-Coefficients Regression Model） 第一水平 ：第二水平：第四十八張，PPT共七

18、十六頁，創(chuàng)作于2022年6月HLM應(yīng)用舉例hsb1.sav和hsb2.sav 在水平一的數(shù)據(jù)文件hsb1.sav中，有7185個觀測樣本和四個第一水平的變量（不包含第二水平指標(biāo)變量：學(xué)校編號ID），這四個變量所表示的含義如下： minority，學(xué)生的種族（1=少數(shù)民族，0=其他） female：學(xué)生性別（1=女，0=男） ses：學(xué)生的社經(jīng)地位，由學(xué)生父母受教育程度、職業(yè)和收入合成，變量已被標(biāo)準(zhǔn)化 mathach：學(xué)生的數(shù)學(xué)學(xué)業(yè)成績 第四十九張，PPT共七十六頁，創(chuàng)作于2022年6月HLM應(yīng)用舉例數(shù)據(jù)文件hsb2.sav中包含有160個學(xué)校，每個學(xué)校測量了六個學(xué)校水平的變量（不包含學(xué)校指標(biāo)變

19、量ID）。size：學(xué)校招生人數(shù)sector：學(xué)校類型（1=天主教教會學(xué)校，0=公立學(xué)校）pracad：從事學(xué)術(shù)研究的學(xué)生的比例disclim：學(xué)校紀(jì)律環(huán)境，由量表測量得到himnty：學(xué)校招生少數(shù)民族學(xué)生比例描述（1=超過40%少數(shù)民族學(xué)生，0=其他）meanses：包含在水平1數(shù)據(jù)中，每個學(xué)校學(xué)生的平均社經(jīng)地位 第五十張，PPT共七十六頁，創(chuàng)作于2022年6月HLM應(yīng)用舉例 目的：分析影響學(xué)生數(shù)學(xué)成績的學(xué)生水平變量和學(xué)校水平變量第五十一張，PPT共七十六頁，創(chuàng)作于2022年6月個體水平模型Yij = 0j + 1jX1ij + 2jX2ij + + KjXKij + rij第 j 組第 I

20、 個個體因變量的觀測值第 j個組的截距第j 組 X1 對應(yīng)的斜率第j 組 X2 對應(yīng)的斜率第j 組 XK 對應(yīng)的斜率第五十二張，PPT共七十六頁，創(chuàng)作于2022年6月背景（Contextual）模型 Yij = 0j + 1jX1ij + 2jX2ij + + KjXKij + rij0j = 00 1j = 10 2j = 20 Kj = K0在傳統(tǒng)回歸（OLS）模型中,截距和斜率都是固定的，即對不同的第二水平單元均相同第五十三張，PPT共七十六頁，創(chuàng)作于2022年6月背景（Contextual）影響問題第二水平不同單元（如不同學(xué)校），截距是否相同?能否用第二水平的協(xié)變量預(yù)測截距之間的差異?

21、斜率是否存在第二水平的變異?能否用第二水平的預(yù)測變量解釋斜率之間的差異?第五十四張，PPT共七十六頁，創(chuàng)作于2022年6月截距是否存在第二水平的變異? Yij = 0j + 1jX1ij + 2jX2ij + + KjXKij + rij0j = 00 + u0j1j = 10 2j = 20 Kj = K0In the random effects model, the intercept varies around some grand mean intercept (00), and the slopes are fixed they are the same in all unitsT

22、est H0: Var(u0j) = 0第五十五張，PPT共七十六頁，創(chuàng)作于2022年6月可否用第二水平的預(yù)測變量解釋截距之間的差異?Yij = 0j + 1jX1ij + 2jX2ij + + KjXKij + rij0j = 00 + 01Z1 + 02Z2 + + 0MZM + u0j 1j = 10 2j = 20 Kj = K0Here, the Zms predict the intercept.Test H0: 0m = 0第五十六張，PPT共七十六頁，創(chuàng)作于2022年6月斜率是否存在第二水平的變異?Yij = 0j + 1jX1ij + 2jX2ij + + KjXKij +

23、rij0j = 00 + u0j1j = 10 + u1j2j = 20 + u2jKj = K0 + uKjThe intercept and each of the slopes varies around their grand means (the k0s)Test H0: Var(ukj) = 0第五十七張，PPT共七十六頁，創(chuàng)作于2022年6月能否用第二水平的預(yù)測變量解釋斜率間的差異?Yij = 0j + 1jX1ij + 2jX2ij + + KjXKij + rij0j = 00 + 01Z1 + 02Z2 + + 0MZM + u0j1j = 10 + 11Z1 + 12Z2

24、 + + 1MZM + u1j2j = 20 + 21Z1 + 22Z2 + + 2MZM + u2jKj = K0 + K1Z1 + K2Z2 + + KMZM + uKjHere, the Zms predict the slopes.Test H0: km = 0第五十八張，PPT共七十六頁，創(chuàng)作于2022年6月無條件模型第五十九張，PPT共七十六頁，創(chuàng)作于2022年6月無條件模型參數(shù)估計結(jié)果Final estimation of variance components: - Random Effect Standard Variance df Chi-square P-value De

25、viation Component - INTRCPT1, 2.93501 8.61431 159 1660.23259 0.000 level-1, R 6.25686 39.14831 -第六十張，PPT共七十六頁，創(chuàng)作于2022年6月含有第一水平預(yù)測變量的HLM模型（隨機系數(shù)模型）第六十一張，PPT共七十六頁，創(chuàng)作于2022年6月隨機系數(shù)模型參數(shù)估計結(jié)果Final estimation of fixed effects (with robust standard errors) - Standard Approx. Fixed Effect Coefficient Error T-rat

26、io d.f. P-value - For INTRCPT1, B0 INTRCPT2, G00 12.664935 0.189251 66.921 159 0.000 For SES slope, B1 INTRCPT2, G10 2.393878 0.117697 20.339 159 0.000 -第六十二張，PPT共七十六頁，創(chuàng)作于2022年6月Final estimation of variance components: - Random Effect Standard Variance df Chi-square P-value Deviation Component - INT

27、RCPT1, U0 2.19768 4.82978 159 905.26472 0.000 SES slope, U1 0.64675 0.41828 159 216.21178 0.002 level-1, R 6.06864 36.82835 -第六十三張，PPT共七十六頁，創(chuàng)作于2022年6月含有第二水平預(yù)測變量的模型第六十四張，PPT共七十六頁，創(chuàng)作于2022年6月The outcome variable is MATHACH Final estimation of fixed effects (with robust standard errors) - Standard Approx. Fixed Effect Coefficient Error T-ratio d.f. P-value - For INTRCPT1, B0 INTRCPT2, G00 12.658410 0.173263 73.059 158 0.000 DISCLIM, G01 -1.128519 0.160735 -7.021 158 0.000 For SES slope, B1 INTRCPT2, G10 2.409