跨層多水平模型的效應(yīng)量及樣本量問題

跨層多水平模型的效應(yīng)量及樣本量問題引言Aguinis,Pierce,Bosco,&Muslin,2009,p.91即便這一方法如此流行，遺憾的是實(shí)際研究中研究者們對于多水平分析的統(tǒng)計(jì)檢驗(yàn)力（Statisticalpower）與樣本量的問題卻未得到應(yīng)有的重視。在2010年到2015年發(fā)表在JournalofAppliedPsychology的139篇跨層研究中，只有3篇研究報(bào)告了統(tǒng)計(jì)檢驗(yàn)力或根據(jù)效應(yīng)量分析事先計(jì)算最小樣本量(Scherbaum&Pesner,2019)。類似地，2019年發(fā)表在ORM一篇關(guān)于日記法or經(jīng)驗(yàn)取樣法的綜述，對于利用ESM研究發(fā)表在頂刊的102研究進(jìn)行統(tǒng)計(jì)，只有2篇報(bào)告了利用效應(yīng)量分析確定level1和level2的樣本量。這一問題值得關(guān)注，因?yàn)?..Underpoweredstudy:toolowpowerlevels.Overpoweredstudy:wasteoftime/money/labor/…(Hoxetal.,2018)其實(shí)這也并不奇怪，因?yàn)橐恍╆P(guān)于多水平分析統(tǒng)計(jì)檢驗(yàn)力工具是最近10年來才發(fā)展起來的(比如Aguinisetal.,2013;Mathieuetal.,2012;Scherbaum&Ferreter,2009)。那么，多水平分析到底應(yīng)該采用多少樣本量比較合適，才能保證正確的拒絕虛無假設(shè)呢？本文將簡單介紹一些可以用以指導(dǎo)研究者的工具和文獻(xiàn)。首先，這篇推送會介紹一下什么是統(tǒng)計(jì)檢驗(yàn)力，其次，哪些因素可以影響多水平研究的統(tǒng)計(jì)檢驗(yàn)力，第三簡介一些可以利用確定樣本量的工具。一統(tǒng)計(jì)檢驗(yàn)力StatisticalPower什么是統(tǒng)計(jì)檢驗(yàn)力？統(tǒng)計(jì)檢驗(yàn)力是在某種效應(yīng)確實(shí)存在時(shí)檢測到該效應(yīng)的可能性。即，正確拒絕錯(cuò)誤的虛假假設(shè)的可能性。H0trueHatrueH0rejectedα=

p(Type

Ierror)1-β=powerH0notrejectedβ=p(TypeIIerror)Powerlevelsof80%or90%aregenerallyusedinpowercalculations.二影響統(tǒng)計(jì)檢驗(yàn)力的因素多水平分析的統(tǒng)計(jì)檢驗(yàn)力受到樣本量，sizeoftheeffect,typleIerror,ICC,模型參數(shù)等因素的影響。1.樣本量SampleSize無論是否跨層，樣本量是影響統(tǒng)計(jì)檢驗(yàn)力的一個(gè)核心因素。那么多大的樣本量比較合適呢？這里有一些建議：·

Kreft(1996)建議至少30組，每個(gè)組至少30人，即900人。Forexample,Kreft(1996)suggestedaminimumof30groupswith30individualsinthosegroupsforeachtypeofeffectinmultilevelresearch(seealsoBusing,1993,andvanderLeeden&Busing,1994,forasimilarrecommendation).·

Hox(1998)建議至少50組,每組20人，即1000人。Hox(1998)advocatedanevenlargersamplesize,withaminimumof50groupsand20individualsineachgroup.那么實(shí)際情況如何呢？Mathieu等人對于發(fā)表在JAP上面的多水平研究文章表明，level1樣本量的中位數(shù)為5，level2為51，即總樣本量為250。Mathieuetal.’sreviewofarticlespublishedintheJournalofAppliedPsychologyfoundthatthemedianLevel1samplesizewas5andthemedianLevel2samplesizewas51(i.e.,totalsamplesizecloseto250).·

日記法/經(jīng)驗(yàn)取樣法Gabriel等人2019推薦的樣本量，最少83被試，測量10天及以上。這里有一個(gè)問題是，如果想要增加統(tǒng)計(jì)檢驗(yàn)力，那么究竟是增加level2,比較有效還是level1樣本量比較有效呢？絕大多數(shù)的模擬研究表明，增加level2的樣本往往比增加level1有效。Mostofthesimulationresearchtodatehasfoundthatincreasingthesamplesizeatthehighest

levelofanalysis(e.g.,samplingmoregroups)doesmoretoraisestatisticalpowerthanincreasingthesamplesizeatthelowerlevelofanalysis(i.e.,samplingmorepeopleinthegroups;e.g.,Kreft,1996;Snijders&Bosker,1993).2.ICCTheICCistheratioofthebetweengroupvariabilitytothetotalvariability.ICC是群組內(nèi)變異/總變異。ICC取值范圍為0到1.較大的ICC值可以增加檢驗(yàn)level2效應(yīng)的統(tǒng)計(jì)檢驗(yàn)力(Mathieuetal.,2012;Raudenbush&Liu,2000).我們也看到經(jīng)常有文章中作者在論證是否進(jìn)行多水平分析時(shí)候都會報(bào)告ICC,那么管理學(xué)中的ICC值通常多大呢？Mathieu等人2012年對于發(fā)表在JAP跨層研究的綜述表明，ICC范圍從0到0.39。Bliese注意到在組織行為學(xué)的研究中ICC值高于.30是可能的。Mathieu等人建議當(dāng)ICC值落在.15到.30之間，進(jìn)行跨層分析是合理的。3.

模型參數(shù)ModelParameter.很好理解模型越復(fù)雜需要的樣本量越多。4.其它因素OtherFactorscovariatesatLevel1(e.g.,Raudenbush,1997).Covariateshavethepotentialtoreducethe

between-groupvarianceandcorrespondinglyshifttheoptimalallocationofsamplesizeateachlevel.測量誤差Measurementerrorisanotherfactorthatisrarelyconsideredintheestimationofstatisticalpower(Mathieuetal.,2012).Measurementerrorcanleadtolargerstandarderrors,whichinturnresultinlowerstatisticalpower.Athirdfactorthatcanimpactstatisticalpowerandrequiredsamplesizesinmultilevelresearch

istheestimationmethod.效應(yīng)量的估計(jì)RaudenbushandLiusuggestedthatd=0.20isasmalleffectsize,d=0.50isamediumeffectsize,andd=0.80isalargeeffectsize對于簡單的模型power的計(jì)算一般用G*power對于復(fù)雜的模型及研究設(shè)計(jì)MonteCarlosimulationstudyMplus,R,MLwiN,MLPowSim三多水平效應(yīng)量分析可以利用的資源Scherbaum

&Pesner

(2019）介紹了6種工具。Scherbaum

&Pesner

(2019）2019年發(fā)表在PM的一篇文章，更為全面的總結(jié)了可以利用的一些工具。2.1OptimalDesign/site/optimaldesignsoftware/homeTheOptimalDesignsoftware(Spybrooketal.,2011)mainlyappliestoexperimentaldesignswithtwoorthreelevelsofnesting,longitudinalstudiesandmetaanalysis.2.2ScherbaumandFerreter’sExcelProgram利用excel計(jì)算樣本量。2.3PowerUp!同樣是利用excel;2.4PowerinTwoLevels(PINT)PinTcomputesvariousmodels(allrelevantinputparameterscanbe

specified)andprovidesoptimalsamplesizesunderbudgetconstraints

(Bosker,Snijders,&Guldemond,2003).這一軟件在Gabriel等人2019年對于ESM綜述中也有提到。但作者提供的鏈接無法打開。2.5MultilevelPowerTool這個(gè)是利用Rshinnapp開發(fā)的在線工具。/ml_power/Mathieuetal.(2012)developedaprograminRcalledtheMultilevelPowerToolthatcanbeusedtoestimatethemultilevelstatisticalpowerofcrosslevelinteractions.界面是這樣……2.6

Montecarlosimulationin

MpLUS

:simpleregression探究問題：Theeffectofeveningcyberleisureonnext-day

performanceTITLE:MONTECARLOforsimpleregressionMONTECARLO:NAMESAREleisureperformance;NOBSERVATIONSARE100;NREPS=10000;SEED=123;seedforgenerationMODELPOPULATION:leisure@92;!varianceperformance@13.65;!varianceperformanceONleisure@0.1211;!weightMODEL:leisure*92;performance*13.65;performanceONleisure*0.1211;OUTPUT:TECH9;對于多水平研究的模擬，建議參考Mplus官方指導(dǎo)手冊PowerforN=100運(yùn)行得到：PowerforN=

30小結(jié)：多水平分析以后預(yù)測會越來越重視效應(yīng)量的分析，本文提供的一些數(shù)據(jù)資料及工具或許可以幫助研究者在研究設(shè)計(jì)階段進(jìn)行效應(yīng)量分析，如果沒有進(jìn)行，那么那些Thumbrules或許可以考慮，跨層的研究建議保證有50個(gè)群組，樣本量250人左右；如果是diarystudy,建議100人被試，總的觀測數(shù)據(jù)在800左右。同時(shí)利用一些好的測量工具也可以有助于增加統(tǒng)計(jì)檢驗(yàn)力。增加群組的數(shù)往往比增加level1更有助于提升統(tǒng)計(jì)檢驗(yàn)力。Arend

&Sch?fer

(2019）也提供了一些RuLesofthum樣本量參考……另外這篇短文主要介紹了一些多水平效應(yīng)量的工具，并未演示如何利用這些工具計(jì)算效應(yīng)量與樣本量。目前看來很多多水平效應(yīng)量分析都可以在R里完成，想要了解更多的可以閱讀，Arend

&Sch?fer

(2019）PM的Tutorial。他們提供了研究之前及Post-hoc效應(yīng)量分析。Arend

&Sch?fer

(2019)參考文獻(xiàn)Aguinis,H.,Pierce,C.A.,Bosco,F.A.,&Muslin,I.S.(2009).FirstdecadeofOrganizationalResearchMethods:Trendsindesign,measurement,anddata-analysistopics.OrganizationalResearchMethods,12(1),69-112.Gabriel,A.S.,Podsakoff,N.P.,Beal,D.J.,Scott,B.A.,Sonnentag,S.,Trougakos,J.P.,&Butts,M.M.(2019).ExperienceSamplingMethods:ADiscussionofCriticalTrendsandConsiderationsforScholarlyAdvancement.OrganizationalResearchMethodsMathieu,J.E.,Aguinis,H.,Culpepper,S.A.,&Chen,G.(2012).Understandingandestimatingthepowertodetectcross-levelinteractioneffectsinmultilevelmodeling.JournalofAppliedPsychology,97,951–966.Scherbaum,C.A.,&Pesner,E.(2019).

Poweranalysisformultilevelresearch.

InS.E.Humphrey&J.M