后設(shè)分析在教育研究上的應(yīng)用-暨南大學(xué)課程教學(xué)與科技研究所課件

後設(shè)分析在教育研究上的應(yīng)用:以創(chuàng)造性思考教學(xué)

之學(xué)習(xí)成效為例國立臺灣師範(fàn)大學(xué)教育系廖遠(yuǎn)光後設(shè)分析在教育研究上的應(yīng)用:以創(chuàng)造性思考教學(xué)

之學(xué)習(xí)成效為例引言Astudy,evenawell-designedonewithalargesamplesize,willbecomemoreusefulifitsresultsareexaminedinthecontextofothersinthefield(Kulik,J.A.,&Kulik,C.C.1989).引言Astudy,evenawell-de大綱後設(shè)分析的起源後設(shè)分析的意義後設(shè)分析的特色傳統(tǒng)文獻(xiàn)分析的缺失後設(shè)分析的種類後設(shè)分析的優(yōu)點(diǎn)後設(shè)分析的批評後設(shè)分析的發(fā)展後設(shè)分析的步驟大綱後設(shè)分析的起源後設(shè)分析的優(yōu)點(diǎn)後設(shè)分析（Meta-analysis）的起源後設(shè)分析的技術(shù)最早是運(yùn)用於農(nóng)業(yè)生產(chǎn)方面，其目的是為了探討兩個變項(xiàng)間的關(guān)係(Rosenthal,1991)。有系統(tǒng)的著手社會科學(xué)文獻(xiàn)的整理工作始於1950年代的美國心理學(xué)家Glass及其研究伙伴。1976年Glass將多年的研究成果以一個較為嚴(yán)謹(jǐn)?shù)难芯拷y(tǒng)整方式發(fā)表，並將此一方式命名為「Meta-analysis」後經(jīng)Cooper(1984),HedgesandOlkin(1983;1985),Hunter,Schmidt,andJackson(1982),Jackson(1980),LightandPillemer(1982),andRosenthal(1976),等人大力倡導(dǎo)，使得各領(lǐng)域研究結(jié)果之整合方法更有系統(tǒng)、更明確也更具體化。後設(shè)分析（Meta-analysis）的起源後設(shè)分析的技術(shù)最後設(shè)分析的意義字面意義：研究的研究?！竚eta-analysis」的其它幾種譯名：統(tǒng)合分析、綜合分析。後設(shè)分析也是量化的文獻(xiàn)探討：研究者蒐集相同議題的研究，將各研究所發(fā)表之研究數(shù)據(jù)，重新以統(tǒng)計公式加以量化，運(yùn)用計量分析技巧，將某領(lǐng)域現(xiàn)有的研究結(jié)果的數(shù)據(jù)整合為一。。後設(shè)分析也可提供新的研究方向後設(shè)分析可以透過對調(diào)節(jié)變項(xiàng)的分析，使研究者更加留意文獻(xiàn)不足之處，並進(jìn)而尋找新的研究方向，有助於瞭解個別研究無法發(fā)現(xiàn)的趨勢。後設(shè)分析的意義字面意義：研究的研究。傳統(tǒng)文獻(xiàn)分析的缺失文獻(xiàn)的選擇易流於主觀，文獻(xiàn)評論者常依其主觀標(biāo)準(zhǔn)選擇文獻(xiàn)；對於研究結(jié)果有不同的主觀解釋，以致不同的文獻(xiàn)評論者所得到的結(jié)論往往是相衝突、相矛盾的；對研究發(fā)現(xiàn)可能產(chǎn)生錯誤的詮釋(misleadinginterpretations)；對於所收集的個別研究中持續(xù)出現(xiàn)的某些共同特性未能作深入的檢驗(yàn)；未能探討中介變項(xiàng)與研究發(fā)現(xiàn)間的關(guān)係(Wolf1986)。傳統(tǒng)文獻(xiàn)分析的缺失文獻(xiàn)的選擇易流於主觀，文獻(xiàn)評論者常依其主觀後設(shè)分析之類型在一個研究議題下，以蒐集到的文獻(xiàn)作為樣本去推論該議題所有文獻(xiàn)中（含未收集到及尚未做的研究）特定變項(xiàng)間關(guān)係的可能性。PSYCHOMETRICMETA-ANALYSIS-HunterandSchmidt在一個研究議題下，以蒐集到的文獻(xiàn)作為母群體，探究特定變項(xiàng)間關(guān)係的結(jié)果。CLASSICORGLASSIANMETA-ANALYSIS-GeneGlassSTUDYEFFECTMETA-ANALYSIS–Kulik&Bangert-Drowns特別強(qiáng)調(diào)同質(zhì)性的檢定TESTSOFHOMOGENEITY–Hedges&Olkin

後設(shè)分析之類型在一個研究議題下，以蒐集到的文獻(xiàn)作為樣本去推論後設(shè)分析之特色後設(shè)分析雖為量化之方法，卻也相當(dāng)仰賴質(zhì)性之詮釋後設(shè)分析主要是從大量的數(shù)據(jù)來組織和摘取訊息，並且利用統(tǒng)計的方式，來詮釋大部份研究的結(jié)果與訊息，然而卻也相當(dāng)仰賴質(zhì)性之詮釋。後設(shè)分析不因研究品質(zhì)而對研究發(fā)現(xiàn)預(yù)做判定在描述性的文獻(xiàn)探討中，一些被認(rèn)為在方法上有問題的研究（例如不良的設(shè)計、不佳的測量工具等），通常會被主觀地排除；在後設(shè)分析中，會紀(jì)錄每一項(xiàng)研究在方法上的缺失，並探討其與研究發(fā)現(xiàn)之間的關(guān)聯(lián)性。

後設(shè)分析試圖尋找一般性的結(jié)論不同於初探性研究中研究者對未知的變項(xiàng)做探測性的發(fā)現(xiàn)，或是如實(shí)驗(yàn)設(shè)計般可以得到明確的因果關(guān)連。研究者並不希冀自後設(shè)分析的結(jié)果中得到驚人之發(fā)現(xiàn)或突破性結(jié)論，僅被動式的蒐集資料予以分析後找出共同結(jié)論（彭瓊慧，2002）。Glass、McGaw,&Smith（1981）

後設(shè)分析之特色後設(shè)分析雖為量化之方法，卻也相當(dāng)仰賴質(zhì)性之詮後設(shè)分析的優(yōu)點(diǎn)Abrami,&Bernard(2006)歸納其他學(xué)者的意見列出後設(shè)分析的優(yōu)點(diǎn)如下：回答了關(guān)於效果值(effectsize)的問題;有系統(tǒng)地探索了效果值中變異的來源;將重心放在研究的比較而不是聚焦在一個個別的研究，因此能有效控制研究的內(nèi)在效度；因?yàn)槟康氖墙y(tǒng)整一大群的個別研究，因此研究結(jié)果具外在效度或推論性；當(dāng)大量的個別研究被分析時，後設(shè)分析增進(jìn)了統(tǒng)計力(statisticalpower)；後設(shè)分析的優(yōu)點(diǎn)Abrami,&Bernard(200後設(shè)分析的優(yōu)點(diǎn)每一效果值的權(quán)重是根據(jù)研究的樣本大小，因此大樣本的研究可獲得較高的權(quán)重；當(dāng)後設(shè)分析更新時，可以加入新出版的個別研究，也可刪除原先不適用的研究而獲得更具時效的結(jié)果；當(dāng)個別研究的整合產(chǎn)出研究可能的新方向時，研究者可以在未來的分析中增加新的研究變項(xiàng)；為了一些特殊目的，可以針對部分所收集的資料作多次的分析（例如：關(guān)於軍事方面的研究、遠(yuǎn)距學(xué)習(xí)中同步、非同步的研究等）；允許對什麼是我們已經(jīng)知道的、什麼是我們不知道的以及什麼是我們需要知道的作評論。後設(shè)分析的優(yōu)點(diǎn)每一效果值的權(quán)重是根據(jù)研究的樣本大小，因此大樣後設(shè)分析的批評蘋果和橘子的問題（theapplesandorangesproblem）研究品質(zhì)異質(zhì)性問題（heterogeneityofquality）

獨(dú)立性問題（problemofindependences）抽樣偏差與文屜的問題（samplebiasandfiledrawerproblem）(Cook&Campbell,1979;Glassetal.,1981;Hunter,&Schmidt,2004;Jackson,1983;Wolf,1986;Wortman,1983)後設(shè)分析的批評蘋果和橘子的問題（theapplesan國外後設(shè)分析的發(fā)展時間（西元）19771978197919801981198219831984篇數(shù)246918325563資料來源：Hunter,J.E.,&Schmidt,F.L.(1990).

Methodsofmeta-analysis（p.40）.NewburyPark,California:Sage.國外後設(shè)分析的發(fā)展197719781979198019811國外後設(shè)分析的發(fā)展以”meta-analysis”為關(guān)鍵字或標(biāo)題，在AcademicSearchComplete搜尋1980年到2010年共有7510篇文章發(fā)表；2001年到2010年共有6549篇發(fā)表；2006年到2010年共有4609篇發(fā)表；2010年一月至六月也有756篇發(fā)表。國外後設(shè)分析的發(fā)展以”meta-analysis”為關(guān)鍵字或國內(nèi)後設(shè)分析研究現(xiàn)況中華民國期刊論文索引www系統(tǒng)自1993年至2010年9月，以「meta-analysis」為關(guān)鍵字查詢，共獲得129篇。全國博碩士論文索引自1993年至2009年12月，以「meta-analysis」為關(guān)鍵字查詢，共獲得97篇。以「元分析」為關(guān)鍵字自中國期刊全文數(shù)據(jù)庫搜尋自1982至2010共獲得676篇。研究主題包括醫(yī)學(xué)、藥學(xué)、工業(yè)管理、犯罪、教育等。個人已發(fā)表之後設(shè)分析國內(nèi)後設(shè)分析研究現(xiàn)況中華民國期刊論文索引www系統(tǒng)自1993有關(guān)數(shù)位學(xué)習(xí)的後設(shè)分析EvaluationofEvidence-BasedPracticesinOnlineLearning:AMeta-AnalysisandReviewofOnlineLearningStudies,2009Technology’seffectonachievementinhighereducation:aStageImeta-analysisofclassroomapplications,2009有關(guān)數(shù)位學(xué)習(xí)的後設(shè)分析EvaluationofEvide有關(guān)數(shù)位學(xué)習(xí)的後設(shè)分析Liao,Y.C.&Hao,Y(2008)Largescalestudiesandquantitativemethods.InJokeVoogt&GeraldKnezek(Eds.)Internationalhandbookofinformationtechnologyinprimaryandsecondaryeducation(pp.1019-1035).Norwell,MA:Springer.直至2006年止，CAI有30篇，DE有14篇有關(guān)數(shù)位學(xué)習(xí)的後設(shè)分析Liao,Y.C.&Hao,後設(shè)分析的步驟確定研究主題蒐集相關(guān)文獻(xiàn)與研究報告建立研究報告選用之標(biāo)準(zhǔn)篩選符合標(biāo)準(zhǔn)之研究報告檢驗(yàn)出版偏差設(shè)定研究變項(xiàng)，並發(fā)展登錄表格資料編碼與登錄計算每一篇研究報告的效果值(EffectSize,ES)同質(zhì)性檢定(homogeneitytest)撰寫研究結(jié)果後設(shè)分析的步驟確定研究主題1.確定研究主題我國創(chuàng)造性思考教學(xué)學(xué)習(xí)成效之後設(shè)分析（國科會專題研究計劃，計劃編號NSC97-2410-H-003-031

部分成果）

1.確定研究主題我國創(chuàng)造性思考教學(xué)學(xué)習(xí)成效之後設(shè)分析（國2.蒐集相關(guān)文獻(xiàn)與研究報告資料來源中華民國期刊論文索引國家圖書館博碩士論文資訊網(wǎng)國家科學(xué)委員會補(bǔ)助之研究計畫EducationalResourcesInformationCenter,ERIC美加地區(qū)博碩士學(xué)位論文相關(guān)研究報告所附之參考文獻(xiàn)2.蒐集相關(guān)文獻(xiàn)與研究報告資料來源3.建立研究報告採用之標(biāo)準(zhǔn)建立研究報告採用之標(biāo)準(zhǔn)研究主題必須是有關(guān)國內(nèi)創(chuàng)造性思考教學(xué)學(xué)習(xí)成效之實(shí)徵研究。研究型態(tài)必須是真實(shí)驗(yàn)研究、準(zhǔn)實(shí)驗(yàn)研究或前實(shí)驗(yàn)研究設(shè)計。研究的樣本必須是國人。研究結(jié)果必須提供足夠之?dāng)?shù)據(jù)，如(1)實(shí)驗(yàn)組及控制組之平均數(shù)、標(biāo)準(zhǔn)差及樣本大小，或(2)Ｆ值及樣本大小或(3)t值及樣本大小。3.建立研究報告採用之標(biāo)準(zhǔn)建立研究報告採用之標(biāo)準(zhǔn)4.篩選可用之研究報告研究者以「創(chuàng)造思考

」為關(guān)鍵字，自國內(nèi)「期刊論文索引」搜尋，共發(fā)現(xiàn)395篇論文，再自「博碩士論文索引」搜尋，又發(fā)現(xiàn)138篇論文；而國科會的歷年研究計畫亦發(fā)現(xiàn)有56篇論文。若單就實(shí)徵研究來看，則三個索引資料庫中也有超過126篇的研究。將所收集到之研究報告依據(jù)選用標(biāo)準(zhǔn)篩選後，共有96篇符合本後設(shè)分析的條件，其中探討學(xué)生學(xué)業(yè)成就者計39篇，探討學(xué)生學(xué)習(xí)態(tài)度者共46篇，探討學(xué)生高層次思考能力者計90篇。。4.篩選可用之研究報告研究者以「創(chuàng)造思考」為關(guān)鍵字，自國5.檢驗(yàn)出版偏差本研究應(yīng)用Rosenthal(1991)所建議之計算Fail-safeNumber的方法來檢驗(yàn)出版偏差。Fail-safeNumber指的是到底要加上多少未達(dá)顯著性、未出版或未尋獲的研究到後設(shè)分析才會導(dǎo)致該後設(shè)分析的結(jié)果從顯著變成不顯著。而Tolerancelevel為評估結(jié)果不顯著的研究發(fā)生的可能性。如果Fail-safeNumber大於Tolerancelevel表示未達(dá)顯著性、未出版或未尋獲的研究的問題不會影響到後設(shè)分析的結(jié)果。5.檢驗(yàn)出版偏差本研究應(yīng)用Rosenthal(1991)5.檢驗(yàn)出版偏差計算的公式為Fail-safeNumber=19s-n其中s為後設(shè)分析中達(dá)0.5顯著水準(zhǔn)的研究篇數(shù)，n為後設(shè)分析中未達(dá)0.5顯著水準(zhǔn)的研究篇數(shù)Tolerancelevel=5k+10其中k為後設(shè)分析中所有研究的篇數(shù)。5.檢驗(yàn)出版偏差計算的公式為5.檢驗(yàn)出版偏差本研究經(jīng)套用公式計算後Fail-safeNumber=884.5,而Tolerancelevel=160，F(xiàn)ail-safeNumber大於Tolerancelevel，表示未達(dá)顯著性、未出版或未尋獲的研究的問題不會影響到後設(shè)分析的結(jié)果。5.檢驗(yàn)出版偏差本研究經(jīng)套用公式計算後Fail-safe6.設(shè)定調(diào)節(jié)變項(xiàng)，並發(fā)展登錄表格後設(shè)分析的結(jié)果通常包含兩部分：一為描述性之統(tǒng)計，一為推論性之統(tǒng)計。後者即是在觀察是否有某些「因素」會影響整體研究的結(jié)果。調(diào)節(jié)變項(xiàng)登錄表格範(fàn)例6.設(shè)定調(diào)節(jié)變項(xiàng)，並發(fā)展登錄表格後設(shè)分析的結(jié)果通常包含兩7.資料編碼與登錄符合標(biāo)準(zhǔn)的研究報告，經(jīng)閱讀、分析之後，將每一篇的內(nèi)容依據(jù)設(shè)定之調(diào)節(jié)變項(xiàng)，編碼於登錄表格之中?！妇幋a者的信度」在後設(shè)分析中受到相當(dāng)重視，為降低個人主觀因素之影響，以提高編碼的可信度，每一篇研究報告必須經(jīng)過至少兩位編碼者進(jìn)行編碼，並於編碼登錄後，檢核兩者編碼結(jié)果的一致性。本後設(shè)分析編碼登錄的工作，是由兩位研究者擔(dān)任，兩人編碼之一致性達(dá)80%以上。兩位編碼者須針對編碼相異之處進(jìn)行討論以達(dá)成共識。7.資料編碼與登錄符合標(biāo)準(zhǔn)的研究報告，經(jīng)閱讀、分析之後，8.計算每一篇研究報告的ES學(xué)習(xí)成果：實(shí)驗(yàn)結(jié)束後，學(xué)生表現(xiàn)在各種測驗(yàn)工具的分?jǐn)?shù)。為了統(tǒng)合這些來自不同研究報告與不同測驗(yàn)工具的學(xué)習(xí)成果，必須『標(biāo)準(zhǔn)化』標(biāo)準(zhǔn)化的公式：『效果值』（effectsize）。也就是將實(shí)驗(yàn)組與對照組之間平均數(shù)的差，除以整體樣本或控制組之標(biāo)準(zhǔn)差。未提供兩組平均數(shù)或標(biāo)準(zhǔn)差的研究報告，則採用F值或t值的公式。8.計算每一篇研究報告的ES學(xué)習(xí)成果：實(shí)驗(yàn)結(jié)束後，學(xué)生表現(xiàn)8.計算每一篇研究報告的效果值Glass的公式ES=（Xe－Xc）/SDc8.計算每一篇研究報告的效果值Glass的公式8.計算每一篇研究報告的效果值Hedges和Oklin(1985)的公式其中X1為實(shí)驗(yàn)組之平均數(shù)，X2為對照組之平均數(shù)s為包含實(shí)驗(yàn)組與對照組之所有樣本的標(biāo)準(zhǔn)差8.計算每一篇研究報告的效果值Hedges和Oklin(8.計算每一篇研究報告的效果值Hedges和Oklin(1985)發(fā)現(xiàn)他所提出的公式在小樣本的研究中會出現(xiàn)偏誤，因此又提出了一個調(diào)整偏誤的公式

N=n1+n28.計算每一篇研究報告的效果值Hedges和Oklin(8.計算每一篇研究報告的效果值若研究僅提供F或t值及實(shí)驗(yàn)組與對照組的樣本大小，而未提供平均數(shù)或標(biāo)準(zhǔn)差，以致上述的公式無法用來計算ES時，其它轉(zhuǎn)換公式如下8.計算每一篇研究報告的效果值若研究僅提供F或t值及實(shí)驗(yàn)組9.同質(zhì)性檢定(homogeneitytest)

同質(zhì)性檢定的目的：為了檢驗(yàn)從收集到的研究所測得之ES是否在相同的構(gòu)念下，亦即各研究間所顯示的差異源自同一母群體的抽樣誤差。若同質(zhì)性檢定的結(jié)果未達(dá)顯著即表示可直接將這些效果值合併以求得平均ES值，與計算效果值95%的信賴區(qū)間以進(jìn)行ES的顯著性考驗(yàn)。若同質(zhì)性檢定結(jié)果達(dá)顯著，即表示這些研究並非估計相同的母數(shù)，或許有其它調(diào)節(jié)變項(xiàng)影響了整體成效（即平均ES），需進(jìn)一步分析可能影響整體成效變異的因素。9.同質(zhì)性檢定(homogeneitytest)同質(zhì)9.同質(zhì)性檢定(homogeneitytest)同質(zhì)性檢定的公式如下：9.同質(zhì)性檢定(homogeneitytest)同質(zhì)性9.同質(zhì)性檢定(homogeneitytest)若同質(zhì)性檢定達(dá)顯著性差異，且調(diào)節(jié)變項(xiàng)為類別變項(xiàng)，則可採用類似單因子變異數(shù)分析(ANOVA)的方法來檢定哪些調(diào)節(jié)變項(xiàng)對整體成效有顯著影響。詳細(xì)之公式如下:Qj=其中wesj為每一研究之變異數(shù)之倒數(shù)乘以每一研究之ES；wessqj為每一研究之變異數(shù)之倒數(shù)乘以每一研究之ES後再開平方。9.同質(zhì)性檢定(homogeneitytest)若同質(zhì)9.同質(zhì)性檢定(homogeneitytest)

Qw=Qb=Qt–Qw其中Qw(Qwithin)為組內(nèi)之變異數(shù)指標(biāo)，Qt(Qtotal)為整體變異數(shù)，Qb

(Qbetween)為組間之變異數(shù)指標(biāo)。若某一調(diào)節(jié)變項(xiàng)之Qb達(dá)顯著性差異，表示該調(diào)節(jié)變項(xiàng)對整體效果值有顯著影響。9.同質(zhì)性檢定(homogeneitytest)Glass的統(tǒng)計分析為討論本研究各變項(xiàng)與研究效果大小間的關(guān)係，每一變項(xiàng)將被當(dāng)作是一自變項(xiàng)，而以研究效果大小值作為依變項(xiàng)以進(jìn)行單變項(xiàng)變異數(shù)分析（ANOVA）檢驗(yàn)各變項(xiàng)之效果大小之差異性。如果蒐集的研究篇數(shù)足夠也可進(jìn)行多重變項(xiàng)之變異數(shù)分析(如：2-wayANOVAor3-wayANOVA)以探討多重變項(xiàng)間之交互作用。Glass的統(tǒng)計分析10.研究結(jié)果的詮釋描述性統(tǒng)計整體研究結(jié)果平均數(shù)標(biāo)準(zhǔn)差95%CI

推論統(tǒng)計調(diào)節(jié)變項(xiàng)與整體研究結(jié)果之關(guān)係10.研究結(jié)果的詮釋描述性統(tǒng)計描述性統(tǒng)計（學(xué)業(yè)成就）在39篇探討學(xué)業(yè)成就的研究中，有33篇（85%）之ES為正數(shù)；僅有6篇（佔(zhàn)15%）之ES為負(fù)數(shù)。從ES值的計算公式可以得知：當(dāng)ES值為正數(shù)時，表示實(shí)驗(yàn)組優(yōu)於對照組；當(dāng)ES值為負(fù)數(shù)時，表示對照組優(yōu)於實(shí)驗(yàn)組。全部研究之ES值分布範(fàn)圍為-2.161至3.75。ES總平均值為+0.332，95%信心區(qū)間為0.2642~0.3994（不包含0），顯示創(chuàng)造性思考教學(xué)顯著的優(yōu)於傳統(tǒng)教學(xué)。描述性統(tǒng)計（學(xué)業(yè)成就）在39篇探討學(xué)業(yè)成就的研究中，有33篇描述性統(tǒng)計（學(xué)業(yè)成就）整體而言，創(chuàng)造性思考教學(xué)在學(xué)生學(xué)業(yè)成就的整體ES為正向的中低效果（ES=0.332），表示創(chuàng)造性思考教學(xué)在提升學(xué)生學(xué)業(yè)成就的成效上雖僅有中低效果但顯著的優(yōu)於傳統(tǒng)教學(xué)。根據(jù)Cohen（1977）對於後設(shè)分析ES值之界定：當(dāng)ES值為0.2左右時，其效果代表「微量」（small）；當(dāng)ES值為0.5左右時，其效果代表「中度」（medium）；當(dāng)效ES為0.8左右時，其效果代表「強(qiáng)烈」（large）。描述性統(tǒng)計（學(xué)業(yè)成就）整體而言，創(chuàng)造性思考教學(xué)在學(xué)生學(xué)業(yè)成就推論統(tǒng)計在調(diào)節(jié)變項(xiàng)的分析方面，Q-Statistics的分析結(jié)果顯示在13個變項(xiàng)中有8個變項(xiàng)達(dá)顯著性差異。推論統(tǒng)計在調(diào)節(jié)變項(xiàng)的分析方面，Q-Statistics的分析後設(shè)分析專用軟體MetaWinComprehensiveMeta-Analysis(CMA)後設(shè)分析專用軟體MetaWin結(jié)論Bangert-Drowns曾說道：「後設(shè)分析並不只是一股熱潮，而是建基於科學(xué)的基本價值：可複製性（replicability）、可測量性（quantification）、以及因果關(guān)係（causalandcorrelational）。重要的資訊沒有必要分散在個別的研究當(dāng)中。社會學(xué)家對於基本問題的推論答案是如此地重視，以致於我們無法輕乎整合研究的重要性。後設(shè)分析方法具有許多潛在的優(yōu)點(diǎn)?！梗ㄒ訦unter&Schmidt,1990）結(jié)論Bangert-Drowns曾說道：「後設(shè)分析並不只是一ReferencesBangert-Drowns,R.L.(1986).Reviewofdevelopmentsinmeta-analyticmethods.PsychologicalBulletin,99,388-399.Glass,G.V,McGaw,B.,&M.L.Smith(1981).Meta-analysisinsocialresearch.BeverlyHills,CA:Sage.Hunter,J.E.,&F.L.Schmidt(1990).Methodsofmeta-analysis.NewburyPark,CA:Sage.Kulik,J.A.,&C.-L.C.Kulik(1989).Meta-analysisineducation.InternationalJournalofEducationalResearch,13,221-340.補(bǔ)充資料ReferencesBangert-Drowns,R.L.敬請指教敬請指教後設(shè)分析在教育研究上的應(yīng)用:以創(chuàng)造性思考教學(xué)

之學(xué)習(xí)成效為例國立臺灣師範(fàn)大學(xué)教育系廖遠(yuǎn)光後設(shè)分析在教育研究上的應(yīng)用:以創(chuàng)造性思考教學(xué)

之學(xué)習(xí)成效為例引言Astudy,evenawell-designedonewithalargesamplesize,willbecomemoreusefulifitsresultsareexaminedinthecontextofothersinthefield(Kulik,J.A.,&Kulik,C.C.1989).引言Astudy,evenawell-de大綱後設(shè)分析的起源後設(shè)分析的意義後設(shè)分析的特色傳統(tǒng)文獻(xiàn)分析的缺失後設(shè)分析的種類後設(shè)分析的優(yōu)點(diǎn)後設(shè)分析的批評後設(shè)分析的發(fā)展後設(shè)分析的步驟大綱後設(shè)分析的起源後設(shè)分析的優(yōu)點(diǎn)後設(shè)分析（Meta-analysis）的起源後設(shè)分析的技術(shù)最早是運(yùn)用於農(nóng)業(yè)生產(chǎn)方面，其目的是為了探討兩個變項(xiàng)間的關(guān)係(Rosenthal,1991)。有系統(tǒng)的著手社會科學(xué)文獻(xiàn)的整理工作始於1950年代的美國心理學(xué)家Glass及其研究伙伴。1976年Glass將多年的研究成果以一個較為嚴(yán)謹(jǐn)?shù)难芯拷y(tǒng)整方式發(fā)表，並將此一方式命名為「Meta-analysis」後經(jīng)Cooper(1984),HedgesandOlkin(1983;1985),Hunter,Schmidt,andJackson(1982),Jackson(1980),LightandPillemer(1982),andRosenthal(1976),等人大力倡導(dǎo)，使得各領(lǐng)域研究結(jié)果之整合方法更有系統(tǒng)、更明確也更具體化。後設(shè)分析（Meta-analysis）的起源後設(shè)分析的技術(shù)最後設(shè)分析的意義字面意義：研究的研究?！竚eta-analysis」的其它幾種譯名：統(tǒng)合分析、綜合分析。後設(shè)分析也是量化的文獻(xiàn)探討：研究者蒐集相同議題的研究，將各研究所發(fā)表之研究數(shù)據(jù)，重新以統(tǒng)計公式加以量化，運(yùn)用計量分析技巧，將某領(lǐng)域現(xiàn)有的研究結(jié)果的數(shù)據(jù)整合為一。。後設(shè)分析也可提供新的研究方向後設(shè)分析可以透過對調(diào)節(jié)變項(xiàng)的分析，使研究者更加留意文獻(xiàn)不足之處，並進(jìn)而尋找新的研究方向，有助於瞭解個別研究無法發(fā)現(xiàn)的趨勢。後設(shè)分析的意義字面意義：研究的研究。傳統(tǒng)文獻(xiàn)分析的缺失文獻(xiàn)的選擇易流於主觀，文獻(xiàn)評論者常依其主觀標(biāo)準(zhǔn)選擇文獻(xiàn)；對於研究結(jié)果有不同的主觀解釋，以致不同的文獻(xiàn)評論者所得到的結(jié)論往往是相衝突、相矛盾的；對研究發(fā)現(xiàn)可能產(chǎn)生錯誤的詮釋(misleadinginterpretations)；對於所收集的個別研究中持續(xù)出現(xiàn)的某些共同特性未能作深入的檢驗(yàn)；未能探討中介變項(xiàng)與研究發(fā)現(xiàn)間的關(guān)係(Wolf1986)。傳統(tǒng)文獻(xiàn)分析的缺失文獻(xiàn)的選擇易流於主觀，文獻(xiàn)評論者常依其主觀後設(shè)分析之類型在一個研究議題下，以蒐集到的文獻(xiàn)作為樣本去推論該議題所有文獻(xiàn)中（含未收集到及尚未做的研究）特定變項(xiàng)間關(guān)係的可能性。PSYCHOMETRICMETA-ANALYSIS-HunterandSchmidt在一個研究議題下，以蒐集到的文獻(xiàn)作為母群體，探究特定變項(xiàng)間關(guān)係的結(jié)果。CLASSICORGLASSIANMETA-ANALYSIS-GeneGlassSTUDYEFFECTMETA-ANALYSIS–Kulik&Bangert-Drowns特別強(qiáng)調(diào)同質(zhì)性的檢定TESTSOFHOMOGENEITY–Hedges&Olkin

後設(shè)分析之類型在一個研究議題下，以蒐集到的文獻(xiàn)作為樣本去推論後設(shè)分析之特色後設(shè)分析雖為量化之方法，卻也相當(dāng)仰賴質(zhì)性之詮釋後設(shè)分析主要是從大量的數(shù)據(jù)來組織和摘取訊息，並且利用統(tǒng)計的方式，來詮釋大部份研究的結(jié)果與訊息，然而卻也相當(dāng)仰賴質(zhì)性之詮釋。後設(shè)分析不因研究品質(zhì)而對研究發(fā)現(xiàn)預(yù)做判定在描述性的文獻(xiàn)探討中，一些被認(rèn)為在方法上有問題的研究（例如不良的設(shè)計、不佳的測量工具等），通常會被主觀地排除；在後設(shè)分析中，會紀(jì)錄每一項(xiàng)研究在方法上的缺失，並探討其與研究發(fā)現(xiàn)之間的關(guān)聯(lián)性。

後設(shè)分析試圖尋找一般性的結(jié)論不同於初探性研究中研究者對未知的變項(xiàng)做探測性的發(fā)現(xiàn)，或是如實(shí)驗(yàn)設(shè)計般可以得到明確的因果關(guān)連。研究者並不希冀自後設(shè)分析的結(jié)果中得到驚人之發(fā)現(xiàn)或突破性結(jié)論，僅被動式的蒐集資料予以分析後找出共同結(jié)論（彭瓊慧，2002）。Glass、McGaw,&Smith（1981）

後設(shè)分析之特色後設(shè)分析雖為量化之方法，卻也相當(dāng)仰賴質(zhì)性之詮後設(shè)分析的優(yōu)點(diǎn)Abrami,&Bernard(2006)歸納其他學(xué)者的意見列出後設(shè)分析的優(yōu)點(diǎn)如下：回答了關(guān)於效果值(effectsize)的問題;有系統(tǒng)地探索了效果值中變異的來源;將重心放在研究的比較而不是聚焦在一個個別的研究，因此能有效控制研究的內(nèi)在效度；因?yàn)槟康氖墙y(tǒng)整一大群的個別研究，因此研究結(jié)果具外在效度或推論性；當(dāng)大量的個別研究被分析時，後設(shè)分析增進(jìn)了統(tǒng)計力(statisticalpower)；後設(shè)分析的優(yōu)點(diǎn)Abrami,&Bernard(200後設(shè)分析的優(yōu)點(diǎn)每一效果值的權(quán)重是根據(jù)研究的樣本大小，因此大樣本的研究可獲得較高的權(quán)重；當(dāng)後設(shè)分析更新時，可以加入新出版的個別研究，也可刪除原先不適用的研究而獲得更具時效的結(jié)果；當(dāng)個別研究的整合產(chǎn)出研究可能的新方向時，研究者可以在未來的分析中增加新的研究變項(xiàng)；為了一些特殊目的，可以針對部分所收集的資料作多次的分析（例如：關(guān)於軍事方面的研究、遠(yuǎn)距學(xué)習(xí)中同步、非同步的研究等）；允許對什麼是我們已經(jīng)知道的、什麼是我們不知道的以及什麼是我們需要知道的作評論。後設(shè)分析的優(yōu)點(diǎn)每一效果值的權(quán)重是根據(jù)研究的樣本大小，因此大樣後設(shè)分析的批評蘋果和橘子的問題（theapplesandorangesproblem）研究品質(zhì)異質(zhì)性問題（heterogeneityofquality）

獨(dú)立性問題（problemofindependences）抽樣偏差與文屜的問題（samplebiasandfiledrawerproblem）(Cook&Campbell,1979;Glassetal.,1981;Hunter,&Schmidt,2004;Jackson,1983;Wolf,1986;Wortman,1983)後設(shè)分析的批評蘋果和橘子的問題（theapplesan國外後設(shè)分析的發(fā)展時間（西元）19771978197919801981198219831984篇數(shù)246918325563資料來源：Hunter,J.E.,&Schmidt,F.L.(1990).

Methodsofmeta-analysis（p.40）.NewburyPark,California:Sage.國外後設(shè)分析的發(fā)展197719781979198019811國外後設(shè)分析的發(fā)展以”meta-analysis”為關(guān)鍵字或標(biāo)題，在AcademicSearchComplete搜尋1980年到2010年共有7510篇文章發(fā)表；2001年到2010年共有6549篇發(fā)表；2006年到2010年共有4609篇發(fā)表；2010年一月至六月也有756篇發(fā)表。國外後設(shè)分析的發(fā)展以”meta-analysis”為關(guān)鍵字或國內(nèi)後設(shè)分析研究現(xiàn)況中華民國期刊論文索引www系統(tǒng)自1993年至2010年9月，以「meta-analysis」為關(guān)鍵字查詢，共獲得129篇。全國博碩士論文索引自1993年至2009年12月，以「meta-analysis」為關(guān)鍵字查詢，共獲得97篇。以「元分析」為關(guān)鍵字自中國期刊全文數(shù)據(jù)庫搜尋自1982至2010共獲得676篇。研究主題包括醫(yī)學(xué)、藥學(xué)、工業(yè)管理、犯罪、教育等。個人已發(fā)表之後設(shè)分析國內(nèi)後設(shè)分析研究現(xiàn)況中華民國期刊論文索引www系統(tǒng)自1993有關(guān)數(shù)位學(xué)習(xí)的後設(shè)分析EvaluationofEvidence-BasedPracticesinOnlineLearning:AMeta-AnalysisandReviewofOnlineLearningStudies,2009Technology’seffectonachievementinhighereducation:aStageImeta-analysisofclassroomapplications,2009有關(guān)數(shù)位學(xué)習(xí)的後設(shè)分析EvaluationofEvide有關(guān)數(shù)位學(xué)習(xí)的後設(shè)分析Liao,Y.C.&Hao,Y(2008)Largescalestudiesandquantitativemethods.InJokeVoogt&GeraldKnezek(Eds.)Internationalhandbookofinformationtechnologyinprimaryandsecondaryeducation(pp.1019-1035).Norwell,MA:Springer.直至2006年止，CAI有30篇，DE有14篇有關(guān)數(shù)位學(xué)習(xí)的後設(shè)分析Liao,Y.C.&Hao,後設(shè)分析的步驟確定研究主題蒐集相關(guān)文獻(xiàn)與研究報告建立研究報告選用之標(biāo)準(zhǔn)篩選符合標(biāo)準(zhǔn)之研究報告檢驗(yàn)出版偏差設(shè)定研究變項(xiàng)，並發(fā)展登錄表格資料編碼與登錄計算每一篇研究報告的效果值(EffectSize,ES)同質(zhì)性檢定(homogeneitytest)撰寫研究結(jié)果後設(shè)分析的步驟確定研究主題1.確定研究主題我國創(chuàng)造性思考教學(xué)學(xué)習(xí)成效之後設(shè)分析（國科會專題研究計劃，計劃編號NSC97-2410-H-003-031

部分成果）

1.確定研究主題我國創(chuàng)造性思考教學(xué)學(xué)習(xí)成效之後設(shè)分析（國2.蒐集相關(guān)文獻(xiàn)與研究報告資料來源中華民國期刊論文索引國家圖書館博碩士論文資訊網(wǎng)國家科學(xué)委員會補(bǔ)助之研究計畫EducationalResourcesInformationCenter,ERIC美加地區(qū)博碩士學(xué)位論文相關(guān)研究報告所附之參考文獻(xiàn)2.蒐集相關(guān)文獻(xiàn)與研究報告資料來源3.建立研究報告採用之標(biāo)準(zhǔn)建立研究報告採用之標(biāo)準(zhǔn)研究主題必須是有關(guān)國內(nèi)創(chuàng)造性思考教學(xué)學(xué)習(xí)成效之實(shí)徵研究。研究型態(tài)必須是真實(shí)驗(yàn)研究、準(zhǔn)實(shí)驗(yàn)研究或前實(shí)驗(yàn)研究設(shè)計。研究的樣本必須是國人。研究結(jié)果必須提供足夠之?dāng)?shù)據(jù)，如(1)實(shí)驗(yàn)組及控制組之平均數(shù)、標(biāo)準(zhǔn)差及樣本大小，或(2)Ｆ值及樣本大小或(3)t值及樣本大小。3.建立研究報告採用之標(biāo)準(zhǔn)建立研究報告採用之標(biāo)準(zhǔn)4.篩選可用之研究報告研究者以「創(chuàng)造思考

」為關(guān)鍵字，自國內(nèi)「期刊論文索引」搜尋，共發(fā)現(xiàn)395篇論文，再自「博碩士論文索引」搜尋，又發(fā)現(xiàn)138篇論文；而國科會的歷年研究計畫亦發(fā)現(xiàn)有56篇論文。若單就實(shí)徵研究來看，則三個索引資料庫中也有超過126篇的研究。將所收集到之研究報告依據(jù)選用標(biāo)準(zhǔn)篩選後，共有96篇符合本後設(shè)分析的條件，其中探討學(xué)生學(xué)業(yè)成就者計39篇，探討學(xué)生學(xué)習(xí)態(tài)度者共46篇，探討學(xué)生高層次思考能力者計90篇。。4.篩選可用之研究報告研究者以「創(chuàng)造思考」為關(guān)鍵字，自國5.檢驗(yàn)出版偏差本研究應(yīng)用Rosenthal(1991)所建議之計算Fail-safeNumber的方法來檢驗(yàn)出版偏差。Fail-safeNumber指的是到底要加上多少未達(dá)顯著性、未出版或未尋獲的研究到後設(shè)分析才會導(dǎo)致該後設(shè)分析的結(jié)果從顯著變成不顯著。而Tolerancelevel為評估結(jié)果不顯著的研究發(fā)生的可能性。如果Fail-safeNumber大於Tolerancelevel表示未達(dá)顯著性、未出版或未尋獲的研究的問題不會影響到後設(shè)分析的結(jié)果。5.檢驗(yàn)出版偏差本研究應(yīng)用Rosenthal(1991)5.檢驗(yàn)出版偏差計算的公式為Fail-safeNumber=19s-n其中s為後設(shè)分析中達(dá)0.5顯著水準(zhǔn)的研究篇數(shù)，n為後設(shè)分析中未達(dá)0.5顯著水準(zhǔn)的研究篇數(shù)Tolerancelevel=5k+10其中k為後設(shè)分析中所有研究的篇數(shù)。5.檢驗(yàn)出版偏差計算的公式為5.檢驗(yàn)出版偏差本研究經(jīng)套用公式計算後Fail-safeNumber=884.5,而Tolerancelevel=160，F(xiàn)ail-safeNumber大於Tolerancelevel，表示未達(dá)顯著性、未出版或未尋獲的研究的問題不會影響到後設(shè)分析的結(jié)果。5.檢驗(yàn)出版偏差本研究經(jīng)套用公式計算後Fail-safe6.設(shè)定調(diào)節(jié)變項(xiàng)，並發(fā)展登錄表格後設(shè)分析的結(jié)果通常包含兩部分：一為描述性之統(tǒng)計，一為推論性之統(tǒng)計。後者即是在觀察是否有某些「因素」會影響整體研究的結(jié)果。調(diào)節(jié)變項(xiàng)登錄表格範(fàn)例6.設(shè)定調(diào)節(jié)變項(xiàng)，並發(fā)展登錄表格後設(shè)分析的結(jié)果通常包含兩7.資料編碼與登錄符合標(biāo)準(zhǔn)的研究報告，經(jīng)閱讀、分析之後，將每一篇的內(nèi)容依據(jù)設(shè)定之調(diào)節(jié)變項(xiàng)，編碼於登錄表格之中?！妇幋a者的信度」在後設(shè)分析中受到相當(dāng)重視，為降低個人主觀因素之影響，以提高編碼的可信度，每一篇研究報告必須經(jīng)過至少兩位編碼者進(jìn)行編碼，並於編碼登錄後，檢核兩者編碼結(jié)果的一致性。本後設(shè)分析編碼登錄的工作，是由兩位研究者擔(dān)任，兩人編碼之一致性達(dá)80%以上。兩位編碼者須針對編碼相異之處進(jìn)行討論以達(dá)成共識。7.資料編碼與登錄符合標(biāo)準(zhǔn)的研究報告，經(jīng)閱讀、分析之後，8.計算每一篇研究報告的ES學(xué)習(xí)成果：實(shí)驗(yàn)結(jié)束後，學(xué)生表現(xiàn)在各種測驗(yàn)工具的分?jǐn)?shù)。為了統(tǒng)合這些來自不同研究報告與不同測驗(yàn)工具的學(xué)習(xí)成果，必須『標(biāo)準(zhǔn)化』標(biāo)準(zhǔn)化的公式：『效果值』（effectsize）。也就是將實(shí)驗(yàn)組與對照組之間平均數(shù)的差，除以整體樣本或控制組之標(biāo)準(zhǔn)差。未提供兩組平均數(shù)或標(biāo)準(zhǔn)差的研究報告，則採用F值或t值的公式。8.計算每一篇研究報告的ES學(xué)習(xí)成果：實(shí)驗(yàn)結(jié)束後，學(xué)生表現(xiàn)8.計算每一篇研究報告的效果值Glass的公式ES=（Xe－Xc）/SDc8.計算每一篇研究報告的效果值Glass的公式8.計算每一篇研究報告的效果值Hedges和Oklin(1985)的公式其中X1為實(shí)驗(yàn)組之平均數(shù)，X2為對照組之平均數(shù)s為包含實(shí)驗(yàn)組與對照組之所有樣本的標(biāo)準(zhǔn)差8.計算每一篇研究報告的效果值Hedges和Oklin(8.計算每一篇研究報告的效果值Hedges和Oklin(1985)發(fā)現(xiàn)他所提出的公式在小樣本的研究中會出現(xiàn)偏誤，因此又提出了一個調(diào)整偏誤的公式

N=n1+n28.計算每一篇研究報告的效果值Hedges和Oklin(8.計算每一篇研究報告的效果值若研究僅提供F或t值及實(shí)驗(yàn)組與對照組的樣本大小，而未提供平均數(shù)或標(biāo)準(zhǔn)差，以致上述的公式無法用來計算ES時，其它轉(zhuǎn)換公式如下8.計算每一篇研究報告的效果值若研究僅提供F或t值及實(shí)驗(yàn)組9.同質(zhì)性檢定(homogeneitytest)

同質(zhì)性檢定的目的：為了檢驗(yàn)從收集到的研究所測得之ES是否在相同的構(gòu)念下，亦即各研究間所顯示的差異源自同一母群體的抽樣誤差。若同質(zhì)性檢定的結(jié)果未達(dá)顯著即表示可直接將這些效果值合併以求得平均ES值，與計算效果值95%的信賴區(qū)間以進(jìn)行ES的顯著性考驗(yàn)。若同質(zhì)性檢定結(jié)果達(dá)顯著，即表示這些研究並非估計相同的母數(shù)，或許有其它調(diào)節(jié)變項(xiàng)影響了整體成效（即平均ES），需進(jìn)一步分析可能影響整體成效變異的因素。9.同質(zhì)性檢定(homogeneitytest)同質(zhì)9.同質(zhì)性檢定(homogeneitytest)同質(zhì)性檢定的公式如下：9.同質(zhì)性檢定(homogeneitytest)同質(zhì)性9.同質(zhì)性檢定(homogeneitytest)若同質(zhì)性檢定達(dá)顯著性差異，且調(diào)節(jié)變項(xiàng)為類別變項(xiàng)，則可採用類似單因子變異數(shù)分析(ANOVA)的方法來檢定哪些調(diào)節(jié)變項(xiàng)對整體成效有顯著影響。詳細(xì)之公式如下:Qj=其中wesj為每一研究之變異數(shù)之倒數(shù)乘以每一研究之ES；wessqj為每一研究之變異數(shù)之倒數(shù)乘以每一研究之ES後再開平方。9.同質(zhì)性檢定(homogeneitytest)若同質(zhì)9.同質(zhì)性檢定(homogeneitytest)

Qw=Qb=Qt–Qw其中Qw(Qwithin)為組內(nèi)之變異數(shù)指標(biāo)，Q