實(shí)驗(yàn)設(shè)計(jì)評價(jià)

實(shí)驗(yàn)設(shè)計(jì)評價(jià)第一頁，共十八頁，2022年，8月28日一、實(shí)驗(yàn)設(shè)計(jì)的評價(jià)

DeterminingTheReliabilityandValidityofAResearch第二頁，共十八頁，2022年，8月28日《心理實(shí)驗(yàn)設(shè)計(jì)》3研究的信度與效度研究的信度Ameasuringinstrumentisperfectlyreliableifwegetexactlythesameresultwhenwerepeatthemeasurementanumberoftimes.Formallydeterminingreliabilityisparticularlyimportantwhenthedependentvariableisthescorefromatestinstrumentsuchasatestofachievement,aptitude,orpersonalitytraits.Test-retestreliabilityAlternative-formreliabilitySplit-halfreliability第三頁，共十八頁，2022年，8月28日《心理實(shí)驗(yàn)設(shè)計(jì)》4研究的效度指研究真實(shí)、正確地揭示所研究問題的本質(zhì)及其規(guī)律的程度，即結(jié)果符合客觀實(shí)際的程度。Validityreferstowhetherwearemeasuringwhatwewanttomeasure.第四頁，共十八頁，2022年，8月28日《心理實(shí)驗(yàn)設(shè)計(jì)》5研究信度與效度的關(guān)系：信度是效度的基礎(chǔ)，效度是信度的目的。提高效度必然以提高信度為前提。效度是評價(jià)研究設(shè)計(jì)和結(jié)果的根本標(biāo)準(zhǔn)。第五頁，共十八頁，2022年，8月28日《心理實(shí)驗(yàn)設(shè)計(jì)》6效度的類型

（Cook&Campbell,1979）構(gòu)思效度（constructvalidity）：也稱建構(gòu)效度、構(gòu)念效度、結(jié)構(gòu)效度

內(nèi)部效度（internalvalidity）統(tǒng)計(jì)結(jié)論效度（statistic-conclusionvalidity）外部效度（externalvalidity）

對一項(xiàng)研究來說，首先要考慮的是內(nèi)部效度，而后就是外部效度，其他兩種效度相對次要。第六頁，共十八頁，2022年，8月28日《心理實(shí)驗(yàn)設(shè)計(jì)》7內(nèi)部效度內(nèi)部效度是指在研究的自變量與因變量之間存在關(guān)系的明確程度，即保證因變量的變化確系由特定的自變量所引起，而不是其它的外部變量。影響內(nèi)部效度的因素成熟因素歷史因素被試選擇差異被試的缺失前測效應(yīng)第七頁，共十八頁，2022年，8月28日《心理實(shí)驗(yàn)設(shè)計(jì)》8接上頁實(shí)驗(yàn)處理的擴(kuò)散效應(yīng)統(tǒng)計(jì)回歸效應(yīng)多種研究條件與因素間的交互作用第八頁，共十八頁，2022年，8月28日《心理實(shí)驗(yàn)設(shè)計(jì)》9外部效度外部效度是指研究結(jié)果的代表性和適用性；涉及研究結(jié)論的一般化問題?？傮w的一般化——實(shí)驗(yàn)結(jié)果應(yīng)用到不同于原始研究的、范圍更廣的其他群體或被試中。（總體效度）情境的一般化——實(shí)驗(yàn)結(jié)果應(yīng)用到不同于原始研究的情境或環(huán)境中。（生態(tài)效度）時(shí)間的一般化——實(shí)驗(yàn)結(jié)果應(yīng)用到不同于原始研究的時(shí)期。（時(shí)間效度）影響外部效度的因素實(shí)驗(yàn)環(huán)境的人為性：反應(yīng)性情境測量工具的局限性第九頁，共十八頁，2022年，8月28日《心理實(shí)驗(yàn)設(shè)計(jì)》10接上頁交互作用：實(shí)驗(yàn)處理與實(shí)驗(yàn)持續(xù)時(shí)間的交互作用、實(shí)驗(yàn)處理與測量時(shí)間的交互作用以及選擇與自變量之間的交互作用，等。多重實(shí)驗(yàn)處理的干擾對測量的敏感化樣本的代表性不足第十頁，共十八頁，2022年，8月28日《心理實(shí)驗(yàn)設(shè)計(jì)》11成熟、歷史選擇、流失測量、設(shè)備處理擴(kuò)散統(tǒng)計(jì)回歸交互作用研究的效度統(tǒng)計(jì)結(jié)論效度內(nèi)部效度構(gòu)思效度人為環(huán)境工具局限交互作用多重處理敏感化樣本代表性低概念模糊邏輯混亂構(gòu)思水平混淆實(shí)驗(yàn)者效應(yīng)被試反應(yīng)性……外部效度對內(nèi)部效度的威脅對構(gòu)思效度的威脅對外部效度的威脅對統(tǒng)計(jì)結(jié)論效度的威脅數(shù)據(jù)質(zhì)量差違反統(tǒng)計(jì)檢驗(yàn)假設(shè)統(tǒng)計(jì)功效低第十一頁，共十八頁，2022年，8月28日二、如何選擇合適的實(shí)驗(yàn)設(shè)計(jì)Chooseatypeofexperimentaldesignbecomingly第十二頁，共十八頁，2022年，8月28日《心理實(shí)驗(yàn)設(shè)計(jì)》13良好實(shí)驗(yàn)設(shè)計(jì)的標(biāo)準(zhǔn)能滿足理論框架的要求，能恰當(dāng)?shù)鼗卮鹨芯康膯栴}，這主要是通過巧妙的實(shí)驗(yàn)構(gòu)思完成的；能使同樣一批數(shù)據(jù)給出較多地信息，這依賴于實(shí)驗(yàn)者能按照統(tǒng)計(jì)分析的要求收集數(shù)據(jù)；能提供實(shí)驗(yàn)的高信度，即實(shí)驗(yàn)的可重復(fù)性，這主要是通過較好地控制無關(guān)變量而達(dá)到的；第十三頁，共十八頁，2022年，8月28日《心理實(shí)驗(yàn)設(shè)計(jì)》14續(xù)上頁能提供實(shí)驗(yàn)的高效度，即研究結(jié)果反映客觀現(xiàn)實(shí)的程度，這是通過增加實(shí)驗(yàn)設(shè)計(jì)的復(fù)雜程度來實(shí)現(xiàn)的；能提高實(shí)驗(yàn)的敏感性，即能探索一些深入的、細(xì)微的、難以通過日常觀察或經(jīng)驗(yàn)察覺到的現(xiàn)象，這主要是通過選擇合適的實(shí)驗(yàn)設(shè)計(jì)完成的；盡量在實(shí)施上是經(jīng)濟(jì)、省力、可行的。第十四頁，共十八頁，2022年，8月28日《心理實(shí)驗(yàn)設(shè)計(jì)》15選擇合適的實(shí)驗(yàn)設(shè)計(jì)根據(jù)研究問題的復(fù)雜程度選擇實(shí)驗(yàn)設(shè)計(jì)；根據(jù)對實(shí)驗(yàn)結(jié)果的精度的要求來選擇實(shí)驗(yàn)設(shè)計(jì)；根據(jù)實(shí)驗(yàn)實(shí)施的可行性選擇實(shí)驗(yàn)設(shè)計(jì)；第十五頁，共十八頁，2022年，8月28日《心理實(shí)驗(yàn)設(shè)計(jì)》16問題復(fù)雜性單因素設(shè)計(jì)：簡單易行，但外部效度和研究的效率偏低，不適合研究復(fù)雜的心理教育問題。因素設(shè)計(jì)：能同時(shí)考察多個(gè)因素之間的相互影響、相互制約的關(guān)系，適合研究復(fù)雜的理論和現(xiàn)實(shí)問題；問題越復(fù)雜，實(shí)驗(yàn)設(shè)計(jì)的因素就越多。但因素的多少并非任意，過多的因素會帶來數(shù)據(jù)分析和推論解釋的困難。系列研究：將眾多因素分散在一系列研究中分別予以考察。第十六頁，共十八頁，2022年，8月28日《心理實(shí)驗(yàn)設(shè)計(jì)》17研究精度研究精度的要求越高，對實(shí)驗(yàn)設(shè)計(jì)敏感性的要求也越高。提高設(shè)計(jì)敏感性的途徑：提高設(shè)計(jì)敏感性減小實(shí)驗(yàn)誤差分離無關(guān)變異拉丁方設(shè)計(jì)區(qū)組設(shè)計(jì)重復(fù)測量設(shè)計(jì)分離特定額外變量分離被試個(gè)別差異前提假設(shè)前提假設(shè)第十七頁，共十八頁，2022年，8月28日《心理實(shí)驗(yàn)設(shè)計(jì)》18可行性變量特性：被試間自變量——性別、年齡、職業(yè)等被試變量被試內(nèi)或被試間自變量——操作任務(wù)、環(huán)境特征……最低