實(shí)驗(yàn)研究的信度和效度.ppt

第二章 心理學(xué)實(shí)驗(yàn)研究基礎(chǔ),第三節(jié) 實(shí)驗(yàn)研究的信度和效度,對于一篇實(shí)驗(yàn)報告，我們經(jīng)常要思考： 研究的變量是什么？ 研究的結(jié)論是什么？ 這個結(jié)論是否站得住腳？,對實(shí)驗(yàn)研究的評價,實(shí)驗(yàn)是否有效、明確準(zhǔn)確性、有效性 （效度） 實(shí)驗(yàn)是否可重復(fù)驗(yàn)證可信性、一致性 （信度）,實(shí)驗(yàn)研究效度,實(shí)驗(yàn)?zāi)康模候?yàn)證假設(shè)，驗(yàn)證自變量和因變量之間的關(guān)系，使實(shí)驗(yàn)結(jié)果的推論可用以解釋和預(yù)測其他同類現(xiàn)象。 由于不同的實(shí)驗(yàn)者在設(shè)計上和在對額外變量的控制程度上極不相同，實(shí)驗(yàn)的效度也會有很大的不同。了解影響實(shí)驗(yàn)效度的諸因素，將有助于我們評價實(shí)驗(yàn)設(shè)計的質(zhì)量，提高實(shí)驗(yàn)設(shè)計的科學(xué)性。 實(shí)驗(yàn)效度：指實(shí)驗(yàn)方法能夠達(dá)到實(shí)驗(yàn)?zāi)康牡某潭?，即?shí)驗(yàn)結(jié)果的準(zhǔn)確性和有效性程度。 內(nèi)部效度（Internal Validity） 外部效度（External Validity）,實(shí)驗(yàn)研究的效度,1.內(nèi)部效度 實(shí)驗(yàn)中自變量的效應(yīng)能被準(zhǔn)確估計的程度，或者說自變量和因變量之間關(guān)系的明確程度。 如果對實(shí)驗(yàn)中的額外變量控制不充分，那么這些額外因素的效應(yīng)可能與自變量發(fā)生混淆，得出因果關(guān)系的結(jié)論不完全有把握。此時就說該實(shí)驗(yàn)缺乏內(nèi)在效度。 影響內(nèi)部效度的一些因素？,案例討論一,通過實(shí)驗(yàn)，研究體育鍛煉對中學(xué)生身高增長是否有影響： 隨機(jī)選取入學(xué)的中學(xué)生200名，剛?cè)雽W(xué)測的平均身高145cm，然后在學(xué)校實(shí)行全校強(qiáng)化體育鍛煉一年，再測這些學(xué)生平均很高為160cm，通過統(tǒng)計檢驗(yàn)（配對t檢驗(yàn)）發(fā)現(xiàn)身高增高顯著，所以體育鍛煉對中學(xué)生身高增加是有積極作用的。 該實(shí)驗(yàn)中自變量、因變量是什么？ 這個因果關(guān)系是否確定？為什么？,影響內(nèi)在效度的因素,1.生長和成熟 除了實(shí)驗(yàn)中的自變量可能使個體行為發(fā)生變化外，個體本身的內(nèi)部歷程發(fā)生改變，即個體生長和成熟也是使其行為變化的重要因素。特別是在以幼小的兒童為被試者而又采用單組前測后測實(shí)驗(yàn)的情況下，生長和成熟因素的影響就更大。 單組前測后測實(shí)驗(yàn)：通常是實(shí)驗(yàn)處理之前先對被試者的某種行為作一次測量，實(shí)驗(yàn)處理后再以同樣方法測量一次，兩次測量之差即表示實(shí)驗(yàn)變量（即自變量）產(chǎn)生的效果。 局限：忽略了前后兩次測量之間被試者的生長和成熟因素，其實(shí)驗(yàn)效果易受生長和成熟因素的混淆，從而降低了內(nèi)部效度。 解決的主要辦法是增設(shè)同樣條件的控制組進(jìn)行比較。,影響內(nèi)在效度的因素,2.歷史（經(jīng)歷） 在實(shí)驗(yàn)的過程中，與實(shí)驗(yàn)變量同時發(fā)生，并對實(shí)驗(yàn)結(jié)果產(chǎn)生影響的特定事件。研究者往往無法判斷實(shí)驗(yàn)結(jié)果是由處理（自變量引起）還是特定事件引起。 e.g.：傳統(tǒng)教學(xué)法與創(chuàng)新教學(xué)法對學(xué)習(xí)效果的影響 特定事件：創(chuàng)新教學(xué)法受關(guān)注，有專家聽課，混進(jìn)有意輔助活動（教材）,案例討論二,研究放松訓(xùn)練對學(xué)生射擊成績是否有促進(jìn)作用。 實(shí)驗(yàn)：隨機(jī)選取30名學(xué)生，每個學(xué)生進(jìn)行10次射擊的初步測試，得到每個人的初次平均成績；初測后由教練安排放松訓(xùn)練，放松后進(jìn)行第二輪的10次測試，又得到每個人的平均成績。通過統(tǒng)計檢驗(yàn)效果顯著。 自變量和因變量是什么？ 你相信該結(jié)論嗎？為什么？,影響內(nèi)在效度的因素,3.前測的影響 研究者為了取得實(shí)驗(yàn)前被試的初始狀態(tài)，常對被試實(shí)施前測，可能會積極或消極的影響實(shí)驗(yàn)處理實(shí)施后的測驗(yàn)結(jié)果。其中包括練習(xí)因素、臨場經(jīng)驗(yàn)、以及對實(shí)驗(yàn)?zāi)康牡拿舾谐潭?，從而影響了后測的成績。特別是前后兩次測量時間較近，這一因素的影響就更顯著。 e.g.：體育老師的示范對立定跳成績影響。 前測 示范 后測 比較前測與后測差異，結(jié)果？ 教師的提示講解對應(yīng)用題解答成績的影響，也有學(xué)生在前測中掌握的技巧與經(jīng)驗(yàn)起作用,影響內(nèi)在效度的因素,4.被試的選擇偏性 在對被試者進(jìn)行分組時，如果沒有用隨機(jī)取樣和隨機(jī)分配的方法，在實(shí)驗(yàn)處理之前，他們在各方面并不相等或有偏性，從而造成實(shí)驗(yàn)結(jié)果的混淆，因果關(guān)系就不那么明確，降低了內(nèi)部效度。 e.g.: 在選擇控制組和實(shí)驗(yàn)組的時候，男生一組、女生一組；,影響內(nèi)在效度的因素,5.被試的缺失 如果是一項(xiàng)長期的實(shí)驗(yàn)，要保持原實(shí)驗(yàn)被試者的人數(shù)不變是相當(dāng)困難的。 即使開始參加實(shí)驗(yàn)的被試者樣本是經(jīng)過隨機(jī)取樣和隨機(jī)分配的，但由于被試者的中途缺失，常常使缺失后的被試者樣本難以代表原來的樣本（數(shù)量過少或者保留的被試具備獨(dú)特的特點(diǎn)）。這就降低了內(nèi)部效度。,影響內(nèi)在效度的因素,6.實(shí)驗(yàn)程序不一致 在實(shí)驗(yàn)過程中，實(shí)驗(yàn)儀器、控制方式的不一致，測量程度的變化，實(shí)驗(yàn)處理的擴(kuò)散和交流等都可能混淆實(shí)驗(yàn)變量（即自變量）的效果。 實(shí)驗(yàn)者知道實(shí)驗(yàn)?zāi)康乃a(chǎn)生的“實(shí)驗(yàn)者效應(yīng)”以及被試者知道實(shí)驗(yàn)?zāi)康幕蚱渥约赫谎芯克a(chǎn)生的“霍桑效應(yīng)”和“安慰劑效應(yīng)”等，都將混淆實(shí)驗(yàn)變量（即自變量）的效果，從而降低了內(nèi)部效度。,影響內(nèi)在效度的因素,7.統(tǒng)計回歸 回歸假象：指在取樣時，選取某些特質(zhì)位于兩極端的被試。第一次測量平均值偏高者，第二次測量平均值有趨低的傾向（向常態(tài)分布的平均數(shù)回歸）；第一次測量平均值偏低者，第二次測量平均值有趨高的傾向（也向常態(tài)分布的平均數(shù)回歸）。 e.g.： 高焦慮組&低焦慮組 處理：在匹配被試時必須考慮兩組被試本身是否同質(zhì)，如果不同質(zhì)，就必須以幾組被試各自的相對水平進(jìn)行匹配。,實(shí)驗(yàn)的內(nèi)部效度統(tǒng)計程序的有效性,實(shí)驗(yàn)的內(nèi)在效度的特例 1979年庫克和科柏爾從內(nèi)在效度中抽出一部分命名為統(tǒng)計結(jié)論效度 統(tǒng)計結(jié)論效度：指由統(tǒng)計方法適切性所引起的統(tǒng)計結(jié)論的有效性程度，即有關(guān)決定實(shí)驗(yàn)處理效應(yīng)的數(shù)據(jù)分析程序的有效性和準(zhǔn)確性。 統(tǒng)計程序的有效性，涉及研究誤差的變異來源和如何恰當(dāng)運(yùn)用統(tǒng)計顯著性檢驗(yàn)的問題 影響統(tǒng)計程序的有效性的因素：,影響統(tǒng)計結(jié)論效度的因素,1.統(tǒng)計檢測力低 正確推斷虛無假設(shè)正誤的能力。 樣本大小：樣本小，統(tǒng)計檢定力低。有時要考慮實(shí)際意義，樣本過大得出的顯著差異可能沒實(shí)際意義 顯著性水平的大小，越小，犯錯誤就越大。確定顯著性水平的大小要合適。 因變量的誤差變異(標(biāo)準(zhǔn)差)大小的影響：誤差變異越大，標(biāo)準(zhǔn)誤也越大，達(dá)到顯著水平時，犯錯誤就越大,統(tǒng)計推論中的兩類錯誤,根據(jù)樣本推斷總體，有可能犯兩類錯誤： 虛無假設(shè)H0本來是正確的，但拒絕了H0，這類錯誤稱為棄真錯誤，即型錯誤。我們用表示犯型錯誤的概率 虛無假設(shè)H0本來不正確，但卻接受了H0，這類錯誤稱為取偽錯誤，即型錯誤。我們用表示犯型錯誤的概率 兩類錯誤的關(guān)系？,在進(jìn)行實(shí)驗(yàn)設(shè)計時，總希望兩類錯誤都盡可能的小，但在實(shí)際的實(shí)驗(yàn)過程中卻很難實(shí)現(xiàn)，對一定容量的樣本而言(N已經(jīng)確定)，小時就大；小時就大.與不可能同時非常小。 受研究者的直接控制，而只能通過它和的反比關(guān)系進(jìn)行間接控制。 由于在確定顯著性水平后，型錯誤的概率隨著樣本容量的增加而減少，所以在設(shè)計實(shí)驗(yàn)時，可根據(jù)實(shí)驗(yàn)條件適當(dāng)?shù)卦黾訕颖救萘?，對進(jìn)行控制，以減少犯型錯誤的可能性.,統(tǒng)計推論中的兩類錯誤,影響統(tǒng)計結(jié)論效度的因素,2.所選用的統(tǒng)計方法依據(jù)的各種假設(shè)條件的滿足程度 t檢驗(yàn)、方差分析等都要求數(shù)據(jù)為隨機(jī)的等距或等比變量，總體分布為正態(tài)，抽樣分布也是正態(tài)分布或者t分布，或方差齊性才能應(yīng)用，不滿足這些條件則統(tǒng)計結(jié)論的效度大成問題。 3.多重比較的影響 多重比較的影響：實(shí)驗(yàn)處理的層次增加，錯誤（棄真錯誤）增加。,實(shí)驗(yàn)的外部效度,實(shí)驗(yàn)的外部效度 指實(shí)驗(yàn)結(jié)果能夠普遍推論到樣本的總體和其他同類現(xiàn)象中去的程度，即實(shí)驗(yàn)結(jié)果的普遍代表性和適用性。任何一項(xiàng)實(shí)驗(yàn)研究都想將其結(jié)果推廣，希望能用自己的研究結(jié)果，對同類現(xiàn)象做出解釋，預(yù)測和控制。 以人的行為為研究對象所獲得的實(shí)驗(yàn)結(jié)果，其推論往往有相當(dāng)?shù)木窒扌?。如某些教學(xué)改革方法的研究僅適用于城市條件教學(xué)而不適于農(nóng)村條件教學(xué),詹金斯的四個評價維度,詹金斯（Jenkins,1979）提供四個評實(shí)驗(yàn)結(jié)果普遍性的維度： 1.用其他的被試人群也能得到同樣的結(jié)果嗎 2.用其他的實(shí)驗(yàn)材料也能得到同樣的結(jié)果嗎 3.用其他不同類型的測驗(yàn)也會有同樣的結(jié)果嗎 4.用不同的實(shí)驗(yàn)處理和不同的自變量操作方式也能有同樣的結(jié)果嗎 特定的結(jié)果能否從被試人群、材料、情景以及因變量的測量等幾個方面推廣。,影響外部效度的因素,1.實(shí)驗(yàn)室的過分人工情境化 實(shí)驗(yàn)是在控制條件下進(jìn)行的，實(shí)驗(yàn)環(huán)境的人為性可能使某些實(shí)驗(yàn)結(jié)果難以用來解釋日常生活中的行為現(xiàn)象，盡量減少人工情景化，增加實(shí)驗(yàn)變量 實(shí)驗(yàn)室中的儀器設(shè)備會影響被試者的典型行為。 被試者參與實(shí)驗(yàn)的動機(jī)也會影響其行為表現(xiàn)。 在實(shí)驗(yàn)室之外的日常生活中，就不會有這些因素的影響。因此，實(shí)驗(yàn)結(jié)果還不能完全等同于實(shí)驗(yàn)室之外的日常行為現(xiàn)象。 多因素設(shè)計和現(xiàn)場實(shí)驗(yàn)設(shè)計 社區(qū)隨機(jī)對照試驗(yàn)：在社區(qū)（一定區(qū)域內(nèi)的人群）或現(xiàn)場環(huán)境下進(jìn)行的實(shí)驗(yàn)。,影響外部效度的因素,2.被試樣本缺乏代表性 從理論上講，被試必須具有代表性、必須從將來預(yù)期推論、解釋同類行為現(xiàn)象的總體中進(jìn)行隨機(jī)取樣。但實(shí)際上這是很難做到的。應(yīng)增加取樣的層次，使代表性增加 如果總體很大，即使能夠隨機(jī)取樣，但心理學(xué)實(shí)驗(yàn)的被試者通常是自愿的，所以也很難把被隨機(jī)選上的人全都請來做實(shí)驗(yàn)。 如果總體是無限的（例如，“七歲兒童”就是一個無限的總體，其包括過去的、現(xiàn)在的、將來的所有七歲兒童），隨機(jī)取樣實(shí)際上是行不通的。這樣的實(shí)驗(yàn)結(jié)果自然會降低其外部效度 如果選擇一些具有獨(dú)特心理特質(zhì)的被試進(jìn)行實(shí)驗(yàn)，則利于對實(shí)驗(yàn)處理造成較佳反應(yīng)。如：高智力兒童更容易從發(fā)現(xiàn)式教學(xué)中獲益。,3.測量工具的局限性 實(shí)驗(yàn)者對實(shí)驗(yàn)變量（即自變量）和反應(yīng)變量（因變量）的操作性定義往往以所使用的測量工具的測量結(jié)果來加以考慮。 例如： 把成就動機(jī)作為一個因變量，實(shí)驗(yàn)者常以某種成就動機(jī)量表所測得的分?jǐn)?shù)來界定并評定其強(qiáng)度。但成就動機(jī)的測量工具有各種不同的形式，所測量出的分?jǐn)?shù)并不代表同一種成就動機(jī)及其強(qiáng)度。 如果在實(shí)驗(yàn)時采用的是某一種成就動機(jī)的量表，那么所得出的實(shí)驗(yàn)結(jié)果便不能推論到采用其他成就動機(jī)的量表的情況中去。,影響外部效度的因素,實(shí)驗(yàn)內(nèi)、外效度的關(guān)系問題？,實(shí)驗(yàn)的內(nèi)部效度越高，其結(jié)果就越能確認(rèn)是由實(shí)驗(yàn)處理所造成的；而實(shí)驗(yàn)的外部效度越高，其結(jié)果的可推論范圍就越大。 實(shí)驗(yàn)的內(nèi)部效度和外部效度是相互聯(lián)系、相互影響的。提高實(shí)驗(yàn)內(nèi)部效度的措施可能會降低其外部效度，而提高實(shí)驗(yàn)外部效度的措施又可能會降低其內(nèi)部效度。 這兩種效度的相對重要性，主要取決于實(shí)驗(yàn)的目的和實(shí)驗(yàn)的要求。一般而言，在實(shí)驗(yàn)中控制額外變量的程度越大，則對因果關(guān)系的測量就越有效。因此，可以在保證實(shí)驗(yàn)內(nèi)部效度的前題下，采取適當(dāng)措施以提高外部效度,實(shí)驗(yàn)研究的信度,實(shí)驗(yàn)信度:指實(shí)驗(yàn)結(jié)論的可靠性和前后一致性程度 雖然實(shí)驗(yàn)的研究的確研究了我們需要研究的東西，滿足了效度要求，但如果兩次研究的結(jié)果不一樣，那么實(shí)驗(yàn)的信度很低，結(jié)論不可信。 一個不可信的研究可比作一根“可伸縮的橡皮材料的尺子”，在重復(fù)研究時，會產(chǎn)生不同的研究結(jié)果。因此，研究結(jié)果的穩(wěn)定性和一致性是保證研究科學(xué)性的重要先決條件。 哪些因素可能導(dǎo)致實(shí)驗(yàn)中測量的結(jié)果不可靠呢？,信度： 一致性程度 內(nèi)部一致性：測驗(yàn)的不同部分是否能檢驗(yàn)出相同的結(jié)果 （評估多個項(xiàng)目來測量單個特質(zhì)的測驗(yàn)測量焦慮的60項(xiàng)量表） 重測信度：同一個人在不同時間內(nèi)測得的結(jié)果是否一致 （評估個體穩(wěn)定的特質(zhì)IQ測試） 評分者信度：當(dāng)不同的評分者對同一個結(jié)果進(jìn)行評分和 解釋時，結(jié)果是否一樣？ （不同醫(yī)生診斷同一疾病精神障礙的診斷）,實(shí)驗(yàn)研究的信度,影響實(shí)驗(yàn)信度的因素,1.觀察量的大小 觀察量越大，樣本更能夠代表所在總體，多次得到的結(jié)果更可靠。 e.g.：研究大學(xué)生的語言能力，第一次用男性被試，下一次用女性被試，兩次結(jié)果不穩(wěn)定。 2.研究工具的信度 研究工具首先必須準(zhǔn)確、可靠，即具有較高的信度。無論何種研究工具和儀器，如果其自身信度較低，就談不上研究的信度的高低。,影響實(shí)驗(yàn)信度的因素,3.影響研究信度的隨機(jī)因素 被試方面的因素（身心健康狀況、動機(jī)、注意力、持久性、對待研究的態(tài)度等） 主試方面的因素（不按規(guī)定程序?qū)嵤?