第五講心學研究的信度和效度

1、第五講心理學研究的信、效度 長江大學教育科學系嚴磊研究設計的主要目標是特高整個研究的科學性水平，即保證研究結果、結論能 真實的反映人的心理活動規(guī)律和教育規(guī)律。信度與效度不但是研究設計應當遵循 的標準，而且也是評價研究設計質(zhì)量乃至整個研究結果科學水平。信度、效度源于心理與教育測驗領域，現(xiàn)在心理學者將諛用了測量領域的信度與效度概念，并把研究的信度和效度作為設計與評價各種研究的標準，以提高心理與教育科學中 各類研究的客觀性、可靠性和科學性。如今，有關研究信度和效度的理論和方法 已經(jīng)為心理、教育研究者普遍接受，成為研究和實驗設計的關鍵，也成為心理、 教育研究方法發(fā)展的里程碑。心理測量的信度和效度射擊打

2、靶1 .真分數(shù)假設假設一：在所討論的問題范圍內(nèi)，真分數(shù)不變，亦即個體具有恒定的特質(zhì)，其分量一定，取值是常數(shù)。假設二：誤差是完全隨機的。這里有二層意思，一是測量誤差是平均數(shù)（期望值） 為零的正態(tài)隨機變量；二是測量誤差跟被測心理特質(zhì)即真分數(shù)間相互獨立。假設三：觀察分數(shù)是真分數(shù)與誤差分數(shù)的和。2 .測量的信度信度（夜1涮嚼定曲剛扃離被蕤怪睇rm觥理測團悻其分數(shù)的變異 題與實得分數(shù)的變異數(shù)的比率。即：d代表測量信度 代表真分數(shù)變異，S代表總變異 胡，即實得分數(shù)的變異。重測信度、復本信度、分半信度、評分者一致性信度3 .測量的效度一次測驗中.實測分數(shù)的變異性是由真實的、與目的有關的變異數(shù)£ 工

3、 真實的.與測量目的無關的變異數(shù)c 5：）和測量誤差 交異數(shù)（S嚏）所決定的。S： 二 S；十 S：十 S；一研究的信度二研究的信度1.研究信度的概念研究的信度指研究所的事實、數(shù)據(jù)的一致性和穩(wěn)定性程度。一向好的心理與教育研究，其結果必須穩(wěn)定可靠，即重復研究的結果要保持穩(wěn)定、一致，否則便可不信。根據(jù)影響信度的誤差來源，信度可分為兩大類：穩(wěn)定性和同質(zhì)性。穩(wěn)定性指研 究結果跨時間、跨情境的一致性。同質(zhì)性指研究工具本身各項目內(nèi)容的一致性。舉例：用同一思維研究工具在前后相隔較短的時間內(nèi)測查某一年級的兒童兩次，結果發(fā)現(xiàn)兩次測查結果不一致，第一次測查結果表明被試未達到邏輯思維水平，第二次結果發(fā)現(xiàn)他們已經(jīng)達到

4、邏輯思維水平。2.判定研究信度的方法重復運用重復測量、重復研究的方法，在相同條件下用相同方重測信度法法進行兩次以上的研究，然后考察它們是否取得相同結果。相似通過比較同質(zhì)或類似研究工作、或同類研究的結果的T復本信度法性程度，來判斷研究工具或研究結果的可靠性。獨立即兩個或兩個以上的研究者同時對一組被試的行為、操作評分者一評判水平等各種表現(xiàn)進行獨立判斷或評價，然后比較它們之間致信度法的一致性，此法可以判定研究者之間一致性的程度。舉例：相似法：將某一特定研究的結果與國內(nèi)外同類研究的結果進行比較，是判定研 究的信度的常用方法。新編智力量表與韋克斯勒智力量表的比較。獨立評定法：采用觀察法、問卷法、訪談法、

5、測驗法、實驗法等方法進行的研 究中，日益注重觀察者、評定者和計分者之間的信度。攻擊性行為，助人行為。二研究的效度研究中的自變量與因變量之間的關系屬于內(nèi)部效度問題。在變量之間判定因果關系，這是統(tǒng)計結論效度的問題。因果關系的構思性質(zhì)，涉及到研究的構思效度。變量之間關系的普遍意義，則是研究的外部效度問題?？梢娧芯啃Ф仍谘芯康脑O計、實施與評價等活動中的關鍵意義。(1)所研究的兩個或多個變量之間是否存在一定的關系？尤其是，研究的自變量與因變量之間是否有關系？(2)如果所研究的變量之間存在一定關系，這種關系是否因果關系？(3)如果變量之間可能存在因果關系，它所包含的具體的因果關系構思是什 么？(4)如果變

6、量之間的因果關系構思明確，這種因果關系對于其他的成員、背 景條件和時間的普遍意義如何？以上四類問題相互關聯(lián)，都涉及到研究的有效性，即研究的效度。1957年，社會心理學家坎貝爾，第一次明確的提出研究的效度問題。 研究的自變量與因變量 之間的關系屬于內(nèi)部效度的問題；在變量之間判斷因果關系，這是統(tǒng)計結論效度 的問題；因果關系的構思性質(zhì)，涉及到研究的構思效度；變量之間關系的普遍意 義，則是研究的外部效度問題。在一項心理學研究中，一般都設計研究的理論構 思、設計、實施和統(tǒng)計推論 環(huán)節(jié)。1 .構思效度皮亞杰認知發(fā)展理論(1)構思效度的定義和條件：研究的構思效度涉及到研究方案和測量指標的理論構思及其操作化的

7、問題，即理論構思及其轉換的有效性。為了使研究具有較 高的構思效度：步驟舉例要求研究的理論構思結構嚴謹、層次分明， 形成某種構思網(wǎng)絡，并對研究中的自變量和 因變量作出嚴格的定義( 抽象定義)。研究自我意識發(fā)展，理論上將自我意識分為 自我認識、自我體驗和自我控制二方卸，然 后再將自我認識區(qū)分為對生理自我的認識、 對心理我自我的認識和自我控制二方卸。針對研究構思的特點， 給予明確的操作定義， 并確定相應的測量指標。研究“發(fā)散思維”和“集中思維”的關系，首先要明確這兩個概念、變量的內(nèi)涵。給變量下明確的操作定義，并指定相應的、 客觀的測量指標。消除或控制影響構思效度的其他因素。首先，其次，(2)影響構思

8、效度的因素A對于研究構思的解釋。B單一操作的偏向：心理特征具有系統(tǒng)與層次的特點，因此，心理學研究的 構思一般都具有多維性，當研究中只用一種尺度和樣本來表示這種多為復雜構思 時，就會產(chǎn)生-。C單一方法的偏向。理論構思的多維性，要求一種復合的測量。比如分別用 訪談法、問題卷法和觀察法研究群體心理結構，就容易取得比較理想的結果。D實驗者期望和被試猜測。E構思水平之間的混淆。F不同實驗處理的交互 作用。2 .內(nèi)部效度氣溫與犯罪率的關系(1)內(nèi)部效度：效度常常是指一項測驗測到所要測量的東西或達到某種目的 的程度，也有人叫作真實性。研究的內(nèi)部效度是指在研究的自變量和因變量之間 存在關系的明確程度。研究中的

9、自變量與因變量之間是否真正存在關系？ 因變量的變化是否一定是否自變量的變化引起的？(2)內(nèi)部效度的條件：首先是由于正確的選擇了研究的自變量和因變量；內(nèi) 部效度的另一個重要條件是周密的實驗和研究設計。(3)影響內(nèi)部效度的因素：A歷史因素，包括前攝歷史因素(被試固有或習得的差異，如性別、態(tài)度、個 性)和后攝歷史因素(研究測量之外可能影響自變量和因變量之間差異的因素)C 舉例：檢驗某項工作豐富化方案對于提高職工積極性的作用研究。在方案試行 期間，一部分職工增加了工資，因此混淆了工作豐富化方案對于工作積極性的影 響。B選擇因素。C未隨機取樣和隨機分配。 D成熟因素。E研究被試的更換和 淘汰。F測量和測

10、試手段。G統(tǒng)計回歸效應。H實驗處理和程序。I多種研究 條件和因素的交互作用。上述8種主要因素，都是在研究中應特別注意控制的，最有效的途徑是采用隨 機化程序。在心理學研究中具有較高內(nèi)部效度的設計之一， 是著名的“所羅門四 組設計”。3 .外部效度 （ 1）外部效度：是指實驗和研究的結果能夠一般化和普遍化到其他的總體、變量條件、時間和背景中去的程度，即研究結果和實驗效果的普遍性和可應用性。一般認為，內(nèi)部效度是外部效度的必要條件，但不是充分條件?？傮w效度：指研究結果能夠使用于被時所來自的總體的程度和能力。生態(tài)效度：指研究結果能夠概括化和適用于其他研究條件和情境的程度能力。（ 2）外部效度的條件：外部

11、效度的要求是使研究能夠代表真實世界的情況。這種多重實驗手段，是獲得外部效度、提高研究結果可應用性的重要條件。（ 3）影響外部效度的因素：A 總體效度，這是指研究結果對于研究者最終感興趣的總體的普遍意義。B 自變量和因變量的定義和測試方式。C對測量的敏感化。D多重實驗的干擾E特異 性效應。 F 試驗者效應。G 研究與實際情景的相似性。H 被試選擇和實驗處理的交互作用。4 .統(tǒng)計結論效度（ 1）統(tǒng)計結論效度的定義和條件：統(tǒng)計結論效度是有關決定實驗處理效應的數(shù)據(jù)分析程序的效度檢驗，它并不涉及系統(tǒng)性偏向的來源的問題，而是研究差誤變異源和如何適當運用統(tǒng)計顯著性檢驗的問題。研究的統(tǒng)計結論效度取決于兩個方面

12、的條件：一是數(shù)據(jù)的質(zhì)量，數(shù)據(jù)分析程度的效度是以數(shù)據(jù)的質(zhì)量作為基礎的。二是統(tǒng)計檢驗的假設，數(shù)據(jù)分析中所采用的各種統(tǒng)計方法，都有其明確的統(tǒng)計檢驗假設。舉例： 當研究樣本較小時，由于樣本成分與測量的波動性較大，具有不穩(wěn)定性，此時若依賴于統(tǒng)計顯著性水平做結論是不可靠的。在這種情況下，就應該運用功效分析，看看一定的樣本大小、變異程度和a水平上能夠檢驗出多大的效應。大學新生SCL-90 中三因子分析討論，27742,1200 ，性別比率對統(tǒng)計結果的影響。（ 2）影響統(tǒng)計結論效度的因素: A 統(tǒng)計功效低。B 違反統(tǒng)計檢驗的假設。C測量信度低。D 實驗處理實施的可靠性。E 研究背景中隨機的無關因素。F 被試的隨機異質(zhì)性。四種研究效度之間的關研究的內(nèi)部效度、外部效度、統(tǒng)計結論效度和構思效度，是相互聯(lián)系和相互影統(tǒng)計結論效度實際上是內(nèi)部效度的特例，它們都涉及研究本身的因果關系和統(tǒng)計檢驗的可靠性。構