效標關(guān)聯(lián)效度ppt課件

1、主要內(nèi)容主要內(nèi)容一、效度概述一、效度概述二、內(nèi)容效度二、內(nèi)容效度三、結(jié)構(gòu)效度三、結(jié)構(gòu)效度1 掌握效標關(guān)聯(lián)效度定義、種類和應(yīng)用； 掌握效標與效標測量； 了解效標關(guān)聯(lián)效度的估計方法 ；2一、定義、種類、應(yīng)用一、定義、種類、應(yīng)用1. 定義 效標關(guān)聯(lián)效度(criterion-related validity)是指測驗對進行估計的有效性程度。 又稱實證效度、經(jīng)驗效度、準則關(guān)聯(lián)效度。32. 分類(收集效標的時間) 同時效度(concurrent validity)：效標資料與測驗資料同時獲得； 預測效度(predictive validity)：效標資料后于測驗資料獲得；43. 應(yīng)用同時效度：診斷現(xiàn)狀預測

2、效度：預測未來結(jié)果n某人成功了嗎？某人患病了嗎？n某人會成功嗎？某人會患病嗎？5二、效標與效標測量二、效標與效標測量1. 效標（criterion）是衡量測驗有效性的參照標準，它是獨立于測驗之外、體現(xiàn)測驗目的的行為變量。62. 觀念效標和效標測量(conceptual criterion and criterion measurement) 觀念效標：效標的實質(zhì)概念內(nèi)容，如學習或工作成功、技術(shù)水平 效標測量：效標的具體化，可操作的測量指標 同一觀念效標可以有多個效標測量。73. 選擇效標測量必須滿足以下要求：選擇效標測量必須滿足以下要求：1) 有效性(關(guān)聯(lián)性）2) 可靠性3) 客觀性(或抗偏性

3、)：產(chǎn)生效標測量中偏差的主要原因在于效標污染。 4) 實用性（可得性）84. 常用的效標常用的效標學業(yè)成就特殊訓練成績實際工作表現(xiàn)團體對照臨床診斷等級評定先前有效的測驗95. 效標的特征效標的特征1）多樣性；2）復雜性；3）特殊性；10三、效標關(guān)聯(lián)效度的估計方法三、效標關(guān)聯(lián)效度的估計方法 1.確定效標關(guān)聯(lián)效度的基本步驟：1）明確觀念效標2）確定效標測量3）考查測驗分數(shù)與效標測量之間的關(guān)系112. 常用的估計效標關(guān)聯(lián)效度的方法：1）相關(guān)法）相關(guān)法2）組的分類）組的分類3）命中率）命中率4）功利率）功利率5）合成效度）合成效度12小結(jié)：小結(jié)： 三方面的效度都是圍繞效度的基本問題展開的; 一個測驗需

4、要哪種效度證據(jù)，取決于一定的測驗目的，不同的測驗偏重于不同的效度證據(jù); 效度的驗證雖是測驗編制后進行的工作，但其指導思想在編制過程中始終起著主導作用;13 發(fā)生于效標測量是評定等級時效標污染(criterioncontamination)是指評定者知道被試測驗的分數(shù)，而使其效標分數(shù)受到影響的情況。如入學考試分數(shù)與教師主觀評定 如何防止？ 返回141.相關(guān)法 測驗分數(shù)和效標分數(shù)之間的相關(guān)系數(shù)。 選擇團體 獲得測驗分數(shù) 獲得效標分數(shù) (4)求相關(guān)系數(shù) （1）（2）（3）n 根據(jù)分數(shù)的性質(zhì)不同采用不同的相關(guān)計算方法15(1)積差相關(guān)系數(shù) 使用條件：測驗分數(shù)和效標分數(shù)都是連續(xù)變量 公式：xyrnYYn

5、XXnYXXY2222)()(16例：假設(shè)有10人經(jīng)職業(yè)興趣測驗而被選定作為推銷員，其測驗分數(shù)見下表第一行，而第二行是經(jīng)過若干年后他們某段時間內(nèi)銷售金額總量（以萬元為單位）?，F(xiàn)問該測驗的預測效度如何？被試被試12345678910測驗分數(shù)測驗分數(shù)X30343247202427252216銷售量銷售量Y2.53.8340.712.23.52.81.2172X2Y被試被試XYXY1302.59006.25752343.8115614.44129.23323102499644742209141825200.74000.491462415761247272.27294.8459.48253.56251

6、2.2587.59222.84847.8461.610161.22561.4419.227724.7835971.55747.9 18xyrnYYnXXnYXXY2222)()(=0.7519(2)二列相關(guān)系數(shù) 適用條件：測驗分數(shù)與效標分數(shù)都是連續(xù)變量，其中一個變量被人為分為兩類 公式：tqpbSXXrypqypSXXttpbr其中 為正態(tài)曲線中值對應(yīng)的高度 yp20 例題：進行一項智力測驗，被試中例題：進行一項智力測驗，被試中66名來自實驗班，名來自實驗班，286名來自普通班，最后測出實驗班的被試名來自普通班，最后測出實驗班的被試IQ均數(shù)為均數(shù)為114，普通班被試的，普通班被試的IQ均數(shù)為均

7、數(shù)為96，所有被試，所有被試IQ分的標分的標準差為準差為14.53，計算二列相關(guān)系數(shù)。，計算二列相關(guān)系數(shù)。 211875. 02866666ppq1=0.8125 查正態(tài)分布表查正態(tài)分布表, ,得出常態(tài)曲線下所對應(yīng)的得出常態(tài)曲線下所對應(yīng)的Y Y值為值為0.2685 0.2685 65. 02885. 08125. 01875. 053.1496114br22(3) 四分相關(guān)系數(shù) 適用條件：當測驗分數(shù)與效標分數(shù)都是連續(xù)變量，且每一個變量的變化都被人為地分為兩種類型，即以二分變量表示。 bcadrt1180cosa、b、c、d表示由兩個二分變量所分成的四種類別的實際頻數(shù)23大 學 入 學 考大 學

8、 入 學 考試（數(shù)學）試（數(shù)學）研究生入學考試（數(shù)學）研究生入學考試（數(shù)學）通過通過未通過未通過優(yōu)優(yōu)a=10b=4良良c=7d=21bcadrt1180cos7421101180cos=0.67 = 24(4)相關(guān)系數(shù) 適用條件：當測驗分數(shù)與效標分數(shù)都是真正的二分變量，如工作狀態(tài)、婚姻狀態(tài)等。 dcdbcababcada、b、c、d表示由兩個二分變量所分成的四種類別的實際頻數(shù)25例：例：研究調(diào)查了研究調(diào)查了358358名不同性別的大學生對某項名不同性別的大學生對某項教育措施的評價態(tài)度，結(jié)果如下表。根據(jù)這些教育措施的評價態(tài)度，結(jié)果如下表。根據(jù)這些結(jié)果，能否說明性別對評價態(tài)度有無預測效度？結(jié)果，能

9、否說明性別對評價態(tài)度有無預測效度？ 評價態(tài)度評價態(tài)度 性性別別男男172172女女186186 9494264264358358擁護擁護反對反對a=66a=66b=106b=106c=28c=28d=158d=158265. 0186264941722810615866dcdbcababcad26(5)列聯(lián)相關(guān)系數(shù) 適用條件：當測驗分數(shù)與效標分數(shù)其中一個變量不止分為兩個種類時22NCC表示列聯(lián)相關(guān)系數(shù)， 表示RC列聯(lián)表計算出的值, N表示樣本容量 2返回返回272. 組的分類 根據(jù)被試的效標行為表現(xiàn)，將他們分為不同的組別(團體)，如果這些組在測驗分數(shù)上有顯著性差異，則說明該測驗的效度高。DXa

10、sSEXXt2asnndf=df= )11(2) 1() 1(22asasaassDXnnnnsnsnSE成功組、失敗組的平均分成功組、失敗組的平均分成功組、失敗組樣本容量成功組、失敗組樣本容量成功組、失敗組得分的方差成功組、失敗組得分的方差 aSX、Xsnan2sS2aS兩總體正態(tài)分布兩總體正態(tài)分布, ,兩總體方差未知兩總體方差未知28到72頁29 工作成功組： ， ， 工作失敗組： ， ， 代入上面公式可得： df=98時，t=5.40 05. 61X31. 312S601n25. 42X69. 122S402n625. 201. 0 t30 T檢驗的弊端和重疊量的計算運用“組的分類”方法

11、表示效度，要檢驗平均數(shù)之間的差異，就要用到均數(shù)之差的標準差。而均數(shù)的標準誤存在這樣的關(guān)系：均數(shù)之差的標準差也存在這樣的關(guān)系：即其大小與樣組容量成反比。那么當 保持不變時，則n越大，均數(shù)之差的標準誤就越小，這樣就使得t值增大，增加了拒絕虛無假設(shè)的機會。XXSSnXS31 T檢驗的弊端和重疊量的計算要避免上述缺點，可以求出這兩個分布的重疊量。1. 可求出一組內(nèi)被試得分超出另一組平均數(shù)的人數(shù)與另一組被試中超出前一組均數(shù)的人數(shù)之比(通常是以“失敗”組超過“成功”組均數(shù)的人數(shù)來計算)；2. 可求出兩組分數(shù)分布共同區(qū)域的百分比；返圖返回323. 命中率命中率預測源預測源效標效標行行為為成功成功+失敗失敗-

12、合合 計計成功（成功（+）A（正確接收）（正確接收） B（錯誤接收）（錯誤接收）A+B失?。ㄊ。?）C（錯誤拒絕）（錯誤拒絕）D（正確拒絕）（正確拒絕）C+D合合 計計A+CB+DA+B+C+D33（1 1）總命中率）總命中率( (取舍正確率取舍正確率):):公平公平（2 2）正命中率）正命中率( (錄取正確率錄取正確率):):提高效率提高效率 錯誤拒絕和錯誤接受的人數(shù)比例與臨界分數(shù)位置錯誤拒絕和錯誤接受的人數(shù)比例與臨界分數(shù)位置CTP命中命中失誤DCBADA=選擇人數(shù)成功人數(shù)CPPBAA=返回返回344. 功利率測驗效度不僅是一個科學性的問題，也是一個實用性的問題。使用測驗所帶來的利益的大小

13、就是功利率。實際上，測驗分數(shù)不能完全準確地預測一個人成功與否，最終的衡量標準還是他的實際能力。錄取人員時用測驗而不用工作表現(xiàn)，是因為測驗省時省力，能避免錯誤錄取人員帶來的損失。這樣以來，測驗的效度就與使用測驗所帶來的利益聯(lián)系起來了。()()SUUB NC NS返回返回U代表功利率；代表功利率；B代表錄用一名成功者所帶來的平均收益；代表錄用一名成功者所帶來的平均收益；C代表錄用一名不合格者所招致的損失；代表錄用一名不合格者所招致的損失； 分別代表錄取人數(shù)中成功和失敗的人數(shù)；分別代表錄取人數(shù)中成功和失敗的人數(shù)；S代表測驗費用；代表測驗費用；和SUNN355. 合成效度職務(wù)成分效度是指：假設(shè)具有相同職務(wù)成分的職務(wù)也具有相似的職務(wù)要求，那么從所測量的職務(wù)的基本成分及各成分的效度資料即可綜合而成測驗效度。計算合成效度的一般程序是：.通過工作分析，確定完成某項工作所需要的基本能力成分及其相對權(quán)重；.估計出測量各個成分的測驗效度；.根據(jù)權(quán)數(shù)將各個成分的測驗效度合成，就得到了合成效度；返回返回36 結(jié)構(gòu)效度幫助我們運用測驗分數(shù)解釋人的心理特質(zhì)，可由結(jié)構(gòu)效度研究的資料來回答測驗所測量的東西。 效標關(guān)聯(lián)效度可用來了解測驗分數(shù)能否有效地預測或估計某種