第二講 問卷的心理測量學(xué)指標(biāo)及誤差控制

第二講問卷的心理測量學(xué)指標(biāo)及誤差控制中國人民大學(xué)心理學(xué)系董妍副教授dong8958@126.com22023/10/16

第一節(jié)難度分析32023/10/16一、難度的定義難度指測驗(yàn)項(xiàng)目的難易程度以答對(duì)百分比（比率）來估計(jì)難度42023/10/161、二分法記分項(xiàng)目的難度（1）通過率答對(duì)人數(shù)或通過該項(xiàng)目的人數(shù)的百分比（2）極端分組法（被試人數(shù)較多時(shí)）將被試依照測驗(yàn)總分從高到低排列分成二組（Kelley，1937）：總分最高的27％被試為高分組（NH），總分最低的27％被試為低分組（NL）分布計(jì)算高分組和低分組的通過率求項(xiàng)目的難度2、非二值記分的項(xiàng)目難度項(xiàng)目上的平均得分與項(xiàng)目滿分之比二、難度的計(jì)算52023/10/16三、難度的確定（1）常模參照能力測驗(yàn)

A.一般P=0.50的題目為好，因?yàn)樗箍傮w的變異最大。

B.當(dāng)題目之間正相關(guān)時(shí)，題目難度值應(yīng)分布的廣些，但平均難度應(yīng)以0.50為好。

C.當(dāng)題目有猜測可能時(shí)，題目的P值應(yīng)適當(dāng)加大。

D.選拔性測驗(yàn)還要考慮錄取率。（2）標(biāo)準(zhǔn)參照能力測驗(yàn)

P=1.0或P=0有可能也是好題（3）人格測驗(yàn)

P≧0.95或P≦0.05的題目考慮刪除62023/10/16四、難度的等距變換1、使用項(xiàng)目難度轉(zhuǎn)換的理由測題的難度分布是等級(jí)量表，不是等距量表難度量表是反序而行的，P值越大，項(xiàng)目越容易。2、方法（1）將項(xiàng)目的難度P作為正態(tài)曲線下的面積，轉(zhuǎn)換成具有相等單位的等距量表，即Z分?jǐn)?shù)。查表后，將Z值加上負(fù)號(hào)，使得Z值越大，難度越高。72023/10/16（2）計(jì)算新的難度指標(biāo)（避免負(fù)號(hào)出現(xiàn)）美國教育服務(wù)中心以Δ作為難度指標(biāo)：Δ=13+4ZP=.0013Z=+3Δ=25P=.16Z=+1Δ=17P=.50Z=0Δ=13P=.84Z=-1Δ=9P=.9987Z=-3Δ=182023/10/16五、難度對(duì)測驗(yàn)的影響1、測驗(yàn)難度影響測驗(yàn)分?jǐn)?shù)的分布形態(tài)2、測驗(yàn)難度影響測驗(yàn)分?jǐn)?shù)的離散程度92023/10/16第二節(jié)項(xiàng)目的區(qū)分度（discrimination）102023/10/16一、區(qū)分度的意義測驗(yàn)項(xiàng)目對(duì)被試心理品質(zhì)水平差異的區(qū)分能力。區(qū)分度(D)的取值范圍：-1.00到+1.00D>0積極區(qū)分D<0消極區(qū)分D=0無區(qū)分112023/10/16二、區(qū)分度的計(jì)算1、項(xiàng)目鑒別指數(shù)法（適用于二分法記分）步驟將被試依照測驗(yàn)總分從高到低排列分成二組：總分最高的27％被試為高分組總分最低的27％被試為低分組分布計(jì)算高分組和低分組的通過率求項(xiàng)目的鑒別力指數(shù)D＝PH-PL例題：高分組在某一項(xiàng)目上的通過率為0.75,低分組的通過率為0.35，則該項(xiàng)目的鑒別力指數(shù)為多少?122023/10/162、相關(guān)法以項(xiàng)目分?jǐn)?shù)與校標(biāo)分?jǐn)?shù)或測驗(yàn)總分的相關(guān)作為項(xiàng)目區(qū)分度的指標(biāo)。相關(guān)越高，項(xiàng)目的區(qū)分度越高。（1）點(diǎn)二列相關(guān)（pointbiserialcorrelation)（2）二列相關(guān)（3）相關(guān)（4）積差相關(guān)132023/10/16題目鑒別力指數(shù)與評(píng)價(jià)價(jià)標(biāo)鑒別力指數(shù)D題目評(píng)價(jià)0.40以上很好0.30～0.39良好、修改會(huì)更好0.20～0.29尚可、仍需修改0.19以下差、必須淘汰142023/10/16三、區(qū)分度與難度的關(guān)系項(xiàng)目通過率（P）D的最大值1.000.000.900.200.700.600.600.800.501.000.400.800.300.600.100.200.000.00152023/10/16四、區(qū)分度的相對(duì)性1、不同的計(jì)算方法，所得區(qū)分值不同※在分析同一個(gè)測驗(yàn)時(shí)，各個(gè)項(xiàng)目要采用相同的公式2、樣本容量大小影響相關(guān)法區(qū)分度值的大小3、分組標(biāo)準(zhǔn)影響鑒別力指數(shù)值（D）4、被試樣本的同質(zhì)性程度影響區(qū)分度值的大小※評(píng)價(jià)項(xiàng)目的有效性時(shí)，應(yīng)考慮測驗(yàn)的目的、功能以及被試團(tuán)體的總體水平162023/10/16五、影響題目區(qū)分度的因素(1)題目難度(2)被試群體的同質(zhì)性(3)全卷各題所測心理品質(zhì)的一致性。(4)題目本身的文字與內(nèi)容的質(zhì)量也會(huì)影響題目的區(qū)分度172023/10/16六、提高區(qū)分度的方法(1)控制好題目難度。將題目難度在0.5左右時(shí)，區(qū)分能力理論上會(huì)比較高。(2)保證題目所測心理品質(zhì)與全卷所測心理品質(zhì)的一致性。(3)題干及答案無歧義。(4)語言準(zhǔn)確規(guī)范。(5)借助選項(xiàng)分析提供的信息對(duì)不良選項(xiàng)進(jìn)行修改，以提高題目區(qū)分能力。182023/10/16七、多重選擇題的項(xiàng)目分析(一)應(yīng)考慮的四個(gè)問題：項(xiàng)目的區(qū)分度項(xiàng)目的難度項(xiàng)目是否有缺陷誘答選項(xiàng)是否都有效第三節(jié)信度概述一、信度與測量誤差1.經(jīng)典測量理論的假設(shè)式中，X為觀察分?jǐn)?shù)，T為一般真分?jǐn)?shù)，E為隨機(jī)誤差分?jǐn)?shù)，V為目標(biāo)真分?jǐn)?shù)，I為非目標(biāo)真分?jǐn)?shù)（系統(tǒng)誤差）。

一、信度與測量誤差2.信度的定義測量追求的初步目標(biāo)：T占X的比例越大越好。測量追求的終極目標(biāo)：V占X的比例越大越好。當(dāng)T占X的比例很大時(shí)，那么測值就會(huì)是穩(wěn)定的。一般來說，穩(wěn)定的測值是可靠的、可信的，因此，信度可被認(rèn)為是測量結(jié)果的穩(wěn)定性程度。一、信度與測量誤差2.信度的定義信度（reliability）是指相同被試在不同時(shí)間或不同場合下重復(fù)使用同一測量工具或等價(jià)工具測量所得結(jié)果的一致性程度。測驗(yàn)信度表示測驗(yàn)分?jǐn)?shù)中個(gè)體差異可歸因于所測特質(zhì)中“真實(shí)”差異的程度，以及可歸因于隨機(jī)誤差的程度。二、描述信度的指標(biāo)1.經(jīng)典測量理論的信度系數(shù)（1）重測信度（test-retestcoefficients）（2）復(fù)本信度（alternative--formcoefficients）（3）內(nèi)部一致性系數(shù)（internalconsistencycoefficients）也叫同質(zhì)性信度（homogeneityreliability）具體估計(jì)方法主要包括分半信度評(píng)估法（包括積差相關(guān)分析、盧龍、弗蘭納根公式）、庫德-理查森信度評(píng)估法、克龍巴赫Alpha系數(shù)評(píng)估法、荷伊特（C.Hoyt）信度、因素分析。（4）評(píng)分者信度二、描述信度的指標(biāo)2.經(jīng)典測量理論的測量標(biāo)準(zhǔn)誤測量標(biāo)準(zhǔn)誤差（standarderrorofmeasurement）是測量誤差的假設(shè)分布的標(biāo)準(zhǔn)差。用下列公式能夠容易地計(jì)算測量標(biāo)準(zhǔn)誤差：式中，SDt表示測驗(yàn)分?jǐn)?shù)的標(biāo)準(zhǔn)差，rXX表示信度系數(shù)。3.概化理論的概化系數(shù)（generaliabilitycoefficients）4.IRT的測驗(yàn)信息函數(shù)（testinformationfunction）三、信度的標(biāo)準(zhǔn)與作用1.信度是評(píng)價(jià)測驗(yàn)質(zhì)量的重要指標(biāo)之一。測驗(yàn)類型

信度系數(shù)

低中高學(xué)業(yè)成就測驗(yàn)0.660.920.98學(xué)術(shù)能力測驗(yàn)0.560.900.97特殊能力傾向測驗(yàn)0.260.880.96人格測驗(yàn)0.460.850.97興趣測驗(yàn)0.420.840.93態(tài)度測驗(yàn)0.470.790.98注：表中數(shù)據(jù)來源，LewisR.Aiken:Psychologicaltestingandassessment(eighthedition),AllynandBacon,Inc,1994.五、分析測驗(yàn)信度應(yīng)注意的問題1.針對(duì)測驗(yàn)類型選用恰當(dāng)指標(biāo)2.信度的報(bào)告“某測驗(yàn)的信度系數(shù)為0.92，該數(shù)值是通過計(jì)算一份能力測驗(yàn)間隔兩周兩次測試成績的相關(guān)系數(shù)得出的。數(shù)據(jù)來源是從某市隨機(jī)抽取的500名小學(xué)5年級(jí)的學(xué)生施測……”。六、影響測量信度的因素影響測量信度的因素施測間隔的時(shí)間被試主試施測情境測量工具七、提高測驗(yàn)信度的常用方法提高測驗(yàn)信度的常用方法規(guī)范施測程度、統(tǒng)一施測環(huán)境適當(dāng)增加測驗(yàn)的長度控制試題的難度分布努力提高每道題的區(qū)分度維持測驗(yàn)的同質(zhì)性努力提高測驗(yàn)在被試中各個(gè)同質(zhì)亞團(tuán)體上的信度保證被試有充裕的作答時(shí)間嚴(yán)格控制評(píng)分誤差心理測量學(xué)第四節(jié)測量效度與系統(tǒng)誤差控制心理測量學(xué)一、測量效度概述什么是效度測量工具測量了他所希望測量的心理特質(zhì)或行為特征的效果和程度。Val=SV2/SX2=rxy2Val為效度，rxy為效度系數(shù)可能是因?yàn)轭A(yù)測效度的最大值為rxy2=rxxryy心理測量學(xué)一、測量效度概述效度驗(yàn)證與效度概化我們稱為某測量工具進(jìn)行效度驗(yàn)證的過程為效度證據(jù)的獲取過程，簡稱為效度驗(yàn)證。本地效度驗(yàn)證（localvalidation）效度概化（validitygeneralization）：在某一情境中所作的效度研究能否推廣到其他情境。心理測量學(xué)效度與信度的關(guān)系1、高信度是高效度的必要條件，而不是充分條件2、信度系數(shù)的平方根是效度系數(shù)的最高限度心理測量學(xué)效度的性質(zhì)（1）效度是針對(duì)測驗(yàn)結(jié)果的測驗(yàn)效度是“測驗(yàn)結(jié)果”的有效性程度。（2）效度是針對(duì)某種特定的測驗(yàn)?zāi)康牡臎]有對(duì)任何測量目的都有效的測驗(yàn)（3）效度只有程度上的差異不是“全”或“無”的差異心理測量學(xué)二、測量工具效度驗(yàn)證的方法根據(jù)測量目標(biāo)的不同，對(duì)測量工具進(jìn)行效度驗(yàn)證的方法主要有三種：基于所測內(nèi)容的效度驗(yàn)證方法?；谒鶞y心理結(jié)構(gòu)的效度驗(yàn)證方法?；谛?biāo)關(guān)聯(lián)性的效度驗(yàn)證方法。心理測量學(xué)基于所測內(nèi)容的效度驗(yàn)證方法含義就是要對(duì)測量工具本身的具體內(nèi)容進(jìn)行系統(tǒng)性的查驗(yàn)，以確定這些內(nèi)容是不是測量目標(biāo)特質(zhì)或行為領(lǐng)域的一個(gè)有代表性的樣本。主要應(yīng)用學(xué)業(yè)成就測驗(yàn)、職業(yè)資格測驗(yàn)，人員選拔與安置中的工作樣本測驗(yàn)。心理測量學(xué)基于所測內(nèi)容的效度驗(yàn)證方法評(píng)估方法確定測量目標(biāo)的全域范圍及各部分內(nèi)容權(quán)重。確定一批有經(jīng)驗(yàn)的領(lǐng)域?qū)＜?，在深入培?xùn)的基礎(chǔ)上，要求他們按照已確定的測量全域范圍及各部分內(nèi)容權(quán)重，初步分析測試題目的代表性，并對(duì)題目測量的被試作答的內(nèi)部心理過程進(jìn)行初步分析。進(jìn)行實(shí)測，根據(jù)測試數(shù)據(jù)分析和被試作答過程分析，全面驗(yàn)證測量工具的效度。內(nèi)容效度的注意事項(xiàng)適合于評(píng)價(jià)成就測驗(yàn)尤其適合于內(nèi)容參照測驗(yàn)適合于測量具體屬性的測驗(yàn)也適用于某些對(duì)員工進(jìn)行選拔和分類的職業(yè)測驗(yàn)?zāi)芰A向測驗(yàn)和人格測驗(yàn)不太適合心理測量學(xué)心理測量學(xué)基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法效標(biāo)：它是獨(dú)立于測量工具并可以從實(shí)踐中獲得的被試的行為特征表現(xiàn)，用于驗(yàn)證測量工具的有效性。校標(biāo)污染（criterioncontamination）:主試知道了被試的測驗(yàn)分?jǐn)?shù)而影響了對(duì)其校標(biāo)分?jǐn)?shù)的評(píng)定。心理測量學(xué)基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法根據(jù)測量工具與效標(biāo)兩者結(jié)果獲得的時(shí)間間隔的不同，基于效標(biāo)關(guān)聯(lián)性的效度證據(jù)采集可以有同時(shí)性設(shè)計(jì)與預(yù)測性設(shè)計(jì)兩種方法。心理測量學(xué)二、測量工具效度驗(yàn)證的方法基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法效度證據(jù)采集的預(yù)測性設(shè)計(jì)方法含義：驗(yàn)證現(xiàn)有測量評(píng)價(jià)結(jié)果與將來才可能獲取的效標(biāo)評(píng)價(jià)結(jié)果之間的關(guān)聯(lián)程度。主要應(yīng)用：人員選拔、安置類型的測量工具心理測量學(xué)測量工具效度驗(yàn)證的方法基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法效度證據(jù)采集的預(yù)測性設(shè)計(jì)方法首先，獲取被試在當(dāng)前測量工具上的評(píng)價(jià)結(jié)果，如測驗(yàn)分?jǐn)?shù)、等級(jí)評(píng)定；然后，間隔一定的時(shí)間，采集被試在預(yù)測目標(biāo)（效標(biāo)）上的評(píng)價(jià)結(jié)果；最后，分析以上這兩個(gè)評(píng)價(jià)結(jié)果之間的關(guān)聯(lián)性程度，這種關(guān)聯(lián)性程度的分析方法常用的有以下幾種：相關(guān)分析區(qū)分能力分析命中率分析心理測量學(xué)區(qū)分能力分析分析測量工具對(duì)被試分組的準(zhǔn)確性比如，一個(gè)測量工具根據(jù)分?jǐn)?shù)高低把被試分成了兩個(gè)組：一個(gè)是優(yōu)秀組，一個(gè)是普通組，分組的合理性就需要在被試將來的實(shí)際表現(xiàn)中進(jìn)行驗(yàn)證。在一定的時(shí)間間隔以后，采集這兩個(gè)組被試的實(shí)際工作表現(xiàn)，根據(jù)這些實(shí)際表現(xiàn)可以把這批被試重新分組，最后，求取這次分組結(jié)果與最初分組結(jié)果之間的一致性程度，以驗(yàn)證該測量工具預(yù)測的準(zhǔn)確性。心理測量學(xué)命中率分析某銷售崗位需要選拔20名員工，一共有100名報(bào)名，最后，通過制作的測量工具選拔了20名員工。但由于這時(shí)銷售工作的迅速發(fā)展，于是公司設(shè)定把被淘汰的人也招募進(jìn)來成為正式員工。經(jīng)過一年的實(shí)際工作，發(fā)現(xiàn)通過專門的測量工具選拔進(jìn)來的20名員工中，有2人未完成預(yù)定任務(wù)，占1/10，而一開始被淘汰的80名員工中，有20人未完成預(yù)定任務(wù)，占1/4，這時(shí)候，我們可以得出結(jié)論認(rèn)為，這個(gè)測量工具對(duì)選拔該崗位的銷售人員是有效的，具有較高的預(yù)測能力。心理測量學(xué)基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法效度證據(jù)采集的同時(shí)性設(shè)計(jì)方法含義：對(duì)同時(shí)獲得的測量工具評(píng)價(jià)結(jié)果與效標(biāo)評(píng)價(jià)結(jié)果之間的關(guān)聯(lián)性程度進(jìn)行分析。主要應(yīng)用經(jīng)常用于評(píng)價(jià)測量工具診斷被試當(dāng)前心理特質(zhì)狀態(tài)的效果。在許多情形下，效度證據(jù)采集的同時(shí)性設(shè)計(jì)方法會(huì)替代預(yù)測性設(shè)計(jì)方法。評(píng)估方法與預(yù)測性設(shè)計(jì)方法一樣心理測量學(xué)基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法的影響因素群體的一致性或同質(zhì)性程度：應(yīng)該盡量擴(kuò)大被試群體的異質(zhì)性，避免低估測驗(yàn)的真實(shí)效度。測驗(yàn)長度：一般來說，測驗(yàn)長度越長，測試結(jié)果越穩(wěn)定，效度系數(shù)會(huì)傾向于越高。