第九章測(cè)驗(yàn)質(zhì)量分析

第九章測(cè)驗(yàn)質(zhì)量分析

[本章提要]通過本章的學(xué)習(xí)，掌握題目難度和區(qū)分度的概念和計(jì)算方法，了解題目難度和區(qū)分度的之間的關(guān)系，理解題目難度、區(qū)分度與測(cè)驗(yàn)質(zhì)量之間的關(guān)系。理解測(cè)驗(yàn)信度與效度的含義，掌握測(cè)驗(yàn)信度與效度的基本估計(jì)方法，了解影響測(cè)驗(yàn)信度與效度的因素。?

第一節(jié)題目難度的概念和計(jì)算方法

一、題目難度的概念和意義（一）題目難度的含義題目難度是指被試完成試題的難易程度。（二）題目難度與測(cè)驗(yàn)的關(guān)系題目難度影響測(cè)驗(yàn)的難度分布和平均難度，從而影響測(cè)驗(yàn)的信度、效度以及測(cè)驗(yàn)結(jié)果區(qū)分被試水平高低的能力。?二、難度的計(jì)算（一）二值記分法題目的難度計(jì)算當(dāng)題目分?jǐn)?shù)是二分變量(即答對(duì)為1，答錯(cuò)為0，如選擇題)時(shí)：式中：P為題目難度值，R為答對(duì)或通過該題的人數(shù)，N為全體考生數(shù)。例題1：在一測(cè)驗(yàn)的某道選擇題上，100名被試中選擇正確答案的有37名。則該題難度為：?

（二）非二值記分法題目的難度計(jì)算

當(dāng)題目分?jǐn)?shù)是多分值時(shí)，難度是全體被試在該題上的平均數(shù)與該題滿分的比例：式中：P題目難度值，為全體被試平均得分，Xmax是題目滿分。?例題2：一組被試在某道題上得分分別為2，5，9，10，4，8，7，5，3，0。該題滿分為10分。則該題難度為：?三、測(cè)驗(yàn)難度的選擇一般常模參照測(cè)驗(yàn)題目難度分布近似正態(tài)。特定的測(cè)驗(yàn)題目難度的分布應(yīng)該根據(jù)測(cè)量的任務(wù)而定。?第二節(jié)區(qū)分度的概念和計(jì)算方法一、區(qū)分度的含義區(qū)分度是指試題能區(qū)分被試水平能力的程度。二、區(qū)分度的計(jì)算（一）區(qū)分度的相關(guān)計(jì)算法它是求試題分?jǐn)?shù)與總分的相關(guān)系數(shù)作為區(qū)分度的指標(biāo)。?或?例如：根據(jù)下表數(shù)據(jù)求區(qū)分度。序號(hào) XY Xp Xq 1 87 1 87

2 85 0

85 3 82 1 82

4 80 0 80 5 80 0 80 6 78 0 78 7 78 1 78 8 75 0 75 合計(jì) 645 3 247 398 平均

數(shù) 82.379.6 標(biāo)準(zhǔn)差3.67 ?解題步驟：..\區(qū)分度.xls?（二）區(qū)分度的分組計(jì)算法它是首先將全體被試按總分高低進(jìn)行排隊(duì)；然后，將得分較高的27%的被試作為“高分組”，將得分較低的27%的被試作為“低分組”；最后求兩組在試題上得分率的差。即：D=PH-PL式中：D為區(qū)分度；PH為高分組的得分率；PL為低分組的得分率。?例如：某班40名學(xué)生，“高分組”做對(duì)第一題的有8人，“低分組”做對(duì)的有4人，那么，該題的區(qū)分度為：D=PH-PL=8/11-4/11≈0.36

?三、區(qū)分度的評(píng)價(jià)區(qū)分度的取值范圍–1≤D≤1。當(dāng)用分組計(jì)算法得到的題目區(qū)分度大于0.4時(shí)，區(qū)分度的分組計(jì)算法被認(rèn)為是性能良好的試題。?

第三節(jié)測(cè)驗(yàn)的信度

一、信度的概念信度是指測(cè)驗(yàn)結(jié)果的可靠程度。二、信度的統(tǒng)計(jì)學(xué)原理rxx=S2T/S2X式中：rxx表示信度系數(shù)；S2T表示真分?jǐn)?shù)方差；S2X表示實(shí)得分?jǐn)?shù)方差。有關(guān)系式：X=T+E其中，X為實(shí)得分?jǐn)?shù)；T為真分?jǐn)?shù)。?三、信度系數(shù)的估計(jì)方法1．穩(wěn)定性系數(shù)（再測(cè)信度）它是同一被試總體用同一試卷間隔一段時(shí)間后兩次測(cè)驗(yàn)所得數(shù)據(jù)的一致性程度。通常用相關(guān)系數(shù)作為其估計(jì)值。?2．等值性系數(shù)（復(fù)本信度）它是同一被試總體用兩份等值的試卷，在間隔很短的時(shí)間內(nèi)先后兩次測(cè)驗(yàn)所得數(shù)據(jù)的一致性程度。通常用相關(guān)系數(shù)作為其估計(jì)值。?3．內(nèi)部一致性系數(shù)（1）分半信度系數(shù)

在測(cè)驗(yàn)沒有復(fù)本且只能實(shí)施一次的情況下，可將測(cè)驗(yàn)項(xiàng)目分成對(duì)等的兩半，根據(jù)學(xué)生在這兩半測(cè)驗(yàn)中所得的分?jǐn)?shù)計(jì)算相關(guān)系數(shù)rhh，然后用斯皮爾曼-布朗（Spearman-Brown）公式對(duì)其值加以校正，即得分半信度。式中：rtt為分半信度系數(shù)；rhh為兩個(gè)“半測(cè)驗(yàn)”的相關(guān)系數(shù)。?例：用一個(gè)由100題構(gòu)成的試卷測(cè)試10名學(xué)生，測(cè)試結(jié)果如下表，求測(cè)驗(yàn)的分半信度系數(shù)。學(xué)號(hào)奇數(shù)題總分偶數(shù)題總分138372373733836441395403963634738388393994039103536?解題步驟如下：

1、先求兩分測(cè)驗(yàn)的相關(guān)系數(shù)rhh

。

..\分半信度.xls

學(xué)號(hào)奇數(shù)題總分偶數(shù)題總分138372373733836441395403963634738388393994039103536

0.84?

2、然后求分半信度系數(shù)rtt。

?（2）α系數(shù)若測(cè)驗(yàn)中各個(gè)題目得分相關(guān)較高時(shí)，不論題目的內(nèi)容或形式有何差別，測(cè)驗(yàn)都為同質(zhì)；相反，即使所有題目看起來都好像是測(cè)量同一特性，但題目得分之間的相關(guān)很低，測(cè)驗(yàn)仍然是異質(zhì)的。測(cè)驗(yàn)越同質(zhì)，同質(zhì)性信度的值也越大，則說明試題的內(nèi)部一致性程度越高。因而，同質(zhì)性信度又稱作內(nèi)部一致性系數(shù)。計(jì)算同質(zhì)性信度的方法可用克龍巴赫（Cronbach）所創(chuàng)的α系數(shù)公式：?式中，N為題目數(shù)；Si2為各被試在第i題得分的方差；St2為各被試測(cè)驗(yàn)總分的方差。?例:5名被試參加一個(gè)包含6道試題的測(cè)驗(yàn)，測(cè)驗(yàn)結(jié)果如下表，求該測(cè)驗(yàn)的信度系數(shù)。題號(hào)被試Si2ABCDE1711811113.042697891.3636106892.5648116836.965711811113.046711811113.04合計(jì)416343575420

70.24?解題步驟如下：

1、求各被試在第i題得分的方差Si2

。2、求各被試各自的總分。3、求方差Si2的和ΣSi2，以及各被試總分的方差St2

。..\α系數(shù).xls4、求α系數(shù)?4．評(píng)分者信度系數(shù)對(duì)于無(wú)法完全客觀記分的測(cè)驗(yàn)，評(píng)分者的主觀因素對(duì)測(cè)驗(yàn)結(jié)果的影響是很大的，因此需要控制評(píng)分誤差和研究評(píng)分者信度。評(píng)分者信度的估計(jì)可以分為兩種情況：（1）2人同時(shí)評(píng)多份相同的試卷這種情況可以用2人評(píng)分的相關(guān)系數(shù)作為評(píng)分者信度的估計(jì)值。?例如:兩位教師評(píng)三份試卷，求其評(píng)分者信度系數(shù)試卷教師X教師YDD2112-112211133300合計(jì)

2??（2）多人同時(shí)評(píng)多份相同的試卷當(dāng)由多個(gè)評(píng)分者同時(shí)評(píng)多份相同的試卷時(shí)，需用肯德爾和諧系數(shù)（Kendallcoefficientofconcordance）W作為評(píng)分者信度的估計(jì)值，其計(jì)算公式有兩個(gè)。①無(wú)重復(fù)評(píng)定等級(jí)的W系數(shù)?式中：S為各題等級(jí)之和的離差平方和，即或Ri為各試卷評(píng)定等級(jí)之和；K為評(píng)分者的人數(shù)；N為試卷的份數(shù)。?②有重復(fù)評(píng)定等級(jí)的W系數(shù)式中：n是相同等級(jí)的個(gè)數(shù)。?例如：三位教師評(píng)四份試卷，所評(píng)等級(jí)如下表，問該測(cè)驗(yàn)的評(píng)分者信度如何？教師試卷1234A3142B2141C2232Ri74115?解題步驟：

（1）先計(jì)算ΣRi和ΣRi2ΣRi=7+4+11+5=27ΣRi2=72+42+112+52=211（2）計(jì)算S?（3）計(jì)算ΣT?（4）代入公式W?（5）查表，檢驗(yàn)W的顯著性因?yàn)?，K=3，N=4時(shí)，臨界值S0.05≈64.4，由于S＜S0.05，所以，W不顯著性，即表明三位教師的評(píng)分者信度較低。（K在3——20之間，N在3——7之間時(shí)，查附表5求臨界值S0.05或臨界值S0.01；若N＞7，檢驗(yàn)W的顯著性用χ2=K（N-1）W，按df=N-1查χ2值表進(jìn)行比較。）參考書目：1.王漢瀾主編《教育測(cè)量學(xué)》2.宋嶺梅主編《教育測(cè)量學(xué)》?四、影響信度的因素被試樣本的影響。題目數(shù)量的影響。測(cè)驗(yàn)難度的影響。測(cè)驗(yàn)內(nèi)容同質(zhì)性的影響。評(píng)分客觀性的影響。?

第四節(jié)測(cè)驗(yàn)的效度

一、效度的概念效度是測(cè)驗(yàn)?zāi)軐?shí)際測(cè)量出其所要測(cè)量特性的程度。二、效度的統(tǒng)計(jì)學(xué)原理rxy=S2v/S2X式中，S2v潛在真分?jǐn)?shù)方差；S2x實(shí)得分?jǐn)?shù)方差。有關(guān)系式：X=T+E=V+I+E其中，V為潛在真分?jǐn)?shù)；I為系統(tǒng)誤差。?三、估計(jì)效度的方法1．內(nèi)容效度(Contentvalidity)

內(nèi)容效度指的是測(cè)驗(yàn)題目對(duì)有關(guān)內(nèi)容或行為取樣的適當(dāng)性。（1）專家判斷法采用專家判斷法可以按下面的步驟進(jìn)行：①定義好內(nèi)容總體的范圍；②確定考查內(nèi)容或行為的細(xì)目；③列出雙向細(xì)目表；④制訂評(píng)定量表。?（2）統(tǒng)計(jì)分析法統(tǒng)計(jì)分析法又稱克龍巴赫估計(jì)法?？她埌秃赵岢龉烙?jì)內(nèi)容效度可以從同一教學(xué)內(nèi)容范圍的總體中抽取兩套獨(dú)立的測(cè)驗(yàn)試題，這兩套測(cè)驗(yàn)試題對(duì)同一組考生分別進(jìn)行兩次測(cè)驗(yàn)，如測(cè)驗(yàn)得分求得的相關(guān)系數(shù)高，就可推論內(nèi)容效度高；若相關(guān)系數(shù)低，這兩套試題中至少有一套測(cè)驗(yàn)試題缺乏內(nèi)容效度。

?（3）再測(cè)法這種方法是，先對(duì)一組考生進(jìn)行先期測(cè)驗(yàn)，這一組學(xué)生必須是對(duì)測(cè)驗(yàn)的內(nèi)容知之甚少，然后對(duì)這一組學(xué)生進(jìn)行有關(guān)內(nèi)容的教學(xué)與訓(xùn)練活動(dòng)，經(jīng)過一段學(xué)習(xí)時(shí)間后，再進(jìn)行后期測(cè)驗(yàn)，這樣可以看出測(cè)驗(yàn)是否測(cè)量出深堂上所進(jìn)行的教學(xué)與訓(xùn)練的效果。如果后期測(cè)驗(yàn)成績(jī)好，就說明該測(cè)驗(yàn)對(duì)課程內(nèi)容范圍是有效的。

?2.效標(biāo)關(guān)聯(lián)效度(Criterionrelatedvalidity)

效標(biāo)關(guān)聯(lián)效度指的是測(cè)驗(yàn)分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)之間的一致性程度。效標(biāo)（criterion)。效標(biāo)實(shí)際上是指本測(cè)驗(yàn)所想測(cè)量或要預(yù)測(cè)的特性和功能。

效標(biāo)關(guān)聯(lián)效度分為兩種：效標(biāo)與本測(cè)驗(yàn)分?jǐn)?shù)同時(shí)獲得的，稱為同時(shí)效度或并存效度(concurrentvalidity)；效標(biāo)在本測(cè)驗(yàn)之后相當(dāng)時(shí)間獲得的，稱為預(yù)測(cè)效度(predictivevalidity)。?預(yù)測(cè)效度和同時(shí)效度有兩點(diǎn)區(qū)別：(1)從進(jìn)行本測(cè)驗(yàn)到獲得效標(biāo)的間隔時(shí)間不同。同時(shí)效度的效標(biāo)測(cè)驗(yàn)幾乎與本測(cè)驗(yàn)同時(shí)舉行；預(yù)測(cè)效度的效標(biāo)則在本測(cè)驗(yàn)之后相當(dāng)長(zhǎng)的時(shí)間(幾個(gè)月，到幾年）才獲得。(2)目的和作用不同。同時(shí)效度主要用來查明自編測(cè)驗(yàn)的效度，以便有效地研制和使用新測(cè)驗(yàn)；預(yù)測(cè)效度主要用來評(píng)價(jià)本測(cè)驗(yàn)的預(yù)測(cè)能力。?估計(jì)效標(biāo)關(guān)聯(lián)效度的主要方法有：

（1）相關(guān)法它是以相關(guān)系數(shù)作為效度系數(shù)（validitycoefficient）的估計(jì)值。?（2）命中率法當(dāng)測(cè)驗(yàn)是用作決定取舍標(biāo)準(zhǔn)的根據(jù)時(shí),其有效性的指標(biāo)可以看作正確決定的比例，該比例越高，說明測(cè)驗(yàn)越有效。①取舍的正確性一般各級(jí)學(xué)校的招生考試或各企事業(yè)單位選聘人員的錄取聘用，都可以采用這種方法。為了得到取舍正確性指標(biāo)，必須將原測(cè)驗(yàn)分?jǐn)?shù)與效標(biāo)資料都采用二值劃分，這是最簡(jiǎn)單的一種劃分方法。

?例如，原測(cè)驗(yàn)分?jǐn)?shù)可以分成錄取和不錄取兩類，效標(biāo)資料可分為成功與失敗兩類，這樣全部被試可分為四個(gè)組，如下表所示：

效標(biāo)成績(jī)失敗成功測(cè)驗(yàn)成績(jī)錄取失誤(A)命中(B)不錄取命中(C)失誤(D)?上表中，在測(cè)驗(yàn)分?jǐn)?shù)中錄取的正確決定為命中，不正確決定為失誤，取舍正確性的指標(biāo)，可用以下公式求得：式中：PCT為取舍正確性比率，也稱總命中率。?例如：

效標(biāo)成績(jī)失敗成功測(cè)驗(yàn)成績(jī)錄取75(A)15(B)60不錄取175(C)152(D)23?將表中各數(shù)據(jù)代入公式：

取舍正確性比率為0.85，說明測(cè)驗(yàn)有比較高的預(yù)測(cè)效度。?

②正命中率(錄取正確率)

一般情況，錄取單位所關(guān)心的是已被錄取的學(xué)生或工作人員，希望他們錄取后努力學(xué)習(xí)或工作，而對(duì)那些未錄取者并不關(guān)心，因而需要用正命中率指標(biāo)來表示其有效性。其公式為：式中Ppc為正命中率。

?例如：將上表中各數(shù)據(jù)代入公式：

錄取學(xué)生的正命中率為0.8，說明入學(xué)測(cè)驗(yàn)的預(yù)測(cè)度性較高。?3．結(jié)構(gòu)效度結(jié)構(gòu)效度指的是測(cè)驗(yàn)分?jǐn)?shù)能夠說明心理的某種結(jié)構(gòu)或特征的程度。（1）邏輯推理法它是通過對(duì)心理某種結(jié)構(gòu)或特性與測(cè)驗(yàn)的吻合性進(jìn)行邏輯分析的方法。例如比奈(A．Binet)首先應(yīng)用邏輯分析方法研究智力行為的心理結(jié)構(gòu)，認(rèn)為智力不單純是智力行為的很多不同方面的總和，而是一種連鎖性的過程，其中包括判斷、解決問題和推理作用。如果根據(jù)這種理論編制的智力測(cè)驗(yàn)，確實(shí)能測(cè)量出應(yīng)試者的判斷、理解和推理能力，就可以認(rèn)為所編制的測(cè)驗(yàn)具有結(jié)構(gòu)效度。?例如：以智力測(cè)驗(yàn)來說。先要建立關(guān)于智力的一套理論，如智力的定義、結(jié)構(gòu)、與遺傳環(huán)境的關(guān)系，與年齡的關(guān)系，與性別的關(guān)系……等等。根據(jù)這些理論，提出有關(guān)智力測(cè)驗(yàn)的若干假設(shè)，如：(1)測(cè)驗(yàn)分?jǐn)?shù)在16歲以前隨年齡而增加；(2)一種智力測(cè)驗(yàn)的分?jǐn)?shù)與其他智力測(cè)驗(yàn)的分?jǐn)?shù)有正相關(guān)，(3)測(cè)驗(yàn)分?jǐn)?shù)能區(qū)別智力水平，(4)測(cè)驗(yàn)分?jǐn)?shù)受教學(xué)的直接影響不大等。然后收集材料(這里主要是通過智力測(cè)驗(yàn)獲得)來驗(yàn)證假設(shè)。如果假設(shè)得到支持，則可以認(rèn)為所編制的智力測(cè)驗(yàn)的結(jié)果與智力的理論結(jié)構(gòu)符合，即有結(jié)構(gòu)效度。如果假設(shè)沒有得到測(cè)驗(yàn)結(jié)果的支持，則測(cè)驗(yàn)結(jié)果缺乏結(jié)構(gòu)效度，或者是智力結(jié)構(gòu)的理論有缺陷。?（2）統(tǒng)計(jì)分析法把自己所編制的測(cè)驗(yàn)的施測(cè)結(jié)果，與另一性質(zhì)相同而被公認(rèn)具有較高結(jié)構(gòu)效度的測(cè)驗(yàn)結(jié)果比較。例如把新編制的智力測(cè)驗(yàn)的結(jié)果與斯坦福一一比奈智力量表的測(cè)驗(yàn)結(jié)果相比較，若兩種測(cè)驗(yàn)結(jié)果的相關(guān)高，可以認(rèn)為新編測(cè)驗(yàn)也具有較高的結(jié)構(gòu)效度。?（3）考察實(shí)驗(yàn)因素法因素分析的主要作用在于從相關(guān)的許多因素中，找出潛藏在其中的對(duì)某種現(xiàn)象起決定作用的基本因素。這種方法是利用實(shí)驗(yàn)前后的結(jié)果變化，來說明測(cè)驗(yàn)的結(jié)構(gòu)效度。?四、影響效度的因素測(cè)驗(yàn)難度的影響。題目數(shù)量的影響。測(cè)驗(yàn)實(shí)施的影響。評(píng)分客觀性的影響。要求測(cè)驗(yàn)標(biāo)準(zhǔn)化的其他因素的影響。被試樣本的影響。所選效標(biāo)的影響。?五、效度與信度的關(guān)系1.高信度不一定又高效度S2XS2T2.高效度一定有高信度S2XS2TS2vS2IS2ES2vS2IS2E?難度、區(qū)分度、信度、效度估計(jì)方法一覽表公式名稱公式形式難度二分法計(jì)分公式p=r/n非二分法計(jì)分公式p=/Xmax區(qū)分度相關(guān)計(jì)算法r“高”、“低”分組法D=PH-PL信度分半信度系數(shù)α系數(shù)肯德爾和諧系數(shù)效度相關(guān)法r命中率法?練習(xí)題一、在一測(cè)驗(yàn)的某道選擇題上，50名被試中選擇正確答案的有30名。該題難度為多少？

二、一組被試在某道題上得分分別為2，5，9，10，4，8，7，5。該題滿分為12分。則該題難度為多少？

?三、根據(jù)下表數(shù)據(jù)求區(qū)分度。

學(xué)號(hào)總分第二題得分17512650380046805791687078818901992110960?四、某班60名學(xué)生，“高分組”做對(duì)第一題的有16人，“低分組”做對(duì)的有4人，那么，該題的區(qū)分度為多少？?五、根據(jù)下表數(shù)據(jù)求分半信度。被試奇數(shù)題總分偶數(shù)題總分1353523435333364323553233630307292882828?六、兩位教師評(píng)六份試卷，求其評(píng)分者信度系數(shù)。試卷教師A教師B112221333445554666?七、通過某項(xiàng)測(cè)驗(yàn)從80名候選人中選出30名聘為學(xué)生助理，一年后進(jìn)行考核表明，其中有24人勝任工作，6人不勝任。問原測(cè)驗(yàn)的預(yù)測(cè)效度如何？?生活中的辛苦阻撓不了我對(duì)生活的熱愛。10月-24