測驗質(zhì)量分析

關(guān)于測驗質(zhì)量分析第一頁，共六十三頁，2022年，8月28日

第一節(jié)題目難度的概念和計算方法

一、題目難度的概念和意義（一）題目難度的含義題目難度是指被試完成試題的難易程度。（二）題目難度與測驗的關(guān)系題目難度影響測驗的難度分布和平均難度，從而影響測驗的信度、效度以及測驗結(jié)果區(qū)分被試水平高低的能力。第二頁，共六十三頁，2022年，8月28日二、難度的計算（一）二值記分法題目的難度計算當題目分數(shù)是二分變量(即答對為1，答錯為0，如選擇題)時：式中：P為題目難度值，R為答對或通過該題的人數(shù)，N為全體考生數(shù)。例題1：在一測驗的某道選擇題上，100名被試中選擇正確答案的有37名。則該題難度為：第三頁，共六十三頁，2022年，8月28日

（二）非二值記分法題目的難度計算

當題目分數(shù)是多分值時，難度是全體被試在該題上的平均數(shù)與該題滿分的比例：式中：P題目難度值，為全體被試平均得分，Xmax是題目滿分。第四頁，共六十三頁，2022年，8月28日例題2：一組被試在某道題上得分分別為2，5，9，10，4，8，7，5，3，0。該題滿分為10分。則該題難度為：第五頁，共六十三頁，2022年，8月28日三、測驗難度的選擇一般常模參照測驗題目難度分布近似正態(tài)。特定的測驗題目難度的分布應(yīng)該根據(jù)測量的任務(wù)而定。第六頁，共六十三頁，2022年，8月28日第二節(jié)區(qū)分度的概念和計算方法一、區(qū)分度的含義區(qū)分度是指試題能區(qū)分被試水平能力的程度。二、區(qū)分度的計算（一）區(qū)分度的相關(guān)計算法它是求試題分數(shù)與總分的相關(guān)系數(shù)作為區(qū)分度的指標。第七頁，共六十三頁，2022年，8月28日第八頁，共六十三頁，2022年，8月28日第九頁，共六十三頁，2022年，8月28日第十頁，共六十三頁，2022年，8月28日（二）區(qū)分度的分組計算法它是首先將全體被試按總分高低進行排隊；然后，將得分較高的27%的被試作為“高分組”，將得分較低的27%的被試作為“低分組”；最后求兩組在試題上得分率的差。即：D=PH-PL式中：D為區(qū)分度；PH為高分組的得分率；PL為低分組的得分率。第十一頁，共六十三頁，2022年，8月28日例如：某班40名學生，“高分組”做對第一題的有8人，“低分組”做對的有4人，那么，該題的區(qū)分度為：D=PH-PL=8/11-4/11≈0.36

第十二頁，共六十三頁，2022年，8月28日三、區(qū)分度的評價區(qū)分度的取值范圍–1≤D≤1。當用分組計算法得到的題目區(qū)分度大于0.4時，區(qū)分度的分組計算法被認為是性能良好的試題。第十三頁，共六十三頁，2022年，8月28日

第三節(jié)測驗的信度

一、信度的概念信度是指測驗結(jié)果的可靠程度。二、信度的統(tǒng)計學原理rxx=S2T/S2X式中：rxx表示信度系數(shù)；

S2T表示真分數(shù)方差；

S2X表示實得分數(shù)方差。有關(guān)系式：X=T+E其中，X為實得分數(shù)；T為真分數(shù)。第十四頁，共六十三頁，2022年，8月28日三、信度系數(shù)的估計方法1．穩(wěn)定性系數(shù)（再測信度）它是同一被試總體用同一試卷間隔一段時間后兩次測驗所得數(shù)據(jù)的一致性程度。通常用相關(guān)系數(shù)作為其估計值。第十五頁，共六十三頁，2022年，8月28日2．等值性系數(shù)（復本信度）它是同一被試總體用兩份等值的試卷，在間隔很短的時間內(nèi)先后兩次測驗所得數(shù)據(jù)的一致性程度。通常用相關(guān)系數(shù)作為其估計值。第十六頁，共六十三頁，2022年，8月28日第十七頁，共六十三頁，2022年，8月28日例：用一個由100題構(gòu)成的試卷測試10名學生，測試結(jié)果如下表，求測驗的分半信度系數(shù)。學號奇數(shù)題總分偶數(shù)題總分138372373733836441395403963634738388393994039103536第十八頁，共六十三頁，2022年，8月28日解題步驟如下：

1、先求兩分測驗的相關(guān)系數(shù)rhh

。

..\分半信度.xls

學號奇數(shù)題總分偶數(shù)題總分138372373733836441395403963634738388393994039103536

0.84第十九頁，共六十三頁，2022年，8月28日第二十頁，共六十三頁，2022年，8月28日（2）α系數(shù)若測驗中各個題目得分相關(guān)較高時，不論題目的內(nèi)容或形式有何差別，測驗都為同質(zhì)；相反，即使所有題目看起來都好像是測量同一特性，但題目得分之間的相關(guān)很低，測驗仍然是異質(zhì)的。測驗越同質(zhì)，同質(zhì)性信度的值也越大，則說明試題的內(nèi)部一致性程度越高。因而，同質(zhì)性信度又稱作內(nèi)部一致性系數(shù)。計算同質(zhì)性信度的方法可用克龍巴赫（Cronbach）所創(chuàng)的α系數(shù)公式：第二十一頁，共六十三頁，2022年，8月28日第二十二頁，共六十三頁，2022年，8月28日例:5名被試參加一個包含6道試題的測驗，測驗結(jié)果如下表，求該測驗的信度系數(shù)。題號被試Si2ABCDE1711811113.042697891.3636106892.5648116836.965711811113.046711811113.04合計416343575420

70.24第二十三頁，共六十三頁，2022年，8月28日第二十四頁，共六十三頁，2022年，8月28日4．評分者信度系數(shù)對于無法完全客觀記分的測驗，評分者的主觀因素對測驗結(jié)果的影響是很大的，因此需要控制評分誤差和研究評分者信度。評分者信度的估計可以分為兩種情況：（1）2人同時評多份相同的試卷這種情況可以用2人評分的相關(guān)系數(shù)作為評分者信度的估計值。第二十五頁，共六十三頁，2022年，8月28日例如:兩位教師評三份試卷，求其評分者信度系數(shù)試卷教師X教師YDD2112-112211133300合計

2第二十六頁，共六十三頁，2022年，8月28日第二十七頁，共六十三頁，2022年，8月28日第二十八頁，共六十三頁，2022年，8月28日第二十九頁，共六十三頁，2022年，8月28日第三十頁，共六十三頁，2022年，8月28日例如：三位教師評四份試卷，所評等級如下表，問該測驗的評分者信度如何？教師試卷1234A3142B2141C2232Ri74115第三十一頁，共六十三頁，2022年，8月28日第三十二頁，共六十三頁，2022年，8月28日第三十三頁，共六十三頁，2022年，8月28日第三十四頁，共六十三頁，2022年，8月28日（5）查表，檢驗W的顯著性因為，K=3，N=4時，臨界值S0.05≈64.4，由于S＜S0.05，所以，W不顯著性，即表明三位教師的評分者信度較低。（K在3——20之間，N在3——7之間時，查附表5求臨界值S0.05或臨界值S0.01；若N＞7，檢驗W的顯著性用χ2=K（N-1）W，按df=N-1查χ2值表進行比較。）參考書目：1.王漢瀾主編《教育測量學》2.宋嶺梅主編《教育測量學》第三十五頁，共六十三頁，2022年，8月28日四、影響信度的因素被試樣本的影響。題目數(shù)量的影響。測驗難度的影響。測驗內(nèi)容同質(zhì)性的影響。評分客觀性的影響。第三十六頁，共六十三頁，2022年，8月28日

第四節(jié)測驗的效度

一、效度的概念效度是測驗能實際測量出其所要測量特性的程度。二、效度的統(tǒng)計學原理rxy=S2v/S2X式中，S2v潛在真分數(shù)方差；

S2x實得分數(shù)方差。有關(guān)系式：X=T+E=V+I+E其中，V為潛在真分數(shù)；I為系統(tǒng)誤差。第三十七頁，共六十三頁，2022年，8月28日三、估計效度的方法1．內(nèi)容效度(Contentvalidity)

內(nèi)容效度指的是測驗題目對有關(guān)內(nèi)容或行為取樣的適當性。（1）專家判斷法采用專家判斷法可以按下面的步驟進行：①定義好內(nèi)容總體的范圍；②確定考查內(nèi)容或行為的細目；③列出雙向細目表；④制訂評定量表。第三十八頁，共六十三頁，2022年，8月28日（2）統(tǒng)計分析法統(tǒng)計分析法又稱克龍巴赫估計法?？她埌秃赵岢龉烙媰?nèi)容效度可以從同一教學內(nèi)容范圍的總體中抽取兩套獨立的測驗試題，這兩套測驗試題對同一組考生分別進行兩次測驗，如測驗得分求得的相關(guān)系數(shù)高，就可推論內(nèi)容效度高；若相關(guān)系數(shù)低，這兩套試題中至少有一套測驗試題缺乏內(nèi)容效度。

第三十九頁，共六十三頁，2022年，8月28日（3）再測法這種方法是，先對一組考生進行先期測驗，這一組學生必須是對測驗的內(nèi)容知之甚少，然后對這一組學生進行有關(guān)內(nèi)容的教學與訓練活動，經(jīng)過一段學習時間后，再進行后期測驗，這樣可以看出測驗是否測量出深堂上所進行的教學與訓練的效果。如果后期測驗成績好，就說明該測驗對課程內(nèi)容范圍是有效的。

第四十頁，共六十三頁，2022年，8月28日2.效標關(guān)聯(lián)效度(Criterionrelatedvalidity)

效標關(guān)聯(lián)效度指的是測驗分數(shù)與效標分數(shù)之間的一致性程度。效標（criterion)。效標實際上是指本測驗所想測量或要預測的特性和功能。

效標關(guān)聯(lián)效度分為兩種：效標與本測驗分數(shù)同時獲得的，稱為同時效度或并存效度(concurrentvalidity)；效標在本測驗之后相當時間獲得的，稱為預測效度(predictivevalidity)。第四十一頁，共六十三頁，2022年，8月28日預測效度和同時效度有兩點區(qū)別：(1)從進行本測驗到獲得效標的間隔時間不同。同時效度的效標測驗幾乎與本測驗同時舉行；預測效度的效標則在本測驗之后相當長的時間(幾個月，到幾年）才獲得。(2)目的和作用不同。同時效度主要用來查明自編測驗的效度，以便有效地研制和使用新測驗；預測效度主要用來評價本測驗的預測能力。第四十二頁，共六十三頁，2022年，8月28日估計效標關(guān)聯(lián)效度的主要方法有：

（1）相關(guān)法它是以相關(guān)系數(shù)作為效度系數(shù)（validitycoefficient）的估計值。第四十三頁，共六十三頁，2022年，8月28日（2）命中率法當測驗是用作決定取舍標準的根據(jù)時,其有效性的指標可以看作正確決定的比例，該比例越高，說明測驗越有效。①取舍的正確性一般各級學校的招生考試或各企事業(yè)單位選聘人員的錄取聘用，都可以采用這種方法。為了得到取舍正確性指標，必須將原測驗分數(shù)與效標資料都采用二值劃分，這是最簡單的一種劃分方法。

第四十四頁，共六十三頁，2022年，8月28日例如，原測驗分數(shù)可以分成錄取和不錄取兩類，效標資料可分為成功與失敗兩類，這樣全部被試可分為四個組，如下表所示：

效標成績失敗成功測驗成績錄取失誤(A)命中(B)不錄取命中(C)失誤(D)第四十五頁，共六十三頁，2022年，8月28日第四十六頁，共六十三頁，2022年，8月28日例如：

效標成績失敗成功測驗成績錄取75(A)15(B)60不錄取175(C)152(D)23第四十七頁，共六十三頁，2022年，8月28日第四十八頁，共六十三頁，2022年，8月28日第四十九頁，共六十三頁，2022年，8月28日第五十頁，共六十三頁，2022年，8月28日3．結(jié)構(gòu)效度結(jié)構(gòu)效度指的是測驗分數(shù)能夠說明心理的某種結(jié)構(gòu)或特征的程度。（1）邏輯推理法它是通過對心理某種結(jié)構(gòu)或特性與測驗的吻合性進行邏輯分析的方法。例如比奈(A．Binet)首先應(yīng)用邏輯分析方法研究智力行為的心理結(jié)構(gòu)，認為智力不單純是智力行為的很多不同方面的總和，而是一種連鎖性的過程，其中包括判斷、解決問題和推理作用。如果根據(jù)這種理論編制的智力測驗，確實能測量出應(yīng)試者的判斷、理解和推理能力，就可以認為所編制的測驗具有結(jié)構(gòu)效度。第五十一頁，共六十三頁，2022年，8月28日例如：以智力測驗來說。先要建立關(guān)于智力的一套理論，如智力的定義、結(jié)構(gòu)、與遺傳環(huán)境的關(guān)系，與年齡的關(guān)系，與性別的關(guān)系……等等。根據(jù)這些理論，提出有關(guān)智力測驗的若干假設(shè)，如：(1)測驗分數(shù)在16歲以前隨年齡而增加；(2)一種智力測驗的分數(shù)與其他智力測驗的分數(shù)有正相關(guān)，(3)測驗分數(shù)能區(qū)別智力水平，(4)測驗分數(shù)受教學的直接影響不大等。然后收集材料(這里主要是通過智力測驗獲得)來驗證假設(shè)。如果假設(shè)得到支持，則可以認為所編制的智力測驗的結(jié)果與智力的理論結(jié)構(gòu)符合，即有結(jié)構(gòu)效度。如果假設(shè)沒有得到測驗結(jié)果的支持，則測驗結(jié)果缺乏結(jié)構(gòu)效度，或者是智力結(jié)構(gòu)的理論有缺陷。第五十二頁，共六十三頁，2022年，8月28日（2）統(tǒng)計分析法把自己所編制的測驗的施測結(jié)果，與另一性質(zhì)相同而被公認具有較高結(jié)構(gòu)效度的測驗結(jié)果比較。例如把新編制的智力測驗的結(jié)果與斯坦福一一比奈智力量表的測驗結(jié)果相比較，若兩種測驗結(jié)果的相關(guān)高，可以認為新編測驗也具有較高的結(jié)構(gòu)效度。第五十三頁，共六十三頁，2022年，8月28日（3）考察實驗因素法因素分析的主要作用在于從相關(guān)的許多因素中，找出潛藏在其中的對某種現(xiàn)象起決定作用的基本因素。這種方法是利用實驗前后的結(jié)果變化，來說明測驗的結(jié)構(gòu)效度。第五十四頁，共六十三頁，2022年，8月28日四、影響效度的因素測驗難度的影響。題目數(shù)量的影響。測驗實施的影響。評分客觀性的影響。要求測驗標準化的其他因素的影響。被試樣本的影響。所選效標的影響。第五十五頁，共六十三頁，2022年，8月28日五、效度與信度的關(guān)系1.高信度不一定又高效度

S2XS2T2.高效度一定有高信度

S2X