第三講 測量的質(zhì)量分析ppt課件

1、第三講 檢驗的質(zhì)量分析3.1 檢驗的信度 3.2 檢驗的效度3.3 檢驗的難度3.4 檢驗的區(qū)分度.3.1 檢驗的信度一、信度的定義二、信度系數(shù)的計算三、提高檢驗信度的途徑. 檢驗的信度是指檢驗結(jié)果的可靠性或可靠程度?？煽啃允侵笇ν唤M對象進(jìn)展兩次一樣丈量所得結(jié)果的一致性和穩(wěn)定性程度。一、信度的定義 丈量學(xué)中，信度可定義為真分?jǐn)?shù)方差與實得分?jǐn)?shù)方差的比率，即 3.1.1 這闡明，真分?jǐn)?shù)方差 在實得分?jǐn)?shù)方差 中所占的比重越大，那么信度 就越高。 由于 是未知數(shù)，所以根據(jù)誤差方程 可將公式3.1.1改寫為 (3.1.2)而 和 都可以從一組實得分?jǐn)?shù)中計算出來，所以3.1.2式更有實踐意. 從公式3.

2、1.1或3.1.2看出，假設(shè)真分?jǐn)?shù)T與實得分X接近時， 和 也會接近，而誤差 及 就會很小，此時信度就會增大。可見，信度是實測值與真值之間差距大小的量度。檢驗信度越高，誤差就越小，檢驗的結(jié)果也越可靠。理想情況下，誤差為零時，信度到達(dá)最大值 ；當(dāng)信度很低，甚至降為零時，闡明檢驗分?jǐn)?shù)中充溢誤差，它比不檢驗還糟。 信度的值在01之間，稱為信度系數(shù)。當(dāng) 為0.950.99時，檢驗可靠性很高，但不常見； 為0.90.94是通常能得到的最好結(jié)果； 為0.80.9也比較好； 為0.70.79尚可運(yùn)用， 在0.7以下，闡明誤差太大，該檢驗不能運(yùn)用。 . 實踐任務(wù)中，經(jīng)過對檢驗結(jié)果的一致性程度來計算信度的，主要

3、有三種：穩(wěn)定性系數(shù)、等值性系數(shù)和內(nèi)在一致性系數(shù)。 1、穩(wěn)定性系數(shù)再測信度 用同一個檢驗，對同一組考生前后兩次進(jìn)展檢驗，兩次檢驗分?jǐn)?shù)的相關(guān)系數(shù)為再測信度.由于它能反映兩次檢驗結(jié)果的一致性和穩(wěn)定程度，也稱穩(wěn)定系數(shù)。其計算公式為： 3.1.3式中X1和X2為同一考生兩次的檢驗分?jǐn)?shù)， 為兩次檢驗的平均分?jǐn)?shù)，S1和S2為兩次檢驗的規(guī)范差，N為考生人數(shù)。 二、信度系數(shù)的計算212121/SSXXNXXXX-=g. 再測信度的計算在運(yùn)用時，兩次檢驗之間的時間間隔要適宜，相隔時間不要太短，也不宜太長。再測法適用于速度檢驗而不適用于難度檢驗，同時要提高考生的積極性，使他們仔細(xì)擔(dān)任的參與每次檢驗。2、等值性系數(shù)復(fù)

4、本信度 兩個等值但詳細(xì)內(nèi)容不同的檢驗，在最短時距內(nèi)，對一樣考生分兩次檢驗所得分?jǐn)?shù)的相關(guān)系數(shù)即為復(fù)本信度，計算公式與3.1.3一樣。所謂等值是指檢驗在題型、題數(shù)、難易、時限以及標(biāo)題內(nèi)容和方式等方面一樣或類似。3、內(nèi)部一致性系數(shù) 內(nèi)部一致性系數(shù)是同一個檢驗的兩部分得分的相關(guān)系數(shù)，有兩種計算方法：分半信度 分半法是按正常的程序?qū)嵤z驗，然后將全部試題分成相等的兩半通常采用奇偶分半法，根據(jù)各人在這兩半檢驗的分?jǐn)?shù)計算其相關(guān)系數(shù)。由于這樣求得的只是半個檢驗的信度，因此要用斯皮爾曼-布朗Spearman-Brown公式較正，校正公式為： 3.1.4式中 為兩半檢驗的相關(guān)系數(shù)， 為整個檢驗的信度值。 . 例1

5、 假設(shè)10名學(xué)生奇數(shù)題得分與偶數(shù)題分如下表所示，試求這份整體試卷的分半信度。 學(xué)生124567891011x3835212742141428287y303281825152221179 解：由上表可求得于是再由公式(3.1.4)得.庫-理信度系數(shù)公式 庫德Kuder、理查遜Richardson和克朗巴赫Cronbach因不稱心半分法，從方差分析的角度提出了以試題統(tǒng)計量為轉(zhuǎn)移的信度求法，可防止恣意兩半分的誤差。他們提出的適用于客觀題試卷的一系列公式，較為常用的是KR20公式： (3.1.7)式中n是測題數(shù)，Pi是第i題的答對率難度指數(shù)， 為第i題的答錯率，顯然 ， 為所取樣本中考生總分的方差。此

6、外，因 ,從而使括號中的值不等于1，故乘以修正系數(shù) 以使信度估計值不致偏小。 . 例2 某省年度教育自學(xué)考試試卷由100題組成，每題答對得1分，不答或答錯得0分，現(xiàn)分層按比例抽取50份試卷，并規(guī)定奇號題得分為x，偶號題分得為y，列表如下(表3.1)，試用庫理公式計算信度。 表3.1 50份試卷的奇偶題得分 學(xué)生編號12345678910 x815819151520232019y10101520221916161716學(xué)生編號11121314151617181920 x16232121242219272520y21182619222121221623學(xué)生編號2122232425262728293

7、0 x23242124232828312828y21232018261826212823學(xué)生編號31323334353637383940 x26332726273031243329y24262828292126293131學(xué)生編號41424344454647484950 x37283133363539424641y26343033373737363740. 解：先計算樣本中考生的總分方差 ，再逐題計算 后求和，第1題有43人答對，答對率： 那么答錯率 ,于是 一切題的 。然后由庫-理公式得 庫-理還提出另一公式，用來計算同質(zhì)性信度時，不需求逐題計算經(jīng)過率，該公式為 公式： (3.1.8)其中

8、為檢驗總分的平均數(shù)。 .克朗巴赫公式 克朗巴赫提出了論文式檢驗的信度公式系數(shù)，其根本想法是以每題得分的方差 來替代 ： (3.1.10)式中n為測題數(shù)， 為所取樣本的總分方差， 為樣本的第 題得分方差。 例3 某校試卷由三題組成，樣本容量為100，算得總分規(guī)范差 ，第一、二、三題的得分規(guī)范差 為 ，求該檢驗的信度。 解：根據(jù)克朗巴赫公式可算得信度為系數(shù)法能編成程序由電子計算機(jī)求得結(jié)果。.4、評分者的信度 當(dāng)檢驗是論文式試題時，不同評分者對同一試卷的評分結(jié)果不一樣，由于此時誤差主要來自評分者的差別。主要計算公式為： (3.1.11)式中K為評分者人數(shù)，N為評分的試卷數(shù)， 是第 題等級和 。 例4

9、 有6位教師各自評閱五篇作文，每位教師給每篇作文都評了等級，并列入下表，向6位評分者所評等級的一致性如何？.評分者作文編號（N=5）12345A35241B35241C34152D35142E35241F35241Ri182910258解：代入公式(3.1.11)，留意 ，那么 .三、提高檢驗信度的途徑 1、適當(dāng)添加題量：添加樣本容量，減小抽樣誤差，使信度增高。加長檢驗后的信度計算公式為： (3.1.18) 式中 為原檢驗的信度， 為加長的倍數(shù)， 為加長 倍后的信度。 例6 原來由6道題組成的檢驗，其信度 ，如今要求信度提高到 ，需求加長到多少試題？ 解：由(3.1.18)式得 加長后的題數(shù)=

10、原長 。 .2、用規(guī)范化考試：盡量減少各環(huán)節(jié)的檢驗誤差，特別是提高命題質(zhì)量，試題難度中等，區(qū)分度要大見3.14。3、消除考生焦慮心情：充分作好考前指點，試卷編排應(yīng)由易到難，以利穩(wěn)定考生心情使其智能得到正常發(fā)揚(yáng)。4、檢驗內(nèi)容具有同質(zhì)性：不要在一個檢驗中按排許多性質(zhì)不同的內(nèi)容，這樣會降低一致性，影響信度 .3.2 檢驗的效度一、效度的定義二、效度的估算 . 效度是指檢驗結(jié)果的有效性或正確性，所謂有效性，是指一種檢驗可以正確地丈量出它所要丈量的特性或功能的程度。一、效度的定義 丈量學(xué)中，效度被定義為有效分?jǐn)?shù)方差與實得分?jǐn)?shù)方差之比，即： (3.2.1)由誤差方程 可知，當(dāng)隨機(jī)誤差足夠小而且不變時，系統(tǒng)

11、誤差方差越小，那么有效分?jǐn)?shù)方差就越大；亦即有效分?jǐn)?shù)方差在實得分?jǐn)?shù)方差中所占的比重越大，也就是說效度也就越高。 效度要處理兩個問題：本檢驗的丈量目的是什么；本檢驗對于所要丈量的目的能測到什么程度。公式3.2.1對效度的定義通知我們，只需當(dāng)有效分?jǐn)?shù)方差在實得分?jǐn)?shù)方差中所占的比重越大，那么，到達(dá)檢驗?zāi)康牡某潭纫簿驮酱?，因此效度也就越高。效度的取值?。.二、效度的估算 1、內(nèi)容效度 內(nèi)容效度是指檢驗內(nèi)容對所要檢驗的全部內(nèi)容的取樣代表性程度。一個檢驗具備良好的內(nèi)容效度應(yīng)滿足兩個條件： 檢驗內(nèi)容范圍要明確，對學(xué)生成果檢驗來說，就是試題要符合教材內(nèi)容和教學(xué)大綱，試題不應(yīng)該超出確定的范圍。 試題應(yīng)是已界定的

12、內(nèi)容范圍的代表性樣本，它應(yīng)該覆蓋所檢驗內(nèi)容的主要方面，并使各部分標(biāo)題所占比例適當(dāng)。 確定內(nèi)容效度的常用的方法是由專家對試題及所涉及的范圍進(jìn)展符合性判別。內(nèi)容效度適宜于評價學(xué)業(yè)成果檢驗和職業(yè)選拔檢驗，對目的參照檢驗更為重要，由于在目的參照檢驗中，我們主要關(guān)懷的是考生在一定范圍內(nèi)的知識技藝掌握得如何。 . 2、效標(biāo)關(guān)聯(lián)效度 效標(biāo)關(guān)聯(lián)效度是指檢驗分?jǐn)?shù)與作為效標(biāo)的另一獨立檢驗結(jié)果之間的一致性程度，普通是用本檢驗分?jǐn)?shù)與效標(biāo)檢驗結(jié)果之間的相關(guān)系數(shù)表示。 所謂效標(biāo)，是用來檢測效度的參照規(guī)范，效標(biāo)關(guān)聯(lián)效度可分為以下兩種： 同時效度：是一種檢驗的結(jié)果與另一大約同時獲得的檢驗結(jié)果即效標(biāo)之間的一致程度，并用兩個檢驗

13、結(jié)果的相關(guān)系數(shù)來估算，同時效度常用于規(guī)范化檢驗的建立。例如，用教師自編的檢驗施測之后，讓考生短期內(nèi)很快再參與一次被公認(rèn)是規(guī)范化的檢驗，假設(shè)兩次考試成果的相關(guān)系數(shù)很高，那么可以以為教師編制的檢驗也是規(guī)范化檢驗。 例1 取10名考生參與摸底考試與全區(qū)一致考試的成果記錄于表3.3中，求摸底考試的效標(biāo)關(guān)聯(lián)效度。.12345678910摸底成績x92818077716663544544區(qū)考成績y87788075696362524638xy80046318640057754889415839062808207016726736504759744516表3.3 解：我們把區(qū)考試成果作為效標(biāo)，求它與摸底考試分

14、數(shù)的積差相關(guān)系數(shù)：假設(shè)用等級相關(guān)系數(shù)公式計算，應(yīng)先由表3.3中的數(shù)據(jù)按等級列表，然后計算：效標(biāo)效度系數(shù) 普通應(yīng)在0.4以上。. 預(yù)測效度：是指某一檢驗結(jié)果與另一未來獲得的檢驗結(jié)果之間的相關(guān)程度。在這里，效標(biāo)的建立遠(yuǎn)在檢驗之后，目的在于闡明某一檢驗的結(jié)果能否具有預(yù)測未來另一檢驗結(jié)果的功能。 例2 假定高中英語考試和大學(xué)入學(xué)英語考試的平均分?jǐn)?shù)分別為92.57和64.18，規(guī)范差分別為21.01和11.13，兩次考試間的相關(guān)系數(shù)為0.68，假設(shè)某生在高中英語考試中得分為114，那么他在大學(xué)入學(xué)英語考試中能夠得多少分？ 解:這種問題可以用回歸方程來處理,設(shè) 為預(yù)測的效標(biāo)分?jǐn)?shù)； 和 分別為效標(biāo)分?jǐn)?shù)與檢驗

15、分?jǐn)?shù)的規(guī)范差； 分別為效標(biāo)分?jǐn)?shù)與檢驗分?jǐn)?shù)的平均數(shù)； 為檢驗所得分?jǐn)?shù)，那么回歸方程如下： 3.2.3將本例中數(shù)據(jù)代入上式得： 所以，這位學(xué)生在大學(xué)入學(xué)英語考試中能夠得74分。.3.3 檢驗的難度難度及其計算 難度是衡量試題與試卷難易程度的目的，通?？梢杂萌缦路椒ㄓ嬎汶y度： 1、客觀性試題的難度計算 難度指數(shù)：對于采用二分法記分的標(biāo)題，難度以經(jīng)過率來表示： (3.3.1 )式中 為標(biāo)題的經(jīng)過率， 為答對或經(jīng)過該標(biāo)題的人數(shù)， 為全體考生。此時 值越大，難度越?。?值越小，難度越大。 極端分組法：當(dāng)被試人數(shù)很多時，用經(jīng)過率計算難度很費(fèi)事，可以將被試按照總分從高到低陳列，然后將總分最高的27%和最低的2

16、7%的被試分別定為高分組和低分組，分別計算兩組的經(jīng)過率，然后用下式計算該題難度： (3.3.3) 式中 和 分別為高分組與低分組的經(jīng)過率。 . 2、客觀性試題的難度計算 難度指數(shù) ：設(shè) 為一切考生在某一試題上的平均分， 為該題的總分值，那么 (3.3.4)上式適用于論述題、問答題和計算題等非二分法記分的標(biāo)題。 極端分組法：當(dāng)被試人數(shù)很多時，客觀性試題可采用下式計算難度： (3.3.5)式中 為高分組所得的總分； 為低分組所得總分， 和 分別為該題的最高和最低得分， 為考生總?cè)藬?shù)的27%。.3、難度的測前估算 首先了解影響試題難度的要素： 熟習(xí)程度：假設(shè)試題與課本中的例題、習(xí)題相近，學(xué)生熟習(xí)試題

17、內(nèi)容，難度 就高。 信息數(shù)量：假設(shè)試題中的信息量大，學(xué)生要不止一次地閱讀才干把握內(nèi)容，增大了困難。 標(biāo)題構(gòu)造：標(biāo)題類型、知識綜合程度、計算復(fù)雜程度等，影響難度。 變化動態(tài)：迷惑干擾大的問題靈敏易引起錯誤，添加困難。其次把上述四個要素分成三個等級：1表示小，2表示中等，3表示大。最后估算難度：先估計試題各要素的等級并作為各要素的點數(shù)，累加各要素的點數(shù)；然后，參照表3.5估計試題的難度： 等級CB1B2B3A累加點數(shù)4567799101112難度0.30.40.40.50.50.650.650.750.75.4、試卷的難度 是指一份試卷的總體難易程度，用下式計算： (3.3.6)式中 是試卷的總分

18、值值， 和 分別為第 道題的難度和總分值值， 是試卷標(biāo)題的總數(shù)。試卷難度與平均分?jǐn)?shù)之間滿足如下關(guān)系： (3.3.7) 也可以以為試卷難度等于試卷平均分 與試卷總分值之比，即： (3.3.8) 由上式可知，試卷的難度并不等于各試題難度的平均值。我們也可以把難度 轉(zhuǎn)換成正態(tài)量 來處置，先查正態(tài)分布表，由各題的難度 查出對應(yīng)的正態(tài)量 ，那么試卷的平均值 為： 。再查正態(tài)分布表，由 值求出試卷的難度 。.3.4 檢驗的區(qū)分度一、區(qū)分度及其計算 區(qū)分度是檢驗試題對考生實踐程度的區(qū)分程度，區(qū)分度的取值范圍介于-1.00和+1.00之間。下面引見幾種主要的計算方法： 1、極端分組法 客觀性試題的區(qū)分度計算公

19、式為： (3.4.1),其中 分別為高、低分組的經(jīng)過率。美國丈量專家伊貝爾(L.Ebel)把 稱為鑒別指數(shù)，它對評價標(biāo)題性能的規(guī)范如表3.7所示： 鑒別指數(shù)D題目評價0.4以上0.30.390.200.290.19以下很好良好，修改會更佳尚可，仍需修改差，必須淘汰 表 3.7. 客觀性試題的區(qū)分度計算公式為： (3.4.2)式中 為高分組總分， 為低分組總分， 為該題最高分 ， 為該題最低分， 為考生總?cè)藬?shù)的27%。 2、相關(guān)法 相關(guān)法是以某試題的得分與效標(biāo)分?jǐn)?shù)的相關(guān)系數(shù)作為該題的區(qū)分度目的。普通情況下，效標(biāo)分?jǐn)?shù)不易得到，那么以檢驗總分替代，求試題得分與該檢驗總分的相關(guān)系數(shù)。相關(guān)越高，那么試題

20、區(qū)分度越高。由于總分是延續(xù)變量，而試題得分有延續(xù)變量和二分變量的不同情況，所以求相關(guān)系數(shù)可分以下幾種情況： . 積差相關(guān) 當(dāng)試題得分與檢驗總分都屬延續(xù)變量時，可以采用積差相關(guān)法計算區(qū)分度，其公式為： 3.4.3式中 為考生某題得分， 為考生檢驗總分； 為考生總數(shù)。 二列相關(guān) 二列相關(guān)適用于兩個延續(xù)變量，但其中有一個被人為分為兩個類別，其公式為： 3.4.4 3.4.5. 式中 為考生答對某題的平均分， 為考生答錯某題的平均分； 和 分別為全體考生檢驗得分的平均數(shù)和規(guī)范差； 為答對組人數(shù)與總?cè)藬?shù)之比， 為答錯人數(shù)與總?cè)藬?shù)之比；而且 ； 為 與 交界處正態(tài)曲線的高度。計算二列相關(guān)時，要求二分變量的分布在延續(xù)丈量時必需是正態(tài)分布。對延續(xù)變量的分布，雖不要求是正態(tài)，但必需是單峰而且要對稱。 點