教育統(tǒng)計(jì)與測(cè)量-測(cè)量質(zhì)量分析

1、測(cè)量質(zhì)量分析難度與區(qū)分度效度p為了使測(cè)驗(yàn)得到的分?jǐn)?shù)準(zhǔn)確可靠，我們要求使用的測(cè)驗(yàn)是高質(zhì)量的，因此必須對(duì)分析測(cè)驗(yàn)的質(zhì)量，而測(cè)驗(yàn)又是由一個(gè)個(gè)題目或者說(shuō)測(cè)試項(xiàng)目所組成，整個(gè)測(cè)驗(yàn)質(zhì)量要高，必然要求各個(gè)題目的質(zhì)量要高。p因此分析一個(gè)測(cè)驗(yàn)的質(zhì)量，一般就要從兩個(gè)方面來(lái)進(jìn)行：一是考察整個(gè)測(cè)驗(yàn)的質(zhì)量指標(biāo)，即考察測(cè)驗(yàn)效度與信度；二是考察所含項(xiàng)目的質(zhì)量指標(biāo)，即考察測(cè)驗(yàn)項(xiàng)目的難度和區(qū)分度。測(cè)驗(yàn)項(xiàng)目的難度p測(cè)驗(yàn)項(xiàng)目的難度，就是被試完成項(xiàng)目作答任務(wù)時(shí)所遇到的困難程度。n有的項(xiàng)目很容易，幾乎所有初試都能正確完成作答任務(wù)；有的項(xiàng)目卻很難，只有少數(shù)高水平被試能正確完成任務(wù)。n困難的項(xiàng)目，被試在其上得分的可能性就小，失分的可能性就

2、大；容易的項(xiàng)目，被試在其上得分的可能性就大，失分的可能性就小。n總之，每一個(gè)測(cè)驗(yàn)項(xiàng)目都有自己的難度；不同項(xiàng)目間其難度常常是不同的。p定量刻畫一個(gè)測(cè)驗(yàn)項(xiàng)目的被試作答困難程度的量數(shù)就叫項(xiàng)目的難度指數(shù)或難度系數(shù)。難度系數(shù)的求法p最通用的項(xiàng)目難度系數(shù)的求法就是計(jì)算被試在項(xiàng)目上的得分率或者說(shuō)通過(guò)率。1.像選擇題這種測(cè)驗(yàn)項(xiàng)目，評(píng)分采取“全或無(wú)”的方式，答對(duì)給滿分，答錯(cuò)給零分，難度指數(shù)就可以求通過(guò)人數(shù)比例或稱通過(guò)率。2.對(duì)于不采用“全或無(wú)”的方式給分的測(cè)驗(yàn)項(xiàng)目，難度系數(shù)的求取方法是先求所有被試在該項(xiàng)目上的平均得分值，可記為 ；再用它去對(duì)測(cè)驗(yàn)項(xiàng)目總分（滿分），可記為K，求比值，這個(gè)比值就是全體被試在該測(cè)驗(yàn)項(xiàng)目

3、上的得分率即難度指數(shù)p了。nrp KXp XR通過(guò)人數(shù)n 接受測(cè)試的總?cè)藬?shù)P難度指數(shù)p例如，有一滿分值K=5的試題，測(cè)試10名被試，實(shí)得成績(jī)?yōu)?,3,4.5,2,5, 0, 3.5, 1,3, 4 要求其難度指數(shù)p。p先求平均得分p然后用平均得分值對(duì)滿分值求比1 . 31031X62. 051 . 3KXpp整體試卷的難度，就是全體被試測(cè)驗(yàn)的總分平均值與全卷滿分的比值。p有人覺(jué)得用得分率p來(lái)表示難度別扭，主張用失分率q來(lái)作為難度指數(shù)。p得分率p是可以與失分率q相互轉(zhuǎn)換的，q=1-p。我們一般用得分率p來(lái)表示難度，但也有人用失分率q來(lái)表示難度，所以當(dāng)我們聽(tīng)取人家報(bào)告難度系數(shù)時(shí)，一定要弄清是指p還

4、是q值p不同目的的測(cè)試，測(cè)驗(yàn)難度系數(shù)要求也不相同。一般的標(biāo)準(zhǔn)化測(cè)試，目的是要盡可以把握住被試的個(gè)別差異，因此希望測(cè)驗(yàn)后所有被試的分?jǐn)?shù)“盡可能拉開(kāi)距離”。這樣，測(cè)驗(yàn)項(xiàng)目的恰當(dāng)難度，就應(yīng)該是p值盡量接近0.5. p如果一個(gè)測(cè)驗(yàn)對(duì)某一被試團(tuán)體來(lái)說(shuō)，難度相對(duì)顯得大，那么，被試團(tuán)體中大多數(shù)人就會(huì)得低分，被試總分分布就會(huì)形成正偏態(tài)分布；p如果相反，難度相對(duì)顯得小，被試團(tuán)體中就會(huì)有很多人得高分，總分分布就會(huì)形成負(fù)偏態(tài)。區(qū)分度p項(xiàng)目區(qū)分度就是項(xiàng)目區(qū)別被試水平高低的能力的量度。p項(xiàng)目是用來(lái)測(cè)試被試水平高低的；在所測(cè)特質(zhì)上，被試水平也不會(huì)人人相等，總是會(huì)有高低水平差異的。倘若，高水平被試，在測(cè)驗(yàn)項(xiàng)目上能利市中分，

5、而低水平被試則只能得低分，測(cè)驗(yàn)項(xiàng)目區(qū)分被試高低的能力就強(qiáng)；如果高水平被試和低水平被試在測(cè)驗(yàn)項(xiàng)目上所得分?jǐn)?shù)并無(wú)差別，項(xiàng)目提供不出被試水平差異的信息，它的區(qū)分能力就弱，更糟糕的是，高水平被試在測(cè)驗(yàn)項(xiàng)目上反而得低分，低水平被試在測(cè)驗(yàn)項(xiàng)目上所得分?jǐn)?shù)卻不低，這種項(xiàng)目的性能就跟 測(cè)驗(yàn)?zāi)康南噙`背，只會(huì)起破壞作用。p所以，項(xiàng)目區(qū)分度是測(cè)驗(yàn)性能的一個(gè)重要指標(biāo)，說(shuō)明的正是項(xiàng)目對(duì)測(cè)驗(yàn)?zāi)康膩?lái)說(shuō)的有效性程度區(qū)分度指數(shù)的求法p計(jì)算被試在該項(xiàng)目上的得分與其測(cè)驗(yàn)總分的相關(guān)系數(shù)。如相關(guān)一致性高就認(rèn)定該項(xiàng)目區(qū)分力強(qiáng)；如果相關(guān)低，甚至負(fù)相關(guān)，就認(rèn)定為區(qū)分力弱整形無(wú)效的項(xiàng)目。p這里，確定項(xiàng)目區(qū)分度的標(biāo)準(zhǔn)就是測(cè)驗(yàn)總分，要考察總分高的被

6、試在該項(xiàng)目上是否也得高分，總分低的被試在該項(xiàng)目上是否也得低分。顯然，這種標(biāo)準(zhǔn)就是測(cè)驗(yàn)內(nèi)部而非測(cè)驗(yàn)外部標(biāo)準(zhǔn)。假定有30名被試在兩個(gè)項(xiàng)目上的題分以及全卷總分情況如下表，請(qǐng)計(jì)算項(xiàng)目與項(xiàng)目的區(qū)分度項(xiàng)目p計(jì)算項(xiàng)目的區(qū)分度指數(shù)，也就是計(jì)算被試在該項(xiàng)目上的得分與總分的相關(guān)系數(shù)。p項(xiàng)目為二分稱名變量，總分為連續(xù)變量，該用哪種相關(guān)法？pqSXXrxqppb需要用點(diǎn)雙列相關(guān)，點(diǎn)雙列相關(guān)公式為：p答對(duì)被試的比率為：p=18/300.6p答錯(cuò)被試的比率為：q=0.4p答對(duì)被試的總分平均成績(jī):(100+100+98+) 18=69.94p答錯(cuò)被試的總分平均成績(jī)：(90+79+89+0) 12=59.42p所有被試總分標(biāo)

7、準(zhǔn)差：29.2318. 04 . 06 . 023.2942.5994.69pbrD項(xiàng)目p項(xiàng)目2與總分都為連續(xù)變量，應(yīng)該采用哪種相關(guān)方法呢？p積差相關(guān)的公式為：22YYXXYYXXriiiixyp采用軟件分析，得到結(jié)果為79. 0 xyrD高低分組法p求取項(xiàng)目區(qū)分度指數(shù)的主要辦法，是求題分與總分的相關(guān)系數(shù)。但是，還有一種“高低分組求得分率差”的辦法。p方法：將全體被試按總分寡加以排隊(duì)，然后取得分最多的27%的被試作為“高分組”，得分最少的27%的被試作為“低分組”，最后求這兩個(gè)組上項(xiàng)目得分率（通過(guò)率）的差來(lái)作為區(qū)分度指數(shù)的取值。pDPH PL以上面的30名被試為例p先將30名被試的總分從高至低

8、排序p30人的27%：30*27%8.18（人）p計(jì)算高分組8人的得分率PH：PH10.63； PH2 4.44/5=0.89p計(jì)算低分組8人的得分率PL： PL10.50； Pl2 2.06/5=0.41pD1PH1 PL1 0.13; D2PH2 PL2 0.48p用高低分組法丟棄了中部的數(shù)據(jù)，因此只能是較為粗糙的估計(jì)值，當(dāng)被試總?cè)藬?shù)夠多，高分組與低分組容量都相當(dāng)大時(shí)，這種估計(jì)值還是可以滿足實(shí)用要求的。所以高、低分組法，是一種常用的項(xiàng)目區(qū)分度指數(shù)求取方法。p項(xiàng)目區(qū)分度指數(shù)的取值范圍，跟一般的相關(guān)系數(shù)的取值范圍一樣，在-1.00至+1.00之間。p如果項(xiàng)目區(qū)分度指數(shù)D0.20,項(xiàng)目應(yīng)該被淘汰

9、p如果0.2D 0.3,需要修改p如果0.3D 0.4,合格p如果 0.4D ,性能優(yōu)良測(cè)驗(yàn)效度p測(cè)驗(yàn)效度，就是測(cè)驗(yàn)實(shí)際上測(cè)到它打算要測(cè)的東西的程度。p真正測(cè)到了要測(cè)的東西，就是有效、效度高；否則，就是無(wú)效或不十分有效，就是效度低。顯然，測(cè)驗(yàn)只有真正測(cè)到了要測(cè)的特性、特質(zhì)、結(jié)構(gòu)，測(cè)驗(yàn)結(jié)果即測(cè)驗(yàn)分?jǐn)?shù)的應(yīng)用與解釋，才能起到它應(yīng)起的作用，才能發(fā)揮出有效性。p因此，測(cè)驗(yàn)效度就是測(cè)驗(yàn)工具的正確性問(wèn)題，是測(cè)驗(yàn)分?jǐn)?shù)的真實(shí)有效性問(wèn)題，是測(cè)驗(yàn)質(zhì)量高低的根本表現(xiàn)所在，是測(cè)驗(yàn)性能的最重要的指標(biāo)。p心理與教育測(cè)量具有間接性特點(diǎn)，所測(cè)對(duì)象是被試的內(nèi)部心理特性、特質(zhì)或結(jié)構(gòu)，測(cè)量工具是否真正測(cè)到了它，絕非一目了然，而且，這

10、種特性、特質(zhì)、結(jié)構(gòu)本身到底什么樣，許多都沒(méi)有公認(rèn)的定義，甚至還存在嚴(yán)重的分歧。p如語(yǔ)言能力和水平，就是一個(gè)不很清楚概念，它的內(nèi)涵與外延是什么，存在著分歧，那測(cè)量語(yǔ)言能力就存在著很大的困難。也許目的是測(cè)量語(yǔ)言能力但是實(shí)際測(cè)到的是語(yǔ)言知識(shí)。效度的種類p根據(jù)驗(yàn)證測(cè)驗(yàn)效度的角度與方法的差異，可以把效度驗(yàn)證工作大體分為三類，即內(nèi)容效度、效標(biāo)關(guān)聯(lián)效度和結(jié)構(gòu)效度。三種效度說(shuō)明的都是測(cè)驗(yàn)的正確性，不過(guò)是從三個(gè)不同的方面來(lái)說(shuō)明而已。p內(nèi)容效度通過(guò)對(duì)測(cè)所含項(xiàng)目作內(nèi)容的系統(tǒng)考察，以確定由這些項(xiàng)目所構(gòu)成的測(cè)驗(yàn)，是否是測(cè)驗(yàn)應(yīng)測(cè)特質(zhì)行為領(lǐng)域的代表性樣本。n代表性程度高，就是內(nèi)容效度好；代表性程度低，就是內(nèi)容效度差；根本不

11、具任何代表性，就是全無(wú)內(nèi)容效度。內(nèi)容效度p內(nèi)容效度的分析首先就要求測(cè)驗(yàn)所測(cè)特質(zhì)涵蓋的整個(gè)行為領(lǐng)域有明確的范圍，有比較清楚的組織結(jié)構(gòu)。但許多心理特質(zhì)，如“智力”、“創(chuàng)造力”等，都是外延范圍不明、內(nèi)部結(jié)構(gòu)復(fù)雜，人們對(duì)其看法很不統(tǒng)一、無(wú)法滿足上述要求的測(cè)量對(duì)象。所以，內(nèi)容效度主要適應(yīng)于對(duì)學(xué)業(yè)成就測(cè)驗(yàn)的正確有效性的分析。主要分析測(cè)驗(yàn)項(xiàng)目所考核的知識(shí)技能覆蓋面、能力水平的考核情況、以及各部分內(nèi)容的深度廣度與結(jié)構(gòu)比例等。p分析的辦法一般是請(qǐng)學(xué)科專家作出系統(tǒng)評(píng)判；側(cè)重定性分析，也輔之以定量評(píng)價(jià)；還可以采用恰當(dāng)辦法把不同遙意見(jiàn)綜合起來(lái)。p有一個(gè)跟內(nèi)容效度有關(guān)的概念叫表面效度，指的是從被試或非專業(yè)人員看來(lái)，測(cè)驗(yàn)

12、表現(xiàn)得是否在有效地測(cè)驗(yàn)著應(yīng)測(cè)的東西。p在那些需要被試盡其所能對(duì)所測(cè)問(wèn)題正確作答的測(cè)驗(yàn)中，比如學(xué)業(yè)成就與智力測(cè)驗(yàn)中，它有改善與被試合作關(guān)系的作用。由于合作改進(jìn)，測(cè)驗(yàn)質(zhì)量也就更有保證。這樣的測(cè)驗(yàn)，應(yīng)力爭(zhēng)有高的表面效度。而人格測(cè)驗(yàn)和態(tài)度測(cè)量等，有時(shí)被試并不愿意直陳自己內(nèi)心想法，所以就不必明白在測(cè)查什么，不必追求高的表面效度。效標(biāo)關(guān)聯(lián)效度p效標(biāo)關(guān)聯(lián)效度就是指測(cè)驗(yàn)預(yù)測(cè)個(gè)體在類似或某種特定情境下行為表現(xiàn)的有效性。這里的“預(yù)測(cè)”既指同時(shí)性的類似情境下的行為的“預(yù)測(cè)”，也指間隔一段時(shí)間特定情境下的行為的“預(yù)測(cè)”。p因此，效標(biāo)關(guān)聯(lián)效度又包含“并存”效度和“預(yù)測(cè)”效度這兩個(gè)小類別。p效標(biāo)關(guān)聯(lián)效度是可以測(cè)量的，可以

13、通過(guò)求取有待驗(yàn)證的測(cè)驗(yàn)的測(cè)值與效標(biāo)測(cè)驗(yàn)所得的測(cè)值之間的相關(guān)系數(shù)獲得。得到的相關(guān)系數(shù)，就叫效度系數(shù)結(jié)構(gòu)效度p結(jié)構(gòu)效度指的是測(cè)驗(yàn)測(cè)行心理學(xué)理論所定義的某一心理結(jié)構(gòu)或特質(zhì)的程度。這種結(jié)構(gòu)或特質(zhì)的例子有智力、學(xué)術(shù)能力傾向、人格結(jié)構(gòu)以及焦慮等。p這種結(jié)構(gòu)或特質(zhì)都是理論上定義的，其內(nèi)涵與外延并不十分確定，人們之間的看法也可能有分歧；但又的確反映了客觀存在著的心理現(xiàn)象與事實(shí)，所以又是可測(cè)的。通過(guò)分析這些結(jié)構(gòu)與特質(zhì)的性質(zhì)，可以推論出一些假設(shè)，然后使用測(cè)驗(yàn)來(lái)檢驗(yàn)這些假設(shè)。倘若測(cè)驗(yàn)結(jié)果能證實(shí)這些假設(shè)，那么這就從一個(gè)方面驗(yàn)證了測(cè)驗(yàn)的結(jié)構(gòu)效度。p比如，我們知道，智力在人們兒童和青少年時(shí)期，會(huì)隨年齡增長(zhǎng)而發(fā)展提高，因此，智力測(cè)驗(yàn)的分?jǐn)?shù)也應(yīng)隨年齡增大而增加，直到個(gè)人成熟為止。如果所編出的智力測(cè)驗(yàn)，施測(cè)結(jié)果說(shuō)明情況果真如此，能證實(shí)這種看法，我們就說(shuō)從發(fā)展成熟的角度看，所編智力測(cè)驗(yàn)確具有較好的結(jié)構(gòu)效度。提高測(cè)驗(yàn)信、效度的方法n測(cè)驗(yàn)中題目的數(shù)量應(yīng)適當(dāng)，不能太少。n緊密圍繞教學(xué)大綱和教學(xué)目標(biāo)命題。n考核內(nèi)容應(yīng)全面，并能有效代表學(xué)生應(yīng)掌握的知識(shí)領(lǐng)域。n測(cè)驗(yàn)的整體難度適當(dāng)，不同類型、不同難度的題目應(yīng)保持恰當(dāng)比例。n少出偏題、怪題，一般應(yīng)以考察基礎(chǔ)知識(shí)和基本能力為主。練習(xí)1p某測(cè)驗(yàn)上，16名被試某題得分與測(cè)驗(yàn)總分情況如下表，試求該試