第四章教育測量的質(zhì)量指標(biāo)效度

第四章教育測量的質(zhì)量指標(biāo)效度第一頁，共五十六頁，編輯于2023年，星期一第二節(jié)效度一、效度的意義二、效度的統(tǒng)計定義及其與信度的關(guān)系三、效度的分類及估計四、提高效度的方法第二頁，共五十六頁，編輯于2023年，星期一一、效度的意義效度（Validity）測量結(jié)果的準(zhǔn)確性和有效性的程度一個測驗或量表實際能測出其所要測量的特性的程度記為：rxy第三頁，共五十六頁，編輯于2023年，星期一一、效度的意義第一，效度始終是針對一定的測量目的而言的。第二，效度是針對測量結(jié)果而言的。第三，效度只有高或低的程度上的差異。第四，評價一個測量是否有效要多角度、多方面地收集證據(jù)。第五，教育測量中，效度問題比在其他領(lǐng)域的測量中更為重要。第四頁，共五十六頁，編輯于2023年，星期一一、效度的概念這是因為：⑴教育測量的對象大多是精神現(xiàn)象，只能通過對其具有可測性的外部表現(xiàn)（如語言或動作等）的測量，以間接認(rèn)識其心理活動、心理特征或知識水平等。⑵學(xué)生的心理活動、心理特征與其外部表現(xiàn)之間，一般僅具有相關(guān)關(guān)系而無函數(shù)關(guān)系，外部行為并不能準(zhǔn)確無誤地反映某種心理狀態(tài)。⑶教育測量的對象不是物而是有主觀能動性的人。人能有意識地調(diào)節(jié)自己的外部行為，掩蓋自己的內(nèi)心活動，這就增加了認(rèn)識其精神現(xiàn)象的難度。第五頁，共五十六頁，編輯于2023年，星期一二、效度的統(tǒng)計定義及其與信度的關(guān)系

1、效度的統(tǒng)計學(xué)原理在實際測量中，影響效度的主要因素是系統(tǒng)誤差。因而在討論效度時，還必須把真分?jǐn)?shù)方差分解為兩個部分，一是潛在真分?jǐn)?shù)方差（σV2），另一部分是系統(tǒng)誤差分?jǐn)?shù)方差（σI2），它與由隨機(jī)誤差引起的變異（σE2）不同。第六頁，共五十六頁，編輯于2023年，星期一第七頁，共五十六頁，編輯于2023年，星期一2、效度與信度的關(guān)系σV2σI2σE2σV2σI2σE2σV2σI2σE2根據(jù)公式（2-2）和（2-3），可將效度與信度的關(guān)系圖解于后：根據(jù)分析，可得結(jié)論如下:1)高信度是高效度的必要條件，而非充分條件。2)效度系數(shù)不會大于信度系數(shù)的平方根?？梢杂孟率奖硎荆焊咝Ф?、高信度低效度、高信度低效度、低信度第八頁，共五十六頁，編輯于2023年，星期一三、效度的類別與分析驗證法1974年美國心理學(xué)會發(fā)行的《教育和心理測量的標(biāo)準(zhǔn)》一書將效度分為三大類：內(nèi)容效度：側(cè)重于測驗題目取樣的代表性，考查這些題目對所欲測量的內(nèi)容和行為反應(yīng)測量的有效程度。結(jié)構(gòu)效度：側(cè)重于一個測驗的能夠測量到心理學(xué)和教學(xué)理論上的抽象概念和特質(zhì)的程度。效標(biāo)效度：側(cè)重于測驗分?jǐn)?shù)預(yù)測我們所關(guān)心的外在行為的準(zhǔn)確程度。第九頁，共五十六頁，編輯于2023年，星期一三、效度的類別與分析驗證法琳恩和格朗蘭德提出效度的四個向度，即內(nèi)容內(nèi)容效度、效標(biāo)關(guān)聯(lián)效度、構(gòu)想效度和結(jié)果效度。第十頁，共五十六頁，編輯于2023年，星期一（一）內(nèi)容效度及其分析方法內(nèi)容效度（Contentvalidity）又稱合理效度或邏輯程度，是指測驗內(nèi)容或行為取樣的代表性和適當(dāng)程度；即實測內(nèi)容和預(yù)定測驗內(nèi)容之間的一致性程度。估計內(nèi)容效度的方法：邏輯分析法（定性的方法）統(tǒng)計分析法（定量的方法）第十一頁，共五十六頁，編輯于2023年，星期一（一）內(nèi)容效度及其分析方法邏輯分析法（定性的方法）依據(jù)教材內(nèi)容、教學(xué)大綱的范圍以及教學(xué)目標(biāo)分析測驗內(nèi)容，檢查測驗內(nèi)容究竟在體現(xiàn)教材內(nèi)容和教學(xué)目標(biāo)方面達(dá)到多大程度對每一道題目逐一進(jìn)行審查，以此形成“題目雙向細(xì)目表”與“命題雙向細(xì)目表”加以對照，以確定試卷的效度統(tǒng)計分析法（定量的方法）克龍巴赫法（兩套測驗試題，對相同被試實施測試后，計算得分的相關(guān)系數(shù)）評分一致性考查法（不同評分者之間評分的一致性程度，即考查評分者信度）前后測對比法（根據(jù)前后兩次測驗的差異顯著性，確定測驗的內(nèi)容效度）第十二頁，共五十六頁，編輯于2023年，星期一（二）結(jié)構(gòu)效度的驗證方法結(jié)構(gòu)效度是指一個測量能實際測量出理論上的構(gòu)想或心理特性的程度。它的目的在于用心理學(xué)的概念來說明分析測驗分?jǐn)?shù)的意義，也就是說從心理學(xué)的理論觀點就測驗的結(jié)果加以解釋和探討。這里的結(jié)構(gòu)的含義是心理學(xué)理論所涉及的抽象而屬假設(shè)性的概念、構(gòu)想、特性或變量，如智力、焦慮、機(jī)械能力傾向、成就、動機(jī)等。第十三頁，共五十六頁，編輯于2023年，星期一（二）結(jié)構(gòu)效度的驗證方法建立理論框架從理論框架出發(fā)，提出各種假設(shè)根據(jù)假設(shè)編制測驗以邏輯及實證的方法，檢驗結(jié)果是否符合心理學(xué)的理論框架及其假設(shè)比如：中學(xué)生數(shù)學(xué)能力的研究數(shù)學(xué)能力由分析能力、綜合能力、歸納和演繹能力、運算能力、空間想象能力構(gòu)成；數(shù)學(xué)能力與早期教育有關(guān)；數(shù)學(xué)能力與智力正相關(guān)。編制測驗，施測并收集測驗結(jié)果分析測驗結(jié)果，考查測試的結(jié)構(gòu)效度，考查測驗結(jié)果是否支持理論構(gòu)想第十四頁，共五十六頁，編輯于2023年，星期一（三）效標(biāo)關(guān)聯(lián)效度的估計方法效標(biāo)：檢驗測驗效度的外在的、客觀的標(biāo)準(zhǔn)，即效度的標(biāo)準(zhǔn)效標(biāo)效度，也稱為效標(biāo)關(guān)聯(lián)效度，也稱為實證效度驗證方法是指一個測驗對處于特定情境中的個體行為進(jìn)行預(yù)測時的有效性例：高考成績預(yù)測大學(xué)學(xué)習(xí)成績能力傾向測驗預(yù)測工作成效第十五頁，共五十六頁，編輯于2023年，星期一（三）效標(biāo)關(guān)聯(lián)效度的估計方法分類：同時效度：測驗分?jǐn)?shù)與效標(biāo)資料的取得約在同一時間內(nèi)連續(xù)完成，這兩種資料的相關(guān)系數(shù)即為同時效度目的：診斷現(xiàn)狀用全國高考的成績作為效標(biāo)來檢驗高中畢業(yè)生會考的成績，計算兩者之間的相關(guān)系數(shù)就是會考的同時效度預(yù)測效度：測驗分?jǐn)?shù)取得一段時間后才獲得效標(biāo)資料，計算這兩種資料間的相關(guān)系數(shù)目的：預(yù)測某個個體將來的行為而用大學(xué)一年級的成績作為效標(biāo)來檢驗高考的成績，計算兩者的相關(guān)系數(shù)就是高考的預(yù)測效度。第十六頁，共五十六頁，編輯于2023年，星期一效標(biāo)效度的估計方法相關(guān)法直接計算測驗分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)的相關(guān)系數(shù)積差相關(guān)、等級相關(guān)、二列相關(guān)等顯著差異法根據(jù)效標(biāo)測量將被試分為兩個極端組，檢驗這兩個組測驗分?jǐn)?shù)是否具有統(tǒng)計學(xué)上的差異顯著性命中率當(dāng)測驗用作取舍決策時，常使用命中率相關(guān)概念：總命中率、正命中率、負(fù)命中率總命中率高，則測試的效度高例：70人參加的考試，通過測驗選取了50人，淘汰了20人；選出的人中有40人合格，淘汰的人中有8人不合格。該測驗的總命中率、正命中率和負(fù)命中率分別是多少？第十七頁，共五十六頁，編輯于2023年，星期一1、用積差相關(guān)系數(shù)的方法估計效度

積差相關(guān)，是計算兩個變量線性相關(guān)的一種方法，由英國統(tǒng)計學(xué)家皮爾遜提出，因此也稱為皮爾遜(Pearson)相關(guān)。要使用積差相關(guān)必須同時具備如下幾個條件：①兩個變量都是由測量獲得的連續(xù)性數(shù)據(jù)，即等距或等比數(shù)據(jù)。②兩個變量的總體都呈正態(tài)分布，或接近正態(tài)分布，至少是單峰對稱分布，當(dāng)然樣本并不一定要正態(tài)。③必須是成對的數(shù)據(jù)，而且每對數(shù)據(jù)之間是相互獨立的，即各自互不影響，本條件是難以檢驗的。④兩個變量之間呈線性關(guān)系。一般用描繪散點圖的方式來觀察，最好是先各自轉(zhuǎn)化為Z分?jǐn)?shù)，單位會統(tǒng)一些。第十八頁，共五十六頁，編輯于2023年，星期一例：某中學(xué)數(shù)學(xué)教研組的教師積多年的教學(xué)法經(jīng)驗，認(rèn)為剛?cè)敫咧械膶W(xué)生學(xué)習(xí)立體幾何感到困難的主要原因是空間想像力弱。為了證明這個論點，他們讓剛?cè)敫咧械?03名學(xué)生作10道題，測量其空間想像力。為避免知道了某些學(xué)生的剛?cè)敫咧袝r的成績影響以后考試的評分，試卷暫不評閱。立體幾何學(xué)完后，進(jìn)行考試，按得分多少把成績分為五等（A、B、C、D、E）分別得5、4、3、2、1分。這時才評閱入學(xué)時的試卷，統(tǒng)計出期末得5、4、3、2、1分者在入學(xué)測驗中分別答對1道題至10道題的人數(shù)（見表2-1）。就現(xiàn)有資料，用什么方法可以判斷教師們的意見是否正確？第十九頁，共五十六頁，編輯于2023年，星期一表2-1：（答對的題數(shù)）12345678910所評的等級ABCDE543211310542168843124598311321111211第二十頁，共五十六頁，編輯于2023年，星期一解：（1）設(shè)期末考試的等第為y，空間想像力測驗答對的題數(shù)為x，列出二重交叉次數(shù)分布表：X（答對的題數(shù)）12345678910Y所評的等級ABCDE54321131054216884312459831132111121125313296合計241014202017952103第二十一頁，共五十六頁，編輯于2023年，星期一（2）用積差相關(guān)系數(shù)公式計算效度系數(shù)：第二十二頁，共五十六頁，編輯于2023年，星期一第二十三頁，共五十六頁，編輯于2023年，星期一第二十四頁，共五十六頁，編輯于2023年，星期一二列相關(guān)適用于兩個變量就其實際含義而言是等距或等比數(shù)據(jù)，它們服從正態(tài)分布，其中一列人為地劃分為兩類。第二十五頁，共五十六頁，編輯于2023年，星期一點二列相關(guān)

適用于一列數(shù)據(jù)為等距或等比且總體服從正態(tài)分布（實際上只需要單峰對稱分布，如Ｔ分布），另一列變量是按事物的性質(zhì)劃分為兩類的變量，也可以是一個雙峰分布，人為劃分為兩類，如文盲與非文盲。這種相關(guān)系數(shù)多用于測驗中評價題目的區(qū)分度。對選擇題、判斷題在整個測量中作用作出判斷?；居嬎愎剑旱诙摚参迨?，編輯于2023年，星期一例：有一位教師自編了一套測驗題，用來預(yù)測學(xué)生一年后的某科成績，自編測驗按百分制評分，一年后考試評分只把學(xué)生分為及格者和不及格者。試就所獲資料估計自編測驗的預(yù)測效度。解：1)把兩次測驗成績成對排列：被試者1

2

3

4

5

6

7

8

9

10

11

12

13

14自編測驗的成績（X）67

10

204460436110262330183523一年后考試成績（Y）111001101001112)計算出二列相關(guān)公式所需統(tǒng)計量：第二十七頁，共五十六頁，編輯于2023年，星期一第二十八頁，共五十六頁，編輯于2023年，星期一四、提高效度的方法（一）各種效度系數(shù)的要求（二）影響效度的因素（三）提高效度的方法：

1、控制系統(tǒng)誤差

2、精心編制量表

3、妥善組織測驗

4、擴(kuò)充樣本的容量和代表性

5、合理處理效度和信度的關(guān)系

6、適當(dāng)增加測驗的長度第二十九頁，共五十六頁，編輯于2023年，星期一表2.1測驗長度與信度和效度的關(guān)系題數(shù)與原測驗題數(shù)之比信度系數(shù)效度系數(shù)1020306012014048012361214480.3000.4620.5620.7200.8370.9110.9540.4000.4960.5480.6190.6680.6790.713第三十頁，共五十六頁，編輯于2023年，星期一第三節(jié)難度及其計算一、難度的概念1、難度是指測量試題的難易程度。在教育測量中，客觀題的難度一般用正確回答試題的人數(shù)與參加測驗的總?cè)藬?shù)的比值來表示。其公式為：例如：在100個學(xué)生中，答對第一題的30人，答對第二題的60人，這兩道題的難度分別是多少？第三十一頁，共五十六頁，編輯于2023年，星期一2、難度對測驗的影響1）測驗難度影響分?jǐn)?shù)的分布形態(tài)。難度值越接近0，測驗的難度就越大，測驗分?jǐn)?shù)就越是集中在低分端，其分?jǐn)?shù)分布越呈現(xiàn)正偏態(tài)；反之，難度值越接近1.00，其難度就越小，測驗分?jǐn)?shù)越集中在高分端，分?jǐn)?shù)分布呈負(fù)偏態(tài)。2）測驗難度影響測驗分?jǐn)?shù)的離散程度測驗難度過大過小，都會造成測驗分?jǐn)?shù)偏離正態(tài)分布，從而使分?jǐn)?shù)的全距縮小，使測驗分?jǐn)?shù)的離散程度變小。3）測驗難度影響測驗的鑒別能力在測驗中，考生之間相互配對比較的可能性越多，就越有利于準(zhǔn)確地鑒別考生的不同能力。第三十二頁，共五十六頁，編輯于2023年，星期一3、測驗的適宜難度難度在0.50左右的試題能組成考生之間最多的配對比較次數(shù)，能使測驗分?jǐn)?shù)的離散指數(shù)達(dá)到最大值，并能有效地造成測驗分?jǐn)?shù)的正態(tài)性。這有兩層意思：一是測驗中的各試題的難度，均應(yīng)在0.50左右；二是測驗中的試題的難度在0.2-0.8之間，平均難度應(yīng)在0.50左右。第三十三頁，共五十六頁，編輯于2023年，星期一二、難度的計算（一）計算難度的基本公式3、整個試卷的難度計算試卷的難度是指一份試卷的總體難易程度，其由試卷中每道題的難度決定。其計算辦法為：將每道題目的難度與滿分值相乘的積相加，然后將其總和除以試卷的滿分值，所得的商即為整個試卷的難度。第三十四頁，共五十六頁，編輯于2023年，星期一二、難度的計算（一）計算難度的基本公式1、客觀題難度的計算2、主觀題難度的計算P表示難度指標(biāo)，N表示參加考試的總?cè)藬?shù)，R表示答對某道客觀題的人數(shù)。第三十五頁，共五十六頁，編輯于2023年，星期一（二）用極端分組法計算試題的難度1、用極端分組法計算客觀題的難度具體步驟如下：1）先按測驗總分的高低，按由高到低的順序依次排列試卷。2）從得分最高的一份試卷開始依次向下選出全部試卷的27%作為高分組；從得分最低的一份試卷開始依次向上選出全部試卷的27%作為低分組。3）按計算公式計算難度第三十六頁，共五十六頁，編輯于2023年，星期一例題：在100名學(xué)生中，高分組與低分組各有27人。其中高分組答對第一題的有20人，低分組答對第一題的有10人。這道題的難度為多少？

第三十七頁，共五十六頁，編輯于2023年，星期一計算解：依據(jù)客觀題極端分組法計算公式第三十八頁，共五十六頁，編輯于2023年，星期一2、用極端分組法計算論文試題難度步驟如下：1）按測驗得分排列試卷，確定高分組與低分組，各占總?cè)藬?shù)的25%（方法同前）。2）分別為高分組、低分組編制每道試題的分析表。3）按下列公式計算難度，第三十九頁，共五十六頁，編輯于2023年，星期一例：某道論文題，高分組得分總和為40分，低分組得分總和為15分，有40人參加考試，這道題最高得分為8分，最低得分為2分，則此題的難度為多少？（0.125）第四十頁，共五十六頁，編輯于2023年，星期一計算解：依據(jù)主觀題極端分組法計算公式

=0.125第四十一頁，共五十六頁，編輯于2023年，星期一第四節(jié)區(qū)分度及其計算一、區(qū)分度的意義（一）區(qū)分度（Discrimination）是指測驗對考生實際水平的區(qū)分程度，用符號D表示。又叫鑒別力，它是評價試題質(zhì)量，篩選試題的主要指標(biāo)與依據(jù)。區(qū)分又分為正（或積極）區(qū)分（D＞0），零區(qū)分（D＝0）和負(fù)（或消極）區(qū)分（D＜0）。區(qū)分度的高低直接影響到測驗的信度和效度。第四十二頁，共五十六頁，編輯于2023年，星期一（二）區(qū)分度與測驗信度、難度的關(guān)系1、區(qū)分度與信度的關(guān)系（見下表2.2）這里是假定全部試題的難度均為0.50時所預(yù)測的信度系數(shù)。區(qū)分度指的是平均值?？梢姡脒_(dá)到理想的測驗信度，提高區(qū)分度是一個好辦法。區(qū)分度信度0.12250.160.200.300.400.500.000.420.630.840.9150.949第四十三頁，共五十六頁，編輯于2023年，星期一（二）區(qū)分度與難度的關(guān)系表2.3

D的最大值與試題難度的關(guān)系

由上表可知，難度適中，可使區(qū)分度達(dá)到最大值。難度區(qū)分度的最大值1.00.90.70.50.30.10.00.00.20.601.00.60.2000第四十四頁，共五十六頁，編輯于2023年，星期一二、區(qū)分度的計算（一）用極端分組法計算區(qū)分度1、客觀題區(qū)分度的計算：

D＝PH－PL注：將被試依照總分從高到低排列，然后將總分最高的27%和最低的27%的被試分別定為高分組和低分組。）2、主觀題區(qū)分度的計算：第四十五頁，共五十六頁，編輯于2023年，星期一二、區(qū)分度的計算（一）用極端分組法計算區(qū)分度1、客觀題區(qū)分度的計算：

D＝PH－PL（D為區(qū)分度，Ph為高分組通過率，Pl為低分組通過率。）（注：將被試依照總分從高到低排列，然后將總分最高的27%和最低的27%的被試分別定為高分組和低分組。）第四十六頁，共五十六頁，編輯于2023年，星期一二、區(qū)分度的計算（一）用極端分組法計算區(qū)分度3、整個試卷的區(qū)分度計算試卷的區(qū)分度是指一份試卷總體對學(xué)生的區(qū)分程度。其計算辦法為：將每道題目的區(qū)分度與滿分值相乘的積相加，然后將其總和除以試卷的滿分值，所得的商即為整個試卷的區(qū)分度。第四十七頁，共五十六頁，編輯于2023年，星期一（二）用內(nèi)部一致性系數(shù)計算區(qū)分度極端分組法分析通常只在教師編制的課堂測繪中使用。在標(biāo)準(zhǔn)化的或大規(guī)模的測驗中，多采用相關(guān)法分析試題的內(nèi)部一致性。由于測驗總分屬于連續(xù)變量，測驗項目（試題）多屬二分稱名變量（對、錯或通過、不通過），所以，用相關(guān)法計算區(qū)分度時，多采用點二列相關(guān)、二列相關(guān)、Φ系數(shù)等方法計算相關(guān)系數(shù)。第四十八頁，共五十六頁，編輯于2023年，星期一P80頁第14題

某學(xué)科測驗，10名被試得分情況如表3-20所示：

被試題目0102030405060708091012345678220200202202202002020022202000020020022057466245346554716245111491016512810131016812156151198第四十九頁，共五十六頁，編輯于2023年，星期一P80頁第14題

某學(xué)科測驗，10名被試得分情況如表3-20所示：1、計算第1、5題的難度與區(qū)分度；2、用高低分組法計算第2、6的難度與區(qū)分度。3、計算該測驗的信度。第五十頁，共五十六頁，編輯于2023年，星期一P80頁第14題

某學(xué)科測驗，10名被試得分情況如表3-20所示：

被試題目0102030405060708091012345678220200202202202002020022202000020020022057466245346554716245111491016512810131016812156151198總分34483036501441303034第五十一頁，共五十六頁，編輯于2023年，星期一P80頁第14題

某學(xué)科測驗，10名被試得分情況如表3-20所示：

被試題目010203040506070809101522020020225746624534總分34

483036

5014413030341、計算第1、5題的難度與區(qū)分度；

P1=R/N=6/10=0.6；P5=4.6/7=(假定這道題的滿分為7分)第五十二頁，共五十六頁，編輯于2023年，星期一

被試題目010203040506070809101522020020225746624534總分34

483036

501441303034第1題的區(qū)分度的計算：（用點二列相關(guān)法）第五十三頁，共五十六頁，編輯于2023年，星期一

被試題目010203040506070809101522020020225746624534總分34

483036

501441303034第5題的區(qū)分度的計算：（用積差相關(guān)系數(shù)法）第五十四頁，共五十六頁，編輯于2023年，星期一P80頁第