教育測量的質量指標信度概述(ppt 54頁).ppt

1、第二章教育測量的質量指標,信度效度難度區(qū)分度,第二章 教育測量的質量指標,衡量教育測量的質量，可采用四個指標： 信度 主要對整個測量而言。 效度 難度 主要對測量的項目而言。 區(qū)分度,第一節(jié)信度,一、信度的概念 二、信度系數(shù)的類型 三、信度對于教育測量的意義 四、提高信度的方法,一、信度的概念,信度（reliability）：指的是測量結果的穩(wěn)定性和可靠的程度，亦即測量的結果是否真實、客觀地反映了考生的實際水平，可記為rxx。 具體而言，可以從以下三方面來理解測量的信度,一）信度指實測值和真值相差的程度,xTE（公式1-1） x表示實測值，T表示真值(是未知的，可以把多次測量的實測值的平均值作

2、為真值的近似值)，E表示誤差。 Ex-T （公式1-2,一）信度指實測值和真值相差的程度,1、試比較以下兩次測量結果（只進行一次）的信度： 用尺子量100cm高的一個兒童，得到1cm的絕對誤差；量185cm高的一位運動員，也得得到1cm的絕對誤差,要比較兩種測量結果的信度，一定要看誤差分數(shù)（E）對于真分數(shù)（T）所占的百分數(shù)是多少。這個百分數(shù)表示該實得分數(shù)（x）的相對誤差。其計算式如下： 相對誤差E/T100%公式（1-3） 把上述兩次測量（設為甲和乙）和絕對誤差分數(shù)和真分數(shù)代入上式，得： 相對誤差（甲）1/100100%1% 相對誤差（乙）1/185100%0.54% 據(jù)此，度量乙的信度要比度

3、量甲的信度高。 最大絕對誤差E/x 100%公式（1-4,2、怎樣估計對一組人或一個人測量多次的實測值與真值（真分數(shù)）的差異程度呢,判別兩組數(shù)據(jù)誰好誰差,不能只靠對平均數(shù)的統(tǒng)計和比較，關鍵是確定這兩組數(shù)據(jù)偏離各自的平均數(shù)的大小。為了消除數(shù)據(jù)容量的影響，我們借鑒研究加權平均數(shù)的方法，選用各個偏差的平方的平均數(shù)，來描述一組數(shù)據(jù)偏離其平均數(shù)的大小，這就是方差。 根據(jù)假設，實得分數(shù)的方差應等于真分數(shù)的方差加上測量誤差的方差。即： 公式（1-5,2、怎樣估計對一組人或一個人測量多次的實測值與真值（真分數(shù)）的差異程度呢,于是，信度（rxx）可定義為真分數(shù)的方差與實得分數(shù)方差的比率。即： 公式（1-6） 公

4、式（1-7） 可見， 越小，測量的信度就越高。信度的取值范圍為0，1,例：對5個人的某種智力因素的測驗結果如表1-1，試估計測量的信度,表1-1測量5個學生的某種分數(shù),學生真分數(shù)誤差分數(shù)實得分數(shù) A18216 B9 110 C15217 D21122 E12210 平均數(shù) 150 15 方差182.820.8,統(tǒng)計量是指樣本上的各種數(shù)字特征。（如樣本平均數(shù)、標準差等）；參數(shù)是總體上的各種數(shù)字特征（如總體平均數(shù)、標準差等）。 在統(tǒng)計學中，統(tǒng)計量越接近參數(shù)，這個統(tǒng)計量的可靠性越高。而要知道統(tǒng)計量與參數(shù)的接近程度，可以對參數(shù)進行區(qū)間估計,二）信度指統(tǒng)計量與參數(shù)之間的接近程度,我們不妨將測量的平均值看

5、做平均數(shù)抽樣分布中的一個平均數(shù)，真值視為平均數(shù)抽樣分布的總平均數(shù)（），這樣一來，只要能估計出實得分數(shù)分布的標準差測量的標準誤，就可以利用區(qū)間估計的公式，算出實測值與真值的接近程度，從而計算出測量結果的信度,二）信度指統(tǒng)計量與參數(shù)之間的接近程度,例：根據(jù)對一組人（設n30）進行某種智力因素測驗的結果，計算出有關統(tǒng)計量如下，求真分數(shù)的置信區(qū)間（或真值在什么數(shù)值的范圍內,三）信度指兩次重復測驗或等值測驗之間的關聯(lián)程度,統(tǒng)計學中估計事物或現(xiàn)象間數(shù)量變動的一致性，主要采用相關分析的方法，即計算出兩種變量的相關系數(shù)（rxy）。 在使用相關系數(shù)表示信度的高低時，相關系數(shù)可稱為信度系數(shù)(coefficient

6、 of reliability)。它是對相同應試者的同一特性的兩次測量分數(shù)的相關系數(shù)，是測量結果的一致性的指標,三、信度系數(shù)的類型,一）穩(wěn)定性系數(shù) （二）等值性系數(shù) （三）內部一致性系數(shù) （四）論文式測驗的信度系數(shù) （五）評分者信度,一）穩(wěn)定性系數(shù)（ coefficient of stability,又稱重測信度，是指用同一量表對相同被試者（一組人）在不同時間測驗兩次的實得分數(shù)的相關系數(shù)。 估計穩(wěn)定性系數(shù)的基本程序： 測驗A1 適當時距 測驗A2,一）穩(wěn)定性系數(shù),相關系數(shù)可以用不同方法計算，這取決于數(shù)據(jù)的性質。最為普遍的是皮爾遜積差相關系數(shù),X為第一次測驗的實得分數(shù); Y為第一次測驗的實得分數(shù)

7、; N為應試者數(shù),一）穩(wěn)定性系數(shù),用一個算術四則的速度測驗12個小學生，得分記為X，為了考察測量結果的可靠性，于3個月后再測一次，得分記為Y，問測驗結果是否可靠？ 序號 1 2 3 4 5 6 7 8 9 10 11 12 X 20 20 21 22 23 23 23 24 25 26 26 27 Y 20 21 21 20 23 23 25 25 26 26 27 29,解:(1)把資料列表于后,計算出公式(1-10)所需的各種統(tǒng)計量: X280 Y286 X26594 Y26912 XY6420 (2)把所計算的統(tǒng)計量代入公式(1-10,采用重測法計算穩(wěn)定系數(shù)時，要注意的問題,1、兩次測驗

8、之間的時間間隔要適宜，盡可能在較短的時距內進行。 2、兩次測驗試卷要等值，即在內容范圍、題型、題數(shù)、難度、區(qū)分度等方面要基本相同。 3、確定兩測驗是否等值，還要考察兩次測繪結果的平均數(shù)與標準差。 4、重測法適用于速度測驗而不適用于難度測驗。 5、測試應注意提高被試者的積極性,二）等值性系數(shù)（ coefficient of equivalence,又名復本信度（alternate-forms reliability）：是以兩個等值（題型題數(shù)、難度、區(qū)分度相等）但具體內容不同的量表，在最短時距內，對相同應試者先后施測兩次所獲得的兩組對應分數(shù)的相關系數(shù)。 其模式是,二）等值性系數(shù)（ coeffici

9、ent of equivalence,以A、B兩型英語復本測驗對初中三年級10個學生施測，為避免由測驗施測順序所造成的誤差，其中5個學生先做A型測驗，休息15分鐘后，再做B型測驗；而另5個學生先做B型測驗，休息15分鐘后，再做A型測驗。10個學生A型測驗結果記為X，B型測驗結果記為Y，其測驗的復本信度如何？ 學生序號 1 2 3 4 5 6 7 8 9 10 X 19 19 18 17 16 15 15 14 13 12 Y 20 17 18 18 17 15 13 15 12 12,二）等值性系數(shù)（ coefficient of equivalence,優(yōu)點： 1、測驗的兩個復本，如果在不同

10、的時間使用，其信度既可以反映在不同時間的穩(wěn)定性，又可以反映對于不同測題的一致性； 2、兩個復本在同時使用時，可以避免再測信息的一些缺點，如首測時再測在記憶、練習、效果的影響，間隔期間獲得新知識的影響，兩次施測的環(huán)境不同和被試主觀狀態(tài)不同的影響，以及為了應付測驗所作訓練的影響等,二）等值性系數(shù)（ coefficient of equivalence,缺點： 1、編制兩個完全相等的測驗是很困難的，如果兩個復本過分相似，則變成再測形式，而過分不相似，又使等值的條件不存在； 2、兩個復本測驗有可能在某種程度上測量了不同的性質，這就會低估測驗的信度； 3、被試同時接受性質相似的兩個測驗，可能減少完成測驗

11、的積極性； 4、雖然兩個復本測驗的題目材料不同，但被試一旦掌握了解題的某一模式，就能觸類旁通，有可能失去復本的意義,三）內部一致性系數(shù)（internal constancy,又叫同質性信度（homogeneity reliability）。是同一測驗量表的兩個部分（例如分為奇數(shù)題和偶數(shù)題，或者量表的前一半和后一半）得分的相關系數(shù)。 估計方法有兩種： 1、分半法（Split-half method）：是將一次測驗分成兩個假定相等而獨立的兩部分來記分。通常是以題目的奇數(shù)為一組，偶數(shù)為一組，計算兩級的相關系數(shù)，最后用斯皮爾曼布朗公式校正，求得整個測驗的信度系數(shù)。 斯皮爾曼布朗公式為,rxy 為兩組測

12、驗分數(shù)的相關系數(shù)， rtt表示整個測驗的信度系數(shù),問題：為什么不直接用奇數(shù)題總分與偶數(shù)題的部分計算出的相關系數(shù)作為整個測驗的信度系數(shù)而要加以校正,這是因為測驗的長度（指量表中所包含的題目數(shù)）對信度的大小有一定的影響，測驗越長，信度越高。 而用分半法，實際上等于把整個測驗長度減小了一半，所以按分成兩半的資料求出的信度必然低于整個測驗的信度,例：有一個由100題構成的量表施行于10個高三學生（分數(shù)見下表）。測驗一次后，應試者即畢業(yè)離?！，F(xiàn)在怎樣評價測驗結果的信度,方法：分半法,解：把有關統(tǒng)計量代入公式（1-10），求相關系數(shù),用斯皮爾曼布朗公式校正,經(jīng)校正后的信度系數(shù)很大（0.91），說明整個測驗

13、的信度高,2、庫德爾理查森公式法（Kuder Richardson reliability,用此法只需測驗一次，然后以各個問題的正確反應數(shù)為基礎（此可視為各題難度的信息），或根據(jù)各人總分的平均數(shù)和標準差，計算信度系數(shù)。此公式有幾個，其中常用的有rKR20和rKR21 。 （1）rKR20的用法：這個公式以每題能正確回答的人數(shù)占總人數(shù)的百分數(shù)為基礎計算（每題只有通過或未通過兩種分數(shù),例：有一種包含6個問題的測驗，10個應試者得分如下表（答對得1分，答錯得0分），試估計應試者反應的一致性程度,解： 1）列出得分矩陣，計算有關統(tǒng)計量,這個測驗的信度系數(shù)較低，說明內容一致性差，量表中的題目并非都可以測

14、量相同的特性，即題目的同質性差或難度懸殊較大,2） rKR21的用法,這個公式以各應試者總分的平均數(shù)和方差為基礎，無需各題的難度信息。公式如下,四）論文式測驗的信度系數(shù),論文式測驗的評分沒有嚴格的評分標準，以致同樣一個題目，不同的應試者的回答和得分都不一樣，所以無法用前面的公式，而要用克龍巴赫（Cronbach,1951）所創(chuàng)的系數(shù)公式,例：有一種包含6個論文式題目的測驗，對5個應試者施行，得分列入下表，試求該測驗的信度,解：1）求每題各應試者得分的方差Si2(見表列) 2）求每題各應試者得分的方差之和Si2 Si23.041.363.0418.65 3）求所有應試者各自的總分的方差ST2（表

15、格最下一行各數(shù)據(jù)的方差） ST268.96 4）代入公式（1-14）得信度系數(shù),五）評分者信度,要計算評分者評分的一致性系數(shù)，需區(qū)分評分者的人次數(shù)。若為2人評N份試卷，可用斯皮爾曼等級相關的公式計算；若三個人以上的評分者評N份試卷，則需計算肯德爾和諧系數(shù)（以W表示） 1、斯皮爾曼等級相關公式,例：甲乙兩位教師評閱10份試卷，他們對每份試卷各自所評的分數(shù)和等級列入下表，問這二位教師評分的一致性如何,解：1）計算所需統(tǒng)計量：D和 D2（見表） ；N10； D200.25112.251026 2）將統(tǒng)計量N和D2代入公式（1-15,答：甲乙兩位教師閱卷的一致性系數(shù)較高，評分比較可靠,2、肯德爾和諧系

16、數(shù)（W,例：10個評委對7位參賽選手所評等級如下表所示，問這10位評委的評分是否具有一致性,分析： 從W=0.827來看，10人的評價較為一致。嚴格地講，W值是否達到顯著性水平，需要做統(tǒng)計假設檢驗。 當K等于320，N等于37時，可根據(jù)K和N查“W顯著性檢驗時S的臨界值表”進行檢驗。(見王漢瀾教授主編的測量學教材P52頁,在進行等級評定時，常會遇到兩個或兩個以上事物的等級相同，如果遇到這種情況，應采用下面的修正公式,例：三位教師評閱四份試卷，所評等級列入下表，他們所評的等級是否一致,解：本題因王老師給兩份試卷評了相同等級，李老師給三份試卷評了相同等級，所以要用公式（1-17）計算W,三、信度對

17、于教育測量的意義,1.信度是任何一種測量的必要條件。因為教育測量的對象主要是精神現(xiàn)象，所測量的特性不易把握，為了能真實地反應測驗對象的某種特點，需要更加注意測量的信度，從而正確地判斷測量結果的價值。 2.信度高的教育測量，能給教師和教育工作的領導者提供可靠的信息，為他們的教育預測和決策提供依據(jù)。 3.信度高的教育測量，能使教師對學生的評價變得客觀和可靠，也使學生對自己的認識更符合實際情況，從而有助于改進教與學的方法。 4.信度高的教育測量，有助于提高教師的工作效率,四、提高測驗信度的方法,一）信度系數(shù)（以相關系數(shù)表示）以多大為宜 信度系數(shù)必須和求得信度系數(shù)的環(huán)境條件（測驗的用途以及測驗的內容和條件）相聯(lián)系。 就測驗的內容來說，標準學業(yè)成績測驗要求信度系數(shù)在0.90以上，常達到0.95。標準智力測驗的信度系數(shù)應達到0.8