第四章信度與隨機(jī)誤差

1、第四章 信度與隨機(jī)誤差l誤差與測(cè)量的準(zhǔn)確性和穩(wěn)定性誤差與測(cè)量的準(zhǔn)確性和穩(wěn)定性 誤差就是在測(cè)量中與目的無(wú)關(guān)的因素所產(chǎn)生的誤差就是在測(cè)量中與目的無(wú)關(guān)的因素所產(chǎn)生的不準(zhǔn)確或不一致的效應(yīng)。不準(zhǔn)確或不一致的效應(yīng)。 準(zhǔn)確性與一致性的關(guān)系：準(zhǔn)確性與一致性的關(guān)系：一. 測(cè)量的誤差l誤差的種類(lèi)誤差的種類(lèi): : 隨機(jī)誤差 系統(tǒng)誤差 抽樣與測(cè)量誤差l誤差的來(lái)源誤差的來(lái)源:( :(編制過(guò)程中編制過(guò)程中,測(cè)題本身存在的誤差測(cè)題本身存在的誤差) 測(cè)量自身引起的誤差測(cè)量自身引起的誤差 題目取樣時(shí),題量少,或無(wú)代表性 其他編制過(guò)程 Eg:句子意義不明確,題目太難,測(cè)驗(yàn)時(shí)間設(shè)定不對(duì) 施測(cè)過(guò)程引起的誤差施測(cè)過(guò)程引起的誤差: :

2、物理環(huán)境 測(cè)試時(shí)間 主試因素 意外干擾 評(píng)分記分 被試引起的誤差被試引起的誤差: : 應(yīng)試動(dòng)機(jī) 測(cè)驗(yàn)焦慮 測(cè)驗(yàn)經(jīng)驗(yàn) 練習(xí)效應(yīng) 反應(yīng)傾向 生理因素l真分?jǐn)?shù)真分?jǐn)?shù) 指的是在測(cè)量沒(méi)有誤差時(shí)所得到的真值。指的是在測(cè)量沒(méi)有誤差時(shí)所得到的真值。 在測(cè)量學(xué)中在測(cè)量學(xué)中, ,真分?jǐn)?shù)是一個(gè)很重要的概念。真分?jǐn)?shù)是一個(gè)很重要的概念。 定義化 假設(shè) X = T + EX = T + E (Gullikson,1950)：lX=觀測(cè)分?jǐn)?shù)(你的實(shí)得分?jǐn)?shù)) 1 對(duì)一個(gè)人測(cè)量無(wú)數(shù)lT=真分?jǐn)?shù)(構(gòu)想分?jǐn)?shù)) 次,其平均誤差為0,lE=誤差分?jǐn)?shù)(猜測(cè),疲勞); 即E=0 誤差是一種隨機(jī)的、 2 真分?jǐn)?shù)與誤差沒(méi)有 正態(tài)的偏離 關(guān)系,

3、即rTE=0 3 不同測(cè)量上的誤差 沒(méi)有關(guān)系,即rE1E2=0 如果進(jìn)行無(wú)數(shù)次測(cè)量如果進(jìn)行無(wú)數(shù)次測(cè)量,X,X的平均值等于的平均值等于T Tl對(duì)于一個(gè)團(tuán)體來(lái)說(shuō)對(duì)于一個(gè)團(tuán)體來(lái)說(shuō),實(shí)得分?jǐn)?shù)、真分?jǐn)?shù)實(shí)得分?jǐn)?shù)、真分?jǐn)?shù) 和測(cè)量誤差之間有如下關(guān)系和測(cè)量誤差之間有如下關(guān)系: : S SX2 2 = S = ST2 2 + S + SE2 2 即實(shí)得分?jǐn)?shù)的變異數(shù)S SX2 2等于真分?jǐn)?shù)的變異數(shù)S ST2 2加上誤差變異數(shù)S SE2 2 而真分?jǐn)?shù)變異數(shù)可分成與測(cè)量目的有關(guān)(有效)的變異數(shù)S SV2 2和與測(cè)量目的無(wú)關(guān)但卻穩(wěn)定的變異數(shù)S SI2 2 S ST2 2 = S = SV2 2 + S + SI2 2最后

4、二式合并可得 S SX2 2 = S = SV2 2 + S + SI2 2 + S + SE2 2l穩(wěn)定性穩(wěn)定性 可靠性可靠性 一致性一致性 你的觀測(cè)分?jǐn)?shù)在多大程度上反映了你的“真實(shí)”分?jǐn)?shù)？ 在不同時(shí)間測(cè)驗(yàn)同一個(gè)人獲得的結(jié)果是一致嗎？l人們通常把測(cè)量結(jié)果的可靠性稱(chēng)為信度人們通常把測(cè)量結(jié)果的可靠性稱(chēng)為信度,即測(cè)即測(cè)量結(jié)果的一致性或可信性程度。量結(jié)果的一致性或可信性程度。l信度的意義信度的意義 1.信度指實(shí)測(cè)值和真值相差的程度 2.信度指統(tǒng)計(jì)量與參數(shù)之間的接近程度 3.信度是指一種測(cè)驗(yàn)對(duì)相同的應(yīng)試者再次測(cè)驗(yàn)時(shí)引起 同樣反應(yīng)的程度二二. 測(cè)量信度測(cè)量信度l信度定義一信度定義一: : 信度乃是一組測(cè)

5、驗(yàn)分?jǐn)?shù)中真分?jǐn)?shù)的變信度乃是一組測(cè)驗(yàn)分?jǐn)?shù)中真分?jǐn)?shù)的變異數(shù)與實(shí)得分?jǐn)?shù)的變異數(shù)之比。異數(shù)與實(shí)得分?jǐn)?shù)的變異數(shù)之比。 即即 rXXXX=S=ST T2 2/S/SX X2 2l信度定義二信度定義二: : 信度乃是一個(gè)測(cè)驗(yàn)信度乃是一個(gè)測(cè)驗(yàn)X X與它的任意一個(gè)與它的任意一個(gè)平行測(cè)驗(yàn)平行測(cè)驗(yàn)XX的相關(guān)系數(shù)。的相關(guān)系數(shù)。 即即 r rXXXX= =XXXXl信度定義三信度定義三: : 信度乃是一組測(cè)驗(yàn)分?jǐn)?shù)中真分?jǐn)?shù)與信度乃是一組測(cè)驗(yàn)分?jǐn)?shù)中真分?jǐn)?shù)與實(shí)得分?jǐn)?shù)的相關(guān)系數(shù)的平方。實(shí)得分?jǐn)?shù)的相關(guān)系數(shù)的平方。 即即 r rXXXX= =2 2TXTX實(shí)測(cè)分?jǐn)?shù)對(duì)真分?jǐn)?shù)的回歸圖l1.1.穩(wěn)定性系數(shù)穩(wěn)定性系數(shù)( (重測(cè)信度重測(cè)信度

6、) )l2.2.等值性系數(shù)等值性系數(shù)( (復(fù)本、分半信度復(fù)本、分半信度) )l3.3.等值穩(wěn)定性系數(shù)等值穩(wěn)定性系數(shù)( (復(fù)本、分半信度復(fù)本、分半信度) )l4.4.內(nèi)部一致性系數(shù)內(nèi)部一致性系數(shù)( (同質(zhì)性信度同質(zhì)性信度) )l5.5.評(píng)分者的信度系數(shù)評(píng)分者的信度系數(shù)估計(jì)信度的方法估計(jì)信度的方法重測(cè)信度重測(cè)信度(Test-Retest Reliability)(Test-Retest Reliability)l定義定義: : 同一量表同一量表, ,同一被試群體同一被試群體, ,在不同在不同 時(shí)間時(shí)間, ,兩次施測(cè)兩次施測(cè), ,求其相關(guān)。求其相關(guān)。l實(shí)質(zhì)實(shí)質(zhì): : 表示測(cè)驗(yàn)結(jié)果的穩(wěn)定性。故稱(chēng)之表示

7、測(cè)驗(yàn)結(jié)果的穩(wěn)定性。故稱(chēng)之 為穩(wěn)定性系數(shù)為穩(wěn)定性系數(shù)(Coefficient of (Coefficient of Stability) Stability) l形式形式: : 施測(cè)施測(cè)適當(dāng)時(shí)間適當(dāng)時(shí)間再施測(cè)再施測(cè) 計(jì)算公式參見(jiàn)教材P4343時(shí)間間隔的把握l(shuí)間隔時(shí)間越長(zhǎng)間隔時(shí)間越長(zhǎng), ,穩(wěn)定性系數(shù)越低。適宜時(shí)間間隔依照穩(wěn)定性系數(shù)越低。適宜時(shí)間間隔依照測(cè)驗(yàn)?zāi)康?、性質(zhì)及被試特點(diǎn)而定。幾分鐘至幾年。測(cè)驗(yàn)?zāi)康?、性質(zhì)及被試特點(diǎn)而定。幾分鐘至幾年。l年幼兒童年幼兒童, ,間隔要??；年長(zhǎng)群體間隔要小；年長(zhǎng)群體, ,間隔可大。智力測(cè)間隔可大。智力測(cè)驗(yàn)的間隔不能太短驗(yàn)的間隔不能太短, ,成就測(cè)驗(yàn)的間隔不能太長(zhǎng)。成

8、就測(cè)驗(yàn)的間隔不能太長(zhǎng)。 l一般間隔時(shí)間不超過(guò)六個(gè)月。一般間隔時(shí)間不超過(guò)六個(gè)月。( (既不能讓被試記住上既不能讓被試記住上一次測(cè)驗(yàn)的內(nèi)容一次測(cè)驗(yàn)的內(nèi)容, ,又不能讓其特質(zhì)發(fā)生變化又不能讓其特質(zhì)發(fā)生變化, ,或?qū)λ驅(qū)λ鶎W(xué)知識(shí)產(chǎn)生遺忘學(xué)知識(shí)產(chǎn)生遺忘) )復(fù)本信度復(fù)本信度(Alternate-form raliability)l因?yàn)槿魏螠y(cè)驗(yàn)只是所有可能題目中的一份取樣因?yàn)槿魏螠y(cè)驗(yàn)只是所有可能題目中的一份取樣( (行為樣本行為樣本), ),所以可編制許多平行的等值測(cè)驗(yàn)所以可編制許多平行的等值測(cè)驗(yàn), ,叫叫做復(fù)本。做復(fù)本。l復(fù)本等值要符合下列條件復(fù)本等值要符合下列條件: : 1.1.各份測(cè)驗(yàn)測(cè)量的是同一

9、種心理特性。各份測(cè)驗(yàn)測(cè)量的是同一種心理特性。 2.2.各份測(cè)驗(yàn)具有相同的內(nèi)容和形式。各份測(cè)驗(yàn)具有相同的內(nèi)容和形式。 3.3.各份測(cè)驗(yàn)的題目不應(yīng)重復(fù)。各份測(cè)驗(yàn)的題目不應(yīng)重復(fù)。 4.4.各份測(cè)驗(yàn)題目數(shù)量相等各份測(cè)驗(yàn)題目數(shù)量相等, ,難度和區(qū)分度大體相同。難度和區(qū)分度大體相同。 5.5.各份測(cè)驗(yàn)的分?jǐn)?shù)分布各份測(cè)驗(yàn)的分?jǐn)?shù)分布( (平均數(shù)和標(biāo)準(zhǔn)差平均數(shù)和標(biāo)準(zhǔn)差) )大致相等。大致相等。 6.6.復(fù)本編好后復(fù)本編好后, ,應(yīng)再測(cè)一次應(yīng)再測(cè)一次, ,以確保各份測(cè)驗(yàn)的等值。以確保各份測(cè)驗(yàn)的等值。計(jì)算方法: 兩個(gè)復(fù)本施測(cè)同一被試群體,求其相關(guān)。l等值性系數(shù)等值性系數(shù): :同時(shí)連續(xù)施測(cè)同時(shí)連續(xù)施測(cè), ,反映內(nèi)容變

10、異。反映內(nèi)容變異。l形式形式: :復(fù)本復(fù)本A A最短時(shí)間最短時(shí)間復(fù)本復(fù)本B Bl穩(wěn)定性與等值性系數(shù)：穩(wěn)定性與等值性系數(shù)：l時(shí)間間隔施測(cè)時(shí)間間隔施測(cè), ,內(nèi)容變異重測(cè)信度誤差內(nèi)容變異重測(cè)信度誤差l形式形式: :復(fù)本復(fù)本A A適當(dāng)時(shí)間適當(dāng)時(shí)間復(fù)本復(fù)本B B 分半信度分半信度(Split-Half Reliability)l定義定義: : 在測(cè)驗(yàn)沒(méi)有復(fù)本且只能實(shí)施一次的情況在測(cè)驗(yàn)沒(méi)有復(fù)本且只能實(shí)施一次的情況下下, ,可將測(cè)驗(yàn)項(xiàng)目分成對(duì)等的兩半可將測(cè)驗(yàn)項(xiàng)目分成對(duì)等的兩半, ,根據(jù)被試在根據(jù)被試在這兩半測(cè)驗(yàn)中所得的分?jǐn)?shù)計(jì)算相關(guān)系數(shù)這兩半測(cè)驗(yàn)中所得的分?jǐn)?shù)計(jì)算相關(guān)系數(shù), ,即得即得分半信度。分半信度。 l計(jì)

11、算分半信度先要對(duì)測(cè)驗(yàn)分半。不同的分半法計(jì)算分半信度先要對(duì)測(cè)驗(yàn)分半。不同的分半法可能會(huì)得到不同的信度值?？赡軙?huì)得到不同的信度值。l為了使兩半基本等值為了使兩半基本等值, ,可將項(xiàng)目按由易到難的順序排可將項(xiàng)目按由易到難的順序排列編號(hào)列編號(hào), ,然后按奇數(shù)和偶數(shù)序號(hào)將項(xiàng)目分半。要注意然后按奇數(shù)和偶數(shù)序號(hào)將項(xiàng)目分半。要注意使那些性質(zhì)相同、聯(lián)系緊密的項(xiàng)目分在相同的一半使那些性質(zhì)相同、聯(lián)系緊密的項(xiàng)目分在相同的一半, ,否則會(huì)使信度值偏高。否則會(huì)使信度值偏高。l由于分半信度實(shí)際上只是半個(gè)測(cè)驗(yàn)的信度由于分半信度實(shí)際上只是半個(gè)測(cè)驗(yàn)的信度, ,測(cè)驗(yàn)越長(zhǎng)、測(cè)驗(yàn)越長(zhǎng)、項(xiàng)目越多項(xiàng)目越多, ,兩半分?jǐn)?shù)的相關(guān)就越高。因此兩

12、半分?jǐn)?shù)的相關(guān)就越高。因此, ,對(duì)長(zhǎng)度不對(duì)長(zhǎng)度不同的測(cè)驗(yàn)同的測(cè)驗(yàn), ,要用校正公式。要用校正公式。 l計(jì)算公式參見(jiàn)教材P P35363536 斯皮爾曼斯皮爾曼布朗校正公式布朗校正公式 弗朗那根公式弗朗那根公式 盧倫公式盧倫公式同質(zhì)性信度同質(zhì)性信度(Homogeneity Reliability)l同質(zhì)性指測(cè)驗(yàn)的所有題目測(cè)量的是同一種心同質(zhì)性指測(cè)驗(yàn)的所有題目測(cè)量的是同一種心理特質(zhì)理特質(zhì), ,表現(xiàn)為各個(gè)題目得分之間有較高的表現(xiàn)為各個(gè)題目得分之間有較高的相關(guān)相關(guān), ,相關(guān)越高則同質(zhì)性越強(qiáng)。相關(guān)越高則同質(zhì)性越強(qiáng)。 l因素分析的思路因素分析的思路l計(jì)算公式: 參見(jiàn)教材P P36373637 基本公式 庫(kù)德

13、理查遜公式 克倫巴赫系數(shù)評(píng)分者信度評(píng)分者信度(Scorer ReliabilityScorer Reliability)l評(píng)分者信度是指不同評(píng)分者之間在測(cè)驗(yàn)結(jié)果計(jì)評(píng)分者信度是指不同評(píng)分者之間在測(cè)驗(yàn)結(jié)果計(jì)分上的一致性。分上的一致性。l在心理測(cè)驗(yàn)中在心理測(cè)驗(yàn)中, ,評(píng)分者信度的計(jì)算評(píng)分者信度的計(jì)算, ,通常是隨機(jī)通常是隨機(jī)抽取若干份試卷抽取若干份試卷, ,由至少兩位受過(guò)訓(xùn)練的評(píng)分由至少兩位受過(guò)訓(xùn)練的評(píng)分者按計(jì)分規(guī)則分別判分者按計(jì)分規(guī)則分別判分, ,然后計(jì)算它們的相關(guān)。然后計(jì)算它們的相關(guān)。幾個(gè)評(píng)分者的評(píng)分越一致幾個(gè)評(píng)分者的評(píng)分越一致, ,評(píng)分者信度越高。評(píng)分者信度越高。l評(píng)分者信度評(píng)分者信度最簡(jiǎn)單的

14、估計(jì)方法就是隨機(jī)抽最簡(jiǎn)單的估計(jì)方法就是隨機(jī)抽取若干份答卷取若干份答卷, ,由兩個(gè)獨(dú)立的評(píng)分者打分由兩個(gè)獨(dú)立的評(píng)分者打分, ,再求每份答卷兩個(gè)評(píng)判分?jǐn)?shù)的相關(guān)系數(shù)。再求每份答卷兩個(gè)評(píng)判分?jǐn)?shù)的相關(guān)系數(shù)。這種相關(guān)系數(shù)的計(jì)算可以用積差相關(guān)方法這種相關(guān)系數(shù)的計(jì)算可以用積差相關(guān)方法, ,也可以采用斯皮爾曼等級(jí)相關(guān)方法。也可以采用斯皮爾曼等級(jí)相關(guān)方法。l如果評(píng)分者在三人以上如果評(píng)分者在三人以上, ,而且又采用等級(jí)記而且又采用等級(jí)記分時(shí)分時(shí), ,就需要用肯德?tīng)柡椭C系數(shù)來(lái)求評(píng)分者就需要用肯德?tīng)柡椭C系數(shù)來(lái)求評(píng)分者信度。信度。l計(jì)算公式: 肯德?tīng)柡椭C系數(shù)肯德?tīng)柡椭C系數(shù)W各種信度系數(shù)相應(yīng)誤差變異的來(lái)源信度系數(shù)的類(lèi)型信度

15、系數(shù)的類(lèi)型誤差變異的來(lái)源誤差變異的來(lái)源再測(cè)信度再測(cè)信度復(fù)本信度（連續(xù)施測(cè)）復(fù)本信度（連續(xù)施測(cè)）復(fù)本信度（間隔施測(cè)）復(fù)本信度（間隔施測(cè)）分半信度分半信度同質(zhì)性信度同質(zhì)性信度評(píng)分者信度評(píng)分者信度時(shí)間取樣時(shí)間取樣內(nèi)容取樣內(nèi)容取樣時(shí)間與內(nèi)容取樣時(shí)間與內(nèi)容取樣內(nèi)容取樣內(nèi)容取樣內(nèi)容的異質(zhì)性?xún)?nèi)容的異質(zhì)性評(píng)分者間的差異評(píng)分者間的差異假設(shè)對(duì)假設(shè)對(duì)100100個(gè)六年級(jí)學(xué)生以?xún)蓚€(gè)月的時(shí)間間隔個(gè)六年級(jí)學(xué)生以?xún)蓚€(gè)月的時(shí)間間隔先后施測(cè)一個(gè)創(chuàng)造力測(cè)驗(yàn)的先后施測(cè)一個(gè)創(chuàng)造力測(cè)驗(yàn)的ABAB兩個(gè)復(fù)本兩個(gè)復(fù)本, ,所得的所得的l等值性與穩(wěn)定性系數(shù)為等值性與穩(wěn)定性系數(shù)為0.700.70。l根據(jù)被試對(duì)每個(gè)復(fù)本的反應(yīng)計(jì)算出分半信度為根據(jù)被

16、試對(duì)每個(gè)復(fù)本的反應(yīng)計(jì)算出分半信度為0.80(0.80(先計(jì)算每個(gè)復(fù)本的分半相關(guān)系數(shù)。將二者平先計(jì)算每個(gè)復(fù)本的分半相關(guān)系數(shù)。將二者平均后再用斯皮爾曼均后再用斯皮爾曼- -布朗公式校正）。布朗公式校正）。l同時(shí)同時(shí), ,我們讓另一個(gè)評(píng)分者隨機(jī)抽取我們讓另一個(gè)評(píng)分者隨機(jī)抽取5050份卷子另外份卷子另外評(píng)分評(píng)分, ,得到評(píng)分者信度為得到評(píng)分者信度為0.920.92。l然后然后, ,我們對(duì)這三種方法所產(chǎn)生的誤差變異進(jìn)行分我們對(duì)這三種方法所產(chǎn)生的誤差變異進(jìn)行分析。析。這個(gè)假想測(cè)驗(yàn)的誤差變異來(lái)源分析信度類(lèi)型信度類(lèi)型誤差變異量誤差變異量誤差變異來(lái)源誤差變異來(lái)源復(fù)本信度（間隔施測(cè)復(fù)本信度（間隔施測(cè))1-0.70

17、=0.30時(shí)間與內(nèi)容取樣時(shí)間與內(nèi)容取樣分半信度分半信度1-0.80=0.20內(nèi)容取樣內(nèi)容取樣上述二者差異上述二者差異0.30-0.20=0.10 時(shí)間取樣時(shí)間取樣評(píng)分者信度評(píng)分者信度1-0.92=0.08評(píng)分者差異評(píng)分者差異誤差變異總和誤差變異總和0.20+0.10+0.08=0.38真實(shí)變異真實(shí)變異1-0.38=0.62這個(gè)假想測(cè)驗(yàn)的誤差變異來(lái)源分析真實(shí)變異真實(shí)變異誤差變異誤差變異時(shí)間上的穩(wěn)定性，復(fù)本時(shí)間上的穩(wěn)定性，復(fù)本之間的一致性，評(píng)分者之間的一致性，評(píng)分者之間的一致性之間的一致性 內(nèi)容取內(nèi)容取樣誤差樣誤差時(shí)間取時(shí)間取樣誤差樣誤差評(píng)分者評(píng)分者間差異間差異62%20%10%8%l信度的作用信

18、度的作用 反映了測(cè)量過(guò)程中所存在的隨機(jī)誤差大小 可以用來(lái)解釋個(gè)人測(cè)驗(yàn)分?jǐn)?shù)的意義 可以幫助進(jìn)行不同測(cè)驗(yàn)分?jǐn)?shù)的比較l影響信度的因素影響信度的因素: : 被試的樣本樣本團(tuán)體的異質(zhì)程度與平均水平 測(cè)驗(yàn)的長(zhǎng)度一般說(shuō)來(lái),測(cè)驗(yàn)越長(zhǎng),信度值超高 測(cè)驗(yàn)的難度測(cè)驗(yàn)難度水平使測(cè)驗(yàn)分?jǐn)?shù)的分布 范圍最大時(shí),信度才最高(此難度水平為0.5)測(cè)量的隨機(jī)誤差控制測(cè)量的隨機(jī)誤差控制l測(cè)量標(biāo)準(zhǔn)誤與信度測(cè)量標(biāo)準(zhǔn)誤與信度 具體計(jì)算方法及例證：P40l影響測(cè)驗(yàn)信度的隨機(jī)誤差來(lái)源影響測(cè)驗(yàn)信度的隨機(jī)誤差來(lái)源 被試因素 主試因素 測(cè)試情境 測(cè)量工具本身 測(cè)試時(shí)間間隔l控制隨機(jī)誤差提高測(cè)量信度的常用方法控制隨機(jī)誤差提高測(cè)量信度的常用方法 適當(dāng)增加測(cè)驗(yàn)長(zhǎng)度 盡量保證測(cè)驗(yàn)題目?jī)?nèi)容的同質(zhì)性 控制試題的難度分布 努力提高試題的區(qū)分度 測(cè)驗(yàn)使用者嚴(yán)格按規(guī)范的測(cè)驗(yàn)程序施測(cè) 嚴(yán)格控制