信度與隨機(jī)誤差

信度與隨機(jī)誤差第一頁，共二十六頁，2022年，8月28日誤差與測(cè)量的準(zhǔn)確性和穩(wěn)定性誤差就是在測(cè)量中與目的無關(guān)的因素所產(chǎn)生的不準(zhǔn)確或不一致的效應(yīng)。準(zhǔn)確性與一致性的關(guān)系：一.測(cè)量的誤差第二頁，共二十六頁，2022年，8月28日誤差的種類:

隨機(jī)誤差系統(tǒng)誤差抽樣與測(cè)量誤差誤差的來源:(編制過程中,測(cè)題本身存在的誤差)

測(cè)量自身引起的誤差

題目取樣時(shí),題量少,或無代表性其他編制過程

Eg:句子意義不明確,題目太難,測(cè)驗(yàn)時(shí)間設(shè)定不對(duì)

施測(cè)過程引起的誤差:

物理環(huán)境測(cè)試時(shí)間主試因素意外干擾評(píng)分記分被試引起的誤差:

應(yīng)試動(dòng)機(jī)測(cè)驗(yàn)焦慮測(cè)驗(yàn)經(jīng)驗(yàn)練習(xí)效應(yīng)反應(yīng)傾向生理因素第三頁，共二十六頁，2022年，8月28日真分?jǐn)?shù)

指的是在測(cè)量沒有誤差時(shí)所得到的真值。

在測(cè)量學(xué)中,真分?jǐn)?shù)是一個(gè)很重要的概念。

?定義化?假設(shè)

?X=T+E?(Gullikson,1950)：X=觀測(cè)分?jǐn)?shù)(你的實(shí)得分?jǐn)?shù))1對(duì)一個(gè)人測(cè)量無數(shù)T=真分?jǐn)?shù)(構(gòu)想分?jǐn)?shù))次,其平均誤差為0,E=誤差分?jǐn)?shù)(猜測(cè),疲勞);即E=0

誤差是一種隨機(jī)的、2真分?jǐn)?shù)與誤差沒有正態(tài)的偏離關(guān)系,即rTE=03不同測(cè)量上的誤差沒有關(guān)系,即rE1E2=0

如果進(jìn)行無數(shù)次測(cè)量,X的平均值等于T第四頁，共二十六頁，2022年，8月28日對(duì)于一個(gè)團(tuán)體來說,實(shí)得分?jǐn)?shù)、真分?jǐn)?shù)和測(cè)量誤差之間有如下關(guān)系:

SX2=ST2+SE2

即實(shí)得分?jǐn)?shù)的變異數(shù)SX2等于真分?jǐn)?shù)的變異數(shù)ST2加上誤差變異數(shù)SE2

而真分?jǐn)?shù)變異數(shù)可分成與測(cè)量目的有關(guān)(有效)的變異數(shù)SV2和與測(cè)量目的無關(guān)但卻穩(wěn)定的變異數(shù)SI2

ST2=SV2+SI2最后二式合并可得

SX2=SV2+SI2+SE2第五頁，共二十六頁，2022年，8月28日穩(wěn)定性\可靠性\一致性你的觀測(cè)分?jǐn)?shù)在多大程度上反映了你的“真實(shí)”分?jǐn)?shù)？在不同時(shí)間測(cè)驗(yàn)同一個(gè)人獲得的結(jié)果是一致嗎？人們通常把測(cè)量結(jié)果的可靠性稱為信度,即測(cè)量結(jié)果的一致性或可信性程度。信度的意義

1.信度指實(shí)測(cè)值和真值相差的程度

2.信度指統(tǒng)計(jì)量與參數(shù)之間的接近程度

3.信度是指一種測(cè)驗(yàn)對(duì)相同的應(yīng)試者再次測(cè)驗(yàn)時(shí)引起同樣反應(yīng)的程度二.測(cè)量信度第六頁，共二十六頁，2022年，8月28日信度定義一:

信度乃是一組測(cè)驗(yàn)分?jǐn)?shù)中真分?jǐn)?shù)的變異數(shù)與實(shí)得分?jǐn)?shù)的變異數(shù)之比。即

rXX=ST2/SX2第七頁，共二十六頁，2022年，8月28日信度定義二:

信度乃是一個(gè)測(cè)驗(yàn)X與它的任意一個(gè)平行測(cè)驗(yàn)X'的相關(guān)系數(shù)。即

rXX=ρXX＇第八頁，共二十六頁，2022年，8月28日信度定義三:

信度乃是一組測(cè)驗(yàn)分?jǐn)?shù)中真分?jǐn)?shù)與實(shí)得分?jǐn)?shù)的相關(guān)系數(shù)的平方。即

rXX=ρ2TX第九頁，共二十六頁，2022年，8月28日實(shí)測(cè)分?jǐn)?shù)對(duì)真分?jǐn)?shù)的回歸圖第十頁，共二十六頁，2022年，8月28日1.穩(wěn)定性系數(shù)(重測(cè)信度)2.等值性系數(shù)(復(fù)本、分半信度)3.等值穩(wěn)定性系數(shù)(復(fù)本、分半信度)4.內(nèi)部一致性系數(shù)(同質(zhì)性信度)5.評(píng)分者的信度系數(shù)估計(jì)信度的方法第十一頁，共二十六頁，2022年，8月28日重測(cè)信度(Test-RetestReliability)定義:同一量表,同一被試群體,在不同時(shí)間,兩次施測(cè),求其相關(guān)。實(shí)質(zhì):表示測(cè)驗(yàn)結(jié)果的穩(wěn)定性。故稱之為穩(wěn)定性系數(shù)(CoefficientofStability)形式:施測(cè)—適當(dāng)時(shí)間—再施測(cè)計(jì)算公式參見教材P43第十二頁，共二十六頁，2022年，8月28日時(shí)間間隔的把握間隔時(shí)間越長,穩(wěn)定性系數(shù)越低。適宜時(shí)間間隔依照測(cè)驗(yàn)?zāi)康?、性質(zhì)及被試特點(diǎn)而定。幾分鐘至幾年。年幼兒童,間隔要?。荒觊L群體,間隔可大。智力測(cè)驗(yàn)的間隔不能太短,成就測(cè)驗(yàn)的間隔不能太長。一般間隔時(shí)間不超過六個(gè)月。(既不能讓被試記住上一次測(cè)驗(yàn)的內(nèi)容,又不能讓其特質(zhì)發(fā)生變化,或?qū)λ鶎W(xué)知識(shí)產(chǎn)生遺忘)第十三頁，共二十六頁，2022年，8月28日復(fù)本信度(Alternate-formraliability)因?yàn)槿魏螠y(cè)驗(yàn)只是所有可能題目中的一份取樣(行為樣本),所以可編制許多平行的等值測(cè)驗(yàn),叫做復(fù)本。復(fù)本等值要符合下列條件:

1.各份測(cè)驗(yàn)測(cè)量的是同一種心理特性。

2.各份測(cè)驗(yàn)具有相同的內(nèi)容和形式。

3.各份測(cè)驗(yàn)的題目不應(yīng)重復(fù)。

4.各份測(cè)驗(yàn)題目數(shù)量相等,難度和區(qū)分度大體相同。

5.各份測(cè)驗(yàn)的分?jǐn)?shù)分布(平均數(shù)和標(biāo)準(zhǔn)差)大致相等。

6.復(fù)本編好后,應(yīng)再測(cè)一次,以確保各份測(cè)驗(yàn)的等值。第十四頁，共二十六頁，2022年，8月28日計(jì)算方法:

兩個(gè)復(fù)本施測(cè)同一被試群體,求其相關(guān)。等值性系數(shù):同時(shí)連續(xù)施測(cè),反映內(nèi)容變異。形式:復(fù)本A—最短時(shí)間—復(fù)本B穩(wěn)定性與等值性系數(shù)：時(shí)間間隔施測(cè),內(nèi)容變異＋重測(cè)信度誤差形式:復(fù)本A—適當(dāng)時(shí)間—復(fù)本B第十五頁，共二十六頁，2022年，8月28日分半信度(Split-HalfReliability)定義:在測(cè)驗(yàn)沒有復(fù)本且只能實(shí)施一次的情況下,可將測(cè)驗(yàn)項(xiàng)目分成對(duì)等的兩半,根據(jù)被試在這兩半測(cè)驗(yàn)中所得的分?jǐn)?shù)計(jì)算相關(guān)系數(shù),即得分半信度。計(jì)算分半信度先要對(duì)測(cè)驗(yàn)分半。不同的分半法可能會(huì)得到不同的信度值。第十六頁，共二十六頁，2022年，8月28日為了使兩半基本等值,可將項(xiàng)目按由易到難的順序排列編號(hào),然后按奇數(shù)和偶數(shù)序號(hào)將項(xiàng)目分半。要注意使那些性質(zhì)相同、聯(lián)系緊密的項(xiàng)目分在相同的一半,否則會(huì)使信度值偏高。由于分半信度實(shí)際上只是半個(gè)測(cè)驗(yàn)的信度,測(cè)驗(yàn)越長、項(xiàng)目越多,兩半分?jǐn)?shù)的相關(guān)就越高。因此,對(duì)長度不同的測(cè)驗(yàn),要用校正公式。

計(jì)算公式參見教材P35~36

斯皮爾曼—布朗校正公式弗朗那根公式盧倫公式第十七頁，共二十六頁，2022年，8月28日同質(zhì)性信度(HomogeneityReliability)同質(zhì)性指測(cè)驗(yàn)的所有題目測(cè)量的是同一種心理特質(zhì),表現(xiàn)為各個(gè)題目得分之間有較高的相關(guān),相關(guān)越高則同質(zhì)性越強(qiáng)。因素分析的思路計(jì)算公式:

參見教材P36~37

基本公式庫德—理查遜公式克倫巴赫系數(shù)第十八頁，共二十六頁，2022年，8月28日評(píng)分者信度(ScorerReliability)評(píng)分者信度是指不同評(píng)分者之間在測(cè)驗(yàn)結(jié)果計(jì)分上的一致性。在心理測(cè)驗(yàn)中,評(píng)分者信度的計(jì)算,通常是隨機(jī)抽取若干份試卷,由至少兩位受過訓(xùn)練的評(píng)分者按計(jì)分規(guī)則分別判分,然后計(jì)算它們的相關(guān)。幾個(gè)評(píng)分者的評(píng)分越一致,評(píng)分者信度越高。第十九頁，共二十六頁，2022年，8月28日評(píng)分者信度最簡單的估計(jì)方法就是隨機(jī)抽取若干份答卷,由兩個(gè)獨(dú)立的評(píng)分者打分,再求每份答卷兩個(gè)評(píng)判分?jǐn)?shù)的相關(guān)系數(shù)。這種相關(guān)系數(shù)的計(jì)算可以用積差相關(guān)方法,也可以采用斯皮爾曼等級(jí)相關(guān)方法。如果評(píng)分者在三人以上,而且又采用等級(jí)記分時(shí),就需要用肯德爾和諧系數(shù)來求評(píng)分者信度。計(jì)算公式:肯德爾和諧系數(shù)W第二十頁，共二十六頁，2022年，8月28日各種信度系數(shù)相應(yīng)誤差變異的來源信度系數(shù)的類型誤差變異的來源再測(cè)信度復(fù)本信度（連續(xù)施測(cè)）復(fù)本信度（間隔施測(cè)）分半信度同質(zhì)性信度評(píng)分者信度時(shí)間取樣內(nèi)容取樣時(shí)間與內(nèi)容取樣內(nèi)容取樣內(nèi)容的異質(zhì)性評(píng)分者間的差異第二十一頁，共二十六頁，2022年，8月28日假設(shè)對(duì)100個(gè)六年級(jí)學(xué)生以兩個(gè)月的時(shí)間間隔先后施測(cè)一個(gè)創(chuàng)造力測(cè)驗(yàn)的A\B兩個(gè)復(fù)本,所得的等值性與穩(wěn)定性系數(shù)為0.70。根據(jù)被試對(duì)每個(gè)復(fù)本的反應(yīng)計(jì)算出分半信度為0.80(先計(jì)算每個(gè)復(fù)本的分半相關(guān)系數(shù)。將二者平均后再用斯皮爾曼-布朗公式校正）。同時(shí),我們讓另一個(gè)評(píng)分者隨機(jī)抽取50份卷子另外評(píng)分,得到評(píng)分者信度為0.92。然后,我們對(duì)這三種方法所產(chǎn)生的誤差變異進(jìn)行分析。第二十二頁，共二十六頁，2022年，8月28日這個(gè)假想測(cè)驗(yàn)的誤差變異來源分析信度類型誤差變異量誤差變異來源復(fù)本信度（間隔施測(cè))1-0.70=0.30時(shí)間與內(nèi)容取樣分半信度1-0.80=0.20內(nèi)容取樣上述二者差異0.30-0.20=0.10時(shí)間取樣評(píng)分者信度1-0.92=0.08評(píng)分者差異誤差變異總和0.20+0.10+0.08=0.38真實(shí)變異1-0.38=0.62第二十三頁，共二十六頁，2022年，8月28日這個(gè)假想測(cè)驗(yàn)的誤差變異來源分析真實(shí)變異誤差變異時(shí)間上的穩(wěn)定性，復(fù)本之間的一致性，評(píng)分者之間的一致性內(nèi)容取樣誤差時(shí)間取樣誤差評(píng)分者間差異62%20%10%8%第二十四頁，共二十六頁，2022年，8月28日信度的作用

反映了測(cè)量過程中所存在的隨機(jī)誤差大小可以用來解釋個(gè)人測(cè)驗(yàn)分?jǐn)?shù)的意義可以幫助進(jìn)行不同測(cè)驗(yàn)分?jǐn)?shù)的比較影響信度的因素:

被試的樣本—樣本團(tuán)體的異質(zhì)程度與平均水平測(cè)驗(yàn)的長度—一般說來,測(cè)驗(yàn)越長,信度值超高測(cè)驗(yàn)的難度—測(cè)驗(yàn)難度水平使測(cè)驗(yàn)分?jǐn)?shù)的分布范圍最大