測驗(yàn)的信度課件

信度Reliability成熟標(biāo)志20世紀(jì)50年代古利科遜《心理測驗(yàn)理論》三大支柱基本假設(shè)信度效度第一單元信度的概念一、經(jīng)典測驗(yàn)理論ClassicalTestTheory（CTT）（一）測量誤差1、定義與測量目的無關(guān)不準(zhǔn)確測量效應(yīng)測量因素測量結(jié)果或不一致2、誤差的種類

系統(tǒng)誤差隨機(jī)誤差隨機(jī)誤差與系統(tǒng)誤差的比較類型產(chǎn)生原因結(jié)果表現(xiàn)（結(jié)果不一致）特點(diǎn)指標(biāo)同異隨機(jī)誤差…偶然因素不易控制方向和大小上完全隨機(jī)穩(wěn)定性準(zhǔn)確性信度系統(tǒng)誤差…因素恒定、規(guī)律穩(wěn)定地存在于每次測量中正確性效度3、誤差來源三層面模式測量工具測試對象施測過程（二）基本假設(shè)與真分?jǐn)?shù)1、分?jǐn)?shù)觀測分?jǐn)?shù)誤差分?jǐn)?shù)真分?jǐn)?shù)測驗(yàn)所得未加工無誤差理論上真正特質(zhì)水平操作上多個(gè)平等測驗(yàn)的平均數(shù)2、基本假設(shè)例2-1：某一物理測量結(jié)果（單位：微）物質(zhì)編號實(shí)測重量X真正重量T誤差EA12102B1920－1C2730－3D41401E51501∑1501500

S2

203.22003.2SE－－1.8M30300定義T與X關(guān)系數(shù)學(xué)模型X=T＋ET=X－E二、信度的概念S2T，S2E

，S2X的關(guān)系與信度S2XS2XS2TS2ES2TS2E（一）信度的定義

1、理論定義真分?jǐn)?shù)方差與觀測分?jǐn)?shù)方差的比值或2、操作定義兩組測驗(yàn)分?jǐn)?shù)之間的相關(guān)系數(shù)測量工具或結(jié)果的一致性（穩(wěn)定性）程度3、rXX值與測驗(yàn)誤差的關(guān)系r=0.50r=0.75r=0.90S2ES2TS2TS2TS2ES2E（二）信度的指標(biāo)

1、信度系數(shù)與信度指數(shù)信度系數(shù)同一群人幾次測驗(yàn)結(jié)果一致性信度系數(shù)的平方根信度指數(shù)緣由：rXX只反映X與T的符合程度未反映個(gè)體測驗(yàn)分?jǐn)?shù)的變異2、測驗(yàn)標(biāo)準(zhǔn)誤測驗(yàn)中個(gè)體真分?jǐn)?shù)的指標(biāo)理論上：一個(gè)個(gè)體多次測驗(yàn)結(jié)果分布的變異實(shí)際上：一組個(gè)體兩次測驗(yàn)結(jié)果分布的變異測量標(biāo)準(zhǔn)誤測量誤差分?jǐn)?shù)分布的標(biāo)準(zhǔn)差用途衡量測量值（X）與測量對象真值（T）的偏離程度的一種指標(biāo)用來估計(jì)個(gè)人的真分?jǐn)?shù)個(gè)人分?jǐn)?shù)的誤差個(gè)體測驗(yàn)分?jǐn)?shù)重測時(shí)的變化公式實(shí)得分?jǐn)?shù)標(biāo)準(zhǔn)差

個(gè)人分?jǐn)?shù)的誤差

rXX越大：變化的可能性越小

rXX=1：完全不變化第二單元信度評估的方法信度重測信度復(fù)本信度內(nèi)部一致性信度評分者信度分半信度同質(zhì)性信度重測復(fù)本信度一、重測信度含義同一測驗(yàn)同組對象前后測2次相關(guān)系數(shù)穩(wěn)定性程序誤差時(shí)間太短練習(xí)效應(yīng)記憶效應(yīng)A卷一定時(shí)距A卷太長身心變化

優(yōu)點(diǎn)省力、省時(shí)測量屬性相同提供隨時(shí)間變化的資料

不足適用范圍異質(zhì)性運(yùn)動技能速度時(shí)間間隔長短評價(jià)二、復(fù)本信度含義兩等值測驗(yàn)最短時(shí)間內(nèi)對同組對象施測結(jié)果r等值性程序誤差內(nèi)容取樣A卷最短時(shí)距B卷

優(yōu)點(diǎn)代表性增強(qiáng)，信度更準(zhǔn)避免練習(xí)、記憶效應(yīng)

不足編制復(fù)本難影響積極性觸類旁通評價(jià)三、重測復(fù)本信度含義兩等值測驗(yàn)一定時(shí)間內(nèi)對同組對象施測結(jié)果r等值性穩(wěn)定性程序誤差內(nèi)容取樣時(shí)間A卷一定時(shí)距B卷重測信度與復(fù)本信度有何異同？重測復(fù)本信度與重測、復(fù)本信度誰得估計(jì)更嚴(yán)格，為何？小結(jié)與問題重測信度復(fù)本信度內(nèi)部一致性跨時(shí)間一致性跨形式一致性試題之間有何關(guān)系三、內(nèi)部一致性信度含義測驗(yàn)各題間一致性題目一致性行為變量異質(zhì)性分半信度類型內(nèi)容取樣同質(zhì)性信度（一）分半信度1、分半條件與程序分半方法奇偶題分半分析程序兩半相關(guān)：rhh校正：rnn難易：低

高分半條件兩半相似：M、S項(xiàng)目組間相關(guān)分布形態(tài)內(nèi)容2、校正方法斯皮爾曼-布朗公式方差相等時(shí)弗拉南根公式盧尤公式方差不等時(shí)（二）同質(zhì)信度同質(zhì)性題目間的內(nèi)部一致性類型庫-理信度克龍巴赫

系數(shù)0、1題型K-R20難度不同k-R21難度相近各類題型四、評分者信度（一）含義與方法含義評分者評分的一致性方法2評分者2個(gè)以上者rXYrρ肯德爾和諧系數(shù)（二）肯德爾和諧系數(shù)K個(gè)評價(jià)者評N個(gè)被評者或作品1、應(yīng)用范圍和W系數(shù)應(yīng)用1個(gè)評價(jià)者先后K次評N個(gè)被評者或作品W范圍0～1第三單元信度與測驗(yàn)分?jǐn)?shù)的解釋真分?jǐn)?shù)與實(shí)得分?jǐn)?shù)相關(guān)的解釋信度系數(shù)和信度指數(shù)測量標(biāo)準(zhǔn)誤信度的評價(jià)直接解釋一、真分?jǐn)?shù)與實(shí)得分?jǐn)?shù)相關(guān)的解釋rXX間接解釋信度系數(shù)決定系數(shù)∵r2XT=ST2/SX2=rXX∴rXX為各方差的百分比S2X分為各S2E和S2T∵誤差源不同信度估計(jì)法不同rXX=0.90（一）信度系數(shù)和指數(shù)

例2-13：設(shè)有兩平等的創(chuàng)造力測驗(yàn)（A和B）。現(xiàn)：

1）間隔兩月施測100人，其信度為0.70；

2）兩卷分半信度校正值為0.80；

3）第2個(gè)評分者隨機(jī)抽50份，信度0.92；試問：

1）真分?jǐn)?shù)的方差是多少？

2）各種信度的誤差是多少？間接解釋范例信度類型rXX重測復(fù)本0.70分半信度0.80評分者信度0.92總誤差方差真分?jǐn)?shù)方差分析結(jié)果

誤差源時(shí)間、內(nèi)容內(nèi)容取樣評分者差異

兩者之差誤差的方差時(shí)間取樣1-0.70=0.31-0.80=0.20.3-0.2=0.10.2+0.1+0.08=0.381-0.38=0.621-0.92=0.08X與T的接近程度信度指數(shù)rXX=0.90（二）測量標(biāo)準(zhǔn)誤用途衡量測量值（X）與測量對象真值（T）的偏離程度的一種指標(biāo)用來估計(jì)個(gè)人的真分?jǐn)?shù)個(gè)人分?jǐn)?shù)的誤差

rXX越大：變化的可能性越小

rXX=1：完全不變化

例2-14：某測驗(yàn)信度0.89，S為15，其測量標(biāo)準(zhǔn)誤是多少？表2-12用rXX與SX估計(jì)測量標(biāo)準(zhǔn)誤

信度

S0.950.900.850.800.750.70306.79.511.613.415.016.4286.38.910.812.514.015.8265.88.210.111.613.014.2245.47.89.310.712.013.1224.97.08.59.811.012.0204.56.37.78.910.011.0184.05.77.08.09.09.9163.65.16.27.28.08.8143.14.45.46.37.07.7122.73.84.65.46.06.6102.23.23.94.55.05.581.82.53.13.64.04.461.31.92.32.73.03.340.91.31.51.82.02.220.40.60.80.91.01.1

優(yōu)點(diǎn)解釋個(gè)人分?jǐn)?shù)時(shí)，可指出其誤差的范圍不受群體異質(zhì)性的影響

局限不同測驗(yàn)間的信度無法比較標(biāo)準(zhǔn)誤因信度計(jì)算法不同而不同“不論高低分，SEe相等”的假設(shè)不完全成立二、確定信度可接受水平測驗(yàn)類型最低標(biāo)準(zhǔn)標(biāo)準(zhǔn)化測驗(yàn)人格測驗(yàn)非標(biāo)準(zhǔn)化測驗(yàn)0.900.80-0.850.60-0.85典型測驗(yàn)的一般標(biāo)準(zhǔn)典型測驗(yàn)的信度高低水平測驗(yàn)類型

低中高成套成就測驗(yàn)學(xué)術(shù)能力測驗(yàn)成套傾向性測驗(yàn)客觀人格測驗(yàn)興趣問卷態(tài)度量表.66.92.98.56.90.97.26.88.96.46.85.97.42.84.93.47.79.98三、解釋個(gè)人分?jǐn)?shù)的意義公式——個(gè)體真分?jǐn)?shù)估計(jì)例如：某班一次標(biāo)準(zhǔn)化成就測驗(yàn)（rxx=0.80）中的SE為5，某生的測驗(yàn)分80。試問該生測驗(yàn)的真分?jǐn)?shù)是多少？置信度D=.95置信區(qū)間

分析結(jié)果

表2-9某生測驗(yàn)真分?jǐn)?shù)的信度區(qū)間SEe數(shù)目置信水平置信區(qū)間168.2680±5(75～85)295.4580±10(70～90)399.9380±15(85～95)1.969580±9.8(70.2～89.8)2.589980±12.9(67.1～92.9)四、比較不同測驗(yàn)分?jǐn)?shù)的差異

例如，某生在韋氏成人智測中，語言IQ為102，操作IQ為106。且知言語與操作的分半信度各為0.96和0.93。問該生操作能力是否顯著優(yōu)于言語能力？分析結(jié)果結(jié)論差異未達(dá)1個(gè)標(biāo)準(zhǔn)誤操作IQ并不高于語言IQ差異顯著性：

本例：(106-102=4)第四單元影響信度的因素

測驗(yàn)長度樣本特征測驗(yàn)難度時(shí)間間隔

一、測驗(yàn)長度含義測驗(yàn)試題的數(shù)量特點(diǎn)測驗(yàn)越長，試題取樣越恰當(dāng)，測驗(yàn)越長，猜測性越小長度與信度的關(guān)系

例2-16：某測驗(yàn)有40題，信度0.65，若增至120題，信度會是多少？

例2-17：某測驗(yàn)有30題，信度0.75，試問要達(dá)到多少題才能使信度達(dá)到0.90？特點(diǎn)樣本越異質(zhì)，分?jǐn)?shù)分布越廣，S↑，r↑，測驗(yàn)越可靠二、樣本特征

（一）樣本團(tuán)體異質(zhì)性的影響分析信度相關(guān)散布圖計(jì)算散布圖整段范圍低高

（二）樣本團(tuán)體平均能力水平的影響

例如，S－B量表，不同年齡和難度水平信度值從0.83～0.98。顯然，每個(gè)信度都要求對建立信度的團(tuán)體進(jìn)行描述。選擇測驗(yàn)時(shí)應(yīng)注意取樣團(tuán)體的變異性和能力水平建立信度的團(tuán)體與欲測團(tuán)體是否一致趨勢分別對非常同質(zhì)團(tuán)體建立標(biāo)準(zhǔn)化樣本?？紤]年齡、性別、年級、職業(yè)和相似性等，選擇適合其所在測驗(yàn)團(tuán)體性質(zhì)的信度系數(shù)和測驗(yàn)。一般趨勢難度分布越廣，信度越高難度與題型簡答題：P=0.5時(shí)，X為0～100，信度最高。選擇題的理想難度三、測驗(yàn)難度滿分值理論概率

例2-22：在100個(gè)正誤題測驗(yàn)中，滿分為100，其理