心理咨詢師三級第3節(jié)測驗的信度

1、w信度概念信度概念w信度的評估方法信度的評估方法w信度與測驗分數(shù)的解釋信度與測驗分數(shù)的解釋w影響信度的因素影響信度的因素成熟成熟標志標志20世紀世紀50年代年代古利科遜古利科遜心理測驗理論心理測驗理論三大三大支柱支柱基本假設(shè)基本假設(shè)信度信度效度效度第一單元第一單元 信度的概念信度的概念一、經(jīng)典測驗理論一、經(jīng)典測驗理論w Classical Test Theory（CTT）（一）測量誤差（一）測量誤差1、定義、定義與測量目的無關(guān)與測量目的無關(guān)不準確不準確測量測量效應(yīng)效應(yīng)測量測量因素因素測量測量結(jié)果結(jié)果或不一致或不一致測驗真值2、誤差的種類、誤差的種類 系統(tǒng)誤差系統(tǒng)誤差隨機誤差隨機誤差隨機誤差與系

2、統(tǒng)誤差的比較隨機誤差與系統(tǒng)誤差的比較類型類型產(chǎn)生原因產(chǎn)生原因結(jié)果表現(xiàn)結(jié)果表現(xiàn)（結(jié)果不一致）（結(jié)果不一致）特特 點點指指標標同同異異隨機隨機誤差誤差偶然因素偶然因素不易控制不易控制方向和大小上方向和大小上完全隨機完全隨機穩(wěn)穩(wěn)定定性性準準確確性性信信度度系統(tǒng)系統(tǒng)誤差誤差因素因素恒定、規(guī)律恒定、規(guī)律穩(wěn)定地存在于每穩(wěn)定地存在于每次測量中次測量中 正正確確性性效效度度3、誤差來源、誤差來源三層面模式三層面模式測量測量工具工具測試對象測試對象施測施測過程過程（二）基本假設(shè)與真分數(shù)（二）基本假設(shè)與真分數(shù)1、分數(shù)、分數(shù)觀測觀測分數(shù)分數(shù)誤差誤差分數(shù)分數(shù)真真分數(shù)分數(shù)測驗所得測驗所得未加工未加工無誤差無誤差理論上理

3、論上真正特質(zhì)水平真正特質(zhì)水平操作上操作上多個平等測驗的平均數(shù)多個平等測驗的平均數(shù)2、基本假設(shè)、基本假設(shè)w 例例2-1：某一物理測量結(jié)果（單位：微）：某一物理測量結(jié)果（單位：微）物質(zhì)編號物質(zhì)編號 實測重量實測重量X 真正重量真正重量T 誤誤 差差E A 12 10 2 B 19 20 1 C 27 30 3 D 41 40 1 E 51 50 1 150 150 0 S 203.2 200 3.2SE 1.8M 30 30 0定義定義T與與X關(guān)系關(guān)系數(shù)學(xué)模型數(shù)學(xué)模型X = T ET = X E222ETXSSS二、信度的概念二、信度的概念S2T， S2E ， S2X的關(guān)系與信度的關(guān)系與信度S2X

4、S2X S2T S2E S2T S2ESX2測驗實得分數(shù)的方差；測驗實得分數(shù)的方差； SE2為測驗誤差的方差，為測驗誤差的方差，ST2為測驗真分數(shù)的方差。為測驗真分數(shù)的方差。（一）信度的定義（一）信度的定義222XTTXSSr1、理論定義、理論定義真分數(shù)方差與觀測分數(shù)方差的比值真分數(shù)方差與觀測分數(shù)方差的比值2221XETXSSr或或EXT222EXTSSS2222XEXTXSSSr222TXXTrSS2、操作定義、操作定義兩組測驗分數(shù)之間的相關(guān)系數(shù)兩組測驗分數(shù)之間的相關(guān)系數(shù)測量工具或結(jié)果的一致性（穩(wěn)定性）程度測量工具或結(jié)果的一致性（穩(wěn)定性）程度XXTXrr23、rXX值與測驗誤差的關(guān)系值與測驗

5、誤差的關(guān)系r=0.50r=0.75r=0.90S2ESTSTSTSESE（二）信度的指標（二）信度的指標1、信度系數(shù)與信度指數(shù)、信度系數(shù)與信度指數(shù)XTXTTXSSSSr22同一群人同一群人幾次測驗結(jié)果幾次測驗結(jié)果一致性一致性信度系數(shù)的信度系數(shù)的平方根平方根22XTSSXXr2TXrw 緣由：緣由：rXXn只反映只反映X與與T的符合程度的符合程度n未反映個體測驗分數(shù)的變異未反映個體測驗分數(shù)的變異2、測驗標準誤（二級）、測驗標準誤（二級）w 測驗中個體真分數(shù)的指標測驗中個體真分數(shù)的指標n理論上：一個個體多次測驗結(jié)果分布的變異理論上：一個個體多次測驗結(jié)果分布的變異n實際上：一組個體兩次測驗結(jié)果分布的

6、變異實際上：一組個體兩次測驗結(jié)果分布的變異w 測量標準誤測量標準誤n測量誤差分數(shù)分布的標準差測量誤差分數(shù)分布的標準差w 用途用途n衡量測量值（衡量測量值（X）與測量對象真值（與測量對象真值（T）的的偏離程度的一種指標偏離程度的一種指標n用來估計個人的真分數(shù)用來估計個人的真分數(shù)w 個人分數(shù)的誤差個人分數(shù)的誤差n個體測驗分數(shù)個體測驗分數(shù)重測時重測時的的變化變化w 公式公式XXXErSSE1實得分數(shù)實得分數(shù)標準差標準差w 個人分數(shù)的誤差個人分數(shù)的誤差n rXX越大：變化的可能性越小越大：變化的可能性越小n rXX = 1：完全不變化完全不變化第二單元第二單元 信度評估的方法信度評估的方法信度信度重測

7、信度重測信度復(fù)本信度復(fù)本信度內(nèi)部一致性內(nèi)部一致性信度信度評分者信度評分者信度分半信度分半信度 同質(zhì)性信度同質(zhì)性信度重測復(fù)本信度重測復(fù)本信度不同的信度反映測驗誤差的不同來源。不同的信度反映測驗誤差的不同來源。一、重測信度一、重測信度含義含義同一測驗同一測驗同組對象同組對象前后測前后測2次次相關(guān)系數(shù)相關(guān)系數(shù)穩(wěn)定穩(wěn)定性性程序程序誤差誤差時間時間太短太短練習(xí)效應(yīng)練習(xí)效應(yīng)記憶效應(yīng)記憶效應(yīng)A卷卷一一定定時時距距A卷卷太長太長身心變化身心變化2-4周為宜周為宜不超過不超過6個月個月 優(yōu)點優(yōu)點省力、省時省力、省時測量屬性相同測量屬性相同提供隨時間變化的資料提供隨時間變化的資料 不足不足適用范圍適用范圍異質(zhì)性異

8、質(zhì)性運動技能運動技能速度速度時間間隔長短時間間隔長短評價評價二、復(fù)本信度二、復(fù)本信度含義含義兩等值測驗兩等值測驗最短時間內(nèi)最短時間內(nèi)對同組對象對同組對象施測結(jié)果施測結(jié)果r等值等值性性程序程序誤差誤差內(nèi)容內(nèi)容取樣取樣A卷卷最最短短時時距距B卷卷 優(yōu)點優(yōu)點代表性增強，信度更準代表性增強，信度更準避免練習(xí)、記憶效應(yīng)避免練習(xí)、記憶效應(yīng) 不足不足編制復(fù)本難編制復(fù)本難影響積極性影響積極性觸類旁通觸類旁通評價評價重測復(fù)本信度重測復(fù)本信度（二級）（二級）含義含義兩等值測驗兩等值測驗一定時間內(nèi)一定時間內(nèi)對同組對象對同組對象施測結(jié)果施測結(jié)果r等值性等值性穩(wěn)定性穩(wěn)定性程序程序誤差誤差內(nèi)容取樣內(nèi)容取樣時間時間A卷卷一

9、一定定時時距距B卷卷重測信度與復(fù)本信度有何異同？重測信度與復(fù)本信度有何異同？重測復(fù)本信度與重測、復(fù)本信度重測復(fù)本信度與重測、復(fù)本信度誰得估計更嚴格，為何？誰得估計更嚴格，為何？小結(jié)與問題小結(jié)與問題跨時間跨時間一致性一致性跨形式跨形式一致性一致性試題之間試題之間有何關(guān)系有何關(guān)系三、內(nèi)部一致性信度三、內(nèi)部一致性信度含義含義測驗測驗各題間各題間一致性一致性題目題目一致一致性性所有題目間所有題目間的一致性的一致性分半分半信度信度類型類型兩半測驗兩半測驗內(nèi)容取樣內(nèi)容取樣同質(zhì)性同質(zhì)性信度信度（一）分半信度（一）分半信度1、分半條件與程序、分半條件與程序分半分半方法方法奇偶題奇偶題分半分半分析分析程序程序兩

10、半相關(guān)：兩半相關(guān)：rhh校校 正：正：rnn難易：低難易：低高高分半分半條件條件兩半相似：兩半相似：M、S項目組間相關(guān)項目組間相關(guān)分布形態(tài)分布形態(tài)內(nèi)容內(nèi)容2、校正方法（二級）、校正方法（二級）斯皮爾曼斯皮爾曼-布朗公式布朗公式方差相等時方差相等時弗拉南根公式弗拉南根公式盧尤公式盧尤公式方差不等時方差不等時hhhhnnrrr12（二）同質(zhì)信度（二）同質(zhì)信度題目間的內(nèi)部一致性題目間的內(nèi)部一致性類型類型庫庫-理信度理信度克龍巴赫克龍巴赫 系數(shù)系數(shù)0、1題型題型K-R20難度不同難度不同k-R21難度相近難度相近各類各類題型題型（二級）（二級）四、評分者信度四、評分者信度（一）含義與方法（一）含義與方

11、法含義含義評分者評分的一致性評分者評分的一致性0.9以上，以上，才認為是客觀的才認為是客觀的。方法方法2評分者評分者2個以上者個以上者rXYr肯德爾和諧系數(shù)肯德爾和諧系數(shù)（二）（二）肯德爾和諧系數(shù)（肯德爾和諧系數(shù)（二級）二級）K個評價者評個評價者評N個被評者或作品個被評者或作品應(yīng)用范圍和應(yīng)用范圍和W系數(shù)系數(shù)應(yīng)用應(yīng)用1個評價者先后個評價者先后K次評次評N個被評者或作品個被評者或作品W范圍范圍01第三單元第三單元 信度與測驗分數(shù)的解釋信度與測驗分數(shù)的解釋w 真分數(shù)與實得分數(shù)相關(guān)的解釋真分數(shù)與實得分數(shù)相關(guān)的解釋n信度系數(shù)和信度指數(shù)信度系數(shù)和信度指數(shù)n測量標準誤測量標準誤w 信度的評價信度的評價直接解

12、釋直接解釋一、真分數(shù)與實得分數(shù)相關(guān)的解釋一、真分數(shù)與實得分數(shù)相關(guān)的解釋rXX間接解釋間接解釋信度系數(shù)信度系數(shù)決定系數(shù)決定系數(shù) r2XT = ST/SX =rXX rXX為各方差的百分比為各方差的百分比S2X分為分為各各S2E和和S2T誤差源不同誤差源不同信度估計法不同信度估計法不同rXX=0.90（一）信度系數(shù)和指數(shù)（一）信度系數(shù)和指數(shù)w 用途用途n衡量測量值（衡量測量值（X）與測量對象真值（）與測量對象真值（T）的偏離程度的一）的偏離程度的一種指標種指標n用來估計個人的真分數(shù)用來估計個人的真分數(shù)w 信度系數(shù)可以解釋為總的方差中有多少比例是由真信度系數(shù)可以解釋為總的方差中有多少比例是由真實分數(shù)

13、的方差決定的。范圍在實分數(shù)的方差決定的。范圍在0-1之間。之間。n rXX=0：所有變異和差別都反映的是測量誤差：所有變異和差別都反映的是測量誤差n rXX = 1：完全沒有測量誤差，所有變異均來自真實分數(shù)：完全沒有測量誤差，所有變異均來自真實分數(shù)二、確定信度可接受水平二、確定信度可接受水平測驗類型測驗類型最低標準最低標準標準化測驗標準化測驗人格測驗等人格測驗等 非標準化測驗非標準化測驗0.900.80-0.850.60-0.85w 典型測驗的一般標準典型測驗的一般標準低于低于0.700.70時，不能對個人作出預(yù)測或評價；時，不能對個人作出預(yù)測或評價；在在0.70-0.850.70-0.85之

14、間，可用于團體比較；之間，可用于團體比較；高于等于高于等于0.850.85，才能用來鑒別或預(yù)測個人成績，才能用來鑒別或預(yù)測個人成績w 典型測驗的信度高低水平典型測驗的信度高低水平測驗類型測驗類型 低低 中中 高高成套成就測驗成套成就測驗 學(xué)術(shù)能力測驗學(xué)術(shù)能力測驗 成套傾向性測驗成套傾向性測驗 客觀人格測驗客觀人格測驗 興趣問卷興趣問卷 態(tài)度量表態(tài)度量表.66 .92 .98.56 .90 .97.26 .88 .96.46 .85 .97.42 .84 .93.47 .79 .98三、解釋個人分數(shù)的意義三、解釋個人分數(shù)的意義w 公式公式個體真分數(shù)估計（二級）個體真分數(shù)估計（二級）XXXerSS

15、E1eSEXT96. 1例如：某班一次標準化成就測驗例如：某班一次標準化成就測驗（rxx=0.80）中的）中的SE為為5，某生的測驗，某生的測驗分分80。試問該生測驗的真分數(shù)是多少？。試問該生測驗的真分數(shù)是多少？置信度置信度D=.95置信區(qū)間置信區(qū)間05.8 .892 .70596. 180eSEXT96. 1分析結(jié)果分析結(jié)果 表表2-9 某生測驗真分數(shù)的信度區(qū)間某生測驗真分數(shù)的信度區(qū)間SEe數(shù)目數(shù)目 置信水平置信水平 置置 信信 區(qū)區(qū) 間間 1 68.26 805(7585) 2 95.45 8010(7090) 3 99.93 8015(8595) 1.96 95 809.8(70.289

16、.8) 2.58 99 8012.9(67.192.9) 四、比較不同測驗分數(shù)的差異四、比較不同測驗分數(shù)的差異（二級）（二級） 例如，某生在韋氏成人智測中，例如，某生在韋氏成人智測中，語言語言IQ為為102，操作，操作IQ為為106。且知言語。且知言語與操作的分半信度各為與操作的分半信度各為0.96和和0.93。問該。問該生操作能力是否顯著優(yōu)于言語能力？生操作能力是否顯著優(yōu)于言語能力？212XXXXdrrSSE97. 493. 096. 0215dSE分析結(jié)果分析結(jié)果w 結(jié)論結(jié)論n差異未達差異未達1個標準誤個標準誤n操作操作IQ并不高于語言并不高于語言IQw 差異顯著性：差異顯著性：n n本例

17、本例：96. 1,05. 0Z(106-102=4)74. 996. 197. 4第四單元第四單元 影響信度的因素影響信度的因素w樣本特征樣本特征w測驗長度測驗長度w測驗難度測驗難度w時間間隔時間間隔 w 特點特點n樣本越異質(zhì)，分數(shù)分布越廣，樣本越異質(zhì)，分數(shù)分布越廣，S，r ，測驗，測驗越可靠越可靠 一、樣本特征一、樣本特征（一）樣本團體異質(zhì)性的影響（一）樣本團體異質(zhì)性的影響w 分析分析n信度信度n相關(guān)相關(guān)n散布圖散布圖n計算計算散布圖散布圖整段范圍整段范圍低低高高 （二）樣本團體平均能力水平的影響（二）樣本團體平均能力水平的影響 例如，例如，SB量表，不同年齡和難度水量表，不同年齡和難度水平

18、信度值從平信度值從0.830.98。顯然，每個信度都顯然，每個信度都要求對建立信度的團體進行描述。要求對建立信度的團體進行描述。w 選擇測驗時應(yīng)注意選擇測驗時應(yīng)注意n取樣團體的變異性和能力水平取樣團體的變異性和能力水平n建立信度的團體與欲測團體是否一致建立信度的團體與欲測團體是否一致w 趨勢趨勢n分別對非常同質(zhì)團體建立標準化樣本。分別對非常同質(zhì)團體建立標準化樣本。n考慮年齡、性別、年級、職業(yè)和相似性等，考慮年齡、性別、年級、職業(yè)和相似性等，選擇適合其所在測驗團體性質(zhì)的信度系數(shù)和選擇適合其所在測驗團體性質(zhì)的信度系數(shù)和測驗。測驗。二、測驗長度二、測驗長度w 含義含義n測驗試題的數(shù)量測驗試題的數(shù)量

19、w 特點特點n測驗越長，試題取樣越恰當，測驗越長，試題取樣越恰當，n測驗越長，猜測性越小測驗越長，猜測性越小XXXXnnrkkrr11w 長度與信度的關(guān)系長度與信度的關(guān)系 (二級二級) nnXXXXnnrrrrk11 例例2-16：某測驗有：某測驗有40題，信度題，信度0.65，若增至若增至120題，信度會是多少？題，信度會是多少？ 例例2-17：某測驗有：某測驗有30題，信度題，信度0.75，試問要達到多少題才能使信度達到試問要達到多少題才能使信度達到0.90？82. 0nnr90, 3nkw 一般趨勢一般趨勢n難度分布越廣，信度越高難度分布越廣，信度越高w 難度與題型難度與題型n簡答題：簡答題：P=0.5時，時，X為為0100，信度最高。，信度最高。n選擇題的理想難度選擇題的理想難度 （二級）（二級） 三、測驗難度