測驗的信度.ppt

測驗的信度 主講 鄧穩(wěn)根 信度的概念 一般定義 信度 即測驗的可靠性 指的是測驗所得結(jié)果的一致程度 它是衡量測驗質(zhì)量好壞的最基本指標(biāo) 經(jīng)典測量理論的定義經(jīng)典測量理論的假設(shè) X T E X為實得分?jǐn)?shù) T為真實分?jǐn)?shù) E為隨機(jī)誤差分?jǐn)?shù) 可以轉(zhuǎn)換為 S2x S2T S2E 信度定義 信度是一組測驗分?jǐn)?shù)的真分?jǐn)?shù)方差與總方差 實得分?jǐn)?shù)方差 的比率 即rxx S2T S2x 1 S2E S2x 真分?jǐn)?shù)方差 誤差分?jǐn)?shù)方差和信度之間的關(guān)系 真分?jǐn)?shù)方差越大 誤差分?jǐn)?shù)方差越小 信度越大 信度的求取 r2xT S2T S2x rxT即為信度的第一種表示信度指數(shù) 但這里S2T無法求取 對同一被試反復(fù)施測無數(shù)次 或用無數(shù)個相等的測驗對同一被試反復(fù)施測無數(shù)次 從而一個被試可以得到無數(shù)個分?jǐn)?shù) 這無數(shù)個分?jǐn)?shù)的平均值為真實分?jǐn)?shù)T 標(biāo)準(zhǔn)差即為測量的誤差方差 它也是信度的第二種表示 這里對一個被試能不能反復(fù)施測無數(shù)次 對同一批 多于一個 被試前后施測兩次或采用兩套相等的測驗對同一批被試施測 求取兩次測驗分?jǐn)?shù)的相關(guān)系數(shù)即為測驗的信度系數(shù) 即rxx 這是信度的第三種表示 思考 信度系數(shù)與信度指數(shù)的關(guān)系是什么 有了rxx 就可以通過公式rxx 1 S2E S2x計算第二種表示中的SE SE Sx 1 rxx 1 2測量標(biāo)準(zhǔn)誤與信度的關(guān)系 互為消長 信度高 標(biāo)準(zhǔn)誤低 信度低 標(biāo)準(zhǔn)誤高 1 公式rxx r2xT S2T S2x和公式rxT ST Sx表明信度指數(shù)的 就是信度系數(shù) A 一半 B 平方 C 倍數(shù) D 本身2 是指同一被試在不同時間內(nèi)用同一測驗 或用另一套相等的測驗 重復(fù)測量 所得結(jié)果的一致程度 A 信度 B 效度 C 難度 D 區(qū)分度3 信度只受 的影響 A 系統(tǒng)誤差 B 隨機(jī)誤差 C 恒定效應(yīng) D 概化作用 例題 信度評估的方法 根據(jù)反映測驗誤差的不同來源 可分 重測信度 考察跨時間的一致性 復(fù)本信度 考察跨內(nèi)容的等值性 內(nèi)部一致性 考察題目的同質(zhì)性 評分者信度 考察評分的一致性 注意 信度估計方法不只上面幾種 實際上有多少誤差來源 便有多少估計信度的方法 原則上一個測驗?zāi)姆N誤差大 便采用哪種估計方法 有時甚至需要有幾種信度系數(shù) 重測信度 定義 又稱穩(wěn)定性系數(shù) 即使用同一測驗 在同樣條件下對同一組被試者前后施測兩次 求兩次得分間的相關(guān)系數(shù) 計算方法 重測法 A1A2 求r12 優(yōu)點(diǎn) 能提供有關(guān)測驗是否隨時間而變異的資料 可作為被試將來行為表現(xiàn)的依據(jù) 缺點(diǎn) 易受練習(xí)和記憶的影響 兩次測量之間最適宜的時距 隨測驗的目的 性質(zhì)和被試特點(diǎn)而異 一般是兩周到四周為宜 間隔時間最好不超過六個月 2 4周 復(fù)本信度 等值性系數(shù) AB定義 是以兩個等值但題目不同的測驗 復(fù)本 來測量同一群體 然后求得被試在兩個測驗上得分的相關(guān)系數(shù) 施測方法 將被試隨機(jī)分成兩半 一半被試先做A 再做B 另一半先做B 再做A 合并兩個A和B的數(shù)據(jù)求相關(guān) 穩(wěn)定性與等值性系數(shù) AB兩個復(fù)本的施測相隔一段時間 優(yōu)點(diǎn) 等值性系數(shù)能避免重測信度的記憶和學(xué)習(xí)效應(yīng) 缺點(diǎn) 只能減少不能消除練習(xí)效應(yīng) 無法消除遷移效應(yīng) 建立復(fù)本很難 內(nèi)部一致性信度 分半信度 1 2A1 2A定義指在測驗實施后 將測驗按奇偶性分成兩半 并分別計算每位被試在兩半測驗上的得分 求出這兩半分?jǐn)?shù)的相關(guān)系數(shù) 校正原因 測驗長度變短 易低估測驗的信度 公式 rxx 2rhh 1 rhh 假設(shè)條件是兩半分?jǐn)?shù)的方差相等 如不等 采用弗朗那根公式或盧倫公式直接求rxx 同質(zhì)性信度主要代表測驗內(nèi)部所有題目間的一致性 正相關(guān)高 測驗為同質(zhì)的 低正相關(guān)或為負(fù)相關(guān)時 測驗為異質(zhì) 如果測驗由許多分測驗組成 則要求分測驗內(nèi)部同質(zhì) 分測驗之間異質(zhì) 計算方法 庫德 理查遜公式 K R20 K R21 適用條件 兩級評分 后者還要求測題難度相同或近似 克倫巴赫 系數(shù) 既可適用于兩級評分 也可適用于多級評分 如有多項選擇的人格測驗 態(tài)度量表等 評分者信度 適用 用于測量不同評分者之間所產(chǎn)生的誤差 兩個評分者之間的信度 有若干份試卷 每份試卷由兩人評分 然后根據(jù)每份試卷的兩個分?jǐn)?shù)求相關(guān) 如果受過訓(xùn)練的評分者 其評分一致性應(yīng)達(dá)0 90以上 多個評分者之間的信度 如果采用等級評分 可采用W系數(shù)計算評分者信度 應(yīng)注意的問題 有多少誤差來源就有多少信度估計方法 應(yīng)根據(jù)情況采用不同的信度指標(biāo) 原則上一個測驗?zāi)姆N誤差大 便用哪種誤差估計 一個測驗往往要計算多種信度系數(shù) 例子 復(fù)本信度又稱等值性系數(shù) 它是以兩個等值但題目不同的測驗 復(fù)本 來測量同一群體 然后求得被試者在兩個測驗上得分的相關(guān)系數(shù) 復(fù)本信度反映的是測驗在 上的等值性 A 時間 B 題目 C 評分 D 內(nèi)容一般要求在成對的受過訓(xùn)練的評分者之間平均一致性達(dá)到 以上 才認(rèn)為評分是客觀的 A 0 70 B 0 80 C 0 90 D l 00 信度與測驗分?jǐn)?shù)的解釋 解釋真實分?jǐn)?shù)與實得分?jǐn)?shù)的相關(guān)程度rxx S2T S2xrxx 0 1 rxx 0 S2E S2xrxx 1 S2T S2x 確定信度可以接受的水平兩個原則 rxx 0 70時 測驗不能用于團(tuán)體比較和對個人進(jìn)行評價和預(yù)測 0 70 rxx 0 85時 測驗?zāi)苡糜趫F(tuán)體比較 rxx 0 85時 能用于鑒別或預(yù)測個人成績或作為 新編測驗的信度應(yīng)高于原有同類測驗或相似測驗 能力或成就測驗 rxx 0 90 甚至0 95 人格測驗 rxx 0 80 0 85 或更高 解釋個人分?jǐn)?shù)的意義測量標(biāo)準(zhǔn)誤的作用 估計真實分?jǐn)?shù)的范圍 了解實得分?jǐn)?shù)再測時可能的變化情形 真分?jǐn)?shù)的估計 或再測時實得分?jǐn)?shù)的變化范圍計算 根據(jù)SE Sx 1 rxx 1 2 求SE 如果已知或然水平 一般為95 則真分?jǐn)?shù)的置信區(qū)間或再測時X的變化范圍是 X 1 96SE T X 1 96SE 真分?jǐn)?shù)估計舉例 在一個人格測驗中 某個被試的外向性得分為20分 已知該分測驗的標(biāo)準(zhǔn)差為10 信度系數(shù)為0 91 試問該被試外向性的真實水平處于什么范圍 或然水平為95 如果對該被試重新施測 他的分?jǐn)?shù)將不會落在什么范圍外 比較不同測驗分?jǐn)?shù)的差異 已知X1 X2 求X1 X2是否差異顯著 求X1 X2 根據(jù)SEd S 2 rxx ryy 1 2 求SEd 這里要求兩個測驗的標(biāo)準(zhǔn)差相同 比較 X1 X2 SEd和1 96 要求或然水平為95 時才為1 96 的大小 如果 X1 X2 SEd 1 96 則差異顯著 反之 則差異不顯著 不同測驗分?jǐn)?shù)的差異比較舉例 某被試在韋氏成人智力測驗中言語智商為100 操作智商為105 已知兩個分?jǐn)?shù)都是以100為平均數(shù) 15為標(biāo)準(zhǔn)差的標(biāo)準(zhǔn)分?jǐn)?shù) 假設(shè)言語分量表和操作分量表的分半信度為0 87和0 88 問言語智商和操作智商是否存在顯著性差異 舉例 大約有95 的可能性真分?jǐn)?shù)落在所得分?jǐn)?shù) 1 96SE的范圍內(nèi) 或有5 的可能性落在范圍之外 的描述 其置信區(qū)間為 A X 1 96SE XT X 1 97SE B X 1 96SE XT C X 1 96SE XT D X 1 96SEXT X 1 97SE 影響信度的因素 樣本特征樣本團(tuán)體內(nèi)的異質(zhì)性 指水平的差異 異質(zhì)高 則信度高 樣本團(tuán)體間平均能力水平 團(tuán)體的不同水平 導(dǎo)致題目的難度不同 從而影響信度的高低 在智力測驗中 對年幼者或能力水平低者 不適宜使用選擇題測驗 在編制測驗時 應(yīng)將常模團(tuán)體分為更同質(zhì)的亞團(tuán)體 分別報告其信度 測驗長度測驗越長 測驗的測量取樣或內(nèi)容取樣就越有代表性 測驗越長 被試猜測因素的影響就越小 增加測驗長度的效果遵循報酬遞減率原則 斯皮爾曼 皮朗公式的導(dǎo)出公式 測驗長度的計算舉例 一個包括40個題目的測驗信度為0 80 欲將信度提高到0 90 問至少要增加多少個題目 測驗難度難度對信度的影響只存在最高作為測驗中 難度與信度之間不是簡單的對應(yīng)關(guān)系 難度為0 5只適合于簡答題 選擇題的難度應(yīng)偏高 洛德提出 在學(xué)績測驗中各類選擇題的理想平均難度值為 五擇一為0 70 四擇一為0 74 三擇一為0 77 是非題為0 85 時間間隔只對重測信度和重測復(fù)本信度產(chǎn)生影響 時間間隔越短 信度系數(shù)越大 例題 洛德 Lord 提出在學(xué)績測驗中 為了保證其可靠