測驗的信度.doc

心理測量學(xué)測驗的信度學(xué)習(xí)筆記第三節(jié)測驗的信度第一單元信度的概念第二單元信度評估的方法第三單元信度與測驗分數(shù)的解釋第四單元影響信度的因素第一單元信度的概念一、信度的定義信度是指同一被試者在不同時間內(nèi)用同一測驗（或用另一套相等的測驗）重復(fù)測量，所得結(jié)果的一致程度。在測量理論中，信度被定義為：一組測量分數(shù)的真分數(shù)方差與總方差（實得分數(shù)的方差）的比率。二、信度的指標(biāo)（一）信度系數(shù)與信度指數(shù)信度指數(shù)是真分數(shù)標(biāo)準(zhǔn)差與實得分數(shù)標(biāo)準(zhǔn)差的比值。信度指數(shù)的平方就是信度系數(shù)。（二）測量標(biāo)準(zhǔn)誤測量誤差分布的標(biāo)準(zhǔn)差，即為測量的標(biāo)準(zhǔn)誤。第二單元信度評估的方法一、重測信度二、復(fù)本信度三、內(nèi)部一致性信度四、評分者信度 信度的類型與估計方法重測信度（test-retestreliability）又稱穩(wěn)定性系數(shù)。它的計算方法是采用重測法，即使用同一測驗，在同樣條件下對同一組被試者前后施測兩次測驗，求兩次得分間的相關(guān)系數(shù)。最適宜的時距隨測驗的目的、性質(zhì)和被試特點而異，一般是兩周到四周較宜，間隔時間最長不超過六個月。內(nèi)部一致性信度（internalconsistencyreliability）分半信度（split-halfreliability）采集者退散是在測驗實施后將測驗按奇、偶數(shù)分為等值的兩半，并分別計算每位被試在兩半測驗上的得分，求出這兩半分數(shù)的相關(guān)系數(shù)。分半法經(jīng)常會低估信度，必須修正，借以估計整個測驗的信度。同質(zhì)性信度（homogeneityreliability）同質(zhì)性主要代表測驗內(nèi)部所有題目間的一致性。當(dāng)各個測題的得分有較高的正相關(guān)時，不論題目的內(nèi)容和形式如何，則測驗為同質(zhì)的。相反，即使所有題目看起來好象測量同一特質(zhì)，但相關(guān)很低或為負相關(guān)時，則測驗為異質(zhì)的。評分者信度（scorerreliability）隨機抽取若干份測驗卷，由兩位評分者按評分標(biāo)準(zhǔn)分別給分，然后再根據(jù)每份測驗卷的兩個分數(shù)計算相關(guān)，即得評分者信度。一般要求在成對的受過訓(xùn)練的評分者之間平均一致性達0.90以上，才認為評分是客觀的。 當(dāng)多個評分者評定多個對象，并以等級法記分時，可采用肯德爾和諧系數(shù)作為評分者信度的估計。第三單元信度與測驗分數(shù)的解釋一、解釋真實分數(shù)與實得分數(shù)的相關(guān)二、確定信度可以接受的水平三、解釋個人分數(shù)的意義四、比較不同測驗分數(shù)的差異信度與測驗分數(shù)的解釋解釋真實分數(shù)與實得分數(shù)的相關(guān)信度系數(shù)可以解釋為總的方差中有多少比例是由真實分數(shù)的方差決定的，也就是測驗的總變異中真分數(shù)造成的變異占百分之幾。確定信度可以接受的水平當(dāng)rxx0.70時，測驗不能用于對個人作出評價或預(yù)測，而且不能作團體比較；當(dāng)0.70rxx0.85時，可用于團體比較；當(dāng)rxx0.85時，才能用來鑒別或預(yù)測個人成績或作為。解釋個人分數(shù)的意義其一是估計真實分數(shù)的范圍；其二是了解實得分數(shù)再測時可能的變化情形。這就是測量標(biāo)準(zhǔn)誤的應(yīng)用。比較不同測驗分數(shù)的差異這種比較包括兩個人不同分數(shù)的差別和同一被試在兩個測驗上的差別。這就是差異分數(shù)的標(biāo)準(zhǔn)誤問題。第四單元影響信度的因素一、樣本特征（一）樣本團體異質(zhì)性的影響（二）樣本團體平均能力水平的影響二、測驗長度（一）測驗越長測題取樣或內(nèi)容取樣越有代表性。 （二）測驗越長被試的猜測因素影響就越小。三、測驗難度難度與信度不存在簡單的對應(yīng)關(guān)系。如果因為難度過大或過小，造成分數(shù)范圍縮小，可使信度降低。四、時間間隔再測法求信度，間隔時間越短信度系數(shù)越大；間隔時間越久，信度系數(shù)越低。注意:斯皮爾曼-布朗公式為校正分半信度的經(jīng)驗公式，它的假設(shè)是兩半測驗分數(shù)的變異數(shù)相等。當(dāng)假設(shè)不成立時，可用下列兩種公式之一，直接求得測驗的信度系數(shù)。弗朗那根（flanagan）公式，盧倫（kulon）公式www.xamda.CoM對于一些復(fù)雜的、異質(zhì)的心理學(xué)變量，采用單一的同質(zhì)性測驗是不行的，因而常常采用若干相對異質(zhì)的分測驗，使每個分測驗內(nèi)容具有同質(zhì)性。第四節(jié)測驗的效度第一單元效度的概念一、效度的定義在心理測驗中，效度是指所測量的與所要測量的心理特點之間的符合程度，或者簡單地說是指一個心理測驗的準(zhǔn)確性。在測驗理論中，效度被定義為在一組測量中，與測量目標(biāo)有關(guān)的真實方差（或稱有效方差）與總方差的比率。二、效度的性質(zhì)（一）效度具有相對性任何測驗的效度都是針對一定的目標(biāo)而言。（二）效度具有連續(xù)性只有程度上的不同，沒有“全有”或“全無”的區(qū)別。測驗效度是測驗結(jié)果的有效性程度。一、內(nèi)容效度（一）什么是內(nèi)容效度指的是測驗題目對有關(guān)內(nèi)容或行為取樣的適用性，從而確定測驗是否是所欲測量的行為領(lǐng)域的代表性取樣。這種測驗的效度主要與測驗內(nèi)容有關(guān)，故而得名。（二）內(nèi)容效度的評估方法1、專家判斷法定義好測驗內(nèi)容的總體范圍；編制雙向細目表，確定內(nèi)容的具體細節(jié)各自所占的比例；由每位評判者在評定量表上作出判斷。2、統(tǒng)計分析法計算兩個評分者之間評定的一致性（評分者信度）兩個測驗復(fù)本上得分之相關(guān)（復(fù)本信度）再測法也可用于內(nèi)容效度的評估（測驗-學(xué)習(xí)-再測驗）3、經(jīng)驗推測這種效度是通過實踐來檢驗效度（三）內(nèi)容效度的特性內(nèi)容效度與所有效度一樣，并非普遍適用。只有編制者與使用者定義的內(nèi)容范圍相同，編制者報告的內(nèi)容效度對使用者才有意義。內(nèi)容效度也有時間上的特定性。內(nèi)容效度與表面效度不同。二、構(gòu)想效度（一）什么是構(gòu)想效度是指測驗?zāi)軌驕y量到理論上的構(gòu)思或特質(zhì)的程度，即測驗的結(jié)果是否能證實或解釋某一理論的假設(shè)、術(shù)語或構(gòu)思，解釋的程度如何。要回答的問題是：該測驗欲測量什么心理構(gòu)想？對該構(gòu)想測得有多好？測驗分數(shù)中有多少比例的變異數(shù)是來自測驗所欲測之構(gòu)想？（二）構(gòu)想效度的評估方法1、對測驗本身的分析測驗的內(nèi)容效度測驗的內(nèi)部一致性指標(biāo)分析被試者對題目的反應(yīng)特點2、測驗間的相互比較相容效度是構(gòu)思效度的一個證據(jù)區(qū)分效度是構(gòu)思效度的又一個證據(jù)來源因素分析法也是建立構(gòu)思效度的常用方法3、效標(biāo)效度的研究證明根據(jù)效標(biāo)分成相對照的兩組，比較測驗成績觀察分析測驗高分組與低分組的心理特質(zhì)4、實驗法和觀察法證實三、效標(biāo)效度（一）什么是效標(biāo)效度亦稱實證效度，反映的是測驗預(yù)測個體在某種情境下行為表現(xiàn)的有效程度。分為同時效度和預(yù)測效度。一個好的效標(biāo)必須具備4個條件。1.效標(biāo)本身必須有效；2.效標(biāo)必須具有較高的信度，不隨時間等因素而變化；3.效標(biāo)可以客觀地加以測量，可用數(shù)據(jù)或等級來表示；4.效標(biāo)測量的方法簡單，省時省力，經(jīng)濟實用。（二）效標(biāo)效度的評估方法1、相關(guān)法：相關(guān)法是評估效標(biāo)效度最常用的方法，它是求測驗分數(shù)與效標(biāo)資料間的相關(guān)，這一相關(guān)系數(shù)稱為效度系數(shù)。2、區(qū)分法： 分析高分組與低分組分布的重疊量，或者計算每一組內(nèi)得分超過（或低于）另一組平均數(shù)的人數(shù)百分比，或者計算兩組分布的共同區(qū)的百分比。重疊量越大，說明兩組分數(shù)差異越小，即測驗的效度越差。3、命中率法： 命中率法是當(dāng)測驗用來做取舍的依據(jù)時，用其正確決定的比例作為效度指標(biāo)的一種方法。第二單元效度評估的方法第三單元效度的功能一、預(yù)測誤差效度系數(shù)的實際意義常常以決定性系數(shù)來表示，意旨相關(guān)系數(shù)的平方，其表達式是rxy2，它表示能夠正確預(yù)測或解釋效標(biāo)的測驗分數(shù)的方差占總方差的比例。另一種表達方法是估計的標(biāo)準(zhǔn)誤，簡寫為sest，它是指所有具有某一測驗分數(shù)的被試其效標(biāo)分數(shù)（y）分布的標(biāo)準(zhǔn)差，也即真正效標(biāo)分數(shù)落在某一范圍內(nèi)有多大可能性。二、預(yù)測效標(biāo)分數(shù)在測驗工作中，人們感興趣的是從測驗分數(shù)預(yù)測效標(biāo)成績，因此最常用的是y對x的回歸方程。三、預(yù)測效率指數(shù)第四單元影響效度的因素一、測驗本身的因素為了提高效度，要做到：1.測驗材料必須對整個內(nèi)容具有代表性；2.測題設(shè)計時應(yīng)盡量避免容易引起誤差的題型（如是非題）；3.測題難度要適中，具有較高的區(qū)分度；4.測驗長度要恰當(dāng)，即要有一定的測題量；5.測題的排列按先易后難順序。二、測驗實施中的干擾因素（一）主試的影響因素主試不符合標(biāo)準(zhǔn)化要求的任何做法（二）被試的影響因素興趣、動機、情緒、態(tài)度和健康狀況等。三、樣本團體的性質(zhì)（一）樣本團體的異質(zhì)性 異質(zhì)性越高，分數(shù)分布范圍大，測驗效度越高。1、如果只以選拔出來的被試為樣本團體參加研究，會降低測驗的效度。2、選拔標(biāo)準(zhǔn)太高，樣本團體的同質(zhì)性增加，會降低測驗的效度。三、樣本團體的性質(zhì)（二）干涉變量包括年齡、性別、教育水平、智力、動機、興趣、職業(yè)等。美國心理學(xué)家吉塞利（e.e.ghiselli）尋找干涉變量的方法：1、用回歸方程求每個人的預(yù)測效標(biāo)分數(shù)，與實際效標(biāo)分數(shù)相比較；2、根據(jù)樣本團體的組成，設(shè)立對照組，分別計算效度。3、根據(jù)顯而易見的干涉變量將其分為預(yù)測性高和預(yù)測性低的兩個亞團體。三、效標(biāo)的性質(zhì)包括年齡、性別、教育水平、智力、動機、興趣、職業(yè)等。來源：考試大效標(biāo)與測驗分數(shù)之間是否呈線性關(guān)系是很重要的因素。皮爾遜積差相關(guān)系數(shù)的前提是假設(shè)兩個變量的關(guān)系是