心理與教育測(cè)量第四章

關(guān)于心理與教育測(cè)量第四章第1頁(yè)，共46頁(yè)，2023年，2月20日，星期四第四章測(cè)量信度信度概述信度的估計(jì)方法提高測(cè)量信度的方法第2頁(yè)，共46頁(yè)，2023年，2月20日，星期四第一節(jié)信度概述信度的定義信度的作用第3頁(yè)，共46頁(yè)，2023年，2月20日，星期四一、信度的定義信度的描述性定義信度（reliability）指測(cè)量結(jié)果的穩(wěn)定性程度，有時(shí)也叫測(cè)量結(jié)果的可靠性。信度系數(shù)（）是表示測(cè)量信度高低的指標(biāo)，其值域?yàn)椋?，1］。世界上沒(méi)有百分之一百可靠的測(cè)量。只是理論上的。信度也是多次測(cè)量同一對(duì)象的一致性程度。第4頁(yè)，共46頁(yè)，2023年，2月20日，星期四信度的統(tǒng)計(jì)定義（統(tǒng)計(jì)等價(jià)定義）信度是被試團(tuán)體真分?jǐn)?shù)方差與實(shí)得分?jǐn)?shù)方差之比，即：信度是被試團(tuán)體真分?jǐn)?shù)與實(shí)得分?jǐn)?shù)相關(guān)系數(shù)的平方，即：信度是一個(gè)測(cè)驗(yàn)與它的任意一個(gè)平行測(cè)驗(yàn)的相關(guān)系數(shù)，即：第5頁(yè)，共46頁(yè)，2023年，2月20日，星期四二、信度的作用信度是測(cè)量過(guò)程中所存在的隨機(jī)誤差大小的反映。測(cè)量中隨機(jī)誤差越大，測(cè)量的信度越低。（但信度與系統(tǒng)誤差無(wú)關(guān)?。┬哦瓤梢杂脕?lái)解釋個(gè)人測(cè)驗(yàn)分?jǐn)?shù)的意義。信度可以幫助進(jìn)行測(cè)驗(yàn)分?jǐn)?shù)的比較第6頁(yè)，共46頁(yè)，2023年，2月20日，星期四1、解釋個(gè)人分?jǐn)?shù)的意義測(cè)量標(biāo)準(zhǔn)誤的作用：估計(jì)真實(shí)分?jǐn)?shù)的范圍；了解實(shí)得分?jǐn)?shù)再測(cè)時(shí)可能的變化情形。真分?jǐn)?shù)的估計(jì)，或再測(cè)時(shí)實(shí)得分?jǐn)?shù)的變化范圍計(jì)算：根據(jù)SE=Sx×sqrt(1-rxx)

，求SE。根據(jù)顯著性水平α或置信水平（1-α）。則真分?jǐn)?shù)的置信區(qū)間或再測(cè)時(shí)X的變化范圍是：X-Zα/2SE<T≤X+Zα/2SE第7頁(yè)，共46頁(yè)，2023年，2月20日，星期四真分?jǐn)?shù)估計(jì)舉例在一個(gè)人格測(cè)驗(yàn)中，某個(gè)被試的外向性得分為20分，已知該分測(cè)驗(yàn)的標(biāo)準(zhǔn)差為10，信度系數(shù)為0.91。試問(wèn)該被試外向性的真實(shí)水平處于什么范圍（α=0.05）？如果對(duì)該被試重新施測(cè)，他的分?jǐn)?shù)將不會(huì)落在什么范圍外？第8頁(yè)，共46頁(yè)，2023年，2月20日，星期四2、比較不同測(cè)驗(yàn)分?jǐn)?shù)的差異已知X，Y，求X，Y是否差異顯著。根據(jù)SEd=S(2-rxx-ryy)1/2，求SEd，這里要求兩個(gè)測(cè)驗(yàn)的標(biāo)準(zhǔn)差相同。比較|X-Y|/SEd和Zα/2的大小，如果|X1-X2|/SEd>Zα/2，則差異顯著；反之，則差異不顯著。第9頁(yè)，共46頁(yè)，2023年，2月20日，星期四不同測(cè)驗(yàn)分?jǐn)?shù)的差異比較舉例某被試在韋氏成人智力測(cè)驗(yàn)中言語(yǔ)智商為100，操作智商為105，已知兩個(gè)分?jǐn)?shù)都是以100為平均數(shù)，15為標(biāo)準(zhǔn)差的標(biāo)準(zhǔn)分?jǐn)?shù)，假設(shè)言語(yǔ)分量表和操作分量表的分半信度為0.87和0.88，問(wèn)言語(yǔ)智商和操作智商是否存在顯著性差異（α=0.05)。第10頁(yè)，共46頁(yè)，2023年，2月20日，星期四需要注意的問(wèn)題一個(gè)測(cè)驗(yàn)可以有多個(gè)信度估計(jì)值，因而其誤差估計(jì)值也會(huì)有多個(gè)。本理論假定同一個(gè)團(tuán)體中所有人的測(cè)量誤差是相同的，但實(shí)際上水平高的人與水平低的人在做測(cè)量時(shí)會(huì)有不同的隨機(jī)誤差。測(cè)量的結(jié)果不能僵硬地看成是一個(gè)點(diǎn)，而應(yīng)看成是一個(gè)以該點(diǎn)為中心，以SE的某個(gè)倍數(shù)為半徑上下波動(dòng)的一個(gè)范圍。例如，真正IQ一般在實(shí)得IQ±5的范圍內(nèi)波動(dòng)。第11頁(yè)，共46頁(yè)，2023年，2月20日，星期四第二節(jié)信度的估計(jì)方法重測(cè)信度復(fù)本信度分半信度同質(zhì)性信度分半信度和同質(zhì)性信度也叫內(nèi)部一致性系數(shù)。評(píng)分者信度成套測(cè)驗(yàn)綜合分?jǐn)?shù)的信度第12頁(yè)，共46頁(yè)，2023年，2月20日，星期四一、重測(cè)信度定義：同一測(cè)驗(yàn)對(duì)同一批被試先后施測(cè)量?jī)纱嗡媒Y(jié)果的一致性程度，其大小為兩次分?jǐn)?shù)的積差相關(guān)系數(shù)。也叫穩(wěn)定性系數(shù)。用于考查測(cè)量結(jié)果跨時(shí)間的穩(wěn)定性。計(jì)算公式：第13頁(yè)，共46頁(yè)，2023年，2月20日，星期四舉例：假設(shè)有一份考試焦慮調(diào)查表，先后兩次施測(cè)于10名學(xué)生，時(shí)間間隔為半年，結(jié)果如表所示，求該測(cè)驗(yàn)的重測(cè)信度。第14頁(yè)，共46頁(yè)，2023年，2月20日，星期四使用條件①所測(cè)心理品質(zhì)相對(duì)穩(wěn)定，否則無(wú)法判斷是量具信度低，還是品質(zhì)本身穩(wěn)定性差。②前后間隔時(shí)間要恰當(dāng)，遺忘和練習(xí)的效果基本上相互抵消。時(shí)間間距依問(wèn)題的性質(zhì)和測(cè)量目的而定。通常，以2-4周為宜。智力測(cè)驗(yàn)的間隔一般在6個(gè)月左右。③間隔期間被試在所測(cè)品質(zhì)方面無(wú)更多學(xué)習(xí)和訓(xùn)練。④有被試的真誠(chéng)合作。第15頁(yè)，共46頁(yè)，2023年，2月20日，星期四需要注意的問(wèn)題當(dāng)某個(gè)測(cè)驗(yàn)涉及多個(gè)年齡或年級(jí)等不同層次的考生（被試）時(shí)，重測(cè)信度不能直接用測(cè)驗(yàn)的原始分?jǐn)?shù)進(jìn)行估算，而必須使用經(jīng)過(guò)常模量表轉(zhuǎn)換之后的量表分?jǐn)?shù)或其他類型的標(biāo)準(zhǔn)分?jǐn)?shù)進(jìn)行估算。否則會(huì)高估。當(dāng)極少數(shù)考生的前測(cè)分?jǐn)?shù)與后測(cè)分?jǐn)?shù)相差特別明顯時(shí)，應(yīng)去除這些異常的極端值（控制在2%以內(nèi)），以避免低估重測(cè)信度。第16頁(yè)，共46頁(yè)，2023年，2月20日，星期四評(píng)價(jià)優(yōu)點(diǎn)：能提供有關(guān)測(cè)驗(yàn)是否隨時(shí)間而變異的資料，可作為被試將來(lái)行為表現(xiàn)的依據(jù)。缺點(diǎn)：難以消除記憶和練習(xí)及學(xué)習(xí)的影響；難以取得被試的全面合作。第17頁(yè)，共46頁(yè)，2023年，2月20日，星期四二、復(fù)本信度定義兩個(gè)平行測(cè)驗(yàn)測(cè)量同一批被試所得結(jié)果的一致性程度。其大小為兩次分?jǐn)?shù)的積差相關(guān)系數(shù)。分類等值性系數(shù)（通常指復(fù)本信度）：兩個(gè)復(fù)本測(cè)驗(yàn)同時(shí)連續(xù)施測(cè)。穩(wěn)定性與等值性系數(shù)（通常指重測(cè)復(fù)本信度）：兩個(gè)復(fù)本測(cè)驗(yàn)相距一段時(shí)間分兩次施測(cè)。是對(duì)信度的最嚴(yán)格的檢驗(yàn)。實(shí)施平衡設(shè)計(jì)：將被試隨機(jī)分成兩半，一半先測(cè)A卷，再測(cè)B卷；另一半先測(cè)B卷，再測(cè)A卷。第18頁(yè)，共46頁(yè)，2023年，2月20日，星期四計(jì)算公式類似于重測(cè)信度。舉例假設(shè)用A、B兩型智力復(fù)本測(cè)驗(yàn)對(duì)五年級(jí)10個(gè)學(xué)生施測(cè)。結(jié)果見下表。試求該測(cè)驗(yàn)的復(fù)本信度。第19頁(yè)，共46頁(yè)，2023年，2月20日，星期四測(cè)驗(yàn)被試12345678910X1

1617181415131220119X2

1516191816121119108第20頁(yè)，共46頁(yè)，2023年，2月20日，星期四使用前提條件要命制出真正等值的平行測(cè)驗(yàn)。被試要有條件（時(shí)間、經(jīng)費(fèi)等）接受兩個(gè)測(cè)驗(yàn)。評(píng)價(jià)優(yōu)點(diǎn)：能減少練習(xí)和記憶效應(yīng)。缺點(diǎn)：很難構(gòu)造出兩份以上的平行測(cè)驗(yàn)；只能減少而不能消除練習(xí)效應(yīng)；無(wú)法消除遷移效應(yīng)。第21頁(yè)，共46頁(yè)，2023年，2月20日，星期四三、分半信度定義：將一個(gè)測(cè)驗(yàn)隨機(jī)分為對(duì)等的兩半（常用奇偶分半），所有被試在這兩半測(cè)驗(yàn)上得分的一致性程度。計(jì)算通常也采用積差相關(guān)系數(shù)求取。由于測(cè)驗(yàn)長(zhǎng)度變短，通常需要校正，公式為：，其中為兩半的相關(guān)系數(shù)。第22頁(yè)，共46頁(yè)，2023年，2月20日，星期四舉例已知某量表的分半信度為0.63，請(qǐng)算出原長(zhǎng)度的信度系數(shù)。第23頁(yè)，共46頁(yè)，2023年，2月20日，星期四上式為Spearman-Brown公式，使用條件為兩半分?jǐn)?shù)的方差（變異數(shù)）相等。如果不等，可采用下列兩個(gè)等價(jià)公式直接計(jì)算。Flanagan公式：Rulon公式：其中、為兩半測(cè)驗(yàn)分?jǐn)?shù)方差，為兩半測(cè)驗(yàn)分?jǐn)?shù)之差數(shù)的方差，為總方差。第24頁(yè)，共46頁(yè)，2023年，2月20日，星期四使用條件隨機(jī)分成的兩半必須是對(duì)等的兩半。通常在只能施測(cè)一次或沒(méi)有復(fù)本的情況下使用。評(píng)價(jià)優(yōu)點(diǎn)：只需施測(cè)一次便能求取信度。缺點(diǎn)：有些題目，很難分為對(duì)等的兩半，比如語(yǔ)文考試?yán)锏淖魑?，就沒(méi)辦法分半；分半方法很多，所估信度很可能有差異。第25頁(yè)，共46頁(yè)，2023年，2月20日，星期四四、同質(zhì)性信度定義測(cè)驗(yàn)內(nèi)部所有題目間的一致性程度。一致性包含兩重含義：所有題目都是測(cè)同一種心理特質(zhì)。所有題目得分之間都有較高的正相關(guān)。兩者的關(guān)系：正相關(guān)高是同質(zhì)性高的必要而非充分條件。第26頁(yè)，共46頁(yè)，2023年，2月20日，星期四計(jì)算求所有分半信度的平均值。缺點(diǎn)：分半的方法太多，有Cnn/2個(gè)，計(jì)算太麻煩。例如，有20個(gè)題目，則分半的數(shù)量有：C2010個(gè)。先求所有題目間相關(guān)系數(shù)的平均值，再用下列公式計(jì)算：其中K為一個(gè)測(cè)驗(yàn)題目個(gè)數(shù)，為所有題目間相關(guān)系數(shù)的平均值。第27頁(yè)，共46頁(yè)，2023年，2月20日，星期四Kuder-Richardson(K-R)公式K-R20公式（只適用于兩級(jí)評(píng)分，例如0，1）：其中K為題目數(shù)，為答對(duì)第i題的人數(shù)比例，為答錯(cuò)第i題的人數(shù)比例，為測(cè)驗(yàn)總分的變異。K-R21公式（在KR20基礎(chǔ)上要求各題難度相同）：其中為所有題平均答對(duì)率，為所有題目平均答錯(cuò)率。第28頁(yè)，共46頁(yè)，2023年，2月20日，星期四克龍巴赫系數(shù)（適用所有題目）：

其中，Si2為每個(gè)題目的方差。注意：大，信度必高，但小，信度不一定低。荷伊特信度（采用方差分量比方法）：第29頁(yè)，共46頁(yè)，2023年，2月20日，星期四克龍巴赫系數(shù)計(jì)算舉例

語(yǔ)文測(cè)驗(yàn)?zāi)M資料如表，試求內(nèi)部一致性系數(shù)α的值（注：第一行數(shù)字為被試編號(hào)，第一列為項(xiàng)目編號(hào)）。12345678910①②③④⑤35263436545416423562864957587589610786910712141015111313151512第30頁(yè)，共46頁(yè)，2023年，2月20日，星期四荷伊特信度舉例第31頁(yè)，共46頁(yè)，2023年，2月20日，星期四五、評(píng)分者信度定義多個(gè)評(píng)分者給同一批人的答卷進(jìn)行評(píng)分的一致性程度。計(jì)算兩個(gè)評(píng)分者：采用積差相關(guān)或等級(jí)相關(guān)多個(gè)評(píng)分者：無(wú)相同等級(jí)情況：肯德爾W系數(shù)有相同等級(jí)情況：校正之后的肯德爾W系數(shù)。W系數(shù)的顯著性檢驗(yàn)：查W表（K：3~20人，N：3~7個(gè)）；計(jì)算χ2值：χ2=K（N-1）W，df=N-1。第32頁(yè)，共46頁(yè)，2023年，2月20日，星期四肯德爾W系數(shù)校正后的W系數(shù)（略）第33頁(yè)，共46頁(yè)，2023年，2月20日，星期四評(píng)分誤差產(chǎn)生的原因試題原因試題答案不唯一，評(píng)分標(biāo)準(zhǔn)還客觀，要依賴于評(píng)分者主觀經(jīng)驗(yàn)，因此評(píng)分誤差嚴(yán)重主要在自由反應(yīng)性試題上，特別是論文式試題。評(píng)分者原因：①評(píng)分者專業(yè)知識(shí)水平不夠；影響對(duì)試題和答案的理解，尤其是綜合性試題，創(chuàng)造性答案。②評(píng)分者評(píng)判能力不夠；缺乏評(píng)判能力，特別是缺乏計(jì)量評(píng)判能力，評(píng)分勿高忽低，或偏高、偏低。③評(píng)分者個(gè)性傾向影響：寬、嚴(yán)不同，導(dǎo)致評(píng)分不一致。④評(píng)分者心理狀況和工作態(tài)度不同。第34頁(yè)，共46頁(yè)，2023年，2月20日，星期四評(píng)分閱卷中各種客觀效應(yīng)的影響：①“名片效應(yīng)”②“光環(huán)效應(yīng)”③“對(duì)比效應(yīng)”④“先后效應(yīng)”環(huán)境與組織管理的影響。第35頁(yè)，共46頁(yè)，2023年，2月20日，星期四控制論文式試題評(píng)分誤差的方法。命題進(jìn)盡量控制作答的發(fā)散范圍，預(yù)先制定好評(píng)分規(guī)則，并盡是客觀、精細(xì)，但不吹毛求疵。選擇和培訓(xùn)閱卷人員，統(tǒng)一評(píng)分標(biāo)準(zhǔn)，規(guī)范閱卷行為。流水作業(yè)評(píng)分。分因素評(píng)分。第36頁(yè)，共46頁(yè)，2023年，2月20日，星期四組織復(fù)查。自覺(jué)防止各種客觀效應(yīng)的影響。在規(guī)模閱卷中可考慮采用統(tǒng)計(jì)手段控制和調(diào)整評(píng)分誤差。①均數(shù)、標(biāo)準(zhǔn)差。②網(wǎng)上閱卷。③電子閱卷員。第37頁(yè)，共46頁(yè)，2023年，2月20日，星期四六、成套測(cè)驗(yàn)綜合分?jǐn)?shù)的信度略第38頁(yè)，共46頁(yè)，2023年，2月20日，星期四第三節(jié)提高測(cè)量信度的方法影響測(cè)量信度的主要因素提高測(cè)量信度的常用方法幾點(diǎn)說(shuō)明第39頁(yè)，共46頁(yè)，2023年，2月20日，星期四一、影響測(cè)量信度的主要因素被試方面：?jiǎn)蝹€(gè)被試心理的穩(wěn)定性；團(tuán)體被試水平的離散程度及平均水平的過(guò)高或過(guò)低。主試者方面施測(cè)人員不按規(guī)定施測(cè)或給學(xué)生加壓、暗示。閱卷人員標(biāo)準(zhǔn)掌握一致、不準(zhǔn)確。第40頁(yè)，共46頁(yè)，2023年，2月20日，星期四施測(cè)情境方面考場(chǎng)條件聲、光、空間、桌面、儀器質(zhì)量等。測(cè)量工具方面：量具性能是否穩(wěn)定，包括試題取樣代表性、穩(wěn)定性，試題同質(zhì)性，試題難度及其分布。兩次施測(cè)估計(jì)信度的間隔時(shí)間。時(shí)間間隔會(huì)影響重測(cè)信度和穩(wěn)定性與等值性系數(shù)（有時(shí)也叫重測(cè)復(fù)本信度）時(shí)間間隔越長(zhǎng)則信度越低。第41頁(yè)，共46頁(yè)，2023年，2月20日，星期四二、提高信度的常用方法適當(dāng)增加測(cè)驗(yàn)長(zhǎng)度。（其本質(zhì)是加大行為樣本容量）注意：加長(zhǎng)部分必須與原測(cè)題同質(zhì)，而且不可無(wú)限加長(zhǎng)。加長(zhǎng)測(cè)驗(yàn)