第四章-測量的信度與效度

第四章測量的信度與效度本章提要：信度的概念與估計(jì)方法提高信度的方法效度及其與信度的關(guān)系效度的種類與估計(jì)方法提高效度的方法第一節(jié)測量信度一、什么是信度1.信度的描述定義信度（reliability）是指測量結(jié)果的穩(wěn)定性和可靠性程度。2.信度的測量學(xué)定義（操作性定義）3.誤差方差與信度的關(guān)系二、信度的估計(jì)方法（一）重測信度（test-retestreliability）1.含義與計(jì)算重測信度是指用同一量表對(duì)同一組被試測試兩次所得結(jié)果的一致程度，其大小等于同一組被試在兩次測驗(yàn)上所得分?jǐn)?shù)的積差相關(guān)系數(shù)。即：2.重測信度使用的條件（1）所測量的心理特質(zhì)必須是穩(wěn)定的（2）遺忘和練習(xí)的效果基本上相互抵消（3）在兩次測試時(shí)間間隔內(nèi)，被試在所要測查的心理特質(zhì)方面沒有其他的學(xué)習(xí)和練習(xí)3.計(jì)算重測信度應(yīng)注意的問題（1）兩次測驗(yàn)時(shí)間間隔要適當(dāng)（2）應(yīng)提高被試的積極性（3）適宜于人格測驗(yàn)與速度測驗(yàn)，不適合于智力等難度測驗(yàn)（二）復(fù)本信度（Alternate-formreliability）1.含義與計(jì)算是指兩個(gè)平行測驗(yàn)測量同一批被試所得結(jié)果的一致程度，其大小等于同一組被試在兩個(gè)復(fù)本測驗(yàn)上所得分?jǐn)?shù)的積差相關(guān)系數(shù)。計(jì)算公式同重測信度。兩個(gè)復(fù)本測驗(yàn)實(shí)施的時(shí)間不同，復(fù)本信度所表達(dá)的含義略有不同。（1）等值性系數(shù)如果兩個(gè)復(fù)本測驗(yàn)是同時(shí)連續(xù)測試的，則稱這種復(fù)本信度為等值性系數(shù)。等值性系數(shù)的大小主要反映著兩個(gè)復(fù)本測驗(yàn)的題目差別帶來的變異情況。（２）穩(wěn)定性與等值性系數(shù)如果兩個(gè)復(fù)本測驗(yàn)是相距一段時(shí)間分兩次測試，則稱這種復(fù)本信度為穩(wěn)定性與等值性系數(shù)。此時(shí)兩個(gè)題目間的差別、兩次施測情境、被試特質(zhì)水平等方面的差別都會(huì)成為測驗(yàn)結(jié)果不一致的原因。2.復(fù)本信度使用的條件（1）兩個(gè)測驗(yàn)必須在項(xiàng)目的內(nèi)容、形式、數(shù)量、難易、時(shí)限、指導(dǎo)語等方面相同或相似。（2）兩次測驗(yàn)的時(shí)間間隔要適當(dāng)。局限：（1）復(fù)本法只能減少而不能排除練習(xí)和記憶效應(yīng)。（2）對(duì)于許多測驗(yàn)來說要建立復(fù)本是非常困難的。（三）分半信度（Split-halfreliability）1.含義與計(jì)算是指將一個(gè)測驗(yàn)分成對(duì)等的兩半后，所有被試在這兩半上得分的一致性。分半信度信度與等值性系數(shù)的解釋一樣，即可以把對(duì)等的兩半測驗(yàn)看成是最短時(shí)距內(nèi)施測的兩個(gè)平行測驗(yàn)。分半信度描述的是兩半題目間的一致性，所以也叫內(nèi)部一致性系數(shù)。注意題目分半的方法：按題號(hào)奇偶性分半、按題目難度分半、按題目內(nèi)容分半等。計(jì)算方法與復(fù)本信度類似，但被試在兩半測驗(yàn)上得分的相關(guān)系數(shù)只是半個(gè)測驗(yàn)的信度，所以必須用斯皮爾曼—布朗公式加以校正：2.使用的前提條件和范圍分半信度通常是在只能施測一次或沒有復(fù)本的情況下使用。其中使用斯皮爾曼—布朗公式時(shí)要求全體被試在兩半測驗(yàn)分?jǐn)?shù)的變異數(shù)相等。當(dāng)測驗(yàn)無法分成對(duì)等的兩半時(shí)，無法使用。（四）同質(zhì)性信度（Homogeneityreliability）1.含義同質(zhì)性信度也叫內(nèi)部一致性系數(shù)，它是測驗(yàn)內(nèi)部所有題目間的一致性程度。這里的一致性有兩種含義：一是所有題目都測的是同一種心理特質(zhì)，二是所有題目得分之間都具有較高的正相關(guān)。同質(zhì)性信度就是一個(gè)測驗(yàn)所測內(nèi)容或特質(zhì)的相同程度。實(shí)際上α系數(shù)是所有可能分半信度的平均值，但它是測驗(yàn)信度的一個(gè)下界值，即α系數(shù)值大，測量信度必然高，但α系數(shù)值小，卻不能判斷測量信度不高。例題：某態(tài)度量表共７道題目，100個(gè)被試在各題上得分的方差分別是0.81,0.82,0.80,0.86,0.88,0.79,0.89,測驗(yàn)總分的方差是26.00,計(jì)算該測量的信度。（五）評(píng)分者信度（Scorerreliability）1.含義與計(jì)算評(píng)分者信度指的是多個(gè)評(píng)分者給同一批人的答卷進(jìn)行評(píng)分的一致性程度。對(duì)于主觀試題，不同的評(píng)分者給出的分?jǐn)?shù)是不等的，這樣會(huì)造成誤差，如何降低評(píng)分者信度是心理測量的重要任務(wù)之一。當(dāng)評(píng)分者人數(shù)為2時(shí)，評(píng)分者信度等于兩個(gè)評(píng)分者給同一批被試答卷所給分?jǐn)?shù)的相關(guān)系數(shù)。如果是多個(gè)評(píng)分者，評(píng)分者信度采用肯德爾和諧系數(shù)進(jìn)行估計(jì)。三、信度的作用（一）評(píng)價(jià)測驗(yàn)信度是測量過程中所存在的隨機(jī)誤差大小的反映。信度低，測量隨機(jī)誤差大，測量結(jié)果就會(huì)與真分?jǐn)?shù)發(fā)生較大偏離。信度是衡量一個(gè)測驗(yàn)好壞的重要指標(biāo)之一，測驗(yàn)的信度達(dá)到多少才可以接受呢？一般來講，能力與成就測驗(yàn)的信度應(yīng)該在0.90以上，人格測量信度系數(shù)應(yīng)該在0.80以上。測量中的系統(tǒng)誤差與信度無關(guān)。（二）解釋分?jǐn)?shù)1.解釋個(gè)人測驗(yàn)分?jǐn)?shù)的意義從理論上講，一個(gè)人的真分?jǐn)?shù)本來是用同一測驗(yàn)對(duì)他反復(fù)施測所得的平均值，其誤差則是這些實(shí)測值的標(biāo)準(zhǔn)差。但實(shí)際上，這是做不到的。實(shí)際的做法是用一個(gè)團(tuán)體（人數(shù)足夠多）兩次施測得結(jié)果來代替對(duì)同一個(gè)人的反復(fù)施測，以估計(jì)測量誤差的變異數(shù)。此時(shí)每個(gè)人兩次測量的分?jǐn)?shù)之差構(gòu)成一個(gè)新的分布，這個(gè)分布的標(biāo)準(zhǔn)差就是測量的標(biāo)準(zhǔn)誤，它是此次測量中誤差大小的客觀指標(biāo)，有了這一指標(biāo)，就可以對(duì)團(tuán)體中任何一個(gè)人的測驗(yàn)成績做出恰當(dāng)?shù)慕忉尅?．不同測驗(yàn)分?jǐn)?shù)的比較四、影響測量信度的主要因素測量信度是測量過程中隨機(jī)誤差大小的反映，隨機(jī)誤差大，信度就低，隨機(jī)誤差小，信度就高。因此，在測量過程中凡是能引起測量隨機(jī)誤差的因素都會(huì)影響測量信度。影響信度的幾種主要因素為：（一）被試方面就單個(gè)被試而言，其身心健康狀況、應(yīng)試動(dòng)機(jī)、注意水平、作答態(tài)度等會(huì)影響測量信度。就團(tuán)體而言，團(tuán)體的異質(zhì)程度與分?jǐn)?shù)的分布密切相關(guān)，一個(gè)團(tuán)體越是異質(zhì)，其分?jǐn)?shù)分布范圍越大，計(jì)算出來的信度系數(shù)值越高，這樣會(huì)高估真正的信度值。當(dāng)團(tuán)體內(nèi)部水平相差不大（同質(zhì)）時(shí)，其得分分布必然會(huì)狹窄，以相關(guān)為基礎(chǔ)計(jì)算出來的信度值必然小，可能會(huì)低估真正的信度值。此外若團(tuán)體的平均數(shù)太高或太低，同樣使測驗(yàn)的總分分布變窄，低估測驗(yàn)的真正信度。（二）主試者方面就主試者而言，若不按指導(dǎo)手冊(cè)中的規(guī)定施測，或故意制造緊張氣氛，或給考生一定的暗示、協(xié)助等，測量信度會(huì)大大降低。就閱卷評(píng)分者而言，若評(píng)分標(biāo)準(zhǔn)掌握不一，或前后標(biāo)準(zhǔn)不統(tǒng)一，甚至隨心所欲，則也會(huì)降低測量信度。（三）施測情境方面實(shí)施測驗(yàn)時(shí)，環(huán)境是否安靜，光線和通風(fēng)狀況是否良好，所需設(shè)備是否齊全，桌面是否合乎要求等都可能影響到測量信度。（四）測量工具方面測量的取樣、測驗(yàn)的長度、難度等是影響測量信度的主要因素或關(guān)鍵因素。一般來說，測驗(yàn)越長，信度值越高。這是因?yàn)椋簻y驗(yàn)加長，能夠改進(jìn)項(xiàng)目取樣的代表性，從而能夠更好地反映受測者的真實(shí)水平。測驗(yàn)的項(xiàng)目越多，每個(gè)項(xiàng)目上得隨機(jī)誤差會(huì)相互抵消。測驗(yàn)太難或太容易，都會(huì)降低測驗(yàn)的信度。（五）兩次施測之間的時(shí)間間隔計(jì)算重測信度、穩(wěn)定性與等值性系數(shù)時(shí)，兩次測驗(yàn)相隔時(shí)間越短，其信度值可能會(huì)越大；兩次測驗(yàn)相隔時(shí)間越長，其信度值可能會(huì)越小。五、提高測量信度的常用方法（一）適當(dāng)增加測驗(yàn)的長度增加新項(xiàng)目必須與原試卷中的所有項(xiàng)目同質(zhì)，新增項(xiàng)目必須適度。（二）使測驗(yàn)中題目的難度接近正態(tài)分布，并控制在中等難度（三）努力提高測驗(yàn)試題的區(qū)分度（四）選取適當(dāng)?shù)谋辉噲F(tuán)體（五）主試者嚴(yán)格按照要求去做

第二節(jié)測量效度一、什么是效度（validity）（一）效度的概念效度是指一個(gè)測驗(yàn)或量表實(shí)際能測出其所要測的心理特質(zhì)的程度。或者說實(shí)測結(jié)果與所要測查的結(jié)果的吻合或一致程度。例如：一個(gè)小學(xué)數(shù)學(xué)測驗(yàn)的成績?nèi)敉瑫r(shí)受到數(shù)學(xué)能力和語文能力（讀懂題意的能力）的影響，測試結(jié)果成績低，就不能認(rèn)為實(shí)際所要測的數(shù)學(xué)能力這一心理特質(zhì)水平不高。關(guān)于效度應(yīng)該注意以下幾個(gè)方面：1.效度是一個(gè)相對(duì)的概念，其相對(duì)性表現(xiàn)在：（1）效度是相對(duì)于測量目的而言的。一個(gè)測驗(yàn)或量表是否有效主要看它是否達(dá)到了測量的目的。（2）心理特質(zhì)是比較隱蔽的特性，心理測量不可能百分之百的準(zhǔn)確，只能達(dá)到一定的準(zhǔn)確度。2.效度是隨機(jī)誤差和系統(tǒng)誤差的綜合反映。3.判斷一個(gè)測量是否有效要從多方面收集證據(jù)。

（二）效度的測量學(xué)定義二、效度與信度的關(guān)系三、效度的估計(jì)由于測量效度是就測量的結(jié)果達(dá)到測量目的的程度而言的，所以測量效度在很大程度上取決于人們對(duì)于測量目的的解釋。效度的種類很多，分類方法也有所不同。目前被廣泛采用的是弗蘭士（J.W.French）和米希爾（B.Michel）提出的分類方法：他們將效度分為內(nèi)容效度、結(jié)構(gòu)效度（構(gòu)想效度）和效標(biāo)效度（實(shí)證效度）。（一）內(nèi)容效度（contentvalidity）1.內(nèi)容效度的含義及其應(yīng)用的范圍內(nèi)容效度是指一個(gè)測驗(yàn)實(shí)際測到的內(nèi)容與所要測的內(nèi)容之間的吻合程度。估計(jì)一個(gè)測驗(yàn)的內(nèi)容效度就是確定該測驗(yàn)在多大程度上代表了所要測量的心理特質(zhì)?；蛘哒f內(nèi)容效度就是測驗(yàn)的測題對(duì)測驗(yàn)內(nèi)容范圍的代表程度。一個(gè)測驗(yàn)要有好的內(nèi)容效度必須滿足以下兩個(gè)條件：（1）確定好測驗(yàn)內(nèi)容的范圍，并使得測驗(yàn)的全部項(xiàng)目均在此范圍內(nèi)。（2）確定好行為樣本及其不同行為樣本項(xiàng)目的比例。2.確定內(nèi)容效度的方法（1）專家判斷的方法內(nèi)容效度的確定方法主要是邏輯分析的方法。其工作思路是請(qǐng)專家對(duì)測驗(yàn)題目與原定內(nèi)容范圍的吻合程度作出判斷。步驟如下：①明確測驗(yàn)?zāi)康募皽y驗(yàn)內(nèi)容的范圍②確定每個(gè)題目所測的內(nèi)容，并與測驗(yàn)編制者所列的雙向細(xì)目表對(duì)照③制訂評(píng)定量表，考察題目對(duì)所定義的內(nèi)容范圍的覆蓋率、判斷題目難度與能力要求之間的差異等。（2）復(fù)本法（3）重測法（4）經(jīng)驗(yàn)法3.內(nèi)容效度的應(yīng)用內(nèi)容效度主要應(yīng)用于成就測驗(yàn)以及職業(yè)選拔和分類測驗(yàn)。在這類測驗(yàn)中，測驗(yàn)內(nèi)容是實(shí)際工作所需要的知識(shí)和技能。使用內(nèi)容效度要注意與表面效度（surfacevalidity）的區(qū)別。表面效度是指一個(gè)測驗(yàn)在使用者和被試看來，直覺地認(rèn)為它在測量什么，是否測到了測驗(yàn)所要測量的內(nèi)容。表面效度不是效度。（二）結(jié)構(gòu)效度（constructvalidity）1.結(jié)構(gòu)效度的含義、特點(diǎn)與應(yīng)用范圍結(jié)構(gòu)效度是指一個(gè)測驗(yàn)實(shí)際測到所要測量的理論結(jié)構(gòu)和特質(zhì)的程度，或者說測驗(yàn)分?jǐn)?shù)能夠說明測量的理論結(jié)構(gòu)和特質(zhì)的程度。結(jié)構(gòu)效度有如下特點(diǎn)：

（1）結(jié)構(gòu)效度首先取決于事先假定的心理特質(zhì)的結(jié)構(gòu)理論（2）當(dāng)實(shí)際測量的資料無法證實(shí)事先的理論假設(shè)時(shí)，并不一定就表明該測驗(yàn)結(jié)構(gòu)效度不高。（3）結(jié)構(gòu)效度通過測量什么、不測量什么的證據(jù)積累起來給以確定的，因而不可能有單一的數(shù)量指標(biāo)來描述結(jié)構(gòu)效度。結(jié)構(gòu)效度主要應(yīng)用于智力測驗(yàn)、人格測驗(yàn)等一些心理測驗(yàn)方面。2.結(jié)構(gòu)效度的確定確定結(jié)構(gòu)效度的基本程序第一，對(duì)所研究的心理特質(zhì)的結(jié)構(gòu)進(jìn)行界定第二，依據(jù)理論框架，提出可能的假設(shè)第三，收集數(shù)據(jù)，驗(yàn)證假設(shè)確定結(jié)構(gòu)效度的具體方法（１）測驗(yàn)內(nèi)法研究測驗(yàn)的內(nèi)部結(jié)構(gòu)，如測驗(yàn)的內(nèi)容與題目間的相關(guān)來分析測驗(yàn)的結(jié)構(gòu)效度。①確定測驗(yàn)的內(nèi)容效度：對(duì)于“語文能力”的測驗(yàn)，語文能力是對(duì)詞匯下定義、對(duì)語言進(jìn)行類比推理和文章篇句中正確運(yùn)用文字