心理測量第四章測量效度

心理測量第四章測量效度導(dǎo)學(xué)

效度是科學(xué)測量工具最重要的必備條件，一個(gè)測驗(yàn)若無效度，則無論具有其他任何優(yōu)點(diǎn)，一律無法發(fā)揮其真正的功能。因此，選用標(biāo)準(zhǔn)測驗(yàn)或自行編制測驗(yàn)，必須首先評(píng)鑒其效度。高效度是一個(gè)良好測驗(yàn)最重要的特性。心理測量第四章測量效度通過這一章的學(xué)習(xí)，可解決四個(gè)問題一、明確效度的理論定義即操作定義；二、清楚信度與效度之間的關(guān)系；(重點(diǎn))三、掌握三種效度的定義、性質(zhì)及估計(jì)方法；(重點(diǎn))四、了解影響效度的因素，在效度估計(jì)時(shí)盡量避免由此造成的誤差。心理測量第四章測量效度內(nèi)容細(xì)目第一節(jié)效度的性質(zhì)第二節(jié)內(nèi)容效度第三節(jié)構(gòu)想效度第四節(jié)效標(biāo)效度第五節(jié)影響效度的因素心理測量第四章測量效度第一節(jié)效度的性質(zhì)一、效度的定義二、效度的性質(zhì)三、效度的種類四、效度和信度的關(guān)系心理測量第四章測量效度一、效度的定義效度指的是測量的準(zhǔn)確性，即一個(gè)測驗(yàn)或量具能夠測量出其所要測量東西的程度。效度所要回答的基本問題是：一個(gè)測驗(yàn)測量什么特性？它對(duì)所要測量的特性測得有多準(zhǔn)？心理測量第四章測量效度在測量理論中，效度被定義為：在一列測量中，與測量目的有關(guān)的真實(shí)變異數(shù)（由所要測量的變因引起的有效變異）與總變異數(shù)（實(shí)得變異數(shù)）的比率，即效度=

SV2/Sx2

式中SV2代表有效變異數(shù)，

Sx2代表的是分?jǐn)?shù)的變異數(shù)，即總變異數(shù)。心理測量第四章測量效度一個(gè)測驗(yàn)的效度表明，在一組測驗(yàn)分?jǐn)?shù)中，有多大比例的變異數(shù)是由測驗(yàn)所要測量的變因引起的。心理測量第四章測量效度二、效度的性質(zhì)（一）效度是針對(duì)測驗(yàn)結(jié)果的即測驗(yàn)效度是“測驗(yàn)結(jié)果”的有效性程度。（二）效度是針對(duì)某種特定的測驗(yàn)?zāi)康牡男Ф仁轻槍?duì)某種特殊用途而言的，不具普遍性。所以在描述和評(píng)價(jià)一個(gè)測驗(yàn)的效度時(shí)，必須考慮這一測驗(yàn)的特殊用途，指明該測驗(yàn)對(duì)測量什么有效。心理測量第四章測量效度（三）效度只有程度上的差異效度只有程度上的差別，而不是“全”或“無”的差別。從上述后兩條性質(zhì)可看出，效度與信度一樣，是個(gè)相對(duì)的概念，即相對(duì)于某種特殊的用途，具有較高或較低的效度。心理測量第四章測量效度三、效度的種類內(nèi)容效度所涉及的問題是，從所感興趣的行為總體中取樣的測驗(yàn)項(xiàng)目，其代表性如何。構(gòu)想效度是指一個(gè)測驗(yàn)對(duì)某種心理學(xué)所涉及的抽象概念或心理特質(zhì)測得如何。效標(biāo)效度又稱實(shí)證效度或準(zhǔn)則關(guān)聯(lián)效度，指的是測驗(yàn)對(duì)我們所感興趣的外在行為能夠做出多好的預(yù)測。這種外在行為是衡量測驗(yàn)是否有效的標(biāo)準(zhǔn)，簡稱效標(biāo)。心理測量第四章測量效度四、效度與信度的關(guān)系（一）高信度是高效度的必要而非充分的條件（二）測驗(yàn)的效度受它的信度制約信度系數(shù)的平方根是效度系數(shù)的最高限度心理測量第四章測量效度第二節(jié)內(nèi)容效度一、內(nèi)容效度的性質(zhì)二、確定內(nèi)容效度的方法三、內(nèi)容效度的特點(diǎn)四、內(nèi)容效度的應(yīng)用與評(píng)價(jià)心理測量第四章測量效度一、內(nèi)容效度的性質(zhì)內(nèi)容效度指的是測驗(yàn)題目對(duì)欲測的有關(guān)內(nèi)容或行為范圍取樣的適當(dāng)性，從而確定測驗(yàn)是否是所欲測量的行為領(lǐng)域的代表性取樣。即測驗(yàn)用的測題對(duì)整個(gè)測驗(yàn)內(nèi)容范圍的代表性程度。由于這種測驗(yàn)的效度主要與測驗(yàn)內(nèi)容有關(guān)，所以稱內(nèi)容效度。心理測量第四章測量效度一個(gè)測驗(yàn)要具有內(nèi)容效度必須具備兩個(gè)條件：首先，要有定義完好的內(nèi)容范圍，并使測驗(yàn)的全部項(xiàng)目均在此范圍內(nèi)。所謂內(nèi)容范圍可以是具體知識(shí)或技能，也可以是復(fù)雜行為。心理測量第四章測量效度其次，測驗(yàn)題目應(yīng)是所界定的內(nèi)容范圍的代表性取樣。所謂代表性取樣，意味著根據(jù)材料與技能的重要性來選題目，而非隨機(jī)取樣，以便使選出的題目能包含所測內(nèi)容范圍的主要方面，并使各方面題目比例適當(dāng)。心理測量第四章測量效度二、確定內(nèi)容效度的方法（一）專家判斷為了確定一個(gè)測驗(yàn)是否有內(nèi)容效度，最常用的方法是請(qǐng)有關(guān)專家對(duì)測驗(yàn)題目與原定內(nèi)容范圍的符合性作出判斷，看測驗(yàn)的題目是否代表了規(guī)定的內(nèi)容。由于這種衡量效度的方法是一個(gè)邏輯分析的過程，所以又稱作邏輯效度。心理測量第四章測量效度

為了使內(nèi)容效度的確定更為客觀，彌補(bǔ)不同專家對(duì)同一測驗(yàn)內(nèi)容效度判斷可能不一致。可采用以下幾個(gè)步驟：

1．定義好測驗(yàn)內(nèi)容的總體范圍，并描繪出有關(guān)知識(shí)與技能及所用材料的來源；

2．劃分細(xì)綱目，并根據(jù)重要性規(guī)劃好各個(gè)綱目的加權(quán)比例，做出盡可能詳盡的描述；心理測量第四章測量效度3．確定每道題所測的知識(shí)與技能，將自己的分類與測驗(yàn)編制者的綱目作比較；

4．制定評(píng)定量表來測量測驗(yàn)的整個(gè)效度，如測驗(yàn)包括的內(nèi)容、技能、材料的重要程度、題目對(duì)內(nèi)容的適用性等。由每位評(píng)分者在評(píng)定量表上作出判斷，總估獲得測驗(yàn)內(nèi)容效度的證據(jù)。心理測量第四章測量效度（二）統(tǒng)計(jì)分析除了描述性語言外，內(nèi)容效度的確定也可采用一些統(tǒng)計(jì)分析方法。例如計(jì)算兩個(gè)評(píng)分者之間評(píng)定的一致性（評(píng)分者信度）作為內(nèi)容效度指標(biāo)，雖然考察的是評(píng)分者的判斷信度，但由于來自兩個(gè)獨(dú)立的評(píng)判者，因此符合程度越高越能反映測驗(yàn)的內(nèi)容效度。心理測量第四章測量效度克倫巴赫提出，內(nèi)容效度可由一組被試在獨(dú)立取自同樣內(nèi)容范圍的兩個(gè)測驗(yàn)復(fù)本上得分的相關(guān)來作數(shù)量的估計(jì)。若相關(guān)低，說明二者至少有一個(gè)缺乏內(nèi)容效度；若相關(guān)高，一般可推論測驗(yàn)有內(nèi)容效度。心理測量第四章測量效度另外，再測法也可用于內(nèi)容效度的評(píng)估。先將測驗(yàn)施測于被試，由于被試對(duì)測驗(yàn)內(nèi)容了解甚少，因而得分較低，然后對(duì)他們進(jìn)行教學(xué)訓(xùn)練，結(jié)束時(shí)再測一次，如果成績提高很大，則說明測驗(yàn)對(duì)于教學(xué)具有較高的內(nèi)容效度。心理測量第四章測量效度（三）經(jīng)驗(yàn)推測法這種方法是通過實(shí)踐檢驗(yàn)效度的。如兒童發(fā)展量表是否有效，通過對(duì)不同年齡階段兒童的調(diào)查，分析其結(jié)果，觀察不同年齡階段兒童對(duì)每個(gè)題目的反應(yīng)是否依年齡的發(fā)展而有所不同，若通過率隨年齡的增加而增加，就可推測該測驗(yàn)有內(nèi)容效度。心理測量第四章測量效度三、內(nèi)容效度的特點(diǎn)

（一）內(nèi)容效度的特定性一般說來測驗(yàn)使用者總是將測驗(yàn)應(yīng)用于特定情況。他在每種情況下應(yīng)用測驗(yàn)時(shí)，都是要測量他認(rèn)為重要的行為。從這一觀點(diǎn)來看，內(nèi)容效度是由特定情況決定的。（二）要求內(nèi)容效度的測驗(yàn)，并不一定要求測驗(yàn)為同質(zhì)。心理測量第四章測量效度（三）內(nèi)容效度常與表面效度搞混表面效度是在受測者、使用測驗(yàn)的行政人員及其他沒有受過專門訓(xùn)練的觀察者看來這個(gè)測驗(yàn)是否有效，也就是從表面上看起來，測驗(yàn)題目與測量目的是否一致。表面效度是由外行對(duì)測驗(yàn)做表面上的檢查確定的有效性，而內(nèi)容效度是由夠資格的判斷者（專家）詳盡地、系統(tǒng)地對(duì)測驗(yàn)作評(píng)價(jià)而建立的。雖然二者都是根據(jù)測驗(yàn)內(nèi)容做出的主觀判斷，但判斷的標(biāo)準(zhǔn)不同。心理測量第四章測量效度

表面效度不是效度的客觀指標(biāo)，它雖然不能保證測量的正確性，但能對(duì)受測者的動(dòng)機(jī)產(chǎn)生影響，因而也會(huì)影響到效度。所以編制測驗(yàn)時(shí)，表面效度是一個(gè)必須考慮的特性。最高行為測驗(yàn)要求有較高的表面效度；典型行為測驗(yàn)卻要求有較低的表面效度。心理測量第四章測量效度四、內(nèi)容效度的應(yīng)用與評(píng)價(jià)內(nèi)容效度對(duì)于學(xué)績測驗(yàn)、各種人員選拔和安置的職業(yè)測驗(yàn)等都是適用的。但對(duì)于能力傾向測驗(yàn)和人格測驗(yàn)一般是不適用的。內(nèi)容效度的主要缺點(diǎn)是缺乏理想的數(shù)量指標(biāo)，因而妨礙了信息交流和各測驗(yàn)間的相互比較。心理測量第四章測量效度第三節(jié)構(gòu)想效度一、構(gòu)想效度的定義二、確定構(gòu)想效度的方法（一）測驗(yàn)內(nèi)方法（二）測驗(yàn)間方法（三）研究測驗(yàn)的效標(biāo)效度（四）實(shí)驗(yàn)操作法三、對(duì)構(gòu)想效度的評(píng)價(jià)心理測量第四章測量效度

一、構(gòu)想效度的定義構(gòu)想效度的概念是1954年提出的，是處理效度的一種新方法。在心理學(xué)上，所謂構(gòu)想是指用來解釋人類行為的理論框架或心理特質(zhì)，它是心理學(xué)中抽象的假設(shè)性的概念、特性或變量。如智力、焦慮、內(nèi)向、動(dòng)機(jī)、創(chuàng)造性等都可稱為構(gòu)想。心理測量第四章測量效度構(gòu)想效度主要涉及的是心理學(xué)的理論概念問題，是指測驗(yàn)對(duì)某一理論上的構(gòu)想或特質(zhì)測量的程度，即測驗(yàn)的結(jié)果是否能證實(shí)或解釋某一理論的假設(shè)、術(shù)語或構(gòu)想，解釋的程度如何。應(yīng)解決好三個(gè)問題：一、一個(gè)測驗(yàn)測量什么心理結(jié)構(gòu)？二、對(duì)這構(gòu)想測得有多好？三、測驗(yàn)分?jǐn)?shù)中有多少比例的變異是來自測驗(yàn)所欲測之構(gòu)想？心理測量第四章測量效度二、確定構(gòu)想效度的方法構(gòu)想效度沒有單一的效度指標(biāo)，要從多方面的資料來源，經(jīng)過長期的、艱苦的搜集和積累證據(jù)資料的過程，才能逐步驗(yàn)證測驗(yàn)的構(gòu)想效度。常用于搜集構(gòu)想效度資料的方法有如下幾種：心理測量第四章測量效度（一）測驗(yàn)內(nèi)方法這類方法主要是通過研究測驗(yàn)內(nèi)部構(gòu)造（如測驗(yàn)的內(nèi)容、對(duì)題目作反應(yīng)的過程、以及題目間或分測驗(yàn)間的關(guān)系）來分析測驗(yàn)的構(gòu)想效度。心理測量第四章測量效度主要包括：

1．測驗(yàn)的內(nèi)容效度可以作為構(gòu)想效度的證據(jù)。對(duì)測驗(yàn)所取樣的內(nèi)容或行為范圍確定后，就可利用這些資料來定義測驗(yàn)所要測的構(gòu)想效度的性質(zhì)。即確定了測驗(yàn)的內(nèi)容效度便提供了有關(guān)構(gòu)想效度的證據(jù)。心理測量第四章測量效度2．分析被試對(duì)題目作反應(yīng)的特點(diǎn)，可以作為構(gòu)想效度的證據(jù)。通過觀察受測者的操作，詢問他如何處理題目，以及必要的統(tǒng)計(jì)分析，可發(fā)現(xiàn)究竟哪些變量影響了反應(yīng)，因而可確定測驗(yàn)是否測量了所要測的特質(zhì)和心理結(jié)構(gòu)。例：“當(dāng)事情不順利時(shí)，我常發(fā)怒”題目除了反映被試的行為外，也包括了社會(huì)贊許和道德評(píng)價(jià)。此類題太多，構(gòu)思效度不會(huì)太高。心理測量第四章測量效度3．考察測驗(yàn)的同質(zhì)性可以為評(píng)估構(gòu)想效度提供證據(jù)。這種方法以測驗(yàn)的內(nèi)在一致性系數(shù)（比如庫德—理查遜的K-R20、K-R21公式以及α系數(shù)等）為指標(biāo)，判斷測驗(yàn)測的是單一性質(zhì)還是多種性質(zhì)，看它與所預(yù)期的結(jié)構(gòu)的相符度，也就是測驗(yàn)的同質(zhì)性問題，從測驗(yàn)的一致性就可以為構(gòu)想效度提供證據(jù)。心理測量第四章測量效度（二）測驗(yàn)間方法通過研究幾個(gè)測驗(yàn)的相互關(guān)系，找出它們的共同特點(diǎn)，進(jìn)而推斷出所測的共同特質(zhì)是什么，便可確定這些測驗(yàn)是否有構(gòu)想效度。具體方法如下：心理測量第四章測量效度1．相容效度確定構(gòu)想效度最簡單的方法。計(jì)算受測者在新測驗(yàn)上的分?jǐn)?shù)與另一個(gè)效度已知的同類測驗(yàn)上的分?jǐn)?shù)之間的相關(guān)。若相關(guān)高，說明兩個(gè)測驗(yàn)所測的是相同的特質(zhì)。心理測量第四章測量效度2．會(huì)聚效度（求同效度）如果兩個(gè)測驗(yàn)是測量同一特質(zhì)的，即使使用不同的方法進(jìn)行測量，它們之間的相關(guān)也應(yīng)該是高的。心理測量第四章測量效度3．區(qū)分效度（求異效度）一個(gè)有效的測驗(yàn)不僅應(yīng)與其他測同一構(gòu)想的測驗(yàn)有關(guān)，而且還必須與測量不同構(gòu)想的測驗(yàn)無相關(guān)。換言之，測驗(yàn)要有效，必須測量與其他變量無關(guān)的獨(dú)立的構(gòu)想。心理測量第四章測量效度

方法1方法2方法3

特質(zhì)A1B1C1A2B2C2A3B3C3

A1.90B1.53.89C1.35.40.81

A2.57.25.10.94B2.21.59.09.63.91C2.13.14.48.56.53.83

A3.52.23.11.68.48.33.94B3.22.60.14.40.67.33.66.90C3.10.12.48.32.34.55.61.62.87方法1方法2方法3心理測量第四章測量效度4．因素效度建立構(gòu)想效度的常用方法是因素分析。通過對(duì)一組測驗(yàn)進(jìn)行因素分析，可以找到影響測驗(yàn)分?jǐn)?shù)的共同因素。這種因素可能就是我們要測量的心理特質(zhì)（構(gòu)想）。每個(gè)測驗(yàn)在共同因素上的負(fù)荷量，亦即測驗(yàn)與各因素的相關(guān)，稱作測驗(yàn)的因素效度。而在測驗(yàn)分?jǐn)?shù)的總變異數(shù)中來自有關(guān)因素的比例，便可作為構(gòu)想效度的指標(biāo)。心理測量第四章測量效度（三）研究測驗(yàn)的效標(biāo)效度若一個(gè)測驗(yàn)有理想的效標(biāo)效度，那么該測驗(yàn)所預(yù)測的效標(biāo)的性質(zhì)與種類就可作為分析測驗(yàn)構(gòu)想效度的指標(biāo)。另一種證實(shí)效標(biāo)效度的方法是心理特質(zhì)的發(fā)展變化。心理測量第四章測量效度（四）實(shí)驗(yàn)操作法觀察實(shí)驗(yàn)前和實(shí)驗(yàn)后分?jǐn)?shù)的差異也是驗(yàn)證構(gòu)想效度的方法。根據(jù)所要測量的特質(zhì)的理論構(gòu)想，我們可以預(yù)測在某種情況下或經(jīng)過某種訓(xùn)練，被試的測驗(yàn)得分將會(huì)有所變化。如果預(yù)測得到證實(shí)，那就給構(gòu)想效度提供了證據(jù)。心理測量第四章測量效度三、對(duì)構(gòu)想效度的評(píng)價(jià)

總的看來，構(gòu)想效度的最大貢獻(xiàn)是把著眼點(diǎn)放在提出假設(shè)、檢驗(yàn)假設(shè)上，使測驗(yàn)有了更廣闊的發(fā)展前景。構(gòu)想效度的主要缺點(diǎn)是：（一）有些構(gòu)想概念模糊，缺乏一致的定義。由于其定義不同，研究結(jié)果無法比較；心理測量第四章測量效度（二）確定效度時(shí)沒有明確的操作步驟與程序，因此當(dāng)預(yù)測失敗或假設(shè)得不到證實(shí)時(shí)，我們無法知道失敗的確切原因；（三）構(gòu)想效度是通過對(duì)測驗(yàn)測量什么、不測量什么的證據(jù)加以累計(jì)確定的，因而沒有單一的數(shù)量指標(biāo)來描述有效的程度。心理測量第四章測量效度第四節(jié)效標(biāo)效度一、效標(biāo)效度的定義二、效標(biāo)三、確定效標(biāo)效度的方法心理測量第四章測量效度一、效標(biāo)效度的定義

所謂效標(biāo)效度，又稱實(shí)證或準(zhǔn)則關(guān)聯(lián)效度，是指一個(gè)測驗(yàn)對(duì)處于特定情境中的個(gè)體行為進(jìn)行預(yù)測時(shí)的有效性，也就是對(duì)于我們所感興趣的行為能夠預(yù)測得怎么樣。心理測量第四章測量效度

這里被預(yù)測的行為是檢驗(yàn)測驗(yàn)效度的標(biāo)準(zhǔn)，簡稱效標(biāo)（準(zhǔn)則）。由于這種效度是看測驗(yàn)對(duì)效標(biāo)預(yù)測的如何，所以稱效標(biāo)效度。這種效度需在實(shí)踐中檢驗(yàn)，所以又稱實(shí)證效度。根據(jù)效標(biāo)資料搜集的時(shí)間，效標(biāo)效度又可分為同時(shí)效度和預(yù)測效度。心理測量第四章測量效度

同時(shí)效度的效標(biāo)資料可以和測驗(yàn)分?jǐn)?shù)同時(shí)搜集。此種效度通常與心理特性的評(píng)估及診斷有關(guān)。預(yù)測效度的效標(biāo)資料需過一段時(shí)間才可搜集到。此種效度對(duì)人員甄選、分類與安置工作甚為重要。心理測量第四章測量效度二、效標(biāo)

（一）效標(biāo)定義所謂效標(biāo)，即檢驗(yàn)測驗(yàn)效度的參照標(biāo)準(zhǔn)，指的是可以直接而且獨(dú)立測量特性的變量。通常是以一種測驗(yàn)分?jǐn)?shù)或活動(dòng)來表示。心理測量第四章測量效度（二）效標(biāo)測量的條件效標(biāo)要為效度的驗(yàn)證提供參考標(biāo)準(zhǔn)，它的確定與測量必須科學(xué)才能為效度的驗(yàn)證指明方向。故必須具備以下幾個(gè)條件：

1．有效性

2．可靠性

3．客觀性

4．實(shí)用性心理測量第四章測量效度（三）效標(biāo)的特性

1．多樣性

2．復(fù)雜性

3．特殊性

4．時(shí)間性心理測量第四章測量效度三、確定效標(biāo)效度的方法

（一）相關(guān)法相關(guān)法是評(píng)估效標(biāo)效度最常用的方法，通常用效標(biāo)系數(shù)來表達(dá)。效度系數(shù)是指測驗(yàn)分?jǐn)?shù)和效標(biāo)分?jǐn)?shù)之間的相關(guān)系數(shù)。心理測量第四章測量效度（二）區(qū)分法（分組法）1．基本思想如果根據(jù)被試在效標(biāo)上的行為表現(xiàn)，將他們分為不同的組別，那么，這些組在預(yù)測分?jǐn)?shù)上也應(yīng)該有顯著性差異。如果這些顯著性差異確實(shí)存在，那么，就說這個(gè)預(yù)測的效度是較高的。這實(shí)