第五章 測量效度

第五章測量效度

第一節(jié)效度概述

第二節(jié)效度的估計

第三節(jié)提高測量效度的方法

第一節(jié)效度的概述一、效度所要回答的問題

二、效度的含義三、效度和信度的關(guān)系四、效度驗證與效度概化

一、效度所要回答的問題

（1）一個測驗測量了什么特性？（2）它對所要測量的特性測得有多準(zhǔn)？二、效度的含義

效度是指測量的有效性，一個測驗實際所能測出其所要測量的心理特質(zhì)的程度。

效度與測驗?zāi)康挠嘘P(guān)的有效SV2和實得SX2

的比值

效度檢驗的實質(zhì)實際的測量結(jié)果測量目標(biāo)

兩者關(guān)系注意：1.效度是一個相對的概念。具有連續(xù)性。

★針對某種特定的測量目的

★只有程度上的差異2.效度是測量的隨機(jī)誤差和系統(tǒng)誤差的綜合反映。3.判斷一個測量是否有效要從多方面搜集證據(jù)。三、信度與效度的關(guān)系1.信度是效度的必要而非充分條件

ST2

SV2SI2SE2Sx2

下面哪種情況不可能存在？高信度，高效度高信度，低效度低信度，高效度低信度，低效度ST2SX2ST2SX2ST2rxyrxx

rxyrxx

rxyrxx

↑↓↑↑↓↓SX22.效度受信度的制約，信度系數(shù)規(guī)定了效度系數(shù)的上限。根據(jù)信度和效度的定義（）可以得到，

四、效度驗證與效度概化效度驗證：收集大量資料和證據(jù)來檢驗效度的工作過程。效度概化：是指在某一種情境中所做的效度研究能否推廣到其他情景。效度概化方法-----交叉效度評定、元分析第二節(jié)效度的估計

1974年美國心理學(xué)會在《教育心理測驗值標(biāo)準(zhǔn)》中將效度分為三大類：

1．內(nèi)容效度（ContentValidity）內(nèi)容效度指測驗實際測到的內(nèi)容與所要測量的內(nèi)容之間的吻合程度。

2．實證效度(CriterionrelatedValidity)

實證效度是指一個測驗對處于特定情景中的個體的行為進(jìn)行估計的有效性

3．結(jié)構(gòu)效度(ConstructValidity)

結(jié)構(gòu)效度是指測驗對于被稱作構(gòu)想的某一理論概念或特質(zhì)測量的程度。一、內(nèi)容效度（一）含義

內(nèi)容效度是指一個測驗實際測到的內(nèi)容與所要測量的內(nèi)容之間的吻合程度。

一個測驗要有內(nèi)容效度必須具備兩個條件：1.要有定義得完好的內(nèi)容范圍

20以內(nèi)的加減法

中小學(xué)生的心理健康的特點和表現(xiàn)。

2.測驗項目應(yīng)是已界定的內(nèi)容范圍的代表性樣本

如果把所有的內(nèi)容視為一個總體，那么測驗項目可以視為一個樣本，這個樣本要具有代表性，這個樣本能夠代表總體的程度就是內(nèi)容效度。內(nèi)容效度與表面效度的區(qū)別1）表面效度是由外行對測驗做表面上的檢查確定的，而內(nèi)容效度是由夠資格的判斷者（專家）詳盡地、系統(tǒng)地對測驗評價而建立的。

例如，MMPI中有這樣的題目：“我的喉嚨里總好象有一塊東西堵著似的?！?）表面效度不是效度的客觀指標(biāo)，但能對受測者的動機(jī)產(chǎn)生影響，因而也會影響到效度。

最高行為測驗要求有較高的表面效度，典型行為測驗卻要求較低的表面效度。（二）估計方法

1.專家判斷法

2.統(tǒng)計法

復(fù)本法

（克龍巴赫法）再測法

內(nèi)容效度比

專家評定法這是一種定性分析的方法，由專家對測驗項目與所涉及的內(nèi)容范圍進(jìn)行符合性判斷。我們以教育測驗為例來說明應(yīng)遵循的程序。1.確定所要測量的全部內(nèi)容范圍。比如要考察某一學(xué)科測驗是否有效度，就要根據(jù)教材和教學(xué)大綱列出這門課程的全部知識點。2.根據(jù)教育目標(biāo)的要求，將測驗?zāi)康木唧w化為不同層次的測驗?zāi)繕?biāo)。教育測驗?zāi)繕?biāo)一般采用布魯姆教育目標(biāo)分類學(xué)中的分類標(biāo)準(zhǔn)，將測驗?zāi)繕?biāo)分成識記、理解、應(yīng)用、分析、綜合、評價六個層次。按不同層次的測驗?zāi)繕?biāo)對知識點進(jìn)行分類。3.確定每一層次目標(biāo)在整個測驗項目中所占的比重。4.編制測驗雙向細(xì)目表。5.請專家對雙向細(xì)目表以及測題是否符合雙向細(xì)目表的內(nèi)容要求、測題的形式是否合適等進(jìn)行評定。6.對測題進(jìn)行必要的修改，直至多數(shù)專家對測驗的內(nèi)容效度感到滿意為止。最后，報告專家評定的情況，這個評定結(jié)果可以作為內(nèi)容效度。無良好的數(shù)量指標(biāo)描述這種符合性的程度；不同專家對同一測驗內(nèi)容效度的判斷可能不一致；不同專家對內(nèi)容范圍會有不同的理解

局限克倫巴赫法克倫巴赫認(rèn)為，內(nèi)容效度可由一組被試在取自同樣內(nèi)容范圍的兩個測驗復(fù)本上得分的相關(guān)來作數(shù)量上的估計。當(dāng)相關(guān)高時，可以推論測驗具有較高的內(nèi)容效度。缺點：如果相關(guān)低，至少一個測驗缺乏內(nèi)容效度，但不能確定哪個測驗缺乏內(nèi)容效度。如果相關(guān)高，也可能兩個測驗存在相同的偏差，兩者效度都不高。再測法在教學(xué)或訓(xùn)練之前施測某一測驗，經(jīng)過一段時間的學(xué)習(xí)或訓(xùn)練后再次施測，如果后測的成績顯著高于前測，則可以認(rèn)為測驗?zāi)芎芎玫胤磻?yīng)學(xué)習(xí)或訓(xùn)練的效果，測驗具有較高的內(nèi)容效度。前測后測

被試經(jīng)過預(yù)測知識的教學(xué)內(nèi)容效度比讓本專業(yè)的專家對取樣的代表性進(jìn)行分析，評價某一測驗項目是否具有代表性，統(tǒng)計出專家中認(rèn)為某一項目能代表所要測量的內(nèi)容范圍的人數(shù)，再用公式計算出內(nèi)容效度之比

式中CVR表示內(nèi)容效度比，ni表示專家中認(rèn)為某項目具有代表性的人數(shù)，N表示參加評定的專家的總?cè)藬?shù)。根據(jù)內(nèi)容效度比，刪除內(nèi)容效度比低的項目。計算全部項目的內(nèi)容效度比的平均數(shù)，作為內(nèi)容效度的指標(biāo)。（三）應(yīng)用和評價內(nèi)容效度適合于測驗所要測量的內(nèi)容總體能夠明確界定的情況。因此尤其適合對成就測驗的效度的考察。內(nèi)容效度對各種用于人員選拔和安置的職業(yè)測驗也是適用的。職業(yè)測驗關(guān)心的是被試是否具有從事某項職業(yè)的知識、技能等，那么要明確某項職業(yè)所需的全部知識和技能，再對這些知識和技能進(jìn)行取樣，取出一個有代表性的樣本。內(nèi)容效度不適合用于能力傾向測驗和人格測驗。缺點：缺乏理想的數(shù)量指標(biāo)，因而妨礙了信息交流和各測驗的相互比較。二、實證效度（效標(biāo)關(guān)聯(lián)效度）（一）效標(biāo)關(guān)聯(lián)效度的含義、種類及作用

定義：是指一個測驗對處于特定情景中的個體的行為進(jìn)行估計的有效性。以實踐的效果作為檢驗標(biāo)準(zhǔn)被估計的行為是檢驗測驗效度的標(biāo)準(zhǔn)，簡稱效標(biāo)。根據(jù)效標(biāo)資料搜集的時間差異，實證效度可以分成同時效度和預(yù)測效度兩種。有人把二種效度都稱為預(yù)測效度，并把測驗稱作預(yù)測源。

（二）效標(biāo)

效標(biāo)就是衡量一個測驗是否有效的外在標(biāo)準(zhǔn)，它是獨立于測驗并可以從實踐中直接獲得的我們所感興趣的行為。如，我們可以用飛行員的工作表現(xiàn)作為驗證飛行員選拔測驗的效標(biāo)用于心理病理測量的人格量表可以用醫(yī)生的臨床診斷結(jié)果作為效標(biāo)效標(biāo)污染

效標(biāo)污染是指由于評定者知道被試測驗的原分?jǐn)?shù)而使被試的效標(biāo)分?jǐn)?shù)受到影響的情況。

最好的預(yù)防方法是不讓評分者看到原來測驗的分?jǐn)?shù)，保證效標(biāo)分?jǐn)?shù)和原測驗分?jǐn)?shù)的獨立性。觀念效標(biāo)與效標(biāo)測量阿斯丁把效標(biāo)分為兩個層次：一是理論描述水平的“觀念效標(biāo)”，二是操作定義水平的“效標(biāo)測量”。理論定義與操作定義。所謂觀念效標(biāo)指從概念上確定所要選擇的測驗效標(biāo)是什么。

。常用的觀念效標(biāo)有：實際工作表現(xiàn)、學(xué)業(yè)成就、臨床診斷、行為的等級評定、專門的訓(xùn)練成績、對團(tuán)體的區(qū)分能力以及其他現(xiàn)成的有效測驗，等等。

效標(biāo)測量，指將觀念效標(biāo)進(jìn)行量化操作。一種觀念效標(biāo)可以有多種不同的效標(biāo)測量。如實際工作表現(xiàn)的效標(biāo)測量可以采用的數(shù)量指標(biāo)有：產(chǎn)品數(shù)量和質(zhì)量、銷售額、收入、職位、薪水提高的幅度、領(lǐng)導(dǎo)評定、同事評定等等。又如，學(xué)業(yè)成就的效標(biāo)測量可以采用的數(shù)量指標(biāo)：單元考試成績、期中期末的考試成績、老師評價、同伴評定、獲獎情況、發(fā)表作品情況等等。好的效標(biāo)測量應(yīng)符合以下幾個條件：（1）有效性效標(biāo)測量與觀念效標(biāo)必須是高度一致的。

（2）可靠性效標(biāo)測量必須正確可靠。也就是說要具有較高的信度。

（3）客觀性效標(biāo)測量必須客觀，避免偏見。如，當(dāng)效標(biāo)測量是主觀評定時，一定要盡量避免主觀偏見。（4）實用性在保證有效性的前提下，效標(biāo)測量必須盡可能簡單、省時、花費少。（三）實證效度的確定步驟：①明確觀念效標(biāo)；②確定效標(biāo)測量；③考查測驗分?jǐn)?shù)與效標(biāo)測量的關(guān)系。（四）確定方法

一般可以通過統(tǒng)計分析得到一個數(shù)量指標(biāo)，因此有人將它稱為統(tǒng)計效度。常用的估計方法有相關(guān)法、區(qū)分法、命中率法等。1.相關(guān)法

最常用的計算效標(biāo)關(guān)聯(lián)效度的方法，測驗分?jǐn)?shù)與效標(biāo)間的相關(guān)系數(shù)稱為效度系數(shù)。測驗分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)的數(shù)據(jù)性質(zhì)不同，計算相關(guān)系數(shù)的方法不同。

如：假設(shè)有10名男性經(jīng)職業(yè)興趣測驗而被選定作為推銷員，其測驗分?jǐn)?shù)下表第一行，而第二行是經(jīng)過若干年后他們某段時間內(nèi)銷售金額總量(以萬元為單位)?，F(xiàn)問該測驗的效度如何?

如，對某個群體進(jìn)行心理病理方面的人格測驗，以是否患精神疾病為效標(biāo)。如，對初中生進(jìn)行學(xué)習(xí)能力測驗，以是否考上重點中學(xué)為效標(biāo)?？偨Y(jié)：

相關(guān)系數(shù)的平方表示一個變量的變異數(shù)由另一個變量的變異數(shù)決定的百分比（決定系數(shù)）。因此，當(dāng)rxy=0．50時，我們可以說效標(biāo)分?jǐn)?shù)中有25％(0．502=0．25)的變異數(shù)是來自預(yù)測源分?jǐn)?shù)的變異，或者說有25％的變異數(shù)為兩個測量所共同擁有。假如效標(biāo)中有一半的變異數(shù)能由預(yù)測源分?jǐn)?shù)的變異來解釋，則效度系數(shù)必須為0．71。以相關(guān)法求效度的優(yōu)點是：(1)提供了一個統(tǒng)計指標(biāo)以總結(jié)預(yù)測源與效標(biāo)間的關(guān)系；(2)可利用回歸方程式來預(yù)測每個人的期望效標(biāo)成績；(3)效度系數(shù)（相關(guān)系數(shù)）為大家廣泛使用，便于比較研究。2、區(qū)分法

看預(yù)測源的分?jǐn)?shù)是否可區(qū)分由效標(biāo)測量所定義的團(tuán)體。

例：某工廠通過測驗錄用了一批工人，過一段時間后，根據(jù)工作成績（如產(chǎn)品的數(shù)量、質(zhì)量）將他們分成成功的和失敗的兩組，然后回過頭來檢查他們的測驗分?jǐn)?shù)。

假如：成功組有60人，失敗組有40人；成功組的平均數(shù)為6.05，標(biāo)準(zhǔn)差為2.02；失敗組的平均數(shù)為4.25，標(biāo)準(zhǔn)差為1.3。3．命中率法含義：依據(jù)測驗分?jǐn)?shù)對被試作出的分類與根據(jù)被試的實際工作表現(xiàn)所做出的分類的一致性程度。（取舍正確率）用途人才選拔方法正確決策的結(jié)果正確接受正確拒絕

預(yù)測源與效標(biāo)都是二分的總命中率關(guān)心錄取者中合格的人數(shù)與淘汰者中不合格的人數(shù)的比率。正命中率只關(guān)心錄取者中有多少合格的人，不關(guān)心淘汰者是否有合格的人。以取舍正確性作為測驗效度的指標(biāo)，主要優(yōu)點：與實際生活聯(lián)系更緊；計算方法簡單并容易為一般人所理解。缺點：它對分?jǐn)?shù)剛剛低于臨界分?jǐn)?shù)的人不公平。三、構(gòu)想效度（一）含義構(gòu)想效度（constructvalidity），又稱構(gòu)念效度、結(jié)構(gòu)效度。構(gòu)想：心理學(xué)理論中所涉及到的抽象而假設(shè)性的概念或特質(zhì)，如智力、焦慮等，它們往往用某種操作定義來定義、可以用測驗來測量。

構(gòu)想效度是指一個測驗實際測到所要測量的理論結(jié)構(gòu)和特質(zhì)的程度，或者說測驗分?jǐn)?shù)能夠說明某一理論概念或特質(zhì)的程度。（二）驗證構(gòu)想效度的方法

假設(shè)我們要檢驗一個智力測驗的結(jié)構(gòu)效度1、尋找測驗依據(jù)的理論定義。

智力代表了一個人獲得、保持知識的能力，推理能力，及適應(yīng)環(huán)境的能力。2、根據(jù)理論定義提出假設(shè)。

智力不同于后天獲得的知識，因此與遺傳因素有關(guān)，切更為穩(wěn)定；智力會隨著人的生理變化而發(fā)展變化；智力會影響人的學(xué)習(xí)成績和事業(yè)成功。3、搜集資料，驗證假設(shè)。﹠計算同卵雙生子、異卵雙生子、其他同胞、非同胞間的智商的相關(guān)，看相關(guān)系數(shù)是否依次降低；

﹠看智商與學(xué)業(yè)成績間是否有高相關(guān)；

﹠智力是否隨著年齡的增長而逐漸提高，在某一階段又是相對穩(wěn)定的。（三）估計方法1.測驗內(nèi)方法

內(nèi)容效度

分析被試解答測題時的反應(yīng)過程

測驗的同質(zhì)性—內(nèi)部一致性系數(shù)

2.測驗間方法

相容效度（congruentvalidity）

區(qū)分效度（discriminantvalidity）因素分析（factorialvalidity)

3.效標(biāo)關(guān)聯(lián)法

4.多種特質(zhì)——多種方法矩陣法1、測驗內(nèi)部尋找證據(jù)法（1）確定內(nèi)容效度作為結(jié)構(gòu)效度的證據(jù)（2）分析被試的答題過程

例如，人格測驗中有這樣一個題目：“我喜歡在別人面前說另一個人的缺點?！币粋€被試回答“否”，問他是怎么考慮