第7講：測(cè)驗(yàn)的效度

1、第六講：測(cè)驗(yàn)的效度效度概念的發(fā)展演變 效度研究的種類與方法 11. 測(cè)驗(yàn)效度概念的發(fā)展演變1.1 以相關(guān)為基礎(chǔ)的單一效度觀時(shí)期（20世紀(jì)50年代前）1.1.1 最初的概念測(cè)驗(yàn)標(biāo)準(zhǔn)法、可信度與價(jià)值度 測(cè)驗(yàn)標(biāo)準(zhǔn)法是建立分?jǐn)?shù)意義的一種方法，這種方法旨在考察測(cè)驗(yàn)分?jǐn)?shù)與某一標(biāo)準(zhǔn)之間的關(guān)系，而這種標(biāo)準(zhǔn)被認(rèn)為代表了測(cè)驗(yàn)的實(shí)質(zhì)。 2可信度，是指一個(gè)測(cè)驗(yàn)?zāi)軌蚍从超F(xiàn)實(shí)世界的程度。研究者們認(rèn)為一個(gè)可信度高的測(cè)驗(yàn)是有良好代表性的測(cè)驗(yàn)，因而更適于在現(xiàn)實(shí)中推廣。 價(jià)值度與測(cè)驗(yàn)的價(jià)值有關(guān)，而檢驗(yàn)測(cè)驗(yàn)價(jià)值的辦法就是相關(guān)分析。31.1.2 效度概念的提出1921年，效度概念由美國教育研究指導(dǎo)協(xié)會(huì)定義為“測(cè)驗(yàn)在多大程度上測(cè)到了它

2、要測(cè)的東西”，同時(shí)提出的還有兩個(gè)概念，即“預(yù)測(cè)效度（predictive validity）”和“共時(shí)效度（concurrent validity）”。這兩種效度后來被歸成了“效標(biāo)關(guān)聯(lián)效度”。 測(cè)驗(yàn)效度的操作性定義：效度是指測(cè)驗(yàn)分?jǐn)?shù)在多大程度上估計(jì)或預(yù)測(cè)了標(biāo)準(zhǔn)測(cè)驗(yàn)的分?jǐn)?shù)。 41.2分類效度觀時(shí)期（20世紀(jì)50至80年代）1.2.1 內(nèi)容效度的出現(xiàn) 內(nèi)容效度的出現(xiàn)宣告了以相關(guān)為基礎(chǔ)的單一效度觀時(shí)期的結(jié)束。 內(nèi)容效度最初叫做“課程效度”，可見它多應(yīng)用于成績測(cè)驗(yàn)。內(nèi)容效度研究的目的就是要確定題目對(duì)于一個(gè)內(nèi)容范圍是否有很好的代表性。 51.2.2 效度的分類 Guilford(1946)把效度分為因素

3、型(factorial)和實(shí)用型(practical)Cronbach(1949)則認(rèn)為有邏輯分析效度和經(jīng)驗(yàn)分析效度兩類Angoff(1988)曾經(jīng)總結(jié)了20世紀(jì)30年代到80年代心理測(cè)量學(xué)文獻(xiàn)中提到的15種效度類型 比較規(guī)范的有關(guān)效度的分類載于美國心理學(xué)會(huì)（American Psychological Association，APA）編制的教育與心理測(cè)驗(yàn)標(biāo)準(zhǔn)。 把效度分為三類，即內(nèi)容效度、效標(biāo)關(guān)聯(lián)效度和構(gòu)想效度。 61.3 效度一元化時(shí)期（20世紀(jì)80年代至今）1.3.1 構(gòu)想效度的建立 構(gòu)想效度概念是1954年心理測(cè)量與診斷技術(shù)的建議執(zhí)行標(biāo)準(zhǔn)中首先提出的，Cronbach和Meehl次年在

4、一篇文章中對(duì)這個(gè)概念進(jìn)行了解釋。毋庸置疑，構(gòu)想效度概念的提出是心理測(cè)量界的一次重大變革，這一概念一經(jīng)提出很快成為心理測(cè)驗(yàn)的質(zhì)量標(biāo)準(zhǔn)。 71.3.2 效度一元化概念的提出隨著研究的深入和理論的發(fā)展，研究者們現(xiàn)在傾向于被測(cè)驗(yàn)的效度看成是一個(gè)一元化的概念（unitary concept）。美國1985年修訂的教育與心理測(cè)量標(biāo)準(zhǔn)明確地說： 效度是一個(gè)一元化的概念。雖然積累證據(jù)的方式可以有很多種，但效度指的總是根據(jù)分?jǐn)?shù)所做的推論在多大程度上得到了證據(jù)的支持，被認(rèn)為有效的是一測(cè)驗(yàn)為特定用途所做的推論，而不是測(cè)驗(yàn)自身。8 效度一元化概念的提出使效度研究成為一項(xiàng)綜合研究，而構(gòu)想效度是這項(xiàng)研究的核心問題，一個(gè)真

5、正意義上的效度研究應(yīng)當(dāng)也必須圍繞構(gòu)想效度來開展。我們用下面的圖來表示“一元化”時(shí)代的效度研究：效度內(nèi)容效度構(gòu)想效度效標(biāo)關(guān)聯(lián)效度共時(shí)效度預(yù)測(cè)效度9效度研究的種類與方法 1 表面效度表面效度（face validity）指測(cè)驗(yàn)的表面可信性或可接受性。表面效度又被稱為“外行的效度（layman validity）”，因?yàn)楸砻嫘Ф鹊母鶕?jù)是外行的直覺和印象。盡管表面效度不是科學(xué)概念，也沒有經(jīng)驗(yàn)性證據(jù)的支持，在開發(fā)測(cè)驗(yàn)時(shí)，我們還是要考慮這個(gè)問題，因?yàn)槿绻麥y(cè)驗(yàn)太缺乏表面效度，就不會(huì)有人接受它。 10 2 內(nèi)容效度2.1 概念內(nèi)容效度（content validity）是指一個(gè)測(cè)驗(yàn)在多大程度上測(cè)到了它要測(cè)的內(nèi)

6、容。取樣合理，代表性強(qiáng)的測(cè)驗(yàn)，內(nèi)容效度就高，反之，內(nèi)容效度就低。內(nèi)容效度的高低，一般由專家根據(jù)對(duì)內(nèi)容范圍和測(cè)驗(yàn)內(nèi)容的分析來判定，所以，內(nèi)容效度是一種非經(jīng)驗(yàn)性效度。 112.2 研究方法研究目的：確定測(cè)驗(yàn)的題目對(duì)一個(gè)內(nèi)容范圍是否有很好的代表性。研究步驟：（1） 定義內(nèi)容范圍（2） 選擇一組該領(lǐng)域的資深專家（3） 提出一個(gè)框架，這個(gè)框架是測(cè)驗(yàn)題目和內(nèi) 容范圍的匹配原則（4） 收集并綜合匹配處理所產(chǎn)生的數(shù)據(jù) 12幾個(gè)需要考慮的問題1）不同的項(xiàng)目是否需要做加權(quán)處理以反應(yīng)其重要性的不同？ 2）項(xiàng)目匹配作業(yè)應(yīng)如何進(jìn)行？一種做法是，讓專家們標(biāo)出測(cè)驗(yàn)題目和哪個(gè)項(xiàng)目是一回事。另一種做法是，讓專家判斷一個(gè)題目與內(nèi)

7、容范圍匹配還是不匹配。 133）試題的哪些方面需要檢查？考查范圍：A 漢語水平詞匯大綱中的甲級(jí)詞B 實(shí)詞 面對(duì)這樣的突發(fā)事件，他顯得比我們想象的還要鎮(zhèn)定。A 悲傷 B 猶豫 C 嚴(yán)肅 D 平靜 外祖父A 爸爸的爸爸 B 爸爸的媽媽 C 媽媽的爸爸 D 媽媽的媽媽 這本書是他 。A 的 B 了 C 過 D著 年輕 學(xué)習(xí) 認(rèn)真 服務(wù) 熱情 教師144）匹配的結(jié)果應(yīng)怎樣計(jì)算？ （1） 題目與項(xiàng)目匹配的百分比（2） 重要項(xiàng)目匹配的百分比（3） 項(xiàng)目權(quán)重與代表這些項(xiàng)目的題目數(shù)的相關(guān)（4） 題目-項(xiàng)目的一致性指數(shù)（5） 沒有反映到測(cè)驗(yàn)中的項(xiàng)目的百分比15內(nèi)容效度的局限性它只涉及測(cè)驗(yàn)和內(nèi)容范圍之間的關(guān)系，沒

8、有把被試在測(cè)驗(yàn)上是如何表現(xiàn)的考慮在內(nèi)。因此，內(nèi)容效度只是測(cè)驗(yàn)的屬性，對(duì)于千變?nèi)f化的被試來說，它是一成不變的 。內(nèi)容效度提供的證據(jù)，只支持內(nèi)容范圍的相關(guān)性和測(cè)驗(yàn)內(nèi)容的代表性，卻不支持根據(jù)測(cè)驗(yàn)分?jǐn)?shù)做出的推斷。16研究內(nèi)容效度的困難1. 定義內(nèi)容范圍十分困難。 我們很難定義一個(gè)清楚的、不含糊的語言或語言應(yīng)用的內(nèi)容范圍，即使是在教學(xué)和成績測(cè)驗(yàn)中，我們也很難窮盡性地列出學(xué)生所可能完成的語言作業(yè)。2. 我們可以根據(jù)被試答對(duì)的題目來推斷他能做什么，卻無法推斷他不能做什么。 17 3 效標(biāo)關(guān)聯(lián)效度3.1 概念 效標(biāo)關(guān)聯(lián)效度（criterion-related valididy）是指測(cè)驗(yàn)和一個(gè)獨(dú)立的效度標(biāo)準(zhǔn)的一

9、致性程度，測(cè)驗(yàn)和效標(biāo)的一致性程度高，測(cè)驗(yàn)的效標(biāo)關(guān)聯(lián)效度就高；反之，效度就低。效標(biāo)關(guān)聯(lián)效度是用測(cè)驗(yàn)和效標(biāo)之間的相關(guān)系數(shù)來表示的，所以，它是一種經(jīng)驗(yàn)性效度。 效標(biāo)關(guān)聯(lián)效度分為共時(shí)效度和預(yù)測(cè)效度兩種。 18共時(shí)效度（concurrent validity）關(guān)心的是測(cè)驗(yàn)和另一個(gè)已知有效的測(cè)驗(yàn)的相關(guān)程度，已知有效的測(cè)驗(yàn)是效標(biāo)。被檢驗(yàn)的測(cè)驗(yàn)和作為效標(biāo)的測(cè)驗(yàn)差不多同時(shí)讓學(xué)生做，在這么短的時(shí)間間隔內(nèi)，被試的水平不會(huì)有大的變化，如果兩個(gè)測(cè)驗(yàn)的結(jié)果不同，反映的是測(cè)驗(yàn)本身的差別，因此，這種效度叫共時(shí)效度。 預(yù)測(cè)效度（predictive validity）是看測(cè)驗(yàn)和未來的某測(cè)驗(yàn)或被試的行為之間的相關(guān)程度如何，未來的

10、測(cè)驗(yàn)或行為是效標(biāo)。 193.2 研究方法在建立效度的過程中，我們需要收集另一種證據(jù)，這種證據(jù)表明測(cè)驗(yàn)分?jǐn)?shù)和某個(gè)標(biāo)準(zhǔn)之間的關(guān)系，而我們相信這個(gè)標(biāo)準(zhǔn)同樣表現(xiàn)了所測(cè)的能力。這個(gè)標(biāo)準(zhǔn)可以是被試在另一同類測(cè)驗(yàn)上的分?jǐn)?shù)，可以是被試將來的實(shí)際表現(xiàn)的水平，還可以是有良好定義的水平等級(jí)。 20效標(biāo)及其選擇效標(biāo)（效度標(biāo)準(zhǔn)）就是確實(shí)能夠反映所要測(cè)量的屬性的變量，它是考查測(cè)驗(yàn)效度的一個(gè)標(biāo)準(zhǔn) 。一個(gè)好的效標(biāo)必須具備以下幾個(gè)條件：1 同質(zhì)性，即與研究對(duì)象的測(cè)量特質(zhì)相同。2 有效性，即能真正反映所要測(cè)量的特質(zhì)。3 可靠性，也就是要有較高的信度。4 客觀性，即沒有“效標(biāo)污染”。個(gè)人的效標(biāo)成績可能由于評(píng)定者知道其預(yù)測(cè)源分?jǐn)?shù)而受

11、到影響，從而降低了客觀性，這稱之為“效標(biāo)污染”。5 實(shí)用性，最佳的效標(biāo)測(cè)量應(yīng)該用法簡(jiǎn)單、省時(shí)、花費(fèi)少。 21研究步驟：（1） 確定一個(gè)適用的效標(biāo)（2） 確定一個(gè)適當(dāng)?shù)谋辉嚇咏M（3） 施測(cè)并記錄被試的分?jǐn)?shù)（4） 用作為標(biāo)準(zhǔn)的測(cè)驗(yàn)對(duì)同一組被試施測(cè)，或收集被試的標(biāo)準(zhǔn)行為的數(shù)據(jù)，如大學(xué)的各科成績（5） 計(jì)算測(cè)驗(yàn)分?jǐn)?shù)和標(biāo)準(zhǔn)之間的關(guān)聯(lián)程度22效標(biāo)關(guān)聯(lián)效度的計(jì)算方法效標(biāo)分?jǐn)?shù)是連續(xù)量表：計(jì)算測(cè)驗(yàn)分?jǐn)?shù)和效標(biāo)分?jǐn)?shù)之間的積差相關(guān) 效標(biāo)分?jǐn)?shù)是等級(jí)量表：用等級(jí)相關(guān)效標(biāo)分?jǐn)?shù)是二項(xiàng)分布，如大學(xué)的學(xué)習(xí)情況可分為畢業(yè)和肄業(yè)（或成功與不成功）：計(jì)算測(cè)驗(yàn)分?jǐn)?shù)和效標(biāo)之間的二列相關(guān)。 測(cè)驗(yàn)分?jǐn)?shù)和效標(biāo)分?jǐn)?shù)之間的相關(guān)系數(shù)，稱為測(cè)驗(yàn)的效度系

12、數(shù)。 23效標(biāo)關(guān)聯(lián)效度的局限 它并不直接表明測(cè)驗(yàn)和效標(biāo)測(cè)的是不是同一種能力 可能導(dǎo)致循環(huán)論證 效標(biāo)本身的可靠性不能絕對(duì)確定24構(gòu)想效度構(gòu)想效度概念是1954年心理測(cè)量與診斷技術(shù)的建議執(zhí)行標(biāo)準(zhǔn)中首先提出的。Cronbach和Meehl次年在一篇文章中對(duì)此進(jìn)行了解釋。構(gòu)想（construct）是一種思維的產(chǎn)物。是以一種方式對(duì)觀察到的東西進(jìn)行解釋即把觀察到的東西組織起來 。構(gòu)想效度表現(xiàn)的既是理論或觀念的有效性（也就是理論與客觀實(shí)在相符合的程度），也是測(cè)驗(yàn)的有效性。 25對(duì)構(gòu)想效度的理解（注意區(qū)分理解的正確性）1.構(gòu)想效度要考察的是一個(gè)考試的結(jié)果在多達(dá)程度上和我們根據(jù)某一理論做出的預(yù)測(cè)相一致。它驗(yàn)證的

13、是我們所做的假設(shè)是否有效。 （桂詩春、寧春巖，1997：293） 2. 建立構(gòu)想效度的目的是，證明被測(cè)量的潛在的理論構(gòu)想本身是有效的。一般說來，建立構(gòu)想效度的過程始自一個(gè)心理構(gòu)想，而這構(gòu)想就是理論的一部分。這個(gè)理論能夠做出某種預(yù)測(cè)，即預(yù)測(cè)這個(gè)構(gòu)想會(huì)怎樣運(yùn)作，或在一特定環(huán)境中會(huì)受到什么影響。如果假設(shè)的結(jié)果出現(xiàn)了，則假說得到支持，而構(gòu)想可以說是有效的。通常這需要在各種條件下做一系列的檢驗(yàn)。 （Henning,G.,1987:97-98）26構(gòu)想效度的特點(diǎn)構(gòu)想效度不僅指測(cè)驗(yàn)的效度，亦即平常所說的“是否測(cè)到了要測(cè)的東西”，而且它也指理論假設(shè)是否得到了經(jīng)驗(yàn)數(shù)據(jù)的證明。因此，構(gòu)想效度既和觀察層面有關(guān)，也和

14、理論層面有關(guān)。它不僅涉及測(cè)驗(yàn)，同時(shí)也涉及用于指導(dǎo)測(cè)驗(yàn)的理論，測(cè)驗(yàn)的有效和理論的有效是相輔相成的。 27研究方法在測(cè)驗(yàn)中建立構(gòu)想效度的過程是：（1）提出一個(gè)假說性構(gòu)想，假設(shè)用它來解釋測(cè)驗(yàn)表現(xiàn)；（2）從產(chǎn)生構(gòu)想的理論中推導(dǎo)出關(guān)于測(cè)驗(yàn)表現(xiàn)的一個(gè)或幾個(gè)假設(shè)；（3）用邏輯的和經(jīng)驗(yàn)的方法對(duì)假設(shè)進(jìn)行檢驗(yàn)。如果測(cè)驗(yàn)結(jié)果出現(xiàn)了我們假設(shè)的行為，那么測(cè)驗(yàn)就是有效的，同時(shí)，理論假設(shè)也得到了證明。這個(gè)過程和實(shí)證主義方法是一致的。 28Messick（1996）認(rèn)為構(gòu)想效度是一個(gè)一元化的概念，需要從六個(gè)方面進(jìn)行研究。這六個(gè)方面是：1）內(nèi)容方面，包括內(nèi)容的相關(guān)性、 代表性及其有關(guān)技術(shù)指標(biāo)；2）本質(zhì)方面，是指在被觀察到的表現(xiàn)

15、和題目之間建立聯(lián)系的理論；3）結(jié)構(gòu)（structure）方面， 要看分?jǐn)?shù)量表與構(gòu)想域擬合的精確程度；4）概括性方面，檢驗(yàn)分?jǐn)?shù)的特性和解釋的涵蓋范圍；5）外部方面， 指從多特質(zhì)比較得來的聚斂和判別證據(jù)以及標(biāo)準(zhǔn)關(guān)聯(lián)程度和實(shí)用性方面的證據(jù)；6）效果方面，要看分?jǐn)?shù)解釋所蘊(yùn)涵的價(jià)值判斷等。 29Nitko（1983）提出，建立構(gòu)想效度需要三個(gè)方面的證據(jù)：邏輯分析、相關(guān)分析和實(shí)驗(yàn)研究。 幾種方法1.相關(guān)分析 檢驗(yàn)測(cè)驗(yàn)的不同部分之間或不同的測(cè)驗(yàn)之間的相關(guān)程度，以此來確定測(cè)驗(yàn)?zāi)芊竦玫竭@方面證據(jù)的支持 30因素分析 因素分析方法是英國心理學(xué)家斯皮爾曼在考察智力結(jié)構(gòu)時(shí)發(fā)展起來的一種統(tǒng)計(jì)方法。它的目的是從為數(shù)眾多的觀測(cè)變量中概括和推論出少數(shù)因素，用最少的因素來解釋最大量的觀測(cè)事實(shí)，從而建立起最簡(jiǎn)潔最基本的概念系統(tǒng)。包括探索性因素分析和實(shí)證性因素分析31多特質(zhì)多方法分析（multitrait-multimethod matrix） Campbell,D.T和Fiske,D.W.二人于1959年提出的“多元特質(zhì)多重方法矩陣”(MTMM)是檢驗(yàn)構(gòu)想效度的一種有效手段。MTMM關(guān)心兩個(gè)方面