碩二心理測量課件第二次第五章效度

第五章測量的效度一個現(xiàn)實的問題1997年1月，北京市政府宣布從社會各界公開招聘56名廳、局級干部(均為副職)。經(jīng)過各種測驗與測評，57名干部從2000多名候選者中脫穎而出，如期上任。其中使用的測驗技術(shù)包括：結(jié)構(gòu)化面試，評價中心，紙筆考試（專業(yè)知識）等。你從測驗學(xué)的角度將如何看待這一舉措？不考慮政治因素。根據(jù)測驗分?jǐn)?shù)作出推斷的例子得這個分?jǐn)?shù)的人能順利完成醫(yī)學(xué)院的訓(xùn)練得這個分?jǐn)?shù)的人可能成為最令人滿意的工程師得這個分?jǐn)?shù)的人極有可能從工廠里偷東西第一節(jié)效度概述一、什么是效度：一種推斷和預(yù)測效度（validity）是指一個測驗或量表實際能測出其所要測的心理特質(zhì)的程度（符合程度、準(zhǔn)確性）。心理測驗的準(zhǔn)確性心理測驗的有效性在編制或修訂心理測驗時，效度研究是必須的環(huán)節(jié)，效度資料是測驗手冊里必備的測量學(xué)指標(biāo)。在使用心理測驗時，沒有效度資料的測驗也不能使用。真分?jǐn)?shù)理論

觀測分?jǐn)?shù)的變異(SX2)為真分?jǐn)?shù)的變異(ST2)和測量誤差的變異之和

(SE2)

SX2

=ST2+SE2真分?jǐn)?shù)的變異(ST2)

分解為測量目的有關(guān)的變異（SV2）、與測量目的無關(guān)但卻穩(wěn)定的變異（SI2）變異之和,即

ST2=SV2+SI2

合并兩式

SX2

=SV2+SI2+SE2效度：實測分?jǐn)?shù)變異中由所測量的特性造成的變異所占的百分比

Val

=SV2/SX2

=r2xy

r2xy表示測量的效度系數(shù)。效度的數(shù)學(xué)定義如何理解效度的概念效度是一個相對的概念。效度是相對于一定的測量目的而言的。心理測量不可能達到100%準(zhǔn)確，只是某種程度上的準(zhǔn)確。效度是隨機誤差和系統(tǒng)誤差的綜合反映。判斷一個測量的效度要從多個方面收集證據(jù)。二、效度與信度的關(guān)系SE2SI2與測量目的無關(guān)SV2與測量目的有關(guān)SX2ST2

圖示和例子：算術(shù)測驗Sv2SI2SE2SX2二、效度與信度的關(guān)系信度高是效度高的必要而非充分的條件一個測驗效度高，其信度也必然高；但一個測驗信度高，其效度不一定高。測驗的效度受它的信度制約rXY≤rXX一個測驗的信度必然比效度高，至少相等。（信度系數(shù)的平方根為信度指數(shù)，即：效度系數(shù)的最高限度是信度指數(shù)）內(nèi)容效度（contentvalidity）構(gòu)想或結(jié)構(gòu)(constructvalidity)效標(biāo)關(guān)聯(lián)或?qū)嵶C效度(criterion-relatedorempirical

validity)第二節(jié)效度的估計構(gòu)想內(nèi)容效標(biāo)關(guān)聯(lián)

表面效度（facevalidity）不能算是一種效度；它并不是指測驗實際上所要測量的東西，而只是測驗表面上看起來所要測量的東西。是指對于參加測驗者、決定采用測驗的管理人員、以及其它未經(jīng)專門訓(xùn)練的旁觀者來說，測驗是否“看起來有效”。表面效度高的測驗，有利于促進被試的測驗動機。

表面效度表面效度的定性或定量分析：被試、對心理測量感興趣的非專業(yè)人員來評定測驗對于其用途的適用性。如何提高測驗的表面效度？修改測驗項目的措辭，使它在應(yīng)用測驗的特定情境中看起來相關(guān)或合理。成就測驗、職業(yè)興趣測驗：要求有較高的表面效度人格測驗：不要求過高的表面效度。

1.你是否以傷害你所喜歡的人而感到快樂

2.你是否認(rèn)為結(jié)婚制度過時了，應(yīng)該廢止

3.你是否覺得人們?yōu)榱宋磥碛斜Ｕ隙k理儲蓄和保險所花的時間太多

一、內(nèi)容效度

內(nèi)容效度的性質(zhì)內(nèi)容效度（contentvalidity）是指測驗題目對有關(guān)內(nèi)容或行為取樣的適當(dāng)程度，即一個測驗實際測到的內(nèi)容與所要測量的內(nèi)容之間的吻合程度。一個測驗要有內(nèi)容效度必須具備兩個條件：要有定義完好的內(nèi)容范圍測驗題目應(yīng)是所界定的內(nèi)容范圍的代表性取樣。內(nèi)容效度的評估方法1.邏輯分析法：專家判斷專家根據(jù)自己的知識經(jīng)驗對量表的有效性（邏輯性）作出判斷，也稱邏輯效度。1.定義好測驗內(nèi)容的總體范圍；2.編制雙向細目表，確定內(nèi)容的具體細節(jié)各自所占的比例；3.由每位評判者在評定量表上作出判斷。雙向細目標(biāo)：

例：小學(xué)自然常識測驗編題計劃知識理解應(yīng)用分析綜合評價合計生物世界35632120資源利用23311010動力與機械23420112物質(zhì)與能量56832125氣象24322013宇宙25410012地球2221108合計1828301388100③制定一個相應(yīng)的評定量表來評價效度，以考察項目對所定義的內(nèi)容范圍的覆蓋率、判斷題目的難度與能力要求之間的差異，還要考察各種題目數(shù)量和分?jǐn)?shù)的比例以及題目形式對內(nèi)容的適當(dāng)性，對整個測驗的有效性作出總的評價。內(nèi)容效度的評估方法2、統(tǒng)計分析法計算兩個評分者之間評定的一致性（評分者信度）兩個測驗復(fù)本上得分之相關(guān)（復(fù)本信度）再測法也可用于內(nèi)容效度的評估（測驗-學(xué)習(xí)-再測驗）如果后測成績優(yōu)于前測成績，說明該測驗具有一定的內(nèi)容效度。3、經(jīng)驗推測法這種效度是通過實踐來檢驗效度內(nèi)容效度的特點和評價適用范圍內(nèi)容效度主要應(yīng)用于成就測驗，也適合于某些用于選拔和分類的職業(yè)測驗。但不適用于能力傾向測驗和人格測驗。缺乏理想的數(shù)量指標(biāo)內(nèi)容效度不是表面效度表面效度（surfacevalidity）：被試或外行人對某個測驗從表面上看好像是測某種心理特質(zhì)的程度。并不是一種真正的效度。（非凡少年）人格測驗要求表面效度不宜過高。（學(xué)校招生——家長）二、構(gòu)想效度構(gòu)想效度的定義是指一個測驗實際測到所要測量的理論結(jié)構(gòu)或特質(zhì)的程度，或者說測驗分?jǐn)?shù)能夠說明心理學(xué)理論的某種結(jié)構(gòu)或特質(zhì)的程度。

特點具有不同理論構(gòu)思的測驗，結(jié)構(gòu)效度無法比較；結(jié)構(gòu)效度有時很難獲得；結(jié)構(gòu)效度沒有單一的指標(biāo)，是由各方面的證據(jù)累積起來進行評價的。構(gòu)想或結(jié)構(gòu)：指心理學(xué)理論所涉及到的抽象而屬假設(shè)性的概念或特質(zhì)如智力、人格、抑郁以及焦慮等，它們通常用某種操作來定義，用測驗來測量。舉例：韋克斯勒將智力定義為個體有目的地行動，理智的思考以及有效地應(yīng)對環(huán)境的整體的或綜合的能力。根據(jù)這一定義，他將智力分為言語智力和操作智力，采用不同的測驗來測量。言語智力：常識、數(shù)字廣度、詞匯、算術(shù)、理解、類同操作智力：填圖、圖片排列、積木圖案、物體拼湊、數(shù)字符號。構(gòu)想的特點：本質(zhì)上是某些規(guī)律性的抽象總結(jié)與具體、可觀察到的存在和事件有關(guān)如引力：看不見的一種力；和落下的蘋果。心理學(xué)構(gòu)念總是直接或間接地與行為和經(jīng)驗聯(lián)系在一起構(gòu)念明確化心理測量過程基于具體、可觀察的行為；心理測驗?zāi)芊裉峁Τ橄髽?gòu)念的量度？必須首先將構(gòu)念用具體行為加以翻譯，在具體行為和抽象構(gòu)念之間建立關(guān)系的翻譯過程就稱為“構(gòu)念明確化”，步驟如下：找出與測量構(gòu)念相關(guān)聯(lián)的行為；找到與測量構(gòu)念有關(guān)或無關(guān)的其它構(gòu)念；找出與其它構(gòu)念相關(guān)的行為；再根據(jù)構(gòu)念間的關(guān)系，確定這些行為與測量構(gòu)念的關(guān)系“攻擊性”構(gòu)念明確化過程構(gòu)念效度圖通過明確化過程，建立構(gòu)念關(guān)系圖：雖然我們?nèi)圆荒軠?zhǔn)確定義“攻擊性”；但我們可以描述攻擊性兒童怎樣行為；因而通過觀察兒童行為，我們可以測量兒童的攻擊性水平程度。評估構(gòu)念效度：如果測驗分?jǐn)?shù)和行為測量之間關(guān)系模式與構(gòu)念關(guān)系圖所預(yù)期的那樣，則該測驗的構(gòu)念效度就高攻擊性構(gòu)念效度評估某注意力的理論,注意有如下特征:1.穩(wěn)定性2.集中性3.轉(zhuǎn)移性4.分配5.范圍

保持性注意幾種常用評估構(gòu)念效度方法求構(gòu)念測驗分?jǐn)?shù)與其它測驗分?jǐn)?shù)的相關(guān)；如上例。因素分析（因素與變量的關(guān)系）；因素相當(dāng)于構(gòu)念，變量對應(yīng)行為。實驗法驗證構(gòu)念具體方法：測驗內(nèi)部尋找證據(jù)法1、對測驗本身的分析測驗的內(nèi)容效度測驗的內(nèi)部一致性指標(biāo)分析被試者對題目的反應(yīng)特點（口頭報告）2、測驗之間尋找證據(jù)法相容效度：新老測驗之間的相關(guān)（兩測驗測的是同一心理特質(zhì)）。若相關(guān)高，說明新測驗可能有較高的效度。區(qū)分效度：新老測驗之間的相關(guān)（兩測驗測的不是同一心理特質(zhì)），若相關(guān)低，說明新測驗可能有較高效度。因素分析法：得出的因素符合理論構(gòu)思，說明效度高。3、考察測驗的實證效度法根據(jù)效標(biāo)把被試分組，考察其得分差異。根據(jù)測驗得分差異把被試分組，考察其所測特質(zhì)（行為表現(xiàn)）的差異。搜集某些變異上的證據(jù)智力隨年齡變化而變化4、多種特質(zhì)-多種方法矩陣法（Multitrait-MultimethodApproach）——用多種方法（測驗、觀察、老師評價）測量多個構(gòu)念（智力、誠實、攻擊性）：同一構(gòu)念不同方法的分?jǐn)?shù)應(yīng)當(dāng)高相關(guān)（聚合效度）不同特質(zhì)測量分?jǐn)?shù)應(yīng)當(dāng)?shù)拖嚓P(guān)（區(qū)分效度）同一方法不同構(gòu)念間的相關(guān)應(yīng)當(dāng)?shù)?；如果較高，則反映出方法偏差（Methodbias）A1B1C1A2B2C2A3B3C3A10.90B10.500.89C10.350.410.81A20.580.250.100.95B20.210.590.090.630.91C20.140.130.500.570.530.85A30.550.200.130.690.320.300.93B30.110.600.190.200.680.290.500.96C30.150.200.700.210.190.670.530.510.92信度匯聚效度區(qū)分效度會聚效度

(convergentvalidation)會聚效度：如果用不同方法測量同一種構(gòu)想，那么這些分?jǐn)?shù)應(yīng)有高相關(guān)。這些同一構(gòu)想的不同度量稱為“效度對角線”(validitydiagonal)。區(qū)分效度

(discriminantvalidity)確定區(qū)分效度的方法有三種1、由不同方法度量的不同特質(zhì)之間應(yīng)大于或小于由不同方法度量同一種特質(zhì)之間的相關(guān)？小于。比較MMM中的三角形看一下實線白色三角形，三種特質(zhì)之間的相關(guān)模式是否不因測量方法是1還是2而發(fā)生變化，保持一致？再看一下虛線三角形三角形。相關(guān)模式相同嗎？一個是用1法度量三種特質(zhì)間的相關(guān)，另一個是2法度量。區(qū)分效度2、如果方法都是無偏差的，用同一種方法測量的不同特質(zhì)之間的相關(guān)應(yīng)大于還是小于由不同方法測量的同一種特質(zhì)之間的相關(guān)？小于！3、如果方法都是無偏差的，不管如何測量三個特質(zhì)，三種特質(zhì)之間的相關(guān)是否應(yīng)具有相似的模式？是！區(qū)分效度：小結(jié)有三種區(qū)分效度不同方法測量不同特質(zhì)之間的相關(guān)應(yīng)小于效度對角線同一方法測量不同特質(zhì)之間的相關(guān)應(yīng)小于效度對角線可比三角形中應(yīng)表現(xiàn)同一相關(guān)模式MMM原理對構(gòu)想效度的評價有些構(gòu)想概念模糊，缺乏一致的定義沒有明確的操作步驟與程序沒有單一的數(shù)量指標(biāo)內(nèi)容效度與構(gòu)念效度的異同內(nèi)容效度依賴于測驗項目的代表性；構(gòu)念效度則有賴與測驗分?jǐn)?shù)的關(guān)系是否與構(gòu)念關(guān)系相符合。內(nèi)容效度評估具體領(lǐng)域測驗，如課堂測驗；構(gòu)念效度則用來評估抽象構(gòu)念測驗，如攻擊性。兩者結(jié)合起來能夠提供更強的效度證據(jù)：內(nèi)容效度使測驗看起來有效；構(gòu)念效度使測驗用起來有效。三、實證效度實證效度的定義實證效度是指一個測驗對處于特定情境中的個體的行為進行估計的有效性。被估計的行為是檢驗測驗效度的標(biāo)準(zhǔn)，簡稱效標(biāo)。所以，實證效度又稱效標(biāo)關(guān)聯(lián)效度（criterion-relatedvalidity）。效標(biāo)：衡量一個測驗是否有效的外在標(biāo)準(zhǔn)，是獨立于測驗并可以從實踐中直接獲得的我們所要預(yù)測的行為。觀念效標(biāo)：概念如：大學(xué)學(xué)習(xí)的“成功”或“失敗”效標(biāo)測量：對觀念效標(biāo)的數(shù)量化如：大學(xué)的學(xué)習(xí)成績?nèi)绻麤]有效標(biāo)測量，觀念效標(biāo)就毫無用處。效標(biāo)的特性多樣性：一個測驗可能有不同的觀念效標(biāo)，同一個觀念效標(biāo)又可能有不同的效標(biāo)測量。復(fù)雜性：幾乎每一種效標(biāo)行為都由多種特質(zhì)構(gòu)成，包含復(fù)雜的成分。特殊性和時間性：在一種情況下有效，在另一種情況下未必有效。常見的效標(biāo)：學(xué)業(yè)成就、等級評定、臨床診斷、特殊訓(xùn)練的成績、實際工作表現(xiàn)、對團體的區(qū)分、其他有效的測驗

實證效度的確定方法（1）相關(guān)法測驗分?jǐn)?shù)與效標(biāo)測量之間的相關(guān)系數(shù)。（2）區(qū)分法測驗→工作效標(biāo)測量（工作成績）→分析測驗分?jǐn)?shù)按工作成績分高低兩組，如工作成績高，測驗得分也高；工作成績低，測驗得分也低，說明該測驗是有一定效度的。（3）同時效度和預(yù)測效度分組兒童鑒別人事決策區(qū)分法區(qū)分法是檢驗測驗分?jǐn)?shù)能否有效地區(qū)分由效標(biāo)所定義的團體的一種方法公式（t檢驗公式）

t檢驗統(tǒng)計量XH高分組平均值XL低分組平均值SH2高分組方差SL2低分組方差NH高分組樣本人數(shù)NL

低分組樣本人數(shù)舉例：用能力傾向測驗給工作成功（N=60）和工作失?。∟=40）兩組工人測試，工作成功組平均得分6.05，方差為3.31；工作失敗組平均得分4.25，方差為1.69，問兩組得分差異是否具有顯著意義？虛無假設(shè)：假設(shè)兩組得分的差異是由抽樣誤差所造成自由度(df)=NH+NL－2=60+40－2=98查t值表：t(0.01)=2.66，本例5.79>2.66，所以p<0.01結(jié)論：虛無假設(shè)成立的概率<0.01，差異有非常顯著意義。

實證效度的確定方法（1）相關(guān)法（2）區(qū)分法（3）同時效度和預(yù)測效度分組兒童鑒別（非凡少年）人事決策人事決策下沉-漂浮策略（sink-swimstrategy）代價臨界值（cutoffscore）選拔中的偏差選拔中的偏差X（測驗分?jǐn)?shù)）Y（工作績效）簡單散點圖選拔中的偏差XY有準(zhǔn)則截線（Yc）的散點圖選拔中的偏差XY有預(yù)測測驗截線（Xc)的散點圖選拔中的偏差XY四格散點圖正確接受錯誤接受正確拒絕錯誤拒絕三個歷史悠久的術(shù)語基礎(chǔ)率：在總體中自然存在著的合格人員的比例。錄取率：采用測驗作為篩選工具時被選拔以填補現(xiàn)有空職的比例（錄取率的確定——確定一個臨界分?jǐn)?shù)）錄取率=錄取人數(shù)/總?cè)藬?shù)正命中率（錄取正確率）：選中且成功的受測者比例（被錄取者中成功的人數(shù)/錄取人數(shù)）基礎(chǔ)率=？錄取率=？測驗分?jǐn)?shù)準(zhǔn)則失敗成功成功錯誤拒絕（22）正確接受（38）失敗正確拒絕（33）錯誤接受