信度與效度分析(qiang)課件

1、第十七章 信度與效度分析 第十七章 信度與效度分析 在科學(xué)研究中采用的主要方法有調(diào)查研究(survey)和實(shí)驗(yàn)研究(experimental study)，尤其是調(diào)查研究被廣泛用于公共衛(wèi)生、臨床醫(yī)學(xué)、社會(huì)學(xué)、教育學(xué)等領(lǐng)域。調(diào)查研究的重要內(nèi)容之一就是制定調(diào)查表或問(wèn)卷。 在科學(xué)研究中采用的主要方法有調(diào)查研究(survey)和實(shí)驗(yàn)研 問(wèn)卷以及調(diào)查質(zhì)量反映在調(diào)查結(jié)果的真實(shí)性和可靠性兩個(gè)方面，應(yīng)采用一定的統(tǒng)計(jì)指標(biāo)和方法加以定量考評(píng)。本章主要介紹信度(reliability)和效度(validity)分析方法，特別適合于各項(xiàng)目均為線性方式或等級(jí)方式的問(wèn)卷或量表，如心理測(cè)量、教育測(cè)量、態(tài)度測(cè)量、生命質(zhì)量測(cè)量

2、等的標(biāo)準(zhǔn)化測(cè)定量表。 問(wèn)卷以及調(diào)查質(zhì)量反映在調(diào)查結(jié)果的真實(shí)性和可靠第一節(jié) 信度及其評(píng)價(jià)方法第一節(jié) 信度及其評(píng)價(jià)方法一、信度的概念一、信度的概念 信度，指量表測(cè)量某種特質(zhì)(屬性)或概念的結(jié)果的可靠性(dependability)、穩(wěn)定性(stability)和一致性(consistency)。關(guān)于信度尚無(wú)公認(rèn)的定義，一般認(rèn)為信度是指測(cè)量結(jié)果反映出系統(tǒng)中偶然誤差引起的變異程度，也就是多次重復(fù)測(cè)量中結(jié)果的重現(xiàn)性， 換言之，隨機(jī)誤差的變異。 信度，指量表測(cè)量某種特質(zhì)(屬性)或概念的結(jié)信度的大小用信度系數(shù)(reliability coefficient)來(lái)衡量。信度的大小用信度系數(shù)(reliabilit

3、y coeffic二、信度的數(shù)學(xué)模型二、信度的數(shù)學(xué)模型 在經(jīng)典測(cè)量理論中，Spearman 分?jǐn)?shù)模型起著重要的作用。該模型指出任何測(cè)量所得的分?jǐn)?shù)(X)都是由反映對(duì)象穩(wěn)定特質(zhì)的真分?jǐn)?shù)(T)和由隨機(jī)因素造成的誤差分?jǐn)?shù)(e)構(gòu)成，即： (17.1) 并假定：(1) e 滿足標(biāo)準(zhǔn)正態(tài)分布； (2) T，e相互獨(dú)立； (3) T，e 以簡(jiǎn)單的線性可加性結(jié)合。 在經(jīng)典測(cè)量理論中，Spearman 分?jǐn)?shù)模型起著重 這樣，實(shí)測(cè)分?jǐn)?shù)的方差可分解為真實(shí)分?jǐn)?shù)的方差與誤差分?jǐn)?shù)的方差之和，即： (17.2) 于是，信度可定義為真實(shí)方差與實(shí)測(cè)方差的比值，也就是總方差中真實(shí)方差所占的比例： (17.3) 這樣，實(shí)測(cè)分?jǐn)?shù)的方

4、差可分解為真實(shí)分?jǐn)?shù)的方差與 顯然，r越大，說(shuō)明隨機(jī)誤差的作用越小，測(cè)定結(jié)果越可靠。 由于真實(shí)分?jǐn)?shù)的方差無(wú)法得到，因此上式可轉(zhuǎn)化為： (17.4) 顯然，r越大，說(shuō)明隨機(jī)誤差的作用越小，測(cè)定結(jié)三、信度的評(píng)價(jià)方法三、信度的評(píng)價(jià)方法 (一) 重測(cè)信度 重測(cè)信度(test-retest reliability)是在一定時(shí)間間隔(所測(cè)定的特質(zhì)或概念尚未發(fā)生改變)中運(yùn)用同一量表作重復(fù)測(cè)量所得的信度系數(shù)，也稱為穩(wěn)定系數(shù)，因?yàn)樗f(shuō)明了使用同一測(cè)量工具重復(fù)測(cè)量時(shí)個(gè)體分?jǐn)?shù)的穩(wěn)定性。 (一) 重測(cè)信度 重測(cè)信度(test- 重測(cè)信度一般用兩次測(cè)定間的相關(guān)系數(shù)來(lái)衡量。根據(jù)所測(cè)定的特質(zhì)的數(shù)據(jù)表現(xiàn)方式可采用積矩相關(guān)系數(shù)、

5、等級(jí)相關(guān)系數(shù)、列聯(lián)系數(shù)等來(lái)表示(參見相關(guān)分析有關(guān)章節(jié))。對(duì)于標(biāo)準(zhǔn)化的測(cè)定量表，所測(cè)定的特質(zhì)均以量化分的方式給出，而且多半服從正態(tài)分布，因此可直接計(jì)算積矩相關(guān)系數(shù)。 重測(cè)信度一般用兩次測(cè)定間的相關(guān)系數(shù)來(lái)衡量。根值得注意的是，重測(cè)信度考評(píng)中，不同種類的受試者重測(cè)間隔期限不盡相同，原則上應(yīng)在其特質(zhì)無(wú)變化的期間內(nèi)進(jìn)行。 值得注意的是，重測(cè)信度考評(píng)中，不同種類的受試者重測(cè)間隔期限不 (二) 復(fù)本信度 復(fù)本信度(equivalent-form reliability )也稱替代信度(alternative-form reliability)或平行信度(parallel-form reliability)，

6、是以兩份等效量表分別做出測(cè)量來(lái)評(píng)價(jià)信度系數(shù)。即使用相同難度、內(nèi)容和形式而具體條目不同的兩份量表(互為復(fù)本)來(lái)評(píng)價(jià)信度。 (二) 復(fù)本信度 復(fù)本信度(equivalent- 兩量表測(cè)定結(jié)果的相關(guān)系數(shù)即為復(fù)本信度系數(shù)。該法彌補(bǔ)了重測(cè)信度采用完全相同的測(cè)量所帶來(lái)的一些弊端。但對(duì)于量表的設(shè)計(jì)要求較高，實(shí)際中很難得到兩份等價(jià)的量表，使其應(yīng)用大受限制。 兩量表測(cè)定結(jié)果的相關(guān)系數(shù)即為復(fù)本信度系數(shù)。該(三) 分半信度 前述的重測(cè)信度或復(fù)本信度，要對(duì)每個(gè)個(gè)體進(jìn)行兩次測(cè)定，這較麻煩，而且要求受測(cè)者參加兩次內(nèi)容相似的測(cè)量也比較困難。為此，人們更愿意采用一次性測(cè)定的評(píng)價(jià)方法，分半信度(split-half relia

7、bility)正是如此。(三) 分半信度 前述的重測(cè)信度或復(fù)本信度，要 分半信度是在一次測(cè)量后將條目分為相等的兩部分，分別計(jì)算兩部分的得分并以其相關(guān)系數(shù)作為信度指標(biāo)。這實(shí)際上考察的是指標(biāo)的一致性，但因測(cè)量同一特征的指標(biāo)間應(yīng)關(guān)系密切，故具有一致性則說(shuō)明結(jié)果可信。 分半信度是在一次測(cè)量后將條目分為相等的兩部分 顯然，k個(gè)條目的量表分半方法可有k!/(k/2)!(k/2)! 種，如10個(gè)條目的量表有252種分法。那么，采用哪種分法呢？ 實(shí)際上各種分法得到的結(jié)果應(yīng)很接近，因此可隨機(jī)地抽取一種分法。通常采用奇數(shù)條目為一組，偶數(shù)條目為一組的分法。 顯然，k個(gè)條目的量表分半方法可有k!/(k此外，兩部分直接

8、算出的相關(guān)系數(shù)( )只表明一半條目的信度，需用Spearman-Brown公式來(lái)確定整個(gè)量表的信度(r)： (17.5)此外，兩部分直接算出的相關(guān)系數(shù)( )只表明一半條目的信度 值得注意的是，評(píng)價(jià)分半信度時(shí)，需要奇偶項(xiàng)的條目在難度、內(nèi)容、得分變異等方面相似。否則可用下面的公式來(lái)計(jì)算： (17.6) 式中， 分別為第一，二部分條目得分總和的方差， 為全部條目得分之和的方差。實(shí)際上，該式是下面的 系數(shù)公式在分半法中的應(yīng)用(取K=2)。 式中， 分別為第一，二部分條目得 (四) 內(nèi)部一致性信度 內(nèi)部一致性信度(internal consistent reliability)是目前比較流行的信度評(píng)價(jià)方

9、法，是分半信度的推廣。它無(wú)需將條目分為兩個(gè)部分，而是從量表的構(gòu)思層次入手，以內(nèi)部結(jié)構(gòu)的一致性程度對(duì)信度作出估計(jì)。 (四) 內(nèi)部一致性信度 內(nèi)部一致性信度(inte內(nèi)部一致性信度主要有Kuder-Richardson公式和克朗巴赫系數(shù)(Cronbachs alpha) 。其中，Kuder-Richardson公式是克朗巴赫系數(shù)的的特殊情況，僅適用于兩分類條目?？死拾秃障禂?shù) 為：內(nèi)部一致性信度主要有Kuder-Richardson公式和克 (17.7) 式中，K為整個(gè)量表或子量表的條目數(shù)， 為第i個(gè)條目的方差， 為整個(gè)量表或子量表得分的方差。 (17.7) 系數(shù)根據(jù)一次測(cè)定即可計(jì)算，使用簡(jiǎn)便，利用

10、的信息也充分，因此，在實(shí)際工作中廣為采用。 系數(shù)根據(jù)一次測(cè)定即可計(jì)算，使用簡(jiǎn)便， 因此， 系數(shù)最好用于量表的低層結(jié)構(gòu)(如領(lǐng)域、方面等子量表)的信度考察，通過(guò)每個(gè)子量表的考察結(jié)果再來(lái)綜合反映整個(gè)量表的情況，而不宜僅計(jì)算一個(gè)總量表的 系數(shù)。原因是低層結(jié)構(gòu)中的條目都是反映同一方面的特征，相關(guān)性較高，而總量表要考慮一定的“覆蓋面”，因而具有一定的“異質(zhì)性”。如在生命質(zhì)量測(cè)定中可以分別計(jì)算心理功能、軀體功能等領(lǐng)域的 系數(shù)，在心理測(cè)量中可以分別計(jì)算焦慮、抑郁、孤獨(dú)等方面的 系數(shù)。 因此， 系數(shù)最好用于量表的低層結(jié)構(gòu)(如領(lǐng)域、方面等子量表(五) 評(píng)價(jià)者信度 如果量表是他評(píng)而不是自評(píng)，則還要計(jì)算評(píng)價(jià)者間的一致

11、性，此即評(píng)價(jià)者信度(inter-rater reliability)，也稱評(píng)分者信度(inter-scorer reliability)。一致性的考察有多種方法，如常用的kappa系數(shù)(參見有關(guān)章節(jié))、Kendall和諧系數(shù)W等。其中，kappa系數(shù)用于定性資料，和諧系數(shù)W用于等級(jí)資料。 (五) 評(píng)價(jià)者信度 如果量表是他評(píng)而不是自評(píng)，則還要計(jì)信度與效度分析(qiang) 在標(biāo)準(zhǔn)化測(cè)量中，不論條目形式如何，一般均轉(zhuǎn)化為計(jì)量的得分值來(lái)處理，因此可用方差分析的辦法來(lái)計(jì)算評(píng)價(jià)者信度，也即用組內(nèi)相關(guān)系數(shù)ICC (intra-class correlation coefficient)來(lái)評(píng)價(jià)。 在標(biāo)準(zhǔn)化測(cè)

12、量中，不論條目形式如何，一般均轉(zhuǎn)化為計(jì)量的信度與效度分析(qiang)此外，前述的 系數(shù)也可用于考察評(píng)價(jià)者信度，不過(guò)式(17.7)中符號(hào)的意義應(yīng)重新確定。其中的K不再是量表的條目數(shù)，而是評(píng)價(jià)者人數(shù)， 為第i個(gè)評(píng)價(jià)者的評(píng)分方差， 為被測(cè)者在所有評(píng)價(jià)者上所得總分的方差。 此外，前述的 系數(shù)也可用于考察評(píng)價(jià)者信度，不過(guò)式(17.四、影響信度的因素四、影響信度的因素 前已述及，信度分析在理論基礎(chǔ)上來(lái)源于經(jīng)典測(cè)驗(yàn)理論，特定于測(cè)定樣本和條目特征。因此，樣本的特點(diǎn)(如同質(zhì)性)和條目的特點(diǎn)(如難度等)都影響著測(cè)定的信度。 此外，信度還受以下因素影響： 前已述及，信度分析在理論基礎(chǔ)上來(lái)源于經(jīng)典測(cè)驗(yàn)理論，特 (一

13、) 測(cè)定的具體方式和程序 比如采用測(cè)試者與被測(cè)者面對(duì)面的一一測(cè)定方式還是采用發(fā)放以后一定時(shí)間再收回的方式、指導(dǎo)語(yǔ)是否清楚易懂、測(cè)定的場(chǎng)地及環(huán)境等都影響著測(cè)量的信度。 (一) 測(cè)定的具體方式和程序 (二) 測(cè)定條目數(shù)的多少 憑經(jīng)驗(yàn)，只有一個(gè)條目的測(cè)驗(yàn)不如有10個(gè)條目的測(cè)驗(yàn)可靠。研究表明，在一定限度內(nèi)，測(cè)驗(yàn)的條目越多信度越高。前述的分半信度需要進(jìn)行校正就是因?yàn)橛梢话霔l目構(gòu)成的量表?xiàng)l目數(shù)減少，低估了信度。 (二) 測(cè)定條目數(shù)的多少 (三) 測(cè)定者與被測(cè)者 測(cè)定者的身份和態(tài)度不同，常能影響測(cè)定的信度，如在我們進(jìn)行的生命質(zhì)量評(píng)定中，測(cè)定者以研究人員的身份和以醫(yī)生的身份出現(xiàn)是不一樣的，后者給被測(cè)者的感覺(jué)是

14、為了了解其健康情況，是為他們著想。受測(cè)者的特征(如文化程度、對(duì)測(cè)定的認(rèn)識(shí)等)也都影響著測(cè)定的信度。 (三) 測(cè)定者與被測(cè)者 (四) 分?jǐn)?shù)分布范圍的影響 信度是用相關(guān)系數(shù)來(lái)進(jìn)行評(píng)價(jià)，而相關(guān)系數(shù)受變量的取值范圍(全距)影響。測(cè)驗(yàn)得分的分布范圍越大，信度越高。因此，在測(cè)驗(yàn)中往往要選取不同層次的被試者，一方面增加樣本的代表性，另一方面也增加測(cè)驗(yàn)的信度。 (四) 分?jǐn)?shù)分布范圍的影響第二節(jié) 效度及其評(píng)價(jià)方法第二節(jié) 效度及其評(píng)價(jià)方法一、效度的概念一、效度的概念 效度即測(cè)量工具(如量表)的有效性和正確性， 亦即準(zhǔn)確度(accuracy)。意指量表測(cè)定了它打算(所要)測(cè)定的特質(zhì)或功能(而不是其它特質(zhì)或功能)以及

15、測(cè)定的程度。它包含兩層意思：(1) 測(cè)量了什么； (2) 測(cè)的程度。比如量表是否測(cè)量了生命質(zhì)量，軀體功能分量表是否測(cè)量了軀體功能，其程度怎樣。 效度即測(cè)量工具(如量表)的有效性和正確性， 效度具有特殊性和相對(duì)性，即每個(gè)測(cè)量工具只對(duì)某特殊目的有效，僅能對(duì)其特定項(xiàng)目作正確的度量，或者說(shuō)測(cè)驗(yàn)的效度總是針對(duì)著要解決的問(wèn)題來(lái)說(shuō)的，亦即針對(duì)著打算作出的應(yīng)用來(lái)建立的。 效度具有特殊性和相對(duì)性，即每個(gè)測(cè)量工具只對(duì)某特殊目的 收集大量資料和證據(jù)來(lái)檢驗(yàn)測(cè)驗(yàn)效度的過(guò)程稱為效度驗(yàn)證(validation)。嚴(yán)格地說(shuō)，任何測(cè)驗(yàn)在正式實(shí)施以前都應(yīng)做出效度驗(yàn)證。 收集大量資料和證據(jù)來(lái)檢驗(yàn)測(cè)驗(yàn)效度的過(guò)程稱為效二、效度的數(shù)學(xué)模

16、型二、效度的數(shù)學(xué)模型 式(17.2)中的真值方差可進(jìn)一步分解為共同性質(zhì)所造成的方差(共性方差， )和個(gè)別性質(zhì)所造成的方差(個(gè)性方差， )。前者反映所測(cè)量的特質(zhì)引起的變異，后者反映其它特質(zhì)引起的變異。即： (17.11) 式(17.2)中的真值方差可進(jìn)一步分解為共于是，效度(V)可定義為與測(cè)量特質(zhì)有關(guān)的真分?jǐn)?shù)方差與總方差的比值： (17.12)于是，效度(V)可定義為與測(cè)量特質(zhì)有關(guān)的真分?jǐn)?shù)方差與總方差的 與測(cè)量特質(zhì)有關(guān)的變異往往要通過(guò)與外部標(biāo)準(zhǔn)的比較才能判斷，因此，效度是指某測(cè)量與外部標(biāo)準(zhǔn)之間關(guān)系的程度。 與測(cè)量特質(zhì)有關(guān)的變異往往要通過(guò)與外部標(biāo)準(zhǔn)的比三、效度的評(píng)價(jià)方法三、效度的評(píng)價(jià)方法 效度的評(píng)

17、價(jià)一般較信度復(fù)雜，按評(píng)價(jià)目的和用途不同可分為以下幾種類型。 效度的評(píng)價(jià)一般較信度復(fù)雜，按評(píng)價(jià)目的和用途 (一) 內(nèi)容效度 內(nèi)容效度(content validity)也稱內(nèi)在效度(intrinsic validity)或循環(huán)效度(circular validity)， 有時(shí)也稱貼切性(relevance)或代表性 (representativeness)，是指量表在多大程度上表示了所測(cè)特質(zhì)的范疇。換言之，量表是否包含足夠的條目來(lái)反映所測(cè)內(nèi)容。 (一) 內(nèi)容效度 內(nèi)容效度的評(píng)價(jià)主要通過(guò)經(jīng)驗(yàn)判斷進(jìn)行，通常要考慮三方面的問(wèn)題：第一，項(xiàng)目所測(cè)量的是否真屬于應(yīng)測(cè)量的領(lǐng)域；第二，測(cè)驗(yàn)所包含的的項(xiàng)目是否覆蓋

18、了應(yīng)測(cè)領(lǐng)域的各個(gè)方面；第三，測(cè)驗(yàn)項(xiàng)目的構(gòu)成比例是否恰當(dāng)。如量表的條目包含了所測(cè)概念的各具體方面而且有一定的比例，則可認(rèn)為有好的內(nèi)容效度。 內(nèi)容效度的評(píng)價(jià)主要通過(guò)經(jīng)驗(yàn)判斷進(jìn)行，通常要 也可請(qǐng)一些熟悉該測(cè)量?jī)?nèi)容的有關(guān)人員來(lái)評(píng)判，必要時(shí)用內(nèi)容效度比(content validity ratio， CVR)這一指標(biāo)來(lái)衡量： (17.13) 也可請(qǐng)一些熟悉該測(cè)量?jī)?nèi)容的有關(guān)人員來(lái)評(píng)判，必要時(shí)用其中，n為評(píng)判者中認(rèn)為條目很好地反映了測(cè)定內(nèi)容的人數(shù)， N為評(píng)判者總數(shù)。其中，n為評(píng)判者中認(rèn)為條目很好地反映了測(cè)定內(nèi)容的人數(shù)， N為 (二) 結(jié)構(gòu)效度 結(jié)構(gòu)效度(construct validity)，也稱構(gòu)思效度或

19、特征效度(trait validity)，說(shuō)明量表的構(gòu)造是否符合有關(guān)的理論構(gòu)想和框架，也就是檢驗(yàn)量表是否真正測(cè)量了所提出的理論構(gòu)思。因而結(jié)構(gòu)效度是最重要的效度指標(biāo)之一。 (二) 結(jié)構(gòu)效度 結(jié)構(gòu)效度的評(píng)價(jià)較復(fù)雜，可用各條目與各領(lǐng)域(或小方面)的相關(guān)分析和因子分析方法來(lái)反映。其中，因子分析除可說(shuō)明結(jié)構(gòu)的相合性外，尚可用共性變異(共性方差) 與總變異之比作為結(jié)構(gòu)效度的衡量指標(biāo)。此外，結(jié)構(gòu)效度的分析最好用證實(shí)性因子分析，它較探索性因子分析更能說(shuō)明問(wèn)題。 結(jié)構(gòu)效度的評(píng)價(jià)較復(fù)雜，可用各條目與各領(lǐng)域( (三) 準(zhǔn)則關(guān)聯(lián)效度 準(zhǔn)則關(guān)聯(lián)效度(criterion- related validity)，也稱效標(biāo)效度

20、(criterion validity)、經(jīng)驗(yàn)效度(empirical validity)或統(tǒng)計(jì)效度 (statistical validity)。 是說(shuō)明量表得分與某種外部準(zhǔn)則(效標(biāo))間的關(guān)聯(lián)程度，用測(cè)量得分與效度準(zhǔn)則之間的相關(guān)系數(shù)表示。 (三) 準(zhǔn)則關(guān)聯(lián)效度 外部準(zhǔn)則指不通過(guò)該量表，而是通過(guò)一些客觀指標(biāo)或某些總體評(píng)價(jià)性項(xiàng)目來(lái)間接反映該測(cè)定特質(zhì)。 根據(jù)效標(biāo)的不同，可分為兩種： 外部準(zhǔn)則指不通過(guò)該量表，而是通過(guò)一些客觀指標(biāo) 1. 同時(shí)效度(concurrent validity) 量表得分與當(dāng)前效標(biāo)間的相關(guān)。比如用脫毒的快慢來(lái)反映戒毒者生命質(zhì)量高低，用運(yùn)動(dòng)速度反映軀體功能的高低等。 1. 同時(shí)

21、效度(concurrent validity) 2. 預(yù)測(cè)效度(predictive validity) 量表得分與將來(lái)的效標(biāo)(某種結(jié)果)間的相關(guān)。比如量表得分與將來(lái)的疾病復(fù)發(fā)、惡化、死亡等結(jié)果的聯(lián)系。 2. 預(yù)測(cè)效度(predictive validity) 在心理、教育和生命質(zhì)量測(cè)量中大部分僅考察同時(shí)效度。此外，如果缺乏金標(biāo)準(zhǔn)，可用一種較流行的量表得分為效標(biāo)。如生命質(zhì)量測(cè)定中可用著名的測(cè)定量表SF-36或FLIC的測(cè)定結(jié)果為效標(biāo)，也可讓受測(cè)者自己對(duì)其總的健康狀況作一個(gè)評(píng)估(比如按百分制打分)，以此權(quán)且作為效標(biāo)，這常稱為自我報(bào)告的生命質(zhì)量或總體健康狀況。 在心理、教育和生命質(zhì)量測(cè)量中大部分僅

22、考察同時(shí) (四) 判別效度和聚合效度 判別效度(discriminant validity)，也稱辨別效度，是指運(yùn)用相同測(cè)量方法測(cè)定不同特質(zhì)或構(gòu)思時(shí)，辨別不同特質(zhì)的程度，也就是說(shuō)不同特質(zhì)和內(nèi)涵的測(cè)量結(jié)果之間不應(yīng)有太大的相關(guān)性。 (四) 判別效度和聚合效度 聚合效度(convergent validity)，也稱收斂效度，是指運(yùn)用不同測(cè)量方法測(cè)定同一特質(zhì)或構(gòu)思時(shí)所得結(jié)果的相似程度，即不同的測(cè)量方式應(yīng)在同一特質(zhì)的測(cè)定中聚合在一起(收斂)。也就是說(shuō)，對(duì)同一特質(zhì)的兩種或多種測(cè)定方法間應(yīng)有較高的相關(guān)性。 聚合效度(convergent validi 使用判別效度和聚合效度主要基于以下兩個(gè)原因： 1. 任

23、何測(cè)量分?jǐn)?shù)的變異中都有一部分應(yīng)歸因于特定的方法，而不僅是測(cè)量的特質(zhì)本身。有時(shí)候，即便是不同的特質(zhì)，也可能因用了相同的測(cè)定方法而出現(xiàn)高相關(guān)。 使用判別效度和聚合效度主要基于以下兩個(gè)原因： 2. 只有通過(guò)相似性和差異性的綜合分析，才能準(zhǔn)確地描述和解釋測(cè)定結(jié)果。換言之，必須說(shuō)明測(cè)到了什么，沒(méi)有測(cè)到什么。 2. 只有通過(guò)相似性和差異性的綜合分析，才能準(zhǔn)確地描述和解 對(duì)判別效度和聚合效度的評(píng)定，通常采用Campbell和 Fiske所提出的多特征多方法(multitrait-multimethod， M-M)矩陣法分析。該法要求用多種(至少兩種)方法分別測(cè)定了多個(gè)(至少兩個(gè))特質(zhì)，從而可計(jì)算同一特質(zhì)的任

24、兩種測(cè)定方法得分間的相關(guān)系數(shù)以及同一方法的任兩種不同特質(zhì)得分間的相關(guān)系數(shù)，還可計(jì)算同特質(zhì)同方法間的相關(guān)以及不同特質(zhì)不同方法間的相關(guān)。 將這些結(jié)果按矩陣式的表格排出即得到M-M分析。 對(duì)判別效度和聚合效度的評(píng)定，通常采用Camp 那么，如何判斷判別效度與聚合效度的好壞呢，通常認(rèn)為具有好的判別效度與聚合效度需達(dá)到下面四條標(biāo)準(zhǔn)： 1. M-M矩陣中的效度系數(shù)均有統(tǒng)計(jì)學(xué)意義的顯著性。 那么，如何判斷判別效度與聚合效度的好壞呢，通常認(rèn)為 2. M-M矩陣中的效度系數(shù)大于同行或列鄰近的“異特質(zhì)異方法”三角中的元素。 3. M-M矩陣中的效度系數(shù)大于“異特質(zhì)同方法”三角中的元素。 4. 所有異特質(zhì)三角，包括

25、“異特質(zhì)異方法”和“異特質(zhì)同方法”三角中的元素模式相同。 2. M-M矩陣中的效度系數(shù)大于同行或列鄰近的“ 此外，尚有表面效度(face validity)、因子效度(factorial validity)、增量效度(incremental validity)等。 此外，尚有表面效度(face validit 效度的評(píng)價(jià)是較復(fù)雜的，實(shí)際應(yīng)用時(shí)可結(jié)合各情況進(jìn)行判斷。Spitzer認(rèn)為如果滿足以下五個(gè)條件， 即可認(rèn)為量表是有效的： 效度的評(píng)價(jià)是較復(fù)雜的，實(shí)際應(yīng)用時(shí)可結(jié)合各情況 (1) 說(shuō)明有內(nèi)容效度和結(jié)構(gòu)效度；(2) 在量表的制定階段應(yīng)讓病人、醫(yī)務(wù)人員、 一般公民提出意見，供修正和提高內(nèi)容效度；(

26、3) 量表經(jīng)重復(fù)使用證明其可靠性；(4) 如果有金標(biāo)準(zhǔn)存在， 應(yīng)以金標(biāo)準(zhǔn)為準(zhǔn)， 對(duì)觀察對(duì)象在相似的條件下進(jìn)行觀察， 確定結(jié)構(gòu)效度；(5) 如果無(wú)金標(biāo)準(zhǔn)， 結(jié)構(gòu)效度由判別效度和收斂效度代替。 (1) 說(shuō)明有內(nèi)容效度和結(jié)構(gòu)效度；(2) 在四、影響效度的因素四、影響效度的因素 一般說(shuō)來(lái)，前述影響信度的因素也都能影響效度。對(duì)于結(jié)構(gòu)效度還受測(cè)定的條目構(gòu)成的影響，效標(biāo)效度還受所選用的效標(biāo)的特征所影響。 一般說(shuō)來(lái)，前述影響信度的因素也都能影響效度。第三節(jié) 信度與效度分析的應(yīng)用第三節(jié) 信度與效度分析的應(yīng)用一、應(yīng)用中的幾個(gè)問(wèn)題一、應(yīng)用中的幾個(gè)問(wèn)題 (一) 應(yīng)用范圍 信度與效度分析被廣泛地用于調(diào)查表(尤其是標(biāo)準(zhǔn)化

27、測(cè)定量表)、實(shí)驗(yàn)研究和考試(測(cè)驗(yàn))等的評(píng)價(jià)。一般說(shuō)來(lái)，凡是通過(guò)測(cè)量工具得到的結(jié)果，無(wú)論是通過(guò)測(cè)定儀器得到的硬數(shù)據(jù)(如物理測(cè)定)，還是通過(guò)測(cè)定量表、考卷等得到的軟數(shù)據(jù)(如心理測(cè)定、考試等)，均需進(jìn)行信度與效度分析。 (一) 應(yīng)用范圍 除了用于評(píng)價(jià)和比較測(cè)驗(yàn)的優(yōu)劣外，還可以用于預(yù)測(cè)和決策方面，如憑高考成績(jī)預(yù)測(cè)學(xué)生以后是否能順利完成學(xué)業(yè)，在人才選拔上采用效度好的能力測(cè)驗(yàn)來(lái)進(jìn)行篩選等。 除了用于評(píng)價(jià)和比較測(cè)驗(yàn)的優(yōu)劣外，還可以用于預(yù) (二) 考評(píng)對(duì)象 信度與效度評(píng)價(jià)的對(duì)象可以是整個(gè)測(cè)定量表(對(duì)整個(gè)量表評(píng)價(jià))，也可以是各個(gè)方面或領(lǐng)域(對(duì)領(lǐng)域評(píng)價(jià))，也可以是具體的條目(對(duì)條目評(píng)價(jià))。一般說(shuō)來(lái)，如果是標(biāo)準(zhǔn)化測(cè)定量表，通常分別進(jìn)行總量表和各個(gè)領(lǐng)域的評(píng)價(jià)；對(duì)于包括各種條目的一般調(diào)查問(wèn)卷，很難進(jìn)行整個(gè)調(diào)查表的考評(píng)，一般就對(duì)某些條目或領(lǐng)域進(jìn)行考評(píng)，并以此間接說(shuō)明整個(gè)調(diào)查表的好壞。 (二) 考評(píng)對(duì)象 (三) 信度與效度的關(guān)系 從前面的內(nèi)容可以看出效度更重要，一個(gè)無(wú)效或效度很低的測(cè)驗(yàn)