第二十章 信度與效度分析-2

測(cè)量手段的信度和效度評(píng)價(jià)

在科學(xué)研究中采用的主要方法有調(diào)查研究(survey)和實(shí)驗(yàn)研究(experimentalstudy)。尤其是調(diào)查研究被廣泛用于公共衛(wèi)生、臨床醫(yī)學(xué)、社會(huì)學(xué)、教育學(xué)等領(lǐng)域。調(diào)查研究的重要內(nèi)容之一就是制定調(diào)查表或問(wèn)卷。

問(wèn)卷以及調(diào)查質(zhì)量反映在調(diào)查結(jié)果的真實(shí)性和可靠性兩個(gè)方面，應(yīng)采用一定的統(tǒng)計(jì)指標(biāo)和方法加以定量考評(píng)。本章主要介紹信度(reliability)和效度(validity)分析方法，特別適合于各項(xiàng)目均為線性方式或等級(jí)方式的問(wèn)卷或量表，如心理測(cè)量、教育測(cè)量、態(tài)度測(cè)量、生命質(zhì)量測(cè)量等的標(biāo)準(zhǔn)化測(cè)定量表。第一節(jié)效度和信度的概念一、效度

效度即測(cè)量工具(如量表)的有效性和正確性，亦即準(zhǔn)確度(accuracy)。意指量表測(cè)定了它打算(所要)測(cè)定的特質(zhì)或功能(而不是其它特質(zhì)或功能)以及測(cè)定的程度。它包含兩層意思：(1)測(cè)量了什么；(2)測(cè)的程度。比如量表是否測(cè)量了生命質(zhì)量，軀體功能分量表是否測(cè)量了軀體功能，其程度怎樣。

效度具有特殊性和相對(duì)性，即每個(gè)測(cè)量工具只對(duì)某特殊目的有效，僅能對(duì)其特定項(xiàng)目作正確的度量。或者說(shuō)測(cè)驗(yàn)的效度總是針對(duì)著要解決的問(wèn)題來(lái)說(shuō)的，亦即針對(duì)著打算作出的應(yīng)用來(lái)建立的。

收集大量資料和證據(jù)來(lái)檢驗(yàn)測(cè)驗(yàn)效度的過(guò)程稱為效度驗(yàn)證(validation)。嚴(yán)格地說(shuō)，任何測(cè)驗(yàn)在正式實(shí)施以前都應(yīng)做出效度驗(yàn)證。由于“真實(shí)值”往往未知，所以對(duì)效度的評(píng)價(jià)常常不可能有絕對(duì)肯定的答案。盡管我們不可能證明效度，但是可以用指標(biāo)來(lái)評(píng)價(jià)效度。一般來(lái)說(shuō)，有四種類型的效度：標(biāo)準(zhǔn)效度、內(nèi)容效度、結(jié)構(gòu)效度和區(qū)分效度。內(nèi)容效度是一種基于概念的評(píng)價(jià)指標(biāo)，其它三種是基于經(jīng)驗(yàn)的評(píng)價(jià)指標(biāo)。(一)標(biāo)準(zhǔn)效度

標(biāo)準(zhǔn)效度(criteriavalidity)又稱為效標(biāo)效度，以相對(duì)準(zhǔn)確的測(cè)量手段或指標(biāo)的測(cè)量結(jié)果作為“金標(biāo)準(zhǔn)”，考察待評(píng)測(cè)量手段或指標(biāo)的測(cè)量結(jié)果是否與其一致。例如，評(píng)價(jià)新的影像學(xué)診斷手段的效度，常以病理學(xué)檢查結(jié)果作為“金標(biāo)準(zhǔn)”，考察兩種診斷手段診斷結(jié)果的一致性。(二)內(nèi)容效度內(nèi)容效度(contentvalidity)評(píng)價(jià)測(cè)量指標(biāo)的涵義是否能準(zhǔn)確反映真實(shí)情況。內(nèi)容效度是一個(gè)定性評(píng)價(jià)效度的指標(biāo)，它關(guān)心測(cè)量手段是否能夠測(cè)量我們所需要測(cè)量的抽象概念、領(lǐng)域和方面。對(duì)比事先對(duì)概念的定義和最終的測(cè)量工具，可以得到關(guān)于內(nèi)容效度的評(píng)價(jià)。可以采用專家評(píng)價(jià)的方法了解內(nèi)容效度的大小。

例如，對(duì)比生存質(zhì)量的定義和用于測(cè)量的量表，可以得出該量表內(nèi)容效度的好壞。缺乏內(nèi)容效度的測(cè)量會(huì)歪曲對(duì)所關(guān)心概念的理解，就像利用不具有代表性的樣本對(duì)總體進(jìn)行推斷會(huì)得到錯(cuò)誤結(jié)論一樣。(三)結(jié)構(gòu)效度

結(jié)構(gòu)效度(constructvalidity)又稱構(gòu)想效度，評(píng)價(jià)多個(gè)測(cè)量結(jié)果是否具有穩(wěn)定的結(jié)構(gòu)，是在評(píng)價(jià)量表效度時(shí)最常用的指標(biāo)。由于在心理學(xué)及社會(huì)學(xué)領(lǐng)域中一些概念的定義不是十分明確，內(nèi)容效度在實(shí)際應(yīng)用中存在困難，而標(biāo)準(zhǔn)效度往往因?yàn)槿狈Ρ容^的標(biāo)準(zhǔn)而難于應(yīng)用。在這種情況下，可以使用結(jié)構(gòu)效度。(四)區(qū)分效度如果測(cè)量的結(jié)果能區(qū)分已知的不同特征的人群，就認(rèn)為該測(cè)量具有區(qū)分效度(discriminantvalidity)。例如，測(cè)量結(jié)果能夠區(qū)分“健康人”和“病人”，分別調(diào)查兩類人群，計(jì)算量表各領(lǐng)域得分和總得分，再進(jìn)行t檢驗(yàn)或方差分析，比較這兩類人群得分的差別是否有統(tǒng)計(jì)學(xué)意義，從而判斷量表是否具有區(qū)分效度。結(jié)果有統(tǒng)計(jì)學(xué)意義提示量表有區(qū)分不同屬性人群的能力，具有區(qū)分效度。二、信度

信度(reliability)又稱可靠性、重復(fù)性、穩(wěn)定性或精密度，用以反映相同條件下重復(fù)測(cè)定結(jié)果的一致程度。信度主要受隨機(jī)因素的影響，測(cè)量結(jié)果發(fā)生的偏差往往不具有方向性。(一)重復(fù)測(cè)量法

重復(fù)測(cè)量法(test-retestmethod)要求對(duì)同一對(duì)象測(cè)定兩次，在實(shí)施中有一定的困難。另外，被調(diào)查者的情況可能隨時(shí)間發(fā)生變化，那么兩次測(cè)量的差異就不單純由隨機(jī)誤差造成；受前一次測(cè)定的影響，被調(diào)查者在接受第二次調(diào)查時(shí)會(huì)記憶前一次調(diào)查時(shí)填寫(xiě)的答案，因而第二次測(cè)定結(jié)果不一定能反映被調(diào)查者的真實(shí)情況。(二)分半信度法

分半信度法(split-halvesmethod)在不可能進(jìn)行重復(fù)調(diào)查的情況下，常用的方法是將調(diào)查的條目分成兩半，計(jì)算這兩半得分的相關(guān)系數(shù)r，又稱分半信度系數(shù)，以此為標(biāo)準(zhǔn)來(lái)衡量整個(gè)量表的信度。整個(gè)量表的信度系數(shù)R可以利用如下的斯皮爾曼—布朗公式求得：采用分半信度法測(cè)量信度的優(yōu)點(diǎn)在于：

分半信度法只在一個(gè)時(shí)間點(diǎn)上進(jìn)行；不受記憶效應(yīng)的影響；在重復(fù)測(cè)量法中容易出現(xiàn)的誤差項(xiàng)之間的相關(guān)在分半信度法中不易出現(xiàn)；從實(shí)用的角度看，分半信度法比較經(jīng)濟(jì)和簡(jiǎn)便。(三)Cronbach’s

系數(shù)法

分半信度系數(shù)是建立在奇、偶兩半條目分?jǐn)?shù)的方差相等這一假定上，但實(shí)際數(shù)據(jù)往往并不一定滿足這一假定。如果兩半的方差不相等，信度往往被低估。克朗巴赫(CronbachL.J)于1951年提出用克朗巴赫

系數(shù)(Cronbach’scoefficient)來(lái)測(cè)量信度：分半信度法和

系數(shù)實(shí)際上都是反映量表內(nèi)部的一致性(internalconsistency)。前者指的是兩半量表所測(cè)分?jǐn)?shù)間的一致性，后者指的是量表中條目與條目間的一致性，這是一種同質(zhì)性的測(cè)量。三、反應(yīng)度

反應(yīng)度(responsibilitytochange)又稱敏感度,指內(nèi)外環(huán)境變化時(shí)，若被測(cè)對(duì)象有所變化，則測(cè)量結(jié)果應(yīng)該敏感地顯示出反應(yīng)。通常總是利用現(xiàn)有知識(shí)估計(jì)不同條件下被測(cè)對(duì)象應(yīng)當(dāng)具有的變化，然后考察相應(yīng)的測(cè)量結(jié)果，看是否確有差異。例如，通過(guò)治療,病人的疼痛發(fā)生了緩解，疼痛測(cè)量量表的評(píng)分應(yīng)該發(fā)生相應(yīng)的變化。通常從以下兩方面來(lái)考察測(cè)量手段的反應(yīng)度：1.配對(duì)設(shè)計(jì)的t檢驗(yàn)2.效應(yīng)尺度統(tǒng)計(jì)量(effectsizestatistics)第二節(jié)效度的評(píng)價(jià)方法一、定量觀察的標(biāo)準(zhǔn)效度二、定性觀察的標(biāo)準(zhǔn)效度表20.1二分類觀察結(jié)果的四格表三、半定量觀察的標(biāo)準(zhǔn)效度例20.1如前所述，某醫(yī)生對(duì)200張某病X線片進(jìn)行讀片，診斷結(jié)果分為3類：正常、I級(jí)、II級(jí)。以另一位專家對(duì)該200張片子的診斷結(jié)果(同樣分為三級(jí))為標(biāo)準(zhǔn)，結(jié)果見(jiàn)表20.2。請(qǐng)?jiān)u價(jià)該醫(yī)生診斷結(jié)果的有效性？表20.2200張某病X線片的診斷結(jié)果第三節(jié)信度的評(píng)價(jià)方法例20.2