醫(yī)學(xué)統(tǒng)計(jì)學(xué)-2、為35信度與效度

2022/10/271第35章數(shù)據(jù)處理的其它統(tǒng)計(jì)方法陳炳為2022/10/27公衛(wèi)學(xué)院陳炳為2第一節(jié)效度(validity)與信度(reliability)評(píng)價(jià)學(xué)習(xí)要點(diǎn)1.信度與效度分析的意義；2.信度與效度的概念；3.常用的信度、效度指標(biāo)及其計(jì)算方法與結(jié)果解釋；4.影響信度和效度的因素。2022/10/27公衛(wèi)學(xué)院陳炳為3

在科學(xué)研究中采用的主要方法有調(diào)查研究(survey)和實(shí)驗(yàn)研究(experimentalstudy)

調(diào)查研究被廣泛用于公共衛(wèi)生、臨床醫(yī)學(xué)、社會(huì)學(xué)、教育學(xué)等領(lǐng)域。調(diào)查研究的重要內(nèi)容之一就是制定調(diào)查表或問(wèn)卷。

問(wèn)卷以及調(diào)查質(zhì)量反映在調(diào)查結(jié)果的真實(shí)性和可靠性兩個(gè)方面，應(yīng)采用一定的統(tǒng)計(jì)指標(biāo)和方法加以定量考評(píng)。資料的分類軟指標(biāo)（無(wú)法精確測(cè)量）硬指標(biāo)（精確測(cè)量）2022/10/27公衛(wèi)學(xué)院陳炳為42022/10/27公衛(wèi)學(xué)院陳炳為5第一節(jié)信度及效度評(píng)價(jià)方法

1.1信度(validity)概念及其評(píng)價(jià)

1.1.1信度的(validity)概念：指量表測(cè)量某種特質(zhì)(屬性)或概念的結(jié)果的可靠性(dependability)、穩(wěn)定性(stability)和一致性(consistency)。主要評(píng)價(jià)不同測(cè)量者、不同測(cè)量時(shí)間、不同測(cè)量工具對(duì)數(shù)據(jù)可靠性的影響。在經(jīng)典測(cè)量理論（CTT）中，Spearman分?jǐn)?shù)模型起著重要的作用。

2022/10/27公衛(wèi)學(xué)院陳炳為6

任何測(cè)量所得的分?jǐn)?shù)(X)都是由反映對(duì)象穩(wěn)定特質(zhì)的真分?jǐn)?shù)(T)和由隨機(jī)因素造成的誤差分?jǐn)?shù)(e)構(gòu)成，即：

實(shí)測(cè)分?jǐn)?shù)的方差可分解為真實(shí)分?jǐn)?shù)的方差與誤差分?jǐn)?shù)的方差之和

信度可定義為真實(shí)方差與實(shí)測(cè)方差的比值，也就是總方差中真實(shí)方差所占的比例：

2022/10/27公衛(wèi)學(xué)院陳炳為71.1.2信度(validity)類型：

(1)重測(cè)信度(test-retest)：在一定時(shí)間間隔(所測(cè)定的特質(zhì)或概念尚未發(fā)生改變)中運(yùn)用同一量表作重復(fù)測(cè)量所得的信度系數(shù)，也稱為穩(wěn)定系數(shù)。重測(cè)信度一般用兩次測(cè)定間的相關(guān)系數(shù)來(lái)衡量?？刹捎梅e矩相關(guān)系數(shù)、等級(jí)相關(guān)系數(shù)、列聯(lián)系數(shù)等來(lái)表示。還可用重復(fù)測(cè)量誤差。

2022/10/27公衛(wèi)學(xué)院陳炳為8(2)復(fù)本信度(equivalent-formreliability)也稱替代信度(alternative-formreliability)或平行信度(parallel-formreliability)。以兩份等效量表分別做出測(cè)量來(lái)評(píng)價(jià)信度系數(shù)。即使用相同難度、內(nèi)容和形式而具體條目不同的兩份量表(互為復(fù)本)來(lái)評(píng)價(jià)信度。兩量表測(cè)定結(jié)果的相關(guān)系數(shù)即為復(fù)本信度系數(shù)。彌補(bǔ)了重測(cè)信度采用完全相同的測(cè)量所帶來(lái)的一些弊端。對(duì)于量表的設(shè)計(jì)要求較高，實(shí)際中很難得到兩份等價(jià)的量表，使其應(yīng)用大受限制。2022/10/27公衛(wèi)學(xué)院陳炳為9(3)分半信度(split-halfreliability)重測(cè)信度或復(fù)本信度對(duì)每個(gè)個(gè)體進(jìn)行兩次測(cè)定且要求受測(cè)者參加兩次內(nèi)容相似的測(cè)量也比較困難。為此，人們更愿意采用一次性測(cè)定的評(píng)價(jià)方法，分半信度(split-halfreliability)。分半信度是在一次測(cè)量后將條目分為相等的兩部分，分別計(jì)算兩部分的得分并以其相關(guān)系數(shù)作為信度指標(biāo)。這實(shí)際上考察的是指標(biāo)的一致性，但因測(cè)量同一特征的指標(biāo)間應(yīng)關(guān)系密切，故具有一致性則說(shuō)明結(jié)果可信。2022/10/27公衛(wèi)學(xué)院陳炳為10k個(gè)條目的量表分半方法可有k!/[(k/2)!(k/2)!]種采用那種分法呢？通常采用奇數(shù)條目為一組，偶數(shù)條目為一組的分法。兩部分直接算出的相關(guān)系數(shù)()只表明一半條目的信度，需用Spearman-Brown公式來(lái)確定整個(gè)量表的信度(r)：2022/10/27公衛(wèi)學(xué)院陳炳為11注意：評(píng)價(jià)分半信度時(shí)，需要奇偶項(xiàng)的條目在難度、內(nèi)容、得分變異等方面相似。否則可用下面的公式來(lái)計(jì)算：分別為第一，二部分條目得分總和的方差.為全部條目得分之和的方差2022/10/27公衛(wèi)學(xué)院陳炳為12(4)內(nèi)部一致性信度(internalconsistentreliability)

目前比較流行的信度評(píng)價(jià)方法，是分半信度的推廣。它無(wú)需將條目分為兩個(gè)部分，而是從量表的構(gòu)思層次入手，以內(nèi)部結(jié)構(gòu)的一致性程度對(duì)信度作出估計(jì)。內(nèi)部一致性信度主要有Kuder-Richardson公式（KR）和克朗巴赫系數(shù)(Cronbach'salpha)2022/10/27公衛(wèi)學(xué)院陳炳為13

KR20為克朗巴赫系數(shù)的的特殊情況，僅適用于兩分類條目。克朗巴赫系數(shù)為：2022/10/27公衛(wèi)學(xué)院陳炳為14(5)評(píng)價(jià)者信度(inter-raterreliability)，也稱評(píng)分者信度(inter-scorerreliability)。主要有Kappa系數(shù)、Kendall和諧系數(shù)W、組內(nèi)相關(guān)系數(shù)(intra-classcorrelationcoefficient,ICC)。2022/10/27公衛(wèi)學(xué)院陳炳為15例33-5（1）計(jì)算第一次與第二次測(cè)量的誤差：2022/10/27公衛(wèi)學(xué)院陳炳為16（2）計(jì)算簡(jiǎn)單相關(guān)系數(shù)r>0.75精確性好0.4=<r<=0.75精確性較好R<0.4精確性較差2022/10/27公衛(wèi)學(xué)院陳炳為17（3）計(jì)算組內(nèi)相關(guān)系數(shù)(intra-classcorrelationcoefficient,ICC)方差隨機(jī)效應(yīng)模型(variancecomponents)：

2022/10/27公衛(wèi)學(xué)院陳炳為18測(cè)量結(jié)果的誤差eij被分解成兩個(gè)方差分量(variancecomponent)：

2022/10/27公衛(wèi)學(xué)院陳炳為19表33-11兩個(gè)誤差來(lái)源的方差變異分析表2022/10/27公衛(wèi)學(xué)院陳炳為20測(cè)量誤差約占總誤差的34%，說(shuō)明醫(yī)生測(cè)量血壓的精確信度較差。2022/10/27公衛(wèi)學(xué)院陳炳為21ModelChoices2022/10/27公衛(wèi)學(xué)院陳炳為22TypeChoices.2022/10/27公衛(wèi)學(xué)院陳炳為232022/10/27公衛(wèi)學(xué)院陳炳為241.2效度(validity)1.2.1定義

效度即測(cè)量工具(如量表)的有效性(validity)和正確性，亦即準(zhǔn)確度(accuracy)。意指量表在多大程度上反映了事物的客觀真實(shí)性。

含兩層意思：(1)測(cè)量了什么；(2)測(cè)的程度。如:評(píng)價(jià)某人的健康狀況:可根據(jù)其本人的主訊；統(tǒng)計(jì)三個(gè)月去醫(yī)院的次數(shù)；進(jìn)行臨床檢查。

2022/10/27公衛(wèi)學(xué)院陳炳為25（1）表面效度(facevalidity)

指測(cè)量方法或觀測(cè)結(jié)果所要說(shuō)明的問(wèn)題符合專家和公眾的共識(shí)。如：專業(yè)技術(shù)職稱說(shuō)明醫(yī)生的學(xué)術(shù)水平。搶救次數(shù)反映患者的病情危險(xiǎn)程度。2022/10/27公衛(wèi)學(xué)院陳炳為26（2）內(nèi)容效度(contentvalidity)內(nèi)容效度也稱為吻合效度或一致性效度(agreevalidity)，在多大程度上表示了所測(cè)特質(zhì)的范疇。指一種測(cè)量方法或測(cè)量指標(biāo)得到多少專家的認(rèn)同。通常請(qǐng)一批專家進(jìn)行評(píng)判，說(shuō)明效度大小。如：測(cè)量睡眠情況：儀器監(jiān)控睡眠時(shí)間(100%)，受試者主訴睡眠時(shí)間(92%)；受試者對(duì)睡眠好壞的評(píng)價(jià)(80%)；受試者親屬報(bào)告的睡眠時(shí)間(60%)。2022/10/27公衛(wèi)學(xué)院陳炳為27(3)標(biāo)準(zhǔn)關(guān)聯(lián)效度(criterionvalidity)。是用一個(gè)預(yù)選測(cè)量指標(biāo)(X)和公認(rèn)效度高的指標(biāo)(效標(biāo)，Y)同時(shí)測(cè)量同一對(duì)象，計(jì)算X與Y的相關(guān)系數(shù)r。2022/10/27公衛(wèi)學(xué)院陳炳為28（4）預(yù)測(cè)效度(predictivevalidity)

指測(cè)量結(jié)果是否與后來(lái)發(fā)生的事件相吻合。例：采用問(wèn)卷評(píng)分的方法測(cè)量口腔保健知識(shí)的了解程度，如評(píng)分結(jié)果與后來(lái)口腔疾病的嚴(yán)重程度呈現(xiàn)負(fù)相關(guān)，則說(shuō)明問(wèn)卷能反映口腔保健知識(shí)的水平。2022/10/27公衛(wèi)學(xué)院陳炳為29（5）結(jié)構(gòu)效度(constructvalidity)客觀事物的多指標(biāo)測(cè)量是否具有專業(yè)學(xué)上的理想效度。

2022/10/27公衛(wèi)學(xué)院陳炳為30四效度評(píng)價(jià)常用統(tǒng)計(jì)方法１定量資料的平行效度例33-1擬在一項(xiàng)調(diào)查采用計(jì)算軟件判定兒童骨齡。為檢其效度，以醫(yī)生人工判定的結(jié)果為金標(biāo)準(zhǔn)，測(cè)量10名男童的骨齡，測(cè)量結(jié)果如下：2022/10/27公衛(wèi)學(xué)院陳炳為31計(jì)算相關(guān)系數(shù)與回歸方程2022/10/27公衛(wèi)學(xué)院陳炳為32(3)誤差估計(jì)不拒絕,并不意味Y=X一定正確。能否代替醫(yī)生判定，取決于誤差0±2s=-0.74---+0.74(歲)即認(rèn)為利用回歸方程與醫(yī)生判定的平均誤差最大可能達(dá)0.74歲2022/10/27公衛(wèi)學(xué)院陳炳為332定性觀測(cè)資料的平行效度例33-2評(píng)價(jià)一種快速檢驗(yàn)大腸菌群的新方法“紙片法”的準(zhǔn)確性，以“發(fā)酵法”作為金標(biāo)準(zhǔn)，檢測(cè)指標(biāo)為檢測(cè)標(biāo)本的大腸菌群是否陽(yáng)性。2022/10/27公衛(wèi)學(xué)院陳炳為34步驟計(jì)算兩種檢測(cè)方法檢測(cè)結(jié)果的一致性:(2)在兩種檢測(cè)方法檢測(cè)結(jié)果無(wú)關(guān)聯(lián)的假定下計(jì)算一致率

2022/10/27公衛(wèi)學(xué)院陳炳為35(3)計(jì)算Kappa值Kappa>0.75：一致性好；0.4≤Kappa≤0.75：一致性較好；Kappa<0.4：一致性差（≤0poor;≤0.2slight;≤0.4fair;≤0.6moderate;≤0.8substantial;>0.8almostperfect）2022/10/27公衛(wèi)學(xué)院陳炳為36(5)兩種檢驗(yàn)方法結(jié)果一致性的假設(shè)檢驗(yàn)：

H0:兩種檢測(cè)方法結(jié)果無(wú)關(guān)聯(lián)

H1:兩種檢測(cè)方法結(jié)果有關(guān)聯(lián)按0.05的檢驗(yàn)水準(zhǔn)，認(rèn)為兩種方法有關(guān)聯(lián)，具有一致性。2022/10/27公衛(wèi)學(xué)院陳炳為373等級(jí)資料的平行效度例33-3評(píng)價(jià)“濾紙片法”的準(zhǔn)確性，以“血清法”作為金標(biāo)準(zhǔn)，檢測(cè)指標(biāo)為檢測(cè)標(biāo)本的抗體陽(yáng)性反應(yīng)等級(jí)，結(jié)果見(jiàn)33-4。試進(jìn)行效度評(píng)價(jià)。2022/10/27公衛(wèi)學(xué)院陳炳為38步驟計(jì)算兩種檢測(cè)方法檢測(cè)結(jié)果的一致性:(2)在兩種檢測(cè)方法檢測(cè)結(jié)果無(wú)關(guān)聯(lián)的假定下計(jì)算一致率

2022/10/27公衛(wèi)學(xué)院陳炳為39(3)計(jì)算Kappa值Kappa>0.75：一致性好；2022/10/27公衛(wèi)學(xué)院陳炳為40(5)兩種檢驗(yàn)方法結(jié)果一致性的假設(shè)檢驗(yàn)：

H0:兩種檢測(cè)方法結(jié)果無(wú)關(guān)聯(lián)

H1:兩種檢測(cè)方法結(jié)果有關(guān)聯(lián)V=(4-1)*(4-1)=9按0.05的檢驗(yàn)水準(zhǔn)，認(rèn)為兩種方法有關(guān)聯(lián)，具有一致性。2022/10/27公衛(wèi)學(xué)院陳炳為412022/10/27公衛(wèi)學(xué)院陳炳為424結(jié)構(gòu)效度表33-4對(duì)50名碩士生進(jìn)行健康狀況抽樣調(diào)查，其中問(wèn)卷設(shè)計(jì)了如下7個(gè)問(wèn)題：2022/10/27公衛(wèi)學(xué)院陳炳為432022/10/27公衛(wèi)學(xué)院陳炳為442022/10/27公衛(wèi)學(xué)院陳炳為45第二節(jié)統(tǒng)計(jì)結(jié)果在論文中的正確表達(dá)調(diào)查《NewEnglandJ.Medicine》《BritishMedicalJ.》《Lacet》，有70%應(yīng)用了統(tǒng)計(jì)學(xué)。醫(yī)學(xué)論文結(jié)構(gòu)摘要、引文、材料與方法、結(jié)果、討論五個(gè)部分2022/10/27公衛(wèi)學(xué)院陳炳為461摘要中要報(bào)告處理組與對(duì)照組的均數(shù)、標(biāo)準(zhǔn)差、P值;均數(shù)之差、95％CI、OR值等。2材料與方法中要注意所使用的統(tǒng)計(jì)軟件、統(tǒng)計(jì)方法等。如是調(diào)查，通常要說(shuō)明數(shù)據(jù)的可靠性（如問(wèn)卷的回收率等）3結(jié)果中要對(duì)