第十三章診斷試驗(yàn)的評(píng)價(jià)

1、宇傳華（宇傳華（ ) )December 13December 13，20052005為什么要學(xué)習(xí)診斷試驗(yàn)的評(píng)價(jià)循證醫(yī)學(xué)的重要內(nèi)容及時(shí)取舍或靈活應(yīng)用新的診斷試驗(yàn)（試劑、藥物、方法）提高業(yè)務(wù)素質(zhì)，減少患者不必要的經(jīng)濟(jì)開支。目 錄第一節(jié) 貝葉斯定理第二節(jié) 診斷試驗(yàn)中常用的評(píng)價(jià)指標(biāo)第三節(jié) ROC曲線第一節(jié) 貝葉斯定理表表13.1 13.1 診斷資料診斷資料2 2四格表四格表 金標(biāo)準(zhǔn)（D） 診 斷 結(jié) 果(T) 病例（D） 對(duì)照(D) 合 計(jì) TP(真陽性) FP(假陽性) TP+FP FN(假陰性) TN(真陰性) FN+TN 陽 性（T） 陰 性（T） 合計(jì) TP+FN FP+TN N 貝葉斯（B

2、ayes）公式： )()|()()|()()|()|(DPDTPDPDTPDPDTPTDP， 貝葉斯定理應(yīng)用 例例13.1 以往調(diào)查得知，某人群2000名成年男子中有1人患有冠心病。采用心電圖（electrocardiogram，ECG）作為診斷工具，金標(biāo)準(zhǔn)確診的冠心病病例組中98為ECG陽性，未患該病的對(duì)照組中1為ECG陽性，問ECG診斷為陽性時(shí)成年男子實(shí)際患冠心病的概率是多少？ 解：已知)(DP0005.020001，98.0%98)|(DTP 01.0%1)|(DTP，9995.00005.01)(1)(DPDP 根據(jù)（13.1）式有： (|)()(|)(|)()(|)()0.980.0

3、0050.04670.980.00050.01 0.9995P TDP DP DTP TDP DP TDP D 但在臨床上，ECG僅用于懷疑患有冠心病者，)(DP10時(shí)，得到)|(TDP91.59 因此ECG用于人群效果較差，但用于臨床診斷價(jià)值較高。 第二節(jié) 診斷試驗(yàn)中常用的評(píng)價(jià)指標(biāo)例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合 計(jì)出現(xiàn)不出現(xiàn)陽 性陰 性合計(jì)416(TP) 9（FP）425104(FN)171（TN）275520180700(N)常用指標(biāo)有（一）正確百分率、（二）靈敏度、（三）特異度、常用指標(biāo)有（一）正確百分率、（二）靈敏度、（三）特異度、（四）（四）Y

4、ouden指數(shù)、（五）陽性似然比、（六）陰性似然比、指數(shù)、（五）陽性似然比、（六）陰性似然比、（七）陽性預(yù)報(bào)值、（七）陽性預(yù)報(bào)值、 （八）陰性預(yù)報(bào)值。（八）陰性預(yù)報(bào)值。例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合 計(jì)出現(xiàn)不出現(xiàn)陽 性陰 性合計(jì)416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合 計(jì)出現(xiàn)不出現(xiàn)陽 性陰 性合計(jì)416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果ECG

5、診斷結(jié)果心肌梗塞合 計(jì)出現(xiàn)不出現(xiàn)陽 性陰 性合計(jì)416(TP) 9（FP）425104(FN)171（TN）275520180700(N)靈敏度與特異度的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：靈敏度與特異度不受患病率的影響，其取值范圍均在（0, 1）之間，其值越接近于1，說明其診斷準(zhǔn)確性越好。缺點(diǎn)：當(dāng)比較兩個(gè)診斷試驗(yàn)時(shí)，單獨(dú)使用靈敏度或特異度，可能出現(xiàn)矛盾。解決辦法：將兩指標(biāo)結(jié)合：Youden指數(shù)、陽性似然比、陰性似然比等例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合 計(jì)出現(xiàn)不出現(xiàn)陽 性陰 性合計(jì)416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.

6、2 表13.2 ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合 計(jì)出現(xiàn)不出現(xiàn)陽 性陰 性合計(jì)416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合 計(jì)出現(xiàn)不出現(xiàn)陽 性陰 性合計(jì)416(TP) 9（FP）425104(FN)171（TN）275520180700(N)醫(yī)生最關(guān)心的問題：醫(yī)生最關(guān)心的問題： 1. 試驗(yàn)陽性時(shí)患病的概率多大？試驗(yàn)陽性時(shí)患病的概率多大？ 2. 試驗(yàn)陰性時(shí)不患病的概率多大？試驗(yàn)陰性時(shí)不患病的概率多大？例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果例例13.2 表13.2

7、 ECG診斷試驗(yàn)的結(jié)果例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合 計(jì)出現(xiàn)不出現(xiàn)陽 性陰 性合計(jì)416(TP) 9（FP）425104(FN)171（TN）275520180700(N)陽性預(yù)報(bào)值與陰性預(yù)報(bào)值第三節(jié) ROC曲線 ROC ROC【receiver(relative) operating receiver(relative) operating characteristiccharacteristic的縮寫，譯為的縮寫，譯為“接受者工接受者工作特征作特征”】ROCROC曲線研究歷史曲線研究歷史1950s 雷達(dá)信號(hào)觀測能力評(píng)價(jià)雷達(dá)信號(hào)觀測能力評(píng)價(jià)1960s中

8、期中期 實(shí)驗(yàn)心理學(xué)、心理物理學(xué)實(shí)驗(yàn)心理學(xué)、心理物理學(xué)1970s末與末與1980s初初 診斷醫(yī)學(xué)診斷醫(yī)學(xué)ROC的涵義與起源的涵義與起源診斷試驗(yàn)：泛指血液生化、影像學(xué)、免疫學(xué)、細(xì)胞學(xué)、診斷試驗(yàn)：泛指血液生化、影像學(xué)、免疫學(xué)、細(xì)胞學(xué)、病理學(xué)、統(tǒng)計(jì)模型等檢查。病理學(xué)、統(tǒng)計(jì)模型等檢查。重要性：重要性： 1. 循證醫(yī)學(xué)的重要組成部分循證醫(yī)學(xué)的重要組成部分 2. 診斷試驗(yàn)評(píng)價(jià)方法可用于：診斷試驗(yàn)評(píng)價(jià)方法可用于： 臨床試驗(yàn)評(píng)價(jià) 臨床檢驗(yàn)評(píng)價(jià) 流行病學(xué)篩查試驗(yàn)評(píng)價(jià) 實(shí)驗(yàn)室檢驗(yàn)評(píng)價(jià) 統(tǒng)計(jì)學(xué)模型評(píng)價(jià)ROC曲線評(píng)價(jià)診斷試驗(yàn)的重要性曲線評(píng)價(jià)診斷試驗(yàn)的重要性 靈敏度靈敏度,特異度特異度,假陰性率假陰性率,假陽性率假陽性率

9、Test variable不同不同診斷界值診斷界值時(shí)時(shí)靈敏度與特異度間的平衡靈敏度與特異度間的平衡(trade off)(trade off)0204060801005060708090100特異度靈敏度百分率（）百分率（）Test variable完美診斷試驗(yàn)完美診斷試驗(yàn)0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR無用診斷試驗(yàn)無用診斷試驗(yàn)0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR完美與無用的完美與無用的ROC曲線曲線真真陽陽性性率率即即靈靈敏敏度度假陽性率假陽性率 即即 1特異度特異度機(jī)率線機(jī)率線(chance

10、 line)(diagonal reference line)診斷準(zhǔn)確度較低（診斷準(zhǔn)確度較低（ 0.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA0.938ROC曲線下面積（曲線下面積（Area）與診斷準(zhǔn)確度高低）與診斷準(zhǔn)確度高低高 0.90-1.00 = excellent (A)中 0.80-0.90 = good (B) 0.70-0.80 = fair (C)低 0.60-0.70 = poor (D) 0.50-0.60 = fail (F)似然比（似然比（LR）在）在ROC曲線空間的涵義曲線空間的涵義白細(xì)胞計(jì)數(shù)診斷白血病白細(xì)胞計(jì)數(shù)診斷白血

11、病LR7.5LR0.7LR2.3LR25.0基本概念小結(jié)基本概念小結(jié)lROC曲線反映了靈敏度與特異度間的平衡 (增加靈敏度將降低特異度；增加特異度將降低靈敏度)。 l在ROC曲線空間，如果曲線沿著左邊線，然后沿著上邊線越緊密，則試驗(yàn)準(zhǔn)確度越高。 l在ROC曲線空間，如果曲線沿著機(jī)會(huì)線（45度對(duì)角線）越緊密，則試驗(yàn)準(zhǔn)確度越低。 l在診斷界值（cutpoint）處的正切線的斜率就是該試驗(yàn)值對(duì)應(yīng)的陽性似然比（likelihood ratio，LR)。在ROC曲線空間的左下角LR+最大，隨著曲線從左下往右上方移動(dòng)，LR+逐漸減小。lROC曲線下面積是重要的試驗(yàn)準(zhǔn)確度指標(biāo)。 主要任務(wù)：主要任務(wù)：l計(jì)算計(jì)

12、算ROC曲線工作點(diǎn)曲線工作點(diǎn)（Coordinate point或或Operating point）（）（FPR, TPR）l連接相鄰兩點(diǎn)連接相鄰兩點(diǎn)一、一、ROC曲線工作點(diǎn)的計(jì)算與曲線繪制曲線工作點(diǎn)的計(jì)算與曲線繪制連續(xù)型數(shù)據(jù)的連續(xù)型數(shù)據(jù)的ROC曲線工作點(diǎn)（曲線工作點(diǎn)（TPR，F(xiàn)PR）計(jì)算）計(jì)算 將這9個(gè)數(shù)據(jù)從大到小排列，以前8個(gè)數(shù)，分別作為診斷界值，大于等于診斷界值者判為陽性，小于該值者判為陰性。這樣，可整理成8個(gè)四格表表表133 假想的連續(xù)型數(shù)據(jù)假想的連續(xù)型數(shù)據(jù) 將診斷分類數(shù)據(jù)按大到小排序，以前4個(gè)分類作為診斷界值，大于等于診斷界值者為陽性，小于該值者為陰性。這樣，可整理出4個(gè)四格表，每個(gè)四

13、格表對(duì)應(yīng)的ROC曲線的工作點(diǎn)見下表。某放射醫(yī)生對(duì)某放射醫(yī)生對(duì) 109份份 CT影像的分類影像的分類 診 斷 分 類金標(biāo)準(zhǔn)12345合計(jì)異常 3 2 2 11 33 51正常 33 6 6 11 2 58 該資料不同診斷界值的該資料不同診斷界值的 FPR和和 TPR值值診斷界值（診斷分類）5432FPR0.03450.22410.32960.4310TPR0.64710.86270.90200.941210011圖圖 有有 序序分分類類資資料料的的未未光光滑滑R R O O C C 曲曲線線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR 2二、二、ROC曲線

14、下面積的計(jì)算曲線下面積的計(jì)算lROC曲線下面積曲線下面積 (Area)l 部分部分ROC曲線下的面積曲線下的面積l FPR為某值對(duì)應(yīng)的為某值對(duì)應(yīng)的TPR值值(一) Hanley 和 McNeil ROC曲線下面積(Az)就是異常組觀察值大于正常組觀察值的概率 ),(111jinananjninaZxxnnA jijijijinanananaxxxxxxxx05.01),( AZ的標(biāo)準(zhǔn)誤)(ZASE可采用公式 naZnZaZZZnnAQnAQnAAASE)(1()(1()1 ()(2221其中，1Q是兩個(gè)隨機(jī)選擇的異常組觀察值比一個(gè)隨機(jī)選擇的正常組觀察值都有更大可能被判為異常的概率。2Q是一個(gè)隨

15、機(jī)選擇的異常組觀察值比兩個(gè)隨機(jī)選擇的正常組觀察值都有更大可能被判為異常的概率。Mann-Whitney U 統(tǒng)計(jì)量統(tǒng)計(jì)量Hanley 和 McNeil與Mann-Whitney U 檢驗(yàn)l由秩和檢驗(yàn)中的Mann-Whitney U統(tǒng)計(jì)量（SPSS等軟件均可計(jì)算）可計(jì)算ROC曲線下面積l零假設(shè)H0:總體ROC面積0.5的檢驗(yàn)等價(jià)于Mann-Whitney U檢驗(yàn)Mann-Whitney UMann-Whitney Umax,1znanaAn nn n統(tǒng)計(jì)量統(tǒng)計(jì)量3330.532(1)()1120.50.5()|(1)()112nanaiinaZZZnaiinaUn nZn nNttNNn nAA

16、ZSE An nNttn nNN分子分母同除有SPSS輸出的輸出的ROC面積檢驗(yàn)面積檢驗(yàn)P值即為上述值即為上述Z值對(duì)應(yīng)的概率值對(duì)應(yīng)的概率Hanley 和 McNeil與梯形規(guī)則（trapezoidal rule） lHanley 和 McNeil法ROC曲線下面積所有曲線下（包括最左側(cè)的三角形）面積之和圖圖 有有 序序分分類類資資料料的的未未光光滑滑R R O O C C 曲曲線線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR（二）其他ROC曲線下面積計(jì)算方法1. 雙正態(tài)法2. 有序回歸模型3. 其他模型(如雙Gama法、雙指數(shù)法)三、ROC曲線下面積的假

17、設(shè)檢驗(yàn)2122212111222121. ROC100 1()2.ROC()()2()()()()ZZZZZZZZZZZZAZSE AAAZSEASEArSE ASE ArrAAZSEASEA曲線下面積的（）置信區(qū)間為兩曲線下面積比較檢驗(yàn)公式：其中 為兩面積間的相關(guān)系數(shù)，令 0,有：l單個(gè)連續(xù)型資料（實(shí)例1）l單個(gè)有序分類資料（實(shí)例2）l兩個(gè)相關(guān)連續(xù)型資料（實(shí)例3）l兩個(gè)相關(guān)有序分類資料（實(shí)例4）二、二、ROC分析的數(shù)據(jù)類型分析的數(shù)據(jù)類型Test variables采用骨髓診斷作為金標(biāo)準(zhǔn)，對(duì)采用骨髓診斷作為金標(biāo)準(zhǔn)，對(duì)100例缺鐵性貧血例缺鐵性貧血疑似患者進(jìn)行確診，患該病者為異常組疑似患者進(jìn)行確

18、診，患該病者為異常組(34例例)，未患該病者，未患該病者為正常組為正常組(66例例)。為了考察紅細(xì)胞平均容積（。為了考察紅細(xì)胞平均容積（MCV）診斷）診斷缺鐵性貧血的效果，測得每一個(gè)體的缺鐵性貧血的效果，測得每一個(gè)體的MCV值如下：值如下：表表 紅細(xì)胞平均容積紅細(xì)胞平均容積骨髓診斷MCV 結(jié)果606668697171737474747677777777787879798080818181828283838383838383848484848585868686878888888989899090正常組919192939393949494949697981001035258626567686971

19、727273737475767777異常組7879808081818182838485858688889092 注：資料來自 JR Beck, EK Shultz, Arch Pathol Lab Med，1986.State VariableTest Variable實(shí)例實(shí)例1：MCV診斷缺鐵性貧血診斷缺鐵性貧血圖圖4 4 連續(xù)性資料的兩組頻率分布連續(xù)性資料的兩組頻率分布 0.3 0.2 0.100.10.20.3556065707580859095100105組段上限值異常組頻率正常組頻率State Variable 骨髓診斷骨髓診斷Test Variable MCV結(jié)果結(jié)果0正常組正常組

20、1異常組異常組Value of State Variable：1SPSS的的GraphsROC Curve界面界面如果試驗(yàn)測如果試驗(yàn)測量值越小患量值越小患病的可能性病的可能性越大時(shí)應(yīng)改越大時(shí)應(yīng)改變默認(rèn)的變默認(rèn)的OptionsSPSS輸出結(jié)果Case Processing SummaryCase Processing Summary3466骨髓診斷PositiveaNegativeValid N(listwise)Smaller values of the test result variable(s) indicatestronger evidence for a positive actua

21、l state.The positive actual state is 1.a. SPSS輸出結(jié)果SPSS輸出結(jié)果Area Under the CurveArea Under the CurveTest Result Variable(s): mcv結(jié)果.717.053.000.614.820AreaStd. ErroraAsymptoticSig.bLower BoundUpper BoundAsymptotic 95% ConfidenceIntervalThe test result variable(s): mcv結(jié)果 has at least one tie between the

22、positive actual state group and the negative actual state group. Statisticsmay be biased.Under the nonparametric assumptiona. Null hypothesis: true area = 0.5b. SPSS輸出結(jié)果MCVMCV診斷缺鐵性貧血的診斷缺鐵性貧血的ROCROC曲線曲線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR雙正態(tài)機(jī)率線工作點(diǎn)某放射醫(yī)生將已知實(shí)際分類的影像，某放射醫(yī)生將已知實(shí)際分類的影像，按肯定正常、可能正常、疑似異常、

23、可能異常、肯按肯定正常、可能正常、疑似異常、可能異常、肯定異常，分別分為定異常，分別分為1、2、3、4、5五類。五類。表表 單個(gè)診斷試驗(yàn)的有序分類資料單個(gè)診斷試驗(yàn)的有序分類資料分類12345合計(jì)正常組 35 68 49 29 12 193= nn異常組 2 3 8 16 12 41= naState VariableTest VariableFrequency Variable圖圖6 6 單個(gè)有序分類資料的兩組頻率分布單個(gè)有序分類資料的兩組頻率分布-0.5-0.4-0.3-0.2-0.100.10.20.30.40.512345 分類異常組頻率正常組頻率State Variable 組別組別Test Variable 診斷分類診斷分類0正常組正常組1異常組異常組Value of State Variable：1SPSS的的GraphsROC Curve界面界面如果試驗(yàn)測量值越小患病的可能性越大時(shí)應(yīng)改變默認(rèn)的Options在調(diào)用在調(diào)用Graphs前，必須先用前，必須先用DataWeight Casesby: 頻數(shù)頻數(shù)圖圖7 7 放射醫(yī)生影