第十三章診斷試驗的評價

1、宇傳華（宇傳華（ ) )December 13December 13，20052005為什么要學習診斷試驗的評價循證醫(yī)學的重要內容及時取舍或靈活應用新的診斷試驗（試劑、藥物、方法）提高業(yè)務素質，減少患者不必要的經濟開支。目 錄第一節(jié) 貝葉斯定理第二節(jié) 診斷試驗中常用的評價指標第三節(jié) ROC曲線第一節(jié) 貝葉斯定理表表13.1 13.1 診斷資料診斷資料2 2四格表四格表 金標準（D） 診 斷 結 果(T) 病例（D） 對照(D) 合 計 TP(真陽性) FP(假陽性) TP+FP FN(假陰性) TN(真陰性) FN+TN 陽 性（T） 陰 性（T） 合計 TP+FN FP+TN N 貝葉斯（B

2、ayes）公式： )()|()()|()()|()|(DPDTPDPDTPDPDTPTDP， 貝葉斯定理應用 例例13.1 以往調查得知，某人群2000名成年男子中有1人患有冠心病。采用心電圖（electrocardiogram，ECG）作為診斷工具，金標準確診的冠心病病例組中98為ECG陽性，未患該病的對照組中1為ECG陽性，問ECG診斷為陽性時成年男子實際患冠心病的概率是多少？ 解：已知)(DP0005.020001，98.0%98)|(DTP 01.0%1)|(DTP，9995.00005.01)(1)(DPDP 根據（13.1）式有： (|)()(|)(|)()(|)()0.980.0

3、0050.04670.980.00050.01 0.9995P TDP DP DTP TDP DP TDP D 但在臨床上，ECG僅用于懷疑患有冠心病者，)(DP10時，得到)|(TDP91.59 因此ECG用于人群效果較差，但用于臨床診斷價值較高。 第二節(jié) 診斷試驗中常用的評價指標例例13.2 表13.2 ECG診斷試驗的結果ECG診斷結果心肌梗塞合 計出現不出現陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)常用指標有（一）正確百分率、（二）靈敏度、（三）特異度、常用指標有（一）正確百分率、（二）靈敏度、（三）特異度、（四）（四）Y

4、ouden指數、（五）陽性似然比、（六）陰性似然比、指數、（五）陽性似然比、（六）陰性似然比、（七）陽性預報值、（七）陽性預報值、 （八）陰性預報值。（八）陰性預報值。例例13.2 表13.2 ECG診斷試驗的結果ECG診斷結果心肌梗塞合 計出現不出現陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG診斷試驗的結果ECG診斷結果心肌梗塞合 計出現不出現陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG診斷試驗的結果ECG

5、診斷結果心肌梗塞合 計出現不出現陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)靈敏度與特異度的優(yōu)缺點優(yōu)點：靈敏度與特異度不受患病率的影響，其取值范圍均在（0, 1）之間，其值越接近于1，說明其診斷準確性越好。缺點：當比較兩個診斷試驗時，單獨使用靈敏度或特異度，可能出現矛盾。解決辦法：將兩指標結合：Youden指數、陽性似然比、陰性似然比等例例13.2 表13.2 ECG診斷試驗的結果ECG診斷結果心肌梗塞合 計出現不出現陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.

6、2 表13.2 ECG診斷試驗的結果ECG診斷結果心肌梗塞合 計出現不出現陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG診斷試驗的結果ECG診斷結果心肌梗塞合 計出現不出現陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)醫(yī)生最關心的問題：醫(yī)生最關心的問題： 1. 試驗陽性時患病的概率多大？試驗陽性時患病的概率多大？ 2. 試驗陰性時不患病的概率多大？試驗陰性時不患病的概率多大？例例13.2 表13.2 ECG診斷試驗的結果例例13.2 表13.2

7、 ECG診斷試驗的結果例例13.2 表13.2 ECG診斷試驗的結果ECG診斷結果心肌梗塞合 計出現不出現陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)陽性預報值與陰性預報值第三節(jié) ROC曲線 ROC ROC【receiver(relative) operating receiver(relative) operating characteristiccharacteristic的縮寫，譯為的縮寫，譯為“接受者工接受者工作特征作特征”】ROCROC曲線研究歷史曲線研究歷史1950s 雷達信號觀測能力評價雷達信號觀測能力評價1960s中

8、期中期 實驗心理學、心理物理學實驗心理學、心理物理學1970s末與末與1980s初初 診斷醫(yī)學診斷醫(yī)學ROC的涵義與起源的涵義與起源診斷試驗：泛指血液生化、影像學、免疫學、細胞學、診斷試驗：泛指血液生化、影像學、免疫學、細胞學、病理學、統(tǒng)計模型等檢查。病理學、統(tǒng)計模型等檢查。重要性：重要性： 1. 循證醫(yī)學的重要組成部分循證醫(yī)學的重要組成部分 2. 診斷試驗評價方法可用于：診斷試驗評價方法可用于： 臨床試驗評價 臨床檢驗評價 流行病學篩查試驗評價 實驗室檢驗評價 統(tǒng)計學模型評價ROC曲線評價診斷試驗的重要性曲線評價診斷試驗的重要性 靈敏度靈敏度,特異度特異度,假陰性率假陰性率,假陽性率假陽性率

9、Test variable不同不同診斷界值診斷界值時時靈敏度與特異度間的平衡靈敏度與特異度間的平衡(trade off)(trade off)0204060801005060708090100特異度靈敏度百分率（）百分率（）Test variable完美診斷試驗完美診斷試驗0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR無用診斷試驗無用診斷試驗0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR完美與無用的完美與無用的ROC曲線曲線真真陽陽性性率率即即靈靈敏敏度度假陽性率假陽性率 即即 1特異度特異度機率線機率線(chance

10、 line)(diagonal reference line)診斷準確度較低（診斷準確度較低（ 0.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA0.938ROC曲線下面積（曲線下面積（Area）與診斷準確度高低）與診斷準確度高低高 0.90-1.00 = excellent (A)中 0.80-0.90 = good (B) 0.70-0.80 = fair (C)低 0.60-0.70 = poor (D) 0.50-0.60 = fail (F)似然比（似然比（LR）在）在ROC曲線空間的涵義曲線空間的涵義白細胞計數診斷白血病白細胞計數診斷白血

11、病LR7.5LR0.7LR2.3LR25.0基本概念小結基本概念小結lROC曲線反映了靈敏度與特異度間的平衡 (增加靈敏度將降低特異度；增加特異度將降低靈敏度)。 l在ROC曲線空間，如果曲線沿著左邊線，然后沿著上邊線越緊密，則試驗準確度越高。 l在ROC曲線空間，如果曲線沿著機會線（45度對角線）越緊密，則試驗準確度越低。 l在診斷界值（cutpoint）處的正切線的斜率就是該試驗值對應的陽性似然比（likelihood ratio，LR)。在ROC曲線空間的左下角LR+最大，隨著曲線從左下往右上方移動，LR+逐漸減小。lROC曲線下面積是重要的試驗準確度指標。 主要任務：主要任務：l計算計

12、算ROC曲線工作點曲線工作點（Coordinate point或或Operating point）（）（FPR, TPR）l連接相鄰兩點連接相鄰兩點一、一、ROC曲線工作點的計算與曲線繪制曲線工作點的計算與曲線繪制連續(xù)型數據的連續(xù)型數據的ROC曲線工作點（曲線工作點（TPR，FPR）計算）計算 將這9個數據從大到小排列，以前8個數，分別作為診斷界值，大于等于診斷界值者判為陽性，小于該值者判為陰性。這樣，可整理成8個四格表表表133 假想的連續(xù)型數據假想的連續(xù)型數據 將診斷分類數據按大到小排序，以前4個分類作為診斷界值，大于等于診斷界值者為陽性，小于該值者為陰性。這樣，可整理出4個四格表，每個四

13、格表對應的ROC曲線的工作點見下表。某放射醫(yī)生對某放射醫(yī)生對 109份份 CT影像的分類影像的分類 診 斷 分 類金標準12345合計異常 3 2 2 11 33 51正常 33 6 6 11 2 58 該資料不同診斷界值的該資料不同診斷界值的 FPR和和 TPR值值診斷界值（診斷分類）5432FPR0.03450.22410.32960.4310TPR0.64710.86270.90200.941210011圖圖 有有 序序分分類類資資料料的的未未光光滑滑R R O O C C 曲曲線線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR 2二、二、ROC曲線

14、下面積的計算曲線下面積的計算lROC曲線下面積曲線下面積 (Area)l 部分部分ROC曲線下的面積曲線下的面積l FPR為某值對應的為某值對應的TPR值值(一) Hanley 和 McNeil ROC曲線下面積(Az)就是異常組觀察值大于正常組觀察值的概率 ),(111jinananjninaZxxnnA jijijijinanananaxxxxxxxx05.01),( AZ的標準誤)(ZASE可采用公式 naZnZaZZZnnAQnAQnAAASE)(1()(1()1 ()(2221其中，1Q是兩個隨機選擇的異常組觀察值比一個隨機選擇的正常組觀察值都有更大可能被判為異常的概率。2Q是一個隨

15、機選擇的異常組觀察值比兩個隨機選擇的正常組觀察值都有更大可能被判為異常的概率。Mann-Whitney U 統(tǒng)計量統(tǒng)計量Hanley 和 McNeil與Mann-Whitney U 檢驗l由秩和檢驗中的Mann-Whitney U統(tǒng)計量（SPSS等軟件均可計算）可計算ROC曲線下面積l零假設H0:總體ROC面積0.5的檢驗等價于Mann-Whitney U檢驗Mann-Whitney UMann-Whitney Umax,1znanaAn nn n統(tǒng)計量統(tǒng)計量3330.532(1)()1120.50.5()|(1)()112nanaiinaZZZnaiinaUn nZn nNttNNn nAA

16、ZSE An nNttn nNN分子分母同除有SPSS輸出的輸出的ROC面積檢驗面積檢驗P值即為上述值即為上述Z值對應的概率值對應的概率Hanley 和 McNeil與梯形規(guī)則（trapezoidal rule） lHanley 和 McNeil法ROC曲線下面積所有曲線下（包括最左側的三角形）面積之和圖圖 有有 序序分分類類資資料料的的未未光光滑滑R R O O C C 曲曲線線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR（二）其他ROC曲線下面積計算方法1. 雙正態(tài)法2. 有序回歸模型3. 其他模型(如雙Gama法、雙指數法)三、ROC曲線下面積的假

17、設檢驗2122212111222121. ROC100 1()2.ROC()()2()()()()ZZZZZZZZZZZZAZSE AAAZSEASEArSE ASE ArrAAZSEASEA曲線下面積的（）置信區(qū)間為兩曲線下面積比較檢驗公式：其中 為兩面積間的相關系數，令 0,有：l單個連續(xù)型資料（實例1）l單個有序分類資料（實例2）l兩個相關連續(xù)型資料（實例3）l兩個相關有序分類資料（實例4）二、二、ROC分析的數據類型分析的數據類型Test variables采用骨髓診斷作為金標準，對采用骨髓診斷作為金標準，對100例缺鐵性貧血例缺鐵性貧血疑似患者進行確診，患該病者為異常組疑似患者進行確

18、診，患該病者為異常組(34例例)，未患該病者，未患該病者為正常組為正常組(66例例)。為了考察紅細胞平均容積（。為了考察紅細胞平均容積（MCV）診斷）診斷缺鐵性貧血的效果，測得每一個體的缺鐵性貧血的效果，測得每一個體的MCV值如下：值如下：表表 紅細胞平均容積紅細胞平均容積骨髓診斷MCV 結果606668697171737474747677777777787879798080818181828283838383838383848484848585868686878888888989899090正常組919192939393949494949697981001035258626567686971

19、727273737475767777異常組7879808081818182838485858688889092 注：資料來自 JR Beck, EK Shultz, Arch Pathol Lab Med，1986.State VariableTest Variable實例實例1：MCV診斷缺鐵性貧血診斷缺鐵性貧血圖圖4 4 連續(xù)性資料的兩組頻率分布連續(xù)性資料的兩組頻率分布 0.3 0.2 0.100.10.20.3556065707580859095100105組段上限值異常組頻率正常組頻率State Variable 骨髓診斷骨髓診斷Test Variable MCV結果結果0正常組正常組

20、1異常組異常組Value of State Variable：1SPSS的的GraphsROC Curve界面界面如果試驗測如果試驗測量值越小患量值越小患病的可能性病的可能性越大時應改越大時應改變默認的變默認的OptionsSPSS輸出結果Case Processing SummaryCase Processing Summary3466骨髓診斷PositiveaNegativeValid N(listwise)Smaller values of the test result variable(s) indicatestronger evidence for a positive actua

21、l state.The positive actual state is 1.a. SPSS輸出結果SPSS輸出結果Area Under the CurveArea Under the CurveTest Result Variable(s): mcv結果.717.053.000.614.820AreaStd. ErroraAsymptoticSig.bLower BoundUpper BoundAsymptotic 95% ConfidenceIntervalThe test result variable(s): mcv結果 has at least one tie between the

22、positive actual state group and the negative actual state group. Statisticsmay be biased.Under the nonparametric assumptiona. Null hypothesis: true area = 0.5b. SPSS輸出結果MCVMCV診斷缺鐵性貧血的診斷缺鐵性貧血的ROCROC曲線曲線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR雙正態(tài)機率線工作點某放射醫(yī)生將已知實際分類的影像，某放射醫(yī)生將已知實際分類的影像，按肯定正常、可能正常、疑似異常、

23、可能異常、肯按肯定正常、可能正常、疑似異常、可能異常、肯定異常，分別分為定異常，分別分為1、2、3、4、5五類。五類。表表 單個診斷試驗的有序分類資料單個診斷試驗的有序分類資料分類12345合計正常組 35 68 49 29 12 193= nn異常組 2 3 8 16 12 41= naState VariableTest VariableFrequency Variable圖圖6 6 單個有序分類資料的兩組頻率分布單個有序分類資料的兩組頻率分布-0.5-0.4-0.3-0.2-0.100.10.20.30.40.512345 分類異常組頻率正常組頻率State Variable 組別組別Test Variable 診斷分類診斷分類0正常組正常組1異常組異常組Value of State Variable：1SPSS的的GraphsROC Curve界面界面如果試驗測量值越小患病的可能性越大時應改變默認的Options在調用在調用Graphs前，必須先用前，必須先用DataWeight Casesby: 頻數頻數圖圖7 7 放射醫(yī)生影