診斷試驗評價.

1、診斷試驗評價診斷試驗評價徐濤徐濤主要內(nèi)容主要內(nèi)容v評價診斷試驗的常用指標(biāo)靈敏度、特異度一致率、Youden指數(shù)、似然比陽性預(yù)測值、陰性預(yù)測值vROC曲線ROC曲線的定義和用途ROC曲線下面積的估計和檢驗何為診斷試驗？v診斷試驗（Diagnostic test）是指為給患者做出診斷所應(yīng)用的各種實驗室檢查、醫(yī)療儀器檢查及其它方法。v包括各種實驗室檢查診斷、影像診斷和儀器診斷等（如X線、超聲波、CT掃描、磁共振及纖維內(nèi)鏡等）。v一項好的診斷試驗，應(yīng)具備疾病存在時能正確地發(fā)現(xiàn)疾病、疾病不存在時能正確地排除疾病的能力，即具有較高的診斷準(zhǔn)確度準(zhǔn)確度。如何評價診斷試驗的準(zhǔn)確度v診斷試驗評價的基本方法是用所謂

2、的“金標(biāo)準(zhǔn)”，確診區(qū)分某病的病人和非病人，再應(yīng)用待評價的診斷方法盲法測定這些研究對象，通過比較兩者的一致性情況對新的測定方法進(jìn)行評價。v金標(biāo)準(zhǔn)（Gold standard）是指當(dāng)前醫(yī)學(xué)界公認(rèn)的最準(zhǔn)確的診斷方法，如手術(shù)、病理學(xué)檢查、生物標(biāo)志物的檢測等。金標(biāo)準(zhǔn)金標(biāo)準(zhǔn)v理論上：能檢測出所有患者，同時又能排除所有非患者的檢查方法或診斷過程。方法應(yīng)該100%準(zhǔn)確v實際上：當(dāng)前醫(yī)學(xué)公認(rèn)的診斷疾病的最準(zhǔn)確的方法，即標(biāo)準(zhǔn)診斷通常比需評價的診斷試驗更昂貴或更危險或更客觀但不能及時做出診斷的檢查，如組織活檢、手術(shù)、尸檢等。有時只能將數(shù)年后的隨訪結(jié)果作為金標(biāo)準(zhǔn)，一些非自限性、在發(fā)現(xiàn)可疑征兆數(shù)年后疾病表現(xiàn)進(jìn)展會更明顯

3、的疾?。ㄈ绱蟛糠职┌Y及退行性疾病）。如何評價診斷試驗的準(zhǔn)確度v在實際工作中，必須按照某種原則選擇一個診斷標(biāo)準(zhǔn)或閾值，據(jù)此判斷檢測對象是否患有某種疾病。如高血壓的診斷標(biāo)準(zhǔn)為：140/90mmHgv但是患者與非患者的測量指標(biāo)分布常有一定重疊，導(dǎo)致診斷不準(zhǔn)確。3210-1-2-3-+非患者非患者患者患者閾值閾值漏診漏診誤診誤診診斷試驗可能出現(xiàn)兩類錯誤v假陽性錯誤：實際未患病但檢測結(jié)果為陽性，即誤診；v假陰性錯誤：實際患病但檢測結(jié)果為陰性，即漏診；v一個準(zhǔn)確度好的診斷試驗應(yīng)將誤診和漏診都控制在最小范圍內(nèi)。評價診斷試驗的常用指標(biāo)v靈敏度、特異度v一致率、Youden指數(shù)、似然比v陽性預(yù)測值、陰性預(yù)測值不

4、同研究對象的診斷試驗結(jié)果表金標(biāo)準(zhǔn)金標(biāo)準(zhǔn)診斷試驗結(jié)果診斷試驗結(jié)果陽性陽性陰性陰性合計合計患者患者aba+b非患者非患者cdc+d合計合計a+cb+da+b+c+d靈敏度與假陰性率v靈敏度（Sensitivity，Se）是指真實患者中診斷結(jié)果為陽性的概率，也稱為真陽性率（True Positive Rate，TPR）、敏感度，反映了正確診斷某種疾病的能力。v假陰性率（False Negative Rate，F(xiàn)NR）指患者被診斷為陰性的概率，也稱為漏診率。%100baaSe%100b1FNRbaSe特異度與假陽性率v特異度（Specificity，Sp）是指非患者中診斷結(jié)果仍為陰性的概率，也稱之為真

5、陰性率（True Negative Rate，TNR）,反映了疾病不存在時正確排除疾病的能力。v假陽性率（False Positive Rate，F(xiàn)PR）是指非患者被診斷為陽性的概率，也稱為誤診率。%100dcdSp%100c1FdcSpPR靈敏度與特異度的可信區(qū)間v靈敏度和特異度實際上是一種概率指標(biāo)，故當(dāng)樣本量較大時，其標(biāo)準(zhǔn)誤和可信區(qū)間的計算可按照正態(tài)近似法利用率的標(biāo)準(zhǔn)誤和可信區(qū)間進(jìn)行。v當(dāng)樣本量較小、或靈敏度和特異度接近1時，可用精確概率法計算其可信區(qū)間。(P u/2Sp , P + u/2 Sp) nppsp)1 ( 靈敏度與特異度的標(biāo)準(zhǔn)誤3)1 ()(baabbaSeSeSeSE3)1

6、 ()(dccddcSpSpSpSE靈敏度與特異度v例 70例糖尿病患者及510例非患者在口服葡萄糖2小時后進(jìn)行血糖試驗，若以6.7mmol/L為陽性標(biāo)準(zhǔn)，試計算該血糖試驗的靈敏度和特異度。金標(biāo)準(zhǔn)金標(biāo)準(zhǔn)診斷結(jié)果診斷結(jié)果陽性陽性陰性陰性合計合計患者患者62870非患者非患者162348510合計合計224356580靈敏度%57.88%1007062%100baaSe0380. 070862)1 ()(33baabbaSeSeSeSE 靈敏度的95%可信區(qū)間為： Se u/2SE(Se)=0.8857 1.960.0380=（0.8112，0.9602） 特異度%24.68%100510348%

7、100dcdSp0206. 0510348162)1 ()(33dccddcSpSpSpSE 靈敏度的95%可信區(qū)間為： Sp u/2SE(Sp)=0.6824 1.960.0206=（0.6420，0.7228） 靈敏度與特異度的關(guān)系v靈敏度只與真實的患者的檢測結(jié)果有關(guān)；v特異度只與真實的非患者的檢測結(jié)果有關(guān)；v研究對象中患者與非患者的比例對靈敏度和特異度的估計值沒有影響。v隨著診斷界值提高，靈敏度降低、漏診率提高，但特異度提高、誤診率降低；v隨著診斷界值降低，靈敏度提高、漏診率降低，但特異度降低、誤診率提高。3210-1-2-3-+非患者非患者患者患者閾值閾值漏診率漏診率誤診率誤診率特異度

8、特異度靈敏度靈敏度靈敏度、特異度與診斷界值v當(dāng)診斷試驗的檢測結(jié)果為定量指標(biāo)或有序分類變量時，取不同的臨界值作為診斷界值（cut-off point），試驗將有不同的靈敏度和特異度。v靈敏度、特異度和診斷界值有關(guān)。乳腺超聲診斷乳腺腫瘤結(jié)果金標(biāo)準(zhǔn)乳腺超聲良性1可能良性2可能惡性3惡性4合計良性381363242491惡性71815876970合計45244479181461診斷界值靈敏度特異度1為陽性1.0000.0002為陽性0.9270.7763為陽性0.9190.8494為陽性0.9030.9144為陽性0.0001.000(8+15+876)/970381/491兩樣本資料靈敏度、特異度的

9、比較v這些指標(biāo)實際上是一種概率指標(biāo)，可以利用兩個或多個率的比較方法，如用根據(jù)應(yīng)用條件用卡方檢驗或精確概率法比較靈敏度和特異度等。兩樣本資料靈敏度、特異度的比較v分別用A、B兩種方法進(jìn)行糖尿病診斷，試比較兩種方法的靈敏度和特異度。金標(biāo)準(zhǔn)金標(biāo)準(zhǔn)A方法診斷結(jié)果方法診斷結(jié)果陽性陽性陰性陰性合計合計患者患者62870非患者非患者162348510合計合計224356580%57.88%1007062%100baaSe%24.68%100510348%100dcdSp兩樣本資料靈敏度、特異度的比較金標(biāo)準(zhǔn)金標(biāo)準(zhǔn)B方法診斷結(jié)果方法診斷結(jié)果陽性陽性陰性陰性合計合計患者患者581270非患者非患者11239851

10、0合計合計170410580%86.82%1007058%100baaSe%04.78%100510398%100dcdSpH0：兩方法的靈敏度相同 H1：兩方法的靈敏度不同 =0.05診斷結(jié)果診斷結(jié)果陽性陽性陰性陰性合計合計A方法方法62870B方法方法581270合計合計12020140933. 0)()()()(22dbcadcbanbcadP0.05，兩種方法的靈敏度的差異無統(tǒng)計學(xué)意義。H0：兩方法的特異度相同 H1：兩方法的特異度不同 =0.05診斷結(jié)果診斷結(jié)果陽性陽性陰性陰性合計合計A方法方法162348510B方法方法112398510合計合計2747461020495.12)(

11、)()()(22dbcadcbanbcadP0.05，兩種方法的特異度的差異有統(tǒng)計學(xué)意義。一致率v一致率（Agreement Rate）指研究對象中診斷正確的例數(shù)占總例數(shù)的比例，即患者中檢查結(jié)果為陽性和非患者中檢測結(jié)果為陰性占總例數(shù)的比例，也稱為符合率。%100dcbada一致率一致率v當(dāng)對照組不是金標(biāo)準(zhǔn)時：靈敏度稱為陽性一致率、陽性符合率；特異度稱為陰性一致率、陰性符合率。Youden指數(shù)vYouden指數(shù)（Youdens index，J）是真陽性率（靈敏度）與假陽性率之差，即靈敏度和特異度之和減1；vYouden指數(shù)越大，說明診斷準(zhǔn)確度越高。1-SpSeSp)-(1-SeFPR-SeJ似然

12、比v似然比（Likelihood Ratio，LR）為兩個概率之比，包括陽性似然比LR(+)和陰性似然比LR(-) 。v陽性似然比表示患者診斷結(jié)果陽性的概率是非患者診斷結(jié)果陽性的概率的多少倍。v陽性似然比實為真陽性率與假陽性率之比，陽性似然比越大，診斷準(zhǔn)確度越高。cbadcaSpSe)()(1)LR(似然比v陰性似然比表示患者診斷結(jié)果陰性的概率是非患者診斷結(jié)果陰性的概率的多少倍。v陰性似然比實為假陰性率與真陰性率之比，陰性似然比越小，診斷準(zhǔn)確度越高。dbadcbSpSe)()(1)LR(一致率、Youden指數(shù)和似然比v例 70例糖尿病患者及510例非患者在口服葡萄糖2小時后進(jìn)行血糖試驗，若以

13、6.7mmol/L為陽性標(biāo)準(zhǔn)，試計算該血糖試驗的一致率、Youden指數(shù)和似然比。金標(biāo)準(zhǔn)金標(biāo)準(zhǔn)診斷結(jié)果診斷結(jié)果陽性陽性陰性陰性合計合計患者患者62870非患者非患者162348510合計合計224356580一致率、Youden指數(shù)和似然比%69.7034816286234862%100dcbada一致率56.81%1-0.68240.88571-SpSeJ79.26824.018857.01)LR(SpSe17. 06824. 08857. 011)LR(SpSe預(yù)測值v預(yù)測值表示當(dāng)診斷試驗為某種結(jié)果時，受試者能被確診為病人或非病人的概率。v預(yù)測值與試驗的靈敏度、特異度和受試人群中所研究疾病

14、的患病率有關(guān)。v預(yù)測值包括陽性預(yù)測值和陰性預(yù)測值。陽性預(yù)測值v陽性預(yù)測值（Positive Predictive Value，PPV，PV+）是指診斷結(jié)果為陽性時，實際為患者的概率。vP0為人群患病率，但研究樣本為人群的隨機(jī)樣本時：)1)(1 (000SpPSePSePPPVcaaPPV陰性預(yù)測值v陰性預(yù)測值（Negative Predictive Value，NPV，PV-）是指診斷結(jié)果為陰性時，實際為非患者的概率。vP0為人群患病率，但研究樣本為人群的隨機(jī)樣本時：)1 ()1 ()1 (000SePSpPSpPNPVdbdNPVROC曲線v當(dāng)診斷試驗的檢測結(jié)果為定量指標(biāo)或有序分類指標(biāo)時，多

15、個診斷界值可以得到多個靈敏度和特異度。vROC曲線也稱為受試者工作特征（Receiver Operating Characteristic ）曲線，可以綜合考慮診斷試驗在所有診斷界值時的靈敏度和特異度。vROC曲線是以（1-特異度）為橫坐標(biāo)，以靈敏度為縱坐標(biāo)繪制而成的曲線，它用線段連接每個診斷界值對應(yīng)的（1-特異度），靈敏度點。0.00.20.40.60.81.01 特異度1 特異度0.00.20.40.60.81.0靈靈敏敏度度機(jī)會線機(jī)會線機(jī)會線(chance line)v曲線下從原點到右上角的對角線稱為機(jī)會線(chance line)，表示無論取何診斷界值，靈敏度=1-特異度，及真陽性率=

16、假陽性率，即無論患者還是非患者都有相同的“機(jī)會”被診斷為陽性。ROC曲線的應(yīng)用v綜合評價某種檢查方法的靈敏度和特異度，并最終確定臨床診斷時的最優(yōu)切分點。v v一般選擇位于ROC曲線的肩部所在的分界點為最優(yōu)切分點（敏感度+特異度最大）。ROC曲線下的面積vROC曲線下的面積（Area Under the ROC Curve，AUC，A）可用于綜合反映診斷試驗的準(zhǔn)確度。vROC曲線越接近機(jī)會線，即曲線下面積越接近0.5，表明試驗區(qū)分患者和非患者的能力越差，越接近1，表明試驗的診斷準(zhǔn)確度越強(qiáng)。ROC曲線下的面積vAUC及其標(biāo)準(zhǔn)誤可以通過參數(shù)法（如雙正態(tài)模型等）或非參數(shù)法計算，現(xiàn)常用Hanley和Mc

17、Nceil提出的非參數(shù)法，可通過SPSS軟件中的ROC分析模塊完成。v可用u檢驗對AUC進(jìn)行假設(shè)檢驗，實際上是檢驗AUC是否為0.5.)(5.0ASEAuROC曲線下的面積v例：現(xiàn)用A技術(shù)檢測病人血清鈉水平，想了解血清鈉對洛基山猩紅熱（RMSF）是否有診斷作用。共45位病人，一組確診有RMSF，另一組沒有患病，但也有發(fā)熱、頭痛和蚊蟲叮咬史。試進(jìn)行ROC分析。曲線的坐標(biāo)曲線的坐標(biāo)檢驗結(jié)果變量: A方法123.00.000.000124.50.048.000125.50.095.000126.50.190.000127.50.238.000128.50.429.042129.50.524.0421

18、30.50.524.083131.50.571.083132.50.619.083133.50.714.083134.50.714.167135.50.857.250136.50.905.375137.50.905.458138.50.952.542139.501.000.708140.501.000.792141.501.000.833142.501.000.958144.001.0001.000如果小于或等于則為正a敏感度1 特異性檢驗結(jié)果變量:A方法 在正的和負(fù)的實際狀態(tài)組之間至少有一個結(jié)。最小界限值是最小觀測檢驗值減 1，最大界限值是最大觀測檢驗值加 1。所有其它的界限值都是兩個鄰近的觀測檢驗值的平均值。a. ROC曲線下的面積曲線下的面積檢驗結(jié)果變量: A方法.878.051.000.778.978面積標(biāo)準(zhǔn)誤a漸進(jìn) Sig.b下限上限漸近 95% 置信區(qū)間檢驗結(jié)果變量:A方法 在正的和負(fù)的實際狀態(tài)組之間至少有一個結(jié)。統(tǒng)計量可能會出現(xiàn)偏差。在非參數(shù)假設(shè)下a. 零假設(shè)：實面積 = 0.5b. 兩樣本ROC曲線下面積的比較v可利用AUC的標(biāo)準(zhǔn)誤進(jìn)行u檢驗（Z檢驗）比較兩個ROC曲線下的面積。)()(221221ASEASEAAu兩樣本ROC曲線下面積的比較v現(xiàn)用A、B兩種技術(shù)檢測病