診斷試驗(yàn)的評價(jià)與ROC分析

臨床診斷試驗(yàn)與評價(jià)臨床試驗(yàn)的類型I期臨床試驗(yàn)：人體藥物的耐受程度，藥物在人體中的代謝情況。參加試驗(yàn)的人員是健康人或病人（20左右）II期臨床試驗(yàn)：藥效、安全性的初步評價(jià)?；颊邊⒓釉囼?yàn)（200例以上）III期臨床試驗(yàn)：藥效與安全性的確認(rèn)階段，我國法規(guī)要求試驗(yàn)組人數(shù)300以上，總?cè)藬?shù)400-500人IV期臨床試驗(yàn)：上市后的臨床研究。更大范圍使用后的療效與安全性一、診斷試驗(yàn)的研究設(shè)計(jì)隨機(jī)對照重復(fù)倫理盲法試驗(yàn)設(shè)計(jì)中的要素一、處理因素二、受試對象三、試驗(yàn)效應(yīng)臨床試驗(yàn)避免偏倚的技巧隨機(jī)對照重復(fù)盲法臨床試驗(yàn)資料的數(shù)據(jù)集

分析應(yīng)包括在知情同意的基礎(chǔ)上，愿意參加試驗(yàn)的所有隨機(jī)化后的受試者，也即原計(jì)劃好處理（治療）的受試者都需進(jìn)入分析，而不是根據(jù)實(shí)際上完成的受試者。按此原則所作的分析是最好的分析，研究在病人知情同意的前提下，應(yīng)該考慮參與者的依從性，制定合理的納入排除標(biāo)準(zhǔn)，要求每一個(gè)隨機(jī)分到試驗(yàn)組或?qū)φ战M的受試者都應(yīng)該盡量完整地隨訪，記錄研究結(jié)果如療效、安全性評價(jià)指標(biāo)以及脫離原因。同時(shí)，要考慮參與者和不愿意參與者的差異，以及給研究結(jié)果帶來的偏倚。

意向性分析（Intentiontotreat）全分析集（fullanalysisset，F(xiàn)AS）安全性評價(jià)（safetyset）臨床有效性的統(tǒng)計(jì)學(xué)評價(jià)為什么要學(xué)習(xí)診斷試驗(yàn)的評價(jià)選擇最科學(xué)合理的診斷方法，循證醫(yī)學(xué)的重要內(nèi)容根據(jù)實(shí)際需要，提供具有優(yōu)勢的診斷試驗(yàn)（試劑、藥物、方法）金標(biāo)準(zhǔn)的選擇最為可靠的診斷標(biāo)準(zhǔn)！

二、診斷試驗(yàn)的評價(jià)指標(biāo)診斷實(shí)驗(yàn)的靈敏度和特異度不會(huì)受到患病率的影響，但是預(yù)測值指標(biāo)會(huì)受到患病率高低的影響。陽性預(yù)測值的應(yīng)用診斷試驗(yàn)的評價(jià)指標(biāo)二、診斷試驗(yàn)中常用的評價(jià)指標(biāo)：靈敏度、特異度、誤診率、漏診率三、預(yù)測指標(biāo)：陽性預(yù)測值、陰性預(yù)測值四、診斷試驗(yàn)的綜合評價(jià)指標(biāo)：正確率、Youden指數(shù)、比數(shù)積、陽性似然比、陰性似然比診斷試驗(yàn)中常用的評價(jià)指標(biāo)例13.2表13.2ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合計(jì)出現(xiàn)不出現(xiàn)陽性陰性合計(jì)416(TP)9（FP）425104(FN)171（TN）275520180700(N)常用指標(biāo)有（一）正確百分率、（二）靈敏度、（三）特異度、（四）Youden指數(shù)、（五）陽性似然比、（六）陰性似然比、（七）陽性預(yù)報(bào)值、（八）陰性預(yù)報(bào)值。例13.2表13.2ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合計(jì)出現(xiàn)不出現(xiàn)陽性陰性合計(jì)416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合計(jì)出現(xiàn)不出現(xiàn)陽性陰性合計(jì)416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合計(jì)出現(xiàn)不出現(xiàn)陽性陰性合計(jì)416(TP)9（FP）425104(FN)171（TN）275520180700(N)靈敏度與特異度的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：靈敏度與特異度不受患病率的影響，其取值范圍均在（0,1）之間，其值越接近于1，說明其診斷準(zhǔn)確性越好。缺點(diǎn)：當(dāng)比較兩個(gè)診斷試驗(yàn)時(shí)，單獨(dú)使用靈敏度或特異度，可能出現(xiàn)矛盾。解決辦法：將兩指標(biāo)結(jié)合：Youden指數(shù)、陽性似然比、陰性似然比等例13.2表13.2ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合計(jì)出現(xiàn)不出現(xiàn)陽性陰性合計(jì)416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合計(jì)出現(xiàn)不出現(xiàn)陽性陰性合計(jì)416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合計(jì)出現(xiàn)不出現(xiàn)陽性陰性合計(jì)416(TP)9（FP）425104(FN)171（TN）275520180700(N)醫(yī)生最關(guān)心的問題：

1.試驗(yàn)陽性時(shí)患病的概率多大？

2.試驗(yàn)陰性時(shí)不患病的概率多大？3.如何選擇合適的診斷界值，做出合理的診斷，使患者獲得最好的處理例13.2表13.2ECG診斷試驗(yàn)的結(jié)果例13.2表13.2ECG診斷試驗(yàn)的結(jié)果例13.2表13.2ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合計(jì)出現(xiàn)不出現(xiàn)陽性陰性合計(jì)416(TP)9（FP）425104(FN)171（TN）275520180700(N)陽性預(yù)報(bào)值與陰性預(yù)報(bào)值五、截?cái)帱c(diǎn)的選擇與ROC曲線在進(jìn)行診斷臨界點(diǎn)選擇的時(shí)候，需要綜合考慮靈敏度和特異度，選擇最佳診斷界值。ROC曲線提供了很好的臨界點(diǎn)選擇工具。ROC【receiver(relative)operatingcharacteristic的縮寫，譯為“接受者工作特征”】ROC曲線研究歷史1950’s雷達(dá)信號觀測能力評價(jià)1960’s中期實(shí)驗(yàn)心理學(xué)、心理物理學(xué)1970’s末與1980’s初診斷醫(yī)學(xué)ROC的涵義與起源診斷試驗(yàn)：泛指血液生化、影像學(xué)、免疫學(xué)、細(xì)胞學(xué)、病理學(xué)、統(tǒng)計(jì)模型等檢查。重要性：1.循證醫(yī)學(xué)的重要組成部分

2.診斷試驗(yàn)評價(jià)方法可用于：臨床試驗(yàn)評價(jià)臨床檢驗(yàn)評價(jià)流行病學(xué)篩查試驗(yàn)評價(jià)實(shí)驗(yàn)室檢驗(yàn)評價(jià)統(tǒng)計(jì)學(xué)模型評價(jià)……ROC曲線評價(jià)診斷試驗(yàn)的重要性

靈敏度,特異度,假陰性率,假陽性率Testvariable醫(yī)學(xué)診斷試驗(yàn)多數(shù)不能將病例和對照完全分開，而只有將二者100%的分開時(shí)，才能夠獲得100%正確的診斷。不同診斷界值時(shí)

靈敏度與特異度間的平衡(tradeoff)0204060801005060708090100特異度靈敏度百分率（％）Testvariable完美與無用的ROC曲線真陽性率即靈敏度假陽性率即1－特異度機(jī)率線(chanceline)

(diagonalreferenceline)診斷準(zhǔn)確度較低（<0.7）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA＝0.664A＝0.830診斷準(zhǔn)確度較高（>0.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA＝0.938ROC曲線下面積（Area）與診斷準(zhǔn)確度高低高0.90-1.00=excellent(A)中0.80-0.90=good(B)0.70-0.80=fair(C)低0.60-0.70=poor(D)0.50-0.60=fail(F)似然比（LR）在ROC曲線空間的涵義白細(xì)胞計(jì)數(shù)診斷白血病LR＝7.5LR＝0.7LR＝2.3LR＝25.0基本概念小結(jié)ROC曲線反映了靈敏度與特異度間的平衡(增加靈敏度將降低特異度；增加特異度將降低靈敏度)。在ROC曲線空間，如果曲線沿著左邊線，然后沿著上邊線越緊密，則試驗(yàn)準(zhǔn)確度越高。在ROC曲線空間，如果曲線沿著機(jī)會(huì)線（45度對角線）越緊密，則試驗(yàn)準(zhǔn)確度越低。在診斷界值（cutpoint）處的正切線的斜率就是該試驗(yàn)值對應(yīng)的陽性似然比（likelihoodratio，LR)。在ROC曲線空間的左下角LR+最大，隨著曲線從左下往右上方移動(dòng)，LR+逐漸減小。ROC曲線下面積是重要的試驗(yàn)準(zhǔn)確度指標(biāo)。主要任務(wù)：計(jì)算ROC曲線工作點(diǎn)（Coordinatepoint或Operatingpoint）（FPR,TPR）連接相鄰兩點(diǎn)一、ROC曲線工作點(diǎn)的計(jì)算與曲線繪制連續(xù)型數(shù)據(jù)的

ROC曲線工作點(diǎn)（TPR，F(xiàn)PR）計(jì)算

將這9個(gè)數(shù)據(jù)從大到小排列，以前8個(gè)數(shù)，分別作為診斷界值，大于等于診斷界值者判為陽性，小于該值者判為陰性。這樣，可整理成8個(gè)四格表表13－3假想的連續(xù)型數(shù)據(jù)有序分類數(shù)據(jù)的

ROC曲線工作點(diǎn)（TPR，F(xiàn)PR）計(jì)算

將診斷分類數(shù)據(jù)按大到小排序，以前4個(gè)分類作為診斷界值，大于等于診斷界值者為陽性，小于該值者為陰性。這樣，可整理出4個(gè)四格表，每個(gè)四格表對應(yīng)的ROC曲線的工作點(diǎn)見下表。2二、ROC曲線下面積的計(jì)算ROC曲線下面積(Area)部分ROC曲線下的面積FPR為某值對應(yīng)的TPR值(一)

Hanley和McNeil非參數(shù)法

ROC曲線下面積(Az)就是異常組觀察值大于正常組觀察值的概率Mann-WhitneyU統(tǒng)計(jì)量Hanley和McNeil法ROC曲線下面積

與Mann-WhitneyU

檢驗(yàn)

由秩和檢驗(yàn)中的Mann-WhitneyU統(tǒng)計(jì)量（SPSS等軟件均可計(jì)算）可計(jì)算ROC曲線下面積零假設(shè)H0:總體ROC面積θ＝0.5的檢驗(yàn)等價(jià)于Mann-WhitneyU檢驗(yàn)SPSS輸出的ROC面積檢驗(yàn)P值即為上述Z值對應(yīng)的概率Hanley和McNeil法ROC曲線下面積

與梯形規(guī)則（trapezoidalrule）

Hanley和McNeil法ROC曲線下面積等于所有曲線下梯形（包括最左側(cè)的三角形）面積之和（二）其他ROC曲線下面積計(jì)算方法1.雙正態(tài)法2.有序回歸模型3.其他模型(如雙Gama法、雙指數(shù)法)三、ROC曲線下面積的假設(shè)檢驗(yàn)單個(gè)連續(xù)型資料（實(shí)例1）單個(gè)有序分類資料（實(shí)例2）兩個(gè)相關(guān)連續(xù)型資料（實(shí)例3）兩個(gè)相關(guān)有序分類資料（實(shí)例4）二、ROC分析的數(shù)據(jù)類型Testvariables實(shí)例1：采用骨髓診斷作為金標(biāo)準(zhǔn)，對100例缺鐵性貧血疑似患者進(jìn)行確診，患該病者為異常組(34例)，未患該病者為正常組(66例)。為了考察紅細(xì)胞平均容積（MCV）診斷缺鐵性貧血的效果，測得每一個(gè)體的MCV值如下：StateVariableTestVariable實(shí)例1：MCV診斷缺鐵性貧血圖4

連續(xù)性資料的兩組頻率分布0.30.20.100.10.20.3556065707580859095100105組段上限值異常組頻率實(shí)例1的SPSS輸入格式StateVariable

＝骨髓診斷TestVariable

＝MCV結(jié)果0＝正常組

1＝異常組ValueofStateVariable：1SPSS的GraphsROCCurve界面如果試驗(yàn)測量值越小患病的可能性越大時(shí)應(yīng)改變默認(rèn)的

Options…SPSS輸出結(jié)果SPSS輸出結(jié)果SPSS輸出結(jié)果SPSS輸出結(jié)果MCV診斷缺鐵性貧血的ROC曲線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR雙正態(tài)機(jī)率線工作點(diǎn)實(shí)例2：某放射醫(yī)生將已知實(shí)際分類的影像，按肯定正常、可能正常、疑似異常、可能異常、肯定異常，分別分為1、2、3、4、5五類。StateVariableTestVariableFrequencyVariable實(shí)例2：放射醫(yī)生影像分類圖6

單個(gè)有序分類資料的兩組頻率分布-0.5-0.4-0.3-0.2-0.100.10.20.30.40.512345分類異常組頻率實(shí)例2的SPSS輸入格式StateVariable＝組別TestVariable

＝診斷分類0＝正常組

1＝異常組ValueofStateVariable：1SPSS的GraphsROCCurve界面如果試驗(yàn)測量值越小患病的可能性越大時(shí)應(yīng)改變默認(rèn)的

Options…在調(diào)用Graphs前，必須先用DataWeightCases…by…:頻數(shù)圖7放射醫(yī)生影像分類的ROC曲線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR雙正態(tài)機(jī)率線工作點(diǎn)診斷實(shí)驗(yàn)的正確應(yīng)用1.以金標(biāo)準(zhǔn)為對照的基礎(chǔ)2.盲法原則3.研究對象選擇要具有代表性4.對試驗(yàn)對象要有清楚的說明5.應(yīng)說明診斷試驗(yàn)的實(shí)用性6.需要進(jìn)行試驗(yàn)的方法要有應(yīng)用前景以金標(biāo)準(zhǔn)為對照的基礎(chǔ)

金標(biāo)準(zhǔn)疾病診斷的準(zhǔn)確標(biāo)準(zhǔn)腫瘤的病理診斷高血壓病人的血壓糖尿病人的血糖對于目前沒有診斷金標(biāo)準(zhǔn)的疾病，需要采用傳統(tǒng)上認(rèn)為最為準(zhǔn)確的方法作為對照，甚至需要采用不能常規(guī)使用的一些能夠準(zhǔn)確診斷出疾病的方法來進(jìn)行對比。盲法原則

雙盲原則單盲原則

研究對象選擇要具有代表性

選用樣本應(yīng)該和將來診斷方法使用的目標(biāo)人群一致。對試驗(yàn)對象要有清楚的說明

在研究設(shè)計(jì)階段，考慮所試驗(yàn)的方法將來使用的目標(biāo)人群，達(dá)到準(zhǔn)確檢驗(yàn)方法的診斷效果的目標(biāo)，需要準(zhǔn)確地制定研究的納入和排除標(biāo)準(zhǔn)。比如納入的病人是否有年齡、性別限制比如納入的病人是否能夠有其它疾病作為健康組病人應(yīng)該如何選擇所選擇的人群應(yīng)該和將來方法應(yīng)用的目標(biāo)人群盡量一致。應(yīng)說明診斷試驗(yàn)的實(shí)用性

主要是與現(xiàn)有金標(biāo)準(zhǔn)相比的優(yōu)勢診斷的靈敏度診斷的特異度方法的成本方法的可接受程度需要進(jìn)行試驗(yàn)的方法要有應(yīng)用前景

醫(yī)生患者醫(yī)療費(fèi)用提供者診斷試驗(yàn)的串聯(lián)診斷試驗(yàn)的并聯(lián)Datasample13_5;Dogroup=1,0;Dotest_val=1to5;Inputfreq@@;Output;end;end;Cards;32211333366112;Proc

logisticdescending;Modelgroup=test_val/Scale=noneoutroc=roc1;Freqfreq;symbol1i=joinv=nonec=blue;proc

gplotdata=roc1;title'ROCCurvesample13_5';plot_sensit_*_1mspec_=1/vaxis=0to1by.1cframe=ligr;run;Proc

print;Run;TheLOGISTICProcedureModelInformationDataSetWORK.SAMPLE13_5ResponseVariablegroupNumberofResponseLevels2FrequencyVariablefreqModelbinarylogitOptimizationTechniqueFisher'sscoringNumberofObservationsRead10NumberofObservationsUsed10SumofFrequenciesRead109SumofFrequenciesUsed109ResponseProfileOrderedTotalValuegroupFrequency

1151

2058Probabilitymodeledisgroup=1.ModelConvergenceStatusConvergencecriterion(GCONV=1E-8)satisfied.ModelFitStatisticsInterceptInterceptandCriterionOnlyCovariatesAIC152.65694.735SC155.348100.117-2LogL150.65690.735TestingGlobalNullHypothesis:BETA=0TestChi-SquareDFPr>ChiSqLikelihoodRatio59.92171<.0001Score51.61001<.0001Wald34.10601<.0001ROCCurvesample13_316:47Tuesday,November13,201313TheLOGISTICProcedureAnalysisofMaximumLikelihoodEstimatesStandardWaldParameterDFEstimateErrorChi-SquarePr>ChiSqIntercept1-3.91370.751027.1547<.0001test_val11.14260.195734.1060<.0001OddsRatioEstimatesPoint95%WaldEffectEstimateConfidenceLimitstest_val3.1352.1364.600AssociationofPredictedProbabilitiesandObservedResponsesPercentConcordant84.1Somers'D0.786PercentDiscordant5.4Gamma0.878PercentTied10.5Tau-a0.395Pairs2958c0.893ROCCurvesample13_516:47Tuesday,November13,201314Obs_PROB__POS__NEG__FALPOS__FALNEG__SENSIT__1MSPEC_

10.8580733562180.647060.03448

20.6585344451370.862750.22414

30.3808746391950.901960.32759

40.1640448332530.941180.43103

50.058915105801.000001.00000Datasample13_3;Inputgroup$num;Doi=1tonum;Inputtest_val@@;Output;End;Cards;Case516.513.512.811.25.0Control48.56.44.61.7;Proc

logisticdata=sample13_3;Modelgroup=test_val/scale=noneoutroc=roc1;symbol1i=joinv=nonec=blue;proc

gplotdata=roc1;title'ROCCurvesample13_3';plot_sensit_*_1mspec_=1/vaxis=0to1by.1cframe=ligr;run;Proc

print;Run;TheLOGISTICProcedureModelInformationDataSetWORK.SAMPLE13_3ResponseVariablegroupNumberofResponseLevels2ModelbinarylogitOptimizationTechniqueFisher'sscoringNumberofObservationsRead9NumberofObservationsUsed9ResponseProfileOrderedTotalValuegroupFrequency1Case52Control4Probabilitymodeledisgroup='Case'.ModelConvergenceStatusConvergencecriterion(GCONV=1E-8)satisfied.ModelFitStatisticsInterceptInterceptandCriterionOnlyCovariatesAIC14.36510.905SC14.56311.299-2LogL12.3656.905TestingGlobalNullHypothesis:BETA=0TestChi-SquareDFPr>ChiSqLikelihoodRatio5.460710.0194Score4.415610.0356Wald2.693710.1007TheLOGISTICProcedureAnalysisofMaximumLikelihoodEstimatesStandardWaldParameterDFEstimateErrorChi-SquarePr>ChiSqIntercept1-3.89122.53422.35770.1247test_val10.49510.30162.69370.1007OddsRatioEstimatesPoint95%WaldEffectEstimateConfidenceLimitstest_val1.6410.9082.963AssociationofPredictedProbabilitiesandObservedResponsesPercentConcordant90.0Somers'D0.800PercentDiscordant10.0Gamma0.800PercentTied0.0Tau-a0.444Pairs