淺談ROC完整版本

ROC曲線20150519鄭佩杰1涵義及起源1醫(yī)學(xué)常用診斷指標(biāo)2ROC空間3ROC曲線繪制4ROC曲線下面積5實(shí)例應(yīng)用6目錄CONTENTS2涵義和起源ROC曲線（receiveroperatingcharacteristiccurve）受試者工作特征曲線。美國生物統(tǒng)計(jì)百科全書中關(guān)于ROC的定義是：對于可能或?qū)嬖诨煜?種條件或自然狀態(tài)，需要試驗(yàn)者、專業(yè)診斷學(xué)工作者以及預(yù)測工作者作出精細(xì)判別，或者準(zhǔn)確決策的一種定量方法。常用來決定最佳診斷點(diǎn)。初譯為“接收者工作特征曲線”，二戰(zhàn)時(shí)期用于表示信號檢測特性時(shí)創(chuàng)造的術(shù)語。雷達(dá)兵的判斷實(shí)際目標(biāo)敵機(jī)飛鳥敵機(jī)擊中虛報(bào)飛鳥漏報(bào)正確排除3涵義和起源ROC曲線研究歷史1950’s雷達(dá)信號觀測能力評價(jià)1960’s中期實(shí)驗(yàn)心理學(xué)、心理物理學(xué)1970’s末與1980’s診斷醫(yī)學(xué)4醫(yī)學(xué)中的應(yīng)用ROC曲線評價(jià)診斷試驗(yàn)的重要性診斷試驗(yàn)：泛指血液生化、影像學(xué)、免疫學(xué)、細(xì)胞學(xué)、病理學(xué)、統(tǒng)計(jì)模型等檢查。重要性：1.循證醫(yī)學(xué)的重要組成部分

2.診斷試驗(yàn)評價(jià)方法可用于：臨床試驗(yàn)評價(jià)臨床檢驗(yàn)評價(jià)流行病學(xué)篩查試驗(yàn)評價(jià)實(shí)驗(yàn)室檢驗(yàn)評價(jià)統(tǒng)計(jì)學(xué)模型評價(jià)……5診斷試驗(yàn)的評價(jià)指標(biāo)診斷試驗(yàn)的評價(jià)指標(biāo)常用指標(biāo)有正確百分率、靈敏度、特異度、Youden指數(shù)、陽性似然比、陰性似然比、陽性預(yù)報(bào)值、陰性預(yù)報(bào)值。金標(biāo)準(zhǔn)：對于目前沒有診斷金標(biāo)準(zhǔn)的疾病，需要采用傳統(tǒng)上認(rèn)為最為準(zhǔn)確的方法作為對照，甚至需要采用不能常規(guī)使用的一些能夠準(zhǔn)確診斷出疾病的方法來進(jìn)行對比。診斷結(jié)果（T）金標(biāo)準(zhǔn)（D）合計(jì)病例（D+）對照（D-）陽性（T+）TP（真陽性）FP（假陽性）TP+FP陰性（T-）FN（假陰性）TN（真陰性）FN+TN合計(jì)TP+FNFP+TNN6ROC空間Y軸，真陽性率，在所有實(shí)際為陽性的樣本中，被正確地判斷為陽性之比率。又稱靈敏度（sensitivity），反映診斷試驗(yàn)檢出病例的能力。TPR=TP/(TP+FN)X軸，假陽性率，在所有實(shí)際為陰性的樣本中，被錯(cuò)誤地判斷為陽性之比率。即1-特異度（specificity），（特異度又稱為真陰性率，反映了診斷試驗(yàn)排除非病例的能力）。FPR=FP/N=FP/(FP+TN)=1–

SPCSPC=TN/N=TN/(FP+TN)

7ROC空間8ROC曲線繪制將同一模型每個(gè)閾值的(FPR,TPR)座標(biāo)都畫在ROC空間里，就成為特定模型的ROC曲線。如何繪制：①計(jì)算ROC曲線工作點(diǎn)（Coordinatepoint或Operatingpoint）（FPR,TPR）

依據(jù)專業(yè)知識，對疾病組和參照組測定結(jié)果進(jìn)行分析，確定測定值的上下限、組距以及截?cái)帱c(diǎn)（cut-offpoint），按選擇的組距間隔列出累積頻數(shù)分布表，分別計(jì)算出所有截?cái)帱c(diǎn)的敏感性、特異性和假陽性率（1-特異性）,以敏感性為縱坐標(biāo)代表真陽性率，（1-特異性）為橫坐標(biāo)代表假陽性率。

②連接相鄰兩點(diǎn)9ROC曲線繪制連續(xù)型數(shù)據(jù)的ROC曲線工作點(diǎn)（TPR，F(xiàn)PR）計(jì)算假想的連續(xù)型數(shù)據(jù)將這9個(gè)數(shù)據(jù)從大到小排列，以前8個(gè)數(shù)，分別作為診斷界值，大于等于診斷界值者判為陽性，小于該值者判為陰性。這樣，可整理成8個(gè)四格表金標(biāo)準(zhǔn)檢測結(jié)果病例組16.513.512.811.25.0對照組8.56.44.61.7101112有序分類數(shù)據(jù)的

ROC曲線工作點(diǎn)（TPR，F(xiàn)PR）計(jì)算

將診斷分類數(shù)據(jù)按大到小排序，以前4個(gè)分類作為診斷界值，大于等于診斷界值者為陽性，小于該值者為陰性。這樣，可整理出4個(gè)四格表，每個(gè)四格表對應(yīng)的ROC曲線的工作點(diǎn)見下表。2

靈敏度,特異度,假陰性率,假陽性率不同診斷界點(diǎn)

靈敏度與特異度間的變化(cut

off)0204060801005060708090100特異度靈敏度百分率（％）診斷試驗(yàn)數(shù)據(jù)16如何確定cutoff值一般認(rèn)為ROC曲線上左上角對應(yīng)的即為cutoff值。（但此概念較模糊）

所謂的“曲線左上角”至少可以找出3種判斷方式：（1）曲線與斜率為1的斜線的切點(diǎn)；（2）曲線與經(jīng)過（0,1）和（1,0）兩點(diǎn)直線的交點(diǎn)；（3）曲線上與（0,1）點(diǎn)絕對距離最近的點(diǎn)。從數(shù)學(xué)上講，由于ROC曲線并非規(guī)則曲線，這3個(gè)點(diǎn)未必永遠(yuǎn)合一。約登指數(shù)（Youdenindex）：靈敏度+特異度-1最大時(shí)所對應(yīng)的點(diǎn)為最佳診斷界值。17ROC曲線下面積ROC曲線下面積（Area）與診斷準(zhǔn)確度高低高0.90-1.00=excellent(A)中0.80-0.90=good(B)0.70-0.80=fair(C)低0.60-0.70=poor(D)0.50-0.60=fail(F)18(一)

Hanley和McNeil非參數(shù)法

ROC曲線下面積(Az)就是異常組觀察值大于正常組觀察值的概率Mann-WhitneyU統(tǒng)計(jì)量Hanley和McNeil法ROC曲線下面積

與Mann-WhitneyU

檢驗(yàn)

由秩和檢驗(yàn)中的Mann-WhitneyU統(tǒng)計(jì)量（SPSS等軟件均可計(jì)算）可計(jì)算ROC曲線下面積零假設(shè)H0:總體ROC面積θ＝0.5的檢驗(yàn)等價(jià)于Mann-WhitneyU檢驗(yàn)SPSS輸出的ROC面積檢驗(yàn)P值即為上述Z值對應(yīng)的概率Hanley和McNeil法ROC曲線下面積

與梯形規(guī)則（trapezoidalrule）

Hanley和McNeil法ROC曲線下面積等于所有曲線下梯形（包括最左側(cè)的三角形）面積之和其他ROC曲線下面積計(jì)算方法1.雙正態(tài)法2.有序回歸模型3.其他模型(如雙Gama法、雙指數(shù)法)22兩種診斷方法的統(tǒng)計(jì)學(xué)比較兩種診斷方法的比較時(shí)，根據(jù)不同的試驗(yàn)設(shè)計(jì)可采用以下兩種方法：①當(dāng)兩種診斷方法分別在不同受試者身上進(jìn)行時(shí)，采用成組比較法。②如果兩種診斷方法在同一受試者身上進(jìn)行時(shí)，采用配對比較法。23單個(gè)連續(xù)型資料單個(gè)有序分類資料兩個(gè)相關(guān)連續(xù)型資料兩個(gè)相關(guān)有序分類資料應(yīng)用實(shí)例Testvariables24實(shí)例：采用骨髓診斷作為金標(biāo)準(zhǔn)，對100例缺鐵性貧血疑似患者進(jìn)行確診，患該病者為異常組(34例)，未患該病者為正常組(66例)。為了考察紅細(xì)胞平均容積（MCV）診斷缺鐵性貧血的效果，測得每一個(gè)體的MCV值如下：StateVariableTestVariable實(shí)例：MCV診斷缺鐵性貧血圖4

連續(xù)性資料的兩組頻率分布0.30.20.100.10.20.3556065707580859095100105組段上限值異常組頻率SPSS輸入格式StateVariable

＝骨髓診斷TestVariable

＝MCV結(jié)果0＝正常組

1＝異常組ValueofStateVariable：127SPSS的GraphsROCCurve界面