T-CI 189-2023 疾病預(yù)測(cè)模型技術(shù)規(guī)范

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載ICS

11.020學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載CCS

C

04 T/CI

189—2023疾病預(yù)測(cè)模型技術(shù)規(guī)范Technical

specifications

models

發(fā)布

實(shí)施 發(fā)

布學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CI

—2023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載 前言

.................................................................................

II1

...............................................................................

12 規(guī)范性引用文件

.....................................................................

13 術(shù)語(yǔ)和定義

.........................................................................

14 疾病預(yù)測(cè)模型構(gòu)建步驟

...............................................................

2研究問(wèn)題提出

...................................................................

2研究設(shè)計(jì)和數(shù)據(jù)質(zhì)控

.............................................................

2預(yù)測(cè)因子編碼

...................................................................

2模型構(gòu)建

.......................................................................

3參數(shù)估計(jì)

.......................................................................

3模型評(píng)價(jià)

.......................................................................

3模型驗(yàn)證

.......................................................................

3模型展示

.......................................................................

45 模型性能的評(píng)價(jià)指標(biāo)

.................................................................

4概述

...........................................................................

4全局校準(zhǔn)

.....................................................................

4斜率校準(zhǔn)

.....................................................................

4

統(tǒng)計(jì)量......................................................................

5決策曲線

.....................................................................

5參考文獻(xiàn)

..............................................................................

6學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CI

—2023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載 本文件按照GB/T

—《標(biāo)準(zhǔn)化工作導(dǎo)則 第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由山東大學(xué)提出。本文件由中國(guó)國(guó)際科技促進(jìn)會(huì)歸口?？涤邢薰尽⒗顺避浖瘓F(tuán)有限公司。 毅、屈 靜、張 健、高 培、張清華、孫振棟、高傳貴。II學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CI

—2023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載1 范圍本文件確立了疾病預(yù)測(cè)模型構(gòu)建的過(guò)程和步驟，給出了衡量模型性能的多維度評(píng)價(jià)指標(biāo)。本文件適用于疾病預(yù)測(cè)模型的構(gòu)建、評(píng)價(jià)與改進(jìn)。2 規(guī)范性引用文件本文件沒(méi)有規(guī)范性引用文件。3 術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。研究設(shè)計(jì)

study

為構(gòu)建疾病預(yù)測(cè)模型而涉及的隊(duì)列研究設(shè)計(jì)。疾病預(yù)測(cè)模型

prediction

model記、環(huán)境因素等）來(lái)預(yù)測(cè)個(gè)體在未來(lái)某一時(shí)期內(nèi)患某種疾病的概率。預(yù)測(cè)因子

predictor可干預(yù)因子。隊(duì)列數(shù)據(jù)

data通過(guò)隊(duì)列研究設(shè)計(jì)所獲得的數(shù)值變量和分類變量的觀察值。疾病風(fēng)險(xiǎn)

risk通過(guò)疾病預(yù)測(cè)模型所預(yù)測(cè)的結(jié)局發(fā)生的可能性。人群平均基準(zhǔn)風(fēng)險(xiǎn)

baseline

hazard在人群隊(duì)列中隨訪觀察到一定時(shí)期內(nèi)（如510年等）各年齡別發(fā)病率（或發(fā)病密度），可代表同性別同年齡的人群期內(nèi)發(fā)生某種健康/疾病結(jié)局的平均風(fēng)險(xiǎn)水平。絕對(duì)風(fēng)險(xiǎn)

absolute

risk具備某特定危險(xiǎn)因素集的某個(gè)體在年齡α?xí)r未發(fā)生所研究的結(jié)局（如腦卒中）而在年齡（α+τ）時(shí)段內(nèi)發(fā)生該結(jié)局的概率，其中τ是人為規(guī)定的隨訪時(shí)間。crude

cumulative

risk相對(duì)絕對(duì)風(fēng)險(xiǎn)

relative

absolute

risk體的絕對(duì)風(fēng)險(xiǎn)是同年齡組所有人的平均絕對(duì)風(fēng)險(xiǎn)的倍數(shù)。超額絕對(duì)風(fēng)險(xiǎn)

absolute

risk險(xiǎn)）之差，以反映每個(gè)個(gè)體的絕對(duì)風(fēng)險(xiǎn)與同年齡組所有人的平均絕對(duì)風(fēng)險(xiǎn)的差。學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CI

—2023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載競(jìng)爭(zhēng)風(fēng)險(xiǎn)

competing

risk性結(jié)局（如死亡等）。內(nèi)部有效性

internal

validity在研究預(yù)測(cè)模型的樣本中，能夠在完全相同的研究過(guò)程中復(fù)現(xiàn)研究結(jié)果的程度。外部有效性

external

validity預(yù)測(cè)模型類推到目標(biāo)人群的有效性（普遍適應(yīng)性）。結(jié)局

預(yù)測(cè)因子（3.3）通過(guò)預(yù)測(cè)模型所預(yù)測(cè)的結(jié)局，以絕對(duì)風(fēng)險(xiǎn)形式顯示。列線圖

alignment

各個(gè)變量之間的相對(duì)權(quán)重大小，同時(shí)為使用者提供簡(jiǎn)潔的風(fēng)險(xiǎn)計(jì)算方式。也稱諾莫圖（Nomogram）。校準(zhǔn)度

calibration實(shí)際發(fā)生風(fēng)險(xiǎn)的一致程度。4 疾病預(yù)測(cè)模型構(gòu)建步驟研究問(wèn)題提出4.1.1 首先應(yīng)確定研究問(wèn)題，即對(duì)結(jié)局和對(duì)應(yīng)預(yù)測(cè)因子的選擇。對(duì)預(yù)測(cè)因子的選擇應(yīng)具有可干預(yù)性、科學(xué)性、可行性、效益性。4.1.2 預(yù)測(cè)因子的選擇，應(yīng)由臨床專家和統(tǒng)計(jì)學(xué)專家共同商定。4.1.3 4.1.4 建模樣本的選擇，根據(jù)不同的研究設(shè)計(jì)，如隊(duì)列研究設(shè)計(jì)、巢式病例對(duì)照研究設(shè)計(jì)等，選擇相應(yīng)的研究對(duì)象，并計(jì)算樣本量。4.1.5 若使用既往臨床試驗(yàn)的歷史數(shù)據(jù)，也可為建立模型提供數(shù)據(jù)。4.1.6 在樣本的選擇中，根據(jù)實(shí)際情況選擇采用合適的抽樣方法，如整群抽樣、簡(jiǎn)單隨機(jī)抽樣、復(fù)雜抽樣等。研究設(shè)計(jì)和數(shù)據(jù)質(zhì)控4.2.1 例對(duì)照研究設(shè)計(jì)。4.2.2 疾病預(yù)測(cè)模型應(yīng)使用隊(duì)列數(shù)據(jù)，而不是橫斷面數(shù)據(jù)。4.2.3 數(shù)據(jù)集應(yīng)拆分為訓(xùn)練隊(duì)列數(shù)據(jù)集、驗(yàn)證隊(duì)列數(shù)據(jù)集，訓(xùn)練隊(duì)列數(shù)據(jù)集用于模型訓(xùn)練，驗(yàn)證隊(duì)列數(shù)據(jù)集用于模型的評(píng)估和調(diào)優(yōu)。4.2.4 應(yīng)對(duì)隊(duì)列數(shù)據(jù)進(jìn)行質(zhì)量控制，包括數(shù)據(jù)測(cè)量的準(zhǔn)確性，以及對(duì)數(shù)據(jù)的預(yù)處理，比如離群值、缺失值、不平衡和共線性等問(wèn)題的處理。預(yù)測(cè)因子編碼預(yù)測(cè)因子的編碼應(yīng)從以下方面考慮：學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CI

—2023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載a)

候選預(yù)測(cè)因子宜包括人口統(tǒng)計(jì)學(xué)特征、臨床病史、體格檢查、疾病特征、實(shí)驗(yàn)室結(jié)果以及既往的治療方法和基因組生物標(biāo)記等。除了年齡和性別等不可干預(yù)的預(yù)測(cè)因子，盡量選擇具有臨床意義且可干預(yù)的指標(biāo)作為預(yù)測(cè)因子；b)

應(yīng)首選因果鏈上的指標(biāo)作為候選預(yù)測(cè)因子，且離結(jié)局越近的指標(biāo)，預(yù)測(cè)效果越好；c)

分類變量和數(shù)值變量都可以作為預(yù)測(cè)因子，根據(jù)臨床需要選擇數(shù)值變量或者將數(shù)值變量轉(zhuǎn)化為分類變量；d)

對(duì)于預(yù)測(cè)因子的缺失數(shù)據(jù)，要慎用統(tǒng)計(jì)學(xué)填補(bǔ)法，建議采用不確定性推理。模型構(gòu)建4.4.1 預(yù)測(cè)因子選擇在模型構(gòu)建之前應(yīng)選擇合適的預(yù)測(cè)因子，宜根據(jù)需求遵從以下幾個(gè)方面確定納入模型的預(yù)測(cè)因子：a)

根據(jù)現(xiàn)有的醫(yī)學(xué)文獻(xiàn)篩選預(yù)測(cè)因子；b)

單因素分析篩選預(yù)測(cè)因子；c)

多因素分析篩選預(yù)測(cè)因子；d)

根據(jù)臨床實(shí)際需要篩選預(yù)測(cè)因子；e)

對(duì)于預(yù)測(cè)因子篩選，高維數(shù)據(jù)宜用

lasso

回歸，低維數(shù)據(jù)宜用向后逐步回歸；f)

在保證預(yù)測(cè)效果前提下，納入的預(yù)測(cè)因子越少越好。4.4.2 模型選擇根據(jù)研究目的及研究設(shè)計(jì)選擇合適的模型，應(yīng)從以下方面考慮：a)

在保證預(yù)測(cè)效果的前提下，盡量選擇簡(jiǎn)單的預(yù)測(cè)方法而非復(fù)雜的預(yù)測(cè)方法；b)

因素加權(quán)模型等）、生存機(jī)器學(xué)習(xí)模型（生存隨機(jī)森林模型等）、不確定推理模型（貝葉斯網(wǎng)絡(luò)等）等；c)

當(dāng)存在競(jìng)爭(zhēng)風(fēng)險(xiǎn)時(shí)，應(yīng)選擇競(jìng)爭(zhēng)風(fēng)險(xiǎn)模型（如原因別競(jìng)爭(zhēng)風(fēng)險(xiǎn)模型、部分分布競(jìng)爭(zhēng)風(fēng)險(xiǎn)模型等），以消除競(jìng)爭(zhēng)風(fēng)險(xiǎn)對(duì)結(jié)局預(yù)測(cè)的影響；d)

各種模型均有其特定的建模假設(shè)，選擇模型時(shí)應(yīng)考慮隊(duì)列數(shù)據(jù)是否符合模型假設(shè)。例如，模型的等比例風(fēng)險(xiǎn)假設(shè)等。參數(shù)估計(jì)模型確定之后，應(yīng)對(duì)模型參數(shù)進(jìn)行估計(jì)，即估計(jì)模型的回歸系數(shù)。對(duì)于logistic回歸模型和Cox等比例風(fēng)險(xiǎn)回歸模型，通常用似然方法估計(jì)系數(shù)。模型評(píng)價(jià)對(duì)于一個(gè)被提議的模型，研究人員應(yīng)確定其預(yù)測(cè)能力。應(yīng)從模型校準(zhǔn)(全局校準(zhǔn)(A、斜率校準(zhǔn)(B5.3))、C統(tǒng)計(jì)量(C以及決策曲線(DABCD標(biāo)。評(píng)價(jià)指標(biāo)參考本文件第5模型驗(yàn)證4.7.1 概述于內(nèi)部驗(yàn)證。4.7.2 內(nèi)部有效性內(nèi)部有效性指模型的ABCD叉驗(yàn)證、重采樣等驗(yàn)證方法來(lái)評(píng)估。4.7.3 外部有效性學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CI

—2023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載外部有效性指模型的ABCD證）、來(lái)自其他地區(qū)的樣本（空間驗(yàn)證）或在差異較大的環(huán)境下（強(qiáng)外部驗(yàn)證）來(lái)評(píng)估。模型展示4.8.1 概述支持。宜選擇列線圖、風(fēng)險(xiǎn)映射圖、打分卡等方式。4.8.2 列線圖列線圖的繪制應(yīng)遵循以下要求：a)

將模型中的多個(gè)預(yù)測(cè)指標(biāo)整合，采用刻度線段，按一定比例繪制在同一平面上，以表達(dá)預(yù)測(cè)模型中各個(gè)變量之間的相對(duì)權(quán)重大?。籦)

根據(jù)預(yù)測(cè)模型中各個(gè)預(yù)測(cè)因子對(duì)結(jié)局的貢獻(xiàn)程度，給每個(gè)預(yù)測(cè)因子的每個(gè)取值水平進(jìn)行賦分，再將各個(gè)評(píng)分相加得到總評(píng)分，最后通過(guò)總評(píng)分與結(jié)局事件發(fā)生概率之間的函數(shù)轉(zhuǎn)換關(guān)系，計(jì)算出個(gè)體結(jié)局事件的風(fēng)險(xiǎn)預(yù)測(cè)值。4.8.3 風(fēng)險(xiǎn)映射圖風(fēng)險(xiǎn)映射圖的繪制應(yīng)遵循以下要求：a)

繪制各年齡組人群的基準(zhǔn)風(fēng)險(xiǎn)圖，以人群平均基準(zhǔn)風(fēng)險(xiǎn)為界，將其劃分為高低風(fēng)險(xiǎn)人群；b)

個(gè)體絕對(duì)風(fēng)險(xiǎn)映射到基準(zhǔn)風(fēng)險(xiǎn)圖，計(jì)算相對(duì)絕對(duì)風(fēng)險(xiǎn)、超額絕對(duì)風(fēng)險(xiǎn)和個(gè)體相對(duì)絕對(duì)風(fēng)險(xiǎn)。5 模型性能的評(píng)價(jià)指標(biāo)概述模型性能的評(píng)價(jià)標(biāo)準(zhǔn)包括模型校準(zhǔn)（全局校準(zhǔn)、斜率校準(zhǔn)）、C統(tǒng)計(jì)量和決策分析曲線，其中模型校準(zhǔn)用于評(píng)估模型的預(yù)測(cè)概率與觀測(cè)結(jié)果的一致性，C統(tǒng)計(jì)量用于評(píng)估分類模型的性能，決策曲線用于際應(yīng)用中做出決策。A:全局校準(zhǔn)即Alpha校準(zhǔn)（Alpha

calibration-in-the-large），校準(zhǔn)度是評(píng)估預(yù)測(cè)的概率與實(shí)際觀察到的概10橫坐標(biāo)XY???險(xiǎn)（R）。校準(zhǔn)曲線公式如下：??

=

??

+?????(1)式中：R

——實(shí)際觀察到的結(jié)局發(fā)生的概率；A

——截距(Alpha)；B

——斜率(Beta)；???

——預(yù)測(cè)結(jié)局發(fā)生的概率。參考線是R=???，即A=0，B

預(yù)測(cè)風(fēng)險(xiǎn)與實(shí)際風(fēng)險(xiǎn)完全重合。AA行比較。因此，該參數(shù)表明預(yù)測(cè)值系統(tǒng)地過(guò)低或過(guò)高的程度。當(dāng)A接近于0時(shí)，預(yù)測(cè)模型的校準(zhǔn)良好。B:斜率校準(zhǔn)ｚｆｘｗ學(xué)兔兔ｗｗｗ．ｂ．ｃｏｍ標(biāo)準(zhǔn)下載??

=

??TP

?

??????ｚｆｘｗ學(xué)兔兔ｗｗｗ．ｂ．ｃｏｍ標(biāo)準(zhǔn)下載??

=

??TP

?

??????

×

1?????????

(2)即Beta校準(zhǔn)(Beta

calibration

slope)，B為校準(zhǔn)曲線斜率。如果預(yù)測(cè)風(fēng)險(xiǎn)大于實(shí)際風(fēng)險(xiǎn)，即高估B小于1線在參考線以上，即B1。當(dāng)B接近于1時(shí)，模型預(yù)測(cè)的校準(zhǔn)良好。C:C

統(tǒng)計(jì)量C統(tǒng)計(jì)量(Concordance

statistic)，C統(tǒng)計(jì)量用來(lái)衡量模型的判別度，也稱為區(qū)分度。區(qū)分度是指作為區(qū)分度衡量指標(biāo)。C-indexC-index計(jì)算方法為所有樣本對(duì)子中預(yù)測(cè)結(jié)果與實(shí)際結(jié)果一致的對(duì)子所占的比例，C=（一致對(duì)子數(shù)/對(duì)子數(shù)）。等于ROC曲線下面積。曲線中，預(yù)測(cè)發(fā)病與不發(fā)病的最優(yōu)界值處于保持高特異度時(shí)靈敏度最高點(diǎn)對(duì)應(yīng)的發(fā)病風(fēng)險(xiǎn)預(yù)測(cè)值。CCCC靠，模型效果越好。點(diǎn)估計(jì)宜遵從以下原則：a)

AUC、

值域在

，當(dāng)其取值為

時(shí)說(shuō)明該模型沒(méi)有預(yù)測(cè)作用；b)

AUC、

在為較低準(zhǔn)確度；c)

AUC、

在之間為中等準(zhǔn)確度；d)

AUC、

高于

0.90

則為高準(zhǔn)確度。D:決策曲線決策曲線分析(Decision-curve

analysis)，評(píng)估預(yù)測(cè)模型的臨床獲益。用預(yù)測(cè)模型指導(dǎo)診療決策(不治療)或高風(fēng)險(xiǎn)(需要治療)益進(jìn)行量化時(shí)，宜考慮一個(gè)閾值范圍。確定閾值概率應(yīng)平衡獲益和風(fēng)險(xiǎn)。與曲線確定的