醫(yī)學(xué)人工智能與磁共振成像技術(shù)

醫(yī)學(xué)人工智能與磁共振成像技術(shù)1主要內(nèi)

容2背景知

識(shí)研究方

法臨床應(yīng)

用主要內(nèi)

容3背景知

識(shí)研究方

法臨床應(yīng)

用AI+醫(yī)學(xué)影像醫(yī)學(xué)影像深度學(xué)習(xí)：智能診療在視網(wǎng)膜、肺炎肺癌、皮膚癌等診斷中，深度學(xué)習(xí)方法媲美醫(yī)生AI

影像組學(xué)：鏈接影像與個(gè)性化診療James

O'Connor曼徹斯特大學(xué)癌癥中心教授CRUK和EPSRC癌癥影像中心放射科學(xué)家影像組學(xué)利用人工智能方法，實(shí)現(xiàn)腦腫瘤個(gè)性化精準(zhǔn)診療NatureReviewClinicalOncology,14(169),2017共識(shí)：AI醫(yī)學(xué)影像將成為臨床的助手科研界 工業(yè)界股市預(yù)測(cè)自動(dòng)駕駛推薦系統(tǒng)????????= A股指數(shù)????= 方向盤角度= 購買可能性使用者

A 商品

BAI在做什么？6MRI+AI

可以幫助醫(yī)生做什么？臨床任務(wù)：診斷、手術(shù)、放療、化療、活檢、篩查

…醫(yī)生工作：識(shí)別、勾勒、定位、測(cè)量、計(jì)算、評(píng)估先驗(yàn)知識(shí)：解剖、生理、病理等專業(yè)知識(shí)，人腦圖像分析功能，醫(yī)生診斷治療經(jīng)驗(yàn)；眼腦手配合AI影像工具：

MRI、

X-Ray、CT、PET、US、DSA、MicroscopyAI7模

型f(x)……x1x2xNy1y2yM人工智能系統(tǒng)的一般性描述變量定義：輸入變量

x=(x1,…,xN)，輸出變量

y=(y1,…,yN)。訓(xùn)練集

T={(x1,

y1),…,(xN,

yN)}

?；炯僭O(shè)：假設(shè)(x,y)遵循聯(lián)合分布，P(x,y)且獨(dú)立同分布。模型

f(x)

是輸入空間

X

到輸出空間Y

的映射的集合，這個(gè)集合就是假設(shè)空間F，即F={f

|y=f(x)}或F={P|

P(y|x)}。AI問題的一般性描述：給定輸入數(shù)據(jù)x或訓(xùn)練集T，構(gòu)建機(jī)器學(xué)習(xí)模型

f(x)

或

P(y|x)，對(duì)輸出數(shù)據(jù)

y進(jìn)行預(yù)測(cè)。8人工智能模型的三要素三要素：人工智能方法

=

模型

+

策略

+

算法模型：所要學(xué)習(xí)的映射函數(shù)

f(x)

或條件概率分布，選定一個(gè)模型空間，比如線性模型

f(x)

=wx

+

b策略：按照從假設(shè)空間中選擇最優(yōu)模型的準(zhǔn)則如何判定一個(gè)模型的優(yōu)劣，比如預(yù)測(cè)值與真值交叉熵最小算法：依照上述準(zhǔn)則從假設(shè)空間中得出最優(yōu)模型的計(jì)算方法如何從模型空間中找到最好的模型，比如梯度下降搜索算法步驟

1:

模型定義一個(gè)模型空間步驟

2:

策略評(píng)判一個(gè)模型好壞步驟

3:

算法找到一個(gè)最好模型舉例說明：邏輯回歸分類模型的三要素ii iw

x

bz

zw1wiwI…x1xixI

b

z

………

z

z1

e

z1

z

SigmoidFunction????????,????????=

?????

????????

????????

+????????步驟

1:

模型定義一個(gè)模型空間模型：模型空間就是????????,???? ???? 所描述的所有模型的集合水桶：N個(gè)進(jìn)水管，一個(gè)出水管。。。激活函數(shù)加權(quán)求和舉例說明：邏輯回歸分類模型的三要素?????真值步驟

2:

策略評(píng)判一個(gè)模型好壞ii iw

x

bz

z1wwiIw…x1xixI

b

z

………y預(yù)測(cè)值交叉熵=?????????????????????? ????

,

?????策略：使得???? ????

,?????最小的那個(gè)模型，就是最好的模型????????顏色深淺:

損失函數(shù)L(w,b)

的大小舉例說明：邏輯回歸分類模型的三要素(?????

?????????????????,

?????

?????????????????)計(jì)算

?????????????????,

?????????????????步驟

3:

算法找到一個(gè)最好模型???????? ????????

????,

???? =

?????????????????? =

?????????????????? ?

????

???? +

????13舉例說明：邏輯回歸分類模型的三要素步驟

3:

算法找到一個(gè)最好模型????????1????2LossThevalueoftheparameter

w平坦區(qū)域下降很慢局部極小值被卡住????????

∕

????????=

0鞍點(diǎn)被卡住????????

∕

????????=

0????????

∕

????????≈

014損失函數(shù)w1w2均方誤差步驟

3:

算法找到一個(gè)最好模型交叉熵舉例說明：邏輯回歸分類模型的三要素1x2xInput

FeatureLabelx1x200Class

201Class

110Class

111Class

2y

zw2x1

w1x2b

Class2

Class1y

0.5y

0.5z

w1x1

w2x2

bz

≥0z

≥0z

<0z

<0異或問題?(????

≥

0)(????

<

0)邏輯回歸的局限：線性不可分問題Deep

Learning!神經(jīng)網(wǎng)絡(luò)多個(gè)單元連接在一起，模型參數(shù)w和b通過學(xué)習(xí)得到.

z

z

z

“Neuron”

z

x12x……x256………………y1y2y10CrossEntropy“1”100……target……Softmax???? ????

,?????10=??

?????????

????????????????????=1?????1?????2?????10………Givenaset

…ofparameters…?????????深度神經(jīng)網(wǎng)絡(luò)三要素是什么？模型：深度神經(jīng)網(wǎng)絡(luò)，由網(wǎng)絡(luò)結(jié)構(gòu)決定；策略：損失函數(shù)算法：梯度下降MRI在計(jì)算機(jī)看來是什么？磁共振圖像????×

????

維矩陣245211233198187178255236256276199186266235257278218190266233256257225193267238242253215186278231235242211187灰度形狀位置紋理邊緣如何從MRI圖像中獲取有用特征？手工設(shè)計(jì)特征病灶分割特征提取特征選擇分類器去冗余度單因子排序LASSOmRMRBoruta……影像組學(xué)邏輯回歸隨機(jī)森林SVM人工神經(jīng)網(wǎng)絡(luò)XGBoost……手工特征工程影像組學(xué)特征有什么意義？灰度形狀位置紋理RobertHaralick/GLCM

GLRLMGLSZMNGTDM……HaralickRM,ShanmugamK(1973).Texturalfeaturesforimageclassification.IEEETransactionsonsystems,man,andcybernetics,(6),

610-621.GallowayMM.(1974).Textureanalysisusinggreylevelrunlengths.NASASTI/ReconTechnicalReportN,

75.全連接前饋網(wǎng)絡(luò)鑒別診斷，預(yù)后預(yù)測(cè)，療效預(yù)測(cè)……卷積層池化層卷積層池化層Flatten特征提取多次堆疊重復(fù)使用深度卷積神經(jīng)網(wǎng)絡(luò)線性分類器1000010100100011001000100100100010106x6

image1-1-1-11-1-1-11卷積核

13-1-3-1-310-3-3-3013-2-2-1stride=1同樣的局部特征會(huì)多次出現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)在做什么？卷積神經(jīng)網(wǎng)絡(luò)在做什么？1000010100100011001000100100100010106x6

image-313-1-11-1-11-1-11-1Filter

23-1-1-1-3-1-1--310-31-1 -1 -2-3 01-11-13-2 -20 -44x4

image采用每個(gè)卷積核重復(fù)做加權(quán)求和stride=1FeatureMap-1 -2“monkey”f1f2f3f4所有的卷積核都是通過學(xué)習(xí)得到的卷積神經(jīng)網(wǎng)絡(luò)提取了什么特征？KerasHowtousetheneuralnetwork

(testing):case

1:case

2:Don’tworryifyoucannotunderstand

this.BcozKerascanhandle

it.Keras/Pytorch

使用心得朋友覺得我在導(dǎo)師覺得我在我媽覺得我在我自己覺得我在大家覺得我在事實(shí)上我在Deep

Learning

研究生主要內(nèi)

容背景知

識(shí)研究方

法臨床應(yīng)

用28ClassificationEvaluation&InterpretationCT/MR/PETAI+醫(yī)學(xué)影像分析：典型流程Organ Lesion

/Segmentation AbnormalitySegmentationFeatureExtraction器組織官器分官分割割 病病灶灶分分割割 特特征征提提取取分類特征/分回類歸統(tǒng)臨床計(jì)決策分支析持入組病人30研究類型：前瞻性、回溯性？多中心？AI影像分析最好進(jìn)行多中心研究入組條件：腫瘤級(jí)別？年齡？TNM？亞型？影像？選擇不當(dāng)會(huì)導(dǎo)致文章直接悲劇病例數(shù)目：劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集？類別均衡性？劃分不當(dāng)會(huì)導(dǎo)致AI模型訓(xùn)練困難MRI預(yù)處理灰度標(biāo)化配準(zhǔn)去偏移場(chǎng)去骨標(biāo)準(zhǔn)化前的灰度直方圖31標(biāo)準(zhǔn)化后的灰度直方圖病灶分割手工分割：不同醫(yī)生分割結(jié)果之間的差異，導(dǎo)致可重復(fù)性問題需要做特征的可重復(fù)性測(cè)試自動(dòng)分割：需要給出分割的精度，在benchmark數(shù)據(jù)集評(píng)估自動(dòng)分割結(jié)果需要逐個(gè)核對(duì)32影像組學(xué)：特征提取特征提取過程中涉及到的參數(shù)：像素大小、量化方法、灰度等級(jí)33影像組學(xué)：特征選擇+分類器特征選擇：減少特征數(shù)量，防止過擬合，增加可解釋性特征選擇算法：特征選擇算法的選取要兼顧性能和可解釋性特征選擇數(shù)量：數(shù)量適中，兼顧模型復(fù)雜度和模型可解釋性模型選擇：隨機(jī)森林，支持向量機(jī)，邏輯回歸，Cox，LASSO34深度學(xué)習(xí)：網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練方法測(cè)試集表現(xiàn)良好?訓(xùn)練集表現(xiàn)良好？YESYESLoss/深度/預(yù)處理/超參數(shù)…重新定義網(wǎng)絡(luò)結(jié)構(gòu)Early

Stopping/驗(yàn)證集正則化DropoutNo35No深度學(xué)習(xí)：如何調(diào)參？NVidiaGPUis

allyou

needTalkischeap,show

methe

$$$VGG(2014)GoogleNet(2014)3.57%Residual

Net(2015)16.4%AlexNet(2012)7.3%6.7%36MRI智能分析模型訓(xùn)練與測(cè)試流程臨床數(shù)據(jù)1訓(xùn)練 獨(dú)立測(cè)試智能模型……影像數(shù)據(jù)影像數(shù)據(jù)標(biāo)準(zhǔn)化腫瘤區(qū)域分割特征工程/深度學(xué)習(xí)機(jī)器學(xué)習(xí)模型構(gòu)建臨床數(shù)據(jù)2臨床數(shù)據(jù)3……性能測(cè)試主要內(nèi)

容38背景知

識(shí)研究方

法臨床應(yīng)

用應(yīng)用1：MRI影像組學(xué)生存分析術(shù)前磁共振影像預(yù)測(cè)腦膠質(zhì)瘤病人總生存期臨床問題磁共振影像組學(xué)特征是否可以預(yù)測(cè)膠母瘤病人總生存期？是否具有預(yù)后價(jià)值？科學(xué)假設(shè)現(xiàn)有不足采用醫(yī)生判讀的少量影像學(xué)定性特征，精度和可重復(fù)性有限建立術(shù)前磁共振影像組學(xué)生存期預(yù)測(cè)模型，評(píng)估模型的獨(dú)立性、準(zhǔn)確性和臨床價(jià)值39研究目標(biāo)影像組學(xué)生存分析：腦腫瘤分割3D

U-NetVAE

正則化多任務(wù)網(wǎng)絡(luò)DICE

LOSS+KL

LOSS+L240自研影像組學(xué)軟件：Ultimage

Lab41影像組學(xué)特征提取灰度特征形狀特征紋理特征提取參數(shù)中間結(jié)果42影像組學(xué)特征選擇去冗余度LASSOBoruta特征合并43影像組學(xué)分類模型訓(xùn)練隨機(jī)森林SVM邏輯回歸ANN44影像組學(xué)分類模型測(cè)試測(cè)試選型性能指標(biāo)45總生存期預(yù)測(cè)結(jié)果訓(xùn)練集KM生存曲線46驗(yàn)證集KM生存曲線Molecular-ClinicalNomogramRad-Mol-ClinicalNomogramCalibrationCurveCalibrationCurve47Radiomics-Molecular-Clinical

NomogramMultilayer

Nomogram:

提升預(yù)后性能ModelsBrier

ScoreC-IndexIDIAUC12monthsSingle

layerClinical0.1350.62-0.705Molecular(IDH1+MGMT+1p19q)0.1200.710.0840.756Radiomics0.1310.700.0360.720Deep

Learning0.1250.730.0650.769Two

layerClinical+Molecular0.1190.730.0900.765Clinical+Radiomics0.1120.750.1080.771Molecular+Radiomics0.1050.790.1100.805MultilayerRadiomics+Molecular+Clinical0.0950.810.1190.82548K-MCurvefor

MultilayermodelDecisionCurve應(yīng)用2：MRI深度學(xué)習(xí)生存分析術(shù)前磁共振影像預(yù)測(cè)腦膠質(zhì)瘤病人總生存期臨床問題磁共振深度學(xué)習(xí)是否可以預(yù)測(cè)膠母瘤病人總生存期？是否優(yōu)于影像組學(xué)？科學(xué)假設(shè)現(xiàn)有不足影像組學(xué)需要手工設(shè)計(jì)并調(diào)試特征工程建立術(shù)前磁共振深度學(xué)習(xí)生存期預(yù)測(cè)模型，與影像組學(xué)模型進(jìn)行性能對(duì)比49研究目標(biāo)DeepAttentionSurvival

Model3D

Resnet金字塔注意力機(jī)制數(shù)據(jù)預(yù)處理-log最大似然LOSS+L250DeepAttentionSurvival

ModelAttentionMapPredictionPerformance51MGMT啟動(dòng)子甲基化是重要分子標(biāo)志物NEnglJMed,

2005;352NatureReviewsDP,vol1,

2015重要的預(yù)測(cè)和預(yù)后分子標(biāo)志物52應(yīng)用3：MRI智能分析預(yù)測(cè)MGMT啟動(dòng)子甲基化依靠術(shù)前MRI影像無創(chuàng)檢測(cè)腦膠質(zhì)瘤MGMT啟動(dòng)子甲基化臨床問題磁共振智能分析是否可以預(yù)測(cè)膠母瘤MGMT甲基化？如何進(jìn)行解釋？科學(xué)假設(shè)現(xiàn)有不足術(shù)中取組織，做分子病理檢測(cè)建立術(shù)前磁共振MGMT甲基化人工智能預(yù)測(cè)模型，嘗試進(jìn)行解釋53研究目標(biāo)特征選擇方法對(duì)于Radiomics的影響Thenbestfeaturesarenotthebestnfe