人工智能在皮膚科的應(yīng)用與思考

1、人工智能在皮膚科的應(yīng)用與思考推進(jìn)互聯(lián)網(wǎng)+ 智慧醫(yī)療人工智能成為研究熱點(diǎn)2017年2月Nature發(fā)表斯坦福大學(xué)深度學(xué)習(xí)對(duì)皮膚癌分類達(dá)皮膚科醫(yī)師水平34AI“來勢(shì)洶洶”5皮膚是人體最淺表和復(fù)雜的器官皮膚疾病 2000種6皮膚疾病包括腫瘤色素異常性疾病損容性疾病炎癥性、感染性疾病遺傳性疾病，等等7皮膚病診斷臨床表現(xiàn)皮膚鏡高頻超聲組織病理免疫熒光血清學(xué)檢查天皰瘡8治療藥物光化學(xué)療法, PUVA光動(dòng)力, PDT激光化學(xué)剝脫手術(shù)等等8九分類任務(wù)：0.皮膚淋巴瘤和皮膚浸潤(rùn)性疾病1.真皮良性腫瘤、囊腫2.真皮惡性腫瘤3.表皮良性腫瘤4.表皮惡性腫瘤和癌前期病變?nèi)诸惾蝿?wù)：0.良性腫瘤1.惡性腫瘤2.非腫瘤5

2、.遺傳性皮膚病6.炎癥性皮膚病7.良性黑素細(xì)胞性腫瘤8.惡性黑素細(xì)胞性腫瘤結(jié)果一：三分類和九分類任務(wù)模型 VS. 兩位皮膚科醫(yī)師9結(jié)果二：良惡性二分類任務(wù)模型 VS. 皮膚科醫(yī)師1.角質(zhì)形成細(xì)胞腫瘤：65張惡性腫瘤70張良性腫瘤；2.黑素細(xì)胞來源腫瘤：臨床照片：65張惡黑和70張良性痣皮膚鏡圖片：71張惡黑和40張良性痣10數(shù)據(jù)量大：13萬(wàn)張圖片深度學(xué)習(xí)實(shí)現(xiàn)多分類結(jié)果與醫(yī)生進(jìn)行比較亮點(diǎn)11本課題組人工智能研究PART112-北京協(xié)和醫(yī)院皮膚科門診每年3040萬(wàn)患者-僅有30位醫(yī)生13在國(guó)內(nèi)較早開展皮膚影像工作14率先成立皮膚影像診斷中心皮膚鏡皮膚高頻超聲 皮膚多普勒超聲16服務(wù)器17協(xié)和皮膚影

3、像資源庫(kù)20余年的積累30余萬(wàn)張高質(zhì)量圖片臨床圖片皮膚鏡皮膚超聲皮膚病理182016年開始進(jìn)行AI研發(fā)工作合作團(tuán)隊(duì): 北京航空航天大學(xué) 謝鳳英教授 課題組。北大醫(yī)療：課題組。 美國(guó)德州大學(xué)休斯頓生物醫(yī)學(xué)信息學(xué)院 陶萃教授 課題組典型色素痣和SK皮膚鏡圖像示例18CNN自動(dòng)分類模型示意圖構(gòu)建 CNN 二分類模型：使用3015幅色素痣和2079幅SK的皮膚鏡圖像對(duì) ResNet-50采用遷移學(xué)習(xí)進(jìn)行訓(xùn)練得到模型：將一個(gè)待分類皮損圖像輸入到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，即可預(yù)測(cè)出皮損類別模型整體部分各部分細(xì)節(jié)及參數(shù)19212017協(xié)和皮膚影像診斷學(xué)習(xí)班人工智能與100余位皮膚科醫(yī)師對(duì)決AI準(zhǔn)確率 88.33

4、%皮膚科醫(yī)師總準(zhǔn)確率 84.47%皮膚科醫(yī)師錯(cuò)誤診斷率排名前10(誤診 率為 32.6%71.6%)圖像：2例為SK錯(cuò)誤診斷為色素痣其余8例為色素痣錯(cuò)誤診斷為SK錯(cuò)誤分類圖像分析CNN 錯(cuò)誤分類圖像：7例均為 SK 錯(cuò)誤分類為色素痣CNN錯(cuò)誤分類圖像被分為三類第一類:特殊類型第二類:具有典型特征，但存在干擾因素，如毛發(fā)的干擾、光線、角度等使特征不易識(shí)別第三類:具有典型特征，22尚找不到錯(cuò)誤分類原因2018年7月發(fā)表于中華皮膚科雜志22真 實(shí) 標(biāo) 簽預(yù)測(cè)標(biāo)簽0:色素痣1:SK2:銀屑病3:脂溢性皮炎4:濕疹5:BCC具體設(shè)計(jì)為：對(duì)改進(jìn)的ResNet-50采用遷移學(xué)習(xí)進(jìn)行訓(xùn)練，用得到的模型進(jìn)行分類

5、數(shù)據(jù)集：共使用6種常見疾病的皮膚鏡圖像11,566張6種常見疾病的分類混淆矩陣圖：色素痣為86%，而BCC的準(zhǔn)確率僅為38%多分類人工智能模型23合作單位：北京航空航天大學(xué)宇航學(xué)院圖像中心投稿于2017 IEEEInternationalConference on Imaging Systems and Techniques (IST)，已發(fā)表24投稿于BIBM SEPDA 2017，已發(fā)表The IEEE BIBM 2017會(huì)議發(fā)言25AI關(guān)鍵技術(shù)-模型可視化顯著圖1.點(diǎn)越黑代表對(duì)結(jié)果的影響越大2.皮損與像素點(diǎn)關(guān)聯(lián)性很大遮擋試驗(yàn)直觀評(píng)價(jià)AI診斷的可靠性：是否位于病變部位還有，熱點(diǎn)圖、t分布隨

6、機(jī)鄰域嵌入 （ t-distributed Stochastic Neighbor Embedding ，t-SNE）等26網(wǎng)絡(luò)感興趣區(qū)域可視化結(jié)果-熱點(diǎn)圖(a) Heatmap(b) 原圖深度學(xué)習(xí)到底在關(guān)注皮損的哪 一部分區(qū)域？根據(jù)學(xué)習(xí)得到的網(wǎng)絡(luò)參數(shù)求算 出heatmap，結(jié)果：大部分 圖像關(guān)注的區(qū)域是皮損區(qū)域最有趣的一點(diǎn)是，只提供了類別信息，沒有顯式的給網(wǎng)絡(luò)提 供區(qū)域信息，但網(wǎng)絡(luò)卻從樣本中自發(fā)習(xí)得了這部分信息27把heatmap圖和原圖疊加后的結(jié)果網(wǎng)絡(luò)感興趣的區(qū)域大部分是應(yīng)該感興趣 的區(qū)域，即便有時(shí)有毛發(fā)的干擾部分圖像關(guān)注區(qū)域不正確。當(dāng)網(wǎng)絡(luò)關(guān)注 區(qū)域比較準(zhǔn)的時(shí)候，分類正確率也比較 高；當(dāng)網(wǎng)

7、絡(luò)關(guān)注區(qū)域不太準(zhǔn)的時(shí)候，正 確率相對(duì)低28皮膚病AI成為非?；钴S的領(lǐng)域PART230基底細(xì)胞癌鱗狀細(xì)胞癌表皮內(nèi)癌光化性角化病脂溢性角化病惡性黑色素瘤黑素細(xì)胞痣雀斑樣痣化膿性肉芽腫血管瘤皮膚纖維瘤疣國(guó)際論文一：使用深度學(xué)習(xí)算法對(duì)良惡性腫瘤的臨床圖像的Han S S, Kim M S, Lim W, et al. Classification of the clinical images for benign and malignant cutaneous tumors using a deep learning algorithm.J. Journal of InvestigativeDerma

8、tology, 2018.分類研究（ Journal of Investigative Dermatology ，2018）研究包括12種疾?。?131使用19,398 張訓(xùn)練集圖像對(duì)卷積神經(jīng)網(wǎng)絡(luò)（ ResNet-152 模型）進(jìn)行微調(diào)訓(xùn)練Han S S, Kim M S, Lim W, et al. Classification of the clinical images for benign and malignant cutaneous tumors using a deep learningalgorithm.J. Journal of Investigative Dermatolo

9、gy, 2018.為了提高模型的特異性，使 用其他248種疾病的 159477張的圖像為了取得種族平衡：加入了3820幅白種人的圖像集32使用 Asan、Hallym 和 Edinburgh 三組數(shù)據(jù)集的測(cè)試集圖像驗(yàn)證訓(xùn) 練后的模型Asan 數(shù)據(jù)集：基底細(xì)胞癌、鱗狀細(xì)胞癌、表皮內(nèi)癌、黑色素瘤診 斷的曲線下面積（AUC）分別是 0.96 0.01、0.83 0.01、 0.82 0.02、0.96 0.00Edinburgh 數(shù)據(jù)集：四種疾病的曲線下面積分別是 0.90 0.01、0.91 0.01、0.83 0.01、0.88 0.01Hallym 數(shù)據(jù)集：基底細(xì)胞癌診斷的敏感度是 87.1%

10、 6.0%Han S S, Kim M S, Lim W, et al. Classification of the clinical images for benign and malignant cutaneous tumors using a deep learning algorithm.J. Journal of33Investigative Dermatology, 2018.CNN可與皮膚科醫(yī)師相媲美使用經(jīng)過病理驗(yàn)證的圖像測(cè)試算法性能圖像數(shù)目：惡性腫瘤25張類，良性腫瘤20張類16 位皮膚科醫(yī)生相比（10位專家，6位工作十年以上的皮膚科醫(yī)師）Han S S, Kim M S, L

11、im W, et al. Classification of the clinical images for benign and malignant cutaneous tumors using a deep learning algorithm.J. Journal o3f4Investigative Dermatology, 2018.非商業(yè)公開臨床圖片資料庫(kù)Medi- calPhoto ()Han S S, Kim M S, Lim W, et al. Classification of the clinical images for benign and malignant cuta

12、neous tumors using a deep learning algorithm.J.Journal of Investigative Dermatology, 2018.35國(guó)際論文二：在甲真菌病的診斷方面，深度神經(jīng)網(wǎng)絡(luò)的表現(xiàn)與皮 膚科醫(yī)師相當(dāng)甚至超過皮膚科醫(yī)師水平：使用基于區(qū)域的深度卷 積神經(jīng)網(wǎng)絡(luò)（R-CNN）自動(dòng)分割圖像，構(gòu)建甲真菌病數(shù)據(jù)集（ Plos One, 2018）Han S S, Park G H, Lim W, et al. Deep neural networks show an equivalent and often superior performance t

13、o dermatologists in onychomycosis diagnosis: Automatic construction of onychomycosis datasets by region-based convolutional deep neural networkJ. Plos One, 2018, 13(1):e0191493.3636使用R-CNN對(duì)圖像進(jìn)行自動(dòng)識(shí)別和分割CNN選擇手足部位CNN甲板特征發(fā)掘CNN精細(xì)圖像選擇：去掉不完全準(zhǔn)確的圖像37A：準(zhǔn)確圖像：甲板占圖像的50-80%B:不完全準(zhǔn)確圖像：甲占據(jù)空間太小或太大不利于觀 察周圍皮膚，僅包含部分甲、 有異

14、物、含兩個(gè)以上甲C：錯(cuò)誤圖片：與甲形狀相 似，如牙齒、疣R-CNN圖像自動(dòng)選擇的標(biāo)準(zhǔn)38訓(xùn)練方法及測(cè)試結(jié)果模型測(cè)試結(jié)果四組數(shù)據(jù)集對(duì)模型進(jìn)行測(cè)試， 敏感性特異性AUC分別 為：B1：96.0 / 94.7 / 0.98B2：82.7 / 96.7 / 0.95C:92.3 / 79.3 / 0.93D:87.7 / 69.3 / 0.82訓(xùn)練方法使用得到的 49,567幅圖像 對(duì)ResNet-152 和VGG-19模型使用遷移學(xué) 習(xí)方法進(jìn)行微 調(diào)訓(xùn)練39CNN與42位皮膚科醫(yī)師對(duì)比研究B1和C組數(shù)據(jù)集：CNN診斷結(jié)果顯著優(yōu)于皮膚科醫(yī)師B1+C 組數(shù)據(jù)集：沒有一名皮膚科醫(yī)師優(yōu)于CNN圖A，B1組數(shù)

15、據(jù)集：50 張甲真菌病和50張甲營(yíng) 養(yǎng)不良圖B，C組數(shù)據(jù)集：57張甲真菌病和68張甲營(yíng)養(yǎng)不良圖C,B1+C組數(shù)據(jù) 集：107張甲真菌 病和118張甲營(yíng)養(yǎng) 不良40國(guó)際論文三：在皮膚腫瘤的診斷方面，基于深度學(xué)習(xí)的、使 用臨床圖像小數(shù)據(jù)集的計(jì)算機(jī)輔助分類表現(xiàn)超過專業(yè)皮膚科 醫(yī)師（ Br J Dermatol, 2018.6）Fujisawa Y, Otomo Y, Ogata Y, et al. Deep learning-based, computer-aided classifier developed with a small dataset of clinical images surpa

16、sses board-certified dermatologists in skin tumor diagnosis.J. Br J Dermatol.2018 Jun 14. doi: 10.1111/bjd.16826.4141實(shí)驗(yàn)設(shè)計(jì)數(shù)據(jù)集： 1842位患者的6009幅臨床圖像訓(xùn)練集：4867幅 ； 驗(yàn)證集和測(cè)試集： 1142 幅神經(jīng)網(wǎng)絡(luò)： GoogLeNet DCNN model architecture13位經(jīng)過資格認(rèn)證的皮膚科醫(yī)師和9位皮膚科實(shí)習(xí)醫(yī)師14種疾?。篗M, SCC, BD, AK, BCC, 痣細(xì)胞痣(NCN), 藍(lán)痣(BlueN), Spitz 痣, 皮脂腺痣(Se

17、bacN), 汗孔瘤（poroma）, SK, 斑痣（nevus spilus）, 單純性黑 子，先天性色痣(CongN)除了后三種疾病以外，均經(jīng)過病理驗(yàn)證Fujisawa Y, Otomo Y, Ogata Y, et al. Deep learning-based, computer-aided classifier developed with a small dataset of clinical images surpasses board-certified dermatologists in skin tumor diagnosis.J. Br J Dermatol.2018 J

18、un 14. doi: 10.1111/bjd.16826.4243CNN與皮膚科醫(yī)師對(duì)比診斷共分為4個(gè)級(jí)別DCNN與21位皮膚科醫(yī)師對(duì)比研究結(jié)果DCNN：總準(zhǔn)確率為76.5%， 敏感度（惡性診斷為惡性） 96.3%，特異度（良性診斷為良性） 89.5%皮膚科醫(yī)師：13位經(jīng)過資格認(rèn)證的皮膚 科醫(yī)師和9位皮膚科實(shí)習(xí)醫(yī)師的準(zhǔn)確率分 別為85.3% 3.7% 和74.4% 6.8%DCNN 準(zhǔn)確率：92.4% 2.1% (P .0001)1、具體到疾病名稱2、良惡性分類Fujisawa Y, Otomo Y, Ogata Y, et al. Deep learning-based, computer

19、-aided classifier developed with a small dataset of clinical images surpasses board-certified dermatologists in skin tumor diagnosis.J. Br J Dermatol.2018 Jun 14. doi: 10.1111/bjd.16826.44內(nèi)部特征可視化可視化方法：降維方法（dimensionality reduction method）顯示代表不同疾病的點(diǎn)在圖中的位置Fujisawa Y, Otomo Y, Ogata Y, et al. Deep lear

20、ning-based, computer-aided classifier developed with a small dataset of clinical images surpasses board-certified dermatologists in skin tumor diagnosis.J. Br J Dermatol. 2018 Jun 14. doi: 10.1111/bjd.16826.4446國(guó)際論文四：基于皮膚鏡圖像使用深度卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)肢端惡性黑色素瘤（ Plos One, 2018.3）Yu C, Yang S, Kim W, et al. Acral mel

21、anoma detection using a convolutional neural network for dermoscopy images.J. Plos One, 2018, 13(4):e0193321.45數(shù) 據(jù) 集 與 方 法724幅皮膚鏡圖像（350幅肢端惡黑、374幅肢端色素痣）均經(jīng)過病理診斷測(cè)試集：1/2，驗(yàn)證集：1/247）CNNnon-experts （2位）expert（2位Ture positive83.51%67.84%81.08%True negative80.23%62.71%81.64%結(jié)果與結(jié)論結(jié)論：CNN在肢端惡黑的檢測(cè)中達(dá)到了專家水平。48國(guó)際論文

22、五：深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)黑色素瘤皮膚鏡圖像的診斷表現(xiàn)與58位皮膚科醫(yī)師對(duì)比（ Annals of Oncology , 2018.3）H. A. Haenssle1, C. Fink, et al. Man against machine: diagnostic performance of a deep learning convolutional neural network for dermoscopic melanoma recognition in comparison to 58 dermatologists.J. Annals of Oncology ,0: 17, 2018 do

23、i:10.1093/annonc/mdy166.49數(shù) 據(jù) 集德國(guó)、美國(guó)和法國(guó)的研究人員使用10 萬(wàn)多幅惡性黑色素瘤300幅皮膚鏡圖像作為測(cè)試集臨床醫(yī)生診斷其中最難的100幅Level-I：58位皮膚科醫(yī)師根 據(jù)皮膚鏡圖像給出診斷和下一 步管理策略Level-II：4周后，根 據(jù)臨床信息結(jié)合皮膚 鏡圖像再次給出診斷 和下一步管理策略與CNN結(jié)果對(duì)比數(shù)據(jù)集與方法49結(jié)果sensitivit yspecificit ylevel-I86.6%71.3%level-II88.9%75.7%CNN注：CNN的結(jié)為在ROC 曲線82.5% ，取皮膚科醫(yī)師果上的敏感度86.6%和88.9%時(shí)，CNN的特異

24、度。CNN的得分結(jié)果接近the ISBI2016 challenge排名前三的算法CNN診斷的 ROC曲線圖50皮膚組織病理的自動(dòng)分類表皮提供大多數(shù)疾病的關(guān)鍵信息，通常為病理學(xué)家檢查皮膚組織的首檢區(qū)域，Lu等基于WSI以及CAD技術(shù)，實(shí)現(xiàn)表皮區(qū)域的自動(dòng)分割與分析，靈敏度、精確度分別達(dá)到97.99%、96%Xu等提出黑色素瘤WSI自動(dòng)分析與分類技術(shù)，經(jīng)66例皮膚WSI圖像證實(shí)，該方法達(dá)到95%以上的分類精度，表明該技術(shù)有望為病理學(xué)家提供黑色素瘤診斷的參考意見Zhang等基于多實(shí)例多標(biāo)記學(xué)習(xí)（multi-instance multilabel learning, MIML）的框 架，通過對(duì)病理醫(yī)師的診斷思維建模，實(shí)現(xiàn)皮膚病理圖像的自動(dòng)標(biāo)注51皮膚病治療Cazzaniga 等應(yīng)用神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)接受準(zhǔn)分子激光治愈白癜風(fēng)所需的治療次 數(shù)Khozeimeh等基于模糊規(guī)則算法（fuzzy rule-based）為尋常疣、跖疣選擇 最佳療法（免疫療法和冷凍療法），并預(yù)測(cè)治療效果而現(xiàn)有的醫(yī)療應(yīng)用中，Derma Compare利