人工智能大模型在醫(yī)療價(jià)值鏈上的應(yīng)用場(chǎng)景和實(shí)踐

SSEMENS。Halth'nrs","人工智能大模型在醫(yī)療價(jià)值鏈上的應(yīng)用場(chǎng)景和實(shí)踐2024/11/19AI大模型概覽SEMENS····Halth·nrs"."01大語(yǔ)言模型(LLM)02視覺(jué)大模型(VLM)03語(yǔ)言視覺(jué)大模型（VLLM）04多模態(tài)大模型(Diffusion-related)05展望大語(yǔ)言模型&AYuboJiLLM的發(fā)展之路SEMENS····Halth·nrs"."里程碑里程碑國(guó)外語(yǔ)言大模型國(guó)產(chǎn)語(yǔ)言大模型國(guó)外語(yǔ)言大模型 開(kāi)源閉源混合 開(kāi)源閉源混合僅開(kāi)源僅閉源開(kāi)源閉源混合僅開(kāi)源僅閉源8*22BGemmaLLM在醫(yī)療領(lǐng)域的使用場(chǎng)景面向患者面向患者患者助手患者助手預(yù)診斷常見(jiàn)疾病預(yù)診斷常見(jiàn)疾病癥狀評(píng)估就醫(yī)指引就診服務(wù)實(shí)驗(yàn)室結(jié)果解讀用藥咨詢(xún)與指導(dǎo)洞悉藥物相互作用智能預(yù)問(wèn)診智能導(dǎo)診/導(dǎo)醫(yī)疾病描述健康生活智慧管家健康風(fēng)險(xiǎn)預(yù)測(cè)面向醫(yī)生面向醫(yī)生lJ醫(yī)生助手lJ臨床文檔生成臨床文檔生成輔助診斷術(shù)語(yǔ)歸一化智能隨訪智能隨訪輔助生成輔助生成檢查建議和計(jì)劃相似病例查詢(xún)相似病例查詢(xún)輔助生成輔助生成治療建議和計(jì)劃SEMENS····Halth·nrs"."面向科研科研轉(zhuǎn)化助手醫(yī)學(xué)文獻(xiàn)醫(yī)學(xué)文獻(xiàn)/指南解讀科研方向預(yù)測(cè)報(bào)告匿名化/結(jié)構(gòu)化代碼輔助生成臨床科普文生成賦能臨床試驗(yàn)5純文本大模型在醫(yī)療中的產(chǎn)品Microsoft+Nuance三星healthGPTHARMANHippocraticAICorti大醫(yī)（商湯）上海人工智能實(shí)驗(yàn)室OpenMEDLab浦醫(yī)百度文心–ErnieHealth科大訊飛-星火大模型ComputedTomography6西門(mén)子醫(yī)療LLM實(shí)例1–自然語(yǔ)言報(bào)告結(jié)構(gòu)化報(bào)告SEMENS····Halth·nrs"."在右側(cè)髂窩內(nèi)，盲腸的后內(nèi)側(cè)可見(jiàn)擴(kuò)張?jiān)谟覀?cè)髂窩內(nèi)，盲腸的后內(nèi)側(cè)可見(jiàn)擴(kuò)張的厚壁闌尾（最大直徑13毫米；長(zhǎng)度7西門(mén)子醫(yī)療LLM實(shí)例2–自動(dòng)掃描協(xié)議生成->質(zhì)控/提速SEMENS····Halth·nrs"."8視覺(jué)大模型VLM&AYuboJiSEMENS····HSEMENS····Halth·nrs"."ProveVITarchitecturecanperformwellinDensePredictiontasksMAE(MaskedAutoencoders)視覺(jué)大模型技術(shù)路線ImageNetResNetUNetYOLO…MOCOViTSwinTransformerMAEComparedComparedwithCNN,VITVITisamoreuniversalarchitecture西門(mén)子醫(yī)療銳眼科研平臺(tái)SEMENS····Halth·西門(mén)子醫(yī)療銳眼科研平臺(tái)SEMENS····Halth·nrs"."Detectionandquantificationofvolumetricchangesinthebrainformorphometryanalysis/腦區(qū)體積形態(tài)學(xué)分析及腦白質(zhì)高信?ShoulderMR?ChestCTRibFractureDetectionDetectionandprovidelocationofribfractures/基于CT的肋骨骨折檢出及定位?ChestX-rayLocalizationandcharacterizationoffindingsonuprightchestposterioranteriorimages/基于X-ray的胸部疾病（占位性病變、?ChestX-rayBoneFractureDetectionHighlightvisibleribandclaviclefractures/基于X-ra?ChestX-rayLines&TubesAutomatedsegmentatHigh-qualitycontouringoftargoMRAneurysmAutomaticdetectionofpotentialaneurysm/動(dòng)脈瘤自動(dòng)化檢出oCTPulmonaryEmbolismAutomateddetectionofthemassfillingdefectsonCTPAimages/肺栓塞自動(dòng)檢出及定位AutomatedassessmentandsegmentationoffocalliverlesionsonCTandMRimages/肝段分割及體積分析、原發(fā)性肝臟病灶… ShoulderMR ChestCT ChestXray.--------MR/CTLiver ProstateMR .--------.--------ChestXray-Line/TubeChestXray-FracturesMRAneurysmChestCTRib……SEMENS····SEMENS····Halth·nrs"."SAM-Med2D(FinetunedSAMin4.6Mmedical--一一"醫(yī)學(xué)影像分析圖譜病理大模型/pdf/2309.07778.pdf眼科大模型https://www.researchgate.blication/373901629_A_foundation_model_for_generalizable_disease_detection_from_retinal_images內(nèi)窺鏡大模型/pdf/2306.16741.pdf超聲大模型UltrasoundFoundationModellingandItsClinicalApplications2D/3DRadFMTowardsGeneralistFoundationModelforRadiologybyLeveragingWeb-scale2D&3DMedicalData西門(mén)子VLM實(shí)例->基于掩膜的自監(jiān)督影像大模型->加速模型開(kāi)發(fā)數(shù)據(jù)集：內(nèi)部+公共混合數(shù)據(jù)集數(shù)據(jù)集名稱(chēng)模態(tài)Case數(shù)量描述CAS2023…Sum*****VLM->掩膜恢復(fù)結(jié)果->提取優(yōu)秀特征neo:輸入圖像掩膜圖像恢復(fù)圖像輸入圖像掩膜圖像恢復(fù)圖像VLM---對(duì)比實(shí)驗(yàn)結(jié)果SEMENS····Halth·nrs"."WithoutPre-trainWithPre-trainComparison200data50dataFewerdataneededDataFewerdataneededDataUsed:Annotationtime:16hours4hoursManuallabelinglaborreducedTrainingepochs:4500iterations2200iterationsEnergycostsavedPerformance:Dice=0.899Dice=0.931PerformanceImproved<AdvancedDiagnose&Therapy>純影像大模型在醫(yī)療領(lǐng)域的使用場(chǎng)景SEMENS····Halth·nrs"."基于掩膜自監(jiān)督方法快速迭代下游任務(wù)基于大模型的密集預(yù)測(cè)任務(wù)病理/影像診斷大模型影像數(shù)據(jù)質(zhì)量評(píng)估相似影像檢索視覺(jué)語(yǔ)言大模型VLLM1&AYuboJiVLLM的發(fā)展之路SEMENS····Halth·nrs"."視覺(jué)語(yǔ)言大模型技術(shù)路線TransformerVITCLIP單塔視覺(jué)語(yǔ)言大模型雙塔視覺(jué)語(yǔ)言大模型e.g.Flamingo,MiniGPT,VLBert，BLIP2…e.g.CLIP，ViLBert,LXMBert,BLIP…ComputedTomographySEMENS····Halth·Halth·nrs"."多尺度信息醫(yī)學(xué)圖像解讀需重視多尺度特征，局部特征對(duì)診斷影響顯著數(shù)據(jù)稀缺開(kāi)源的醫(yī)學(xué)圖像數(shù)據(jù)集規(guī)模較小，會(huì)限制影像語(yǔ)言大模型在該領(lǐng)域知識(shí)專(zhuān)業(yè)密集專(zhuān)業(yè)知識(shí)需求高，臨床概念層級(jí)復(fù)雜，缺乏深入理解可能影響性能SEMENS·SEMENS····Halth·nrs"."GLoRIA/Shih-ChengHuang,MedCLIP:ContrastiveLearningfromUnpairedMedicalImagesandText/ZifengWangMedKLIP:MedicalKnowledgeEnhancedLanguage-ImageSEMENS····HalthSEMENS····Halth·nrs"."注入醫(yī)學(xué)領(lǐng)域知識(shí)高級(jí)推理推理鏈提示內(nèi)在能力Selftraining+網(wǎng)絡(luò)搜索多模態(tài)理解微調(diào)+定制編碼器長(zhǎng)文本處理D&AYuboJi21VLLM在醫(yī)療領(lǐng)域的使用場(chǎng)景SEMENS····Halth·nrs"."面向患者面向醫(yī)生面向科研面向患者面向醫(yī)生科研與教育患者助手醫(yī)生助手（診斷+科研與教育患者助手醫(yī)生助手（診斷+手術(shù)）llJ智能預(yù)問(wèn)診和常見(jiàn)疾病預(yù)診斷圖文醫(yī)療文獻(xiàn)智能預(yù)問(wèn)診和常見(jiàn)疾病預(yù)診斷圖文醫(yī)療文獻(xiàn)解讀與挖掘多模態(tài)影像報(bào)告解讀和生成患者健康監(jiān)測(cè)：結(jié)合可穿戴設(shè)備數(shù)據(jù)患者健康監(jiān)測(cè)：結(jié)合可穿戴設(shè)備數(shù)據(jù)結(jié)合患者醫(yī)療影像和歷史健康記錄輔助制定個(gè)性化治療方案AIGC(DiffusionModel)2&AYuboJiGANFlow-basedVAEDiffusionGANFlow-basedVAEDiffusionSEMENS····Halth·nrs"."Diffusion模型技術(shù)路線DDPM(2020)DiffusionModel(2021)StableDiffusion(2022)DiffusionTransformer(2022)文(圖)生圖Midjourney文(文(圖)生圖MidjourneyRunwayMLAIStability|StableAIStability|StableDiffusionSynthesia國(guó)外Diffusion模型Synthesia文(圖)生視頻文(圖)生圖文(圖)生視頻商湯|秒畫(huà)騰訊|混元助手百度|文心一格阿里|通義萬(wàn)象智譜清言|AI畫(huà)圖科大訊飛科大訊飛|星火繪畫(huà)大師國(guó)內(nèi)Diffusion模型SEMENS····HalthHalth·nrs"."跨膜態(tài)生成跨模態(tài)生成（MR-偽CT，低場(chǎng)MR-高場(chǎng)MR…)醫(yī)學(xué)影像去噪/去偽影患者報(bào)告解釋(laymantranslation)通過(guò)渲染的視頻，幫助患者更好地了解他ComputedTomography25Diffusion技術(shù)在西門(mén)子醫(yī)療的應(yīng)用：以文生視頻SEMENS····Halth·nrs"."微調(diào)SHS語(yǔ)言模型進(jìn)行報(bào)告摘要BodyGPS-自動(dòng)識(shí)別并展示報(bào)告中的檢查結(jié)果基于報(bào)告，生成展示和解釋檢查結(jié)果的解剖學(xué)信息的視頻。Radiologyreport2&AYuboJi AI大模型賦能醫(yī)療影像價(jià)值鏈---醫(yī)療服務(wù)全流程BeforegotothehospitalResultSmartBeforegotothehospitalResultSmartreport&DiagnosisPost-processingConsultationExaminationscommunication輔助制定個(gè)性化治療方案智能隨訪出院小結(jié)生成健康生活智慧管家用藥咨詢(xún)與指導(dǎo),洞悉藥物相互作用報(bào)告規(guī)范化輔助制定個(gè)性化治療方案智能隨訪出院小結(jié)生成健康生活智慧管家用藥咨詢(xún)與指導(dǎo),洞悉藥物相互作用報(bào)告規(guī)范化術(shù)語(yǔ)歸一化智能預(yù)問(wèn)診智能導(dǎo)診健康風(fēng)險(xiǎn)預(yù)測(cè)就醫(yī)指引就醫(yī)服務(wù)自動(dòng)記錄和總結(jié)醫(yī)患對(duì)話醫(yī)學(xué)影像去噪去偽影交互式后處理如分割檢測(cè)…輔助生成檢查建議和計(jì)劃影像數(shù)據(jù)質(zhì)量評(píng)估影像報(bào)告自動(dòng)生成影像