大模型在醫(yī)療AI中的應(yīng)用

Foundationmodelsforgeneralistmedicalartificialintelligence匯報(bào)人：目錄1324背景介紹5GMAI的發(fā)展與挑戰(zhàn)通用模型在醫(yī)療AI中的可能性GMAI的6個(gè)應(yīng)用案例總結(jié)1.背景介紹Foundationmodels大模型：預(yù)訓(xùn)練大模型+下游任務(wù)微調(diào)多模態(tài)數(shù)據(jù)適配多種下游任務(wù)FoundationmodelsinMedicalAI任務(wù)應(yīng)該可以用非醫(yī)學(xué)專業(yè)的語言描述，并且模型需要有能力解決未曾訓(xùn)練過的任務(wù)GMAI能夠接受不同類型的輸入數(shù)據(jù)，并且輸出不同類型的輸出數(shù)據(jù)GMAI能夠使用正確、規(guī)范的醫(yī)學(xué)專業(yè)的知識，對于沒接觸過得任務(wù)也可以通過準(zhǔn)確的醫(yī)學(xué)領(lǐng)域知識進(jìn)行解釋GMAI2.醫(yī)學(xué)通用模型

的可能性ThepotentialofgeneralistmodelsinmedicalAIFlexibleinteraction目前AI模型只能解決被限定了的問題，比如一種模型可能只能指定一種疾病圖片的輸入，并且只能處理這一種疾病。GMAI可以接受來自用戶的簡單提問，來減少模型內(nèi)部不同任務(wù)模塊對問題的理解和交互。ThepotentialofgeneralistmodelsinmedicalAIDynamictaskspecificationGMAI可以解決用戶提出的任何沒有預(yù)訓(xùn)練過的任務(wù)。當(dāng)出現(xiàn)新任務(wù)時(shí)，可以通過提示對模型進(jìn)行訓(xùn)練。ThepotentialofgeneralistmodelsinmedicalAIMultimodalinputsandoutputs目前AI模型一般只能處理特定形式的數(shù)據(jù)，并且無法將不同的數(shù)據(jù)進(jìn)行結(jié)合。GMAI允許用戶在他們的問題中使用復(fù)雜的醫(yī)學(xué)信息，并且任意結(jié)合信息的輸入形式。ThepotentialofgeneralistmodelsinmedicalAIMedicaldomainknowledge現(xiàn)有的模型大部分都是依賴輸入數(shù)據(jù)的特征和預(yù)測目標(biāo)之間的統(tǒng)計(jì)關(guān)聯(lián)。GMAI可以通過規(guī)范化的醫(yī)學(xué)知識介入，來解決現(xiàn)有模型無法結(jié)合醫(yī)學(xué)概念與臨床發(fā)現(xiàn)的問題。3.GMAI的6個(gè)應(yīng)用案例Bedsidedecisionsupport新一代臨床預(yù)警系統(tǒng)多模式輸入數(shù)據(jù)總結(jié)、預(yù)測患者狀態(tài)醫(yī)學(xué)領(lǐng)域背景知識Bedsidedecisionsupport??警告：這名患者即將休克！她的血液循環(huán)在過去15分鐘內(nèi)不穩(wěn)定：<貼了這15分鐘的數(shù)據(jù)>。建議下一步行動(dòng)：<附了一張行動(dòng)清單>。Bedsidedecisionsupport可以將電子病歷的數(shù)據(jù)與最終患者結(jié)果配對，這些數(shù)據(jù)可以從出院報(bào)告和ICD代碼中收集。GMAI必須能夠比較潛在的治療方法并估計(jì)其效果，同時(shí)遵守治療指南和其它相關(guān)政策。GMAI可以通過臨床知識圖譜和文本數(shù)據(jù)，如學(xué)術(shù)出版物、教育教科書、國際指南和地方政策，獲得必要的醫(yī)學(xué)領(lǐng)域知識。Groundedradiologyreports新一代數(shù)字放射助理起草放射學(xué)報(bào)告描述異常和相關(guān)

的正常發(fā)現(xiàn)考慮患者病史交互式可視化Groundedradiologyreports解釋各種放射學(xué)模式，并能夠注意到細(xì)微的異常結(jié)合患者病史：適應(yīng)癥、實(shí)驗(yàn)室結(jié)果、其他圖像報(bào)告與醫(yī)生多種模式交互，如文本和動(dòng)態(tài)注釋的圖像自監(jiān)督學(xué)習(xí)的方法，減少數(shù)據(jù)標(biāo)注Augmentaedprocedures輔助醫(yī)生臨床手術(shù)執(zhí)行可視化任務(wù)提供手術(shù)過程中

預(yù)警信息新一代手術(shù)助理Augmentaedprocedures文字、音頻、視覺模式相結(jié)合與現(xiàn)有工作結(jié)合，結(jié)合語言模型與知識圖表，逐步推理外科任務(wù)基于醫(yī)學(xué)領(lǐng)域知識的推理能力至關(guān)重要應(yīng)用于外科手術(shù)場景可能面臨諸多挑戰(zhàn)Interactivenote-takingGMAI可以起草診療文檔，供醫(yī)生審查、編輯、確認(rèn)，減少醫(yī)生大量的工作與現(xiàn)有的語言模型結(jié)合，使用專業(yè)的醫(yī)療應(yīng)用背景能夠?qū)⒄Z音數(shù)據(jù)與電子病歷當(dāng)中的內(nèi)容相結(jié)合記錄文檔是臨床中不可或缺，且勞動(dòng)密集型的工作Chatbotsforpatients可以通過多種模式構(gòu)建用戶的整體視圖解釋這些異構(gòu)的數(shù)據(jù)之后，GMAI可以與用戶進(jìn)行溝通，提供詳細(xì)的建議減少醫(yī)生的人工干預(yù)臨床之外的環(huán)境中缺乏高質(zhì)量的陪護(hù)Text-to-proteingenerationGMAI可以根據(jù)文本提示生成蛋白質(zhì)氨基酸序列及其三維結(jié)構(gòu)通過解鎖上下文學(xué)習(xí)能力，可以用與序列配對的少數(shù)示例指令來提示基于GMAI的文本到蛋白質(zhì)模型，以動(dòng)態(tài)地定義新的生成任務(wù)例：生成與特定靶標(biāo)高親和力且同時(shí)滿足其他特定條件的蛋白質(zhì)4.GMAI的發(fā)展與挑戰(zhàn)ParadigmshiftswithGMAI可控性：允許用戶對模型輸出進(jìn)行個(gè)性化定制適應(yīng)性：能夠適應(yīng)數(shù)據(jù)分布的變化適用性：能夠結(jié)合下游任務(wù)APPChallengesofGMAI驗(yàn)證：GMAI的多功能性難以驗(yàn)證確認(rèn)：GMAI的多模式輸入，使得結(jié)果難以確認(rèn)社會偏見：對于少數(shù)群體會存在偏見隱私：GMAI模型的開發(fā)和使用對患者隱私構(gòu)成了嚴(yán)重風(fēng)險(xiǎn)規(guī)模：GMAI推高了與數(shù)據(jù)收集和模型訓(xùn)練相關(guān)的成本5.總結(jié)ConclusionGMAI將可解析多種數(shù)據(jù)模式，動(dòng)態(tài)學(xué)習(xí)新任務(wù)，并利用醫(yī)學(xué)領(lǐng)域知識，為各種