基于多模態(tài)數(shù)據(jù)的醫(yī)療智能應(yīng)用探索

基于多模態(tài)數(shù)據(jù)的醫(yī)療智能應(yīng)用探索傅昊陽2023.05AI+政務(wù)數(shù)字孿生城市AI+物流醫(yī)療+人工智能應(yīng)用背景AI+政務(wù)數(shù)字孿生城市AI+物流AI+能源自動駕駛AI＋制造AI+金融隨著技術(shù)的發(fā)展，人工智能與多個領(lǐng)域得到應(yīng)用，如能源、醫(yī)療、制造業(yè)、金融業(yè)和商業(yè)等人工智能賦能產(chǎn)業(yè)發(fā)展已經(jīng)成為主流趨勢醫(yī)療+人工智能應(yīng)用背景推廣應(yīng)用人工智能治療新模式新手段，建立快速精準(zhǔn)的智能醫(yī)療體系。探索智慧醫(yī)院建設(shè)，開發(fā)人機發(fā)柔性可穿戴、生物兼容的生理監(jiān)測系統(tǒng)，研發(fā)人機協(xié)同2018年《國務(wù)院辦公廳關(guān)于促進“互聯(lián)網(wǎng)加強臨床、科研數(shù)據(jù)整合共享和應(yīng)用，支持研發(fā)醫(yī)療健康相關(guān)的人工智能技術(shù)、醫(yī)用機器人、大型醫(yī)療設(shè)備、應(yīng)急2021年《中華人民共和國國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃培育壯大人工智能、大數(shù)據(jù)、區(qū)塊鏈、云計算、網(wǎng)絡(luò)安全等新興數(shù)字產(chǎn)業(yè)，提升通信設(shè)備、核心電子元器件、關(guān)鍵軟件等產(chǎn)于5G的應(yīng)用場景和產(chǎn)業(yè)生態(tài)，在智能交通、智慧物流、智慧能源、智慧醫(yī)療等重面向心腦血管疾病、腫瘤、呼吸系統(tǒng)疾病、糖尿病等重大疾病，依托人工智能技術(shù)、生物醫(yī)學(xué)和健康大數(shù)據(jù)資源醫(yī)療+人工智能應(yīng)用背景醫(yī)療+人工智能應(yīng)用背景在醫(yī)療人工智能應(yīng)用中，AI影像發(fā)展較早，技術(shù)較為成熟，已成為醫(yī)療AI的代表性應(yīng)用冠脈后處理及冠脈報告結(jié)構(gòu)化58.1%腦卒中AI檢測23.6%肋骨AI自動篩查38.3%醫(yī)療+人工智能應(yīng)用背景良惡性診斷中，常采用影像組學(xué)方法或深度學(xué)習(xí)方法，根據(jù)輸入的肺部CT影像圖片進行分析后輸出結(jié)果是醫(yī)療+人工智能應(yīng)用背景驗驗療控理務(wù)療控理務(wù)發(fā)制醫(yī)療+人工智能應(yīng)用背景篩查診斷治療科研些數(shù)據(jù)進行整理、篩查診斷治療科研醫(yī)療+人工智能應(yīng)用背景基于多模態(tài)數(shù)據(jù)的醫(yī)療智能應(yīng)用智能臨床決策支持系統(tǒng)多模態(tài)醫(yī)療知識圖譜—名老中醫(yī)知識庫多模態(tài)醫(yī)療知識圖譜—名老中醫(yī)知識庫處理神經(jīng)網(wǎng)絡(luò)機器學(xué)習(xí)為豐富名老中醫(yī)知識庫，除了文本資料外，加入圖片、音頻和視頻處理神經(jīng)網(wǎng)絡(luò)機器學(xué)習(xí)質(zhì)量評估 多模態(tài)醫(yī)療知識圖譜—名老中醫(yī)知識庫基于多模態(tài)數(shù)據(jù)的名老中醫(yī)知識庫，在原來文本數(shù)據(jù)的基礎(chǔ)上，擴充相關(guān)音視畫資料，如在癥狀中加入舌診和面診信息，在治法中加入了名老中醫(yī)診療疾病預(yù)測治療方案輔助診斷疾病預(yù)測治療方案輔助診斷治療病理心電圖智能臨床決策支持系統(tǒng)—失眠專病輔助診療智能臨床決策支持系統(tǒng)—失眠專病輔助診療基于多模態(tài)數(shù)據(jù)的失眠專病輔助決策系統(tǒng)2.對接中醫(yī)智能四診儀，采集舌象圖片、面診圖像和脈3.根據(jù)采集的信息和在名老中醫(yī)知識庫查找處方，對處理智能臨床決策支持系統(tǒng)—DR常規(guī)疾病判斷2.輸入患者的DR圖像、病歷、檢驗數(shù)據(jù)等，預(yù)像像后結(jié)構(gòu)化指標(biāo)與前結(jié)構(gòu)化數(shù)據(jù)型注智能臨床決策支持系統(tǒng)—DR常規(guī)疾病判斷1.通過后結(jié)構(gòu)化模型對海量真實病歷進行標(biāo)注。2.將后結(jié)構(gòu)化指標(biāo)與前結(jié)構(gòu)化數(shù)據(jù)結(jié)合用于疾病診斷模型訓(xùn)練，通過關(guān)鍵因子分析篩選出高權(quán)重3.結(jié)合設(shè)定的臨床schema過濾部分因子，最終形成可落地的決策支持系統(tǒng)。智能臨床決策支持系統(tǒng)—DR常規(guī)疾病判斷AIAI模型智能臨床決策支持系統(tǒng)—DR常規(guī)疾病判斷模型根據(jù)正側(cè)位腰部圖像、病歷、檢驗結(jié)果等，預(yù)測病例是否存在骨質(zhì)疏松和骨量減少。AI模型AI模型智能醫(yī)療檢索系統(tǒng)智能醫(yī)療檢索系統(tǒng)是醫(yī)療與自然語言處理相結(jié)合的新一代信息檢索技術(shù)信息檢索從基于關(guān)鍵詞的層面提升至基于知識/概念的層面，是語義檢索、多模態(tài)檢在概念及其關(guān)系的基礎(chǔ)上，在概念及其關(guān)系的基礎(chǔ)上，通過語義理解和計算準(zhǔn)確地描述用戶的查詢需求，精確向用戶推送知識有效融合多模態(tài)數(shù)據(jù)有效融合多模態(tài)數(shù)據(jù)進行檢索并輸出符合人類思維的查詢結(jié)果針對不同用戶的同一種查詢需求，根據(jù)其特征的不同推送不同的檢索結(jié)果智能醫(yī)療檢索系統(tǒng)/特征\ /特征\ 檢查圖像檢驗結(jié)果傳統(tǒng)文本檢索傳統(tǒng)文本檢索智能醫(yī)療檢索系統(tǒng)—科研檢索系統(tǒng)單模態(tài)科研系統(tǒng)平臺基于結(jié)構(gòu)化或非結(jié)構(gòu)化文本信息進行檢索智能醫(yī)療檢索系統(tǒng)—科研檢索系統(tǒng)該系統(tǒng)利用從文本中提取的語義信息與圖像特征信息進行組合，輸出多模態(tài)結(jié)果。輸入圖片預(yù)訓(xùn)練模型輸出相似影像輸入圖片預(yù)訓(xùn)練模型輸出相關(guān)多模態(tài)結(jié)果智能醫(yī)療檢索系統(tǒng)—科研檢索系統(tǒng)自然語言處理語義分析計算機視覺多模態(tài)智能醫(yī)療應(yīng)用面臨的挑戰(zhàn)療數(shù)據(jù)由不同的設(shè)備生成，各設(shè)備生成的數(shù)據(jù)格式、編碼方式、數(shù)據(jù)粒度大小等也存在很大的不同，如何跨越語義鴻溝實現(xiàn)各模態(tài)數(shù)據(jù)間的對齊是一個難點。多模態(tài)智能醫(yī)療應(yīng)用面臨的挑戰(zhàn)于多模態(tài)數(shù)據(jù)的醫(yī)療智能應(yīng)用帶來挑戰(zhàn)。多模態(tài)智能醫(yī)療應(yīng)用面臨的挑戰(zhàn)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)應(yīng)用也處于較初級的階段，海量的多模態(tài)數(shù)據(jù)沒有得到充分的挖促進多模態(tài)數(shù)據(jù)的深度應(yīng)用，提高診療效率和準(zhǔn)確率。充分挖掘人工智能技術(shù)在中醫(yī)藥領(lǐng)域的潛能也有助于中醫(yī)藥的傳承與創(chuàng)總結(jié)與思考傳統(tǒng)數(shù)據(jù)治理主要著力于結(jié)構(gòu)傳統(tǒng)數(shù)據(jù)治理主要著力于結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化文本數(shù)據(jù)，圖像、音頻和視頻等模態(tài)的數(shù)據(jù)治理的相關(guān)研究較少。而這部分數(shù)據(jù)在醫(yī)療中占據(jù)相當(dāng)一部分的比提升多模態(tài)數(shù)據(jù)治理能力，可為多模態(tài)數(shù)據(jù)醫(yī)療研究與應(yīng)用提人才是最寶貴的資源。傳統(tǒng)的信息科人員