閭海榮-預(yù)訓(xùn)練大模型與醫(yī)療 從算法研究到應(yīng)用

預(yù)訓(xùn)練大模型與醫(yī)療：從算法研究到應(yīng)用閭海榮博士|清華大學(xué)自動(dòng)化系1.預(yù)訓(xùn)練大模型概述2.理解大模型的內(nèi)在機(jī)理3.賦予模型精準(zhǔn)性與可解釋性4.醫(yī)療領(lǐng)域應(yīng)用5.清華探索：數(shù)基生命大數(shù)據(jù)（低成本無(wú)標(biāo)注）微調(diào)小模型大數(shù)據(jù)（低成本無(wú)標(biāo)注）微調(diào)小模型預(yù)訓(xùn)練大模型1.模型角度：模型參數(shù)不再是隨機(jī)初始化，而是通過(guò)一些任務(wù)（如語(yǔ)言模型）進(jìn)行預(yù)訓(xùn)練；2.數(shù)據(jù)角度：將訓(xùn)練任務(wù)拆解成共性學(xué)習(xí)和特性學(xué)習(xí)兩個(gè)步驟。A不懂英文英文B懂英文后結(jié)構(gòu)化C懂英文的醫(yī)生A不懂英文英文B懂英文后結(jié)構(gòu)化C懂英文的醫(yī)生兩類(lèi)典型的大語(yǔ)言模型兩類(lèi)典型的大語(yǔ)言模型BERT：BidirectionalEncoder雙向模型，同時(shí)考慮前文和后文（nextsentenceprediction）進(jìn)行預(yù)訓(xùn)練，使得模型能夠?qū)W習(xí)到上下文關(guān)系和詞匯語(yǔ)義關(guān)系和詞匯語(yǔ)義通常用于文本分類(lèi)、序列標(biāo)注、問(wèn)答等任務(wù)GPTGPT：GenerativePre-trainedTransformer單向模型，只考慮前文，不考慮后文采用自回歸（autoregressive）的方式生成文本，即逐個(gè)生成下一個(gè)詞通常用于生成文本、對(duì)話、問(wèn)答等任務(wù)BERTBERT主要采用掩碼語(yǔ)言模型（maskedlanguagemodel，對(duì)應(yīng)圖MaskLM）和下一句預(yù)測(cè)任務(wù)（nextsentenceprediction，對(duì)應(yīng)圖NSP）進(jìn)行預(yù)訓(xùn)練，使得模型能夠?qū)W習(xí)到上下文關(guān)系和詞匯語(yǔ)義。預(yù)訓(xùn)練好的BERT可以用于對(duì)輸入文本進(jìn)行編碼，得到具有語(yǔ)義的向量表示。預(yù)訓(xùn)練好的BERT也可以通過(guò)微調(diào)（fine-tuning）方式適配各類(lèi)NLP任務(wù)：TheStanfordQuestionAnsweringDataset問(wèn)答（SQuAD）、命名實(shí)體識(shí)別（NER）、MNLI任務(wù)（大規(guī)模分類(lèi)任務(wù)，目標(biāo)是預(yù)測(cè)第二個(gè)句子相對(duì)于第一個(gè)句子是包含，矛盾還是中立）號(hào)空間SymbolicSpace號(hào)空間SymbolicSpace-司(向量空間)LatentLatentSpace類(lèi)模型類(lèi)模型2019年7月Facebook2019年7月FacebookAI基于BERT模型的擴(kuò)展參數(shù)量1.15億,3.4億數(shù)據(jù)量約160GB2021年10月MicrosoftAI在BERT模型上引入解碼與注意力解耦參數(shù)量3.4億數(shù)據(jù)量約78GB2020年3月GoogleAI在BERT模型引入GAN參數(shù)量3.4億數(shù)據(jù)量約16GB.20182018年10月GoogleAI提出BERT模型參數(shù)量1.15億,3.4億數(shù)據(jù)量約16GB__BERT2020__BERT2020年2月GoogleAI提出的輕量化BERT模型參數(shù)量0.2億，0.61億，2.4億數(shù)據(jù)量約16GB大事心大事心3.020193.02019年8月清華大學(xué)提出知識(shí)注入BERT模型，后由BaiduAI更新迭代到3.0版本參數(shù)量1.15億，1.25億，100億數(shù)據(jù)量約12GB，22.9G，4TB參數(shù)量15億參數(shù)量15億參數(shù)量1750億增加GPT解釋翻譯能力解碼器部分為GPT發(fā)展奠定基礎(chǔ)賦予GPT推理能力賦予GPT處理多任務(wù)的能力賦予GPT預(yù)測(cè)下一個(gè)字符串能力Datasets:300billiontokensoftextObjective:PredictthenextwordExample:a Instructup[Instructup[codexcodex使GPT具有與人類(lèi)對(duì)話的能力使GPT具有與人類(lèi)對(duì)話的能力GPTGPTAbility通過(guò)對(duì)海量文本的學(xué)習(xí)，自動(dòng)構(gòu)建了一個(gè)含有1750億參通過(guò)對(duì)海量文本的學(xué)習(xí)，自動(dòng)構(gòu)建了一個(gè)含有1750億參后續(xù)狀態(tài)按一定概率取決于過(guò)去狀態(tài)的隨機(jī)過(guò)m階馬爾可夫鏈模型可以根據(jù)前m個(gè)記號(hào)算出下一個(gè)記號(hào)的概率分布ChatGPTChatGPT根據(jù)前4095個(gè)記號(hào)猜下一個(gè)記號(hào)，所以是一個(gè)4095階的馬爾可夫鏈如果如果ChatGPT遇到它在訓(xùn)練時(shí)從沒(méi)見(jiàn)過(guò)的記號(hào)串怎么辦？————神經(jīng)網(wǎng)絡(luò)能很好解決這個(gè)問(wèn)題?在GPT里面，把一個(gè)記號(hào)作為一個(gè)N維浮點(diǎn)數(shù)向量來(lái)表示。這種用一??一個(gè)單詞對(duì)應(yīng)的向量叫這個(gè)單詞的嵌入向量?把每個(gè)單詞或記號(hào)（token）在GPT內(nèi)部都會(huì)通過(guò)一層簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)映射層對(duì)應(yīng)到一個(gè)嵌入向量，這個(gè)向量代表了記號(hào)的語(yǔ)言特征?GPT-3是1600維，GPT-3.52048維使用Transformer使用Transformer擺脫了人工標(biāo)注數(shù)據(jù)集的缺陷，模型在質(zhì)量上更優(yōu)、更易于并行化，所需訓(xùn)練時(shí)間明顯更少??第一步：將離散的順序號(hào)轉(zhuǎn)換成一個(gè)與嵌入向量長(zhǎng)度相同的向量，稱(chēng)為位置編碼（positionalencoding）?第二步：將位置編碼與嵌入向量相加（即對(duì)應(yīng)的元素相加），結(jié)果作為后續(xù)處理的輸入向量?第三步：輸入向量會(huì)被送到多層Transformer進(jìn)行后續(xù)處理，每層Transformer的參數(shù)不同，但都會(huì)讓輸入先經(jīng)過(guò)一個(gè)線性投影層?第四步：線性投影層將輸入向量投影到另一個(gè)維度空間，剔除不重要的維度，將高維向量簡(jiǎn)化為低維向量010102練成本在875萬(wàn)-1093.75萬(wàn)美元之間03040506?控制語(yǔ)言模型輸出的隨機(jī)性或創(chuàng)造性的參數(shù)?temperature參數(shù)=0，模型每次都挑最佳候選字，從不偏離?openAI試驗(yàn)場(chǎng)（playground）限制temperature參數(shù)在0到1的區(qū)間t=0t=0t=0.4t=2t=2?拿到候選字的原始概率分布后，先把這些字按概率從高到低排序，按順序依次選取，選到總概?top_p=0，只保留最高頻的一個(gè)字?top_p=0.5，考慮總概率占50%的那些最高頻的字?top_p=1，全部候選字都考慮toptop_p=0toptop_p=0.1top_p=1相關(guān)模型在相關(guān)模型在FewRel和TACRED上的表現(xiàn)知識(shí)嵌入：Zhang等人通過(guò)將知識(shí)圖譜的表示參考：參考：[1]Zhang,Zhengyan,etal."ERNIE:Enhancedlanguagerepresentationwithinformativeentities."人提出了知識(shí)生成式大模型提示方法，讓模型進(jìn)行知識(shí)預(yù)測(cè)，通過(guò)將知識(shí)圖譜的三元組形式轉(zhuǎn)化成Questionandanswer的形式，讓模型而得到最終的更為精確靠譜的結(jié)果。模型在數(shù)值常識(shí)（NumerSense）、一般常識(shí)（CommonsenseQA2.0）和科學(xué)常識(shí)知識(shí)融入到大模型中能夠提升其常識(shí)推理任務(wù)參考：參考：[1]Liu,Jiacheng,etal."Generatedknowledgepromptingforcommonsensereasoning."arXivpreprintarXiv:2110.08387(2021)ChatGPTChatGPT作為一種生成模型，存在一些問(wèn)題。其中最主要的問(wèn)題是不確定性和預(yù)訓(xùn)練語(yǔ)料庫(kù)回答一些問(wèn)題時(shí)存在時(shí)效性、事實(shí)性以及內(nèi)容不合規(guī)等情況。[1]零樣本能力（泛化能力），但在復(fù)雜的任務(wù)中使用零樣本設(shè)置時(shí)仍然表現(xiàn)不佳。為了提高模型的性能，我們可以采用少樣本提示技術(shù)來(lái)啟示例演示來(lái)引導(dǎo)其生成更好的響應(yīng)。演示作為后續(xù)示例的條件，可以有效地提高模型的準(zhǔn)確參考：參考：[1]/TgqDT3gGaMdkHasLZv/article/details/130211938[2]mptingguide.ai/zh/techniques/fewshot由于由于ChatGPT的訓(xùn)練機(jī)制主要專(zhuān)注于“單字接龍”，其在涉及算術(shù)和常識(shí)推理的任務(wù)中的精確性仍有待提升。自我一致性：由Wang等人提出，其核心思想是在鏈?zhǔn)剿伎嫉膒rompt[1]基礎(chǔ)上，通過(guò)采樣適量的多個(gè)不同推理路徑，根據(jù)這些方案的一致性參考：參考：[1]mptingguide.ai/zh/techniques/cot[2]mptingguide.ai/zh/techniques/fewshotChatGPT生成增強(qiáng)的響應(yīng)，讓ChatGPT參考：參考：[1]Ma,Chong,etal."ImpressionGPT:AnIterativeOptimizingFrameworkfo[2]Wang,Sheng,etal."Chatcad:Interactivecomputer-aideddiagnosisonmedical機(jī)器學(xué)習(xí)模型的可解釋性大模型的可解釋性思路基于attention機(jī)制：大模型如BERT和ChatGPT等大都基于attention機(jī)制構(gòu)建，但隨著模型參數(shù)量不斷增大，通過(guò)attentionPromptEngineering思路：對(duì)話中的post-hoc（事后）可解釋性白箱算法的可解釋性與模型構(gòu)造本身高度相關(guān)，白箱算法的可解釋性與模型構(gòu)造本身高度相關(guān)，因此對(duì)于大模型可以根據(jù)相關(guān)思路設(shè)計(jì)更具有針對(duì)性的可解釋性方法。主流的模型相關(guān)可解釋性方法：?基于梯度顯著性[1]?基于注意力機(jī)制[3]⑤⑤數(shù)基生命參考：[1]Wang,Junlin,etal."Gradient-basedanalysisofNLPmodelsismanipulable."arXivpreprintarXiv:2010.05419(2020).[2]Meng,Kevin,etal."Locatingandeditingfactualknowledgeingpt."arXivpreprintarXiv:2202.05262(2022).[2]Clark,Kevin,etal."Whatdoesbertlookat?ananalysisofbert'sattention."arXivpreprintarXiv:1906.04341(2019).[4]Dai,Damai,etal."Knowledgeneuronsinpretrainedtransformers."arXivpreprintarXiv:2104.08696(2021).BERTBERT、GPT等大預(yù)言模型的基礎(chǔ)框架為transformer，因此對(duì)于此類(lèi)大模型的可解釋性多與transformer模型的架構(gòu)與機(jī)制有關(guān)。多層注意力機(jī)制：在Transformer模型中，通常包含大量的attention層。因此，每層對(duì)于模型最終輸出的影響很難用單層的熱力圖來(lái)解釋。如果想要探究這類(lèi)大型模型的可解釋性，就必須從多層注意機(jī)制入手，并深入探究多個(gè)層之間以及同一層中不同multi-he注意力頭探查?注意力頭探查?探查個(gè)別注意力頭?探查注意力頭組合?注意力聚類(lèi)注意力中的表層模式?注意力模塊的相對(duì)位置?分隔符標(biāo)記?集中注意力與廣泛注意力參考：參考：[1]Clark,Kevin,etal."Whatdoesbertlookat?ananalysisofbert'sattention."arXivpreprintarXiv:1906.04341(2019).息流的可視化，這樣做的意義和價(jià)值在于模型的使用者能夠非常清晰的找出模型的輸出結(jié)果與哪些輸入有關(guān)，以及這些關(guān)聯(lián)機(jī)制在模型的層的數(shù)量眾多，其黑箱特性使得信息在其中的傳遞變得錯(cuò)綜復(fù)雜。通過(guò)追蹤tokens在Transformer內(nèi)部結(jié)構(gòu)中的信息流向，能夠幫助明度并提高其可信度。[1]參考：參考：[1]Lu,K.,etal."InfluencePatternsforExplainingInformationFlowinBERT."(2020).通過(guò)通過(guò)Promptengineering，ChatGPT能夠?qū)ο嚓P(guān)的結(jié)果做出一定的事后解釋?zhuān)@樣的解釋以自然語(yǔ)言的形式給出，讓人更易理解。鏈?zhǔn)剿伎迹篧ei等人引入鏈?zhǔn)剿伎迹–oT）提示通過(guò)中間推理步驟實(shí)現(xiàn)了復(fù)雜的推理能力，這樣的方法不僅可以提升任務(wù)結(jié)果的準(zhǔn)確性，同時(shí)也能使得模型的推理過(guò)程一定程度上透明化，從而平衡其黑箱特性帶來(lái)的過(guò)程不可見(jiàn)性，增加結(jié)果的可行度。參考：參考：[1]mptingguide.ai/zh/techniques/cot背景背景生成知識(shí)提示：大模型精準(zhǔn)性的板塊所講到的法類(lèi)似于鏈?zhǔn)剿伎挤椒?，它讓大模型針?duì)一個(gè)問(wèn)題生成特定的知識(shí)，并以這些知識(shí)作為其思考過(guò)程的基礎(chǔ)。然后將這些知識(shí)進(jìn)行聚合，最終得出一個(gè)答案。這樣的過(guò)程也是一種可解釋型在推理和生成答案時(shí)所參考的具體知識(shí)，從而更好地理解其決策過(guò)程。這種方法可以幫助我們發(fā)現(xiàn)模型可能存在的偏見(jiàn)或錯(cuò)誤，并進(jìn)一步優(yōu)化模型性能。同時(shí)，由于知識(shí)的結(jié)構(gòu)化特釋?zhuān)鰪?qiáng)模型的可解釋性。參考：參考：[1]Liu,Jiacheng,etal."Generatedknowledgepromptingforcommonsensereasoning."arXivpreprintarXiv:2110.08387(2021)參考：參考：[1]Qiu,Jianing,etal."LargeAIModelsinHealthInformatics:Applications,CImpressionGPTImpressionGPT技術(shù)流程圖參考：參考：[1]Ma,Chong,etal."ImpressionGPT:AnIterativeOptimizingFrameworkfo最近的研究表明，設(shè)計(jì)prompt以引導(dǎo)模型關(guān)注輸入的相關(guān)方面，可以產(chǎn)生更精確和一致的輸出。因此promptengineering對(duì)自動(dòng)印象生成非常重要。首先使用標(biāo)簽器對(duì)報(bào)告的“發(fā)現(xiàn)”部分進(jìn)行分首先使用標(biāo)簽器對(duì)報(bào)告的“發(fā)現(xiàn)”部分進(jìn)行分有的診斷報(bào)告語(yǔ)料庫(kù)中搜索相似的報(bào)告。使用“動(dòng)態(tài)提示”來(lái)構(gòu)建具有相似診斷報(bào)告的“動(dòng)態(tài)上下文”環(huán)境，以便ChatGPT可以學(xué)習(xí)總結(jié)與當(dāng)前疾病相關(guān)的診斷報(bào)告。MIMIC-CXR和OpenI上取得了不少的性能提升。對(duì)生成的報(bào)告進(jìn)行評(píng)估，利用評(píng)估結(jié)果來(lái)指導(dǎo)對(duì)生成的報(bào)告進(jìn)行評(píng)估，利用評(píng)估結(jié)果來(lái)指導(dǎo)Response”的形式，讓ChatGPT能夠從好樣本和壞樣本中學(xué)習(xí)到相關(guān)內(nèi)容。參考：參考：[1]Qiu,Jianing,etal."LargeAIModelsinHealthInformatics:Applications,C背景背景用于醫(yī)學(xué)圖像的計(jì)算機(jī)輔助診斷(CAD)網(wǎng)絡(luò)通過(guò)使用先進(jìn)的深度學(xué)習(xí)算法來(lái)支持臨床決策，在醫(yī)學(xué)領(lǐng)域取得了重大成功。大型語(yǔ)言模型(LLM)最近展示了在臨床應(yīng)用中的潛力，其提供了寶貴的醫(yī)學(xué)知識(shí)挑戰(zhàn)：LLM目前難以從這些醫(yī)學(xué)圖像中解釋和提取信息，從而限制了他們?nèi)嬷С峙R床決策過(guò)程的能思路：ChatCAD[1]將LLM的醫(yī)學(xué)領(lǐng)域知識(shí)和邏輯推理的優(yōu)勢(shì)與現(xiàn)有醫(yī)學(xué)圖像CAD模型的視覺(jué)理解能力相結(jié)合，為患者提供了一個(gè)更加用戶(hù)友好和易ChatCADChatCAD技術(shù)流程圖CAD與CAD與ChatGPT結(jié)合后的交互式問(wèn)答系統(tǒng)示例參考：參考：[1]Wang,Sheng,etal."Chatcad:Interactivecomputer-aideddiagnosisonmedicalimageusinglargelanguagemodels."arXivpreprintarXiv:2302.07257(2023).使用了三種不同的使用了三種不同的prompt設(shè)計(jì)，prompt作為tensor到text的紐帶從醫(yī)學(xué)圖像得到prompt的策略：1)將檢查圖像（例如X射線）輸入經(jīng)過(guò)訓(xùn)練的CAD模型以獲得輸出2)Prompt#1將這些輸出（通常是張量Outputtensor）翻譯成自然語(yǔ)言（LLM的提示句）3)Prompt#2將使用評(píng)分系言描述五個(gè)觀察值中每一個(gè)的可能性4)Prompt#3是一個(gè)簡(jiǎn)潔的prompt，報(bào)告在Outputtensor中診斷分?jǐn)?shù)高于0.5的疾病，如果五種疾病都沒(méi)有預(yù)測(cè)，則提示“未發(fā)現(xiàn)”ChatCAD利用ChatCAD利用ChatGPT與三種不同的prompt設(shè)計(jì)生成的報(bào)告交互式ChatCAD的兩個(gè)示例基于視覺(jué)模型的結(jié)果和語(yǔ)言模型中預(yù)訓(xùn)練的醫(yī)學(xué)知識(shí)，交互式ChatCAD可以進(jìn)行有關(guān)基于視覺(jué)模型的結(jié)果和語(yǔ)言模型中預(yù)訓(xùn)練的醫(yī)學(xué)知識(shí)，交互式ChatCAD可以進(jìn)行有關(guān)利用知識(shí)圖譜直接顯式的進(jìn)行形式化拼接，引入預(yù)訓(xùn)PromptPrompt是兩類(lèi)知識(shí)相互融合的橋梁使用使用BookCorpus和WikiPedia訓(xùn)練4層的tinyBERT和tinyEnhancedBERT，結(jié)果顯示參考：參考：[1]Qiu,Jianing,etal."LargeAIModelsinHealthInformatics:Applications,Challenges,andtheFuture."arXivpreprintarXiv:2303.11群體帶頭人張學(xué)工生物信息與機(jī)器學(xué)習(xí)專(zhuān)家清華大學(xué)自動(dòng)化系教授國(guó)際計(jì)算生物學(xué)學(xué)會(huì)會(huì)士李衍達(dá)中國(guó)科學(xué)院院士戴瓊海中國(guó)工程院院士董家鴻中國(guó)工程院院士WingH.Wong美國(guó)科學(xué)院院士群體骨干群體骨干古槿謝震汪小我江瑞閭海榮魏磊張靜古槿謝震汪小我江瑞閭海榮魏磊張靜科學(xué)發(fā)現(xiàn)科學(xué)發(fā)現(xiàn)未能轉(zhuǎn)化為應(yīng)用未能轉(zhuǎn)化為應(yīng)用通過(guò)全方位、多尺度、多模態(tài)生物醫(yī)學(xué)數(shù)據(jù)感知通過(guò)全方位、多尺度、多模態(tài)生物醫(yī)學(xué)數(shù)據(jù)感知，把人體表征為數(shù)字化實(shí)體。通過(guò)模擬個(gè)體健康演化和疾病發(fā)生發(fā)展過(guò)程,推演各種因素作用,定量評(píng)估重要生命過(guò)程,提供精準(zhǔn)的動(dòng)態(tài)健康指導(dǎo)和疾病治療方案。在數(shù)字化實(shí)體中，實(shí)現(xiàn)貫穿人體分子、細(xì)胞、組織、器官和系統(tǒng)的數(shù)學(xué)模型，讓數(shù)字實(shí)體“活起來(lái)”，模擬生老病死各種生命過(guò)群體宏觀--個(gè)體群體宏觀--個(gè)體---系統(tǒng)---器官----廠-- 應(yīng)用智能化全場(chǎng)景智能化精準(zhǔn)醫(yī)健機(jī)理模型化數(shù)據(jù)-知識(shí)雙驅(qū)動(dòng)構(gòu)建大模型生命數(shù)字化細(xì)胞-數(shù)碳耦合組織工程--全方位跨尺度數(shù)據(jù)感知細(xì)胞-數(shù)碳