2023年預訓練大模型與醫(yī)療市場前景及投資研究報告：算法研究應用

CONTENTS1.

預訓練大模型概述2.

理解大模型的內(nèi)在機理3.

賦予模型精準性與可解釋性4.

醫(yī)療領域應用5.

清華探索：數(shù)基生命Tsinghua

Confidential

|lvhairong@CHIMA

20Pag2e2

3預訓練：從大數(shù)據(jù)到小數(shù)據(jù)少量特定領域標注數(shù)據(jù)（成本高）①

關

于

預

訓

練②

剖

析

大

模

型大數(shù)據(jù)（低成本無標注）③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命微調(diào)小模型（學習特性）預訓練大模型（學習共性）1.模型角度：模型參數(shù)不再是隨機初始化，而是通過一些任務（如語言模型）進行預訓練；2.數(shù)據(jù)角度：將訓練任務拆解成共性學習和特性學習兩個步驟。CHIMA2023以英文電子病歷后結構化為示例英文電子病歷后結構化A①

關

于

預

訓

練②

剖

析

大

模

型不懂英文英文電子病歷后結構化B懂英文③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命英文電子病歷后結構化C懂英文的醫(yī)生CHIMA2023Transformer架構：預訓練的基石①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命從

word2vec

到

Transformer從

context-free

到

context-awareCHIMA2023BERT和GPT?

兩類典型的大語言模型?

BERT：BidirectionalEncoderRepresentations

fromTransformers①

關

于

預

訓

練②

剖

析

大

模

型?

雙向模型，同時考慮前文和后文?

采用掩碼語言模型（masked

language

model）和下一句預測任務（next

sentence

prediction）進行預訓練，使得模型能夠學習到上下文關系和詞匯語義③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命?

通常用于文本分類、序列標注、問答等任務?

GPT：GenerativePre-trained

Transformer?

單向模型，只考慮前文，不考慮后文?

采用自回歸（autoregressive）的方式生成文本，即逐個生成下一個詞?

通常用于生成文本、對話、問答等任務CHIMA2023BERT訓練①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命BERT主要采用掩碼語言模型（masked

language

model，對應圖Mask

LM）和下一句預測任務（next

sentenceprediction，對應圖NSP）進行預訓練，使得模型能夠學習到上下文關系和詞匯語義。預訓練好的BERT可以用于對輸入文本進行編碼，得到具有語義的向量表示。預訓練好的BERT也可以通過微調(diào)（fine-tuning）方式適配各類NLP任務：The

Stanford

Question

AnsweringDataset問答（SQuAD）、命名實體識別（NER）、MNLI任務（大規(guī)模分類任務，目標是預測第二個句子相對于第一個句子是包含，矛盾還是中立）CHIMA2023BERT表示能力①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命Represented

IntoSeCHIMA2023BERT類模型①

關

于

預

訓

練②

剖

析

大

模

型2019年7月

Facebook

AI基于BERT模型的擴展參數(shù)量1.15億,3.4億2018年10月

Google

AI提出BERT模型參數(shù)量1.15億,3.4億數(shù)據(jù)量約

16GB數(shù)據(jù)量約

160GB.③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命2021年10月

MicrosoftAI在BERT模型上引入解碼與注意力解耦參數(shù)量3.4億2020年2月

Google

AI提出的輕量化BERT模型參數(shù)量0.2億，0.61億，2.4億數(shù)據(jù)量約

16GB數(shù)據(jù)量約

78GB2019年8月

清華大學提出知識注入BERT模型，后由Baidu

AI

更新迭代到3.0版本參數(shù)量1.15億，1.25億，100億數(shù)據(jù)量約

12GB，22.9G，4TB2020年3月

Google

AI在BERT模型引入GAN參數(shù)量3.4億數(shù)據(jù)量約

16GBCHIMA2023GPT發(fā)展史2019年2月2022年1月OpenAI提出GPT-3.5模型參數(shù)量13億,

60億，1750億數(shù)據(jù)量40TB2017年6月OpenAI提出One-shot

GPT-2模型參數(shù)量15億數(shù)據(jù)量40GB①

關

于

預

訓

練②

剖

析

大

模

型Google提出Transformer模型2020年5月2023年第一季度2017年6月OpenAI提出Zero-shot

GPT-3模型參數(shù)量1750億數(shù)據(jù)量40TBOpenAI提出GPT-4模型百萬億級別參數(shù)量OpenAI提出Few-shot

GPT-1模型參數(shù)量1.17

億數(shù)據(jù)量約

5GB③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命增加GPT解釋翻譯能力解碼器部分為GPT發(fā)展奠定基礎賦予GPT推理能力賦予GPT處理多任務的能力多模態(tài)生成賦予GPT預測下一個字符串能力CHIMA2023GPT訓練過程UnsupervisedPre-training①

關

于

預

訓

練②

剖

析

大

模

型UntrainedGPT③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命Expensive

trainingonmassivedatasetsDatasets:300

billion

tokensoftextObjective:

Predict

thenext

wordExample:a?robot

mustCHIMA2023GPT應用①

關

于

預

訓

練②

剖

析

大

模

型GPT具有搜索引擎的功能2021年12月賦予GPT理解人類

指令的能力2022年2月人類對話的能力GPT在編寫代2021年③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命11月CHIMA2023模型內(nèi)部本質(zhì)上是基于統(tǒng)計的文字生成器通過對海量文本的學習，自動構建了一個含有1750

億參數(shù)的大模型，建立了對這個世界基本的邏輯認知，由此產(chǎn)生了基于邏輯的推理能力實際上是根據(jù)對話中的最近

4095

個記號，算出緊接著最可能是哪個記號①

關

于

預

訓

練但，ChatGPT

≠模型②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命模型負責把最近的對話內(nèi)容翻譯為一張概率表ChatGPT

負責根據(jù)這張表選出下一個記號，再讓模型算再下一個記號的概率表CHIMA2023可以理解為高階的馬爾可夫鏈后續(xù)狀態(tài)按一定概率取決于過去狀態(tài)的隨機過程，被稱為馬爾可夫鏈m階馬爾可夫鏈模型可以根據(jù)前

m個記號算出下一個記號的概率分布①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命1階馬爾可夫鏈3階馬爾可夫鏈ChatGPT根據(jù)前

4095

個記號猜下一個記號，所以是一個

4095

階的馬爾可夫鏈如果ChatGPT遇到它在訓練時從沒見過的記號串怎么辦？——神經(jīng)網(wǎng)絡能很好解決這個問題CHIMA2023概念：嵌入向量（embedding

vector）嵌入向量：①

關

于

預

訓

練?

在GPT里面，把一個記號作為一個

N維浮點數(shù)向量來表示。這種用一個向量來表示一個單詞或記號的方法按神經(jīng)網(wǎng)絡的術語就叫做嵌入?

一個單詞對應的向量叫這個單詞的嵌入向量②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命?

把每個單詞或記號（token）在

GPT內(nèi)部都會通過一層簡單的神經(jīng)網(wǎng)絡映射層對應到一個嵌入向量，這個向量代表了記號的語言特征?

GPT-3是

1600維，GPT-3.5

2048維CHIMA2023位置信息的引入使用Transformer擺脫了人工標注數(shù)據(jù)集的缺陷，模型在質(zhì)量上更優(yōu)、更易于并行化，所需訓練時間明顯更少①

關

于

預

訓

練?

第一步：將離散的順序號轉換成一個與嵌入向量長度相同的向量，稱為位置編碼（positional

encoding）②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命?

第二步：將位置編碼與嵌入向量相加（即對應的元素相加），結果作為后續(xù)處理的輸入向量?

第三步：輸入向量會被送到多層Transformer進行后續(xù)處理，每層Transformer的參數(shù)不同，但都會讓輸入先經(jīng)過一個線性投影層?

第四步：線性投影層將輸入向量投影到另一個維度空間，剔除不重要的維度，將高維向量簡化為低維向量CHIMA2023ChatGPT待優(yōu)化的部分可信性無法保證，還不能提供合理的證據(jù)010305進行可信性驗證時效性差，無法實時地融入新知識，知識范圍局限于基礎大規(guī)模語言模型使用的預訓練數(shù)據(jù)時間之前①

關

于

預

訓

練020406②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命成本高、部署困難、每次調(diào)用花費不菲，對工程能力有很高的要求，GPT-3模型的訓練成本在875萬

-1093.75萬美元之間在特定的專業(yè)領域上表現(xiàn)欠佳，訓練數(shù)據(jù)是通用數(shù)據(jù)，沒有領域專業(yè)數(shù)據(jù)因為數(shù)據(jù)的偏見性，很可能生成有害內(nèi)容反映的是標注人員的偏好，在標注人員分布不均的情況下，可能會引入新的偏見問題CHIMA2023如何讓ChatGPT更靠譜ChatGPT

不是每次都選概率最大的記號①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命兩個關鍵參數(shù)：?

temperature

參數(shù)?

top_p參數(shù)CHIMA2023temperature參數(shù)?

控制語言模型輸出的隨機性或創(chuàng)造性的參數(shù)?

temperature

參數(shù)=0，模型每次都挑最佳候選字，從不偏離?

temperature

參數(shù)越大，生僻的選擇變得更容易被選中?

openAI

試驗場（playground）限制

temperature

參數(shù)在

0到

1的區(qū)間①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命t=0t=0.4t=2CHIMA2023top_p參數(shù)?

限制

top_p參數(shù)在

0到

1的區(qū)間?

拿到候選字的原始概率分布后，先把這些字按概率從高到低排序，按順序依次選取，選到總概率超過

top_p值的時候即停止，剩下的候選字徹底放棄①

關

于

預

訓

練?

top_p=0，只保留最高頻的一個字?

top_p=0.5，考慮總概率占

50%的那些最高頻的字?

top_p=1，全部候選字都考慮②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命top_p=0top_p=0.1top_p=1CHIMA2023大模型精確性提升思路：知識嵌入大模型語言本身具有很強的語言理解或生成能力，然而為了提高其敘述內(nèi)容的真實性和嚴謹性，需要采用特定的技術路線，例如將知識圖譜中的事實描述融入大模型的訓練過程中。①

關

于

預

訓

練②

剖

析

大

模

型知識嵌入：Zhang等人通過將知識圖譜的表示向量加入到BERT中對應的tokens編碼內(nèi)，從而使得模型學習到與知識相關的事實信息，增強了模型在相應知識領域的準確性。[1]③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命相關模型在FewRel和TACRED上的表現(xiàn)參考：[1]

Zhang,

Zhengyan,

et

al."ERNIE:

Enhanced

language

representation

with

informative

entities."

arXivpreprint

arXiv:1905.07129

(2019).CHIMA2023大模型精確性提升思路：知識預測知識圖譜應用于大模型訓練后階段：Liu等人提出了知識生成式大模型提示方法，讓模型進行知識預測，通過將知識圖譜的三元組形式轉化成Question

and

answer的形式，讓模型生成一些知識，然后將這些知識進行聚合，從而得到最終的更為精確靠譜的結果。模型在數(shù)值常識（NumerSense）、一般常識①

關

于

預

訓

練②

剖

析

大

模

型（CommonsenseQA

2.0）和科學常識（QASC）基準測試中進行實驗，得出了將外部知識融入到大模型中能夠提升其常識推理任務的精度的結論。[1]③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命參考：[1]

Liu,Jiacheng,

et

al."Generated

knowledge

promptingforcommonsensereasoning."arXivpreprint

arXiv:2110.08387

(2021)CHIMA2023大模型精確性提升思路：少樣本提示ChatGPT作為一種生成模型，存在一些問題。其中最主要的問題是不確定性和預訓練語料庫中存在的某些局限性，這可能導致ChatGPT在回答一些問題時存在時效性、事實性以及內(nèi)容①

關

于

預

訓

練②

剖

析

大

模

型不合規(guī)等情況。[1]少樣本提示：盡管大型語言模型展現(xiàn)出驚人的零樣本能力（泛化能力），但在復雜的任務中使用零樣本設置時仍然表現(xiàn)不佳。為了提高模型的性能，我們可以采用少樣本提示技術來啟發(fā)上下文學習。這種技術可以通過給模型提供示例演示來引導其生成更好的響應。演示作為后續(xù)示例的條件，可以有效地提高模型的準確③

精

準

可

解

釋④

醫(yī)

療

應

用性和可靠性。[2]⑤

數(shù)

基

生

命參考：[1]

/TgqDT3gGaMdkHasLZv/article/details/130211938[2]

mptingguide.ai/zh/techniques/fewshotCHIMA2023大模型精確性提升思路：自我一致性由于ChatGPT的訓練機制主要專注于“單字接龍”，其在涉及算術和常識推理的任務中的精確性仍有待提升。①

關

于

預

訓

練②

剖

析

大

模

型自我一致性：由Wang等人提出，其核心思想是在鏈式思考的prompt

[1]基礎上，通過采樣適量的多個不同推理路徑，根據(jù)這些方案的一致性情況得出最合理的結果，從而提高模型的準確性和可靠性。[2]③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命參考：[1]

mptingguide.ai/zh/techniques/cot[2]

mptingguide.ai/zh/techniques/fewshotCHIMA2023大模型精確性提升思路：提示語工程通過適當?shù)腜rompt

engineering，可以提升ChatGPT在相應任務上的精確性。①

關

于

預

訓

練②

剖

析

大

模

型ImpressionGPT：使用“動態(tài)prompt”

來構建具有相似診斷報告的“動態(tài)上下文”

環(huán)境；對生成的報告進行評估，利用評估結果來指導ChatGPT

生成增強的響應，讓ChatGPT能夠從好樣本和壞樣本中學習到相關內(nèi)容。[1]③

精

準

可

解

釋④

醫(yī)

療

應

用ChatCAD

：設計了三種不同的Prompt，將視覺模型得到的結果通過Prompt更好的讓語言模型理解，通過ChatGPT與CAD結合，得到了診斷的性能提升。[2]⑤

數(shù)

基

生

命參考：[1]

Ma,Chong,

et

al.

"ImpressionGPT:

AnIterative

OptimizingFrameworkforRadiologyReport

Summarizationwith

ChatGPT."

arXiv

preprint

arXiv:2304.08448

(2023).[2]

Wang,

Sheng,

et

al.

"Chatcad:

Interactive

computer-aided

diagnosison

medicalimage

usinglarge

language

models."

arXiv

preprint

arXiv:2302.07257

(2023).CHIMA2023大模型可解釋性機器學習模型的可解釋性?

傳統(tǒng)模型的可解釋性思路?

模型相關①

關

于

預

訓

練②

剖

析

大

模

型?

模型無關?

大模型的可解釋性思路?

基于attention機制：大模型如BERT和ChatGPT等大都基于attention機制構建，但隨著模型參數(shù)量不斷增大，通過attention機制也無法進行模型內(nèi)部的解釋③

精

準

可

解

釋④

醫(yī)

療

應

用?

Prompt

Engineering思路：對話中的post-hoc（事后）可解釋性⑤

數(shù)

基

生

命CHIMA2023傳統(tǒng)可解釋性思路白箱算法的可解釋性與模型構造本身高度相關，因此對于大模型可以根據(jù)相關思路設計更具有針對性的可解釋性方法。①

關

于

預

訓

練②

剖

析

大

模

型主流的模型相關可解釋性方法：?

基于梯度顯著性[1]?

基于因果啟發(fā)[2]③

精

準

可

解

釋④

醫(yī)

療

應

用?

基于注意力機制[3]?

基于神經(jīng)元分析[4]⑤

數(shù)

基

生

命參考：[1]

Wang,

Junlin,

et

al."Gradient-based

analysis

ofNLP

modelsismanipulable."arXivpreprint

arXiv:2010.05419

(2020).[2]

Meng,

Kevin,etal.

"Locatingand

editingfactual

knowledge

in

gpt."

arXiv

preprint

arXiv:2202.05262

(2022).[2]

Clark,

Kevin,et

al.

"What

doesbert

look

at?

an

analysisof

bert's

attention."arXivpreprint

arXiv:1906.04341

(2019).[4]

Dai,Damai,et

al."Knowledge

neurons

inpretrained

transformers."arXivpreprint

arXiv:2104.08696

(2021).CHIMA2023針對大模型的可解釋性思路：多層注意力機制注意力中的表層模式注意力頭探查?

注意力模塊的相對位置?

分隔符標記?

集中注意力與廣泛注意力???探查個別注意力頭探查注意力頭組合注意力聚類BERT、GPT等大預言模型的基礎框架為transformer，因此對于此類大模型的可解釋性多與transformer

模型的架構與機制有關。①

關

于

預

訓

練②

剖

析

大

模

型多層注意力機制：在Transformer模型中，通常包含大量的attention層。因此，每個attention層對于模型最終輸出的影響很難用單層的熱力圖來解釋。如果想要探究這類大型模型的可解釋性，就必須從多層注意機制入手，并深入探究多個層之間以及同一層中不同multi-head之間的關系，以及它們對最終結果的影響。[1]③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命參考：[1]

Clark,

Kevin,et

al.

"What

doesbert

look

at?

an

analysisof

bert's

attention."arXivpreprint

arXiv:1906.04341

(2019).CHIMA2023針對大模型的可解釋性思路：信息流解析信息流解析：注重模型處理過程中，過程信息流的可視化，這樣做的意義和價值在于模型的使用者能夠非常清晰的找出模型的輸出結果與哪些輸入有關，以及這些關聯(lián)機制在模型的內(nèi)部是怎樣提現(xiàn)的。由于Transformer中注意力層的數(shù)量眾多，其黑箱特性使得信息在其中的傳遞變得錯綜復雜。通過追蹤tokens在①

關

于

預

訓

練②

剖

析

大

模

型Transformer內(nèi)部結構中的信息流向，能夠幫助③

精

準

可

解

釋④

醫(yī)

療

應

用追溯預測結果的依據(jù)明度并提高其可信度。，從而增加模型的透[1]⑤

數(shù)

基

生

命參考：[1]

Lu,

K.

,et

al.

"Influence

Patterns

forExplainingInformationFlowinBERT."

(2020).CHIMA2023針對大模型的可解釋性思路：

Prompt

Engineering（ChatGPT時代）通過Prompt

engineering，ChatGPT能夠對相關的結果做出一定的事后解釋，這樣的解釋以自然語言的形式給出，讓人更易理解。①

關

于

預

訓

練②

剖

析

大

模

型鏈式思考：Wei等人引入鏈式思考（CoT）提示通過中間推理步驟實現(xiàn)了復雜的推理能力，這樣的方法不僅可以提升任務結果的準確性，同時也能使得模型的推理過程一定程度上透明化，從而平衡其黑箱特性帶來的過程不可見性，增加結果的可行度

。③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命參考：[1]

mptingguide.ai/zh/techniques/cotCHIMA2023針對大模型的可解釋性思路：

Prompt

Engineering思路背景生成知識提示：大模型精準性的板塊所講到的生成式知識大模型提示方法，實際上，這種方法類似于鏈式思考方法，它讓大模型針對一個問題生成特定的知識，并以這些知識作為其思考過程的基礎。然后將這些知識進行聚合，最終得出一個答案。這樣的過程也是一種可解釋性。通過生成式知識提示，我們可以了解大模型在推理和生成答案時所參考的具體知識，從而更好地理解其決策過程。這種方法可以幫助我們發(fā)現(xiàn)模型可能存在的偏見或錯誤，并進一步優(yōu)化模型性能。同時，由于知識的結構化特點，它還可以為人們提供更加結構化的模型解釋，增強模型的可解釋性。①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命參考：[1]

Liu,Jiacheng,

et

al."Generated

knowledge

promptingforcommonsensereasoning."arXivpreprint

arXiv:2110.08387

(2021)CHIMA2023醫(yī)療領域應用場景①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命參考：[1]Qiu,Jianing,

et

al.

"Large

AIModelsinHealth

Informatics:Applications,

Challenges,

and

the

Future."arXivpreprint

arXiv:2303.11568

(2023).CHIMA2023ChatGPT應用于自動印象生成背景在標準的放射學報告中，印象部分是對整個報告描述的總結。自動印象生成（Automaticimpressiongeneration，AIG）成為醫(yī)學領域NLP研究的重點。①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋挑戰(zhàn)：對放射科醫(yī)生來說，寫下大量“印象”既費力又容易出錯。盡管最近的研究中基于預訓練和微調(diào)預訓練模型在醫(yī)學文本領域中的自動印象生成方面取得了不錯的效果，但此類模型通常需要大量的醫(yī)學文本數(shù)據(jù)并且泛化性能較差。ImpressionGPT技術流程圖思路：

ImpressionGPT[1]使用動態(tài)提示（dynamicprompt）和迭代優(yōu)化（iterative

optimization）來增強

ChatGPT

對放射學報告摘要的適應性。④

醫(yī)

療

應

用⑤

數(shù)

基

生

命參考：[1]

Ma,Chong,

et

al.

"ImpressionGPT:

AnIterative

OptimizingFrameworkforRadiologyReport

Summarizationwith

ChatGPT."

arXiv

preprint

arXiv:2304.08448

(2023).CHIMA2023ChatGPT應用于自動印象生成最近的研究表明，設計prompt以引導模型關注輸入的相關方面，可以產(chǎn)生更精確和一致的輸出。因此prompt

engineering對自動印象生成非常重要。①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命首先使用標簽器對報告的“發(fā)現(xiàn)”部分進行分類并提取疾病標簽，然后基于疾病類別，在現(xiàn)有的診斷報告語料庫中搜索相似的報告。使用“動態(tài)提示”

來構建具有相似診斷報告的“動態(tài)上下文”

環(huán)境，以便

ChatGPT

可以學習總結與當前疾病相關的診斷報告。CHIMA2023ChatGPT應用于自動印象生成①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋ImpressionGPT在AIG任務的兩個經(jīng)典數(shù)據(jù)集MIMIC-CXR和OpenI上取得了不少的性能提升。④

醫(yī)

療

應

用⑤

數(shù)

基

生

命對生成的報告進行評估，利用評估結果來指導ChatGPT

生成增強的響應：采用“Instruction

+Response”的形式，讓ChatGPT能夠從好樣本和壞樣本中學習到相關內(nèi)容。參考：[1]

Qiu,Jianing,

et

al.

"Large

AIModels

inHealth

Informatics:Applications,

Challenges,

and

theFuture."arXivpreprint

arXiv:2303.11568

(2023).CHIMA2023ChatGPT應用于醫(yī)學圖像輔助診斷背景用于醫(yī)學圖像的計算機輔助診斷

(CAD)網(wǎng)絡通過使用先進的深度學習算法來支持臨床決策，在醫(yī)學領域取得了重大成功。大型語言模型

(LLM)最近展示了在臨床應用中的潛力，其提供了寶貴的醫(yī)學知識和建議。①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋ChatCAD技術流程圖挑戰(zhàn)：LLM目前難以從這些醫(yī)學圖像中解釋和提取信息，從而限制了他們?nèi)嬷С峙R床決策過程的能力。思路：

ChatCAD[1]將

LLM

的醫(yī)學領域知識和邏輯推理的優(yōu)勢與現(xiàn)有醫(yī)學圖像

CAD模型的視覺理解能力相結合，為患者提供了一個更加用戶友好和易于理解的系統(tǒng)。CAD與ChatGPT結合后的交互式問答系統(tǒng)示例④

醫(yī)

療

應

用⑤

數(shù)

基

生

命參考：[1]

Wang,

Sheng,

et

al.

"Chatcad:

Interactive

computer-aided

diagnosison

medicalimage

usinglarge

language

models."

arXiv

preprint

arXiv:2302.07257

(2023).CHIMA2023ChatGPT應用于醫(yī)學圖像輔助診斷①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋使用了三種不同的prompt設計，prompt作為tensor到text的紐帶從醫(yī)學圖像得到prompt的策略：1)

將檢查圖像（例如X射線）輸入經(jīng)過訓練的

CAD模型以獲得輸出2)

Prompt#1將這些輸出（通常是張量Output

tensor）翻譯成自然語言（LLM的提示句）3)

Prompt#2將使用評分系統(tǒng)設計，將Output

tensor中的分數(shù)分為四類，并用每類對應的自然語言描述五個觀察值中每一個的可能性4)

Prompt#3是一個簡潔的prompt，報告在Output

tensor中診斷分數(shù)高于0.5的疾病，如果五種疾病都沒有預測，則提示“未發(fā)現(xiàn)”④

醫(yī)

療

應

用⑤

數(shù)

基

生

命CHIMA2023ChatGPT應用于醫(yī)學圖像輔助診斷①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命CHIMA2023ChatGPT應用于醫(yī)學圖像輔助診斷①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命ChatCAD利用ChatGPT與三種不同的prompt設計生成的報告交互式ChatCAD的兩個示例基于視覺模型的結果和語言模型中預訓練的醫(yī)學知識，交互式ChatCAD可以進行有關癥狀、診斷和治療的對話CHIMA2023團隊目前在醫(yī)療領域的探索與工作醫(yī)學影像報告中的所見->影像學報告中的印象1）構建并融合知識圖譜

+

LLaMa（Meta公司開源的生成式大模①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋大模型：參數(shù)化的知識庫型）利用知識圖譜直接顯式的進行形式化拼接，引入預訓練語料，通過微調(diào)的開源大模型，得到精確性與可解釋性更好的模型。prompt2）知識圖譜在prompt

engineering中的應用方法知識圖譜：形式化的知識庫知識圖譜的引入可以使其上下文環(huán)境更符合現(xiàn)有領域知識，比如用知識圖譜來構建不同疾病之間的關系。通過知識圖譜引入專家知識，在prompt前進行一定約束，可以提供更可靠、有效的prompt。Prompt是兩類知識相互融合的橋梁④

醫(yī)

療

應

用⑤

數(shù)

基

生

命知識圖譜本身具有可讀性和一定可解釋性，在大模型中引入知識圖譜使得模型的輸入更可靠CHIMA2023提出了新的模型架構：EnhancedBERT1.

使用密集連接的方式可以連接不同層的表示到最頂層，有助于增強BERT表示的能力。①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋2.

融合圖結構，一方面可以使大模型編碼圖結構信息，另一方面有助于提升大模型建模序列中的精確語義信息。④

醫(yī)

療

應

用⑤

數(shù)

基

生

命使用BookCorpus和WikiPedia訓練4層的tiny

BERT和tiny

EnhancedBERT，結果顯示EnhancedBERT相較于原始BERT有較大的提升。CHIMA2023醫(yī)療領域應用實踐與探索一些問題仍待探索①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋1）在多機構場景中所涉及的數(shù)據(jù)隱私和安全問題2）知識圖譜（KG）在prompt

design中的使用，以使其更符合現(xiàn)有領域知識（如不同疾病之間的關系）3）“人在回路”在prompt優(yōu)化迭代的過程中的重要作用4）更豐富的數(shù)據(jù)集和基準（如包含患者主訴信息的基準數(shù)據(jù)集）5）多模態(tài)數(shù)據(jù)6）……④

醫(yī)

療

應

用⑤

數(shù)

基

生

命參考：[1]

Qiu,Jianing,

et

al.

"Large

AIModelsinHealth

Informatics:Applications,

Challenges,

and

the

Future."arXivpreprint

arXiv:2303.11568

(2023).CHIMA2023清華大學數(shù)基生命交叉創(chuàng)新群體群體帶頭人群體顧問張學工李衍達戴瓊海董家鴻WingH.

Wong生物信息與機器學習專家清華大學自動化系教授國際計算生物學學會會士中國科學院院士中國工程院院士中國工程院院士美國科學院院士①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生群體骨干汪小我江瑞古槿謝震閭海榮魏磊張靜CHIMA2023智能醫(yī)療的關鍵：信息獲取、理解與呈遞錯失的機會、浪費的資源損失的生命①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命生命機理科學發(fā)現(xiàn)臨床科學發(fā)現(xiàn)未能轉化為應用可用技術患者CHIMA2023解決思路：數(shù)基生命

-

醫(yī)療行業(yè)研究與產(chǎn)業(yè)發(fā)展的新范式生命數(shù)字化機理模型化應用智能化①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命通過全方位、多尺度、多模態(tài)生物醫(yī)學數(shù)據(jù)感知，把人體表征為數(shù)字化實體。在數(shù)字化實體中，實現(xiàn)貫穿人體分子、細胞、組織、器官和系統(tǒng)的數(shù)學模型，讓數(shù)字實體“活起來”，模擬生老病死各種生命過程，形成人體“數(shù)字孿生”。通過模擬個體健康演化和疾病發(fā)生發(fā)展過程,推演各種因素作用,定量評估重要生命過程,提供精準的動態(tài)健康指導和疾病治療方案。CHIMA2023通過模型化重構應用生態(tài)數(shù)基生命實驗群體-個體-系統(tǒng)-器官-組織-細胞-宏觀-------應用智能化①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命智能健康管理全場景智能化精準醫(yī)健機理模型化數(shù)基設計靶向治療數(shù)據(jù)-知識雙驅動構建大模型---生命數(shù)字化智能精準醫(yī)療全方位跨尺度數(shù)據(jù)感知-數(shù)碳耦合組織工程分子微觀共性平臺技術智能公共健康生命機理數(shù)基重現(xiàn)CHIMA2023數(shù)據(jù)-知識雙驅動的數(shù)基生命大模型從基因、細胞到系統(tǒng)的數(shù)字畫像數(shù)基-碳基融合生命系統(tǒng)調(diào)控①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命人體全方位定量數(shù)據(jù)感知數(shù)基智能精準醫(yī)健數(shù)基生命大模型醫(yī)健全場景數(shù)字化數(shù)基孿生推演優(yōu)化CHIMA2023臨床預訓練模型與知識圖譜10萬小時語音訓練數(shù)據(jù)100+萬級語音專業(yè)詞匯訓練10G

專業(yè)醫(yī)療文本、文獻語料100G

日常文本訓練數(shù)據(jù)語音識別+語音合成?????以多項專利技術、GPT和海量數(shù)據(jù)為支撐建立面向專業(yè)醫(yī)學場景的識別模型，識別準確率高達97.5%;BERT模型深度改進+知識圖譜融合自然語言理解讓每個醫(yī)生都擁有一個”機器人”

團隊醫(yī)學知識管理目前平均每天為100000+名患者提供診前診后服務??支持多輪對話復雜路徑推理①

關

于

預

訓

練②

剖

析

大

模

型③

精

準

可

解

釋④

醫(yī)

療

應

用⑤

數(shù)

基

生

命百萬級基礎知識圖譜+?？茟肎AN網(wǎng)絡技術，對高噪聲低采樣率信號進行了優(yōu)化，場景測試準確率領先其它廠商5%;????面向醫(yī)療文本、對話交互等場景，持續(xù)研發(fā)構建預訓練大模型基礎模型庫，為不同應用場景的NLP任務提供更堅實的支撐。通過大量實踐積累和深度優(yōu)化，構建了一套面向院后疾病管理領域的高精度人機對