領(lǐng)域大模型的挑戰(zhàn)與機遇^7從構(gòu)建到應(yīng)用

#領(lǐng)域大模型的挑戰(zhàn)與機遇：從構(gòu)建到應(yīng)用01

背景預(yù)訓(xùn)練語言大模型與大模型時代的知識工程02

大模型的領(lǐng)域適配如何構(gòu)建領(lǐng)域?qū)R的大模型？03

大模型的能力提升如何增強大模型在領(lǐng)域應(yīng)用中的特別能力？04

大模型的協(xié)同工作如何讓大模型在現(xiàn)有流程中發(fā)光發(fā)熱？目錄CONTENT#01背景“Given

the

breadth

and

depth

ofGPT-4’s

capabilities,

we

believe

thatit

could

reasonably

be

viewed

as

anearly

(yet

still

incomplete)

version

ofan

artificial

general

intelligence

(AGI)system

”強大的大模型底座知識能力大模型蘊含豐富的世界知識，內(nèi)涵大量人類常識人工智能之父MeCarthy：盡管自上世紀(jì)50

年代以來，常識知識一直是科研工作者重點關(guān)注的研究領(lǐng)域，但在AI眾多的分支中(如:模式識別和推理)，該領(lǐng)域是最難解決與突破的分支之一。大模型是否終結(jié)了知識工程？大模型的常識推理能力大模型是目前唯一能利用人類常識進行開放推理的技術(shù)現(xiàn)實應(yīng)用中存在大量變數(shù)，不能教條式地機械執(zhí)行傳統(tǒng)常識庫較小且難以用于實際推理傳統(tǒng)規(guī)則系統(tǒng)無法事先事無巨細(xì)地列舉各種特例規(guī)則ConceptNet，過于抽象，難以匹配現(xiàn)實場景年齡錯誤等潛藏矛盾難以事先制定規(guī)則避免從封閉到開放開放世界的理解能力大模型Agent可以執(zhí)行多步復(fù)雜任務(wù)大模型具備一定的完成復(fù)雜任務(wù)所需的動作規(guī)劃與執(zhí)行能力大模型Agent在Minecraft中自動采集材料、制造工具并最終構(gòu)建了所有物品Ghost

in

the

Minecraft:

Generally

Capable

Agents

forOpen-World

Environments

viaLarge

Language

Models

with

Text-basedKnowledgeand

MemoryOpenAI

Code

Interpreter可以通過多步編碼逐步完成各種復(fù)雜任務(wù)大模型在領(lǐng)域落地仍然遇到了諸多挑戰(zhàn)推理成本能力缺陷難以協(xié)同大模型的推理成本限制其應(yīng)用大模型推理需要大量時間、算力成本，使其難以用在大規(guī)模重復(fù)應(yīng)用中在實際應(yīng)用中，大小模型協(xié)同、按需使用大模型尤為重要Bert模型，每個句子0.05s以內(nèi)（3090）百億模型，每秒10-20個token（3090，使用投機采樣）100000個句子需要138h千億模型，調(diào)用API，平均每100個詞0.03rmb100000個句子需要3000r和大量時間對于大批量任務(wù)，百億、千億模型推理成本無法接受文本規(guī)模較大，智能要求相對低大模型蒸餾小模型知識抽取需要常識推理，傳統(tǒng)模型無法解決必須大模型知識沖突驗證需要智能，調(diào)用頻次較低大模型智能問答大模型在復(fù)雜決策場景仍有缺陷故障排查、疾病診斷、投資決策等嚴(yán)肅應(yīng)用場景ChatGPT比較好地實現(xiàn)了機器與人類的開放式對話，也就是開放式閑聊然而實際應(yīng)用場景多需機器的復(fù)雜決策能力，復(fù)雜決策是領(lǐng)域應(yīng)用根本特點豐富的應(yīng)用知識復(fù)雜的決策邏輯宏觀態(tài)勢的研判能力綜合任務(wù)的拆解能力精細(xì)嚴(yán)密的規(guī)劃能力復(fù)雜約束的取舍能力未知事物的預(yù)見能力不確定場景的推斷能力從開放閑聊到復(fù)雜決策仍有漫長道路在ToB應(yīng)用中需要協(xié)同能力和可控性定位：具備各種功能的多功能智能引擎各種企業(yè)流程已經(jīng)定型，目前大模型能力仍不可能直接替代企業(yè)整個部門大模型和現(xiàn)有員工現(xiàn)有流程的協(xié)同是重中之重如何設(shè)計大模型在現(xiàn)有企業(yè)流程中的角色？如何往大模型中注入企業(yè)私有的內(nèi)部知識，避免幻覺現(xiàn)象？系統(tǒng)流程設(shè)計企業(yè)內(nèi)部知識協(xié)同協(xié)議和接口如何制定大模型和企業(yè)現(xiàn)有流程/工具的接口和協(xié)議？如何控制大模型的開放能力，使其穩(wěn)定以指定協(xié)議輸??？#02領(lǐng)域適配領(lǐng)域模型的持續(xù)預(yù)訓(xùn)練本質(zhì)上是數(shù)據(jù)問題相比于訓(xùn)練模型的流程，數(shù)據(jù)的收集和配比更為重要模型微調(diào)方法已經(jīng)高度同質(zhì)化和傻瓜化1GB高質(zhì)量論文vs

1TB垃圾網(wǎng)絡(luò)語料要“高質(zhì)量”論文模型還是通用網(wǎng)絡(luò)語言模型？數(shù)據(jù)選擇+數(shù)據(jù)配比混入通用領(lǐng)域數(shù)據(jù)以避免災(zāi)難性遺忘收集并選擇有效的領(lǐng)域知識借助大模型能力進行數(shù)據(jù)增強借助大模型能力或環(huán)境反饋構(gòu)建數(shù)據(jù)行業(yè)/領(lǐng)域大模型的持續(xù)訓(xùn)練行業(yè)大模型煉制數(shù)據(jù)缺乏選擇依據(jù)，是否所有行業(yè)數(shù)據(jù)都要加入 訓(xùn)練？樣本數(shù)量少收集成本高基礎(chǔ)模型已經(jīng)習(xí)得是否進行微調(diào)不影響模型后續(xù)表現(xiàn)太基礎(chǔ)，不必要社會保障號碼有什么用？

買某支股票的流程是什么？太細(xì)節(jié)，不必要數(shù)據(jù)多，但知識少（比如實時股價）存在隱私問題公司里面每個人的社會保障號碼是多少？實時股價數(shù)據(jù)是怎樣的？行業(yè)特有反常識高覆蓋形式多樣高價值行業(yè)數(shù)據(jù)社會保障號碼長什么樣子？某股票分析報告？難點針對異質(zhì)來源的來源提示增強問題：大模型訓(xùn)練中語料配比難以確定，優(yōu)化不同下游任務(wù)需要提高各自對應(yīng)數(shù)據(jù)占比方案：預(yù)訓(xùn)練時向文本加入語料來源，用異質(zhì)語料的來源信息輔助模型學(xué)習(xí)；微調(diào)和推理時來源可手動添加也可用預(yù)訓(xùn)練模型自我生成效果：在領(lǐng)域和通用的設(shè)置下均取得提升；即使不加來源信息也能提高效果<SP>Bank

Indonesia

expects

GDP

will

be

less

than4.9%SourceOriginal

TextModelBank

Indonesia

expects

GDP

will

be

less

than4.9%<News>PretrainFinetune

&

InferenceModelNews

Books

Wiki

Paper

Review

Null

ManualNoSP

ManualSPModelSourceOriginal

TextAutoSP經(jīng)過來源增強的模型在8個下游任務(wù)中甚至超越了更大一檔規(guī)模的未增強模型Yipei

Xu,

DakuanLu,

Jiaqing

Liang,

et

al,

Source

Prompt:

Coordinated

Pre-training

of

Language

Models

on

Diverse

Corpora

from

Multiple

Sources基于來源增強的模型效果C4：來源標(biāo)簽的表述方法不太重要，即使使用不含語義的抽象字符，來源的劃分也能增強模型效果17C1：下游任務(wù)中不加入來源信息，完全沿用原來用法也可獲得可觀效果提升C2：指定或使用同一模型自動識別下游任務(wù)的所屬來源，可獲得更好效果C3：即使下游任務(wù)給定錯誤的來源標(biāo)簽，也可獲得效果提升，說明模型在預(yù)訓(xùn)練中獲得了增強建立訓(xùn)練數(shù)據(jù)的分類體系掌握大模型煉制工藝的關(guān)鍵參數(shù)，及其對大模型效果的評價體系什么樣的數(shù)據(jù)決定怎樣的能力？建立數(shù)據(jù)特性與模型能力之間的因果關(guān)系數(shù)學(xué)、生物學(xué)、歷史學(xué)、哲學(xué)、經(jīng)濟學(xué)、計算機科學(xué)...學(xué)科知識領(lǐng)域

自然語言、編程語言、邏輯表達式英語、中文、德語、日語、法語、俄語...

嚴(yán)肅、正式、幽默、口語、科普、學(xué)術(shù)...

新聞、小說、散文、詩歌、自傳、日記、網(wǎng)絡(luò)用語...積極、消極、中性、憤怒、快樂、悲傷兒童、青少年、成年人、專業(yè)人士、普通大眾科學(xué)、文學(xué)、藝術(shù)、歷史、養(yǎng)生、體育、金融、政治圖像描述、視頻描述、音頻轉(zhuǎn)錄、圖表和數(shù)據(jù)表格語言類型

語種

文風(fēng)

文體

情感和情緒

目標(biāo)受眾

題材

多模態(tài)數(shù)據(jù)

#03能力提升大模型理解復(fù)雜指令的能力現(xiàn)有大模型評估基準(zhǔn)主要集中在知識、復(fù)雜推 理、代碼。證明小模型已經(jīng)具備一定指令泛化 的能力，可以完成簡單指令。然而，專業(yè)領(lǐng)域場景下的指令往往非常復(fù)雜任務(wù)描述：多任務(wù)、形式約束、語義約束、數(shù)值約束輸入文本：長度長、噪音多、異構(gòu)、多輪對話小模型對復(fù)雜指令的理解仍存在較大缺陷忽略語義約束生成的答案不符合形式約束生成的答案長度、樣本數(shù)量不對不遵循給定的輸入文本作答缺乏一個系統(tǒng)性研究大模型復(fù)雜指令理解能力 的評估基準(zhǔn)Can

Large

Language

Models

Understand

Real-World

Complex

Instructions?

AAAI2024復(fù)雜指令評估基準(zhǔn)系統(tǒng)性總結(jié)了復(fù)雜指令的8個特征，構(gòu)建了包含9個任務(wù)的復(fù)雜指令評估數(shù)據(jù)集，提出了4個評估準(zhǔn)則以及對應(yīng)的自動化評估指標(biāo)，以期系統(tǒng)性地評估大模型理解真實場景下復(fù)雜指令的能力針對復(fù)雜指令開放任務(wù)的評估指標(biāo)精確匹配不適用于開放任務(wù)模糊匹配語義很相似不一定是正確答案GPT-4打分Large

Language

Models

are

not

Fair

Evaluators得分點設(shè)計得分點自動組合和挖掘問題正確答案待評估答案后置nvme硬盤使用的是哪種接口？后置nvme硬盤使用的是pcie接口NVMe硬盤的接口類型為PCIe

NVMe。什么是license的公共郵箱？license公郵：

license@License的公共郵箱是：

license@。典型的Agent復(fù)雜指令：完成xxx任務(wù)從以下行為中進行選擇以json格式輸??不要有多余的推理過程提升大模型數(shù)量推理能力專業(yè)領(lǐng)域需要大模型理解大量數(shù)值、量綱表述，比如制造業(yè)、財務(wù)、金融、醫(yī)療事件A，臨界溫度，150K，當(dāng)前溫度-100攝氏度，事件A觸發(fā)了嗎？一個長方形長和寬分別是4米和5米，周長是多少厘米？大模型產(chǎn)生的錯誤答案：(4+5）

*

2=

18，正確答案：1800

（厘米）通用大模型對于數(shù)值處理、量綱理解能力有限Enhancing

Quantitative

Reasoning

Skills

of

Large

Language

Models

through

Dimension

Perception.

ICDE

2024大模型的量綱與數(shù)值認(rèn)知增強優(yōu)良的數(shù)據(jù)集、高質(zhì)量的知識庫仍是優(yōu)化通用大模型某方面能力的捷徑量綱單位知識庫：通過面向量綱特性的單位知識庫，以補充LLM缺失的量綱常識量綱認(rèn)知的預(yù)訓(xùn)練增強：通過量綱認(rèn)知預(yù)訓(xùn)練，將量綱常識和量綱認(rèn)知能力隱式注入模型中數(shù)量推理下游應(yīng)用：面向量綱認(rèn)知的數(shù)據(jù)增強+基于知識提示增強推理，提升在數(shù)量推理任務(wù)上的能力經(jīng)過維度感知增強的模型在帶單位的物理量推理任務(wù)上顯著超過了GPT-4（50.67%

vs

43.55%）大模型的自我糾正能力動機：大模型生成答案時，并不是一次性就能形成正確、可信、完備的結(jié)果。通過賦予模型自我糾正的能力，模型能夠檢查自己初始生成結(jié)果并且進一步改進生成答案，從而提升模型生成質(zhì)量。方案：在大模型中引入“內(nèi)在的自我糾正”機制。設(shè)計構(gòu)造自我糾正數(shù)據(jù)集，通過指令微調(diào)，并提出部分答案掩碼（PAM）訓(xùn)練方法，激發(fā)大模型的自我糾正能力。使得模型自身能夠自發(fā)地對自己生成的初始答案進行自我驗證、自我修改。經(jīng)過自我糾錯增強的模型，其自我糾錯一輪后的問題回答正確率相比直接回答提升5.6%利用模型內(nèi)在的自我糾正機制處理用戶請求的流程自我糾正數(shù)據(jù)的處理流程基于環(huán)境反饋的代碼模型修正增強核心思想：使用來自代碼執(zhí)行環(huán)境的結(jié)果反饋，借助大模型的代碼修正能力以及對錯誤信息的理解能力構(gòu)建面向命令修正的數(shù)據(jù)集，增強自研小型專業(yè)模型的命令生成能力，使自研模型對運維命令生成具備自我修正能力。以NL2Shell（命令生成）任務(wù)為例在訓(xùn)練階段，使用來自代碼執(zhí)行環(huán)境的結(jié)果反饋，借助大模型的代碼修正能力以及對錯誤信息的理解能力構(gòu)建面向命令修正的數(shù)據(jù)集，構(gòu)建相應(yīng)的指令集，通過指令微調(diào)，訓(xùn)練小型專業(yè)模型對于運維命令的評估、生成與修正能力。在推理階段，利用自研模型的命令生成與評估能力，實現(xiàn)自研模型的自我反思優(yōu)化。ShellGPT在領(lǐng)域任務(wù)上的性能超過ChatGPT，基于反饋能夠提升自然語言轉(zhuǎn)命令、命令糾錯準(zhǔn)確率約3-5%Jie

Shi,

Bo

Xu,

Jiaqing

Liang,

Yanghua

Xiao.

ShellGPT:

A

Small

Self-Refining

Language

Model

for

Shell

Command

Generation#04協(xié)同工作大模型與知識工程的結(jié)合當(dāng)前大模型能力仍不足以完全替代目前較為成熟的知識工程流程大模型需要與當(dāng)前成熟的知識工程方案進行協(xié)同和結(jié)合如知識抽取，知識庫問答、文檔檢索、規(guī)則推理系統(tǒng)等大模型使能知識工程傳統(tǒng)知識工程流程中 的大模型協(xié)同知識工程增強大模型領(lǐng)域知識檢索增強的 大模型應(yīng)用從“小模型+專家”到“小模型+大模型+專家”極大增強開放推理能力從“端到端”到“檢索-增強-溯源-驗證”極大緩解大模型“亂說話”的問題大小模型協(xié)作的例子大小模型協(xié)作是降低應(yīng)用成本的有效方法絕大多數(shù)簡單例子（80-20法則），傳統(tǒng)的BERT模型就可解決，其應(yīng)用成本可忽略不計需要常識、推理、分析的樣本才交由大模型解決xxx（1957年1月3日-2011年1月2日），男，漢族，安徽人，

1984年4月參加工作。xxx和yyy在車庫里夜以繼日地寫??了DOS1.0，這就是微軟公司的第一個產(chǎn)品。大模型小模型成功失敗/拒答輸??結(jié)果基于拒答回退的大小模型協(xié)作大小模型協(xié)作的抽取-糾錯-問答流程知識庫語料關(guān)系抽取文檔多，使用小模型主語糾錯基于別名庫常識檢測依賴常識，使用大模型，離線進行同名檢測小模型篩選，大模型語義識別問答訪問頻率低，使用大模型現(xiàn)階段大模型作為重型高成本工具，應(yīng)當(dāng)被用在非它不可的部分大模型使能知識工程為什么不使用大模型直接端到端問答？業(yè)務(wù)要求高可控性，中間知識庫提供了人類維護的接口真實場景中語料的錯誤或矛盾不可忽視解耦的知識庫可以支撐其他更多下游應(yīng)用大模型在這一流程中起什么作用？不可替代的常識驗證和推理能力高準(zhǔn)確率的保底/教師方案迄今為止最強大的Few-shot

Learner僅需1-3個示例即可讓模型完成各種特異的任務(wù)僅需不到100條數(shù)據(jù)的微調(diào)即可定制化更復(fù)雜的任務(wù)大小模型協(xié)作的抽取-糾錯-問答流程關(guān)系抽取知識庫沿用傳統(tǒng)知識抽取-入庫-問答流程，但使用大模型提升其能力語料文檔多，使用小模型主語糾錯基于別名庫常識檢測依賴常識，使用大模型，離線進行同名檢測小模型篩選，大模型語義識別問答訪問頻率低，使用大模型基于大模型的抽?。篠noopIE復(fù)雜知識抽取任務(wù)需要多種不同的能力識別元素、關(guān)系識別、實體配對等通過多階段指令微調(diào)來增強模型抽取能力將現(xiàn)有抽取數(shù)據(jù)集自動拆分為各種抽取子任務(wù)以課程學(xué)習(xí)從簡單到困難訓(xùn)練模型各種子任務(wù)使用前通過少量訓(xùn)練適配具體抽取任務(wù)中文通用大模型SnoopIEeasySnoopIE新聞抽取簡歷抽取網(wǎng)頁抽取通用NLP任務(wù)簡單抽取任務(wù)實體識別關(guān)系抽取復(fù)雜抽取任務(wù)復(fù)雜Schema抽取任務(wù)復(fù)雜格式定義復(fù)雜任務(wù)描述具體抽取任務(wù)數(shù)據(jù)微調(diào)提升單一任務(wù)的抽取能力在新聞人物信息抽取任務(wù)中，僅使用300條數(shù)據(jù)微調(diào)達到了92%準(zhǔn)確率（由于格式和需求不一致問題，ChatGPT僅有60%準(zhǔn)確率）……三元組抽取的大小模型協(xié)同（LS-RTE）動機：小模型和大模型在不同子任務(wù)上各有優(yōu)劣，大小模型結(jié)合可以互相配合，取長補短方法：將三元組抽取任務(wù)分解成四部分，每部分讓表現(xiàn)最好的模型來做：關(guān)系分類：小模型做，只取得分最高的3個關(guān)系實體抽取：大模型做，構(gòu)建提問模板，分兩步提問頭尾實體實體補全：小模型做，補充大模型的遺漏錯誤消除：大模型做，把錯誤的不合語義的三元組刪除實驗：超過單獨小模型SOTA

17.93%，以及單獨大模型基線方法26.7%KG-Verify：基于大模型的知識驗證與更新大模型可以對抽取出的知識進行驗證，并決策該知識應(yīng)當(dāng)插入/替換/丟棄大模型包含大量世界常識，可以進行精準(zhǔn)的實體匹配和實體鏈接通過與已有知識庫中的知識進行比對，能夠有效糾正邏輯矛盾與常識錯誤知識驗證結(jié)束后，對知識庫進行更新、補充、刪除等不同操作核心：基于知識圖譜的證據(jù)檢索將模糊匹配實體相關(guān)信息作為證據(jù)，由大模型能力進行推理輸入文本……2022年度央視十佳主持人評選活動于今日開啟，薩貝寧、尼格買提、李詠等知名主持人??席活動，并組織、監(jiān)督投票工作……候選知識（薩貝寧，參加活動，2022年度央視十佳主持人評選）（尼格買提，參加活動，…）（李詠，參加活動，…）庫內(nèi)知識（撒貝寧，職業(yè)，央視主持人）已有知識比對糾錯（薩貝寧撒貝寧，參加活動，2022年度央視十佳主持人評選）大模型常識推理驗證Prompt：請根據(jù)已有信息判斷上述知識是否存在邏輯矛盾或常識錯誤

Ans：（李詠，參加活動，2022年度央視十佳主持人評選）錯誤，李詠已于2018年去世，這與“2022年??席活動”相違背LLM事實驗證比對糾錯相關(guān)知識檢索……2018年10月25日凌晨5點20分，前央視主持人李詠因癌癥在美國去世……知識庫編輯知識更新知識補充錯誤/過期知識刪除在新聞人物信息抽取任務(wù)中，糾錯準(zhǔn)確率達到了90%，召回率達到70%基于自動生成數(shù)據(jù)的Schema對齊問題：領(lǐng)域數(shù)據(jù)庫Schema過于復(fù)雜，無法放入Prompt上下文中例：200張表格，平均每表100列Schema檢索方案：面向文檔的檢索方式對Schema檢索效果較差A(yù)gent方案：成功率堪憂，同一流程需要重復(fù)探索，Memory放不下基于合成數(shù)據(jù)微調(diào)的Schema適配策略通用大模型已有較好的問題意圖識別和SQL翻譯能力但其不知道領(lǐng)域數(shù)據(jù)庫的具體Schema在種子樣本基礎(chǔ)上，大模型自動構(gòu)造樣本讓模型學(xué)習(xí)Schema從通用表述翻譯到私有領(lǐng)域表述，需要首先理解領(lǐng)域Schema從私有領(lǐng)域表述翻譯到通用表述，只需要通用常識大模型不知道：為何“表現(xiàn)”對應(yīng)于“近1年區(qū)間回報(%)”?大模型不知道：為何“消費基金”需要從基金名字進行查詢？未覆蓋

Schema枚舉問題生成SQL生成查詢糾正微調(diào)訓(xùn)練僅通過約300條樣本的微調(diào)，對覆蓋的Schema部分達到97%問答準(zhǔn)確率，且可繼續(xù)增加數(shù)據(jù)訓(xùn)練針對大模型文檔問答的融合檢索方法問題：基于領(lǐng)域文檔的檢索+問答已經(jīng)成為常見的流程，但現(xiàn)有方法召回率不高大模型問答中的知識檢索對于排序不敏感，但對于召回率和總長度較為關(guān)注稀疏檢索（如BM25）對領(lǐng)域中常見的精確問題檢索效果較好，但缺乏語義泛化性，召回率低稠密檢索（如BGE）模糊語義檢索效果較好，但容易召回語義相近但不準(zhǔn)確的內(nèi)容，精確率低方案：結(jié)合稀疏檢索和稠密檢索的結(jié)果，通過問題中實體的IDF信息控制兩種檢索結(jié)果的融合比例若問題中包含大量專有名詞，則應(yīng)