2024圖書館領域大模型創(chuàng)新應用需求調(diào)研報告V0-WN8正式版

圖書館領域大模型創(chuàng)新應用需求調(diào)研報告（征求意見稿

V0.9）上海圖書館（上?？茖W技術情報研究所）智慧圖書館技術應用聯(lián)盟2024

年

5

月說

明本報告為《圖書館領域大模型

新應用需求調(diào)研報告》的征求意見稿，僅供內(nèi)部討論、意見征集使用。在本

告的編纂過程中，得到諸多同仁及聯(lián)盟成員的寶貴支持和專業(yè)意見，對此表示衷心的感謝。本報告版權(quán)屬于上海圖書館（上海科學技術情報研究所）、智慧圖書館技術應用聯(lián)盟。本報告第二章節(jié)行業(yè)應用調(diào)研部分，整理自國內(nèi)外公開網(wǎng)絡信息和機構(gòu)研報特此致謝！感謝各有關機構(gòu)對大語言模型技術發(fā)展與行業(yè)應用的深入調(diào)研，并公開分享這些寶貴的學習資源。由于大模型技術與應用領域的飛速發(fā)展，本報告編寫期很多方面如大模型能力、應用框架、多模態(tài)和智能體等方面已發(fā)生很多進展，雖然本報告盡可能考慮了相關技術對領域應用的影響，但還是強烈建議您在參考本報告內(nèi)容時，密切關注大模型技術的最新進展和動態(tài)。同時，我們深知本報告難免還存在不少疏漏與不足之處，因此我們對此表示歉意，并希望您提供寶貴的反饋建議。報告各章編輯：第一章

前言（嵇婷）第二章

大模型行業(yè)應用

研（許磊）第三章

大模型對

書館的影響（嵇婷、周綱、許磊）第四章

智慧圖大模型應用（嵇婷、周綱、許磊）第五章

圖書館典型大模型應用需求及場景舉例（嵇婷、周綱、許磊、劉倩倩、姚馨、劉貝玲、徐凡、呂思詩、張春景）第六章

總結(jié)與展望（嵇婷）聯(lián)系方式：如對報告有任何建議，歡迎將反饋意見發(fā)送：calsp@。第一章

前人工智能（AI）技術以其迅猛的發(fā)展勢頭，正在成為推動社會進步的重要力量。在

AI

時代浪潮的推動下，以大模型技術為代表的生成式人工智能已經(jīng)成為推動科技進步和產(chǎn)業(yè)變革的重量，為各行各業(yè)帶來了革新的可能。2023

年

7月，國家互聯(lián)網(wǎng)信息辦公室等七個中央部門聯(lián)合發(fā)布了《生成式人工智能服務管理暫行辦法》，文件鼓勵生成式人工智能技術在各行業(yè)、各領域的創(chuàng)新應用，探索優(yōu)化應用場景，構(gòu)建應用生態(tài)體系。2024

年，政府工作報告中明確提出深化人工智能研發(fā)應用，開展“人工智能+”行動。國家鼓勵人工智能技術與經(jīng)濟社各領域深度融合，以推動各行業(yè)應用創(chuàng)新，賦能百業(yè)智能化轉(zhuǎn)型升

。伴隨著新一代

AI

技術的興起，圖書館界也迎來了重要的契機，步入了一個既充滿機遇又面臨挑戰(zhàn)的新時代。在這一新的技術背景下，圖書館作為信息資源中心和知識服務核心場所，必須適應新時代的發(fā)展趨勢，把握機遇，積極應對將

AI

融入運營與服務中的復雜挑戰(zhàn)。為了有效應對變革，上海圖書館（上?？茖W技術情報研究所）聯(lián)合上海人工智能研究院、智慧圖書館技術應用聯(lián)盟于2023

年

9

月發(fā)布了《圖書館大規(guī)模模型創(chuàng)新與應用白皮書》。白皮書從宏觀層面，解讀了智慧圖書館在

AI2.0

時代的發(fā)展環(huán)境和機遇，勾勒了大模型技術賦能智慧圖書館全景應用視圖、實現(xiàn)路徑

應用架構(gòu)，為行業(yè)推進場景創(chuàng)新、落地實踐、生態(tài)建設提出了方向性、建設性的參考與建議。本報告旨在作為《圖書館大規(guī)模模型創(chuàng)新與應用白皮書》的補充，深入探討大模型技術在圖域的應用價值與潛在影響。在白皮書提出的圖書館領域大模型應用的總體架

與應用視圖的基礎上，本報告進一步分析了大模型技術在智慧圖書館中可實踐應用的具體領域、場景和需求。本報告旨在揭示大模型在智慧圖書館中的應用潛力與可能性，提供圖書館在探索大模型技術

新應用的參考，以助

圖書館更好地把握人工智能發(fā)展所帶來的機遇。報告第二章首先對大模型的價值、技術、行業(yè)應用進行調(diào)研，旨在洞察行業(yè)趨勢，評估大模型技術在圖書館領域的應用前圖書館的影響后，提出了圖書館應用大模型的第三章在詳細分析了大模型對、路徑和架構(gòu)。報告第四章根據(jù)當前技術發(fā)展和落地現(xiàn)狀，梳理了圖書館在智慧服務、智慧業(yè)務、智慧管理、智慧空間四個領域中，當前可實

、實施或展望的

AI

應用，并進行總結(jié)。第五1章重點聚焦于圖書館中的八個典型領域，通過需求分析、場景舉例以及相關實踐案例，深入探討了大模型技術在這些領域的應用潛力。這八個領域是：參考咨詢、資源發(fā)現(xiàn)、閱讀推廣、學術服務、采編輔助、資源加工、數(shù)字人文和管理決策，通過對這些關鍵領域的詳細討論告意在激發(fā)更多的創(chuàng)新思維，促進圖書館領域在大模型技術的開發(fā)應用和產(chǎn)品設計方面的思考與實踐。人工智能技術正處于快速演變之中。因此，本白皮書所闡述的觀點和建議反映了當前階段性的探索與思考。這些內(nèi)容旨在為圖書館領域的未來發(fā)展提供啟發(fā)，并促進對新興技術趨勢的理解和應用。隨著技術進步和實踐經(jīng)驗的積累，未來應用模式和需求可能會有所變化，需持續(xù)對這些變革保持關注，并適時進行調(diào)整和優(yōu)化以適應新的發(fā)展趨勢。我們深知報告中存在諸多不足之

，因此，我們也誠摯邀

各界人士進行批評指正，我們將借助各方經(jīng)驗對報

進行修改和完善，從而為智慧圖書館大模型創(chuàng)新應用提供有益參考。2第二章

大模型行業(yè)應用調(diào)研2.1

大模型行業(yè)應用價值2022

年

11

月上線的生成式人工智

（AIGC，AI-Generated

Content）應用ChatGPT，在“大模型+大數(shù)據(jù)+

力”的加持下，其在語義理解、文本創(chuàng)作、代碼編寫、邏輯推理、知識問答等領域表現(xiàn)卓越，在具備了多場景、多用途、跨學科的任務處理能力，是人工智能技術極為關鍵的發(fā)展節(jié)點1。ChatGPT

的橫空出世，標志著大語言模型（Large

Language

Model,

LLM，簡稱“大模型”）突破自然語言處理（Natural

Language

Processing，NLP）領域以小模型為主導的傳統(tǒng)發(fā)范式。通常認

，大語言模型是基于海量自然語言數(shù)據(jù)進行預訓練

得到的超大型深度學習模型，參數(shù)通常從數(shù)十億到超千億。底層基于

Trmer

深度神經(jīng)網(wǎng)絡，由具有自注意力功能的編碼器和解碼器組成，編碼器和解碼器從一系列文本中提取含義，能夠理解更大范圍上下文的單詞和短語之間的語義關系。這種巨量數(shù)據(jù)訓練架構(gòu)使得大語言模型具有了被稱為“涌現(xiàn)”的泛化推理能力2，使其具有了通用人工智能（AGI）的特性。用同樣方法對海量圖片、音頻、視頻等多媒體信息結(jié)合語言數(shù)據(jù)進行預訓練和指令微調(diào)的超大型深度學習模型也是大語言模型的一種發(fā)展，通常稱為多模態(tài)大模型。也可以將上述兩者并稱為“大模型”。大模型的“涌現(xiàn)能力”不僅可以實

文本、圖像、音頻、視頻的生成，構(gòu)建多模態(tài)，還可以在更為廣泛的領域生成新的設計，新的知識，甚至實現(xiàn)廣義的藝術和科學的再創(chuàng)造3。大模型的“大規(guī)模”和“預訓練”屬性，決定了其具有能力泛化、技術融合、應用大核心作用4。（1）能力泛

方面，大模型預先在海量通用數(shù)據(jù)上訓練使其具備了通用任務的泛化能力，更可進一步結(jié)合垂直行業(yè)和業(yè)務場景需求進行模型微調(diào)和應用適配，擺脫傳統(tǒng)

AI

能力碎片化、作坊式開發(fā)的束縛。大模型得益于其“大規(guī)模預訓練﹢

調(diào)”的范式，可以很好地適應不同下游任務，展現(xiàn)出它強大的通用性。（2）技術融合方面，文本大模型融合語言、視覺、聽覺等多模態(tài)信息，通1中國人工智能學會.

中國人工智能系列白皮書——大模型3

版）,/index.php?s=/home/article/detail/id/3172.html,

2023.2趙鑫,

李軍毅,

周昆,

唐天一,

文繼榮.

大語言模型,

https://llmbook-zh.github.io/,

2024.34龍志勇,

黃雯.

大模型時代：ChatGPT

開啟通用人工智能浪潮[M].

中譯出版社,

2023.海通國際.

MaaS

Model

as

a

Service

模

即服務,

/pdf/H3_AP202302081582885375_1.pdf,

2023.3過對齊預訓練和指令微調(diào)，實現(xiàn)多模態(tài)感知與統(tǒng)一表示；也可集成知識圖譜、搜索引擎、代碼執(zhí)行、工具調(diào)用等技術，或者與小

型融合，從而實現(xiàn)優(yōu)勢互補，性能上實現(xiàn)“1+1>

2”的效果，顯著提升

模型的功能豐富性和性能優(yōu)越性

1、2。（3）應用支撐方面，大模型能力的重要體現(xiàn)是復雜任務推理

2。復雜推理能夠使大模型應用通過與工具、用戶和外部環(huán)境的互動來完成復雜的指令。這為構(gòu)建大量應用程序提供了機會，從而使大模型有機會成為下一代計算平臺/操作系統(tǒng)，有效支撐智能終端、系統(tǒng)、平臺等產(chǎn)品應用落地，解決傳統(tǒng)

AI

應用過程中存在的壁壘多、部署難問題。從人工智能到各行業(yè)的商業(yè)應用，可以看作是上下游的關系。大模型因其自身在能力泛化與技術融合方面的優(yōu)勢，使其在應用支撐方面具

先進性；同時大模型做

了相對標準化，下游可以降低對算法的使用成本，商業(yè)應用的適配成本。因此，大模型在“AI+”行業(yè)中將承擔“基礎設施”式的功能，作為底座將

AI技術賦能千行百業(yè)。也就是說，在基于數(shù)據(jù)的互聯(lián)網(wǎng)時代、基于算力的云計算時代之后，將進入基于大模型的

AI

時代。在未來，基于大模型，人工智能將如供水供電一般流向終端，流向用戶和企業(yè)。2.2

大模型行業(yè)應用服務大模型應用落地場景按照架構(gòu)層級，一般可分為：模型層、中間層和應用層5。（1）第一層技術基礎設施層上游基礎模型層，也就是由預訓練模型為基礎搭建的

AIGC預訓練模型的高成本和技術投入，具有較高的進入門檻，不在本文討論范圍。（2）第二層，為中間層，即垂直化、場景化、個性化的模型和應用工具。預訓

的大模型是基礎設施，在此基礎上可以快速抽取生成場景

、定制化、個性化的小模型，實現(xiàn)在不同行業(yè)、垂直領域、功能場景的工業(yè)流水線式部署，同時兼具按需使用、高效經(jīng)濟的優(yōu)勢。隨著兼具

模型和多模態(tài)的

AIGC

模型加速成為新的技術平臺，模型即服務

(Modelce，MaaS)

開始成為現(xiàn)實。OpenAI

創(chuàng)始人山姆·奧特曼（Sam

Altman）“認為中間那一層會創(chuàng)造很多價值。5騰訊研究院.

AIGC

發(fā)展趨勢報告

2023,

https://

/report?id=AJJ,

2023.4它們不必創(chuàng)建基本模型，可以只為自己或與人共享來創(chuàng)造應用。這是創(chuàng)業(yè)公司能夠做的關于數(shù)據(jù)飛輪的事。”（3）第三層，為應用層，即面向

端用戶的文字、圖片、音視頻等內(nèi)容生成服務。在應用層，側(cè)重滿足戶的需求，將

AIGC

模型和用戶的需求無縫銜接起來實現(xiàn)產(chǎn)業(yè)落地。根據(jù)內(nèi)容生產(chǎn)模態(tài)，AIGC

能夠被分為四大基礎模態(tài)，包括文本、音頻、圖像、視頻，每一種模態(tài)技術都有著獨特的應用場景和特點。此外，這四類模態(tài)的融合還帶來第五類模態(tài)——跨模態(tài)內(nèi)容生成模式，支持創(chuàng)造出更為豐富多彩的

AIGC

生成內(nèi)容

6。2023

中關村論壇人工智能大模型發(fā)展論壇，阿里云智能集團

CTO

周靖人表示，“以模型為中心的開發(fā)范式（MaaS）已成為行業(yè)標準，未

應用開發(fā)的整個鏈路都

基于這一理念來做”。所謂

MaaS，模型即服務，指用戶可以直接通過

API

調(diào)用基礎大模型，為不同的業(yè)務場景，來構(gòu)建、訓練和部署專屬模型。云平臺提供從數(shù)據(jù)、模型到應用服務的全周期管理和工具。AI

產(chǎn)業(yè)的場景落地一直面臨碎片化、長尾場景數(shù)據(jù)較少導致模型訓練精度不夠等行業(yè)痛點。傳統(tǒng)“小模型”范式的

AI

應用開發(fā)流程一般針對單一場景，獨立地完成一系列開發(fā)環(huán)節(jié)，包括模型選擇、數(shù)據(jù)處理、模型優(yōu)化和模型迭代。因此，AI

應用在定制化需求、長尾

求下的開發(fā)效率較低，且模型精度、性能、可擴展性等指標質(zhì)量也會受到影響。隨著大模型的出現(xiàn)，AI

應用開發(fā)流程轉(zhuǎn)變?yōu)椋{(diào)用通用流程、結(jié)合行業(yè)經(jīng)驗、解決實際問題。Maas

服務商大模型作為重要的生產(chǎn)元素，依托于既有

IaaS

設施與

PaaS平臺架構(gòu)，為下提供以大模型為核心的數(shù)據(jù)處理、模型托管、模型訓練、模型調(diào)優(yōu)、推理部署、智能應用開發(fā)等多樣化需求，保障客戶的大模型

夠順利交付?？蛻魟t通過低成本、高效率的

MaaS

平臺服務獲得

AI

能力，完成

AI

應用的開

、優(yōu)化及部署，將

AI

能力應用滲透到各行各業(yè)的場景業(yè)務中7。6橫琴粵澳深度合作區(qū)數(shù)鏈數(shù)字金融研究院,

亞洲數(shù)據(jù)集產(chǎn)業(yè)應用實踐,

/wp-content/uploa能行業(yè)智能時代的生產(chǎn)力變革：AIGC06/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E8%A1%8C%E4%B8%9A%E6%99%BA%E8%83%BD

E6%97%B6%E4%BB%A3%E7%9A%84%E7%94%9F%E4%BA%A7%E5%8A%9B%E5%8F%98%E9%9D%A9%EF%BC%9AAIGC%E4%BA%A7%E4%B8%9A%E5%BA%94%E7%94%A8%E5%AE%9E%E8%B7%B5-DAFRI

DG.pdf,

2023.7艾瑞咨詢.

2023

年中國

AIGC

產(chǎn)業(yè)全景報告,

/report/202308/4227.shtml,

2023.5圖

2.2：MaaS

行業(yè)應用服務模式8目前，微軟云

Azure、阿里云、華為云、騰訊云、百度云、京東云等云計算大廠，都已經(jīng)推出了

MaaS

服務。以微軟云的

Azure

OpenAI

服務為例，就支持開發(fā)者調(diào)用

OpenAI

GPT-4、GPT-3、Codex

和

DALL-E

等模型的

API，來構(gòu)建、微調(diào)模型，為應用提供支持。騰訊云從產(chǎn)業(yè)客戶需求場景出發(fā)，依托騰訊云

TI平臺打造模型精選商店。騰訊云已聯(lián)合行業(yè)頭部企業(yè)，為十大行業(yè)輸出了超過50

個解決方案，提供一整套模型服務工具鏈。傳統(tǒng)企業(yè)軟件服務商金蝶利用百度智能云千帆平臺所提供的大模型推理、微調(diào)以及算力資源服務，發(fā)布了新一代企業(yè)管理產(chǎn)品金蒼穹

GPT9。2.3

大模型行業(yè)術方案大語言模型在語言生成、知識利用、復雜推理等基礎能力上存在諸多問題，典型如幻覺、知識時效性、專業(yè)化生成能力較弱、推理不一致等問題10。在實際應用

需要綜合運用提示詞工程、檢索生成增強、智能體、模型微調(diào)等多種策略和技術方案提升大模型的穩(wěn)定性與一致性。2.3.1

提示詞工程簡單來說，現(xiàn)階段基于

Transformer

架大模型，是根據(jù)輸入預測下8艾瑞咨詢.

2023

年中國

AIGC

產(chǎn)業(yè)全景報告,

/report/202308/4227.shtml,

2023.9/news/news_f4b25

2-cc8b-406d-98f7-05fbe1b48c2210趙鑫,

李軍毅,

周昆,

唐天一,

文繼榮.

大語言模型，https://llmbook-zh.github.io/,2024.6一個詞元。因此，基于自然語言的提示詞工程（Prompt

engineering）成為大模型實際應用的主要方法。所謂提示是經(jīng)過精心構(gòu)造由不同要素組成的任務指令來引導模型的輸出，使大模型能夠在不同的

務和領域中表現(xiàn)出色。而提示的質(zhì)量也在很大程度上影響了大模型在下務中的表現(xiàn)，因此需要通過人工設計或自動優(yōu)化的方法來生成合適的任務提示。人工設計大語言提示需要考慮四個關鍵要素，即任務描述、輸入數(shù)據(jù)、上下文信息和提示策略?；谶@四個關鍵要素，提示設計的基本原則分別是：清晰地表達任務目標；分解為簡單且詳細的子任務；提供少樣本示例；采用模型友好提示格式11。（1）清晰地表達任務目標。在使用大模型時需要給出清

明確的指令。具體來說

一個清晰詳盡的任務描述中應當包含任務的各種要素

息，如任務目標、輸入/輸出數(shù)據(jù)和回復限制。（2）分解為簡單且詳細的子任務。將一個復雜任務分解為若干個相對獨立但又相互關聯(lián)的子任務，每個子任務都對應原始任務的某個方面或步驟。這種策略有助于減少復雜任務的解決難度：通過將復雜任務分解為若干個子任務并按照一定的順序處理這些子任務，模型能夠逐步獲得最終的答案。（3）提供少樣本示例。在提

中加入少量目標任務的輸入輸出作為任務示例（即少樣本示例），有助于大模型在無需調(diào)整參數(shù)的前提下學習輸入與輸出之間的語義映射關系，提升大模型解決復雜任務的能力。（4）采用模好的提示格式。大模型采用專門構(gòu)建的數(shù)據(jù)集進行預訓練，習到大量的語言表達模式，發(fā)現(xiàn)并利用這些語言表達模式因此可以從數(shù)據(jù)可以幫助我們更有效地使用大模型完成特定任務。如

Markdown

語法、XML

標簽等。循上述原則設計的簡單提示對于大多數(shù)的問題都是有效的，但涉及復雜推理任務時，則需要更高級的提示策略。其中被廣泛應

的就是思維鏈（Chain

ofThought，CoT）。為增強大模型在各類復雜推理任務上的Wei

等人12設計了思維鏈的提1112趙鑫,

李軍毅,

周昆,

唐天一,

文繼榮.

大語言模型，https://llmbook-zh.github.io/，2024Wei

J,

Wang

X,

Schuurmans

D,

et

al.

in-of-Thought

Prompting

Elicits

Reasoning

in

Large

LanguageModels[J].

arXiv,

2022.7示策略。思維鏈的主要思想是通過向大模型展示一些少量推理過程，大模型在回答時也會顯示推理過程，這往往會引導出更準確的結(jié)果。具體來講思維鏈提示在原先的少樣本示例的輸入輸出之間，插

了中間的推理步驟來指導從輸入到輸出的推理過程，即“輸入，推理步輸出”形式，也可稱為少樣本思維鏈提示（Few-Shot

CoT）。另外，最簡單的思維鏈提示，可以在提示中加入如

“Let’s

thinkstep

by

step.”之類的誘導性指令，讓大模型先生成思維鏈再回答問題來提高準確率，也就是零樣本思維鏈提示（Zero-Shot

CoT）13。也有更多基于思維鏈的優(yōu)化或變體提示策略，如自洽性（Self-Consistency）、最少到最多提示過程

(LeastMost

promptin

LtM)、思維樹（Tree-of-Thoughts、ToT）等。更多特定場景下的提示策略可閱讀相關綜述14。12圖

2.3.1：思維鏈提示樣例常用的提示工具有：PromptPerfect15、prompttools16

、promptfoo17、FlowGPT18等，更多相關工具見

LearnPrompting19。13Kojima

T,

Gu

S

S,

Reid

M,

et

al.

Large

Language

Models

are

Zero-Shot

Reas

ners[J].

arXiv,

2022.14Sahoo

P,

Singh

A

K,

Saha

S,

et

al.

A

Systematic

Survey

of

Ppt

Engineering

in

Large

Language

Models:Techniques

and

Applications[J].

arXiv,

2024.15https://promptperfect.jina.ai/16171819/hegelai/prompttools//promptfoo/promptfoo//docs/intro82.3.2

檢索生成增強當大模型處理本地的或特定領域信息時，幻覺、知識過時以及推理過程不透明、不可追蹤等問題進一步凸顯，不能

足業(yè)務實際需求。這就需要在提示中提供更多的專業(yè)知識作為上下文背確保大模型輸出的準確、可靠。檢索增強生成技術（Retrieval-Augmented

Generation，RAG）20通過整合外部數(shù)據(jù)庫的知識，成為一種高效的解決方案。RAG

通過傳統(tǒng)的檢索方法，用外部來源的最新信息補充大模型的訓練數(shù)

，使其不僅能夠訪問專屬知識庫，還能動態(tài)地引入最新數(shù)據(jù)，從而引導其生成更確的回復。一個典型的

RAG

系統(tǒng)流程分為索引、檢索和生成：（1）索引：索引首先從不同格式的文件中提取原始數(shù)據(jù)

將其轉(zhuǎn)換為統(tǒng)一的純文

格式。然后，文本被分割成更小的塊。最后，使用表示，并存儲到矢量數(shù)據(jù)庫中。模型編碼為矢量（2）檢索：檢索時，系統(tǒng)將用戶查詢轉(zhuǎn)換為向量表示。然后進行語義相似性檢索與問題最相關的前

k

個塊。（3）生成：將原始問題和檢索到的信息塊被合并為提示，一并輸入大模型生成最終答案。具體來講，RAG

系統(tǒng)涉及多

不同的組件，每個組件都需要精心設計和優(yōu)化，以確保整體性能達到令人滿意的水平。索引階段包括了文檔智能解析、文本分塊、索引構(gòu)建與優(yōu)化、向量嵌入等；檢索階段有檢索的理解與優(yōu)化、檢索路由與策略等；生成有重排序、上下文過濾與壓縮等。根據(jù)上述組件與優(yōu)化方案的選擇，RAG

可為原生、增強、模塊

3

種類型21。為進一步提高系統(tǒng)的性能，也會引入后置處理環(huán)節(jié)，如風控檢測、結(jié)果緩存、指標監(jiān)控等。而在生產(chǎn)環(huán)境中，則可以根據(jù)業(yè)務需求在原生

RAG

基礎上合理選擇擴展組件和優(yōu)化策略。R類工具有

Jina

Reader22、Scrapegraph-ai23、Crawl4AI24等專門為大模型優(yōu)20Lewis

P,

Perez

E,

Piktus

A,

et

al.

Retrieval-augmented

getion

for

knowledge-intensive

nlp

tasks[J].rge

Language

Models:

A

Survey[J].

arXiv,Advances

in

Neural

Information

Processing

Systems,

2020,

33:21Gao

Y,

Xiong

Y,

Gao

X,

et

al.

Retrieval-Augmented

Generatio2023.222324/jina-ai/reader/VinciGit00/Scrapegrap/unclecode/crawl4aii9化的網(wǎng)絡數(shù)據(jù)爬取工具，也有專門的文檔解析與數(shù)據(jù)處理工具，如

Unstructured25、marker-api26、Open

Parse27等；支持檢索、推薦、

濾等功能的

RAG

檢索

API28；有專用數(shù)據(jù)框架

LlamaIndex29，適用于

AG

和語義檢索的

Haystack30，基于深度文檔理解構(gòu)建的

RAG

引擎

RAG31，也有用于

RAG

程序搭建的

Verba32；綜合開發(fā)框架

LangChain33及其衍生低代碼平臺

Langflow34、Flowise35等；Cohere更推出了專為

RAG

微調(diào)優(yōu)化的大模型

Command

R

和

RAG

開發(fā)工具包36。2.3.3

智能體智能體（Agent）簡單來說可看作能感知環(huán)境及需求、進行決策和執(zhí)行動的系統(tǒng)。在大模型之前，Agent

主要依賴于規(guī)則或強化學習的方法實現(xiàn)。前者容錯性較小、后者成本較高，使其無法推廣應用到實際的開放環(huán)

中?；诖竽Ｐ偷?/p>

AI

A

nt

的核心思想是利用大模型的邏輯推理、工具應用

指令遵循等核心能力，將復雜任務分解為若干相關聯(lián)的子任務，并圍繞這些子任務制定包含一系列執(zhí)行動作（Action）的解決方案，進而簡化任務難度37，執(zhí)行復雜推理任務，豐富大模型在實際業(yè)務中的應用場景。2023

年

3

月，微軟發(fā)布

Microsoft

365Copilot，4

月開源項目

AutoGPT38發(fā)布，6

月

Lilian

Weng

發(fā)布“LLM

PoweredAutonomous

Agents”39，基于大模型的

AI

Agent

的重要性逐漸成為業(yè)界共識40、41、25/Unstructure/unstructured262728293031323334353637383940/VikParuchuri/marker//ruopen-parsec/trievema/llama_index/deepset-ai/haystack/infiniflow/ragflowhtt

s:///weaviate/Verbahttp/langchain-ai/langchainhttp

:///logspace-ai/langflow/FlowiseAI/Flowise/cohere-ai/cohere-toolkitHuang

X,

Liu

W,

Chen

X,

et

al.

Understanding

the

planning/Significant-Gravitas/AutoGPTts:

A

survey[J].

arXiv:2402.02716,

2024.Lilian

Weng.

LLM

Powered

Autonomous

Agents.

https://lilianweng.github.io/posts/2023-06-23-agent//AI-agents41/2024/0

01/1091979/sam-altman-says-helpful-agents-are-poised-to-become-ais-killer-function/1042。從技術角度

AI

Agent

是一種編排軟件，它將大模型、規(guī)劃能力、記憶、工具結(jié)合起來，執(zhí)行各種任務，例如理解和

成自然語言、從內(nèi)存中存儲和檢索信息、利用特定功能的工具，甚至評

身的表現(xiàn)。核心組件一般包括記憶模塊（Memory）、規(guī)劃模塊（Planning）和執(zhí)行模塊（Execution）43。（1）記憶模塊主要用于存儲智能體與環(huán)境的歷史交互記錄，包括短期記憶和長期記憶。短期記憶相當于

Transformer

架構(gòu)約束下的上下文窗口內(nèi)的輸入信息。長期記憶類似于可以根據(jù)需要迅速查詢和檢索的外部向量存儲。（2）規(guī)劃模塊賦予智能體類似于人類的解決復雜任務的能力，即將復雜任務分解為一系列簡單的子任務，進而逐一進行解決。根據(jù)是否

收反饋影響未來行為，

分為無反饋規(guī)劃和有反饋規(guī)劃。在無反饋規(guī)劃中，我們可以采用單路徑推理，這種策略將最終任務分解為一系列中間步驟，這些步驟以級聯(lián)方式連接，每個步驟僅指向一個后續(xù)步驟。另一種方法是多路徑推理，其中生成的推理步驟被組織成樹狀結(jié)構(gòu)，每個中間步驟可能有多個后續(xù)步驟。此外，還有針對特定領域的長期規(guī)劃問題的外部規(guī)劃器，這類規(guī)劃器基于高效的搜索算法，提供更可靠的規(guī)劃能力。有反饋規(guī)劃則包括從環(huán)境、人

和模型中接收反饋，以引導反思和提高規(guī)劃能力。環(huán)境反饋通常采用

ReAct

的推理-行動-反饋模式，明確的推理和行動按順序進行，如果某個行動的反饋未達到預期結(jié)果，則重新進行推理直至得出正確答案。人類反饋，人類的價值和偏在環(huán)中”模式，通過與人類的互動獲取反饋，幫助智能體與一致，并更好地適應實際環(huán)境，同時也有助于緩解幻覺問題。模型反饋則涉及使用大型模型作為質(zhì)量審核專家，對生成的計劃進

評估和改進，引入自我完善機制，通過迭代反饋和改進來提高模型的輸出效果。）執(zhí)行模塊的目標是將智能體的決策轉(zhuǎn)化為具體結(jié)果。它直接與環(huán)境互動，決定了智能體完成任務的效率。具體來說，智能體

在行動決策過程中執(zhí)行規(guī)劃組件制定的明確行動規(guī)劃，同時會參考記憶組件中的長短期記憶來幫助執(zhí)行準確的行動。在技術實現(xiàn)上，執(zhí)行組件可以型自身來完成預定規(guī)劃，或42https://www.deeplearning.ai/the-batch/issue-241/43Wang

L,

Ma

C,

Feng

X,

et

al.

A

survey

o

arge

language

model

based

autonomous

agents[J].

Frontiers

ofComputer

Science,

2024,

18(6):

1-26.11者通過集成外部工具來增強其執(zhí)行能力。工具主要包括

API、外部知識庫、第三方模型、大模型自身的內(nèi)部知識等。最為知名的開發(fā)框架是

LangChain

其他框架包括

BabyAGI44、AgentGPT45等；多智能體框架

AutoGen46、Met7等；輕量級框架有

crewAI48、Agently49、phidata50等；可視化工具有

Flowi

e51、Dify52、Bisheng53、FastGPT54、coze55等。更多相關內(nèi)容可見

awesome-ai-agents56。補齊了大模型短板的

AI

Agent

更具備實用性，將是大模型重要落地方向。但受限于當前技術和市場發(fā)展，智能體在記憶與規(guī)劃上并沒有完全成熟，因此入

R

PA（機器人流程自動化）或低代碼平臺的自動化工作流類智能體成為當前可行的落地方案之一57。如摩根大通推出的

FlowMind

生成系統(tǒng)

，工作流分成

2個階段

第一階段為大模型設置上下文、APIs

描述等背景信

，第二階段則是大模型識別用戶查詢意圖調(diào)用相應的工具生成并執(zhí)行代碼。微軟

Copilot

則開放測試調(diào)用

Power

Automate，與本地系統(tǒng)集成執(zhí)行更加復雜的自動化任務59?！癆IAgent

的工作流程將推動人工智能巨大的進步——甚至可能超過下一代基礎模型”60。44/yoheinakajima/babyagi/reworkd/Ag

GPT/microsoft/autogen4546474849505152535455565758//MMetaGPToura/crewAImx/Agently/phidatahq/phidata/FlowiseAI/Flowisehtt

s:///langgenius/difyhttp/dataelement/bishenghttp

:///labring/FastGPT/home/e2b-dev/awesome-ai-agents/ideas/ai-agents-disruptiZeng

Z,

Watson

W,

Cho

N,

et

al.

FlowMind:

Automatic

Workflon/eration

with

LLMs[C]//Proceedings

of

theFourth

ACM

International

Conference

on

AI

in

Finance.

2023:

73-81.59/computing/artificial-intelligence/microsoft-is-giving-windows-copilot-an-upgrade-with-power-automate-promising-to-banish-bo

g-tasks-thanks-to-ai60https://www.deeplearning.ai/the-batch/issue-

41/122.3.4

模型微調(diào)如

2.3.2

所述，大模型雖然在通用任務上有出色的表現(xiàn)，但在一些細分專業(yè)領域，它們往往無法滿足專業(yè)需求。如

需要讓模型在特定領域有更精準、專業(yè)的表現(xiàn)，或者需要模型具備特定

識、能力或風格時，就需要在大模型的基礎上進行領域微調(diào)。大模型微調(diào)是指在預訓練的大型語言模型基礎上，使用特定領域的數(shù)據(jù)對其進行進一步的訓練。由于大語言模型的參數(shù)量巨大，領域微調(diào)環(huán)節(jié)一般進行參數(shù)高效微調(diào)（Parameter-efficient

Fine-tuning）。這種方法通過只訓練模型的一小部分參數(shù)，可以在較少的數(shù)據(jù)和計算資源下實現(xiàn)更好的微調(diào)性能。型的微調(diào)方案有

LoRa、適配器微調(diào)、前綴微調(diào)、提示微調(diào)等。大模型微調(diào)步驟一般包括基礎模型選擇、訓練數(shù)據(jù)集的搜

與預處理、微調(diào)、測試與

估等?；?/p>

礎模型選擇

可參考各大模型評測榜

，如

Open

LLMLeaderboard61，LMSYS

Chatbot

Arena

Leaderboard62，OpenCompass

司南大模型評測63等。訓練數(shù)據(jù)集的構(gòu)建則是微調(diào)的重要一環(huán)。格式化數(shù)據(jù)集構(gòu)建主要有以下三種方法64：（1）基于現(xiàn)有的

NLP

任務數(shù)據(jù)集構(gòu)建。這類方法利用已經(jīng)存在的、經(jīng)過驗證的

NLP

任務數(shù)據(jù)集，如機器翻譯、情感分析、文本分類等。這些數(shù)據(jù)集通常有明確的標注和結(jié)構(gòu)，可以直接用于微調(diào)模型。這種方法的優(yōu)點是數(shù)據(jù)質(zhì)量高，標注準確，能夠快速驗證模型在特定任務上的性能。（2）基于日常對話數(shù)據(jù)構(gòu)建。這類方法使用來源于實際對話的數(shù)據(jù)，如社交媒體評論、論模型適應更廣泛子、聊天記錄等。這些數(shù)據(jù)具有多樣性和自然性，能夠幫助使用場景。然而，這些數(shù)據(jù)往往未經(jīng)標注，需要進行預處理和標注，以保證數(shù)據(jù)質(zhì)量和訓練效果。預處理步驟可能包括去除噪聲

過濾敏感信息以及標準化對話格式。）基于合成數(shù)據(jù)構(gòu)建。合成數(shù)據(jù)是通過生成模型或規(guī)則程序生成的。這種方法適用于特定任務或領域的數(shù)據(jù)不足的情況。合成

據(jù)可以通過數(shù)據(jù)增強技術、文本生成模型（如

GPT）或者基于規(guī)則的

法（如模板生成）來創(chuàng)建。盡61https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard/626364/home趙鑫,

李軍毅,

周昆,

唐天一,

文繼榮.大語言模型，https://llmbook-zh.github.io/,202413管合成數(shù)據(jù)在多樣性和真實感上可能不如自然數(shù)據(jù)，但其可以彌補數(shù)據(jù)不足的問題，并且可以根據(jù)需要生成特定類型的數(shù)據(jù)，具

很高的靈活性。RAG

和微調(diào)都是一種基礎大模型

領域應用的重要方法。RAG

在動態(tài)環(huán)境中表現(xiàn)出色，可提供實時知識更有效利用外部知識源，具有很高的可解釋性。缺點就是需要從外部數(shù)據(jù)中實時檢索，大模型推理消耗較大，響應速度稍慢，并且最終結(jié)果受到檢索召回率和準確率的較大影響。而微調(diào)更為靜態(tài)，可以深度定制模型的行為和風格，更好地適應目標領域。但更新時需要重新訓練，并且需要大量的計算資源用于數(shù)據(jù)集的準備和訓練。另外，受到訓練數(shù)據(jù)集的影響可能過擬合，泛化能力較弱。RAG

最典型的應用場景是

QA

類的智能客服，而微調(diào)則適用于知識密度較高、體系較為成熟的專業(yè)領域，如醫(yī)療、

融、法律類等領域應用

選擇

RAG

還是微調(diào)，取決于應用環(huán)境中對數(shù)據(jù)動定制和計算能力的具體需求。更重要的一點是，提示詞工程、RAG、智能體和微調(diào)并不相互排斥，而是相互補充，增強對方的強項，抵消對方的弱項，在不同層面上增強大模型的能力。各個技術方案的綜合應用是實現(xiàn)貼合場景的高性能業(yè)務

AI

應用的最佳方法。圖

2.3.4：RAG

與微調(diào)的方案選擇652.4

大模型行業(yè)應用案例雖然目前生成式人工智能主要應用于面向

費者的產(chǎn)品，但它也有潛力為企業(yè)工作流程增加情景感知和類似于人類的決并徹底改變我們的商業(yè)模式。例如，谷歌的客服中心人工智能（CCAI）旨在幫助實現(xiàn)采用自然語言進行客戶65Gao

Y,

Xiong

Y,

Gao

X,

et

al.

Retrieval-Aug

nted

Generation

for

Large

Language

Models:

A

Survey[J].

arXiv,2023.14服務交互，而

NVIDIA

的

BioNeMo

則可以加速新藥的研發(fā)。華為盤古氣象大模型也已應用于歐洲中期天氣預報中心。隨著生成

人工智能的不斷推廣和應用，其產(chǎn)生的深遠影響和潛在價值正在加

推動從實驗到消費者領域再到企業(yè)領域的應用。大模型能否落地一方面取決于大模型的性能，另一方面與所落地行業(yè)的特點是分不開的。數(shù)據(jù)是大模型的基礎燃料，這就意味著數(shù)據(jù)量大、數(shù)據(jù)質(zhì)量高、數(shù)據(jù)多樣性強的行業(yè)能夠為大模型提供充足的訓練和微調(diào)的數(shù)據(jù)，而技術需求

、創(chuàng)新能力強、競爭激烈的行業(yè)自身就有著擁抱新技術的熱情，這些因素決定下大模型在各國、各行業(yè)的成熟度并不一致，在各個應用落地的表現(xiàn)也有所不同。目前，國內(nèi)外大模型已在辦公、教育、醫(yī)療、金融、文娛

交通等領域落地應用，

行業(yè)滲透率來看，金融業(yè)的滲透率最高，已達

78％

在微軟、金山辦公等龍頭企業(yè)的帶動推廣下，在辦公領域的滲透率也比較可觀，而能源和建筑行業(yè)的滲透率較低66。圖

2.3

大模型垂直應用行業(yè)用成熟度67在全球，已經(jīng)有金融行業(yè)如

Stripe、Bloom

g;

零售行業(yè)如可口可樂；生命6667鈦媒體.

2023

中美

AI

大模型應用比較研

報告,

/news/newsdetail/68671,

2023.鈦媒體.

2023

中美

AI

大模型應用比較研究報告,

/news/newsdetail/68671,

2023.15科學領域如

Profluent、absci；能源行業(yè)如

C3

i

開始將生成式

AI

應用到內(nèi)容創(chuàng)建、知識發(fā)現(xiàn)、智能客服等場景，引領了行業(yè)企

采用新一代

AI

的風潮68。大模型在垂直領域應用的案例不斷涌現(xiàn)，

下作簡要介紹，國內(nèi)外更多的大模型行業(yè)應用可見相關文獻69、70、71、72、775、76、77。2.4.1

醫(yī)藥健康醫(yī)學方面，ChatDoctor

是一個在

LLaMA

上微調(diào)的醫(yī)學領域大模型78。在相關研究中，研究團隊從在線醫(yī)療咨詢網(wǎng)站“HealthCareMagic”收集了約

10

萬條真實的醫(yī)患對話，并對這些數(shù)據(jù)進行了人工和自動過濾等預處理作為訓練數(shù)據(jù)。從在線醫(yī)療咨詢網(wǎng)站

iCliniq2

收集了大約

1

萬條醫(yī)患對話用于評估模型的性能。對于醫(yī)療場景中的問答，研究團隊收集并編譯了一個數(shù)據(jù)庫，

中包括大約

700種疾病

其相關癥狀、進一步的醫(yī)學測試或措施以及推薦的治療。該數(shù)據(jù)庫可以隨時更新，無需重新訓練模型?；诖?，ChatDoctor

可以檢索相應的知識和可靠的來源，以更準確地回答患者的詢問。構(gòu)建完外部知識大腦后，通過構(gòu)造適當?shù)?/p>

prompt

讓

ChatDoctor

自主檢索其所需要的知識。華南理工大學有一款名為“靈心”的心理陪伴機器人，研究團隊構(gòu)建了超過

15

萬規(guī)模的單輪長文本心理咨68/report?id=62A069騰訊研究院.向

AI

而行

共筑新質(zhì)生產(chǎn)力——行

大模型調(diào)研報告,

/news/newsdetail/68815,

2024.70IDC&亞馬遜云科技.

2024

生成

AI

白皮書,

/document/731681598/Idc-%E4%BA%9A%E9%A9%AC%E9%80%8A%E4%BA%91%E7%A7%91%E6%8A%80-2024%E7%94%9F%E6%88%90%E5%BC%8Fai%E7%99%BD%E7%9A%71%B9%A6,

2024.人民網(wǎng)財經(jīng)研究國

AI

大模型產(chǎn)業(yè)發(fā)展報告,

/jiankang/nineteepdf,

202472深圳市人工智能行業(yè)協(xié)會.2024人工智能發(fā)展白皮書,

/?d=hld&type=

f&time=1716431584387&id=7026569&name=%E3%80%8A2024%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%8F%9

E5%B1%95%E7%99%BD%E7%9A%AE%E4%B9%A6%E3%80%8B.pdf,

2024.73北京學技術委員會等.北京市人工智能行業(yè)大模型創(chuàng)新應用白皮書(2023

年)，htt

s://.cn/ywd

gzdt/202311/t20231129_3321720.html,202374量子位智庫.

2024

中國

AIGC

應用全景報告，

s/5R1Y3M5DsFuWuv_bFH821Q,2024.75https://www.blog.aiport.tech/p/the-first-truly-global-gene762024

The

AI

Founder

Report

Business

Impact,Use

Cases,tps://blazpregelj.si/2024-hampton-ai-business-report-uses-tools-and-business-impact/,202477趙鑫,

李軍毅,

周昆,

唐天一,

文繼榮.

大語言模型，https://llmbook-zh.github.io/，2024.78Li

Y,

Li

Z,

Zhang

K,

et

al.

Chatdoctor:medical

chat

model

fine-tuned

on

a

large

language

modelmeta-ai

(llama)

using

medical

domain

knowled

e[J].

Cureus,

2023,

15(6).16詢指令與答案，回答數(shù)量超過

50

萬（指令數(shù)是當前的常見的心理咨詢數(shù)據(jù)集PsyQA

的

6.7

倍），并利用

ChatGPT

與

GPT4，生成總共約

100

萬輪次的多輪回答數(shù)據(jù)（SoulChatCorpus-multi_turn），其選擇了

ChatGLM-6B

作為初始化模型，進行了全量參數(shù)的指令微調(diào)，旨升模型的共情能力、引導用戶傾訴能力以及提供合理建議的能力79。2024

年

5

月，Google

發(fā)布了基于

Gemini

模型家族的多模態(tài)醫(yī)學

AI

模型

Med-Gemini，通過自訓練微調(diào)和網(wǎng)絡搜索集成進行高級推理，通過微調(diào)和自定義編碼器提高多模態(tài)理解，使用推理鏈進行長文本處理80，在所有可以直接比較的基準測試中都超過了

GPT-4

系列模型。諸多醫(yī)藥公司將人智能視為核心戰(zhàn)略，如制藥巨頭禮來公司（Eli

Lilly

and

Company）宣布一系列人工智能藥物發(fā)現(xiàn)合作伙伴關系；諾和諾德（NoNo

nordisk）

AI

視作加速藥物開發(fā)

潛在關鍵，自

2022

年以來一直與微軟合作構(gòu)建

AI

型，一個案例是通過分析研究成功提高了預測個體動脈粥樣硬化風險的準確度，并計劃利用這些發(fā)現(xiàn)來指導心血管疾病治療靶基因的開發(fā)81。2.4.2

金融保險金融保險領域中，摩根士丹利財富管理部門開發(fā)了一項面向內(nèi)部的服務，利用

OpenAI

技術和摩根士丹利龐大的智力資本，在幾秒鐘內(nèi)將相關內(nèi)容和見解交付到財務顧問手中，幫助提高效率

規(guī)模

82。2024

年

5

月，摩根大通（J.P.

MorganChase）發(fā)布了生成主題投資籃子的人工智能工具

IndexGPT。IndexGPT

使用OpenAI

的

GPT-4

模型和自然語言處理技術，生成與特定主題相關的關鍵詞列表，不僅分析新聞文析復雜的金融、識別參與該領域的公司，并且集成了深度分析功能，用于分據(jù)，挖掘潛力公司，幫助客戶識別有商業(yè)價值的股票，擴展投資視野至非傳統(tǒng)企業(yè)，制定多樣化的主題投資策略83。Visa

和萬事

兩家金融服務企業(yè)均將最新的人工智能技術應用于欺詐檢測方面，預測交易是否合法。保險

業(yè)聯(lián)合健康（UnitedHealth

Group）正在使用人工智能和自然語言處理來79/scutcyr/SoulChat80Saab

K,

Tu

T,

Weng

W

H,

et

al.

Capabilities

of

Gemin

Medicine[J].

arXiv

preprint

arXiv:2404.18416,

2024.81/s/l30sz3-fMmL8gnF4-fMA_A.82

/customer-stories/morgan-stanley83/news/artificial-int

igence/2024/jpmorgan-chase-unveils-ai-powered-tool-thematic-investing/17加快通話記錄速度，從而快速生成消費者與客服中心互動的準確摘要，提升客戶服務自動化水平。除此之外，金融保險類企業(yè)還通過投資、收購、設立基金等方式加強人工智能最新技術在企業(yè)內(nèi)的應用84。2.4.3

文化教育文化教育領域中，Legible

將

Open

AI

的

ChatGPT

集成到其專有的電子書店搜索引擎中，提供一個全新的方式來訪問其目錄中的兩百萬本電子書。LibrarianAI

可用任何語言流利地交談，提供快速、友好、全面地響應和建議以及有關圖書內(nèi)容的信息85。Storybird

公司的一個繪本制作平臺，只需要輸入

10詞以內(nèi)的提示詞，平臺就可以生成一本完整的、帶有精美插圖的故事書。書籍還能上架網(wǎng)站和亞馬遜進行售賣。清華大學于

2023

年

9

月

28

日

動

“清華大學人工智能

能教學試點課程工作方案”，AI

智能助教系統(tǒng)使用

LM

模型為技術底座，通過學科專業(yè)資料搭建垂直模型，并輔助知識庫，支持個性化學習支持、智能評估和反饋，輔助學生進行深入思考86。北京郵電大學于

2024

年初發(fā)布基于訊飛科技文獻領域大模型的

AI

科研助手，幫助科研人員進行深入的科研成果調(diào)研并進行智能分析，通過對話方式深入探索文獻內(nèi)容，生成研究文獻綜述87。國內(nèi)外數(shù)據(jù)庫產(chǎn)商或?qū)W術搜索服務商也都推出了各類

AI

應用助手，如

ScopusAI88、Elsevier

SciBite

Chat89、CN

I

AI

學術研究助手90、SciSpace91、Elicit92、Aminer93、ReadPaper94等。此外，中國科學院文獻情報中心與科大訊飛合作研發(fā)了科技文獻大模型，并基于此模型研發(fā)了“成果調(diào)研、論文研讀和學術寫作”三大功能的星火科研5。同方知網(wǎng)則與華為共同打造了全棧自主可控的中華知識84/s/l30sz3-fMmL8gnF4-fMA_A8586878889909192939495htt

s://beta.legible.ai/auth/signinhttp/info/1176/109914.htmhttp

:///a/ziyuan/dianziziyuan/AIkeyanzhushou//products/scopus/scopus-ai//https://typeset.io/////news/fwcx/202311/t2023110

_6915220.html18大模型——華知，聚焦科技創(chuàng)新、學術研究、科學決策和數(shù)據(jù)分析的應用場景96。電子書閱讀

APP

微信讀書和得到則在

2024

年上半年灰度上線了

AI

功能。前者提供了翻譯、大綱總結(jié)和智能問答，后

主要功能是內(nèi)容總結(jié)和智能搜索。文化遺產(chǎn)方面，字節(jié)跳動和北京大學推出的識典古籍于

2024

年

3

月上線了基于云雀大語言模型開發(fā)的“古籍智能助手”?！爸帧敝攸c利用檢索增強生成技術，利用字典中的條目，或者古籍數(shù)據(jù)庫搜索結(jié)果作為上下文，然后通過大語言模型綜合總結(jié)并給出回復。同時，“助手”也提供語義檢索功能，在回答時能參考到雖然文字不一樣、但含義相關的古籍段落97。Livdeo

的

Multilingual

Audio

Chatbots

fMuseums

and

ultural

Institutions

利用

NLP

和

AI

技術，支持訪客與虛擬的歷史藝術名人進行多語種的對話，為參觀者提供獨特的互動體驗9896/97/s/BbemRkm1HHIwdZ5wSLuMTg98/the-ai-revolutio

hits-museums-how-chatbots-are-transforming-the-visitor-experience-e054df5b992f19第三章

大模型對圖

館的影響3.1

圖書館大模型影響分析生成式人工智能的發(fā)展可能對圖書館產(chǎn)生“廣泛而深刻”的影響。探討當前大模型技術的能力與影響，有助

圖書館中應用最新的

AI

技術，為智慧圖書館建設提供新的技術路徑和賦能支撐。IFLA

人工智能特別興趣小組在

2023

年

11

月

20

日發(fā)布的《圖書館對人工智能的戰(zhàn)略響應》中指出，新一代人工智能技術對圖書館領域產(chǎn)生了顯著影響。報告特別提到了人工智能技術在圖書館中的應用，包括館藏資源的規(guī)模化描述、AI

增強或創(chuàng)建元數(shù)據(jù)、智能用戶咨詢、文獻發(fā)現(xiàn)服務、后端業(yè)務系

的

AI

優(yōu)化，以及提升公眾

AI

素養(yǎng)等方面，對圖書館系統(tǒng)、用戶、館藏、、元數(shù)據(jù)、設施、推廣、培訓、策劃團隊都有重要影響99。大模型被廣泛考慮作為多種任務的通用工具，這歸功于大模型的核心能力，基于這些能力，大模型能夠執(zhí)行多種任務。為進一步梳理大模型技術的影響，本報告從大模型的核心能力出發(fā)，考慮對圖書館行業(yè)主要業(yè)務具體影響。大模型的核心能力包括語言理解、信息匹配、內(nèi)容生成、知識承載等基礎能力，以及擁有上下文學習、思維鏈推理、指令跟隨等涌現(xiàn)能力100?；谶@些能力，大模型能夠執(zhí)行文本生成、語義理解、信息抽取、任務推理、機器翻譯、文本分類、總結(jié)摘要、模態(tài)轉(zhuǎn)換、數(shù)據(jù)分析、知識圖譜構(gòu)建等各類任務。大模型的這些功能使得大模型在智能問答、信息檢索、個性化推薦和內(nèi)容生成等場景展現(xiàn)出顯著的自動化和智勢，從而極大地提升了信息處理的效率和輸出的質(zhì)量，推動了人工智能技術

廣泛應用和持續(xù)創(chuàng)新。表

3.1

從大模型典型任務能力出發(fā)，分析其在圖書館中的作用和影響。通過這些能力的運用，圖書館可以提高服務效率、增強用戶體驗，并推動圖書館服務的創(chuàng)

和發(fā)展。作用影響的圖書館領域包含了參考咨詢、資源發(fā)現(xiàn)、學術服務、數(shù)字人文、閱讀推廣、圖書館系統(tǒng)、采編、知識加工、管理決策等幾個典型領域。這些領域融入大模型的能力，可以滿足智慧圖中不同類型的需求，包括功能99/g/ai/developing-a-library-strategic-response-to-artificial-intelligence/100上海圖書館(上?？茖W技術情報研究所)等

智慧圖書館大模型創(chuàng)新與應用白皮書,/download-category/whitepaper,2023.20類和性能類的需求，也可以滿足體驗類和專業(yè)類的不同需求，提升了圖書館服務的效果與能力。表

3.1

大模任務功能對圖書館的作用影響大模型典型任務功能作用與影響影響領域舉例自動生成各類文檔、報告、新聞稿等，文本生成語義理解輔助圖書館內(nèi)容創(chuàng)作和信息發(fā)布?？捎?/p>

學術研究、閱讀推廣等于創(chuàng)作、學習與開發(fā)。理解用戶查詢的深層含義，提供更精準的咨詢回復、搜索結(jié)果等信息服務。可

信息檢索、交互問答用于問答式交互?？商剿鲗υ捠桨l(fā)現(xiàn)，改變圖書館資源檢信息抽取任務推理檢索推薦、資源發(fā)現(xiàn)等索、資源推薦模式。理解并執(zhí)行復雜的用戶指令，自動化完

圖書館服務平臺、后端系統(tǒng)成特定的圖書館服務任務。AI

升級、機器流程自動化等將不同語言的文獻資料進行互譯，擴大服務范圍和讀者群體?？捎糜?/p>

語言文獻服務、跨語言閱讀。讀者服務、文獻服務、學術研究等機器翻譯對圖書館資源進行自

分類、自動標注、元數(shù)據(jù)創(chuàng)建，優(yōu)化

源組織和檢索效率。采編、數(shù)字資源加工與開發(fā)、數(shù)字人文研究等識別分類總結(jié)摘要自動生成文獻或報告的摘要，幫助用戶資源發(fā)現(xiàn)、學術研究等閱讀推廣、數(shù)字人文等快握核心內(nèi)容。息轉(zhuǎn)換為圖像或視頻，增強信息可訪問性和表達力?？捎糜诙嗝襟w模態(tài)轉(zhuǎn)換數(shù)據(jù)分析檔案保存、內(nèi)容制作、信息可視化、閱讀障礙支持?？蛇M行數(shù)據(jù)處理、格式轉(zhuǎn)換、報表分析、指標分析、數(shù)據(jù)挖掘?？稍趫D書館數(shù)據(jù)系統(tǒng)、數(shù)據(jù)中臺基礎上，構(gòu)建

AI

數(shù)據(jù)分析能力，提升運營效率。業(yè)務分析、用戶行為分析、決策支持等知識圖譜構(gòu)

可構(gòu)建和維護知識圖譜，增強圖書建

知識管理和服務能力。數(shù)字人文、知識管理、學術研究、學科服務等21大模型技術對圖書館的影響，主要源于生成式

AI

變革了技術服務模式和內(nèi)容生產(chǎn)方式，從而帶來了三點重要改進。一是人機交互界面的革新推動了圖

館服務場景和業(yè)務場景的智能化。生成式

AI

變革了用戶與圖書館服務動方式，實現(xiàn)了用戶界面的突破，使得用戶能更直觀、高效地與信息資源互動，提高了信息檢索和內(nèi)容獲取的便捷性。大模型能準確理解用戶需求，轉(zhuǎn)化為任務，調(diào)度資源，最終清晰呈現(xiàn)結(jié)果。二是知識管理與服務的智慧化加深促進了圖書館服務模式的創(chuàng)新與變革。生成式

AI

能夠?qū)崿F(xiàn)精準的語義理解和復雜的文本分析，自動化地生成和豐富元據(jù)，構(gòu)建起揭示知識內(nèi)在聯(lián)系的知識圖譜，同時提供個性化的信息服務和多模態(tài)內(nèi)容處理，加之其趨勢預測與模式識別功能，極大地提升了圖

館在知識組織、存儲、檢索以及服務提供上的效率和深度，從而深化了圖書館

知識管理與服務。三是任務處理的自動化促進了業(yè)務流程優(yōu)化和工作效率的提升。利用生成式AI

的強大的內(nèi)容生成和處理能力，圖書館能夠自動化執(zhí)行繁瑣的任務，從而釋放人力資源，提升工作效率和服務質(zhì)量。生成式

AI

技術實現(xiàn)了知識的高效模式轉(zhuǎn)換，能夠執(zhí)行總結(jié)、提煉、抽取、萃取、轉(zhuǎn)換、解析和洞察等多種操作，利用現(xiàn)有數(shù)據(jù)知識生成豐富多樣的內(nèi)容，包括多模態(tài)內(nèi)容。因此，大模型技術的發(fā)展對圖

館的變革影響主要體現(xiàn)在以下五個方面，這些變革共同推動了圖書館未來服務模式的轉(zhuǎn)型，為圖書館的發(fā)展開辟了新的可能性。（1）革新知識交式。新一輪的

AI

變革，推動未來人機交互應用從圖形化界面向?qū)υ捠浇换プ?。隨著大模型的應用落地，圖書館服務可以提供更智能、更高效、更個性化的交互方式，提供基于自然語言的、多模態(tài)的、更直

的參考咨詢、文獻檢索與知識服務。（2）

變知識集成方式。大模型技術通過自動化生成元數(shù)據(jù)、跨語言處理、知識鏈接和語義搜索，顯著提升了圖書館知識集成的效率和深度，構(gòu)建起一個多維度、互聯(lián)互通的知識網(wǎng)絡，從而促進了知識的

現(xiàn)和創(chuàng)新。（3）優(yōu)化資源加工流程。大模型技術通過文語音識別、自動元數(shù)據(jù)生成、自動標注與分類、自動摘要總結(jié)、知識圖譜構(gòu)建等，提高了圖書資源加工效率，降低人力成本。這將使圖書館資源的標準化加工流程從手動模式向半自動或自動22模式轉(zhuǎn)變，進一步提高圖書館資源加工的效率和質(zhì)量。（4）激發(fā)本地特色資源價值。利用生成式

AI

技術，對圖書館的古籍資源、地方特色資源等歷史文化特色館藏資源進行開發(fā)、挖掘、利用，充分發(fā)揮語料價值，增強資源的表現(xiàn)力和吸引力，有化典籍知識，弘揚中華經(jīng)典文化、區(qū)域特色文化，激發(fā)這些資源的文化影響力。（5）提升圖書館管理決策能力。大模型應用可以更好地對圖書館的各項業(yè)務數(shù)據(jù)進行指標監(jiān)控與分析挖掘，提供科學合理的決策支持，為圖書館業(yè)務優(yōu)化、資源配置提供分析建議，從而提升圖書館的智慧化管理水平和效果，輔助圖書館理決策更加科學、合理和有效。圖

3.1

大模型技術對圖書館的影響3.2書館大模型應用策略在

入思考圖書館大模型應用之前，有必要探討生成式

AI

的應用策略及應用方式。國際圖聯(lián)（IFLA）在其《圖書館對人工智能

戰(zhàn)略響應》中，提出了三項策略建議，旨在指導圖書館如何有效利用

I

技術，提升服務效能，同時確保其應用的倫理性和可解釋性。三項策略分用圖書館的

AI

能力構(gòu)建負責任且可解釋的描述性

AI

應用；利用圖書館員的數(shù)據(jù)能力增強組織的

AI

能力；23推廣人工智能素養(yǎng)以提升組織和社會的

AI

能力101。此外，美國國會圖書館（Library

of

Congress，簡稱

LC）提出了

AI

規(guī)劃框架，強調(diào)了在

AI

系統(tǒng)中數(shù)據(jù)、模型和人員三個要素的重要性，并提出了“理解、實驗和實施”分階段的方法論，以實現(xiàn)負責任的

AI

實踐102。圖書館可在上述權(quán)威性

AI

應用策略的指導下進行實踐，本報告歸納了如下的策略要點供圖書館進行參考：（1）考慮館藏與數(shù)據(jù)價值對圖書館數(shù)據(jù)與資源進行分析，以識別和評估潛在的數(shù)據(jù)源，特別是對于籍和特藏，明確可以優(yōu)先應用

AI

技術的數(shù)據(jù)。高度重視數(shù)據(jù)治理，包括數(shù)據(jù)清洗、集成和質(zhì)量保證，確保數(shù)據(jù)的準確性和可靠性。推廣數(shù)據(jù)

享、開放性和互操作性（2）進行概念驗證與服務轉(zhuǎn)化實施小規(guī)模的概念驗證項目，以測試生成式

AI

技術在圖書館服務中的可行性。對于技術挑戰(zhàn)（例如圖像分類等）開發(fā)或整合高效的

AI

算法，提升處理的精確度。成功的概念驗證項目應轉(zhuǎn)化為可持續(xù)的服務，以實現(xiàn)技術的長期價值。（3）持續(xù)監(jiān)控與質(zhì)量保證建立監(jiān)控機制，根據(jù)反饋持續(xù)改進

AI

服務，確保服務質(zhì)量?？紤]使用數(shù)據(jù)為中心的評估方法，通過科學地評估和測試，確保

AI

系統(tǒng)的穩(wěn)定性和可靠性。以迭代、循環(huán)的方式，長期優(yōu)化、監(jiān)控應用。建立質(zhì)量標準基線，搜集用戶反饋。（4）積極培訓與參與提升圖書館用戶的

AI

素養(yǎng)，并通過社區(qū)反饋優(yōu)化服務。支持并參與圖博檔機構(gòu)合作、行業(yè)機構(gòu)聯(lián)盟，以開放、共享、創(chuàng)新、合作為核心要

，整合來自不同機構(gòu)的獨特資源和專業(yè)知識。（5）

好經(jīng)濟性與工具評估對

AI

技術應用進行成本效益分析，確保所選工具

解決方案在預算內(nèi)提供最大的價值。評估不同

AI

工具的性能，選擇那

能夠最大化投資回報率的工具。（6）關注法律與倫理框架確保

AI

應用遵守所有相關的法律法規(guī)，特別是在數(shù)據(jù)保護、版權(quán)和知識產(chǎn)101/g/ai/developing-a-li

ry-strategic-response-to-artificial-intelligence/102/thesignal/2023/11/intro

ucing-the-lc-labs-artificial-intelligence-planning-framework/24權(quán)方面。建立倫理審查流程，確保

AI

應用不會侵犯個人隱私，避免算法偏見和歧視。3.3

圖書館大模型應用路徑圖書館應根據(jù)領域（場景）需求，探索大模型應用方式與路徑，以促進服務優(yōu)化和提升讀者體驗。我們鼓勵圖書館與軟硬件供應商合作，逐步將生成式AI

技術應用于智慧圖書館中，以實現(xiàn)圖書館服務業(yè)務的智能化升級。本報告歸納了圖書館整合和應用生成式

AI

技術的六種方式路徑。（1）無需開發(fā)集成的

AI

服務：圖書館無需進行任何開發(fā)工作，重點放在AI

素養(yǎng)、

數(shù)據(jù)素養(yǎng)等相關內(nèi)容培訓。這種方式不需要圖書館參與技術應用開發(fā)，而是側(cè)重于通過館員組織培訓、活動等方式向用戶和社會提供

I

服務。該路徑無需系

開發(fā)、無需數(shù)據(jù)處理。（2）直接集成應用的

AI

產(chǎn)品工具：圖書館幾乎不需要進行開發(fā)工作，可以直接集成第三方提供的

AI

產(chǎn)品服務。這種方式主要依賴于第三方

AI

產(chǎn)品的性能和適用性，為圖書館直接所用。例如不少圖書館上線資源商開發(fā)的

AI

學術助手產(chǎn)品，以及為圖書館用戶提供現(xiàn)成的

AI

畫圖工具等。該路徑可以直接購買服務，開發(fā)量低、幾乎無需數(shù)據(jù)處理。（3）需整合開發(fā)的

AI

產(chǎn)品與服務：圖書館通過有限的開發(fā)工作，實現(xiàn)已有AI

產(chǎn)品的對接。該應用方式下，圖書館需要對運營數(shù)