AI原生數(shù)據(jù)應用架構(gòu)與落地探討

AI原生數(shù)據(jù)應用架構(gòu)與落地探討陳發(fā)強（踏天）螞蟻集團國際數(shù)據(jù)庫負責人2024/7/6目錄1

背景2

DB-GPT架構(gòu)介紹3智能體應用實踐與挑戰(zhàn)4

未來規(guī)劃2背景AI給數(shù)據(jù)領域帶來的挑戰(zhàn)與機遇？01|1.1大模型出現(xiàn)之后，交互方式的變化大語言模型LLMS|ChatGPT、通義千問、文心一言、LLaMA

、Bard云｜基礎設施｜IAAS｜PAAS｜SAAS知識工具Assets｜

DataNLUSQLCode…領域模型Envs企業(yè)的真實數(shù)據(jù)1.結(jié)構(gòu)化數(shù)據(jù)，如Excel、數(shù)據(jù)庫2.非結(jié)構(gòu)化、文本、文檔數(shù)據(jù)、日志數(shù)據(jù)3.

多維關系數(shù)據(jù)，如圖、數(shù)據(jù)庫4.

離線數(shù)據(jù)，數(shù)倉、數(shù)據(jù)湖等無法通過單一的知識庫進行處理非結(jié)構(gòu)化結(jié)構(gòu)化半結(jié)構(gòu)化1.2多維數(shù)據(jù)流取管核算轉(zhuǎn)存用融隱私靈活安全合規(guī)高效穩(wěn)定質(zhì)量51.3數(shù)據(jù)的下一代交互范式6DB-GPT架構(gòu)解讀AI原生數(shù)據(jù)應用架構(gòu)思考、設計與實踐02|2.1項目介紹DB-GPT是一個開源的AI原生數(shù)據(jù)應用開發(fā)框架AI

Native

DataApp

DevelopmentframeworkwithAWEL(AgenticWorkflow

Expression

Language)andAgents目的是構(gòu)建大模型領域的基礎設施

，通過開發(fā)多模型管理(SMMF)、Text2SQL效果優(yōu)化、

RAG框架以及優(yōu)化、

Multi-Agents框架協(xié)作、AWEL(智能體工作流編排)等多種技術能力

，讓圍繞數(shù)據(jù)庫構(gòu)建大模型應用更簡單

，更方便。數(shù)據(jù)3.0時代

，基于模型、數(shù)據(jù)庫

，企業(yè)/開發(fā)者可以用更少的代碼搭建自己的專屬應用。項目優(yōu)勢1、支持AI原生數(shù)據(jù)應用開發(fā)2、智能體工作流編排3、私域問答&數(shù)據(jù)處理&RAG(Retrieval-AugmentedGeneration)4、多數(shù)據(jù)源&GBI(GenerativeBusiness

Intelligence)5、服務化多模型管理6、Text2SQL/Text2NLU微調(diào)7、數(shù)據(jù)驅(qū)動Agents框架8、私有化部署、隱私安全9、完全開源

，采用寬松的MIT協(xié)議8架構(gòu)2.2架構(gòu)介紹Text2SQL微調(diào)9核心特色數(shù)據(jù)洞察WorkflowAgents可視化SMMFRAG2.3

隱私安全10112.4智能體架構(gòu)數(shù)據(jù)智能體應用數(shù)據(jù)智能體在實際場景中的應用與挑戰(zhàn)03|3.1數(shù)據(jù)庫專家智能體-Kevin數(shù)據(jù)庫專家智能體應用3.2效果展示-Web端Kevin-智能問答

Kevin-智能診斷3.3效果展示-移動端Kevin-數(shù)據(jù)分析助手Kevin-數(shù)據(jù)運維助手Kevin-問答助手3.4構(gòu)建技術3.5知識構(gòu)建3.5意圖識別3.6智能體構(gòu)建流程1.資源準備(知識庫、API、算子、插件)6.SDK集成/釘釘集成4.應用調(diào)試與發(fā)布5.應用對話與使用3.Workflow編排2.Agents構(gòu)建3.7診斷智能體構(gòu)建領域文檔準備方案流程設計故障診斷Agents構(gòu)建發(fā)布上線

知識加工處理

3.8智能體構(gòu)建3.8智能體調(diào)試與發(fā)布3.8智能體評測與使用智能體的評測會從主觀打分與客觀打分兩個維度進行評測1.客觀評測需要根據(jù)領域準備具體的專業(yè)評測數(shù)據(jù)集。2.

主觀評測一般是采用專家打分、真實用戶反饋等。3.8技術挑戰(zhàn)1.意圖識別:如何準確理解用戶意圖，并匹配到對應的Agent2.Agent-Linking:多Agent如何提供一個統(tǒng)一入口，回答多個領域?qū)I(yè)問題的同時，還可以自由

對話。3.召回準確率:如何準備高質(zhì)量的問答與知識庫，結(jié)合多種RAG檢索技術，準確召回相關內(nèi)容。4.多輪對話進行參數(shù)補充:比如意圖識別中，用戶單次的對話無法滿足場景的參數(shù)要求，需要智能體反問用戶達到槽位填充的目的。5.角色認定與永久記憶:在實際應用中，真正能夠長期有用的智能體需要有明確的角色認定，并且對于歷史的對話記錄行程長久的記憶，這樣才能越來越符合人類交互的范式，形成長期服務與陪伴。未來思考DB-GPT接下來的一些發(fā)展計劃04|4.1

DB-GPT存在的問題1.開發(fā)門檻高：框架本身很全面、強大。但上手開發(fā)難度大。2.默認場景效果待提升:雖然提供了六大默認場景，但因為定位是框架，所以針對具體場景的優(yōu)

化不夠深入。3.與Dify、

Coze等產(chǎn)品相比，產(chǎn)品化能力不足。4.

文檔、教程、案例較少。4.2版本計劃DB-GPT長期會深耕數(shù)據(jù)領域，目前我們看到社區(qū)的主要矛盾是更加便捷的開發(fā)使用，應用到生產(chǎn)環(huán)境。

所以在接下來V0.6.0的版本中，我們會重點發(fā)力端到端的產(chǎn)品化能力，主要有以下能力。1.更強的產(chǎn)品化能力，更加簡單易用，包括應用管理、AWEL開發(fā)、Agent開發(fā)、

Prompt調(diào)優(yōu)等。2.提供意圖識別、Text2NLU、Text2GQL等效果微調(diào)。