通義大模型加持的對(duì)話型數(shù)據(jù)分析ChatBI

阿里云百煉·析言GBI對(duì)話型數(shù)據(jù)分析Dr.

羅智凌目錄背景對(duì)話型數(shù)據(jù)分析困難與挑戰(zhàn)Key

idea析言GBI解決方案架構(gòu)流程多代理關(guān)鍵技術(shù)攻關(guān)關(guān)鍵技術(shù)問題XiyanSQL實(shí)驗(yàn)結(jié)果最佳實(shí)踐樣例進(jìn)一步思考背景-對(duì)話型數(shù)據(jù)分析昨天的營收是多少？昨天營收6000元產(chǎn)品名日期銷量營收XXX2024/5/92004000XXX2024/5/102104200XXX2024/5/111803900XXX2024/5/122304300XXX2024/5/133006000本月的日營收的趨勢如何從本月初至今的日營收如下圖650060005500500045004000350030002024

/5/92024

/5/120024

/5/121024

/5/122024

/5/1

32024

/5/92024

/5/102024

/5/112024

/5/122024

/5/13營收40004200390043006000業(yè)務(wù)/銷售/管理部門數(shù)倉/BI團(tuán)隊(duì)數(shù)據(jù)倉庫/數(shù)據(jù)庫LLMChatBI對(duì)話型數(shù)據(jù)分析ChatBI解決取數(shù)/計(jì)算/分析需求交互友好

vs

復(fù)雜撰寫SQL/需求文檔自動(dòng)化

vs重人工介入背景-對(duì)話型數(shù)據(jù)分析中國一汽GPT

BI交互友好自動(dòng)化背景-困難和挑戰(zhàn)變化快一線業(yè)務(wù)變化快數(shù)據(jù)分析及時(shí)性要求高要求高數(shù)據(jù)分析門檻高業(yè)務(wù)人員上手難資源緊BI分析師資源有限排期開發(fā)滯后成本高定制報(bào)表成本高局限性大痛苦+浪費(fèi)背景-關(guān)鍵idea企業(yè)人員管理者運(yùn)營/分析師一線業(yè)務(wù)員自然語言對(duì)話式交互析言GBI智能語義理解智能體任務(wù)編排數(shù)據(jù)查詢NL2SQL智能總結(jié)圖表繪制分析結(jié)果端側(cè)返回析言GBI：問答式交互，助力數(shù)據(jù)分析全鏈路智能化升級(jí)析言GBI解決方案析言GBI-產(chǎn)品架構(gòu)曘扥????⒉?冖???冖悢夁422972?夁暇?僭夁?屻?冖佱???ピ佬’?副???婝??冖??????冖????屻?冖???夁悢??冖???⒈婟??冖??????????屻????'6/????婼扣??副?副?曘扥?'*(??3_972佬????曘扥?6URGX*( 曘扥?.URUMXKY柷佬???????????????〇??╢析言GBI工作鏈路??夁???夁???????9INKSG?????屨婼扣??屨????尺???????惔怪?????????????崸?ぬ?屟?扨?????崟倵??????核?ぬ??屆作束??屝?束??HGJIGYK??????ぇ岜?媙?????屟????媙SO^SO^????夁???佀???????????????佘斗庈*()UTTKIZUX9KRKIZUX

'MKTZ

:KGS?惠?嵏??杠樊屜た??7]KT

()NGZ

'MKTZ慻姚

?崸╞???屨⒅?屜た???怇??⑦暇????嬶??惠??杠樊???婼?欽婝?婝?岜????屨⒅?夁???佀⒅?Z[XHU

SO^????暇椱?????:[XHU??櫝?⒅???屨⒅????屨⒅?夁???佀⒅???暇椱?????:[XHU972

-KTKXGZUX

:KGSZ[XHU???嵔SO^??972?醫(yī)???:[XHU972?醫(yī)???

3O^972欥屚972??972?醫(yī)???:[XHU'TGR_`KX

'MKTZ:KGS??川??屻⒈婟??夁?醫(yī)??偅??????嵔偅?

972傔屪972?壥??佬??ピ??3[RZO

'MKTZ?壥???佘斗庈*(

)UTTKIZUX ?????／嬶?┿櫺6RGTTKX┿杠

???佝???析言GBI解決方案-多代理模式數(shù)據(jù)問答維護(hù)對(duì)話記憶多輪改寫消岐、反問澄清等QWen對(duì)話上下文數(shù)據(jù)庫MemoryComputingStorage指標(biāo)計(jì)算公式同義詞等業(yè)務(wù)邏輯行業(yè)術(shù)語等行業(yè)知識(shí)Schema枚舉值等數(shù)據(jù)庫元信息領(lǐng)域級(jí)別的召回問題級(jí)別的召回問題改寫XiyanSelectorAgentChatAgent對(duì)話記憶領(lǐng)域、schema、枚舉、evidence等任務(wù)記憶questionSQLGeneratorAgent

TeamSQLagentverifier

agentrefineragent SQLXiyanSQL方案優(yōu)勢：自然對(duì)話多輪交互領(lǐng)域+問題兩階段召回的問題改寫，更懂行業(yè)和業(yè)務(wù)邏輯高精度的SQL生成+多agent校驗(yàn)?zāi)Ｊ?，保障?zhí)行準(zhǔn)確率chat

agent

負(fù)責(zé)對(duì)話selector

agent

負(fù)責(zé)根據(jù)業(yè)務(wù)邏輯關(guān)聯(lián)數(shù)據(jù)庫表格和改寫SQL

Generator

Team

負(fù)責(zé)生成sqlSQL

agent

直接生成sqlverifier

agent

校驗(yàn)sql邏輯refiner

agent

校驗(yàn)sql語法析言GBI解決方案-算法方案數(shù)據(jù)分析拆解任務(wù)規(guī)劃子任務(wù)QWen對(duì)話上下文writerAgentvisualizer

agentXiyanWriterAgent

Team數(shù)據(jù)庫MemoryComputingStorage公開的資料行業(yè)、企業(yè)資料文檔資料InquiryAgent

TeamPlannerAgent對(duì)話記憶任務(wù)清單查詢的數(shù)據(jù)任務(wù)記憶questionReportSelectorAgentSQLGenerator

TeamXiyanSQL方案優(yōu)勢：支持復(fù)雜任務(wù)自動(dòng)拆解每個(gè)任務(wù)各自查詢數(shù)據(jù)圖表可視化并自動(dòng)撰寫報(bào)告planner

Agent負(fù)責(zé)規(guī)劃Inquiry

Agentteam負(fù)責(zé)查詢數(shù)據(jù)Selector

agentSQLgenerator

Team- writer

agentteam

負(fù)責(zé)構(gòu)造報(bào)告visualizer

agent

負(fù)責(zé)畫圖writer

agent

負(fù)責(zé)撰寫完整報(bào)告展示關(guān)鍵技術(shù)攻關(guān)-關(guān)鍵技術(shù)問題NL2SQL任務(wù)的關(guān)鍵技術(shù)挑戰(zhàn)：【看不懂問題】question的分布挑戰(zhàn)，過擬合的模型在question的泛化上表現(xiàn)不足?！究床欢畼I(yè)務(wù)】業(yè)務(wù)問題的理解挑戰(zhàn)，業(yè)務(wù)問題會(huì)帶有特有縮寫，自定義公式，隱含默認(rèn)說法等非標(biāo)準(zhǔn)的特點(diǎn)，導(dǎo)致模型無法理解這些邏輯?！究床欢畼I(yè)務(wù)表】業(yè)務(wù)表非標(biāo)挑戰(zhàn)。業(yè)務(wù)表不是標(biāo)準(zhǔn)表，往往包含中英混合、隨意命名、枚舉值不規(guī)范等問題，導(dǎo)致模型無法理解。產(chǎn)品名日期銷量營收XXX2024/5/92004000XXX2024/5/102104200XXX2024/5/111803900XXX2024/5/122304300XXX2024/5/133006000SQLselect營收fromdbwhere

日期>2024/05/01;用戶的question本月的日營收的趨勢如何數(shù)據(jù)庫結(jié)構(gòu)schema指標(biāo)計(jì)算挑戰(zhàn)業(yè)務(wù)中使用的問法標(biāo)準(zhǔn)NL2SQL的問法背后的邏輯通識(shí)級(jí)別的指標(biāo)Model

S銷量的月完成率Model

S銷量的當(dāng)月銷量除以當(dāng)月目標(biāo)月完成率=當(dāng)月實(shí)際值/當(dāng)月目標(biāo)值通識(shí)級(jí)別的指標(biāo)Model

S銷量4月環(huán)比Molde

S

4月銷量-3月銷量

,

除以3月銷量環(huán)比=（本期數(shù)－上期數(shù)）/上期數(shù)客戶級(jí)別的指標(biāo)Model

S歷史月STD月完成同比Model

S本月月末STD月累總和與去年本月月末STD月累總和的差值，除以去年本月月末STD月累總和歷史月STD月完成同比=(當(dāng)月月末的STD月累之和-當(dāng)月月末的STD去年月累之和)/當(dāng)月月末的STD去年月累之和客戶級(jí)別的指標(biāo)Model

S在2024年3月的整體庫存系數(shù)Model

S在2024年3月的經(jīng)銷商庫存與廠家?guī)齑嬷?，除?024年AAK集團(tuán)日目標(biāo)總和整體庫存系數(shù)=（當(dāng)前經(jīng)銷商庫存數(shù)+當(dāng)前廠家?guī)齑媪浚?AAK集團(tuán)日目標(biāo)總和每個(gè)行業(yè)每個(gè)場景都有特有的指標(biāo)，其計(jì)算口徑并不通用。在沒有指標(biāo)的情況下，無法生成正確的SQL?？梢苑殖蓭最愅ㄗR(shí)級(jí)別指標(biāo)：即普通人都大約可以理解的指標(biāo)，比如同環(huán)比，完成率之類。這類指標(biāo)大模型本身已經(jīng)知曉無需額外輔助客戶級(jí)別指標(biāo)：在客戶場景（比如財(cái)務(wù)，金融）的工作人員所熟悉，而普通人未必知曉。比如庫存系數(shù)。這類指標(biāo)大模型無法知曉，更無法計(jì)算。業(yè)務(wù)術(shù)語挑戰(zhàn)業(yè)務(wù)中使用的問法標(biāo)準(zhǔn)NL2SQL的問法術(shù)語解釋業(yè)務(wù)術(shù)語Model

S的長庫齡車有多少？Model

S的庫存中

庫齡>6個(gè)月或庫齡>180天的車的數(shù)量長庫齡指的是

庫齡>6個(gè)月或庫齡>180天業(yè)務(wù)術(shù)語Model

S

4月AAKMolde

S

4月交付量AAK指Anlieferung

anKunden

交付給客戶的數(shù)量：以車輛零售出庫，建立車輛檔案，視為交付客戶在業(yè)務(wù)場景中使用時(shí)，會(huì)使用大量其公司常用的一些縮寫，或者約定俗成的表述，比如“長庫齡車”。這些概念的定義對(duì)于大模型難以準(zhǔn)確知曉默認(rèn)邏輯挑戰(zhàn)客戶在業(yè)務(wù)場景中帶有一些默認(rèn)的邏輯，包含三類：默認(rèn)排序邏輯，即以何種順序?qū)敵鼋Y(jié)果排序，比如時(shí)間默認(rèn)升序，銷量默認(rèn)降序。大模型在做查詢時(shí)會(huì)保障查詢的列正確，但并不會(huì)對(duì)齊默認(rèn)排序邏輯，導(dǎo)致排序缺失（缺失orderby）特殊處理邏輯，由于客戶公司內(nèi)部的一些特殊原因，導(dǎo)致某些部門、物品并不計(jì)入某些口徑，導(dǎo)致需要在查詢條件中過濾掉一些默認(rèn)不考慮的對(duì)象異常處理邏輯，有些SQL語法正確，但在DB查詢中會(huì)報(bào)錯(cuò)，比如SQL查詢會(huì)出現(xiàn)除法，如果分母為0，則需要做異常處理，需要知曉如何處理此異常情況具體默認(rèn)邏輯影響面經(jīng)銷商的銷量默認(rèn)對(duì)銷量降序排列需要增加order

by

sales特殊經(jīng)銷商展示邏輯提問“神州紅旗”時(shí)，展示“吉林神州紅旗”、“吉林市神州紅旗”兩個(gè)經(jīng)銷商的信息在對(duì)“神州紅旗”計(jì)算銷量等值時(shí)，查詢條件需要只寫“吉林神州紅旗”、“吉林市神州紅旗”訂單完成率的分母=0或null如果分母為0或null，完成率值為-999在select時(shí)增加case

whenVerifierSQLgenerationSQL數(shù)據(jù)庫連接error

info樣例<question+schema+sql>樣例庫真實(shí)數(shù)據(jù)庫DDL

Schema枚舉值等數(shù)據(jù)庫元信息questionquestionnormalizedemo召回ReplyDemoQWen-Max表向量粗召TableselectorM-schemasSchemaXiyan-SelectorEvidenceevidence召回Evidence全局偏好等global

evidence局部偏好等local

evidenceDemosverifierMemory你現(xiàn)在是?個(gè)

<SQL-dialects>

?成師，需要閱讀?個(gè)客戶的問題，參考的數(shù)據(jù)庫schema，?成?句SQL。以下樣例供你參考[schema][參考信息][問題]{question}[SQL][schema]{schema1}[question]{question1}[SQL]{SQL1}[schema]{schema2}[question]{question2}[SQL]{SQL2}[schema]{schema3}[question]{question3}[SQL]{SQL3}{localevidence

1}{localevidence

2}{global

evidence}這是之前執(zhí)?的SQL，和對(duì)應(yīng)的錯(cuò)誤信息{SQL}.{global

evidence}M-SchemaXiyanSQL的關(guān)鍵設(shè)計(jì)

- Prompt-learning基于M-schema的異源demonstration參考樣例包含schema+question->sql的對(duì)齊它山之石Evidence加持的NL2SQL將業(yè)務(wù)術(shù)語、指標(biāo)作為localevidence，通過召回動(dòng)態(tài)組裝將默認(rèn)邏輯作為global

evidence執(zhí)行錯(cuò)誤的信息作為memoryM-Schema風(fēng)格的數(shù)據(jù)庫描述你現(xiàn)在是一個(gè)

<SQL-dialects>生成師，需要閱讀一個(gè)客戶的問題，參考的數(shù)據(jù)庫schema，生成一句SQL。以下樣例供你參考[schema][參考信息][問題]{question}[SQL][schema]{schema1}[question]{question1}[SQL]{SQL1}[schema]{schema2}[question]{question2}[SQL]{SQL2}[schema]{schema3}[question]{question3}[SQL]{SQL3}{localevidence

1}{localevidence

2}{global

evidence}這是之前執(zhí)行的SQL，和對(duì)應(yīng)的錯(cuò)誤信息{SQL}.{global

evidence}M-SchemaXiyanSQL的關(guān)鍵設(shè)計(jì)-M-schema擴(kuò)展MacSQL

Style的M-Schema更緊湊

vs

DDL

style

vs

MacSQLstyleSQL方言specifictext(PG),varchar

(MySQL)枚舉值參考字符串類型枚舉參考，比如品牌，地名日期、時(shí)間戳類型參考，比如YYYY-MM-DD支持table

description和coldescription更好的理解使用哪張表，哪些列支持外鍵更好的join語句生成【DB_ID】

dbname【Schema】【foreign

key】table1.col1=

table2.col2#Table:table1,tablediscription…[(col1:col_type,description,Examples:[1,2,3]),(col2:col_type,description,Examples:

[1,2,3]),…]#Table:table2,tablediscription…[(col1:col_type,description,Examples:[1,2,3]),(col2:col_type,description,Examples:

[1,2,3]),…]XiyanSQL的關(guān)鍵設(shè)計(jì)

–

其他設(shè)計(jì)高召回的表/列選擇器基于向量檢索的粗召專用的精排模型驗(yàn)證+重試遇到語法錯(cuò)誤，重試生成關(guān)鍵技術(shù)攻關(guān)-XiyanSQLVerifier

AgentdemoretrievalSQLgenerationQWen-MaxSQLverifierresult數(shù)據(jù)庫連接error

infoembeddingevidence樣例<question+schema+sql>樣例庫全局偏好等Tableselector真實(shí)數(shù)據(jù)庫DDL

Schema枚舉值等數(shù)據(jù)庫元信息evidencequestionselected

M-schemastable

numberembeddingselected

M-schemasquestionSchemaFormatorM-SchemaquestionnormalizeembeddingquestionembeddingReplyembeddingRefinerGenerator

AgentSelector

AgentQWen-Max【DB_ID】

activity_1【Schema】#Table:

Activity

[(actid,activity

id.),(activity_name,activityname.Valueexamples:['Volleyball','SquareDancing','Spelunking','Soccer','Proselytizing'].)]QWen-MaxQWen-MaxTableselectorembeddingquestionnormalize關(guān)鍵技術(shù)攻關(guān)-實(shí)驗(yàn)結(jié)果on

spiderXiyanSQL各版本XiyanSQL(Base)+qwenmaxXiyanSQL(SingleAgent)+qwenmaxXiyanSQL(multi-agent)+qwenmaxXiyanSQL(global-verify)+qwenmaxXiyanSQL(multi-agent)+GPT4ex74.76%79.05%82.84%84.45%86.98%79.05%82.84%84.45%86.98%75.00%70.00%65.00%60.00%80.00%74.76%85.00%90.00%ex

指標(biāo)DAIL-SQL+GPT4:

86.6%miniseek:

91.2%關(guān)鍵技術(shù)攻關(guān)-消融實(shí)驗(yàn)GeneratorSelector+GeneratorGenerator+VerifierSelector+Generator+Verifierex79.05%82.58%81.73%82.84%ex-ext79.76%82.84%82.58%83.49%executable94.90%97.27%98.69%99.34%100.00%99.00%98.00%97.00%

96.00%95.00%94.00%

93.00%92.00%91.00%90.00%81.00%79.00%77.00%75.00%89.00%87.00%85.00%83.00%Generator單獨(dú)使用有79%的準(zhǔn)確率在qwenmax上各組件消融實(shí)驗(yàn)exex-extexecutableselector

增加ex

1.1pt-3.5ptverifier

增加ex

0.3pt-2.7pt關(guān)鍵技術(shù)攻關(guān)-agent能力對(duì)比LLMas

selector效果初步可用LLMas

generator效果很好LLMas

verifier仍需提升表選擇的準(zhǔn)確率100%90%80%70%60%50%40%30%20%10%0%表選擇的召回表選擇的精度生成器的值準(zhǔn)確生成器的可執(zhí)行率生成器的邏輯準(zhǔn)確率驗(yàn)證器的值準(zhǔn)確率驗(yàn)證器的可執(zhí)行率提升率驗(yàn)證器的可執(zhí)行率的保持率驗(yàn)證器的邏輯提升率

驗(yàn)證器的邏輯保持率各項(xiàng)agent能力比較關(guān)鍵技術(shù)攻關(guān)-鏈表查詢單表兩表三表及以上XiyanSQL+qwenmax91.13%78.81%62.35%95.00%90.00%85.00%80.00%75.00%70.00%65.00%60.00%55.00%50.00%EX鏈表數(shù)量Ex相對(duì)于鏈表查詢的表數(shù)量單表兩表三表及以上XiyanSQL+qwenmax99.22%97.27%93.98%100.00%99.00%98.00%97.00%96.00%95.00%94.00%93.00%92.00%91.00%90.00%Executable鏈表數(shù)量Executable相對(duì)于鏈表查詢的表數(shù)量實(shí)踐樣例-

一汽智能BI基于自然語言理解生成SQL（NL2SQL）問題：動(dòng)力電池月度累計(jì)裝機(jī)量增長情況？實(shí)際意圖：今年動(dòng)力電池各品牌月度累計(jì)裝機(jī)量環(huán)比、市場占有額環(huán)比是多少問題：上個(gè)月吉林省全新H5的STD完成情況？實(shí)際意圖：11月份東北大區(qū)吉林省的車系型號(hào)H5-2的STD月度累計(jì)銷售額除以月度累計(jì)集團(tuán)銷售目標(biāo)問題：Get

the

Monthly

Cumulative

Replacement

Achievement

of

All

Brands

on

2023/09實(shí)際意圖：2023年9月份各品牌的月度累計(jì)銷售額、月度累計(jì)銷售額除以月度累計(jì)銷售目標(biāo)專有業(yè)務(wù)名詞擴(kuò)展專有指標(biāo)計(jì)算AAK實(shí)際值=AAK日銷量STD完成情況=月度累計(jì)銷售額除以月度累計(jì)集團(tuán)銷售目標(biāo)用電負(fù)荷偏差=預(yù)測用電負(fù)荷減去實(shí)際用電負(fù)荷電量情況=發(fā)電量、儲(chǔ)電量、棄電量復(fù)雜指標(biāo)（微調(diào)）例如“庫存系數(shù)”，需要根據(jù)特定條件join表之后，再進(jìn)行多表計(jì)算例如

“超過平均值的前5”，需要group

byhaving再排序中等指標(biāo)（部分支持，微調(diào)）例如“環(huán)比”、“同比”，需要單表多條數(shù)據(jù)計(jì)算簡單指標(biāo)（默認(rèn)支持）例如：“銷量總和”，求和、求平均、數(shù)量等實(shí)踐樣例-

一汽智能BIGBT-BI現(xiàn)有推理調(diào)用鏈路，基于AI云原生路徑，完成LLM-DataAgent的升級(jí)，并對(duì)外提供服務(wù)