從數(shù)據(jù)到知識(shí)：Data+Centric+范式大模型落地實(shí)踐

Data-Centric范式大模型落地實(shí)踐楓清科技(Fabarta)/AI負(fù)責(zé)人Data-Centric落地范式介紹如何使用如何使用Data-Centric助力大模型落地Data-Centric范式案例分享大模型大模型GPT4-01發(fā)布ChatGPT2022.112023.62023.12如何共同推進(jìn)成熟階段成熟階段大模型落地認(rèn)知與實(shí)踐大模型落地認(rèn)知與實(shí)踐），），建設(shè)階段應(yīng)對(duì)：梳理業(yè)務(wù)場(chǎng)景，助力降本增效建設(shè)階段痛點(diǎn)：遇到落地問(wèn)題，場(chǎng)景選擇難，落地效果差探索階段應(yīng)對(duì)：梳理企業(yè)數(shù)據(jù)，使用成熟落地工具，助力場(chǎng)景驗(yàn)證探索階段痛點(diǎn)：對(duì)大模型可能有過(guò)高期望或者過(guò)低期望認(rèn)知階段對(duì)模型認(rèn)知有限，跟進(jìn)發(fā)展中認(rèn)知階段對(duì)模型認(rèn)知有限，跟進(jìn)發(fā)展中是Text2指標(biāo)?開(kāi)發(fā)平臺(tái)統(tǒng)一納管開(kāi)發(fā)平臺(tái)統(tǒng)一納管 租算并舉 租算并舉統(tǒng)一調(diào)度Data-Centric范式Data-CentricvsModel-CentricData-Data-Centric:核心是關(guān)注數(shù)據(jù)，使用約定模型，通過(guò)處理數(shù)據(jù)提升落地效果Model-Centric:核心是關(guān)注模型，通過(guò)調(diào)整模型架構(gòu)以及參數(shù)提升效果/abs/2301.04819選型：選型：大模型落地中的Data-Centricvs.Model-Centric越來(lái)越多的大型企業(yè)關(guān)注的重點(diǎn)選擇特定模型模型架構(gòu)相對(duì)固定越來(lái)越多的大型企業(yè)關(guān)注的重點(diǎn)選擇特定模型模型架構(gòu)相對(duì)固定指標(biāo)體系...企業(yè)數(shù)據(jù)企業(yè)數(shù)據(jù)曾經(jīng)大型企業(yè)在人工智能場(chǎng)景落地過(guò)程中關(guān)注的重點(diǎn)如何用Data-Centric范式落地 數(shù)據(jù)...n結(jié)構(gòu)化數(shù)據(jù)元數(shù)據(jù)關(guān)系自動(dòng)構(gòu)建n非結(jié)構(gòu)化數(shù)據(jù)元數(shù)據(jù)關(guān)系構(gòu)建C凈工具...n結(jié)構(gòu)化數(shù)據(jù)元數(shù)據(jù)關(guān)系自動(dòng)構(gòu)建n非結(jié)構(gòu)化數(shù)據(jù)元數(shù)據(jù)關(guān)系構(gòu)建C凈工具 n知識(shí)轉(zhuǎn)換的必要前置條件n利用給類文檔解析技術(shù)處理多類型文n構(gòu)建助力數(shù)據(jù)融合的統(tǒng)一語(yǔ)義層...SQL過(guò)程SQL/cypherSQL過(guò)程SQL/cypherFAQ問(wèn)答檔解析-特定數(shù)據(jù)識(shí)知識(shí)InsightInsightArcVectorArcVector云盤云盤對(duì)象存儲(chǔ)對(duì)象存儲(chǔ)ArcGraph....ArcGraph..........n根據(jù)結(jié)構(gòu)化數(shù)據(jù)之間的關(guān)系，構(gòu)建數(shù)據(jù)血緣鏈路nn根據(jù)結(jié)構(gòu)化數(shù)據(jù)之間的關(guān)系，構(gòu)建數(shù)據(jù)血緣鏈路n根據(jù)非結(jié)構(gòu)化數(shù)據(jù)的關(guān)系，構(gòu)建數(shù)據(jù)血緣關(guān)系，包括分片、段落、文檔，知識(shí)庫(kù)等n基于微調(diào)大模型做實(shí)體關(guān)系抽取非結(jié)構(gòu)化數(shù)據(jù)文檔段落關(guān)系構(gòu)建結(jié)構(gòu)化非結(jié)構(gòu)化數(shù)據(jù)關(guān)系構(gòu)建 ! ! ! ! ! ↓多模態(tài)多模態(tài)智能引向量）智能應(yīng)用文檔問(wèn)答和智能問(wèn)數(shù)場(chǎng)景智能應(yīng)用文檔問(wèn)答和智能問(wèn)數(shù)場(chǎng)景問(wèn)題改寫一 SQL/SQL/Cypher生SQL/Cypher執(zhí)行r------------------------------------------'r------------------------------------------' 企業(yè)數(shù)據(jù)庫(kù)（關(guān)系&圖數(shù)據(jù)庫(kù)）!統(tǒng)一語(yǔ)義庫(kù)結(jié)構(gòu)化數(shù)據(jù)接入 企業(yè)數(shù)據(jù)庫(kù)（關(guān)系&圖數(shù)據(jù)庫(kù)）!統(tǒng)一語(yǔ)義庫(kù)結(jié)構(gòu)化數(shù)據(jù)接入大模型服務(wù)（開(kāi)源或商用）問(wèn)數(shù)流程目數(shù)據(jù)源問(wèn)數(shù)流程目數(shù)據(jù)源生成思考過(guò)程——生成語(yǔ)義DSL生成思考過(guò)程——生成語(yǔ)義DSL↓......統(tǒng)一語(yǔ)義層統(tǒng)一語(yǔ)義層元數(shù)據(jù)語(yǔ)義指標(biāo)語(yǔ)義是語(yǔ)義DSL轉(zhuǎn)化元數(shù)據(jù)語(yǔ)義指標(biāo)語(yǔ)義是語(yǔ)義DSL轉(zhuǎn)化SQL元數(shù)據(jù)血緣指標(biāo)模型語(yǔ)義知識(shí)對(duì)話歷史元數(shù)據(jù)血緣指標(biāo)模型語(yǔ)義知識(shí)對(duì)話歷史COT示例GOTCOT示例GOT示例轉(zhuǎn)化物理SQL生成語(yǔ)義SQLText2轉(zhuǎn)化物理SQL生成語(yǔ)義SQLText2SQL業(yè)務(wù)場(chǎng)景業(yè)務(wù)場(chǎng)景智能體智能體業(yè)務(wù)流程業(yè)務(wù)操作………智能問(wèn)答n10+解析器解析nEmbedding，多路召回和rerank優(yōu)化n元數(shù)據(jù)關(guān)系抽取智能問(wèn)數(shù)n元數(shù)據(jù)管理nSchemalinking優(yōu)化nCoT優(yōu)化機(jī)制和動(dòng)態(tài)提示詞nText2SQL鏈路優(yōu)化HybridRAGnGraphRAG+nativeRAG混合使用n特色解析器：復(fù)雜表格解析、圖片和雙列處理n多模態(tài)數(shù)據(jù)解析與知識(shí)化基于多模態(tài)基于多模態(tài)數(shù)據(jù)的智能體應(yīng)用n統(tǒng)一語(yǔ)義層n意圖識(shí)別與指標(biāo)解析n血緣根因分析n趨勢(shì)預(yù)測(cè)統(tǒng)一智能體（規(guī)劃、工具、工作流、執(zhí)行、記憶、節(jié)點(diǎn)思考過(guò)程可視化、版本管理等）統(tǒng)一智能體多模態(tài)智能引擎統(tǒng)一語(yǔ)義層多模態(tài)智能引擎統(tǒng)一語(yǔ)義層三方基礎(chǔ)大模型Data-Centric落地示例基于產(chǎn)品和共創(chuàng)方法論助力場(chǎng)景快速落地C。階段1場(chǎng)景梳理。。。階段1場(chǎng)景梳理。。階段2數(shù)據(jù)就緒。落地落地。階段4持續(xù)優(yōu)化知識(shí)通用AI應(yīng)用場(chǎng)景全景視圖FabartaAI能力支持342221721576624467346877781387FFFFFFFF產(chǎn)?…?…?…?…1342221721576624467346877781387FFFFFFFF產(chǎn)?…?…?…?…12?…5?…678?…334316386FFF334316386FFF?…122345檔檔問(wèn)數(shù)--Text2SQL+臺(tái)融合場(chǎng)景--場(chǎng)景融合通6通6根7用根7用 nn關(guān)注業(yè)務(wù)，關(guān)注RoIn需要更深入了解業(yè)務(wù)，結(jié)合業(yè)務(wù)n多