構(gòu)建企業(yè)級(jí)+RAG+系統(tǒng)的創(chuàng)新實(shí)踐-阿里云+費(fèi)躍

構(gòu)建企業(yè)級(jí)RAG系統(tǒng)阿里云/PAI人工智能平臺(tái)模塊化RAG架構(gòu)企業(yè)級(jí)RAG能力集成檢索增強(qiáng)生成（RetrievalAugmentedGeneration,RAG）從數(shù)據(jù)源中檢索信息來(lái)輔助大語(yǔ)言模型（LargeLanguageModel,LLM）生成答案。?準(zhǔn)確性?數(shù)據(jù)安全?需求具有多樣性，常規(guī)RAG鏈路難以滿足不同場(chǎng)景的企業(yè)級(jí)RAG系統(tǒng)架構(gòu)模塊化RAG架構(gòu)高級(jí)高級(jí)RAG模塊化模塊化RAG圖片來(lái)源:/pdf/2407.21059?白盒化：模塊可以靈活添加/修改?快速構(gòu)建：可通過(guò)配置文件/UIdashboard修改模塊配置?代碼開源：兼容LlamaIndex開源協(xié)議?模塊編排：通過(guò)編排和路由匹配不同場(chǎng)景需求評(píng)估端到端和各模塊性能格式多樣性：企業(yè)級(jí)數(shù)據(jù)格式多樣，需要適配不同類型文件的結(jié)構(gòu)和內(nèi)容內(nèi)容復(fù)雜性：文檔內(nèi)容可能包含文塊等多種復(fù)雜元素。非結(jié)構(gòu)化文本：PDF或者掃描類文檔解析難度高知識(shí)庫(kù)中內(nèi)容會(huì)過(guò)期失效結(jié)構(gòu)化文件JSON結(jié)構(gòu)化文件JSON編碼?存儲(chǔ)表格key-value信息非結(jié)構(gòu)化文件轉(zhuǎn)MarkdownPDF解析算法閉源PDF解析API?DocumentMind?LlamaParse開源PDF解析模型?EasyOcr?PDF-Extract-Kit-embedding的序列長(zhǎng)度限制1.Markdown輸入，降低解析復(fù)雜度3.特殊元素處理?減少查詢和文檔之間的語(yǔ)義差異?假設(shè)文檔（HyDE）?回溯提示（STEP-BACKPrompting)?LLM?AgentPrompt路由：根據(jù)問(wèn)題選擇對(duì)應(yīng)的prompt?不同問(wèn)題場(chǎng)景切換prompt?多語(yǔ)言查詢的prompt切換向量檢索–Embedding模型選擇?MTEB榜單?知識(shí)庫(kù)的語(yǔ)言（中文/英文/多語(yǔ)言）?關(guān)鍵字檢索：BM25，稀疏embeddingEmbedding模型微調(diào)權(quán)重和閾值比較困難。?交叉編碼器，比Embedding更精準(zhǔn)?開源模型：bge-reranker,bce-reranker,gte-reranker等LLM重排序如何選擇合適的LLM?文本塊順序：lostinthemiddle?輸出固定格式（JSONformat)?高質(zhì)量FAQ召回多模態(tài)多模態(tài)RAG離線解析：?兩種embedding：文本embedding,CLIPembedding在線查詢?兩路查詢，text_top_k,image_top_k?多模態(tài)大模型進(jìn)行文圖推理應(yīng)的RAGpipeline?對(duì)RAGpipeline的運(yùn)行企業(yè)級(jí)RAG能力集成?企業(yè)自有身份供應(yīng)商集成阿里云SSO?基于角色SSO的訪問(wèn)控制，只讀/編輯/管理員?PrivateLink訪問(wèn)?在線服務(wù)/可觀測(cè)數(shù)據(jù)反饋?生產(chǎn)環(huán)境有嚴(yán)格的權(quán)限管控?A/B實(shí)驗(yàn)LLM-LLM-as-a-Judge:量的輔助模型。?HitRate?MAP(Faithfulness)(Correctness)BladeLLM/vLLM推理加速場(chǎng)景1.客服+FAQ-Q1:忘記賬戶密碼如何重置？-Q2:打印機(jī)安裝指南。-Q1:上個(gè)月杭州門店的銷量情況-Q2:哪個(gè)門店的會(huì)員增長(zhǎng)數(shù)量最多場(chǎng)景1.多模態(tài)RAG問(wèn)答-Q1:A款和B