【亞馬遜云科技】LLMOps驅(qū)動(dòng)生成式AI應(yīng)用的運(yùn)營(yíng)化15510mb

掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料頁(yè)碼：

1

/

155頁(yè)碼：

2

/

155目錄亞馬遜云科技：LLMOps

驅(qū)動(dòng)生成式

AI

應(yīng)用的運(yùn)營(yíng)化.............................................

3京東電商搜索：大模型生成式檢索優(yōu)化實(shí)踐..................................................................

22京東健康基于大模型的生成式推薦在電商標(biāo)品推薦的應(yīng)用.......................................

44喜馬拉雅基于大模型

ChatBl

實(shí)踐探索...........................................................................60

ChatBI：基于文心一言的生成式數(shù)據(jù)分析技術(shù)探索....................................................

70面向生成式

AI

的向量數(shù)據(jù)庫(kù)：架構(gòu)，

性能與未來(lái)趨勢(shì)...........................................

84有數(shù)

ChatBI：大模型驅(qū)動(dòng)下的數(shù)據(jù)分析技術(shù)探索和實(shí)踐......................................

103火山引擎基于大模型

ChatBI

的演進(jìn)與實(shí)踐...............................................................

129亞馬遜云科技：LLMOps

驅(qū)動(dòng)生成式 AI

應(yīng)用的運(yùn)營(yíng)化導(dǎo)讀：生成式

AI

的應(yīng)用與大模型的開(kāi)發(fā)是一個(gè)復(fù)雜的過(guò)程，涉及從模型選擇、微調(diào)到部署和監(jiān)控的全生命周期管理。通過(guò)精細(xì)化的角色劃分，提供者負(fù)責(zé)構(gòu)建基礎(chǔ)大模型，調(diào)優(yōu)者進(jìn)行行業(yè)定制化優(yōu)化，消費(fèi)者則在此基礎(chǔ)上應(yīng)用模型解決實(shí)際問(wèn)題。技術(shù)上，

檢索增強(qiáng)生成（RAG）和高效微調(diào)（如

PEFT）等方法有助于提升模型的準(zhǔn)確性和適應(yīng)性。亞馬遜云科技的生成式

AI

服務(wù)通過(guò)簡(jiǎn)化的

API接口，支持用戶(hù)快速調(diào)用和定制大模型，提供持續(xù)優(yōu)化和監(jiān)控功能，確保模型在實(shí)際應(yīng)用中的穩(wěn)定性和效果。整個(gè)流程需要嚴(yán)格的評(píng)估、反饋和優(yōu)化，才能推動(dòng)生成式

AI

在各行業(yè)中的有效落地和持續(xù)改進(jìn)。本次分享的主要內(nèi)容包括：生成式

AI

用例MLOps與

LLMOps構(gòu)建核心用例調(diào)優(yōu)之旅分享嘉賓｜王宇博

亞馬遜云科技

開(kāi)發(fā)者關(guān)系負(fù)責(zé)人，首席布道師編輯整理｜陳思永內(nèi)容校對(duì)｜李瑤出品社區(qū)｜DataFun頁(yè)碼：

3

/

15501生成式

AI

用例生成式

AI

能夠不斷向前推進(jìn)，是因?yàn)槠淇梢垣@得實(shí)際的落地應(yīng)用。讓我們從一個(gè)簡(jiǎn)單的例子開(kāi)始探討生成式

AI

的應(yīng)用。1.

生成式

AI

用例：電子郵件摘要生成器在工作中，我們會(huì)收到大量的電子郵件，尤其是涉及長(zhǎng)時(shí)間跨度的原始郵件及回復(fù)，我們希望能夠從中快速獲取關(guān)鍵信息，以便于進(jìn)一步判斷和采取行動(dòng)，這時(shí)電子郵件摘要生成器就可以發(fā)揮作用。通過(guò)大模型技術(shù)，可以快速生成郵件摘要，幫助用戶(hù)有效獲取信息。同時(shí)，針對(duì)郵件中的技術(shù)細(xì)節(jié)和最佳實(shí)踐等信息，可以快速提取相關(guān)文檔，以利于優(yōu)化后續(xù)工作。除此以外，很多在線應(yīng)用都增添了類(lèi)似功能，

例如商品評(píng)論摘要等等，都是利用大模型自動(dòng)提煉出關(guān)鍵信息。2.

從小處著手，從大處著想從上面的例子來(lái)看生成式

AI

如何落地。頁(yè)碼：

4

/

155核心訴求：

用戶(hù)希望通過(guò)大模型快速獲得電子郵件的摘要，

這需要將大模型應(yīng)用于信息提煉。擴(kuò)張思考：

摘要生成后，

用戶(hù)可能需要查閱相關(guān)文檔、產(chǎn)品能力介紹、服務(wù)說(shuō)明等，

這需要更復(fù)雜的關(guān)聯(lián)功能來(lái)實(shí)現(xiàn)。未來(lái)規(guī)劃：

隨著技術(shù)的進(jìn)步，期望大模型能幫助用戶(hù)解決更多的領(lǐng)域細(xì)節(jié)問(wèn)題。02MLOps與

LLMOps頁(yè)碼：

5

/

155將大模型應(yīng)用到實(shí)際生產(chǎn)實(shí)踐中并非一蹴而就，需要經(jīng)過(guò)復(fù)雜的技術(shù)實(shí)現(xiàn)，包括數(shù)據(jù)處理、模型評(píng)估、模型調(diào)優(yōu)等一系列步驟。模型的適應(yīng)性與可擴(kuò)展性：

大模型的一個(gè)主要挑戰(zhàn)是其適應(yīng)性和可擴(kuò)展性。隨著企業(yè)和項(xiàng)目的需求變化，

如何讓大模型在不同的場(chǎng)景中都能高效工作，是一個(gè)技術(shù)難題。例如，一個(gè)專(zhuān)為電子郵件摘要設(shè)計(jì)的大模型，如何在客戶(hù)服務(wù)、技術(shù)支持或市場(chǎng)營(yíng)銷(xiāo)等多領(lǐng)域中都能產(chǎn)生有用的信息？

這需要模型具有較高的泛化能力，能夠根據(jù)實(shí)際場(chǎng)景靈活調(diào)整。成本問(wèn)題：

大模型的訓(xùn)練和部署通常需要龐大的計(jì)算資源，

這使得它們?cè)谏a(chǎn)環(huán)境中的運(yùn)維成本非常高。為了應(yīng)對(duì)這一挑戰(zhàn)，

云計(jì)算和分布式技術(shù)的結(jié)合顯得尤為重要，尤其是采用云端結(jié)合的架構(gòu)來(lái)優(yōu)化成本和計(jì)算資源的利用。隱私保護(hù)與數(shù)據(jù)安全：

大模型在處理大量敏感數(shù)據(jù)時(shí)，

如何確保用戶(hù)隱私和數(shù)據(jù)安全是一個(gè)亟待解決的問(wèn)題。尤其是在處理電子郵件或企業(yè)內(nèi)部通訊時(shí)，數(shù)據(jù)泄露或模型訓(xùn)練過(guò)程中不當(dāng)?shù)臄?shù)據(jù)使用可能帶來(lái)巨大的風(fēng)險(xiǎn)。對(duì)此，

需要加強(qiáng)數(shù)據(jù)加密、合規(guī)審查、去標(biāo)識(shí)化等技術(shù)措施。頁(yè)碼：

6

/

155MLOps（

Machine

Learning

Operations）

指的是高效的機(jī)器學(xué)習(xí)生產(chǎn)落地實(shí)踐方案，是使機(jī)器學(xué)習(xí)運(yùn)營(yíng)化的能力。FMOps（FoundationModel

Operations）和

LLMOps（Large

Language

Model

Operations）則是針對(duì)大模型的生產(chǎn)落地實(shí)踐方案。無(wú)論是

MLOps

還是

FMOps

或

LLMOps，其核心都是人、技術(shù)和流程。人是其中最為重要的一環(huán)，包括開(kāi)發(fā)者、工程師、用戶(hù)等不同角色。技術(shù)則是一直以來(lái)備受關(guān)注的方面，包括模型的選擇、性能、準(zhǔn)確率、成本等等。最后是流程化，包括流水線的構(gòu)建，涉及持續(xù)集成和交付工具（CICD）等技術(shù)。頁(yè)碼：

7

/

155相比于傳統(tǒng)的

MLOps，LLMOps

需要考慮更多因素，主要仍是集中在人、技術(shù)和流程三大方面。人：按人群畫(huà)像，分為模型提供者、模型微調(diào)者和消費(fèi)者。型號(hào)選擇：包括專(zhuān)有模型還是開(kāi)源模型的選擇，模型大小，并綜合考慮性能、準(zhǔn)確率、成本，以及許可證。版本控制的構(gòu)件：包括提示、LLM

版本、LLM

超參數(shù)，

以及數(shù)據(jù)集。編排：將

LLM連接到外部存儲(chǔ)器、代理、數(shù)據(jù)庫(kù)。調(diào)整模型：包括提示工程、RAG、微調(diào)。評(píng)估模型：包括多任務(wù)、場(chǎng)景，

以及各項(xiàng)指標(biāo)。部署模型：

需要考慮單租戶(hù)或多租戶(hù)形式，

以及成本、延遲、量化和數(shù)據(jù)隱私等多個(gè)方面。長(zhǎng)期監(jiān)控性能：

大模型可能出現(xiàn)偏見(jiàn)或幻覺(jué)問(wèn)題，需要依據(jù)人類(lèi)反饋長(zhǎng)期監(jiān)控。頁(yè)碼：

8

/

155針對(duì)不同類(lèi)型的用戶(hù)群體，需要構(gòu)建不同的

LLMOps。從用戶(hù)的維度來(lái)看，三大類(lèi)人群：

提供者、調(diào)優(yōu)者和消費(fèi)者，涉及不同的技術(shù)能力。提供者：提供者負(fù)責(zé)從頭開(kāi)始構(gòu)建大模型。這包括數(shù)據(jù)處理以及模型的訓(xùn)練、調(diào)優(yōu)、部署和推理等工作。提供者在技術(shù)上需要具備端到端的大模型構(gòu)建能力，并能夠針對(duì)不同的業(yè)務(wù)需求設(shè)計(jì)或選擇合適的模型。調(diào)優(yōu)者：

調(diào)優(yōu)者通常是基于提供者提供的基礎(chǔ)大模型進(jìn)行微調(diào)，

以滿(mǎn)足特定領(lǐng)域和應(yīng)用場(chǎng)景的需求。他們將調(diào)整后的模型作為服務(wù)（Model

asa

Service）提供給消費(fèi)者。調(diào)優(yōu)者需要具備扎實(shí)的機(jī)器學(xué)習(xí)技能，

尤其是在模型部署、推理、調(diào)參方面，

同時(shí)需要有一定的行業(yè)知識(shí)，如教育、醫(yī)療、金融等，

才能更好地進(jìn)行領(lǐng)域定制化調(diào)優(yōu)。消費(fèi)者：

消費(fèi)者是最終使用大模型的用戶(hù)，通常集中在應(yīng)用開(kāi)發(fā)領(lǐng)域。消費(fèi)者不一定需要具備深入的機(jī)器學(xué)習(xí)知識(shí)，但需要具備對(duì)業(yè)務(wù)領(lǐng)域的深刻理解。通過(guò)提示工程，

他們能幫助模型更好地適應(yīng)實(shí)際應(yīng)用場(chǎng)景。消費(fèi)者在實(shí)際應(yīng)用中是大模型的最終使用者，他們的需求和反饋對(duì)于大模型的優(yōu)化至關(guān)重要。頁(yè)碼：

9

/

155提供者端更加關(guān)注

MLOps，而消費(fèi)者端則更多關(guān)注于AppDev/DevOps。通過(guò)對(duì)三類(lèi)人群的需求理解，可以設(shè)計(jì)出更加適應(yīng)不同用戶(hù)的模型架構(gòu)和應(yīng)用流程。03構(gòu)建核心用例選擇合適的應(yīng)用場(chǎng)景是大模型成功落地的關(guān)鍵。關(guān)于用例構(gòu)建，亞馬遜云科技有一套成熟的方法論。首先是理解應(yīng)用場(chǎng)景，然后選擇合適的大模型，收集測(cè)試數(shù)據(jù)，接著是提示詞工程，最終部署。部署后還需要持續(xù)地監(jiān)控，收集反饋數(shù)據(jù)，不斷優(yōu)化和迭代。頁(yè)碼：

10

/

155選擇應(yīng)用場(chǎng)景的過(guò)程中需要考慮關(guān)鍵性、規(guī)模、任務(wù)類(lèi)型、語(yǔ)音和

ROI

等一些重要問(wèn)題。以郵件摘要的場(chǎng)景為例，這一需求是非常重要的，但并不是必不可少的。規(guī)模方面，郵件的目標(biāo)受眾是公司內(nèi)員工，可能有幾十萬(wàn)人，而面向終端用戶(hù)的應(yīng)用規(guī)模會(huì)更大。另外，要深入分析業(yè)務(wù)流程，挖掘業(yè)務(wù)價(jià)值。在應(yīng)用場(chǎng)景明確后，

下一步是選擇合適的基礎(chǔ)模型（

FM）

并進(jìn)行調(diào)優(yōu)。選擇基礎(chǔ)模型的過(guò)程包括三個(gè)關(guān)鍵步驟：第一步，了解頂級(jí)專(zhuān)有和開(kāi)源大模型的功能；第二步，

評(píng)估并選定前三名

FM；第三步，根據(jù)優(yōu)先事項(xiàng)選定最佳的

FM。頁(yè)碼：

11

/

155在選擇

FM之前，

首先要了解客戶(hù)現(xiàn)有技能。接著，

要了解市場(chǎng)上主流的大模型，包括專(zhuān)有或開(kāi)源

FM，如

Anthropic

的

Claude

系列、亞馬遜的

Nova

系列，Meta

的

Llama

和國(guó)內(nèi)的眾多大模型等。每種模型都有其優(yōu)勢(shì)與局限，選擇時(shí)需根據(jù)業(yè)務(wù)需求來(lái)進(jìn)行比較。需要綜合考慮模型速度、參數(shù)、質(zhì)量，是否可微調(diào)等各方面因素。根據(jù)業(yè)務(wù)需求，建立一系列快速入圍的模型清單，并通過(guò)簡(jiǎn)單的測(cè)試進(jìn)行初步篩選。對(duì)入圍模型進(jìn)行實(shí)際案例測(cè)試，比如在BI

能力的場(chǎng)景下，測(cè)試模型能否準(zhǔn)頁(yè)碼：

12

/

155確生成財(cái)務(wù)文件摘要等任務(wù)。根據(jù)測(cè)試結(jié)果和模型的表現(xiàn)，選擇最合適的模型。此時(shí)可以考慮的因素包括：模型的精度、響應(yīng)速度、擴(kuò)展性以及對(duì)特定任務(wù)的適應(yīng)能力。模型評(píng)估體系類(lèi)似于二叉樹(shù)的結(jié)構(gòu)，包含各種指標(biāo)，以衡量候選模型是否能夠滿(mǎn)足需求。上圖中展示了一個(gè)模型評(píng)估的示例。實(shí)例測(cè)試：

例如，針對(duì)特定問(wèn)題（如當(dāng)前英國(guó)首相的名字），用不同的模型頁(yè)碼：

13

/

155生成答案，并根據(jù)實(shí)際準(zhǔn)確度、時(shí)效性等標(biāo)準(zhǔn)進(jìn)行評(píng)分。評(píng)分與反饋：

通過(guò)定量的評(píng)分和定性的反饋來(lái)評(píng)估模型，

結(jié)果可形成一個(gè)基于實(shí)際應(yīng)用的“評(píng)分表”，幫助開(kāi)發(fā)者決定最終選擇的模型。基于初步篩選出的候選大模型，進(jìn)一步根據(jù)優(yōu)先級(jí)選擇出最佳大模型。考慮因素包括速度、精度和成本三個(gè)維度。實(shí)際應(yīng)用中，有時(shí)為了節(jié)省成本，可能會(huì)選擇稍微犧牲精度的模型，而在某些高精度要求的場(chǎng)景中，速度和成本可能會(huì)被放到次要位置。因此三者需綜合考慮，根據(jù)業(yè)務(wù)需求進(jìn)行權(quán)衡。頁(yè)碼：

14

/

155在生成式

AI

的應(yīng)用開(kāi)發(fā)過(guò)程中，開(kāi)發(fā)者、提示詞工程師和測(cè)試者的工作包括大模型的選擇、提示詞工程、測(cè)試、連鎖提示等，還要考慮輸入輸出的過(guò)濾與護(hù)欄，對(duì)外需要考慮評(píng)級(jí)機(jī)制。前端

DevOps

和應(yīng)用開(kāi)發(fā)者，

需要在外部應(yīng)用對(duì)大模型進(jìn)行調(diào)用，

并進(jìn)行輸入輸出的評(píng)級(jí)和反饋。前端通過(guò)

WebUI

與最終用戶(hù)進(jìn)行交互。檢索增強(qiáng)生成技術(shù)（Retrieval-Augmented

Generation，簡(jiǎn)稱(chēng)

RAG）是近年來(lái)生成式

AI

應(yīng)用中的重要發(fā)展方向，旨在通過(guò)結(jié)合外部數(shù)據(jù)源（如知識(shí)庫(kù)、數(shù)據(jù)庫(kù)、文檔存儲(chǔ)等）提升大模型的生成效果。RAG

的工作原理：RAG

結(jié)合了生成模型和檢索模型，首先通過(guò)檢索機(jī)制從大量的數(shù)據(jù)源中獲取與任務(wù)相關(guān)的信息，然后利用這些信息作為上下文輸入到生成模型中，

生成更加準(zhǔn)確且有用的結(jié)果。這種方法有效彌補(bǔ)了大模型在缺乏外部知識(shí)支持時(shí)的局限性，尤其在處理動(dòng)態(tài)數(shù)據(jù)或時(shí)效性要求較高的任務(wù)時(shí)表現(xiàn)尤為突出。提升生成準(zhǔn)確性：通過(guò)集成檢索功能，RAG

能夠在生成過(guò)程中引入更多的背頁(yè)碼：

15

/

155景知識(shí)，提高生成內(nèi)容的準(zhǔn)確性和相關(guān)性。例如，在自動(dòng)化客服系統(tǒng)中，RAG可以實(shí)時(shí)檢索最新的產(chǎn)品文檔和用戶(hù)反饋，以生成更加符合用戶(hù)需求的答案。支持多領(lǐng)域知識(shí)：RAG

不僅能夠增強(qiáng)生成模型的知識(shí)廣度，還能更好地支持特定行業(yè)的需求。在生成式

AI

的應(yīng)用過(guò)程中，消費(fèi)者通常會(huì)經(jīng)歷幾個(gè)關(guān)鍵步驟：評(píng)估和選擇模型：由于大模型通常是“黑盒”的，選擇合適的模型至關(guān)重要。評(píng)估時(shí)需考慮多個(gè)因素，包括模型的準(zhǔn)確性、處理速度、資源消耗等。同時(shí)，需要通過(guò)調(diào)整輸入的上下文信息，使得模型能夠生成符合預(yù)期的結(jié)果。人機(jī)交互與反饋優(yōu)化：生成

AI

的成功應(yīng)用不僅依賴(lài)于初始的模型能力，

還需要通過(guò)不斷的用戶(hù)反饋來(lái)優(yōu)化生成結(jié)果。用戶(hù)的互動(dòng)行為（

如對(duì)生成內(nèi)容的評(píng)分或評(píng)論）能夠?yàn)槟Ｐ吞峁└倪M(jìn)的方向，從而不斷提升系統(tǒng)的響應(yīng)能力。個(gè)性化微調(diào)：微調(diào)是優(yōu)化生成

AI

模型的一種常見(jiàn)方法，

尤其是在面向特定行業(yè)或領(lǐng)域的應(yīng)用時(shí)。例如，通過(guò)上傳行業(yè)數(shù)據(jù)、用戶(hù)歷史記錄等進(jìn)行微調(diào)，模型可以生成更加個(gè)性化和定制化的內(nèi)容，滿(mǎn)足特定用戶(hù)的需求。頁(yè)碼：

16

/

155亞馬遜云科技推出的

Amazon

Bedrock

服務(wù)，

使用簡(jiǎn)單的

API

即可調(diào)用領(lǐng)先的大模型，

無(wú)需深入了解大模型的技術(shù)細(xì)節(jié)。該服務(wù)支持各種主流大模型（

如Claude、Llama

等），

并提供定制化微調(diào)能力，

幫助用戶(hù)根據(jù)自身需求調(diào)整模型。

利用

Amazon

Bedrock

的智能體和知識(shí)庫(kù)可以快速構(gòu)建

RAG

，

利用Amazon

Bedrock

Guardrails

可實(shí)現(xiàn)可靠的應(yīng)用。服務(wù)提供了多種安全相關(guān)能力，全方位保障用戶(hù)數(shù)據(jù)和應(yīng)用的安全與隱私。頁(yè)碼：

17

/

15504調(diào)優(yōu)之旅掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料在實(shí)際應(yīng)用中，生成式

AI

的效果不僅僅依賴(lài)于基礎(chǔ)模型的能力，還需要通過(guò)微調(diào)和優(yōu)化來(lái)進(jìn)一步提升，以更好地適應(yīng)具體的業(yè)務(wù)場(chǎng)景，提高生成內(nèi)容的質(zhì)量和準(zhǔn)確性。模型調(diào)優(yōu)過(guò)程包括：數(shù)據(jù)標(biāo)注：

數(shù)據(jù)標(biāo)注是微調(diào)過(guò)程中的一個(gè)關(guān)鍵步驟，它為模型提供了學(xué)習(xí)的基礎(chǔ)，

幫助模型更好地理解和處理特定任務(wù)。在微調(diào)時(shí)，

數(shù)據(jù)的標(biāo)注質(zhì)量直接影響模型的最終效果，因此，確保標(biāo)注數(shù)據(jù)的準(zhǔn)確性和高質(zhì)量至關(guān)重要。模型微調(diào)：

通過(guò)修改模型的參數(shù)或訓(xùn)練策略，

使其在特定領(lǐng)域（如金融、醫(yī)療、法律等）表現(xiàn)更好。部署和提示工程：需權(quán)衡準(zhǔn)確度、延遲和成本等多方面因素。監(jiān)控：模型部署后的監(jiān)控是確保生成式

AI

能夠穩(wěn)定、有效運(yùn)行的重要步驟。通過(guò)用戶(hù)反饋、打分等手段持續(xù)優(yōu)化模型。頁(yè)碼：

18

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料微調(diào)有多種不同的方式，第一種是傳統(tǒng)的訓(xùn)練式微調(diào)，這種方式雖然可以得到更高的精度，但通常需要較高的計(jì)算能力，因此成本較高。另一種是高效微調(diào)

PEFT，

這是一種更加經(jīng)濟(jì)的優(yōu)化方法。PEFT

只需調(diào)整少量參數(shù)，大大減少了對(duì)

GPU

資源的需求，且能夠在垂直領(lǐng)域（如金融、醫(yī)療等）獲得優(yōu)異的效果。PEFT方法已經(jīng)歷多年發(fā)展，

其中最流行的變體包括

LoRA（Low-Rank

Adaptation）等。亞馬遜云科技提供的云上服務(wù)

Amazon

SageMaker，

依靠其強(qiáng)大的生成式

AI頁(yè)碼：

19

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料能力，支持大模型的選擇、訓(xùn)練、微調(diào)、評(píng)估和部署。該平臺(tái)專(zhuān)門(mén)面向數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師，幫助他們優(yōu)化生成式

AI

模型，并確保模型能夠高效、低成本地應(yīng)用于生產(chǎn)環(huán)境。并提供了工業(yè)化的精細(xì)管理和監(jiān)控，使用戶(hù)可以更高效地實(shí)現(xiàn)云端的

LLMOps。大模型的生命周期管理涵蓋了從模型的訓(xùn)練、部署到長(zhǎng)期的監(jiān)控與優(yōu)化。首先是模型的微調(diào)、評(píng)估和選擇，

可以使用

Amazon

SageMaker

進(jìn)行模型評(píng)估，

根據(jù)成本、延遲等進(jìn)行比較和選擇。第二部分是大模型的版本控制、血緣和審批。接下來(lái)是模型的部署、監(jiān)控和評(píng)級(jí)，保證模型在應(yīng)用過(guò)程中可檢測(cè)、可反饋。最后是面向終端用戶(hù)的生成式AI

應(yīng)用和互動(dòng)，互動(dòng)中也會(huì)收集用戶(hù)反饋，以進(jìn)一步優(yōu)化模型。頁(yè)碼：

20

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料人員和流程也是

LLMOps

中的重要環(huán)節(jié)，分清關(guān)切是成功的關(guān)鍵。我們的實(shí)踐是通過(guò)人群畫(huà)像作為切入點(diǎn)，在流程中進(jìn)一步細(xì)化分類(lèi)，構(gòu)建完善的生產(chǎn)環(huán)境的實(shí)踐。隨著技術(shù)的不斷發(fā)展，生成式

AI

的應(yīng)用場(chǎng)景將更加廣泛，亞馬遜也將進(jìn)一步完善所提供的服務(wù)，幫助更多的開(kāi)發(fā)者和企業(yè)提升

AI

應(yīng)用的質(zhì)量與效率。頁(yè)碼：

21

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料京東電商搜索：大模型生成式檢索優(yōu)化實(shí)踐導(dǎo)讀：本文詳細(xì)介紹了基于大模型的生成式檢索。本文分享主要內(nèi)容：背景/現(xiàn)狀介紹從

Lexical

based

方向深入探究大模型生成式檢索的應(yīng)用從

SemanticID

based

方向深入探究大模型生成式檢索的應(yīng)用未來(lái)展望問(wèn)答環(huán)節(jié)團(tuán)隊(duì)介紹分享嘉賓｜王彗木/京東算法工程師李明明/京東算法工程師編輯整理｜王紅雨內(nèi)容校對(duì)｜李瑤出品社區(qū)｜DataFun01背景/現(xiàn)狀介紹1.

業(yè)務(wù)場(chǎng)景概述與搜索鏈路挑戰(zhàn)頁(yè)碼：

22

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料在搜索鏈路的召回環(huán)節(jié)，面對(duì)龐大的商品庫(kù)規(guī)模，從千萬(wàn)至數(shù)十億的商品中快速提取潛在相關(guān)商品，需在時(shí)間與資源約束下，確保效率與性能兼?zhèn)洹；谖谋拘畔⒌碾p塔架構(gòu)（

表示+索引）

已廣泛應(yīng)用于商品檢索中。該方法通過(guò)用戶(hù)點(diǎn)擊數(shù)據(jù)，將查詢(xún)?cè)~和商品文本映射到相同的語(yǔ)義空間，利用內(nèi)積或余弦相似度實(shí)現(xiàn)高效檢索。然而，為了適應(yīng)快速檢索需求，雙塔架構(gòu)減少了塔間交互，導(dǎo)致模型在精確語(yǔ)義匹配和長(zhǎng)尾數(shù)據(jù)場(chǎng)景中表現(xiàn)不佳。盡管后期嘗試引入交互或偽交互改進(jìn)，仍受限于基本雙塔架構(gòu)，未從根本上革新交互方式，加之索引維護(hù)成本與精度折損的挑戰(zhàn)，促使業(yè)界尋求破局之策。頁(yè)碼：

23

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料在此背景下，生成式檢索異軍突起，顛覆傳統(tǒng)檢索邏輯，借力語(yǔ)言模型實(shí)現(xiàn)查詢(xún)到商品信息的直接端到端映射，即時(shí)生成高度相關(guān)的商品列表，開(kāi)創(chuàng)了深度、連貫的交互新模式，尤其在復(fù)雜語(yǔ)義匹配領(lǐng)域展現(xiàn)出巨大潛力。生成式檢索憑借四方面核心優(yōu)勢(shì)提升了搜索體驗(yàn)：鏈路損耗規(guī)避：摒棄傳統(tǒng)多步驟流程中的信息衰減，

實(shí)現(xiàn)

Query

至結(jié)果展示的一體化。索引管理優(yōu)化：

將原有索引轉(zhuǎn)換為輕量級(jí)索引，簡(jiǎn)化數(shù)據(jù)庫(kù)管理，

顯著降低存儲(chǔ)與檢索開(kāi)銷(xiāo)。模型表現(xiàn)升級(jí)：持續(xù)迭代優(yōu)化每一步推薦過(guò)程，集成

GPT

等先進(jìn)語(yǔ)言模型，深化特征抽取，

增強(qiáng)理解和生成能力，

特別在多樣化和長(zhǎng)尾商品描述中展現(xiàn)卓越效能。知識(shí)融合增強(qiáng)：

挖掘大型語(yǔ)言模型蘊(yùn)含的世界知識(shí)，促進(jìn)推薦智能化與個(gè)性化，助力冷啟動(dòng)破解及長(zhǎng)尾產(chǎn)品推廣。不過(guò)，挑戰(zhàn)猶存，商品表示困難、文本長(zhǎng)度過(guò)長(zhǎng)、噪音大、詞序無(wú)關(guān)以及訓(xùn)練難頁(yè)碼：

24

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料度高仍是亟需攻克的技術(shù)壁壘。針對(duì)生成式檢索的優(yōu)化，我們進(jìn)行了兩方面的探索，一個(gè)是

Lexical

based，另一個(gè)是

SemanticID

based。Lexical

聚焦于運(yùn)用自然語(yǔ)言的詞匯單元作為文本表征；而

Semantic

ID，則轉(zhuǎn)向數(shù)值基底，借助數(shù)字序列來(lái)描繪文本特征，具體實(shí)踐上，

先通過(guò)外部編碼器轉(zhuǎn)換文本，繼之以層次聚類(lèi)技術(shù)生成

ID

標(biāo)識(shí)。這兩種策略各具特色：Lexical

直接受益于大語(yǔ)言模型的強(qiáng)大功能，

無(wú)需附加信息導(dǎo)入即可充分發(fā)揮模型效能，展現(xiàn)出較高的透明度與靈活性；SemanticID則擅長(zhǎng)抽象化處理，通過(guò)數(shù)字編碼精煉文本內(nèi)涵，適用于深度挖掘文本背后的語(yǔ)義關(guān)聯(lián)。接下來(lái)將分別展開(kāi)介紹這兩種策略。02Lexical

based首先要介紹的是

Lexical

based

方法。頁(yè)碼：

25

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料先來(lái)明確一下任務(wù)定義。Lexical

based，即大語(yǔ)言模型根據(jù)用戶(hù)

query

生成檢索到的相關(guān)商品的標(biāo)題。任務(wù)看起來(lái)簡(jiǎn)單，但其實(shí)在電商場(chǎng)景下會(huì)面臨一些挑戰(zhàn)。商品標(biāo)題構(gòu)造原則兼具全局無(wú)關(guān)與局部敏感雙重特性：前者體現(xiàn)為關(guān)鍵詞次序靈活變換，對(duì)意義解讀影響有限；后者強(qiáng)調(diào)品牌、型號(hào)等核心信息的固定性，構(gòu)成商品辨識(shí)的基石。例如，“小米紅米

Note13

5G

一億像素”中，“小米”、“

紅米”、“Note13”等關(guān)鍵詞的順序調(diào)整，對(duì)消費(fèi)者的理解影響差異甚微。同時(shí)，同款商品標(biāo)題中品牌名稱(chēng)的重復(fù)使用，雖可提高搜索覆蓋面，卻徒增不必要的運(yùn)頁(yè)碼：

26

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料算負(fù)載。這一矛盾要求模型具備區(qū)分主次信息的能力，既要理解標(biāo)題結(jié)構(gòu)中的靈活性與剛性規(guī)則，又要有效濾除冗余，實(shí)現(xiàn)精準(zhǔn)而高效的商品匹配?；诙?/p>

query

生成商品標(biāo)題的任務(wù)，

存在信息冗余、泛化障礙、數(shù)據(jù)分布偏差及召回精準(zhǔn)度差等難題。核心問(wèn)題源自

query

的極度精簡(jiǎn)，平均僅

7

個(gè)

token，與平均

50+

token、信息飽滿(mǎn)的標(biāo)題目標(biāo)形成鮮明對(duì)比。直接生成較長(zhǎng)的標(biāo)題可能導(dǎo)致顯著的幻覺(jué)問(wèn)題。盡管一些研究嘗試?yán)妙A(yù)訓(xùn)練的語(yǔ)義

ID

作為文檔標(biāo)識(shí)符來(lái)簡(jiǎn)化任務(wù)，將其轉(zhuǎn)換為查詢(xún)到語(yǔ)義

ID

的映射，從而降低復(fù)雜性，但這種方法嚴(yán)重依賴(lài)外部文檔表示，偏離了語(yǔ)言本身，并且需要額外的校準(zhǔn)，降低了結(jié)果的可解釋性。再者，一對(duì)多映射的天然難題，疊加電商生態(tài)特有的數(shù)據(jù)分布失衡，構(gòu)成了額外的障礙。熱門(mén)

query

背后商品眾多，

占據(jù)主導(dǎo)地位；

反之，

長(zhǎng)尾

query

對(duì)應(yīng)商品寥寥，模型需在多樣性與稀疏性之間尋找平衡，既要廣泛覆蓋高頻查詢(xún)，又要細(xì)致關(guān)照長(zhǎng)尾需求。在召回階段，模型生成候選空間巨大（整個(gè)商品庫(kù)），在模型生成大量候選標(biāo)題時(shí)，定位確切商品的準(zhǔn)確率會(huì)降低，并很有可能生成不在商品庫(kù)的標(biāo)題，即產(chǎn)生非商品關(guān)聯(lián)內(nèi)容，影響召回指標(biāo)。因此，需要新的解決方案，提升模型適應(yīng)性和輸出質(zhì)量，同時(shí)確保對(duì)所有

Query的公正對(duì)待。頁(yè)碼：

27

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料為了解決上述問(wèn)題，我們構(gòu)建了新的檢索框架，名為“偏好優(yōu)化型生成式檢索”，旨在精準(zhǔn)匹配用戶(hù)需求與商品信息?？蚣苡伤牟胶诵牧鞒探M成：任務(wù)重定義：首要是對(duì)原始任務(wù)進(jìn)行改造，

通過(guò)詞語(yǔ)切割、排序與重組技術(shù)重

構(gòu)

商

品

標(biāo)

題

，

將

“

Query2Title

”

任

務(wù)

轉(zhuǎn)

變

為

更

易

于

管

理

的“Query2MultiSpan”，以簡(jiǎn)化生成路徑，提升處理效率。監(jiān)督微調(diào)：

運(yùn)用垂直領(lǐng)域數(shù)據(jù)對(duì)模型進(jìn)行精細(xì)調(diào)整，針對(duì)性強(qiáng)化，

以降低生成過(guò)程中的誤差概率，

保證產(chǎn)出標(biāo)題的質(zhì)量和相關(guān)性。偏好優(yōu)化(DPO)：

通過(guò)組織偏好樣本來(lái)校準(zhǔn)模型偏好，

使生成結(jié)果符合樣本的被點(diǎn)擊偏好。約束搜索(Constraint

Beam

Search)：在最終推理階段，

實(shí)施約束機(jī)制，避免模型產(chǎn)生無(wú)效或不符合規(guī)范的片段，保障所有生成內(nèi)容的有效性與準(zhǔn)確性。整個(gè)框架設(shè)計(jì)通過(guò)逐步迭代和優(yōu)化，實(shí)現(xiàn)了從任務(wù)抽象化到具體執(zhí)行層面的全面把控，可確保商品標(biāo)題生成的高質(zhì)量和用戶(hù)偏好的精準(zhǔn)滿(mǎn)足。頁(yè)碼：

28

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料為了應(yīng)對(duì)標(biāo)題構(gòu)成的靈活性和一對(duì)多的復(fù)雜映射關(guān)系，任務(wù)重定義要優(yōu)化模型的學(xué)習(xí)效能，確保生成的標(biāo)題既能夠精確反映商品特性，又可以滿(mǎn)足用戶(hù)的多樣性需求。在電商場(chǎng)景中，商品標(biāo)題通常是命題式的，包含冗余信息和噪音，且關(guān)鍵詞順序不敏感，導(dǎo)致直接應(yīng)用“Query2Title”方法易引發(fā)模型幻覺(jué)。此外，Query

短而標(biāo)題長(zhǎng)，使得任務(wù)復(fù)雜且模型難以收斂；同時(shí)，一對(duì)多的查詢(xún)與標(biāo)題關(guān)系增加了學(xué)習(xí)多樣性的難度。因此我們提出了“

Query2MultiSpan”策略，可有效化解傳統(tǒng)“Query2Title”模式的局限。通過(guò)Span（關(guān)鍵術(shù)語(yǔ)）拆解與排序，將標(biāo)題按品牌、功能等屬性模塊化，再經(jīng)聚合處理，將復(fù)雜任務(wù)分解為生成多個(gè)短序列的子任務(wù)。此法顯著降低了模型負(fù)擔(dān)，增強(qiáng)了泛化能力，尤其在處理標(biāo)題內(nèi)部結(jié)構(gòu)靈活變換時(shí)優(yōu)勢(shì)明顯，大幅提升生成標(biāo)題的準(zhǔn)確性和效率。以

Query“舒膚佳抑菌洗手液

100

毫升老包裝”為例，經(jīng)

Span

劃分與聚合，模型能更專(zhuān)注地處理特定屬性，如“老包裝舒膚佳”、“洗手液抑菌100

毫升”，頁(yè)碼：

29

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料實(shí)現(xiàn)高質(zhì)量生成。這一策略克服了位置敏感性與一對(duì)多映射的學(xué)習(xí)難點(diǎn)，推動(dòng)了商品標(biāo)題生成任務(wù)的重大進(jìn)步。構(gòu)建

Query2MultiSpan

任務(wù)的樣本對(duì)，是我們解決商品標(biāo)題生成難題的關(guān)鍵一步。該過(guò)程涉及兩大核心階段：樣本轉(zhuǎn)換與有監(jiān)督微調(diào)。我

們

使

用

query

和

商

品

，

提

煉

出

Query2Title

樣

本

，

然

后

根

據(jù)Query2MultiSpan

任務(wù)特性，

同一

Query

與其對(duì)應(yīng)標(biāo)題中的各個(gè)

Span

建立連接，衍生出一系列

Query2Span

的新樣本?！癚uery

→

Span_1”，“Query→Span_2”……

這種一對(duì)一映射方式，

為模型提供了更多樣的學(xué)習(xí)視角。樣本重構(gòu)后，開(kāi)始有監(jiān)督微調(diào)。Query2MultiSpan

將原始

title

切分成了幾段，破壞了原始

title

的全局關(guān)系，因此，在有監(jiān)督微調(diào)階段，將同一個(gè)

title

的多個(gè)片段

Query

→

Span_1”，“Query

→

Span_2”……

的預(yù)測(cè)損失進(jìn)行疊加。此時(shí)，模型直面新構(gòu)建的數(shù)據(jù)集，遵循經(jīng)典機(jī)器學(xué)習(xí)路線圖，逐漸習(xí)得從查詢(xún)推斷出相關(guān)

Span

的本領(lǐng)，

進(jìn)而洞悉商品特性的多維表達(dá)。在偏好優(yōu)化階段，我們旨在深化模型理解，來(lái)優(yōu)化輸出內(nèi)容。此階段分為兩個(gè)層頁(yè)碼：

30

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料級(jí)：Span

層級(jí)和

Title

層級(jí)。以Span

層級(jí)為例，DPO(直接偏好優(yōu)化)框架起到了關(guān)鍵作用。它通過(guò)構(gòu)建正負(fù)樣本對(duì)來(lái)增強(qiáng)模型的判別能力。在推理階段，輸入

query，生成

spans，而后根據(jù)這些

spans

從高效索引庫(kù)里檢索出有效的商品。這里的

spans

可以作為未來(lái)商品召回的證據(jù)，以解釋其為何被召回。借助高性能的

FM

Index，系統(tǒng)能快速鎖定商品標(biāo)題中的Span，加速檢索。為了效率最大化，模型采用了

constrained

beam-search，每生成新

Token

隨即驗(yàn)證其在商品索引中的存在性，及時(shí)剪枝無(wú)效分支，可有效縮減生成域，從而顯著提速推理過(guò)程。模型評(píng)估指標(biāo)

Recall@K（K

設(shè)為

500

與

1000）衡量不同尺度下的召回水平，Baseline

選擇這塊，分別對(duì)

Denseretrieval

與

Generative

retrieval

這兩種范式進(jìn)行了實(shí)驗(yàn)比較。Dense

retrieval

其代表性工作包括

DSSM

和基于

Bert預(yù)訓(xùn)練模型的變體。為了保持一般性，選擇了

RSR

作為

Bert

骨干網(wǎng)絡(luò)的代表，頁(yè)碼：

31

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料該模型已部署在在線系統(tǒng)中，服務(wù)于數(shù)億用戶(hù)。Generative

retrieval

則選擇了SEAL

與

TIGER。結(jié)果顯示，SFT

后，相比于

KNN（GenR-PO

+

SFT

vs

RSR），模型在中長(zhǎng)尾上確實(shí)提升了很多，但是頭部

query

的指標(biāo)較差，

影響整體可用性。為了解決該問(wèn)題，我們使用了

DPO

進(jìn)行偏序?qū)W習(xí)，并對(duì)數(shù)據(jù)集進(jìn)行了相應(yīng)的調(diào)整(hard-to-easy

negatives

ratio:

1:3)。結(jié)果顯示，使用DPO

后，不僅能補(bǔ)足頭部商品的短板，還能鞏固中長(zhǎng)尾優(yōu)勢(shì)，提升模型整體性能，展現(xiàn)了模型的靈活性和適應(yīng)性。相比于

KNN

(GenR-PO

+SFT

+

DPO

(w/

cons)

vs

RSR),

中長(zhǎng)尾

recall

有大幅度提升，

頭部的指標(biāo)與KNN

相比差異變小（尤其是在

recall@1000

上，指標(biāo)幾乎相當(dāng)）。相比于

sft(GenR-PO

+

SFT

+

DPO

(w/

cons)

vs

GenR-PO

+

SFT)

，

雖然中長(zhǎng)尾側(cè)指標(biāo)略有下降，但頭部查詢(xún)的表現(xiàn)有所提升。綜上所述，DPO

在整體上帶來(lái)了收益。為了研究不同任務(wù)對(duì)性能的影響，

進(jìn)行了多個(gè)任務(wù)的實(shí)驗(yàn)，

包括

query2title、title2query

和

query2multi-span

。

結(jié)果如表所示。

發(fā)現(xiàn)，

query2title

和title2query

任務(wù)的性能非常差，而

query2multi-span

任務(wù)則有顯著提升。這頁(yè)碼：

32

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料表明，簡(jiǎn)單的任務(wù)設(shè)計(jì)（如

query2title

和

title2query）在處理復(fù)雜的電商數(shù)據(jù)時(shí)是不足的。相反，設(shè)計(jì)更復(fù)雜的任務(wù)（如query2multi-span）能夠更好地應(yīng)對(duì)數(shù)據(jù)中的噪聲，并提高模型的性能。這也進(jìn)一步強(qiáng)調(diào)了在實(shí)際應(yīng)用中，重新定義任務(wù)以適應(yīng)數(shù)據(jù)特點(diǎn)的重要性。此外，

m

為

span

個(gè)數(shù)，

l

為

span長(zhǎng)度，

這屬于超參調(diào)整，

經(jīng)過(guò)實(shí)驗(yàn)，

我們發(fā)現(xiàn)適當(dāng)?shù)脑黾?/p>

span

數(shù)量，且控制

span

長(zhǎng)度（length

過(guò)長(zhǎng)會(huì)引入噪音或?qū)е滦畔⑷哂?、增加生成難度）會(huì)有較好效果。在當(dāng)前數(shù)據(jù)集中，l=8，m=7

效果最好。Beam

Size

的調(diào)整也是關(guān)鍵，

它直接影響生成

Span

的多樣性和質(zhì)量。加大Beam

Size

雖能增加

Span選擇，但風(fēng)險(xiǎn)是可能混入無(wú)關(guān)或低質(zhì)的

Span。因此，在追求更寬泛選擇的同時(shí)，要小心避免引入太多干擾因素，以免損害整體搜索效果。具體業(yè)務(wù)需求將指導(dǎo)

Beam

Size

的設(shè)置，

平衡生成的廣度和精度。簡(jiǎn)單總結(jié)一下，這部分主要介紹了一種專(zhuān)為電商搜索優(yōu)化的創(chuàng)新生成式任務(wù)。將原始商品標(biāo)題重構(gòu)為多段span，把

query2title

的任務(wù)簡(jiǎn)化為

query2span，從而簡(jiǎn)化生成過(guò)程。在推理過(guò)程中，約束搜索幫助定位關(guān)鍵段落，提升了檢索結(jié)果的意義和可解釋性。在真實(shí)數(shù)據(jù)集上的測(cè)試顯示，這個(gè)框架在處理長(zhǎng)尾查詢(xún)時(shí)，顯著優(yōu)于現(xiàn)有的生成式和密集檢索方法。這項(xiàng)研究展現(xiàn)了生成式檢索、尤其是基于語(yǔ)義模型自身的能力的生成式檢索在實(shí)際應(yīng)用中的巨大潛力。03SemanticID

based頁(yè)碼：

33

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料Lexical

based

方法有效利用了語(yǔ)言模型的豐富語(yǔ)義信息，

但面臨著生成較長(zhǎng)Token

序列時(shí)推理速度放緩的問(wèn)題。加之，

構(gòu)建如

FM

Index

這類(lèi)高效索引所需的巨大存儲(chǔ)空間，成為制約因素之一。為優(yōu)化推理速率并減輕存儲(chǔ)壓力，我們轉(zhuǎn)向

Semantic

ID

視角，探索生成式檢索的另一新途徑。SemanticID

是一種數(shù)字基底編碼，簡(jiǎn)潔高效、易于操作。諸如

DSI、NCI、TIGER、GDR

和

GenRet

等方法皆以此為核心。然而，此類(lèi)基于

Semantic

ID

的解決頁(yè)碼：

34

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料方案亦存隱憂(yōu)：一是新

token

和新任務(wù)學(xué)習(xí)難度較高，對(duì)模型提出更高要求；二是性能上限受限于商品表征生成的質(zhì)量與

SID

的覆蓋度——高質(zhì)量的商品表征決定了

SID

的優(yōu)劣，而不同的生成方法，無(wú)論聚類(lèi)、殘差或其他，各有長(zhǎng)短，都會(huì)影響最終

SID

覆蓋度與質(zhì)量，繼而限制了基于

SID

檢索體系的整體效能。任務(wù)定義為通過(guò)提供查詢(xún)?cè)~，讓模型生成最相關(guān)的商品。在生成

SID方面，

谷歌的

TIGER

方法得到了廣泛應(yīng)用。該方法通過(guò)殘差量化（

RQ）

技術(shù)生成SID，

能夠有效捕捉語(yǔ)義信息和層次結(jié)構(gòu)。這種方法在以商品為主的電商場(chǎng)景中尤為優(yōu)勢(shì)明顯，因?yàn)樗軌驕?zhǔn)確反映電商數(shù)據(jù)中的復(fù)雜層次關(guān)系和語(yǔ)義特征，從而顯著提升系統(tǒng)的性能。頁(yè)碼：

35

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料在深入探索中，我們注意到一種獨(dú)特的“沙漏”分布形態(tài)，如上圖所示。具體來(lái)說(shuō)，

中間層的codebook

過(guò)于集中，導(dǎo)致了一對(duì)多和多對(duì)一的映射結(jié)構(gòu)。這種集中導(dǎo)致路徑稀疏性和長(zhǎng)尾分布。路徑稀疏是縱向的，指的是匹配項(xiàng)的路徑只占總路徑空間的一小部分，

長(zhǎng)尾分布指的是大多數(shù)

SID

集中在少數(shù)頭部

token上，中間層標(biāo)記的分布呈現(xiàn)長(zhǎng)尾特征。并且這種沙漏效應(yīng)在具有長(zhǎng)尾特征的數(shù)據(jù)集中尤為嚴(yán)重，大大限制了生成式檢索（GR）方法的表示能力。這個(gè)問(wèn)題的根源在于逐步量化高維向量殘差的本質(zhì)特性。以我們的日志數(shù)據(jù)分析為例，通過(guò)搭建雙塔模型處理商品信息，我們生成了數(shù)億商品的嵌入向量，再經(jīng)殘差量化步驟，繪制出分層分布。在分布圖中，第一層展現(xiàn)均勻態(tài)勢(shì)，而第二層有大量路由節(jié)點(diǎn)，表明聚集度的顯著差異，至第三層再次擴(kuò)散，呈現(xiàn)稀疏的路徑軌跡。頁(yè)碼：

36

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料聚焦第二層，“

沙漏效應(yīng)”

中某特定

Token

或

SID占比極高，近乎壟斷樣本總量，構(gòu)成了典型“長(zhǎng)尾”分布，為了驗(yàn)證這一現(xiàn)象的普遍性，展開(kāi)一系列實(shí)驗(yàn)論證，涉及不同層數(shù)配置（二層、三層甚至四層）及多種代碼表容量調(diào)整（4096、2048

等規(guī)格），無(wú)論面向電商環(huán)境下的

Embedding

還是隨機(jī)生成數(shù)據(jù)，均再現(xiàn)了相似的“沙漏狀”

分布特點(diǎn)，尤以電商場(chǎng)景更為突出。綜上，我們確信“沙漏效應(yīng)”非偶發(fā)，而是在非均勻分布和均勻分布數(shù)據(jù)中普遍存在的現(xiàn)象。頁(yè)碼：

37

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料探究其背后機(jī)理，核心歸結(jié)于殘差機(jī)制的作用。具體而言：第一層，

候選點(diǎn)被分成

M

個(gè)不同的聚類(lèi)桶，每個(gè)

token

的入度相等。第二層，

采用第一層殘差作輸入源，

誘發(fā)非均勻分布，大多數(shù)點(diǎn)的殘差值較小，集中在每個(gè)聚類(lèi)中心附近，而少數(shù)點(diǎn)的殘差值較大，被視為異常值。因此，這一層的聚類(lèi)更關(guān)注異常值，殘差值小的點(diǎn)使用較少的聚類(lèi)中心，而異常值則可能占據(jù)一個(gè)或多個(gè)聚類(lèi)中心，形成長(zhǎng)尾現(xiàn)象。至第三層，再度施加殘差運(yùn)算，使先前遠(yuǎn)離群體的大殘差點(diǎn)獲得矯正，類(lèi)似于第一層，呈現(xiàn)均勻分布的特征。而且，縱使第二層殘差趨近于零，第三層級(jí)依舊觀測(cè)到輕度聚類(lèi)，但因殘差微小，對(duì)總分布影響甚微。層級(jí)遞進(jìn)中，這種非均勻和均勻分布交替出現(xiàn)，然而，隨著層數(shù)增加，殘差值變得越來(lái)越小，聚類(lèi)效應(yīng)減弱，可以忽略不計(jì)。具體講，各層殘差跨度自最初

±50銳減至終末

±0.2。最終，這形成了一個(gè)沙漏狀的結(jié)構(gòu)：輸入數(shù)據(jù)首先被壓縮成較少的聚類(lèi)，然后再擴(kuò)展回較多的聚類(lèi)，最終收斂到均勻分布。完成語(yǔ)義

ID

構(gòu)建后，殘差量化（RQ）方法及中間層頭部token

的主導(dǎo)地位導(dǎo)致路徑的稀疏性，尤其是對(duì)于長(zhǎng)尾分布，殘差分布的不均勻性更加明顯。頁(yè)碼：

38

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料探討“沙漏”現(xiàn)象對(duì)模型的影響，我們進(jìn)行了詳盡實(shí)驗(yàn)。首先，將三層構(gòu)架里的第二層

Token

劃分為頭尾兩類(lèi)，評(píng)估不同模型如

Llama、Qwen、Baichuan

的性能表現(xiàn)。結(jié)果表明，

頭部

token

測(cè)試集的性能顯著提升，

而尾部

token

測(cè)試集的性能則明顯較差。這種性能差異可以歸因于之前分析的路徑稀疏性和tokens

的長(zhǎng)尾分布，導(dǎo)致了結(jié)果的偏差。為研究“沙漏”分布對(duì)模型性能的作用，我們執(zhí)行了兩組關(guān)鍵試驗(yàn)。一是交換首層與次層

Token

排布，

改變

token

分布。實(shí)驗(yàn)結(jié)果，

將次層長(zhǎng)尾分布移至首層，

導(dǎo)致模型難以擬合，

且由于

tokenbytoken

錯(cuò)誤的累計(jì)，

性能比不交換更差。另一則是排除“長(zhǎng)尾”

分布負(fù)面影響的效果，即交換

1-2

層，

并且給定第一個(gè)

token，規(guī)避“長(zhǎng)尾”困擾，結(jié)果性能顯著躍升，印證了克服了“長(zhǎng)尾”難題，有助于逼近模型性能天花板。綜上所述，“沙漏”現(xiàn)象源于殘差機(jī)制，對(duì)模型性能有著實(shí)質(zhì)性的負(fù)面影響。實(shí)驗(yàn)確證，“

沙漏”

現(xiàn)象直接影響模型性能，且存在巨大改進(jìn)空間，妥善處置“

沙漏”難題，有望提升模型性能至新高度。頁(yè)碼：

39

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料為了解決上述問(wèn)題，我們提出了兩個(gè)解決方案：?jiǎn)l(fā)式：直接去除大路由節(jié)點(diǎn)層。這可能導(dǎo)致空間容量不足。需要注意的是，這里首先要生成一個(gè)

L

層的語(yǔ)義

ID（SID），然后再移除第二層，這與直接生成一個(gè)兩層的

SID

不同，因?yàn)楹笳呖赡苋匀淮嬖诖蟮穆酚晒?jié)點(diǎn)。變長(zhǎng)式：

自適應(yīng)移除大路由節(jié)點(diǎn)層頭部

topK

token。使語(yǔ)義

ID

成為一個(gè)可變長(zhǎng)度的結(jié)構(gòu)。這里使用了top@K

策略，并設(shè)定一個(gè)閾值

p。這種方法確保了分布保持不變，

同時(shí)有選擇地減少了“沙漏”效應(yīng)的影響為了進(jìn)一步驗(yàn)證該方法的有效性，在

LLaMA

模型上進(jìn)行了實(shí)驗(yàn)。結(jié)果表明，通過(guò)應(yīng)用自適應(yīng)

token

移除策略，模型性能得到了提升，同時(shí)計(jì)算成本與基礎(chǔ)模型相近，并且在一些客觀優(yōu)化（如

FocalLoss

和

MileLoss）方面也表現(xiàn)出色。具體來(lái)說(shuō)，

實(shí)驗(yàn)結(jié)果顯示，

使用

top@400

token移除策略的模型在大多數(shù)評(píng)估指標(biāo)上都優(yōu)于基線模型。這表明該方法有效地減少了長(zhǎng)尾效應(yīng)的影響。隨著移除的

tokens

數(shù)量增加，模型性能的提升會(huì)遇到瓶頸。特別是當(dāng)所有

tokens

都被移除時(shí)，

這種限制尤為明顯，

這可能是由于缺少長(zhǎng)尾

tokens，

導(dǎo)致召回率下頁(yè)碼：

40

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料降。同時(shí)，

直接移除第二層會(huì)導(dǎo)致一個(gè)

SID

對(duì)應(yīng)多個(gè)項(xiàng)目。這種細(xì)粒度的分析為所提出方法的有效性提供了有力證據(jù)。

該方法在選擇性移除不太重要的tokens

的同時(shí)，保留了最有信息量的

tokens，即使在移除大量數(shù)據(jù)的情況下，也能提升模型性能。簡(jiǎn)單總結(jié)：這部分系統(tǒng)地探討了

RQ-SID

在

GR

中的局限性，特別是發(fā)現(xiàn)了中間層

tokens

過(guò)度集中導(dǎo)致數(shù)據(jù)稀疏和長(zhǎng)尾分布的“

沙漏”現(xiàn)象。通過(guò)廣泛的實(shí)驗(yàn)和消融研究，證明了這一現(xiàn)象，并分析了其根本原因在于殘差特性。為了解決這個(gè)問(wèn)題，提出了兩種方法：移除第二層的啟發(fā)式方法和自適應(yīng)調(diào)整token

分布的可變長(zhǎng)度

token

策略。實(shí)驗(yàn)結(jié)果顯示，

兩種方法都有效緩解了瓶頸效應(yīng)，其中自適應(yīng)

token

分布調(diào)整策略效果最佳。這是首次系統(tǒng)性地探討

RQ-SID

在GR

中缺陷的研究，為未來(lái)的模型優(yōu)化提供了堅(jiān)實(shí)的基礎(chǔ)，并顯著提升了模型性能。頁(yè)碼：

41

/

15504未來(lái)展望未來(lái)工作將著重于深化

SemanticID

(SID)

的表征優(yōu)化，

致力于提高其基礎(chǔ)embedding

質(zhì)量。不論是采納雙塔架構(gòu)抑或依托

LLM

方案，其核心宗旨均為提高

SID

上限。與此同時(shí)，

融和優(yōu)質(zhì)特征元素不可或缺，

如集成高維特征（多模態(tài)等），輔以

side

info

等多元維度，共同構(gòu)筑

SID

表達(dá)力的全方位提升。此外，靜態(tài)特征同時(shí)效特征的整合亟待突破。SID

固有的靜態(tài)屬性及其相對(duì)滯后的更新頻率，相較于電商領(lǐng)域中對(duì)商品時(shí)效性業(yè)務(wù)需求，需要探尋如何高效融合掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料時(shí)效特征與相對(duì)靜態(tài)的

SID。大模型在召回環(huán)節(jié)展現(xiàn)出卓越的效能，契合其語(yǔ)言模型特質(zhì)。然而，在排序階段，因?yàn)楦叨纫蕾?lài)時(shí)效性、統(tǒng)計(jì)特征及多任務(wù)業(yè)務(wù)目標(biāo)，大模型應(yīng)用還比較少。若能將大模型作為統(tǒng)一基座，融合生成式召回與排序，不僅有效縮減鏈路損耗，還能簡(jiǎn)化訓(xùn)練框架，增強(qiáng)模型通用性，實(shí)現(xiàn)一體化升級(jí)。頁(yè)碼：

42

/

15505問(wèn)答環(huán)節(jié)Q1：如何看待生成式方法相對(duì)傳統(tǒng)召回與

ranking

模型更高的計(jì)算成本？A1：高計(jì)算成本的確是個(gè)挑戰(zhàn)，但可以通過(guò)模型精簡(jiǎn)（如蒸餾、量化、壓縮）來(lái)降低線上推理時(shí)間，盡量減小性能損失，使之符合線上需求。盡管當(dāng)前耗時(shí)問(wèn)題突出，但是從架構(gòu)優(yōu)化、模型輕量化以及召排鏈路、任務(wù)重新定義來(lái)看，未來(lái)有望找到解決之道。Q2：

在

Rank

模型上是否有做過(guò)相關(guān)工作？A2：

目前嘗試從兩個(gè)角度

embedding

與生成式任務(wù)，embedding

則是作為商品特征補(bǔ)充，生成式任務(wù)則是重構(gòu)排序輸入輸出，同生成式召回相一致，目前在

Rank

鏈路性能上與基準(zhǔn)模型存在一定差距。深入分析顯示，在我們場(chǎng)景下，SID

對(duì)生成式任務(wù)指標(biāo)影響顯著，同時(shí)時(shí)效特征與業(yè)務(wù)目標(biāo)也需要對(duì)現(xiàn)有生成式任務(wù)進(jìn)行重構(gòu)。謝謝您的提問(wèn)與參與分享。06掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料團(tuán)隊(duì)介紹京東搜索算法團(tuán)隊(duì)，負(fù)責(zé)京東零售主搜的商品搜索算法，包括意圖識(shí)別、召回、相關(guān)性、排序、機(jī)制等技術(shù)方向。團(tuán)隊(duì)成員來(lái)自國(guó)內(nèi)外頂尖高校，我們致力于打造電商搜索一流團(tuán)隊(duì)，

用前沿的技術(shù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展，提升數(shù)億用戶(hù)的搜索體驗(yàn)，也樂(lè)于把實(shí)踐經(jīng)驗(yàn)分享給業(yè)界，先后在

KDD、SIGIR、WWW、EMNLP、ICLR

等核心期刊發(fā)表論文

30

余篇。歡迎有技術(shù)情懷、有創(chuàng)新活力的你加入我們，期待與您在京東相遇！簡(jiǎn)歷投遞郵箱：1@頁(yè)碼：

43

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料京東健康基于大模型的生成式推薦在電商標(biāo)品推薦的應(yīng)用導(dǎo)讀：隨著大數(shù)據(jù)和深度學(xué)習(xí)技術(shù)的發(fā)展，電商推薦系統(tǒng)也逐步將大模型技術(shù)加入到現(xiàn)有的“

召回-排序”

的多級(jí)過(guò)濾范式中，

或是融合或是替代。本文將介紹京東健康推薦算法團(tuán)隊(duì)如何將大模型技術(shù)與電商推薦系統(tǒng)相結(jié)合，并探討在健康電商領(lǐng)域的具體應(yīng)用和面臨的技術(shù)挑戰(zhàn)。本文將圍繞以下三點(diǎn)展開(kāi)：大模型推薦技術(shù)發(fā)展回顧健康電商推薦背景與挑戰(zhàn)大模型推薦在電商場(chǎng)的落地實(shí)踐分享嘉賓｜張超

京東健康

推薦團(tuán)隊(duì)負(fù)責(zé)人編輯整理｜王嘉鈺內(nèi)容校對(duì)｜李瑤出品社區(qū)｜DataFun01大模型推薦技術(shù)發(fā)展回顧1.

視角

1：對(duì)現(xiàn)有推薦的“改變”程度目前，推薦系統(tǒng)關(guān)于“

大模型”的結(jié)合存在三種主要技術(shù)思路：傳統(tǒng)

CTR

模型頁(yè)碼：

44

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料不斷做大、利用大語(yǔ)言模型在現(xiàn)有推薦各階段進(jìn)行增強(qiáng)，生成式大模型端到端解決推薦。傳統(tǒng)

CTR大模型CTR

模型在推薦系統(tǒng)中逐漸向大規(guī)?；l(fā)展，模型復(fù)雜度方面，從簡(jiǎn)單的邏輯回歸到復(fù)雜的深度學(xué)習(xí)模型，如

Wide

&

Deep、DeepFM、xDeepFM

等，提升了特征交互和非線性表示能力。數(shù)據(jù)規(guī)模上，利用大數(shù)據(jù)集進(jìn)行訓(xùn)練，增強(qiáng)模型的泛化能力。在早期受限于算力，但隨著技術(shù)進(jìn)步，采用分布式計(jì)算和

GPU

加速，

提升訓(xùn)練效率。CTR

模型不斷變大的一個(gè)根本邏輯也是大家相信加深加寬的網(wǎng)絡(luò)表達(dá)，

海量的樣本會(huì)對(duì)

ctr

模型更好的建模，

其實(shí)也是在遵循

scalinglaw，雖然這個(gè)術(shù)語(yǔ)這兩年才活起來(lái)，但其實(shí)

ctr

模型在

16

年工業(yè)界從

LR

轉(zhuǎn)型

DNN

開(kāi)始，就默認(rèn)在

scaling

的路上不斷發(fā)展。LLM增強(qiáng)現(xiàn)有推薦技術(shù)大語(yǔ)言模型憑借其豐富的

World

Knowledge

和強(qiáng)大的理解能力，

在數(shù)據(jù)樣本和特征增強(qiáng)、U&I

embedding

理解等方面對(duì)推薦系統(tǒng)進(jìn)行了增強(qiáng)。在樣本方面，頁(yè)碼：

45

/

155掃碼關(guān)注公眾號(hào)

免費(fèi)下載資料LLM

通過(guò)生成高質(zhì)量的商品描述和用戶(hù)畫(huà)像，

有效緩解了冷啟動(dòng)問(wèn)題，

豐富了訓(xùn)練數(shù)據(jù)。在特征工程方面，

LLM

利用其強(qiáng)大的自然語(yǔ)言處理能力，

增強(qiáng)了對(duì)用戶(hù)和商品文本信息的理解，生成更豐富、更精細(xì)的特征表示。在

embedding表達(dá)方面，

LLM

通過(guò)預(yù)訓(xùn)練和微調(diào)，

捕捉用戶(hù)的深層次興趣和偏好，

實(shí)現(xiàn)更精準(zhǔn)的個(gè)性化推薦。（3）生成式大模型生成式大模型代表了一種顛覆性的變化，它從傳統(tǒng)的多級(jí)過(guò)濾判別模式轉(zhuǎn)變?yōu)槎说蕉说纳赡Ｊ剑瑸橥扑]系統(tǒng)提供了全新的數(shù)據(jù)處理和內(nèi)容生成能力，代表作就是meta最新的論文Trillion-ParameterSequentialTransducersforGenerative

Recommendations.2.

視角

2：大語(yǔ)言模型如何去解“推薦”曾經(jīng)的發(fā)展瓶頸“推薦”

在其發(fā)展的各階段曾遇到不