推薦系統(tǒng)如何從大語言模型中取長補短

推薦系統(tǒng)如何從大語言模型中唐睿明----華為諾亞方舟實驗室CONTENT推薦模型如何從大語言模型種取長補短，從而提升推薦性能，優(yōu)化用戶體驗？大語言模型可以用于特征工程、特征編碼、打分排序、流程控制總結(jié)大語言模型用于推薦系統(tǒng)的兩個關(guān)鍵趨勢，并分別介紹兩個技術(shù)方案從應(yīng)用視角出發(fā)，總結(jié)大語言模型用于推薦系統(tǒng)的挑戰(zhàn)，并展望未來趨勢背景和問題傳統(tǒng)的推薦系統(tǒng)?模型相對較小，時間空間開銷低√?可以充分利用協(xié)同信號√?只能利用數(shù)據(jù)集內(nèi)的知識×?缺乏語義信息和深度意圖推理×大語言模型?引入外部開放世界知識，語義信號豐富√?具備跨域推薦能力，適合冷啟動場景√?協(xié)同信號缺失×?計算復(fù)雜度高，難以處理海量樣本×核心研究問題推薦模型如何從大模型中取長補短，從而提升推薦性能，優(yōu)化用戶體驗?從應(yīng)用角度出發(fā)，我們進一步將該問題拆解為何處運用大語言模型（WHEREtoadapt）如何運用大語言模型（HOWtoadapt）何處運用大語言模型根據(jù)現(xiàn)代基于深度學(xué)習(xí)的推薦系統(tǒng)的流程，我們抽象出以下五個環(huán)節(jié)：?數(shù)據(jù)采集階段：線上收集用戶行為和記錄，得到原?特征工程階段：對原始數(shù)據(jù)進行篩選、加工、增強，得到可供下游深度模型使用的結(jié)構(gòu)化數(shù)據(jù)?特征編碼階段：對結(jié)構(gòu)化數(shù)據(jù)進行編碼，得到對應(yīng)?打分排序階段：對候選物品進行打分排序，得到要?推薦流程控制：作為中央控制器，把控推薦系統(tǒng)的整體流程。也可以細化到對排序階段的召回、粗排、精排的控制基于深度學(xué)習(xí)的推薦系統(tǒng)流程和不同階段LLM應(yīng)用的代表性工作利用大語言模型的外部通用知識和邏輯推理能力，進行特征增強大語言模型在特征工程中的應(yīng)用在新聞推薦的場景下，利用LLM進行新聞?wù)?，用戶畫像和個性化新聞內(nèi)容生成利用LLM的通用語義信息豐富推薦特征表示1.增強文本特征(用戶表征、物品表征)表示2.改善基于ID的特征表示的跨場景遷移能力大語言模型在特征編碼中的應(yīng)用用戶表征：用語言模型對用戶評論內(nèi)容編碼，增強用戶的個性化表征物品表征：通過對物品標題/描述進行編碼，來實現(xiàn)跨域推薦的目標打分/排序是推薦系統(tǒng)的核心任務(wù)，目標是得到和用戶偏好相符的物品(列表)根據(jù)如何得到最終排序列表的形式，我們將大語言模型應(yīng)用于打分/排序的工作分成以下三種物品評分任務(wù)(ItemScoringTask)大語言模型對候選物品逐一評分，最后根據(jù)分數(shù)排序得到最終的排序列表物品生成任務(wù)(ItemGenerationTask)通過生成式的方式生成下一個物品的ID，或者直接生成排序列表混合任務(wù)(HybridTask)大語言模型天然地適合多任務(wù)場景，因此很多工作會利用大語言模型來實現(xiàn)多個推薦任務(wù)，其中包括評分任務(wù)和生成任務(wù)零樣本和少樣本微調(diào)語言模型利用用戶歷史交互得到用戶畫像，然后基于用戶畫像、歷史交互和提前過濾得到的候選集信息生成推薦列表用戶畫像歷史交互候選集用一個統(tǒng)一的大語言模型在不同的推薦任務(wù)上進行預(yù)訓(xùn)練，針對不同任務(wù)使用不同推薦模版提出了一種使用LLM來集成推薦系統(tǒng)流程各模塊(檢索、排序、用戶畫像、用戶模擬)的一個對話式推薦系統(tǒng)路線圖如何運用大語言模型從訓(xùn)練和推理兩個階段出發(fā)，我們根據(jù)以下的兩個維度將現(xiàn)有工作分為四個象限：在訓(xùn)練階段，大語言模型是否需要微調(diào)。這里微調(diào)的定義包含了全量微調(diào)和參數(shù)高效微調(diào)。在推理階段，是否需要引入傳統(tǒng)推其中，如果CRM知識作為一個預(yù)先過濾candidate的作用，則不被考慮在內(nèi)。不微調(diào)不微調(diào)LLM，引入CRM不微調(diào)LLM，不引入CRM微調(diào)LLM，不引入CRM微調(diào)LLM，引入CRM/大語言模型在推薦系統(tǒng)應(yīng)用的四象限圖及代表性工作兩個趨勢?模型：通過引入傳統(tǒng)推薦模型（CRM）為語言模型注入?yún)f(xié)同信號。?數(shù)據(jù)：通過引入推薦場景的數(shù)據(jù)，結(jié)合微調(diào)技術(shù)，為語言模型注入?yún)f(xié)同信號。兩個趨勢?兩個趨勢?模型：通過引入傳統(tǒng)推薦模型（CRM）為語言模型注入?yún)f(xié)同信號。?數(shù)據(jù)：通過引入推薦場景的數(shù)據(jù)，結(jié)合微調(diào)技術(shù)，為語言模型注入?yún)f(xié)同信號。不微調(diào)LLM，不引入CRM利用大語言模型開放知識輔助推薦的通用推薦框架KAR:toFun不微調(diào)不微調(diào)LLM，引入CRM微調(diào)LLM，引入CRM/微調(diào)LLM，不引入CRM大語言模型在推薦系統(tǒng)應(yīng)用的四象限圖及代表性工作有效結(jié)合大語言模型的通用世界知有效結(jié)合大語言模型的通用世界知識與傳統(tǒng)推薦系統(tǒng)的領(lǐng)域知識?通過FactorizationPrompting，有效激發(fā)大語言模型針對用戶興趣的推理和知識獲取能力，緩解構(gòu)成差距的問題?提出混合多專家網(wǎng)絡(luò)知識適配器，將語言模型生成的世界知識由語義空間適配至推薦空間，進行降維、噪聲處理的同時保存有效信息。?推理復(fù)雜度與傳統(tǒng)推薦模型一致0(f(n,m))。通用性強，適配各類型工業(yè)推薦場景和任務(wù)大語言模型的構(gòu)成差距問題（CompositionalGap）?無法準確回答復(fù)合推理問題，但可以準確回答復(fù)合問題的各個子問題?用戶偏好復(fù)雜多面，世界知識混合海量，難以直接生成有效知識?受因式分解的啟發(fā)，將開放知識生成問題動態(tài)分解為多個關(guān)鍵子因素，按因素分別進行用戶興趣推理和知識提取。知識推理和生成：基于推薦場景對于決定用戶偏好，動態(tài)分解出相應(yīng)的關(guān)鍵因素，對于用戶偏好和物品外部知識分別對大語言模型提問生成相應(yīng)的興趣推理知識和物品事實知識文本知識適配：所生成的文本信息內(nèi)容復(fù)雜多面（500~1000tokens且存在幻覺問題，推薦系統(tǒng)無法直接理解和利用設(shè)計多專家網(wǎng)絡(luò)進行知識提取、壓縮、映射，適配至推薦空間，輸出結(jié)果魯棒。知識利用：將所生成的知識增強向量作為額外的特征域，結(jié)合原本數(shù)據(jù)特征，進行特征交互，輸出最終結(jié)果?！就ㄓ眯浴吭?個SOTA的推薦算法上，平均AUC顯著提升1.5%【可落地性】推理復(fù)雜度與傳統(tǒng)推薦模型相當。【有效性】相比SOTA預(yù)訓(xùn)練推薦模型，AUC顯著提升1%以上。且用戶推理知識和物品事實知識都提供顯著的增強效果，二者聯(lián)合使用效果更優(yōu)。一種對齊語言模型和協(xié)同模型的框架CTRL微調(diào)LLM，引入CRM/不微調(diào)微調(diào)LLM，引入CRM/兩個趨勢兩個趨勢?模型：通過引入傳統(tǒng)推薦模型（CRM）為語言模型注入?yún)f(xié)同信號。?數(shù)據(jù)：通過引入推薦場景的數(shù)據(jù)，結(jié)合微調(diào)技術(shù)，為語言模型注入?yún)f(xié)同信號。不微調(diào)LLM，不引入CRM微調(diào)LLM，不引入CRM大語言模型在推薦系統(tǒng)應(yīng)用的四象限圖及代表性工作??以混合粒度知識對齊的方式，同時建模協(xié)同信號和語義信號?從數(shù)據(jù)角度進行雙向知識注入，語言模型與推薦模型互相解耦?可以單側(cè)推理，推理復(fù)雜度低現(xiàn)有LLM4Rec的缺陷?缺乏協(xié)同信號，在推薦下游任務(wù)準確率較低?在線推理時延過高，難以滿足工業(yè)需求Promptconstruction：通過7個模板把表格數(shù)據(jù)轉(zhuǎn)換為文本數(shù)據(jù)：?用戶和物品特征：特征名+連接詞+特征值?用戶歷史行為序列：用戶的歷史類型+動作連接詞+歷史1|歷史2|歷史3?采用，作為特征之間的分隔符；采用。作為用戶信息和物品信息的分隔符Cross-modelKnowledgeAlignment：?將協(xié)同模型和語言模型的知識進行對齊?利用對比學(xué)習(xí)預(yù)訓(xùn)練融合兩種模態(tài)的信息?進一步利用細粒度的對比學(xué)習(xí)使信息融合更加充分SupervisedFinetuning：?在經(jīng)過細粒度對比學(xué)習(xí)預(yù)訓(xùn)練之后，兩種模態(tài)的信息已經(jīng)進行充分融合?使用監(jiān)督信號使協(xié)同模型適配下游任務(wù)?通過在不同的任務(wù)上微調(diào)，可以適配不同的推薦任務(wù)【推理效率】和傳統(tǒng)的推薦模型相比，推理效率基本一致；和語言模型相比，顯著減少推理時延【推薦效果】和推薦模型和語言模型基線相比，AUC取得顯著提升挑戰(zhàn)和展望工業(yè)應(yīng)用場景下的挑戰(zhàn)訓(xùn)練效率問題：顯存用量過大、訓(xùn)練時間過長可能解決思路：1.參數(shù)高效微調(diào)(PEFT)方案2.調(diào)整模型更新頻率（e.g.長短更新周期結(jié)合）推理時延問題：推理時延過高可能解決思路：預(yù)存部分輸出或中間結(jié)果，以空間換時間；通過蒸餾、剪枝、量化等方法，降低推理模型的真實規(guī)模；僅用于特征工程和特征編碼，避免直接在線上做模型推理推薦領(lǐng)域的長文本建模問題：長用戶序列、大候選集、多元特征都會導(dǎo)致推薦文本過長，不僅難以被大模型有效捕捉，甚至可能會超過語言可能解決思路：通過過濾、選擇、重構(gòu)，提供真正簡短有效的文本輸入ID特征的索引和建模問題：純ID類特征(e.g.用戶ID)天然不具備語義信息，無法被語言模型理解可能解決思路：探索更適合語言模型的ID索引和建模策略總結(jié)和展望總結(jié)和展望總結(jié)從應(yīng)用視角出發(fā)，以推薦系統(tǒng)為核心，我們調(diào)研了以下兩個核心何處運用大語言模型（WHEREtoadapt）如何運用大語言模型（HOWtoadapt）現(xiàn)有的語言模型在推薦系統(tǒng)中的應(yīng)用存在以下兩個發(fā)展趨勢：突破傳統(tǒng)定位，重塑推薦流程?LLM在推薦系統(tǒng)中扮演的角色逐漸突破傳統(tǒng)