大規(guī)模語言模型在馬上金融的應(yīng)用實踐

大規(guī)模語言模型在馬上金融的應(yīng)用實踐大規(guī)模語言模型在馬上金融的應(yīng)用實踐單位：馬上消費金融股份有公司時間：2023年12月目錄目錄01/公司介紹02/馬消已落地大模型場景介紹03/營銷外呼大模型應(yīng)用實踐04/經(jīng)驗總結(jié)和問題公司介紹2.大模型自身的幻覺、安全性、邏輯問題帶來的新的風險。?“您的逾期金額是XXX，你的每月應(yīng)該還的【利息】是XXX”?“您的逾期金額是XXX，你的每月應(yīng)該還的【金額】是XXX”政府認可馬上消費，數(shù)智驅(qū)動的科技創(chuàng)新金融機構(gòu)政府認可AI方面的主要成果對話文對話文本SQL生成大模型文檔大模型代碼對話大模型對話大模型3.推理加速>量化模型>算子融合>模型編譯3.推理加速>量化模型>算子融合>模型編譯>硬件支持>流式推理>動態(tài)batch5.定研專屬模型>適配定制研發(fā)業(yè)務(wù)需>解決1.硬件部署>GPU選型>機柜（高電,網(wǎng)絡(luò)）4.模型驗證和服務(wù)>快速驗證開源大模>提供測試能力>支持原生開源大模容>管理、監(jiān)控預(yù)警2.訓(xùn)練加速2.訓(xùn)練加速>數(shù)據(jù)并行>模型并行>流水線并>checkpoint技術(shù)>offload技術(shù)劣勢劣勢優(yōu)勢大模型應(yīng)用劣勢劣勢優(yōu)勢大模型應(yīng)用求傳統(tǒng)人工電銷>智能營銷發(fā)展經(jīng)歷了“產(chǎn)品導(dǎo)向—客戶導(dǎo)向—用戶導(dǎo)向—全生命周期的線上化服務(wù)”的四個階段，目前已進入營銷4.0階段，強調(diào)“以人為本”。>在新時代的金融市場，面臨著極致自動化和全真互聯(lián)的新發(fā)展挑戰(zhàn)，這要求盡快探索有效、精準、智能化的營銷體驗。傳統(tǒng)智能電銷傳統(tǒng)智能電銷金融對客場景中應(yīng)用大模型的難點大模型對數(shù)據(jù)質(zhì)量金融營銷業(yè)務(wù)場景金融營銷場景對信金融營銷場景對客金融營銷手段千變要求極高，金融營復(fù)雜，大模型如何息的準確性要求極戶隱私的保護、營萬化、營銷策略日銷數(shù)據(jù)規(guī)模巨大，針對不同業(yè)務(wù)場景高，用戶信息幻覺銷合規(guī)性的要求、新月異，大模型如如何篩選高質(zhì)量訓(xùn)進行靈活適配，生問題對金融營銷大數(shù)據(jù)安全性的要求何快速學(xué)習、敏捷練數(shù)據(jù)是首要問題。成多樣性話術(shù)對客模型整體服務(wù)質(zhì)量都極高，大模型需迭代是一大難題。戶體驗至關(guān)重要。影響十分明顯。要因地制宜。營銷外呼大模型訓(xùn)練主要環(huán)節(jié)馬消垂直場景的大模型生產(chǎn)主要分為兩塊：數(shù)據(jù)的收集和大模型的訓(xùn)練>>歷史業(yè)務(wù)數(shù)據(jù)：優(yōu)秀坐席服務(wù)語音對話、文本對話>業(yè)務(wù)文檔數(shù)據(jù)：涉及貸前、貸中、貸后等超數(shù)萬篇服務(wù)文檔>業(yè)務(wù)規(guī)則數(shù)據(jù)：客服機器人配置規(guī)則和決策樹及各個節(jié)點的話術(shù)>技術(shù)相關(guān)數(shù)據(jù)：所有SQL代碼及注釋，數(shù)據(jù)庫定義和描述>用戶特征數(shù)據(jù)：用戶的靜態(tài)特征描述，包括用戶基本信息、行對話大模型訓(xùn)練過程數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量金融合金融合規(guī)問題處理線上措施數(shù)據(jù)處理措施五個五個環(huán)節(jié)訓(xùn)練數(shù)據(jù)生成過程后置處理智能質(zhì)檢人工反饋?對話輪次選擇（業(yè)務(wù)上有意義的對話?ASR問題處理（規(guī)則+分類+kenlm提示工程技術(shù).提示工程（PromptEngineering）將更多背景細節(jié)以文本形式放置于問題內(nèi)，從而使得模型產(chǎn)生更加符合業(yè)務(wù)要求的結(jié)果。本質(zhì)是知識工程，通過引導(dǎo)激發(fā)大模型自帶的AI能力，例如：提示工程生成問題大模型回復(fù)的話術(shù)情景假設(shè)““假設(shè)你現(xiàn)在是一打動客戶來使用?！毙睦硖崾具^激情緒”回復(fù)要求類以上敏感詞”關(guān)聯(lián)事實3500元，有免息券”客戶客戶:您好哪位？客戶:是啊什么事？”大模型訓(xùn)練與評估n訓(xùn)練：基于ColossalChat框架/hpcaitech/ColossalAI/評估.大模型幻覺：LLMs偶爾會產(chǎn)生看似合理但與用戶輸入、先前生成的上下文或事實知識偏離的輸出。將嚴重損害LLMs在現(xiàn)實世界場景中的可靠性。你們安逸花的貸款利息是多少呢？提供在線理財?shù)确?wù)。您可以到APP辦理解法：異構(gòu)云原生推理平臺推理加速解法：異構(gòu)云原生推理平臺在延時要求高、并發(fā)大場景在延時要求高、并發(fā)大場景，如何解決資源和速度問題？解法：軟硬件多種組合技術(shù)通過將FP32/16精度量化為INT8或算模型服務(wù)質(zhì)量穩(wěn)定與GPU利用率平衡問題？大模型在營銷場景的應(yīng)用案例大模型對于個性化場景應(yīng)對自如，能夠在準確理解“客戶在開車，可能不方便接聽電話”的前提下合理的展開營銷步驟。大模型的安全合規(guī)性高，能夠準確理解“客戶的爸爸不在家，客戶是個小孩子”，并主動停止對未成年人進行營銷。應(yīng)用場景智能營銷大模型在馬上消費營銷場景的應(yīng)用應(yīng)用場景智能營銷客戶服務(wù)客戶服務(wù)廠資產(chǎn)管理資產(chǎn)管理廠陪練機器人陪練機器人平均通話時長提升50%提升50%交互輪次提升83%客戶滿意度客戶滿意度提升28%提升28%業(yè)績 提升30%智能人工平均大模型人工績優(yōu)?我上次聯(lián)系您時介紹過XX；??我上次聯(lián)系您時介紹過XX；?您的銀行卡后四位是【XXXX】?用戶：我在開車/我在高速上開車?“您的逾期金額是XXX，你的每月應(yīng)該還的【利息】是XXX”?“您的逾期金額是XXX，你的每月應(yīng)該還的【金額】是XXX”?上文你的合同號是xxx嗎？下文再次問題到02003金融合規(guī)問題特定幻覺問題和長尾意圖02003金融合規(guī)問題??金融行業(yè)和企業(yè)自身合規(guī)標準。?標準隨時間變化。?用戶：能給我做分期/免息嗎？主要經(jīng)驗和技術(shù)問題經(jīng)驗：1、初期可以不用太大的模型，快速驗證，也便于推理加速2、如果微調(diào)數(shù)據(jù)量夠的話，可以選擇直接微調(diào)base模型，而不是chat模型3、如果微調(diào)數(shù)據(jù)質(zhì)量還行的話，可以先不用強化學(xué)習，效果也不錯4、數(shù)據(jù)的篩選很重要，要