大模型驅(qū)動的賬戶風險管理 2024-王永合

大模型驅(qū)動的賬戶風險管理平安壹錢包/大數(shù)據(jù)研發(fā)部算法負責人/王永合目錄4.后續(xù)規(guī)劃目錄3.應用場景介紹4.后續(xù)規(guī)劃欺詐特征建模與分析專家規(guī)則總結(jié)與開發(fā)基本信息核查確認風險點電話照會客戶確定管控方式已有機器學習模型已有機器學習模型已有數(shù)據(jù)流轉(zhuǎn)架構(gòu)人工參與度低系統(tǒng)運行穩(wěn)定數(shù)據(jù)預處理數(shù)據(jù)清洗數(shù)據(jù)預處理數(shù)據(jù)清洗數(shù)據(jù)集成特征選擇特征構(gòu)造特征編碼探索性分析數(shù)據(jù)可視化統(tǒng)計分析相關(guān)性分析建模與評估訓練模型交叉驗證模型調(diào)優(yōu)特征重要性評估主成成分分析模型解釋性分析總結(jié)特征錄入規(guī)則投產(chǎn)驗證人工主導全球金融科技大會命中風控規(guī)則命中風控規(guī)則信息核查確認風險點無風險電話照會*排除風險解除管制賬戶管制案件小結(jié)具有明顯風險有風險傾向*進入案件池多次未接通確認欺詐InfoQ極客傳媒目錄3.應用場景介紹4.后續(xù)規(guī)劃2.總體目標與方案思路一種非結(jié)構(gòu)化數(shù)據(jù)分析技術(shù)傳統(tǒng)做法：經(jīng)驗主導，對數(shù)據(jù)源變化不敏感，容易遺漏、誤判基于大模型：靈活應對變化的數(shù)據(jù)源，依靠泛化的描述進行數(shù)據(jù)分析傳統(tǒng)做法：經(jīng)驗主導，人工總結(jié)，效率低下，不成體系基于大模型：借助RAG技術(shù)，從海量數(shù)據(jù)中召回相關(guān)知識，高效生成精確、結(jié)構(gòu)化的內(nèi)容一種低代碼數(shù)據(jù)運營技術(shù)傳統(tǒng)做法：向產(chǎn)品提需求->需求評審->前基于大模型：自定義編排workflow,依靠數(shù)據(jù)+提示詞快速上線驗證，低成本進行業(yè)務探索大模型迭代的數(shù)據(jù)閉環(huán)N風控運營流程的數(shù)字化切入風控運營主線流程人工驅(qū)動->數(shù)字化運營N風控運營流程的數(shù)字化切入風控運營主線流程人工驅(qū)動->數(shù)字化運營提升風險感知與風控決策能力提升風險感知與風控決策能力通過數(shù)據(jù)流轉(zhuǎn)+大模型輔助，提高運營處理案件效率標注管理Agent管理線上服務性能監(jiān)控標注管理Agent管理線上服務性能監(jiān)控服務探活超時熔斷灰度驗證平臺建設(shè)模型配置平臺建設(shè)自動化回歸測試創(chuàng)建任務創(chuàng)建任務角色定義預發(fā)測試技能管理流程編排版本控制提示詞管理知識庫管理工具集管理提示詞工程場景隔離提示詞工程場景隔離詞槽管理版本控制回歸測試RAG工程多召回策略多知識庫RerankIUR工程建設(shè)工程建設(shè)Agent工程規(guī)劃引擎Agent協(xié)同決策引擎BERTBERTERNIE技術(shù)框架LangChainPytorchMilvusFaissMistralQwen多模態(tài)處理Memory知識構(gòu)造->知識檢索->增強生成知識檢索知識向量注入問：用戶異地登陸；大額卡券交易；非常規(guī)時間發(fā)起交易；連續(xù)發(fā)起多筆交易embedding向量模型txt業(yè)務知識文檔ASR切片算法文檔片段1文檔片段2文檔片段3FAQ2FAQ3向量模型文檔片段1文檔片段2文檔片段3FAQ1角色：你是一位風控運營專家，熟知風控領(lǐng)域的各類專業(yè)知識和常識，能結(jié)合已知內(nèi)容給出客觀、全面的回答任務：請根據(jù)待核查風險點，參考相似案件劇本，一步步思考，生成本次案件的電話照會劇本。險點”,“待核查信息”,“照會思路”,“注意事項”。限制：輸出內(nèi)容必須嚴格按照給定的格式進行組織，不得偏離待排查風險點：{question}相似案件劇本：{context}你的答案：2.2.3.方案思路-技術(shù)介紹(AutoAgent)·通過Prompt定義每個角色的職責和作用AutoAgentAutoAgent任務規(guī)劃者任務規(guī)劃者任務拆分調(diào)用工具任務拆分調(diào)用工具MemoryMemory檢索是否已Memory更新YesMemory檢索全球金融科技大會·跳過任務規(guī)劃步驟WorkflowAgentWorkflowAgent用戶觀察者任務規(guī)劃者用戶觀察者任務規(guī)劃者Tool_2Observation_Tool_2Observation_all總結(jié)者FCon全球金融科技大會InfoQ極客傳媒目錄2.總體目標與方案思路4.后續(xù)規(guī)劃3.應用場景介紹全球金融科技大會3.應用場景介紹全球金融科技大會3.1.案件風險點診斷對手信息基本信息、IP對手信息基本信息、IP信息、信用記錄用戶畫像注冊信息、綁卡信息、歸屬地信息、員工標識……異地登陸、設(shè)備變化、交易記錄、操作習慣變化……、集團內(nèi)同賬戶相關(guān)信息集團內(nèi)同賬戶相關(guān)信息同設(shè)備、同手機、同身份證、同ICCID、同交易對手……Action_1Observation_2SummaryAction_2SummaryAction_2Observation_nAgentsObservation_all理想狀態(tài)：強大的LLM+多專家協(xié)同+豐富的Tools->風控運營專家·整合簡單風險，聚焦復雜問題新的診斷工具誤”,作為診斷工具優(yōu)化/下線的依據(jù)未刪改：將大模型生成結(jié)果標記為“正確”,添加至回歸測試用例庫風險診斷報告-待排查風險點存入知識庫，供后續(xù)使用根據(jù)workflow,調(diào)用工具生成處理結(jié)果、處理思路和參考依據(jù)結(jié)合各工具的結(jié)果，生成總結(jié)根據(jù)處理思路和參考依據(jù)快速判斷模型生成結(jié)果的可靠性并進行適當?shù)牡膭h改聚焦其他隱晦的異常信息新增至模型生成結(jié)果下全球金融科技大會4.應用場景介紹全球金融科技大會●原流程不包含此步驟，缺少策略制定，依賴個人能力●照會過程復雜，容易迷失方向、丟失細節(jié)●過程不留檔，老帶新困難數(shù)字化運營業(yè)務數(shù)字化運營業(yè)務·結(jié)構(gòu)化劇本內(nèi)容，便于知識積累與維護·結(jié)合歷史相似劇本進行RAG,增加生成質(zhì)量·大模型生成內(nèi)容標注，不斷優(yōu)化結(jié)果i案件基本信息新增：待排查風險點-照會劇本存入數(shù)據(jù)庫，供后續(xù)RAGi案件基本信息自電話照會劇本電話照會劇本全球金融科技大會4.應用場景介紹全球金融科技大會客觀·規(guī)范化業(yè)務流程核查結(jié)果&管控建議·對比劇本和實際通話記錄·確認各風險點的核查結(jié)果·案件整體風險評估·生成管控建議·風險核查結(jié)果·案件風險判定·管控建議交互文本(ASR)核查結(jié)果&管控建議·參考全流程關(guān)鍵信息·生成結(jié)構(gòu)化總結(jié)文本·歸檔至業(yè)務知識庫·達成數(shù)據(jù)鏈路閉環(huán)核查結(jié)果&管控建議旅·案件基本信息·待排查風險點·核查結(jié)果·管控建議案件小結(jié)目錄2.總體目標與方案思路3.應用場景介紹4.后續(xù)規(guī)劃4.后續(xù)規(guī)劃·對標注結(jié)果分析·問題歸因分析·生成優(yōu)化方案參考《賬戶運營質(zhì)檢規(guī)范》·是否確認基本信息·是否遺漏風險點·是否有進一步追問/反問析風控運營陪練·參考歷史風險案例·生成風控案件信