平安銀行大數(shù)據(jù)在零售應(yīng)用實(shí)踐分享 202501

CONTENTCONTENTGrafanaNagiosZooKeeper統(tǒng)脫敏離線計(jì)算平臺交互式查詢引擎實(shí)時計(jì)算平臺GangliaPrometheusYARNNOSQL存儲KDC/kerberos技術(shù)平臺GrafanaNagiosZooKeeper統(tǒng)脫敏離線計(jì)算平臺交互式查詢引擎實(shí)時計(jì)算平臺GangliaPrometheusYARNNOSQL存儲KDC/kerberosZ+數(shù)據(jù)中臺AI中臺技術(shù)架構(gòu)監(jiān)控管理監(jiān)控管理任務(wù)管理權(quán)限管理智能客服智能推薦智能客服智能推薦廣告系統(tǒng)NLP…TensorTensor?owCaffePytorchRSparkPythonKubernetes+DockerKubernetes+DockerFPGACPUFPGACPUAI與云計(jì)算的結(jié)合以云服務(wù)的形式提供AI的能力GPU資源的統(tǒng)一管理利用GPU并行運(yùn)算能力為深度學(xué)習(xí)加速使用Kubernetes+Docker基于構(gòu)建基于容器的云平臺資源隔離與資源限制；基于鏡像發(fā)布；彈性計(jì)算（秒級動態(tài)擴(kuò)容）；HA；多租戶；自動化部署支持主流深度學(xué)習(xí)與機(jī)器學(xué)TF、Caffe、Pytorch、Spark、xgboot、sklearn分布式存儲塊存儲、對象存儲、分布式文件系統(tǒng)，支持海量訓(xùn)練數(shù)據(jù)CONTENTCONTENT智能推薦/營銷整體架構(gòu)智能引擎智能引擎口袋銀行APP短信/消推/微信客服電銷智能外呼規(guī)則過濾打分排序AB實(shí)驗(yàn)人群識別事件分流屬性分流事件觸發(fā)行為分析用戶畫像物品畫像意圖預(yù)測算法庫（MAB/LR/GBDT）PMML模型加載中間件適配Embedding向量檢索事件中心多渠道觸達(dá)模型監(jiān)控流量分析模型監(jiān)控?cái)?shù)據(jù)模型數(shù)據(jù)倉庫流計(jì)算批計(jì)算特征中心特征中心流計(jì)算批計(jì)算樣本關(guān)聯(lián)在線訓(xùn)練特征抽取離線訓(xùn)練樣本關(guān)聯(lián)在線訓(xùn)練特征抽取離線訓(xùn)練在線在線/離線模型訓(xùn)練統(tǒng)一調(diào)度統(tǒng)一調(diào)度YARN存儲RedisrcElasticSearchK8SHiveKafkaMongodbSparkGPUCPURocketMQMySQL基礎(chǔ)平臺召回集召回集實(shí)時埋點(diǎn)數(shù)據(jù)添加過濾條件實(shí)時存儲實(shí)時clickeditemlistuser模型更新user統(tǒng)計(jì)特征+（FAISS）候選itemlistuser模型更新user統(tǒng)計(jì)特征+（FAISS）user離線模型userembeddingitemembedding智能推薦引擎–將推薦流程抽象成通用–通過對接特征中心/標(biāo)簽–標(biāo)準(zhǔn)化排序算法支持（LR）智能推薦系統(tǒng)架構(gòu) -業(yè)務(wù)系統(tǒng) 事件中心統(tǒng)一網(wǎng)關(guān)(熔斷、降級、限流)·公共儲存（REDIS）實(shí)時數(shù)據(jù)近線計(jì)算在線服務(wù)離線數(shù)據(jù)數(shù)據(jù)源（ES、REDIS離線數(shù)據(jù)數(shù)據(jù)源（ES、REDIS）ETL離線分析離線分析智能營銷智能營銷系統(tǒng)架構(gòu)>>上游系統(tǒng)下游渠道MQ消息推送 >ESA接口調(diào)用銷售線索智推系統(tǒng)事件中心MQ事件消息推送 >查詢客群、事件、日歷< >渠道結(jié)果回傳營銷系統(tǒng)其它渠道標(biāo)簽系統(tǒng)<查詢配置及規(guī)則結(jié)果緩存Redis規(guī)則緩存Redis離線數(shù)據(jù)ES運(yùn)行結(jié)果Mysql關(guān)聯(lián)系統(tǒng)數(shù)據(jù)同步查詢報表保存配置及規(guī)則事件中心智推系統(tǒng)配置中心查詢服務(wù)報表輸出<報表平臺查詢關(guān)聯(lián)配置銷售線索Λ配置規(guī)則，查詢報表調(diào)度平臺活動集市營銷系統(tǒng)智推系統(tǒng)前端頁面指標(biāo)平臺其它系統(tǒng)標(biāo)簽系統(tǒng)旅程計(jì)算引擎接收和查旅程節(jié)點(diǎn)規(guī)則運(yùn)行>>上游系統(tǒng)下游渠道MQ消息推送 >ESA接口調(diào)用銷售線索智推系統(tǒng)事件中心MQ事件消息推送 >查詢客群、事件、日歷< >渠道結(jié)果回傳營銷系統(tǒng)其它渠道標(biāo)簽系統(tǒng)<查詢配置及規(guī)則結(jié)果緩存Redis規(guī)則緩存Redis離線數(shù)據(jù)ES運(yùn)行結(jié)果Mysql關(guān)聯(lián)系統(tǒng)數(shù)據(jù)同步查詢報表保存配置及規(guī)則事件中心智推系統(tǒng)配置中心查詢服務(wù)報表輸出<報表平臺查詢關(guān)聯(lián)配置銷售線索Λ配置規(guī)則，查詢報表調(diào)度平臺活動集市營銷系統(tǒng)智推系統(tǒng)前端頁面指標(biāo)平臺其它系統(tǒng)標(biāo)簽系統(tǒng)旅程計(jì)算引擎接收和查旅程節(jié)點(diǎn)規(guī)則運(yùn)行配置規(guī)則Mysql報表統(tǒng)計(jì)CONTENTCONTENT經(jīng)營分析–將數(shù)據(jù)開發(fā)工程師培養(yǎng)成算法工程師/數(shù)據(jù)分析師–在做BI開發(fā)的過程中積累業(yè)務(wù)知識，為經(jīng)營分析做知識–建立運(yùn)營分析框架–完善的數(shù)據(jù)分析工具體系用戶行為分析(埋點(diǎn)系統(tǒng)架構(gòu))kafkaTopic[商城]ElasticSearch埋點(diǎn)數(shù)據(jù)查詢事件分析用戶行為分析平臺埋點(diǎn)接入層分發(fā)/過濾kafka Topic[信用卡]Topic[理財(cái)]Topic[基金]Topic[基礎(chǔ)]聚合SDKWebtiveAndoridPC口袋小程序多維查詢存儲漏斗計(jì)算hivecubekylinkafkaTopic[商城]ElasticSearch埋點(diǎn)數(shù)據(jù)查詢事件分析用戶行為分析平臺埋點(diǎn)接入層分發(fā)/過濾kafka Topic[信用卡]Topic[理財(cái)]Topic[基金]Topic[基礎(chǔ)]聚合SDKWebtiveAndoridPC口袋小程序多維查詢存儲漏斗計(jì)算hivecubekylin用戶行為分析數(shù)據(jù)報告開發(fā)調(diào)試數(shù)據(jù)報告開發(fā)調(diào)試運(yùn)營專題配置管理頁面配置頁面配置頁面組配置頁面組配置參數(shù)管理參數(shù)管理客群配置客群配置漏斗設(shè)置漏斗設(shè)置用戶行為分析◆路徑分析√支持正向或逆向了解用戶流量的流向分布√幫助產(chǎn)品和運(yùn)營清晰看到上線的功能觸達(dá)路徑是否直觀合理，通過流量百分比尋找斷點(diǎn)，優(yōu)化頁面訪問路徑◆漏斗分析√通過定義關(guān)鍵轉(zhuǎn)化路徑，清晰地了解轉(zhuǎn)化情況√幫助定位流失原因，提升轉(zhuǎn)化表現(xiàn)√支持查看不同渠道來源的轉(zhuǎn)化情況，以此對比評估用戶行為分析-概覽用戶行為分析-事件分析–基于kylin的多維查詢–支持主要維度（考慮存儲成本）–未來支持跟用戶維度、產(chǎn)品維CONTENTCONTENT數(shù)據(jù)治理架構(gòu)數(shù)據(jù)資產(chǎn)平臺作為數(shù)據(jù)治理的前端展示系統(tǒng)，旨在實(shí)現(xiàn)數(shù)據(jù)治理，快捷查詢，提高數(shù)據(jù)使用有效性和效率，建立完整且一致的元數(shù)據(jù)管理策略，提供集中、統(tǒng)一、規(guī)范的元數(shù)據(jù)信息訪問、查詢、使用渠道。同時，定制全行統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，提供安全分級及質(zhì)量問題管理。提供大數(shù)據(jù)安全分級管理，安全脫敏以及安全加密，安全監(jiān)控和安全識別以及權(quán)限管理功能。統(tǒng)一建模，提供業(yè)務(wù)源系統(tǒng)建模能力和模型展現(xiàn)功能，以及模提供大數(shù)據(jù)安全分級管理，安全脫敏以及安全加密，安全監(jiān)控和安全識別以及權(quán)限管理功能。統(tǒng)一建模，提供業(yè)務(wù)源系統(tǒng)建模能力和模型展現(xiàn)功能，以及模型管理。定制全行統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)平臺，包括字段標(biāo)準(zhǔn)管理，碼值標(biāo)準(zhǔn)業(yè)務(wù)源數(shù)據(jù)和中臺數(shù)據(jù)統(tǒng)一標(biāo)準(zhǔn)。提供數(shù)據(jù)質(zhì)量問題管理，數(shù)據(jù)質(zhì)量監(jiān)控管理，監(jiān)控規(guī)則管理以及告警管理功能。多緯度展現(xiàn)數(shù)據(jù)資產(chǎn)的總覽、價值、時效、訪問情況等。數(shù)據(jù)資產(chǎn)管理平臺元數(shù)據(jù)管理中心搜索提供面向用戶的場景化搜索功能，同時可以進(jìn)行數(shù)據(jù)地圖，源業(yè)務(wù)數(shù)據(jù)字典的檢索數(shù)據(jù)資產(chǎn)