美的金融智能風(fēng)控系統(tǒng)的構(gòu)建與實(shí)踐-美的+曹銘斌

美的金融智能風(fēng)控系統(tǒng)的構(gòu)個(gè)人經(jīng)歷010203010203業(yè)務(wù)挑戰(zhàn)業(yè)務(wù)目標(biāo)核心架核心架構(gòu)演進(jìn)規(guī)劃資金歸集資金可視大額支付實(shí)時(shí)入賬票據(jù)服務(wù)信貸服務(wù)資金歸集資金可視大額支付實(shí)時(shí)入賬票據(jù)服務(wù)信貸服務(wù)保航。事業(yè)部消費(fèi)者代理商增值產(chǎn)品產(chǎn)業(yè)鏈資金全線上化付認(rèn)證等重要基礎(chǔ)服務(wù)給供應(yīng)經(jīng)銷商經(jīng)銷商是對(duì)平臺(tái)能力的極大挑戰(zhàn)與價(jià)值體現(xiàn)?，F(xiàn)01集成內(nèi)外部黑名單，建設(shè)統(tǒng)一數(shù)01集成內(nèi)外部黑名單，建設(shè)統(tǒng)一數(shù)據(jù)集市與數(shù)據(jù)資產(chǎn)，從而構(gòu)02通過(guò)可視化的指標(biāo)引擎與規(guī)則與決策流的可視化配置與求支付機(jī)構(gòu)應(yīng)建立客戶風(fēng)險(xiǎn)評(píng)級(jí)管理機(jī)制與003對(duì)風(fēng)險(xiǎn)預(yù)警事件統(tǒng)一管理與戶身份進(jìn)行風(fēng)險(xiǎn)特征分析，背景發(fā)展需要、數(shù)據(jù)應(yīng)用能力的矛盾；行足源0102010203核心架核心架構(gòu)演進(jìn)整體架構(gòu)演進(jìn)數(shù)據(jù)架構(gòu)：如何應(yīng)對(duì)與日俱增的海量數(shù)據(jù)和并發(fā)計(jì)算規(guī)劃數(shù)據(jù)查詢和存儲(chǔ)更新時(shí)效慢：T+1業(yè)務(wù)線多，數(shù)據(jù)格式不一致指標(biāo)查詢配置存數(shù)據(jù)查詢和存儲(chǔ)更新時(shí)效慢：T+1業(yè)務(wù)線多，數(shù)據(jù)格式不一致指標(biāo)查詢配置存取MySQLElasticsearch引擎DB(MySQL)指標(biāo)同步數(shù)倉(cāng)業(yè)務(wù)事件WEB觸發(fā)規(guī)則/規(guī)則流配WEB觸發(fā)觸發(fā)件風(fēng)險(xiǎn)管控弱問(wèn)題發(fā)現(xiàn)慢系統(tǒng)高耦合Ai模型能力缺乏說(shuō)明系統(tǒng)的對(duì)外API出入口。?元數(shù)據(jù)服務(wù)：提供數(shù)倉(cāng)的META元件進(jìn)行配置使用；?CEP指標(biāo)引擎：包括CEP任務(wù)調(diào)P行用戶配置的指標(biāo)計(jì)算任務(wù)。第一階段讀寫(xiě)分讀寫(xiě)分離SQL優(yōu)化分庫(kù)分表數(shù)據(jù)量暴增如何應(yīng)對(duì)與日俱增的海量數(shù)據(jù)和并發(fā)計(jì)算數(shù)據(jù)架構(gòu)演進(jìn)歷程第三階段第第三階段大數(shù)據(jù)選型ES數(shù)倉(cāng)HIVE+ES落地?cái)?shù)據(jù)服務(wù)數(shù)據(jù)遷移數(shù)據(jù)核算 對(duì)接支付平臺(tái) 引入實(shí)時(shí)計(jì)算+HBASE重構(gòu)數(shù)據(jù)服務(wù) 效果初現(xiàn) 大數(shù)據(jù)選型ES數(shù)倉(cāng)HIVE+ES落地?cái)?shù)據(jù)服務(wù)數(shù)據(jù)遷移數(shù)據(jù)核算 平穩(wěn)期平穩(wěn)期存儲(chǔ)計(jì)算存儲(chǔ)計(jì)算??PB級(jí)數(shù)據(jù)存儲(chǔ)>分布式緩存??適配多業(yè)務(wù)線的異構(gòu)數(shù)據(jù)>SQL化動(dòng)態(tài)語(yǔ)法解釋數(shù)據(jù)架構(gòu)核心設(shè)計(jì)思路入Flink引擎數(shù)據(jù)集成1.離線數(shù)據(jù)如何與Flink打通2.業(yè)務(wù)提供的MQ如何與Flink打通式2.多個(gè)指標(biāo)如何靈活串聯(lián)為復(fù)雜存存算分離下的指標(biāo)存儲(chǔ)結(jié)構(gòu)?rowkey：hash(用戶唯一標(biāo)識(shí)+指標(biāo)ID)存存儲(chǔ)結(jié)構(gòu)簡(jiǎn)單HBaseHBase在海量數(shù)據(jù)，優(yōu)勢(shì)明顯這這是一個(gè)寫(xiě)大于查的場(chǎng)景HBaseHBase適用場(chǎng)景及當(dāng)期發(fā)展e容易動(dòng)態(tài)擴(kuò)容。三方數(shù)據(jù)可以是：則配置抽象化。eRete算法的規(guī)則被激活。文本特征提取算法提取文本在詞匯、主題等層面的特征效果往往一般?；诨贜LP的文本相似度計(jì)算 (1)提取省市區(qū)先驗(yàn)知識(shí)特征輔助地址文本相似度計(jì)算； g“微調(diào)”訓(xùn)練;主要基于Sentence-BERT和CoSent 基于HNSW庫(kù)的KNN搜索改造基于ES向量化檢索增強(qiáng)D這張圖搜索某個(gè)頂點(diǎn)的K個(gè)最近鄰基于ES向量化檢索增強(qiáng)?向量存儲(chǔ)的索引的不是「詞元-文索引構(gòu)建的時(shí)候會(huì)嘗試通過(guò)聚類而非倒排索引的方式構(gòu)建。?向量搜索的數(shù)據(jù)索引不同于普通搜索machinelearning、deeplearning技存儲(chǔ)到搜索引擎「這里不是特指計(jì)算模塊對(duì)向量進(jìn)行聚類保存。基于基于Flink-rocksDB的統(tǒng)計(jì)數(shù)據(jù)據(jù)就觸發(fā)計(jì)算)checkpiont」模分片計(jì)算：Lambda架構(gòu)「批處理層+實(shí)時(shí)計(jì)算層+服務(wù)層」當(dāng)天的指標(biāo)采用實(shí)時(shí)計(jì)算，跨天的指標(biāo)拆分兩部分計(jì)算：昨天及之前的指標(biāo)+當(dāng)天指標(biāo)，兩個(gè)計(jì)算數(shù)據(jù)由「指標(biāo)服務(wù)」合并計(jì)算最近3天的同一賬戶累計(jì)出金金額方案：制計(jì)算的窗口偏移量?；胺桨敢恢翧，周期]時(shí)間0102010203核心架核心架構(gòu)演進(jìn)規(guī)劃決策可視化整關(guān)聯(lián)風(fēng)險(xiǎn)挖掘風(fēng)統(tǒng)一名單服務(wù)，級(jí)風(fēng)控請(qǐng)求數(shù)據(jù)交互風(fēng)險(xiǎn)管理閉環(huán)決策引擎核心大數(shù)據(jù)中心標(biāo)簽加工特