互聯(lián)網(wǎng)金融 劉發(fā)鵬 新零售互聯(lián)網(wǎng)金融分布式架構(gòu)實踐-GITC2017-V3-4GITC

銀監(jiān)會批準持牌金融機構(gòu)新零售互聯(lián)網(wǎng)金融分布式架構(gòu)實踐馬上消費金融2017年11月劉發(fā)鵬錄.馬上消費金融的科技能力整體介紹.新零售消費金融需要五大技術(shù)能力介紹?基礎架構(gòu)和應用架構(gòu)介紹.場景消費金融IT分布式架構(gòu)如何設計一遵循原則.消費金融IT分布式架構(gòu)整體設計模型.消費金融IT分布式架構(gòu)整體設計■審批/賬務系統(tǒng)實踐?金融科技開放平臺的挑戰(zhàn)與未來/從m位更輕也馬上消費金融科技能力整理介紹馬上消費金融IT科技人才700+系統(tǒng)規(guī)模（服務器數(shù)量）2000+整體應用系統(tǒng)數(shù)量300+微眾銀行700+3000+300+馬上消費金融的核心研發(fā)人員以螞蟻金服，京東，百度，平安的架構(gòu)師為主，自主研發(fā)了300+核心業(yè)務系統(tǒng)，管理2000+服務器;新型互聯(lián)網(wǎng)零售銀行40%的人員以IT技術(shù)人員和大數(shù)據(jù)模型人員為主，通過AI和大數(shù)據(jù)大幅降低后臺服務人員，隨著業(yè)務規(guī)模增長，變動的邊際成本接近為零.馬上消費金融讓4位更輕也新零售金融需要的五大能力審批，貸后管理，客服能力基于數(shù)據(jù)決策能力圖I讓4位更輕也消費場景適配能力資產(chǎn)證券化回流資金能力-ABS云平臺高效價值傳遞能力-智能客服.智能催收-區(qū)塊連去中心化能力資產(chǎn)證券化能力服務大眾的普惠金融能力數(shù)據(jù)驅(qū)動能力新零售金融的3亥心競爭力/圍繞新零售金融，消費金融構(gòu)建5個領域的業(yè)務能力和技術(shù)能力,核心是人工智能+大數(shù)據(jù)+互聯(lián)網(wǎng)平臺技術(shù)。O馬上消費金融赤應w.nngxf“，口m服務被傳統(tǒng)金融忽視的80%普通大眾的能力-大數(shù)據(jù)，多維風控模型.征信白戶的授信和風控能力快速與線上和線下消費場景的融合和適配能力.基于場景風控適配能力.互聯(lián)網(wǎng)架構(gòu)彈性能力?用戶畫像?風險定價.個性化體驗1.服務大眾的普惠金融能力一風控能力是普惠關(guān)鍵■央行征信，公安部，公積金社保，芝麻信用，社交網(wǎng)絡數(shù)據(jù)多種大數(shù)據(jù)■強風險相關(guān)的金融數(shù)據(jù)和弱風險相關(guān)的社交數(shù)據(jù)相結(jié)合的互聯(lián)網(wǎng)大數(shù)據(jù)征信模型■基于不同客群，多纟險畫像，多模型，應對不同客戶的征信數(shù)據(jù)丿大數(shù)據(jù)深度學習+評分卡個性化+自動化流程多維度模型和風險畫像?不同客群不同模型?不同場景不同模型客戶擁有征信數(shù)據(jù)維度不同，采用不同模型雙輪驅(qū)動的風控引擎弓險和弱風險,規(guī)則和模型靈活調(diào)整-雙輪驅(qū)動的風控引擎?弓險和弱風險,規(guī)則和模型靈活調(diào)整馬上消費金融*+讓"位吏｝4也1.服務大眾的普惠金融能力-案例風險定價用戶流程Mike芝麻780分公積斜口社保有信用卡，央行征信John芝麻650分公積斜口社保，央行征信風險定價產(chǎn)品額度產(chǎn)品?額度5000元?利率10%.服潮呈額度產(chǎn)品?額度4000元?利率18%.普通潮呈IT系統(tǒng).現(xiàn)金貸貸款系統(tǒng)?風險定價引擎?芝麻聯(lián)合信用分Jane芝麻600分無央行征信_淘寶數(shù)據(jù)，京東數(shù)據(jù)額度產(chǎn)品?額度2000元?利率25%.淘寶數(shù)據(jù)+京東數(shù)據(jù)的爬蟲能力.客戶畫像和細分大數(shù)據(jù)（央行征信，芝麻，公積金，社保，公安，運營商）根據(jù)客戶畫像，動態(tài)構(gòu)建差異化授信流程?不同利率?不同額度流程和規(guī)則引擎風險定價引擎風險定價平臺馬上消費金融/悲讓4位更輕也1.服務大眾的普惠金融能力■■反欺詐系統(tǒng)案例■套現(xiàn)，身份異常，地址評分，線上高危，惡意操作等11種反欺詐模型，覆蓋線上線下的多場景，多類型欺詐■秒級計算能力，100TPS,實時大數(shù)據(jù)模型的計算能力平臺，反欺詐模型反欺詐大數(shù)據(jù)計算平臺馬上消費金融/落廣讓"位更輕払2.消費場景適配能力■■和場景端匹配的系統(tǒng)彈性能力■挑戰(zhàn):與支付寶，電商等平臺，具備同樣的彈性能力。同時，需要開放性的數(shù)據(jù)交互能力?！鼋鉀Q方案:基于開放平臺技術(shù)和開源技術(shù)，完全自主搭建互聯(lián)網(wǎng)的分布式架構(gòu)，分布式存儲。麟架構(gòu)具備高彈性和高可用性■億級賬戶的處理能力和擴展能力運維人貝外部接入_jI...II調(diào)度平含H5□PENAPI對接平臺齡曲、鶴心字典管理賬白管理■付服?[!!結(jié)算I據(jù)，作業(yè)冃口螭I礎1服IL知.日志采集應I服現(xiàn)金貸隨借隨還虛擬卡商品貸-------,----BOSS運營平臺客戶莒理產(chǎn)品管理審批處理應順付數(shù)據(jù)平臺O馬上消費金融渠道接入開放平臺微服務平臺數(shù)據(jù)存儲工作流引擎發(fā)布配置中心統(tǒng)一認證授權(quán)規(guī)則引擎?群控制中心日志分析監(jiān)控中心3.數(shù)據(jù)驅(qū)動能力一多種非結(jié)構(gòu)化數(shù)據(jù)的處理能力和人工智能是數(shù)據(jù)驅(qū)動能力基礎..........................................數(shù)據(jù)倉庫數(shù)據(jù)挖掘分布式計算框架云平臺+分布式架構(gòu)數(shù)據(jù)流處理客戶風險畫像智能營銷智能客服反欺詐實時風控■領先的云平臺能力........................................../行業(yè)領先的實時計算能力/毫秒級變量計算平臺/100+TPS/S/海量數(shù)據(jù)處理能力/支持億級記錄存儲/語音，圖片非結(jié)構(gòu)化數(shù)據(jù)____/線上實物商品圖片識別率97%............................./智能官服正確回復率在75%/支持深度學習，神經(jīng)網(wǎng)路等多種算法............................__/支持CNN,RNN,遞歸神經(jīng)網(wǎng)路等■:數(shù)據(jù)應用■■:算法模型.........................................■■:計算與存儲:框架數(shù)據(jù)采集■數(shù)據(jù)源馬上消費金融日志收集工具數(shù)據(jù)庫線上站點點擊流驚其他*+讓"位更輕也高速傳輸隊,鹽蒂震題墓蒂震4.高效價值傳遞和運營能力■■智能客服每天回答10萬個客戶問題挑戰(zhàn)：服務2000萬+客群，應對客戶的金融產(chǎn)品咨詢,貸后的各種問題解決方案：基于電商的智能客服技術(shù)+人工智能+零售金融線上消費場景，自主開發(fā)了金融智能客服XMA系統(tǒng)1、流程引擎：全面對接公司各條業(yè)務線及后臺數(shù)據(jù)，實現(xiàn)精準應答2、用戶畫像:通過各維度用戶數(shù)據(jù)對用戶進行識別，提供問題預測和個性化服務3、知識圖譜：提供直觀高效的知識管理技術(shù)4、核心AI:通過分詞糾錯、實體識別、深度學習、主動學習、強化學習、遷移學習、對抗學習，對話管理等技術(shù)精準理解用戶意圖5、語音識別與生產(chǎn):提供語音和問題互轉(zhuǎn)能力，延伸NLP的使用范圍6、主動關(guān)懷:智能分流，問題預判，轉(zhuǎn)人工預判，情感探測等技術(shù)提前預知用于行為，給用戶額外驚喜，提升用戶體驗虱讓位位更輕也O馬上消費金融智能應答系統(tǒng)流程基礎諳輯準務5.基礎架構(gòu)能力-結(jié)構(gòu)化部署架構(gòu)，=1MW.-——k自動化運維，持續(xù)部署■基礎架構(gòu)的主要特點:■自動化發(fā)布數(shù)據(jù)，9月1289次/微服務架構(gòu)+配置中心+注冊中心/統(tǒng)一監(jiān)控平臺+統(tǒng)一日志平臺/自動化部署/自動化環(huán)境構(gòu)建■結(jié)構(gòu)化應用部署架構(gòu)（300+應用））■持續(xù)集成，持續(xù)部署，自動化運維PM/BW發(fā)曬理馬上消費金融/落廣讓"位更輕払場景消費金融IT分布式架構(gòu)如何設計一遵循原則挑戰(zhàn)：服務2000萬+客群，金融系統(tǒng)如何更穩(wěn)定，如五大原則何更高效的發(fā)布？如讓用戶體驗更好？讓不安的心能放松下來。______解決方案：基于互聯(lián)網(wǎng)的技術(shù)+零售金融線上消費場景,自主設計的分布式架構(gòu)。設計原則1.可靠性:所有應用都是雙機+多實例運行，高度解耦,保證任何機器宕機去不中斷業(yè)務、鏈路冗余等。2.可用性：除可靠性特性外，要注意設計備份、恢復、業(yè)務連續(xù)性計劃、減少恢復時間。3.可擴展性:考慮大并發(fā)量、接入層、業(yè)務邏輯層、數(shù)據(jù)存儲層能不能快速的水平擴容、支持全鏈路監(jiān)控。4.安全性:考慮自動化安全測試平臺、安全是否已經(jīng)嵌入到開發(fā)環(huán)節(jié)、漏洞有沒有方便的SRC平臺。5.可維護性：是否可以任意時間發(fā)布、自動化發(fā)布、是否只需要少量運維人員或不用運維人員就可以發(fā)布，研發(fā)人員是系統(tǒng)發(fā)布過程中的用戶、是否支持測試。圖I讓4位更輕也O馬上消費金融赤應w.nngxf“，口m消費金融IT分布式架構(gòu)整體設計模型測試體系集成測試UAT測試單項功能測試場景測試性能測試全鏈路測試安全測試預發(fā)布測試灰度測試自動化測試安全體系CDNFireWall/Nginx+Lua+ModsecurityELBA10/BGP■Nginx■HaproxyAPI/APP業(yè)務邏輯nodejsSpringCloudSpringCloudSpring基礎服務4E舍商冨高可用員輦性能監(jiān)控Nginx/HARabbitMQ.Redis.Zookeeper/Nginx+luaMongoDBHDFSMySQLFastDFS/GlusterHbaseHadoopCeph運維管理資源監(jiān)控容量監(jiān)控硬件監(jiān)控性能監(jiān)控(APM)網(wǎng)絡監(jiān)控業(yè)務監(jiān)控WEB監(jiān)控數(shù)據(jù)庫監(jiān)控自動部署集群管理文件分發(fā)馬上消費金融/卷讓4位更輕也消費金融IT分布式架構(gòu)整體設計.審批/賬務系統(tǒng)實踐ifurinotin:.xxxx/LGW/APPL_$TAT_UPDATE/ifuriin:/xxxx/LGW/APPL_$TAT_UPDATE//xxxx/LGW/L-router馬上消費金融LB-NginxACS-WEB/程序控制類調(diào)用cTusTerRabbitMQSharding-JDBCRabbitMQbatchOlbatch08batchl6/從m位更輕也金融科技開放平臺的挑戰(zhàn)與未來■金融科技的架構(gòu)和消費互聯(lián)網(wǎng)的技術(shù)架構(gòu)區(qū)別：交易鏈條長，金融業(yè)務耦合度高消費互聯(lián)網(wǎng)反之消費互聯(lián)網(wǎng)挑戰(zhàn)是大井發(fā)金融科技有大并發(fā)的要求同時面臨解耦問題馬上消費金融/卷讓4位更輕也金融科技開放平臺的挑戰(zhàn)與未來■金融科技的架構(gòu)和消費互聯(lián)網(wǎng)的技術(shù)架構(gòu)區(qū)別：/場景金融帶來不確定性非線性能力業(yè)務邏輯復雜數(shù)據(jù)庫性育灘預測金融科技開放平臺的挑戰(zhàn)與未來■金融科技的架構(gòu)和消費互聯(lián)網(wǎng)的技術(shù)架構(gòu)區(qū)別：/整體架構(gòu)高可用性的設計復雜金融的架構(gòu)是底層能力平臺化+業(yè)務能力大中臺（風控,審批，賬戶，客服）化+面向市場的服務和產(chǎn)品小前臺（各個小的產(chǎn)品，面向市場）化。這個架構(gòu)特點是,底層各個能力和中臺能力的可用性要求非常高/數(shù)據(jù)挑戰(zhàn)數(shù)據(jù)完整性—致性準群性要求高可見,分布式互聯(lián)網(wǎng)架構(gòu),在金融領域的挑戰(zhàn)也比較大。馬上消費金融/落廣讓"位更輕払金融科技開放平臺的挑戰(zhàn)與未來■新零售互聯(lián)網(wǎng)金融的發(fā)展面臨的挑戰(zhàn)：/移動化+云計算+更復雜場景+人工智能+快速決策+風控場景多變/基于數(shù)據(jù)的信用體系產(chǎn)生真正的普惠金融、金融產(chǎn)品快速轉(zhuǎn)換、苛刻的用戶體驗、非凡