證券行業(yè)新一代大數(shù)據(jù)平臺建設(shè)方案

1、證券行業(yè)新一代大數(shù)據(jù)平臺建設(shè)方案技術(shù)創(chuàng)新，變革未來01Part One證券公司數(shù)據(jù)管理現(xiàn)狀與挑戰(zhàn)1、政策、監(jiān)管陸續(xù)對券商數(shù)據(jù)管理提出新的要求2016年12月：證券公司全面風(fēng)險(xiǎn)管理規(guī)范第三十二條：證券公司風(fēng)險(xiǎn)管理信息技術(shù)系統(tǒng)應(yīng)支持風(fēng)險(xiǎn)信息的搜集，完成識別、計(jì)量、評估、監(jiān)測和報(bào)告，覆蓋所有類別的主要風(fēng)險(xiǎn)第三十三條：證券公司應(yīng)當(dāng)建立健全數(shù)據(jù)治理和質(zhì)量控制機(jī)制。積累真實(shí)、準(zhǔn)確、完整的內(nèi)部外部數(shù)據(jù)，用于風(fēng)險(xiǎn)識別、計(jì)量、評估、監(jiān)測和報(bào)告證券公司應(yīng)將數(shù)據(jù)治理納入公司整體信息技術(shù)建設(shè)戰(zhàn)略規(guī)劃，制定數(shù)據(jù)標(biāo)準(zhǔn)，涵蓋數(shù)據(jù)源管理、數(shù)據(jù)庫建設(shè)、數(shù)據(jù)質(zhì)量監(jiān)測等環(huán)節(jié)。2015年07月：關(guān)于運(yùn)用大數(shù)據(jù)加強(qiáng)對市場主體服務(wù)和監(jiān)管

2、的若干意見重點(diǎn)任務(wù)分工及進(jìn)度安排表：支持銀行、證券、信托、融資租賃、擔(dān)保、保險(xiǎn)等專業(yè)服務(wù)機(jī)構(gòu)和行業(yè)協(xié)會、商會運(yùn)用大數(shù)據(jù)為企業(yè)提供服務(wù)2016年12月：證券期貨投資者適當(dāng)性管理辦法第十三條經(jīng)營機(jī)構(gòu)應(yīng)當(dāng)建立投資者評估數(shù)據(jù)庫并及時更新,充分使用已了解信息和已有評估結(jié)果,避免重復(fù) 采集,提高評估效率數(shù)據(jù)質(zhì)量管理數(shù)據(jù)標(biāo)準(zhǔn)管理元數(shù)據(jù)管理ETL工具ETL自動化JOB封裝源系統(tǒng)數(shù)據(jù)質(zhì)量平臺應(yīng)用平臺消費(fèi)系統(tǒng)數(shù)據(jù)中心近實(shí)時數(shù)據(jù)交換多維分析靈活查詢 統(tǒng)一門戶儀表盤數(shù)據(jù)挖掘合規(guī)管理近實(shí)時應(yīng)用風(fēng)險(xiǎn)監(jiān)控KPI監(jiān)控ACRMOCRM中央監(jiān)控 反洗錢呼叫中心統(tǒng)一門戶數(shù) 據(jù) 交 換 平 臺管理調(diào)度平臺ODSEDWODMSDMFD

3、MADM數(shù)據(jù)存在于多源關(guān)系型數(shù)據(jù)庫系統(tǒng)集中交易 中， 數(shù)據(jù)整合以按需方數(shù)式接入數(shù)據(jù)據(jù)法人清算 中心， 梳理處數(shù)據(jù)源結(jié)構(gòu)理融資融券 過程很長。加由于數(shù)據(jù)中工心不支持半股指期貨結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，行情數(shù)據(jù) 在數(shù)據(jù)源方面缺乏對于互聯(lián)網(wǎng)數(shù)據(jù)、第三方數(shù)據(jù)、影像、文檔、 等分析需求。2、當(dāng)前券商數(shù)據(jù)管理平臺架構(gòu)存在諸多問題大數(shù)據(jù)量檢索執(zhí)行效率慢對大數(shù)據(jù)批量處理支持較差不支持非結(jié)構(gòu)化處理任務(wù)不支持非結(jié)構(gòu)化數(shù)據(jù)缺乏對外部數(shù)據(jù)整合能力對多租戶管理能力有限無法支持毫秒級實(shí)時性應(yīng)用缺乏較好的數(shù)據(jù)挖掘工具缺乏較好的數(shù)據(jù)管理工具3、缺乏科學(xué)的數(shù)據(jù)治理體系規(guī)劃標(biāo)準(zhǔn)規(guī)范開發(fā)實(shí)施創(chuàng)建獲取維護(hù)使用存檔檢索清除規(guī)劃分析設(shè)計(jì)開發(fā)

4、測試部署維護(hù)數(shù)據(jù) 架構(gòu)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量需求數(shù)據(jù)質(zhì)量監(jiān)控、評估、提升數(shù)據(jù)安全需求數(shù)據(jù)安全審計(jì)數(shù)據(jù)保留需求數(shù)據(jù)歸檔、備份與清除元數(shù)據(jù)管理問題一：數(shù)據(jù)多頭管理，券商缺少專門對數(shù)據(jù)監(jiān)管與控制的組織問題二：數(shù)據(jù)統(tǒng)計(jì)口徑、加工方法不一致，缺乏統(tǒng)一標(biāo)準(zhǔn)問題三：數(shù)據(jù)分布零散，源數(shù)據(jù)分布于多個應(yīng)用系統(tǒng)中，部署與同步原則不一問題四：缺少數(shù)據(jù)生命周期管理問題五：數(shù)據(jù)挖掘與分析應(yīng)用差問題六：數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全管理亟待提高02Part Three證券公司大數(shù)據(jù)平臺與應(yīng)用現(xiàn)狀量化分析客戶分析風(fēng)險(xiǎn)管理業(yè)務(wù)運(yùn)營行情預(yù)測高頻交易客戶畫像精準(zhǔn)營銷風(fēng)險(xiǎn)識別風(fēng)險(xiǎn)對策縮短交易 結(jié)算時間高效連接 前臺運(yùn)營外部數(shù)據(jù) 預(yù)測內(nèi)部數(shù)據(jù) 預(yù)測平臺

5、建設(shè)數(shù)據(jù)倉庫歷史數(shù)據(jù) 查詢數(shù)據(jù)采集數(shù)據(jù)處理數(shù)據(jù)科學(xué)數(shù)據(jù)應(yīng)用數(shù)據(jù)管理大數(shù)據(jù)技術(shù)科技驅(qū)動業(yè)務(wù)創(chuàng)新，離不開大數(shù)據(jù)技術(shù)的支撐業(yè)務(wù)運(yùn)營客戶分析數(shù)據(jù)管理投資交易行情預(yù)測風(fēng)險(xiǎn)管理諸多業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)處理分發(fā)，需要從數(shù)據(jù)標(biāo)準(zhǔn)化、一致性、數(shù)據(jù)滿足應(yīng)用的程度來進(jìn)行數(shù)據(jù)統(tǒng)一管理，實(shí)現(xiàn)數(shù)據(jù)倉庫、歷 史數(shù)據(jù)查詢、數(shù)據(jù)管理、數(shù)據(jù)分發(fā)等功能結(jié)合互聯(lián)網(wǎng)平臺或APP的客戶數(shù)據(jù)，進(jìn)行實(shí)時采 集、分析，實(shí)現(xiàn)用戶畫像、精準(zhǔn)營銷推送、高 凈值客戶管理、智能投顧、基于地理位置的分 析；對于客戶的大數(shù)據(jù)畫像分析結(jié)果，也可應(yīng) 用于投顧團(tuán)隊(duì)和經(jīng)紀(jì)人團(tuán)隊(duì)，便于線下的展業(yè) 和業(yè)務(wù)開展風(fēng)控的指標(biāo)管理、實(shí)時預(yù)警、合規(guī)管理、數(shù)據(jù)維 度一直是券商最依賴

6、于數(shù)據(jù)處理的部分，可結(jié)合 市場風(fēng)險(xiǎn)、信用風(fēng)險(xiǎn)、反洗錢、投資人適當(dāng)性管 理等應(yīng)用場景，在機(jī)器學(xué)習(xí)算法和風(fēng)險(xiǎn)模型上提 供解決方案通過大數(shù)據(jù)分析優(yōu)化運(yùn)營管控，通過數(shù)據(jù)實(shí)現(xiàn)時效分析、自動化產(chǎn)品生成，在資產(chǎn)管理和財(cái)富管理角度減少生 命周期管理中的冗余環(huán)節(jié)，同時評估 操作風(fēng)險(xiǎn)損失數(shù)據(jù)通過行情大數(shù)據(jù)結(jié)合輿情分析對企 業(yè)內(nèi)外部數(shù)據(jù)進(jìn)行分析比對，預(yù)測 資本市場與宏觀經(jīng)濟(jì)走勢，為券商 投研智庫提供參照依據(jù)通過大數(shù)據(jù)訓(xùn)練算法模型對量化投資、組合分 析進(jìn)行標(biāo)的選擇、投資風(fēng)控、相關(guān)性分析、多 因子選股提供參考和依據(jù)；通過市場數(shù)據(jù)實(shí)現(xiàn) 投資組合分析、智能化投資顧問、市場交易回 放等證券公司大數(shù)據(jù)主要應(yīng)用方向排名券商數(shù)據(jù)平

7、臺主要應(yīng)用場景排名券商數(shù)據(jù)平臺主要應(yīng)用場景1中信證券混合式各類分析/用戶畫像12安信證券混合式用戶畫像/精準(zhǔn)營銷2海通證券混合式數(shù)據(jù)倉庫13中泰證券混合式數(shù)據(jù)倉庫3廣發(fā)證券混合式用戶畫像/精準(zhǔn)營銷14光大證券混合式數(shù)據(jù)查詢/管理4國泰君安混合式用戶畫像/精準(zhǔn)營銷15東北證券混合式數(shù)據(jù)倉庫5華泰證券混合式畫像/營銷/交易風(fēng)控16中投證券混合式6銀河證券混合式數(shù)據(jù)查詢/管理17平安證券混合式畫像/營銷/資產(chǎn)配置7申萬宏源混合式數(shù)據(jù)查詢/管理18國金證券混合式金融工程/流計(jì)算8招商證券混合式數(shù)據(jù)倉庫36國開證券Hadoop數(shù)據(jù)倉庫/管理駕駛艙9國信證券混合式用戶畫像/精準(zhǔn)營銷51上海證券混合式用戶畫

8、像/精準(zhǔn)營銷10中信建投混合式用戶畫像/精準(zhǔn)營銷55第一創(chuàng)業(yè)Hadoop數(shù)據(jù)倉庫11東方證券混合式數(shù)據(jù)查詢/管理66財(cái)富證券混合式數(shù)據(jù)倉庫國內(nèi)券商大數(shù)據(jù)平臺與應(yīng)用場景03Part Three大數(shù)據(jù)基礎(chǔ)平臺搭建基于單實(shí)例Oracle的數(shù)據(jù)中心問題性能方面：數(shù)據(jù)加載耗時越來越長，無法滿足目標(biāo)系統(tǒng)對數(shù)據(jù)的時效性要求；Oracle性能優(yōu)化無法逾越I/O瓶頸，不斷增加索引和分析也增加了系統(tǒng)在加載時的資源消耗， 同時增加了系統(tǒng)維護(hù)難度；性能瓶頸導(dǎo)致隨機(jī)查詢能力受限；平臺擴(kuò)展：1.不支持線性擴(kuò)展，使數(shù)據(jù)的存儲得到制約，擴(kuò)容需要花費(fèi)高成本以購買大型設(shè)備，無法控制 數(shù)據(jù)增長帶來的性能處理壓力；處理能力：只能處理

9、結(jié)構(gòu)化數(shù)據(jù)，無法滿足多樣化（半結(jié)構(gòu)、非結(jié)構(gòu)化）格式數(shù)據(jù)處理需求；部署大數(shù)據(jù)平臺數(shù)據(jù)整合大數(shù)據(jù)初步應(yīng)用大數(shù)據(jù)應(yīng)用大數(shù)據(jù)平臺擴(kuò)展大數(shù)據(jù)應(yīng)用深化平臺建設(shè)數(shù)據(jù)整合應(yīng)用建設(shè)內(nèi)容大數(shù)據(jù)產(chǎn)品和服務(wù)技術(shù)和應(yīng)用擴(kuò)展后期規(guī)劃部署大數(shù)據(jù)分析平臺數(shù)據(jù)采集清洗按照業(yè)務(wù)需求對終端統(tǒng)計(jì)分析用戶各終端頁面埋點(diǎn)行為數(shù)據(jù)采集移動運(yùn)營指標(biāo)公司內(nèi)部業(yè)務(wù)系統(tǒng)數(shù)（日活、新增、留存）據(jù)引入數(shù)據(jù)可視化開發(fā)手工維護(hù)數(shù)據(jù)繪制產(chǎn)品運(yùn)營指標(biāo)圖統(tǒng)一公司各平臺客戶表數(shù)據(jù)外部數(shù)據(jù)接入1，終端產(chǎn)品和服務(wù)改 進(jìn)制作產(chǎn)品運(yùn)營報(bào) 告2，構(gòu)建客戶畫像標(biāo)簽體系構(gòu)建， 形成客戶畫像向數(shù)據(jù)服務(wù)層推 送用戶標(biāo)簽1，提升營銷效率客戶聚類分群全渠道運(yùn)營客戶流失預(yù)測營銷活動支持

10、2，輔助經(jīng)營決策營銷人員行為分析精細(xì)化報(bào)表3，其他部門需求支持更多元數(shù)據(jù)采集提升可視化水準(zhǔn)按照業(yè)務(wù)需求開發(fā)模型依據(jù)平臺工作量提升平 臺性能為公司資管和固收等業(yè) 務(wù)提供數(shù)據(jù)支持機(jī)器學(xué)習(xí)機(jī)器人投顧行業(yè)輿情監(jiān)控決策支持第一階段規(guī)劃（2016年9月-2017年1月）第二階段（2017年2月-2017年12月）第三階段大數(shù)據(jù)建設(shè)思路ETL集中交易融資融券個股期權(quán)OTC柜臺投資管理TA系統(tǒng)估值系統(tǒng)法人清算OA系統(tǒng) TA文件行情Attunity Replicate采集程序DATASTAGE JOB實(shí) 時 庫文 件 服 務(wù) 器財(cái)付通綜合報(bào)表平臺營銷服務(wù)平臺風(fēng)險(xiǎn)管理系統(tǒng)報(bào)表報(bào)送系統(tǒng)網(wǎng)上商城系統(tǒng)外 部 系 統(tǒng)Gu

11、ardianDiscoverStreamInceptor同步程序STAGE層 ETL接入分 發(fā) 庫模型指標(biāo)層分析應(yīng)用層歸元核心數(shù)據(jù)層檔數(shù)數(shù)據(jù)據(jù)維度信息層數(shù)據(jù)緩存層調(diào) 度 平 臺Transwarp HDFS基于大數(shù)據(jù)平臺（TDH）數(shù)據(jù)中心數(shù)據(jù)中心整體遷移過程演示數(shù)據(jù)中心架構(gòu)圖數(shù)據(jù)接入1.DDL導(dǎo)入數(shù)2.存據(jù)儲過程稽3.初核始化庫并行同步并行同步效果評估：數(shù)據(jù)采集任務(wù)性能并行入庫任務(wù)性能方面，TDH整體相對于Oracle提升7.34倍：并行任務(wù)對比，TDH相對于Oracle最多能提升46.6倍對于Oracle最慢的并行批量入庫任務(wù)，Oracle耗時16774秒，TDH提升29.8倍只需要562秒效

12、果評估：核心ETL任務(wù)性能核心存儲過程作業(yè)對比：總體核心作業(yè)耗時ORACLE用時86111秒，TDH需要15106秒，性能提升了5.7倍；單存儲過程作業(yè)對比，ORACLE最大作業(yè)用時13618秒，TDH用時273秒，提升了49.9倍；最大任務(wù)提升倍率為354.75倍；性能對比：整體批處理性能TradeDateTASKTDH- COSTSTARTENDORACLE-TASKORACLE-COSTSTARTEND20170203ADM_BI_REPORT_MONTH-OLD572017-2-3 10:112017-2-3 10:11ADM_BI_REPORT_MONTH3665502017-2-3

13、 10:012017-2-7 15:5020170203ADM_BI_MONTH5082017-2-3 10:012017-2-3 10:10ADM_BI_MONTH51712017-2-3 10:002017-2-3 11:2620170203BI_KPI_ASSET8612017-2-6 6:242017-2-6 6:38BI_KPI41212017-2-6 6:182017-2-6 7:2720170203KPI_REPORT_DAY2232017-2-6 6:492017-2-6 6:53KPI_REPORT9512017-2-6 7:282017-2-6 7:4420170203PR

14、OC_DATA_STD_CW53412017-2-4 1:402017-2-4 1:41STD_CW536632017-2-4 0:582017-2-4 1:0920170203QSTG_REPORT_0116102017-2-3 17:542017-2-3 18:20QSTG_REPORT_0147582017-2-3 17:382017-2-3 18:5820170203STD_ALM_BALDATATRANSFORM782017-2-3 15:252017-2-3 15:26STD_ALM88232017-2-3 13:012017-2-3 15:2820170203STD_ANALYS

15、IS_KPI6552017-2-4 1:472017-2-4 1:58STD_ANALYSIS2110702017-2-3 19:322017-2-6 6:0920170203STD_HS925302017-2-4 0:272017-2-4 0:36STD_HS9277942017-2-4 0:182017-2-4 2:2820170203STD_JZ3119252017-2-3 20:082017-2-3 20:41STD_JZ3139432017-2-3 21:262017-2-3 22:3220170203STD_JZ415792017-2-3 20:082017-2-3 20:17ST

16、D_JZ4121222017-2-3 21:262017-2-3 22:0220170203STD_MALL422017-2-4 0:062017-2-4 0:07STD_SYNC_MALL29272017-2-4 2:152017-2-4 3:0420170203STD_OPT9272017-2-3 23:322017-2-3 23:47STD_OPT7172017-2-3 23:352017-2-3 23:4720170203STD_SC602832017-2-6 1:242017-2-6 1:29STD_SC6010922017-2-3 7:302017-2-3 7:4820170203

17、TOTAL_ASSETS27612017-2-3 20:082017-2-3 20:54TOTAL_ASSETS324262017-2-3 21:292017-2-4 6:2920170203TOTAL_OPEN_CLOSE22942017-2-3 20:082017-2-3 20:47TOTAL_OPEN_CLOSE325682017-2-3 21:262017-2-4 6:2920170203TOTAL_STOCK27692017-2-3 20:082017-2-3 20:54TOTAL_STOCK325882017-2-3 21:262017-2-4 6:2904Part Three基于

18、大數(shù)據(jù)平臺應(yīng)用大數(shù)據(jù)分析平臺自定義用戶分群業(yè)務(wù)漏斗分析用戶自定義報(bào)表操作類交易類市場類Transwarp HDFSDiscoverStreamInceptor模型指標(biāo)層歸 檔 數(shù) 據(jù)元 數(shù) 據(jù)分析應(yīng)用層核心數(shù)據(jù)層維度信息層數(shù)據(jù)緩存層大數(shù)據(jù)基礎(chǔ)平臺綜合報(bào)表系統(tǒng)領(lǐng)導(dǎo)駕駛艙輔助決策支持指標(biāo)報(bào)表展示自助式業(yè)務(wù)分析客戶信息管理系統(tǒng)客戶信息管理部門工作協(xié)同風(fēng)險(xiǎn)管理系統(tǒng)凈資本管理異常交易監(jiān)控.數(shù)據(jù)治理體系數(shù)據(jù)管控平臺數(shù)據(jù)應(yīng)用整體邏輯架構(gòu)大數(shù)據(jù)分析平臺拓?fù)鋱D代理服務(wù)器數(shù)據(jù)分析服務(wù)器數(shù)據(jù)分析 服務(wù)數(shù)器據(jù)分析 服務(wù)數(shù)器據(jù)分析 服務(wù)器數(shù)據(jù)分析 服務(wù)數(shù)器據(jù)分析 服務(wù)器TDH大數(shù)據(jù)平臺管理節(jié)點(diǎn) 服務(wù)器管理節(jié)點(diǎn) 服務(wù)器萬兆交換機(jī)數(shù)據(jù) 服務(wù)器數(shù)據(jù) 服務(wù)器數(shù)據(jù) 服務(wù)器數(shù)據(jù) 服務(wù)器數(shù)據(jù) 服務(wù)器數(shù)據(jù) 服務(wù)器數(shù)據(jù) 服務(wù)器數(shù)據(jù) 服務(wù)器外部數(shù)據(jù)服務(wù)器數(shù)據(jù)接入采集服務(wù)器采集服務(wù)