金融級(jí)分布式數(shù)據(jù)庫服務(wù)

1、金融級(jí)分布式數(shù)據(jù)庫服務(wù)金融數(shù)字化趨勢(shì)與挑戰(zhàn)挑戰(zhàn)1：分布式數(shù)據(jù)一致性挑戰(zhàn)2：分布式業(yè)務(wù)連續(xù)性挑戰(zhàn)3：分布式數(shù)據(jù)安全性挑戰(zhàn)4：服務(wù)可擴(kuò)展性金融行業(yè)應(yīng)用實(shí)踐金融信息科技“十三五”規(guī)劃指明發(fā)展方向信息科技治理 有效性明顯提升構(gòu)建信息科技治理機(jī)制評(píng) 價(jià)和持續(xù)改進(jìn)機(jī)制組織、制度、流程和人力 資源建設(shè)機(jī)制科技與業(yè)務(wù)建立成熟的伙 伴關(guān)系優(yōu)化數(shù)據(jù)治理、提升數(shù)據(jù) 服務(wù)、發(fā)揮數(shù)據(jù)價(jià)值信息科技服務(wù) 能力持續(xù)提升構(gòu)建綠色數(shù)據(jù)中心推進(jìn)運(yùn)維自動(dòng)化和智能化實(shí)現(xiàn)基礎(chǔ)架構(gòu)轉(zhuǎn)型升級(jí)建立適應(yīng)互聯(lián)網(wǎng)業(yè)務(wù)場(chǎng)景 的軟件開發(fā)過程體系信息科技風(fēng)險(xiǎn)管理“三道防線”協(xié)同水平持續(xù)提高明晰并落實(shí)“三道防線”的 協(xié)同機(jī)制構(gòu)建開發(fā)、運(yùn)維、安全、風(fēng)險(xiǎn)管理一

2、體化運(yùn)營(yíng)平臺(tái)建立信息科技內(nèi)部控制成 熟度評(píng)價(jià)機(jī)制完善外包風(fēng)險(xiǎn)管理體系夯實(shí)業(yè)務(wù)連續(xù)性管理網(wǎng)絡(luò)和信息安全 管控能力顯著增強(qiáng)積極落實(shí)國(guó)家網(wǎng)絡(luò)空間 安全戰(zhàn)略實(shí)現(xiàn)關(guān)鍵基礎(chǔ)設(shè)施基本安 全、風(fēng)險(xiǎn)可控健全客戶信息保護(hù)機(jī)制建立全方位的安全態(tài)勢(shì)感 知和防范應(yīng)對(duì)機(jī)制建立銀行間網(wǎng)絡(luò)安全協(xié)同 防護(hù)機(jī)制科技成為引領(lǐng)創(chuàng)新的 關(guān)鍵引擎科技創(chuàng)新納入總體戰(zhàn)略大力推進(jìn)“互聯(lián)網(wǎng)+”、大 數(shù)據(jù)等國(guó)家戰(zhàn)略落地構(gòu)建銀行業(yè)互聯(lián)網(wǎng)金融生 態(tài)建立銀行間和跨行業(yè)的聯(lián) 合創(chuàng)新全面推進(jìn)金融業(yè)信息化發(fā)展提質(zhì)增效，積極面對(duì)新興技術(shù)帶來的機(jī)遇與挑戰(zhàn)，主動(dòng)開展架構(gòu)轉(zhuǎn)型，建立開放、彈性、高效、安 全的新一代銀行系統(tǒng)，深化信息科技治理成效，完善科技研發(fā)運(yùn)維體系，

3、強(qiáng)化信息安全和風(fēng)險(xiǎn)管理，以信息科技引領(lǐng)創(chuàng)新發(fā)展、 轉(zhuǎn)型升級(jí)，提升支持實(shí)體經(jīng)濟(jì)發(fā)展能力，促進(jìn)普惠金融大發(fā)展，為社會(huì)和公眾提供更加豐富、安全和便捷的金融服務(wù)。總體目標(biāo)分布式金融架構(gòu)的理想世界風(fēng)險(xiǎn)管控 數(shù)據(jù)安全高效運(yùn)維 自動(dòng)容錯(cuò)海量數(shù)據(jù) 平滑擴(kuò)展業(yè)務(wù)安全 數(shù)據(jù)容災(zāi)服務(wù)彈性 應(yīng)對(duì)沖擊開放金融 服務(wù)社會(huì)降低成本 投資復(fù)用業(yè)務(wù)連續(xù) 快速部署數(shù)據(jù)服務(wù)架構(gòu)的挑戰(zhàn)互聯(lián)網(wǎng)金融服務(wù)帶來高的瞬時(shí)數(shù)據(jù)庫并 發(fā)負(fù)載，往往要達(dá)到萬次/秒的讀寫請(qǐng) 求，要求數(shù)據(jù)服務(wù)能夠線性擴(kuò)展性能與 容量多數(shù)據(jù)中心部署后，數(shù)據(jù)需要在災(zāi)難情 況下不丟數(shù)據(jù)，保持業(yè)務(wù)連續(xù)服務(wù)數(shù)據(jù)服務(wù)業(yè)務(wù)連續(xù)性對(duì)數(shù)據(jù)庫的高并發(fā)，可擴(kuò)展性要求受監(jiān)管限制，金融行業(yè)需求與

4、互聯(lián)網(wǎng)應(yīng) 用有差別，數(shù)據(jù)很多場(chǎng)景要求實(shí)時(shí)強(qiáng)一 致數(shù)據(jù)一致性要求數(shù)據(jù)安全性01040203數(shù)據(jù)服務(wù)需要具備安全防護(hù)手段，防 止非法訪問，篡改金融分布式架構(gòu)全景視圖統(tǒng)一運(yùn)維解決方 案安全解決方案容災(zāi)和備份解決 方案微模塊數(shù)據(jù)中心/IT硬件解決方案PaaS解決方案DevOps解決方案大數(shù)據(jù)平臺(tái)及 分布式數(shù)據(jù)庫解決方案IaaS解決方案面向金融的分布式數(shù)據(jù)庫-GoldenDB分布式數(shù)據(jù)庫包括計(jì)算節(jié)點(diǎn)（前置中間件）、數(shù)據(jù)節(jié)點(diǎn)（DB）、全局事務(wù)管理器和管理節(jié)點(diǎn)四種組件，其中藍(lán) 色背景的為有狀態(tài)的組件，需要考慮容災(zāi)：1、計(jì)算節(jié)點(diǎn)（前置中間件）：提供SQL解析、優(yōu)化、路由、結(jié)果匯聚、分布式事務(wù)控制等功能；2、數(shù)

5、據(jù)節(jié)點(diǎn)（DB）：真正存儲(chǔ)業(yè)務(wù)數(shù)據(jù)的組件，通過分庫分表實(shí)現(xiàn)數(shù)據(jù)庫能力的水平擴(kuò)展；3、全局事務(wù)管理器（GTM）：分布式事務(wù)管理的重要組件；4、管理節(jié)點(diǎn)（OMM與MDS）：包括元數(shù)據(jù)管理、參數(shù)配置、其他三種組件的監(jiān)控與管理等。3、全局事務(wù)管理器GTM1、計(jì)算節(jié)點(diǎn)（前置中間件）DB ProxyDB ProxyDB-MDB-SDB-MDB-SDB-MDB-SDB-MDB-S4、管理節(jié)點(diǎn)OMM MDSMeta Data ServerProxy ManagerCluster Manager2、數(shù)據(jù)節(jié)點(diǎn)（數(shù)據(jù)庫集群）DB ProxyAPP1 ODBC / JDBCAPP2 ODBC / JDBCAPPN OD

6、BC / JDBC應(yīng)用客戶端分布式數(shù)據(jù)庫金融數(shù)字化趨勢(shì)與挑戰(zhàn)挑戰(zhàn)1：分布式數(shù)據(jù)一致性挑戰(zhàn)2：業(yè)務(wù)連續(xù)性挑戰(zhàn)3：數(shù)據(jù)安全性挑戰(zhàn)4：服務(wù)可擴(kuò)展性金融行業(yè)應(yīng)用實(shí)踐改進(jìn)的分布式事務(wù)一致性-Sagar 模型事務(wù)管理 器參與者事務(wù)管理 器參與者參與者事務(wù)管理 器子事務(wù)處理子事務(wù)提交 參與者自動(dòng)補(bǔ)償補(bǔ)償確認(rèn)分配全局事務(wù)ID假設(shè)條件： 業(yè)務(wù)中正常情況只有極小比例事務(wù)會(huì)失敗參與者參與者分布式MVCC+GTM+樂觀提交，完成分布式事務(wù)的全生命周期管理保證各種異常場(chǎng)景下的數(shù)據(jù)一致性，徹底解決分布式數(shù)據(jù)庫可能的臟讀問題自動(dòng)構(gòu)建事務(wù)回滾機(jī)制，從數(shù)據(jù)庫日志中抓取對(duì)應(yīng)的修改內(nèi)容，并自動(dòng)化生成補(bǔ)償操作在數(shù)據(jù)備份/恢復(fù)過程中，

7、保證各全局事務(wù)組的操作統(tǒng)一執(zhí)行或回滾數(shù)據(jù)拆分/重分布過程一致性hash(product_id) = 3170972965401 % 1024 = 5370255127 128 256511383384512767895 896639 6407681023分庫1分庫2分庫3分庫4分庫5分庫6分庫7分庫8原分庫1原分庫2原分庫3原分庫4方案特點(diǎn) 1、方案成熟，在同城環(huán)境下數(shù)據(jù)復(fù)制性能提升明顯；2、支持DB分組管理，降低單點(diǎn)故障的影響，保障同城機(jī)房與主機(jī)房數(shù)據(jù)副本的一致性；3、支持備機(jī)分類，優(yōu)先在主機(jī)房?jī)?nèi)切換；強(qiáng)一致多副本復(fù)制技術(shù)實(shí)現(xiàn)原理 1、數(shù)據(jù)高可靠采用DB主備多副本，主備數(shù)據(jù)復(fù)制采用快同步復(fù)制

8、技術(shù)（在MySQL原生半同步 復(fù)制基礎(chǔ)上改造），對(duì)DB進(jìn)行分組管理，要求每個(gè)分組至少有一個(gè)備機(jī)返回響應(yīng)。2、服務(wù)高可用采用管理節(jié)點(diǎn)監(jiān)控DB狀態(tài)，管理DB的故障切換。管理節(jié)點(diǎn)主備數(shù)據(jù) 復(fù)制DB1（主）DB2（備）DB分組1主機(jī)房同城備機(jī)房管理節(jié)點(diǎn) 管理節(jié)點(diǎn)（主）（主） DB心跳上報(bào) DB主備數(shù)據(jù)快同步復(fù)制DB3（備）DB4（備）DB分組2元數(shù)據(jù)一致性MDSDBDBDBPaxosMDSMDS采用Paxos技術(shù),實(shí)現(xiàn)元數(shù)據(jù)存儲(chǔ) 集群多寫強(qiáng)一致read/write主中心本地 read/write同城中心read/writeDBMDS異地中心數(shù)據(jù)遷移一致性GoldenDBEL數(shù)據(jù)處理 模塊DB2數(shù)據(jù)副本

9、數(shù)據(jù)交換平 臺(tái)KafkaSpark/ Storm 流式數(shù)據(jù)分析S數(shù)據(jù)抽取 模塊S: Select 數(shù)據(jù)全量導(dǎo)出 增量數(shù)據(jù)抽取 條件數(shù)據(jù)抽取 一致性數(shù)據(jù)過濾E:Extract 數(shù)據(jù)過濾 格式轉(zhuǎn)換 數(shù)據(jù)合并 數(shù)據(jù)壓縮T: Transfer 數(shù)據(jù)傳輸 數(shù)據(jù)重傳 數(shù)據(jù)恢復(fù)L: Load 數(shù)據(jù)轉(zhuǎn)入 DB - MQ DB - DBDB - 文件數(shù)據(jù)一致性比對(duì)工具數(shù)據(jù)比對(duì)代理數(shù)據(jù)比對(duì)代理managerDB1DB2Zookeeper提供批量數(shù)據(jù)比對(duì)工具 （ 分別批量checksum, 比較checksum值, 不一致則生成不 一致數(shù)據(jù)塊單行checksum表進(jìn)行逐行比對(duì)）， 沖突數(shù)據(jù)根據(jù)事先規(guī)則進(jìn)行一致性 修

10、復(fù)或生成報(bào)告交給人工處理。因目標(biāo)庫表結(jié)構(gòu)與源端異構(gòu)，需要按映射關(guān)系計(jì)算CheckSum值金融數(shù)字化趨勢(shì)與挑戰(zhàn)挑戰(zhàn)1：分布式數(shù)據(jù)一致性挑戰(zhàn)2：業(yè)務(wù)連續(xù)性挑戰(zhàn)3：數(shù)據(jù)安全性挑戰(zhàn)4：服務(wù)可擴(kuò)展性金融行業(yè)應(yīng)用實(shí)踐容災(zāi)多活架構(gòu)RPO=0RTO10秒系統(tǒng)容錯(cuò)設(shè)計(jì)客戶端 異常網(wǎng)絡(luò)異常死鏈接慢SQLProxy 節(jié)點(diǎn)異 常Proxy當(dāng)機(jī)與DB斷鏈存儲(chǔ)空間不足網(wǎng)絡(luò)故障DB節(jié) 點(diǎn)異常Master 失效復(fù)制失效或降級(jí)存儲(chǔ)故障網(wǎng)絡(luò)故障事務(wù)狀態(tài)不一致管理節(jié) 點(diǎn)異常元數(shù)據(jù)失效非法訪問GTM異常PM、CM等當(dāng)機(jī)金融數(shù)字化趨勢(shì)與挑戰(zhàn)挑戰(zhàn)1：分布式數(shù)據(jù)一致性挑戰(zhàn)2：業(yè)務(wù)連續(xù)性挑戰(zhàn)3：數(shù)據(jù)安全性挑戰(zhàn)4：服務(wù)可擴(kuò)展性金融行業(yè)應(yīng)用實(shí)踐

11、多種數(shù)據(jù)備份策略數(shù)據(jù)庫備份定時(shí)備份任務(wù) 管理實(shí)時(shí)備份備份記錄備份記錄詳細(xì)修改定時(shí)備份 任務(wù)新增定時(shí)備份 任務(wù)安全運(yùn)維實(shí)時(shí)統(tǒng)計(jì)逐級(jí)匯總超期刪除可視化查 詢性能監(jiān)控告警管 理統(tǒng)計(jì) 監(jiān)控?cái)?shù)據(jù)安全控制數(shù)據(jù)庫集群1DB-MDB-MDB-SDB-S主從復(fù)制數(shù)據(jù)加密集群隔離國(guó)密加密數(shù)據(jù)庫集群nDB-MDB-S后置中間件 Data Manager計(jì)算節(jié)點(diǎn)集群管理服務(wù)模塊OMM Server.日志監(jiān)控DB ProxyAPP1APP2客戶端接入層資源管理授權(quán)傳輸加密SSL白名單控制管理平臺(tái)權(quán)限控制鏈接實(shí)例控制數(shù)據(jù)訪問權(quán)限控制數(shù)據(jù)備份異地容災(zāi)同城雙活合規(guī)審計(jì)應(yīng)用欺詐提取敏感信息數(shù)據(jù)庫異常非正常授權(quán)高頻查詢SQL防火

12、墻網(wǎng)絡(luò)白名單金融數(shù)字化趨勢(shì)與挑戰(zhàn)挑戰(zhàn)1：分布式數(shù)據(jù)一致性挑戰(zhàn)2：業(yè)務(wù)連續(xù)性挑戰(zhàn)3：數(shù)據(jù)安全性挑戰(zhàn)4：服務(wù)可擴(kuò)展性金融行業(yè)應(yīng)用實(shí)踐APPAPIDatabase數(shù)據(jù)庫集群1DB-MDB-MDB-SDB-S數(shù)據(jù)庫集群2DB-MDB-SAPPDRDC前置中間件集群DB Proxy 1DB Proxy 2DB Proxy 數(shù)據(jù)庫集群 APP DRDC架構(gòu)演進(jìn)容量在線擴(kuò)容性能可線性擴(kuò)展GoldenDB理論上支持無限大的線性擴(kuò)展。在TPCC模型下，使用普 通X86服務(wù)器：1個(gè)安全組的組網(wǎng)下能達(dá)到17萬；5個(gè)安全組的組網(wǎng)下能達(dá)到82萬；10個(gè)安全組的組網(wǎng)下能達(dá)到160萬； 性能近似線性，衰減少于7%。93%正

13、比例擴(kuò)展能達(dá)到93% 以上的性能17.133.349.965.782.498.2114130145.6160.91GROUP2GROUP3GROUP4GROUP5GROUP6GROUP7GROUP8GROUP9GROUP10GROUPTPCC模型/ 萬TPMC多種讀寫隔離級(jí)別提升性能讀語句級(jí)別CR(consistency read)：強(qiáng)一致性讀，先查詢活躍GTID，后查詢數(shù)據(jù)，嚴(yán)格保證返回 結(jié)果處于分布式事務(wù)已提交狀態(tài)，不存在臟讀的可能性；SEMI-CR(semi- consistency read)：半強(qiáng)一致性讀，同時(shí)查詢活躍GTID和數(shù)據(jù)，僅 判斷GTM中的活躍事務(wù)，在高并發(fā)讀寫時(shí)存在極小

14、概率的臟讀，但效率較CR高；寫語句級(jí)別SW(single write)：?jiǎn)问聞?wù)寫，即不判斷分布式寫寫沖突，適用于不存在多個(gè)事務(wù)同 時(shí)寫相同數(shù)據(jù)的場(chǎng)景；CW(consistency write)：強(qiáng)一致性寫，需要判斷分布式寫寫沖突，允許多個(gè)事務(wù)同 時(shí)寫相同的數(shù)據(jù)；UR(uncommitted read)：未提交讀，即不判斷分布式讀寫沖突，適用于允許臟讀或 者不存在讀寫沖突的業(yè)務(wù)場(chǎng)景；靈活數(shù)據(jù)分片Create table (Customer_Number int key, Corporate_Property varchar(30), Private_type int, Cor

15、porate_Information varchar(30) distributed by case Corporate_Propertywhen 中信銀行倫敦 then g9 when 中信銀行紐約 then g10 elsecase Private_typewhen 對(duì)私 then subdistributed by hash(Customer_Number)(g1, g2, g3, g4, g5)elsecase Corporate_Informationwhen 五礦集團(tuán) or 光大集團(tuán) then g6 elsesubdistributed by hash(Customer_Numbe

16、r)(g7, g8)endendend支持按特定規(guī)則多重分片，滿足復(fù)雜業(yè)務(wù)需求金融數(shù)字化趨勢(shì)與挑戰(zhàn)挑戰(zhàn)1：分布式數(shù)據(jù)一致性挑戰(zhàn)2：業(yè)務(wù)連續(xù)性挑戰(zhàn)3：數(shù)據(jù)安全性挑戰(zhàn)4：服務(wù)可擴(kuò)展性實(shí)踐案例中信銀行2014年啟動(dòng)分布式 數(shù)據(jù)庫研發(fā)分布式數(shù)據(jù)庫1.0問世中信銀行門戶網(wǎng)站系統(tǒng)上線零售客戶綜合積分系統(tǒng)上線2015年7月2015年9月2016年5月金融同業(yè)平臺(tái)成功上線2016年11月2017年6月2017年4月冠字號(hào)系統(tǒng)合作平臺(tái)上線x86 PC服務(wù)器替代小型機(jī)本地磁盤替代高端存儲(chǔ)陣列降低開發(fā)成本無采購成本無維保成本提升移動(dòng) 金融產(chǎn)品 競(jìng)爭(zhēng)力無需考慮分布式事務(wù)無需考慮讀寫分離無需考慮分庫分表降低硬件成本降低

17、軟件成本節(jié)省 200萬節(jié)省 60%分布式數(shù)據(jù) 庫方案商業(yè)數(shù)據(jù) 庫方案商業(yè)許可硬件總行核心下移驗(yàn)證江蘇銀行事后監(jiān)督系統(tǒng)案例江蘇銀行事后監(jiān)督系統(tǒng)采用GoldenDB替換現(xiàn)在使用的Oracle數(shù)據(jù)庫，提升系統(tǒng)處理性能。1.2017年4月上線。2.性能情況：典型存儲(chǔ)過成執(zhí)行速度提升3倍（Oracle VS 3節(jié)點(diǎn)GoldenDB集群）。3.2 Proxy /3 Group/ 10 虛擬機(jī)（2P16C/64G/ SATA/萬兆網(wǎng)卡）項(xiàng)目情況簡(jiǎn)介1.業(yè)務(wù)介紹：由影像處理、業(yè)務(wù)監(jiān)督、輔助功能三部 分組成。 2.改造工作：現(xiàn)有系統(tǒng)使用Oracle數(shù)據(jù)，已運(yùn)行7年，涉及403張表及200多個(gè)存儲(chǔ)過程。3.性能容量要求：現(xiàn)有數(shù)據(jù)量2T，目標(biāo)規(guī)劃10T的數(shù) 據(jù)容量。采用3節(jié)點(diǎn)安全組，每晚導(dǎo)入9G的數(shù)據(jù)進(jìn)行 跑批處理。 4.關(guān)鍵功能：GoldenDB的存儲(chǔ)過程能力。系統(tǒng)特點(diǎn)介紹某銀行項(xiàng)目綜述1. 背景：行方期望通過綜合積分系統(tǒng)進(jìn)行分布式架構(gòu) 試水，成功后推廣到其他業(yè)務(wù)。2. 業(yè)務(wù)介紹：共6個(gè)業(yè)務(wù)子模塊，原系統(tǒng)部署在16