互聯(lián)網(wǎng)金融數(shù)據(jù)云平臺(tái)架構(gòu)

1、互聯(lián)網(wǎng)金融數(shù)據(jù)云平臺(tái)架構(gòu)彈性敏捷的RDS架構(gòu)與互聯(lián)網(wǎng)最佳實(shí)踐以數(shù)據(jù)處理技術(shù)為核心，持續(xù)為互聯(lián)網(wǎng)轉(zhuǎn)型企業(yè)打造高端服務(wù)PaaS平臺(tái)傳統(tǒng)企業(yè)互聯(lián)網(wǎng)轉(zhuǎn)型的應(yīng)用架構(gòu)開(kāi)源軟件的特點(diǎn)5和在企業(yè)應(yīng)用中的問(wèn)題以MySQL為例Enterprise Ready Open Source6簡(jiǎn)單，易用，十分鐘數(shù)據(jù)庫(kù)7普遍面臨擴(kuò)展性 和高可用的難題生產(chǎn)應(yīng)用中8擴(kuò)展性：讀寫(xiě)分離是互聯(lián)網(wǎng)行業(yè)提升數(shù)據(jù)庫(kù)吞吐量的常規(guī)方案存在的問(wèn)題：在應(yīng)用程序中包含讀JDBC/ODBC寫(xiě)JDBC/ODBC應(yīng)用程序邏輯決定哪些SQL調(diào) 用讀數(shù)據(jù)源，哪些調(diào)用寫(xiě)數(shù)據(jù) 源已有應(yīng)用需做大量修改才可 使用數(shù)據(jù)復(fù)制的效率得不到有效 保障，復(fù)制延遲影響業(yè)務(wù)的 結(jié)果

2、Web/App ServersIndex & Binary Log RotationMy SQL Slave ServerWritesReplicationMy SQL Master ServerWrites & ReadsDBProxyReads讀寫(xiě)分離組件Writes9Pacemaker/Keepalived/MHA/MySQL Cluster.配置和運(yùn)維復(fù)雜；針對(duì)MySQL特點(diǎn)需要人工開(kāi)發(fā)額外腳本不可避免腦裂的問(wèn)題在業(yè)務(wù)高峰期出現(xiàn)問(wèn)題不敢切換；數(shù)據(jù)文件存在于存儲(chǔ)設(shè)備，是個(gè)單獨(dú)故 障點(diǎn)。冷備，備機(jī)不提供服務(wù)，浪費(fèi)一半資源不支持故障節(jié)點(diǎn)自動(dòng)修復(fù)keepalivedVIP 192.168.1.

3、2Master 192.168.1.3Backup 192.168.1.4存儲(chǔ)設(shè)備ActionHA各類高可用方案不能保證數(shù)據(jù)完整性“互聯(lián)網(wǎng)+”需要這樣的數(shù)據(jù)庫(kù)云集高可用技術(shù)之大成合橫向擴(kuò)展能力于一身11 數(shù)據(jù) 緩存RedisRedis RedisRedisRedis負(fù)載 均衡Service IpHAProxy 1HAProxy 2HAProxy group 1管理 門(mén)戶ZabbixBalm mcBalm mc 高可用管理MySQL高 可 用 集 群外部 支付 系統(tǒng)My SQL 1My SQL 2My SQL 3My SQL 4讀寫(xiě) 分離DBProxy 1DBProxy 2 交易庫(kù)讀寫(xiě)分離DBP

4、roxy 1DBProxy 2 其他庫(kù)讀寫(xiě)分離My SQL 1My SQL 2LUN交易庫(kù)My SQL 1My SQL 2LUNLUNLUN支付庫(kù)短消息風(fēng)控My SQL 1My SQL 2其他1My SQL 1My SQL 2其他8My SQL 1My SQL 2其他1My SQL 1My SQL 2其他8My SQL 1My SQL 2其他nMy SQL 1My SQL 2物理 集群botbotbotbalm Server-1Server-2Server-3存儲(chǔ)設(shè)備（支持SCSI-3 PR）bot mgrServer-4存儲(chǔ)設(shè)備（支持SCSI-3PR）bot Server-30應(yīng)用客服市場(chǎng)風(fēng)

5、控交易活動(dòng)通知秒殺分析其他互聯(lián)網(wǎng)金融高可用數(shù)據(jù)云平臺(tái)架構(gòu)12 管理平臺(tái)展示技術(shù)演進(jìn)：分布式數(shù)據(jù)庫(kù)集群的無(wú)縫遷移支撐100萬(wàn)/秒紅包設(shè)計(jì)容量業(yè)務(wù)系統(tǒng)線上借貸產(chǎn)品交易，紅包庫(kù)數(shù)據(jù)規(guī)?？偭?TB注冊(cè)用戶6千萬(wàn)以上性能指標(biāo)紅包數(shù)量按照100萬(wàn)/秒容量設(shè)計(jì)系統(tǒng)特性全局自增ID拆分表多維度復(fù)制中間層1%影響以內(nèi)的異步審計(jì)日志在水平拆分基礎(chǔ)上支持單節(jié)點(diǎn)自定義 分表運(yùn)行級(jí)別7x24x365愛(ài)可生分布式數(shù)據(jù)庫(kù)集群軟件1組非拆分?jǐn)?shù)據(jù)節(jié)點(diǎn)，4組分片節(jié)點(diǎn)。所在節(jié)點(diǎn)是1主3從，其它節(jié)點(diǎn)時(shí)1 主2從。拆分?jǐn)?shù)據(jù)：產(chǎn)品、賬號(hào)、好友相關(guān)16個(gè)分片節(jié)點(diǎn)，拆分?jǐn)?shù)據(jù)：紅包數(shù)據(jù)愛(ài)可生分布式數(shù)據(jù)庫(kù)集群軟件交易業(yè)務(wù)紅包業(yè)務(wù)。集高可用之大成

6、部署簡(jiǎn)單，運(yùn)維方便極端情況不丟任何數(shù)據(jù)切換時(shí)間短，5秒以內(nèi)多套靈活高可用分組同城災(zāi)備，異地災(zāi)備一體化貼近MySQL設(shè)計(jì)，自動(dòng)處理上百種 MySQL故障主從讀寫(xiě)分離水平擴(kuò)展降低主節(jié)點(diǎn)的負(fù)載壓力提高資源利用效率在線添加MySQL從機(jī)，不影響業(yè)務(wù)根據(jù)業(yè)務(wù)SQL統(tǒng)計(jì)調(diào)整主從比例高性能，中間層的性能損耗低于10%多年數(shù)據(jù)庫(kù)服務(wù)積累十年數(shù)據(jù)服務(wù)經(jīng)驗(yàn)完善的數(shù)據(jù)生態(tài)系統(tǒng)自主知識(shí)產(chǎn)權(quán)產(chǎn)品快速投產(chǎn)無(wú)需更改應(yīng)用中間層透明MySQL接口中間層自動(dòng)讀寫(xiě)SQL路 由事務(wù)可強(qiáng)制讀主庫(kù)業(yè)務(wù)維度的延遲檢測(cè) 和自動(dòng)處理數(shù)據(jù)庫(kù)云PaaS平臺(tái)的優(yōu)勢(shì)MySQL數(shù)據(jù)庫(kù)自動(dòng)化運(yùn)維管理數(shù)據(jù)庫(kù)智能管理平臺(tái)軟件功能：Dashboard：顯示平臺(tái)

7、中各類節(jié)點(diǎn)的邏輯拓?fù)鋱D和 健康狀態(tài)，并提供標(biāo)準(zhǔn)接口，供第三方軟件對(duì)接集群節(jié)點(diǎn)管理：實(shí)現(xiàn)集群節(jié)點(diǎn)主機(jī)的配置、管理及維 護(hù)，如添加/刪除主機(jī)、停止/啟動(dòng)HA等數(shù)據(jù)庫(kù)管理：MySQL數(shù)據(jù)庫(kù)的日常管理和維護(hù)，如 高可用組的動(dòng)態(tài)創(chuàng)建、擴(kuò)展等，數(shù)據(jù)庫(kù)實(shí)例的創(chuàng)建、 激活、移除/加入高可用組、移出/加入路由、停止/ 啟動(dòng)實(shí)例等，備份策略管理，還原數(shù)據(jù)庫(kù)備份等監(jiān)控報(bào)表:實(shí)現(xiàn)對(duì)集群內(nèi)的節(jié)點(diǎn)主機(jī)、MySQL數(shù)據(jù)庫(kù) 的運(yùn)行狀態(tài)進(jìn)行監(jiān)控，并生成性能診斷報(bào)表。告警管理：實(shí)現(xiàn)預(yù)設(shè)報(bào)警規(guī)則的配置，提供郵件、短 信的異常告警提醒DBProxy管理：實(shí)現(xiàn)DBProxy（讀寫(xiě)分離中間件） 的全生命周期的管理，如創(chuàng)建、配置、刪除、添

8、加/ 刪除路由等用戶及日志管理：實(shí)現(xiàn)用戶及權(quán)限、各節(jié)點(diǎn)及組件日 志的管理運(yùn)維管理平臺(tái)功能架構(gòu)數(shù)據(jù)庫(kù)日志節(jié)點(diǎn)日志操作日志拓?fù)浣Y(jié)構(gòu)節(jié)點(diǎn)服務(wù)狀態(tài)告警狀態(tài)數(shù)據(jù)庫(kù)監(jiān)控系統(tǒng)監(jiān)控報(bào)表生成用戶管理角色管理權(quán)限配置未處理告警已處理告警節(jié)點(diǎn)管理 和維護(hù)集群節(jié)點(diǎn)配 置DBProxy 管理DBProxy 配置監(jiān)控報(bào)表數(shù) 據(jù) 庫(kù) 實(shí) 例 管 理DBProxy 管理集群 節(jié)點(diǎn) 管理告 警 管 理儀 表 計(jì) 量日 志 管 理用 戶 管 理數(shù)據(jù)庫(kù)實(shí)例管理備份策略管理還原數(shù)據(jù)庫(kù)備份自動(dòng)化運(yùn)維管理平臺(tái)方案物理主機(jī)管理管理控制臺(tái)組件實(shí)例管理數(shù)據(jù)庫(kù)實(shí)例管理讀寫(xiě)分離組件管理負(fù)載均衡組件管理監(jiān)控告警管理用戶審計(jì)用戶管理平臺(tái)組件拓?fù)浣Y(jié)構(gòu)圖

9、“互聯(lián)網(wǎng)+”對(duì)于大規(guī)模云數(shù)據(jù)集的處理技術(shù)需求分布式集群 分庫(kù)分表負(fù)載均衡數(shù)據(jù)分片數(shù)據(jù)分片集群管理平臺(tái)愛(ài)可生分布式集群中間件SQL轉(zhuǎn)換和分發(fā)SQL轉(zhuǎn)換和分發(fā)分布式MySQL集群原理應(yīng)用服務(wù)器應(yīng)用服務(wù)器應(yīng)用服務(wù)器MySQL數(shù)據(jù)庫(kù)集群節(jié)點(diǎn)并行計(jì)算邏輯庫(kù)(schema)- DB1邏輯表(table)-T1分片節(jié)點(diǎn)(datanode)-分 片1實(shí)例(database)-數(shù)據(jù)庫(kù)1節(jié)點(diǎn)主機(jī)(datahost)-物理 主機(jī)1數(shù)據(jù)庫(kù)DB1表T1表T2分片1分片2物理主機(jī)1物理主機(jī)2物理主機(jī)3分片3分片4數(shù)據(jù)庫(kù)1數(shù)據(jù)庫(kù)2 數(shù)據(jù)庫(kù)3數(shù)據(jù)庫(kù)4分布式數(shù)據(jù)庫(kù)分庫(kù)分表模型“互聯(lián)網(wǎng)+”對(duì)開(kāi)發(fā)測(cè)試云的要求DevOps開(kāi)發(fā)運(yùn)維一

10、體化DB as a Service自服務(wù)項(xiàng)目背景：該銀行的數(shù)據(jù)中心擁有規(guī)模龐大的IT基礎(chǔ)設(shè)施和種類繁多的線上和開(kāi)發(fā)測(cè)試 項(xiàng)目。需構(gòu)建完整統(tǒng)一的私有云中的數(shù)據(jù)庫(kù)即服務(wù)平臺(tái)，并與IaaS整合。解決方案：我們提供了基于MySQL的云數(shù)據(jù)庫(kù)即服務(wù)平臺(tái)。實(shí)現(xiàn)了面向多租戶開(kāi)發(fā)測(cè)試環(huán)境和生產(chǎn)環(huán)境的數(shù)據(jù)庫(kù)自服務(wù)、隨需創(chuàng)建擴(kuò)縮、便捷自動(dòng)管理 和運(yùn)維的統(tǒng)一的數(shù)據(jù)庫(kù)云平臺(tái)。方案價(jià)值：目前DBaaS平臺(tái)已投產(chǎn)系統(tǒng)63套，開(kāi)發(fā)環(huán)境200個(gè)數(shù)據(jù)庫(kù)實(shí)例，測(cè)試環(huán)境100個(gè)實(shí)例。物理服 務(wù)器共計(jì)30臺(tái)左右，虛擬機(jī)200個(gè)左右。提升了快速的MySQL服務(wù)交付能力形成了標(biāo)準(zhǔn)的MySQL運(yùn)維管理規(guī)范實(shí)現(xiàn)了全面的MySQL運(yùn)維自動(dòng)化能

11、力已經(jīng)支持了手機(jī)銀行、財(cái)富體驗(yàn)、個(gè)貸系統(tǒng)、互聯(lián)網(wǎng)在線融資、信用卡企業(yè)服務(wù)等30 余個(gè)項(xiàng)目，加快了開(kāi)發(fā)、單元測(cè)試、功能測(cè)試、集成測(cè)試和生產(chǎn)部署的處理流程，從基礎(chǔ)設(shè)施 層面滿足業(yè)務(wù)敏捷性需求。某銀行面向私有云的云數(shù)據(jù)庫(kù)平臺(tái)，打造DevOps模式應(yīng)用界面展示-實(shí)例管理界面展示-備份策略界面展示-實(shí)例性能擴(kuò)容界面展示-實(shí)例存儲(chǔ)擴(kuò)容界面展示-實(shí)例HA擴(kuò)容物理機(jī)資源Control Groups資源用戶多核CPU內(nèi)存平 資臺(tái)系統(tǒng) 源調(diào)度MySQLA型實(shí)例MySQLB型實(shí)例單機(jī)多實(shí)例，充分利用 資源DBaaS提供了CPU計(jì)算資源、內(nèi)存資源的隔離 手段DBaaS中的數(shù)據(jù)庫(kù)服務(wù)實(shí)例運(yùn)行時(shí)在各自的容器中運(yùn)行，互相不

12、可見(jiàn)，不影響CGroups是Linux內(nèi)核 提供的一種資源隔離手 段，資源調(diào)度損耗小， 性能高Docker容器采用了linux內(nèi)核中的cgroup 技術(shù)來(lái)實(shí)現(xiàn)container 的資源的隔離和控制。資源隔離：Container與Docker技術(shù)MySQL數(shù)據(jù)庫(kù)災(zāi)備數(shù)據(jù)復(fù)制容災(zāi)技術(shù)層次及分類應(yīng)用文件系統(tǒng)裸設(shè)備/卷NASIP磁盤(pán)陣列緩存設(shè)備I/O驅(qū)動(dòng)程序SCSI, FCNFS,CIFSSAN1. 基于陣列復(fù)制2. 基于SAN復(fù)制OS3. 基于OS復(fù)制4. 基于數(shù)據(jù)庫(kù)復(fù)制5. 基于應(yīng)用復(fù)制復(fù)雜度兼容性擴(kuò)展性帶 寬DBMS數(shù)據(jù)庫(kù)管理系統(tǒng)基于QRep的數(shù)據(jù)庫(kù)容災(zāi)架構(gòu)原理數(shù)據(jù)復(fù)制基于binlog 日志進(jìn)行

13、解析、過(guò)濾、 傳輸、回放優(yōu)化了異地網(wǎng)絡(luò)傳輸， 采用SQL合并及壓縮提 升處理性能基于行格式binlog的 高效處理及傳輸，有效 提升RPO備庫(kù)在復(fù)制過(guò)程中始 終處于運(yùn)行等待狀態(tài)， 基于主鍵歸并，加速并 行回放效率，有效提升 RTO主庫(kù)主庫(kù)主庫(kù)主庫(kù)Dump協(xié)議主端Agent(解析/提取/壓縮/傳輸)備端Agent(接收/解壓/合并/回放)SQL備庫(kù)備庫(kù)備庫(kù)備庫(kù)管理 監(jiān)控 節(jié)點(diǎn)Qrep數(shù)據(jù)壓縮傳輸主端并行收集各個(gè)業(yè)務(wù)庫(kù)的事務(wù)binlog，基于主鍵合并RowChange，序列化壓縮成一個(gè)work進(jìn)行傳 輸備端接收work，解壓，反序列化成RowChange，置于workpool備端啟動(dòng)多個(gè)worke

14、r并行回放?；谥麈I合并的RowChange不存在相同主鍵，與順序無(wú)關(guān)。Gargou：主端組件Emmet：備端組件QRep數(shù)據(jù)復(fù)制組件架構(gòu)數(shù)據(jù)傳輸原生replication是流式，基于event，粒度小，壓縮比小，壓縮和 解壓消耗時(shí)間和傳輸收益相比較大災(zāi)備數(shù)據(jù)復(fù)制工具可配置最大粒度（缺省3M），較原生的粒度大， 壓縮比高，所以壓縮后傳輸效率更高（gzip壓縮算法）并行回放基于主鍵合并的并行回放，提升回放效率insert + update = insert update + update = update insert/update + delete = delete delete + inse

15、rt = insertdelete + delete = delete愛(ài)可生災(zāi)備數(shù)據(jù)復(fù)制組件設(shè)計(jì)原理主機(jī)和災(zāi)備端的日志包傳輸有ACK機(jī)制日志包本身帶CRC32的checksum主端gargou、備端emmet均是集群化的，任一節(jié)點(diǎn)Fail 時(shí)，新節(jié)點(diǎn)均可從中斷狀態(tài)中繼續(xù)工作。回放時(shí)完善的異常處理機(jī)制可選定時(shí)進(jìn)行主備的數(shù)據(jù)全量校驗(yàn)災(zāi)備數(shù)據(jù)復(fù)制的安全性分別在2M、5M、10M三種網(wǎng)絡(luò)環(huán)境進(jìn) 行壓測(cè)總執(zhí)行時(shí)間愛(ài)可生 復(fù)制組件比原生組件 快4倍以上在2萬(wàn)左右QPS， 災(zāi)備復(fù)制工具可以 基本無(wú)延遲愛(ài)可生災(zāi)備數(shù)據(jù)復(fù)制組件評(píng)測(cè)結(jié)果基于 QRep 的災(zāi)備場(chǎng)景解析1. 基于Qrep的異地容災(zāi)方案機(jī)房AMySQL

16、主MySQL從MySQL從愛(ài)可生高可用讀寫(xiě)分離集群機(jī)房BMySQL主MySQL從MySQL從愛(ài)可生高可用讀寫(xiě)分離集群管理節(jié)點(diǎn)配置推送QREP異步傳輸Gargou主端Agent 高可用集群Emmet備端Agent 高可用集群服務(wù)IP服務(wù)IP2. 基于QRep的兩地三中心場(chǎng)景生產(chǎn)機(jī)房同城容災(zāi)機(jī)房異 步 傳 輸服務(wù)IP主端Agent 高可用集群管理節(jié)點(diǎn)備端Agent 高可用集群管理節(jié)點(diǎn)服 務(wù)IP異地容災(zāi)機(jī)房管理節(jié)點(diǎn)備端Agent 高可用集群服 務(wù)IP配置推送QREPMySQL主MySQL從愛(ài)可生高可用讀寫(xiě)分離集群MySQL從MySQL主MySQL主MySQL從MySQL從3. 基于Qrep的雙活互備場(chǎng)景機(jī)房AMySQL主MySQL從MySQL從愛(ài)可生高可用讀寫(xiě)分離集群主備端Agent 高可用集群管理節(jié)點(diǎn)機(jī)房B