金融行業(yè)數(shù)據(jù)庫云平臺(tái)建設(shè)方案

1、技術(shù)創(chuàng)新，變革未來金融行業(yè)數(shù)據(jù)庫云平臺(tái)建設(shè)方案1234背景與挑戰(zhàn)建設(shè)實(shí)踐經(jīng)驗(yàn)總結(jié)投產(chǎn)效益目錄Contents金融行業(yè)數(shù)據(jù)庫云平臺(tái)建設(shè)實(shí)踐2產(chǎn)品特質(zhì)背景與挑戰(zhàn)2018年上線分布式核心系統(tǒng)基于MySQL的分庫分表的數(shù)據(jù)庫架構(gòu)數(shù)據(jù)庫按照應(yīng)用垂直拆分成18個(gè)邏輯庫每個(gè)邏輯庫有多個(gè)分片每個(gè)分片采用一寫三讀的標(biāo)準(zhǔn)架構(gòu)高可用方案使用MHA從庫分布在不同機(jī)房，滿足災(zāi)備需求Proxy實(shí)現(xiàn)讀寫分離和分片LVS實(shí)現(xiàn)高可用和負(fù)載均衡Zookpeer實(shí)現(xiàn)配分片規(guī)則動(dòng)態(tài)更新1架構(gòu)變化帶來的運(yùn)維復(fù)雜性3開發(fā)規(guī)范上線規(guī)范運(yùn)行規(guī)范2數(shù)據(jù)庫規(guī)范完善，但落實(shí)困難數(shù)據(jù)庫階段規(guī)范MySQL開發(fā)禁止使用非InnoDB的表所有的表都需要設(shè)

2、置唯一鍵 禁止單個(gè)事務(wù)修改超過1000行 禁止使用存儲(chǔ)過程或UDF只允許使用Range或List分區(qū) 禁止使用視圖禁止使用觸發(fā)器禁止使用外鍵只允許使用STRICT_TRANS_TABLES默認(rèn)隔離級(jí)別應(yīng)該是read-committed 一定要開啟Binglog日志主庫的read_onl=OFF，從庫的read_only=ON上線 主庫需要開啟半同步禁止啟用General Query Log需要使用InnoDB Strick模式 需要啟用thread Cache開啟InnoDB 頁校驗(yàn)和驗(yàn)證運(yùn)行主從狀態(tài)需要與CMDB保持一致從庫延遲不得超過15s非分區(qū)表不能超過20G，分區(qū)表的單個(gè)分區(qū)不超過10

3、G 單條SQL執(zhí)行不能超過2S不允許全表掃面連接數(shù)不允許超過1000碎片不能超過50%或超過5G 連接超過800切sleep超過90%背景與挑戰(zhàn)4開發(fā)團(tuán)隊(duì)的數(shù)據(jù)庫服務(wù)需求依賴運(yùn)維人員數(shù)據(jù)庫問題的分析和解決需要團(tuán)隊(duì)之間多 重交互3開發(fā)和運(yùn)維團(tuán)隊(duì)之間交互成本高應(yīng)用人員DBA懷疑數(shù)據(jù)庫進(jìn)機(jī)房分析接到反饋反饋給開發(fā)得到SQL無法看到 運(yùn)行情況需要信息反饋給DBA進(jìn)機(jī)房分析數(shù)據(jù)反饋給開發(fā)取數(shù)據(jù)優(yōu)化措施請求協(xié)助反饋給DBA人工分析測試方案反饋給開發(fā)給出建議上線實(shí)施反饋給DBA觀察效果結(jié)束系統(tǒng)響應(yīng)慢反饋給DBA背景與挑戰(zhàn)5數(shù)據(jù)庫數(shù)量和種類越來越多數(shù)據(jù)庫運(yùn)行環(huán)境越來越復(fù)雜數(shù)據(jù)庫架構(gòu)越來越豐富業(yè)務(wù)互聯(lián)網(wǎng)化導(dǎo)致上

4、線 變更越來越頻繁業(yè)務(wù)互聯(lián) 網(wǎng)化帶來 的數(shù)據(jù)庫 運(yùn)維管理 需求爆炸 式增長傳統(tǒng)數(shù)據(jù) 庫運(yùn)維模 式的高延 時(shí)和低吞 吐量面臨 挑戰(zhàn)需求驅(qū)動(dòng)：運(yùn)維團(tuán)隊(duì)被動(dòng)的為業(yè)務(wù)和應(yīng)用部 門提供數(shù)據(jù)庫操作服務(wù)事件驅(qū)動(dòng)：運(yùn)維團(tuán)隊(duì)時(shí)間碎片化，對(duì)數(shù)據(jù)庫 問題缺乏預(yù)防機(jī)制，事件發(fā)生后 被動(dòng)響應(yīng)技術(shù)門檻：數(shù)據(jù)庫運(yùn)維存在著一定的技術(shù)門檻傳統(tǒng)運(yùn)維模式難以滿足業(yè)務(wù)互聯(lián)網(wǎng)化的需求背景與挑戰(zhàn)61234背景與挑戰(zhàn)建設(shè)實(shí)踐經(jīng)驗(yàn)總結(jié)投產(chǎn)效益目錄Contents金融行業(yè)數(shù)據(jù)庫云平臺(tái)建設(shè)實(shí)踐7數(shù)據(jù)庫云平臺(tái)是面向所有用戶的企業(yè)數(shù)據(jù)庫統(tǒng)一 管理平臺(tái)。其核心目的是向數(shù)據(jù)庫運(yùn)維團(tuán)隊(duì)和應(yīng) 用開發(fā)團(tuán)隊(duì)提供自助化、自動(dòng)化和智能化的數(shù)據(jù) 庫運(yùn)維服務(wù)。數(shù)據(jù)庫云

5、平臺(tái)的建設(shè)目標(biāo)建設(shè)實(shí)踐8數(shù)據(jù)庫云平臺(tái)總體架構(gòu)建設(shè)實(shí)踐9數(shù)據(jù)庫云平臺(tái)功能層次圖建設(shè)實(shí)踐10高可用和橫向擴(kuò)展部署支持高可用部署，系統(tǒng)中 無任何單點(diǎn)故障支持橫向擴(kuò)展，最多可以 支持納管上萬臺(tái)數(shù)據(jù)庫支持分布式監(jiān)控?cái)?shù)據(jù)存儲(chǔ)支持跨機(jī)房/網(wǎng)絡(luò)分區(qū)部署建設(shè)實(shí)踐11適配計(jì)算資源裸機(jī)和虛擬機(jī)資源IaaS層資源容器云平臺(tái)標(biāo)準(zhǔn)化架構(gòu)根據(jù)業(yè)務(wù)類型和SLA，提供不同的標(biāo)準(zhǔn)化架構(gòu)，例如 單節(jié)點(diǎn)、主從、高可用、分庫分表等；最佳實(shí)踐落實(shí)企業(yè)數(shù)據(jù)庫管理規(guī)范支持參數(shù)模板定制計(jì)算資源和容量配置自助化服務(wù)標(biāo)準(zhǔn)化服務(wù)目錄自助申請集成工單系統(tǒng)實(shí)現(xiàn)完整的審批流程數(shù)據(jù)庫類型標(biāo)準(zhǔn)化架構(gòu)MySQL單實(shí)例、主從復(fù)制、讀寫分離集群、MHA集群、MGR

6、集群、分庫分表集群Oracle單實(shí)例、RAC、DataGuard、PDB、CDB、升級(jí)補(bǔ)丁包DB2單實(shí)例、HADRMongoDB單實(shí)例、主從復(fù)制、副本集、ShardingRedis單實(shí)例、主從、集群通過數(shù)據(jù)庫云平臺(tái)快速交付標(biāo)準(zhǔn)架構(gòu)的數(shù)據(jù)庫快速交付12全自動(dòng)化操作，簡單易用全程可視化，部署進(jìn)度實(shí)時(shí)更新多節(jié)點(diǎn)并發(fā)操作，快速高效支持?jǐn)帱c(diǎn)恢復(fù)和回滾快速交付示例- MySQL多分片架構(gòu)13管理類型OracleMySQLDB2實(shí)例管理啟動(dòng)、停止、強(qiáng)制停止單節(jié)點(diǎn)/集群 關(guān)閉/啟動(dòng)監(jiān)聽參數(shù)變更補(bǔ)丁升級(jí) 殺掉會(huì)話單節(jié)點(diǎn)/MHA集群/MGR集群啟停 實(shí)例遷移參數(shù)變更備份恢復(fù) 補(bǔ)丁升級(jí)殺掉會(huì)話單節(jié)點(diǎn)啟停 集群啟停

7、參數(shù)變更清理歸檔日志數(shù)據(jù)庫激活殺掉連接高可用管理DG狀態(tài)監(jiān)控 DG切換DG修復(fù)復(fù)制狀態(tài)監(jiān)控 主從復(fù)制重建MHA/MGR集群監(jiān)控 MHA/MGR集群切換 MHA/MGR節(jié)點(diǎn)修復(fù)MHA/MGR添加、刪除節(jié)點(diǎn)HADR監(jiān)控對(duì)象管理對(duì)象結(jié)構(gòu)查看/比對(duì) 導(dǎo)出對(duì)象結(jié)構(gòu)/數(shù)據(jù) 對(duì)象復(fù)制/遷移對(duì)象重組收集統(tǒng)計(jì)信息索引重建視圖/包/觸發(fā)器重編譯對(duì)象結(jié)構(gòu)查看/比對(duì) 導(dǎo)出對(duì)象結(jié)構(gòu)/數(shù)據(jù) 對(duì)象復(fù)制/遷移對(duì)象重組收集統(tǒng)計(jì)信息對(duì)象結(jié)構(gòu)查看/比對(duì) 導(dǎo)出對(duì)象結(jié)構(gòu)/數(shù)據(jù) 對(duì)象復(fù)制/遷移對(duì)象重組收集統(tǒng)計(jì)信息一鍵綁包用戶管理創(chuàng)建/刪除用戶 用戶/角色賦權(quán)用戶/角色權(quán)限回收 鎖定/解鎖用戶重置密碼創(chuàng)建/刪除用戶用戶賦權(quán)/用戶權(quán)限回收

8、用戶復(fù)制鎖定/解鎖用戶重置密碼用戶賦權(quán)用戶權(quán)限回收其它創(chuàng)建/擴(kuò)展/刪除表空間RESIZE數(shù)據(jù)文件設(shè)置數(shù)據(jù)文件自動(dòng)擴(kuò)展 添加/移除REDO日志 添加/移除REDO日志組手動(dòng)切換歸檔日志數(shù)據(jù)庫云平臺(tái)的自助化和自動(dòng)化運(yùn)維管理功能統(tǒng)一管理自動(dòng)化運(yùn)維管理降低運(yùn)維門檻規(guī)范化運(yùn)維操作全程可視化操作自助化操作服務(wù)減少運(yùn)維響應(yīng)時(shí)間提升運(yùn)維服務(wù)吞吐量安全可控減少登錄服務(wù)器次數(shù)降低誤操作風(fēng)險(xiǎn)完備的權(quán)限管理機(jī)制完備的事后審核機(jī)制開放集成集成工單系統(tǒng)，實(shí)現(xiàn)完備的審批流程提供API，實(shí)現(xiàn)DevOPS協(xié)作14支持?jǐn)?shù)據(jù)庫全量備份和增量備份；支持手動(dòng)備份和按照備份策略自動(dòng)備份；支持分布式數(shù)據(jù)庫全庫備份和按節(jié)點(diǎn)備份；支持按時(shí)間點(diǎn)

9、還原(開啟binglog備份的情況 下)；支持恢復(fù)整個(gè)集群；支持恢復(fù)集群中的某個(gè)節(jié)點(diǎn)；統(tǒng)一管理實(shí)例（MySQL備份管理）15監(jiān)控實(shí)時(shí)獲取監(jiān)控?cái)?shù)據(jù)實(shí)時(shí)計(jì)算和處理數(shù)據(jù)將數(shù)據(jù)推送至多個(gè)消費(fèi)端告警實(shí)時(shí)告警計(jì)算引擎狀態(tài)類告警閾值類告警基線告警開放支持自定義監(jiān)控項(xiàng)支持自定義告警項(xiàng)集成統(tǒng)一告警平臺(tái)集成微信、釘釘、短信等多種發(fā)送方式監(jiān)控和告警16狀態(tài)數(shù)據(jù)庫可用性表空間狀態(tài)數(shù)據(jù)庫對(duì)象狀態(tài)資源CPU、內(nèi)存、I/O、網(wǎng)絡(luò)性能TPS/QPS及響應(yīng)時(shí)間連接數(shù)/活動(dòng)連接數(shù)緩沖池命中率鎖和鎖等待TOP SQL容量數(shù)據(jù)庫/表空間/表大小分區(qū)表上限監(jiān)控Sequence上限監(jiān)控文件系統(tǒng)監(jiān)控和告警17快速反應(yīng)和定位數(shù) 據(jù)庫問題，包

10、括：可用性狀態(tài)數(shù)據(jù)庫服務(wù)能力數(shù)據(jù)庫容量數(shù)據(jù)庫性能提供從宏觀到微觀 的數(shù)據(jù)庫問題分析 和定位機(jī)制：TOPSQL長事務(wù)/大事務(wù)大表/異常表Latch最近一次備份超過一周存在大量LATCH 等待： SQLO_LT_NO_IDENTITYROOT文件系統(tǒng)使用率99%分析和快速定位18數(shù)據(jù)庫變更管理數(shù)據(jù)庫變更管理高危、低效操作評(píng)估變更影響、關(guān)聯(lián)SQL評(píng)估DBA或管理員根據(jù)審核報(bào)告進(jìn)行審 批執(zhí)行前備份重要數(shù)據(jù)監(jiān)控執(zhí)行過程數(shù)據(jù)庫對(duì)象變更對(duì)比數(shù)據(jù)庫操作審計(jì)完整的SQL變更流程19問題統(tǒng)計(jì)分析在生成問題的基礎(chǔ)之上，追蹤 問題從生成到關(guān)閉的所有階段， 提供完整的問題生命周期閉環(huán)管 理機(jī)制告警和問題計(jì)算引擎根據(jù)預(yù)置

11、 的規(guī)則自動(dòng)生成和關(guān)閉問題可集成客戶的工單系統(tǒng)和通知 系統(tǒng)，對(duì)問題自動(dòng)生成工單，消 除運(yùn)維和開發(fā)團(tuán)隊(duì)之間的壁壘問題管理流程數(shù)據(jù)庫問題管理20一鍵生成 簡單快捷報(bào)表類型 豐富多樣報(bào)表內(nèi)容 全面專業(yè)自動(dòng)周期 推送報(bào)表定制報(bào)表格式如Word、Excel等定制報(bào)表內(nèi)容 選擇內(nèi)容模塊定制報(bào)表時(shí)段 生成周報(bào)、月報(bào)定制訂閱者、訂閱的時(shí)間和周期報(bào)表類型、豐富多樣深度巡檢報(bào)表匯總報(bào)表性能容量報(bào)表深度分析數(shù)據(jù)庫各項(xiàng)指標(biāo)，提供豐 富全面的數(shù)據(jù)庫指標(biāo)，指標(biāo)可定義， 準(zhǔn)確反映數(shù)據(jù)庫的全方面健康情況同類型數(shù)據(jù)庫的運(yùn)行情況總覽，從 整體上了解被監(jiān)控?cái)?shù)據(jù)庫的運(yùn)行情 況，對(duì)比分析同類型數(shù)據(jù)庫在同一 段時(shí)間內(nèi)的運(yùn)行情況。定位需要

12、調(diào)優(yōu)的表或者SQL，提供 專業(yè)且有效的調(diào)優(yōu)建議。對(duì)于分析 的SQL語句，提供超鏈接跳轉(zhuǎn)功能， 準(zhǔn)確定位到SQL分析頁面，提供SQL詳細(xì)分析信息。自動(dòng)發(fā)送報(bào)表、簡單方便報(bào)表211234背景與挑戰(zhàn)建設(shè)實(shí)踐經(jīng)驗(yàn)總結(jié)投產(chǎn)效益目錄Contents金融行業(yè)數(shù)據(jù)庫云平臺(tái)建設(shè)實(shí)踐22應(yīng)用人員DBA系統(tǒng)響應(yīng)慢進(jìn)機(jī)房分析得到SQL接到反饋反饋給開發(fā)無法看到 運(yùn)行情況需要信息進(jìn)機(jī)房反饋給DBA取數(shù)據(jù)反饋給開發(fā)分析數(shù)據(jù)優(yōu)化措施請求協(xié)助人工分析給出建議測試方案上線實(shí)施觀察效果反饋給開發(fā)反饋給DBA結(jié)束反饋給DBA應(yīng)用人員問題管理系統(tǒng)當(dāng)前運(yùn)行情況歷史運(yùn)行情況哪些SQL慢SQL的索引SQL的執(zhí)行計(jì)劃SQL的執(zhí)行數(shù)據(jù)業(yè)務(wù)量增

13、長情況容量增長情況以前現(xiàn)在性能容量分析應(yīng)用人員可以通過系統(tǒng)直接查看生產(chǎn)SQL運(yùn)行情況，并可 以分析SQL語句慢的原因。便捷：無需進(jìn)機(jī)房；易用：可視化頁面，無需數(shù)據(jù)庫操作技能；安全：數(shù)據(jù)全部離線，不會(huì)直接操作生產(chǎn)；保密：無用戶數(shù)據(jù)泄露風(fēng)險(xiǎn)；可追溯：保留性能歷史數(shù)據(jù)，可進(jìn)行對(duì)比；自助式數(shù)據(jù)庫服務(wù)打破開發(fā)與運(yùn)維團(tuán)隊(duì)的屏障面向所有用戶24門檻低零開發(fā)工作量即可實(shí)現(xiàn)新功能擴(kuò)展；無需依賴原廠商；充分發(fā)揮數(shù)據(jù)庫運(yùn)維團(tuán)隊(duì)的技術(shù)優(yōu)勢；可靠平臺(tái)自身的所有內(nèi)置功能也是通過這種 配置方式實(shí)現(xiàn)的；機(jī)制在多個(gè)客戶以及多個(gè)場景中驗(yàn)證；安全統(tǒng)一的目標(biāo)數(shù)據(jù)庫訪問防御機(jī)制；支持灰度發(fā)布機(jī)制；開放大量的客戶經(jīng)驗(yàn)和實(shí)踐可以分享；充分

14、借鑒其它客戶的成功案例；010302功能可擴(kuò)展性設(shè)計(jì)25工單系統(tǒng)實(shí)現(xiàn)了與工單系統(tǒng)的雙向集成;用戶可以通過工單系統(tǒng)，發(fā)起數(shù)據(jù)庫資源申請、創(chuàng)建用 戶、賦權(quán)等數(shù)據(jù)庫自助化服務(wù)；平臺(tái)發(fā)現(xiàn)的數(shù)據(jù)庫問題，可以調(diào)用工單系統(tǒng)生成工單， 指派給相關(guān)用戶；自動(dòng)化運(yùn)維平臺(tái)實(shí)現(xiàn)了與自動(dòng)化運(yùn)維平臺(tái)的集成，通過平臺(tái)實(shí)現(xiàn)多種數(shù) 據(jù)庫自動(dòng)化運(yùn)維操作；可以通過自動(dòng)化運(yùn)維平臺(tái)實(shí)現(xiàn)新的數(shù)據(jù)庫自動(dòng)化運(yùn)維操 作，并集成到數(shù)據(jù)庫統(tǒng)一運(yùn)維平臺(tái)中；集成其它監(jiān)控?cái)?shù)據(jù)主機(jī)監(jiān)控?cái)?shù)據(jù)：可以在統(tǒng)一管理平臺(tái)中直接查看所屬主 機(jī)的監(jiān)控指標(biāo)和趨勢；日志分析功能：對(duì)接ELK系統(tǒng)，實(shí)現(xiàn)了數(shù)據(jù)庫診斷日志 的分析和展現(xiàn)；CMDB實(shí)現(xiàn)了與CMDB系統(tǒng)的無縫集成，自動(dòng)

15、同步CMDB數(shù)據(jù)， 納管新加入CMDB的數(shù)據(jù)庫系統(tǒng);支持將數(shù)據(jù)庫的最新狀態(tài)(例如主從角色)更新到CMDB 中；單點(diǎn)登錄用戶直接使用企業(yè)單點(diǎn)登錄認(rèn)證，無需單獨(dú)創(chuàng)建用戶;實(shí)現(xiàn)了細(xì)粒度的權(quán)限控制機(jī)制以及用戶組概念，記錄用 戶所有操作，可用于事后審計(jì)；統(tǒng)一告警平臺(tái)接入企業(yè)統(tǒng)一告警平臺(tái)，對(duì)于發(fā)現(xiàn)的數(shù)據(jù)庫問題，通過 企業(yè)統(tǒng)一告警平臺(tái)推送給相關(guān)用戶；DevOPS流程在開發(fā)和測試環(huán)境實(shí)與DevOPS流程實(shí)現(xiàn)了集成，可以 通過API查詢數(shù)據(jù)庫庫表結(jié)構(gòu)、執(zhí)行數(shù)據(jù)庫變更操作；無縫集成26實(shí)現(xiàn)基于場景管控的數(shù)據(jù)庫運(yùn)維能力建成數(shù)據(jù)庫統(tǒng)一管理平臺(tái)管理全面納管所有運(yùn)行的數(shù)據(jù)庫系統(tǒng)；結(jié)合常用運(yùn)維場景的功能，全面提升平臺(tái)的易用

16、實(shí)現(xiàn)基于場景化的自動(dòng)化管理和操作功能，由實(shí)現(xiàn)數(shù)據(jù)庫指標(biāo)全面采集能力；實(shí)現(xiàn)數(shù)據(jù)庫關(guān)鍵指標(biāo)展現(xiàn)、性能容量分析、 TOPSQL優(yōu)化管理、自動(dòng)化巡檢、問題自動(dòng) 發(fā)現(xiàn)等功能，實(shí)現(xiàn)數(shù)據(jù)庫統(tǒng)一管理能力；實(shí)現(xiàn)數(shù)據(jù)庫標(biāo)準(zhǔn)架構(gòu)快速交付性和實(shí)用性；建成完備的數(shù)據(jù)庫監(jiān)控和問題預(yù)防體系，持續(xù)優(yōu) 化和完善數(shù)據(jù)庫指標(biāo)采集項(xiàng)和監(jiān)控項(xiàng)；提供初步的移動(dòng)端運(yùn)維能力；在開發(fā)和測試環(huán)境提供完備的SQL審核流程；看到管，減少80%以上登錄服務(wù)器的變更和應(yīng)急操作；實(shí)現(xiàn)完備的移動(dòng)端功能，提供移動(dòng)運(yùn)維能力；提供基于容器化云平臺(tái)的MySQL管理能力，包 括快速交付、自助化管理、資源分配、縮擴(kuò)容在生產(chǎn)環(huán)境提供數(shù)據(jù)庫變更管理、用戶管理、數(shù)據(jù)對(duì)象管理

17、等自助化功能；等；支持其它更多的國產(chǎn)數(shù)據(jù)庫種類；第一階段（2018-2019）第二階段（2019-2020）第三階段（目標(biāo)）自動(dòng)化運(yùn)維、移動(dòng)運(yùn)維和容器云數(shù)據(jù)庫云平臺(tái)分階段建設(shè)歷程分階段建設(shè)271234背景與挑戰(zhàn)建設(shè)實(shí)踐經(jīng)驗(yàn)總結(jié)投產(chǎn)效益目錄Contents金融行業(yè)數(shù)據(jù)庫云平臺(tái)建設(shè)實(shí)踐28投產(chǎn)效益降本增效29自助化數(shù)據(jù)庫用戶管理應(yīng)用人員DBA審批通過整理SQLITIL提交申請郵件至DBA線下準(zhǔn)備 申請?jiān)斍檫M(jìn)機(jī)房流轉(zhuǎn)至DBA執(zhí)行反饋給開 發(fā)驗(yàn)證工單記錄關(guān)閉工單反饋給DBA應(yīng)用人員以前ITIL提交申請平臺(tái)生成SQL調(diào)用平臺(tái)APIDBA審批平臺(tái)執(zhí)行反饋給開發(fā)現(xiàn)在自助式數(shù)據(jù)庫服務(wù)提升數(shù)據(jù)庫服務(wù)吞吐量和服務(wù)質(zhì)量DBA投產(chǎn)效益30投