數(shù)據庫跨云架構設計

1、數(shù)據庫跨云架構設計技術創(chuàng)新 變革未來目錄contents123歷史與背景云數(shù)據庫演進之歷史MySQL Utilities云數(shù)據庫演進之現(xiàn)狀配置中心-VKDS云數(shù)據庫演進之現(xiàn)狀4多云架構云數(shù)據庫演進之未來歷史與背景03 配置可動態(tài)加載通過配置中心VKDS實現(xiàn)配置的動態(tài)加載， 流量可調度02 MySQL utilities數(shù)據庫的高可用，故障可隔離，可轉移多云容災 04可通過應用層、DB層在多云之間實現(xiàn)容災，流量的調度可根據業(yè)務的發(fā)展快速擴縮容可使成本上最優(yōu)化云計算的彈性 01異地多活彈性擴展動態(tài)配置主從切換故障無法隔離 多級從庫不易維護無法橫向擴展 成本高EC2自建DB規(guī)范化集群的元信息管理RD

2、S CloudMySQL UtilitiesMHA vs MySQL UtilitiesMHAMySQL Utilities布署復雜簡單開發(fā)語言PerlPython開發(fā)者第三方官方生存周期只切換一次可循環(huán)數(shù)據補齊對比binlog對比GTID用戶數(shù)量多少節(jié)點數(shù)要求32官方版本5.6+ 開啟GTIDmaster_info_repository = TABLE,relay_log_info_repository = TABLE 配置report_host, report_port變量足夠權限的數(shù)據庫用戶建議開啟半同步/增強半同步環(huán)境要求mysqlfailover.pydaemon或者screen 主

3、庫故障mysqlrpladmin.py主庫硬件升級主庫停機修改配置 主庫故障需手動執(zhí)行開始檢查備主環(huán)境自定義腳本主庫加全局讀鎖獲取主庫的GTID_SET等待所有從 庫追平數(shù)據所有從庫change master所有從庫Start slave所有從庫stop slaveslaves_list.append(old_master) slaves_list.del(new_master)主庫解全局讀鎖檢查 環(huán)境自定義腳本報錯退出Switchover切換邏輯WAIT_FOR_EXECUTED_GTID_SET開始選備主slaves_list.del(new_master)所有從庫stop slavesl

4、aves_list.append(old_master)所有從庫change master所有從庫Start slave檢查 環(huán)境自定義腳本報錯退出檢查備主環(huán)境備主補齊GTID_SETchange master to其它從庫自定義腳本Failover切換邏輯通過自定義腳本實現(xiàn)主從差異化配置以及與其它平臺的通信切換前調用-exec-before切換后調用-exec-after命令示例/usr/bin/mysqlrpladmin -master=admin:admin192.168.100.128:3306 -slaves=admin:admin192.168.100.129:3306,admin

5、:admin192.168.100.130:3306 -log=/data/logs/mysqlfailover/switchover.log -exec-before=/data/scripts/switchover_before.sh -exec-after=/data/scripts/switchover_after.sh -vvv -demote-master switchover切換平臺MySQL集群MySQL utilites架構圖配置中心元信息平臺aaa:1-100aaa:1-100,ccc:1 purge_gtid:ccc:1aaa:1-100Change filter Err

6、ant Transaction 數(shù)據庫延遲大uuid:aaauuid:bbbuuid:ccc失敗的案例如何發(fā)現(xiàn)Errant transaction方式1：mysqlfailover master=xxxxxx slaves=xxxxxx,xxxxxx -p 方式2：使用gtid_subtract函數(shù)如何解決Errant transaction建議在主庫手動插入空事務mysqlslavetrx在從庫上插入空事務不建議手動刪除從庫的Errant Transaction1.把mysql.gtid_executed里多余的刪除了，然后kill -92.再使用innodb_force_recovery=

7、6啟動配置中心-VKDS巨匹第十屆中國數(shù)據庫技術大會DATABASE TECHNOLOGY COlI FEREN CE CHIN A 2019巨罩VKDS大禹數(shù) 據 庫 中 間 件VKDS (VIPKID Database Service) VIPKID 分布式數(shù)據訪問層中間件， 旨 在為全公司提供一個通用數(shù)據訪問 層服務，支持 MySQL 動態(tài)數(shù)據源、讀寫分 離、分布式唯主鍵生成器、分庫分表、動態(tài)化配置等功能，并且支持從客戶端角度對數(shù)據源的各方面 （比如連接池、SQL等）進行監(jiān)控， 后續(xù)考慮實時合并計算、SOL智能分析診斷等。J、a”、”“”、”“.”、”“”、”“”、郘踞岡 云 才年 鸞遷

8、 1201s1s1os1-0北京新云南呈冠假日酒店:曠月,_(!) -rr,.巨匹第十屆中國數(shù)據庫技術大會DATA BASE TECHNOLOGY COlI FEREN CE CHIN A 2019令軍讀寫分離自動分發(fā)SOL, 可配置權重分流，可關閉讀寫分離主庫故障切換可在線動態(tài)切換主庫品從庫患可用支持從庫故障自動切換、摘除、自動恢復、全部故降 轉主庫顱l杲從庫負載均衡自動均衡負載，并支持按權重負載配宜對應用端透明參數(shù)動態(tài)變更主從在線動態(tài)切換，從庫在線動態(tài)變 更等導運行時監(jiān)控針對運行時慢查， 錯誤 SOL, DB連接異常實時預芒郘踞岡云才年鸞遷 1201s1s1os1-0北京新云南呈冠假日酒店:曠月,_(!) -rr,.VKDS架構圖1VKDS架構圖2場景1：主庫IO異常場景2：流量的調度 場景3：從庫延遲大場景4：擴縮容數(shù)據庫實例 場景5：應用