MySQL與PostgreSQL數(shù)據(jù)庫高可用分析實(shí)踐

1、技術(shù)創(chuàng)新，變革未來MySQL與PostgreSQL數(shù)據(jù)庫高可用分析實(shí)踐一、 高可用原理 二、 mysql高可用三、 PostgreSQL高可用四、 Cloud高可用與高可用發(fā)展目錄第一章高可用原理高可用定義系統(tǒng)無中斷地執(zhí)行其功能的能力，代表系統(tǒng)的可用性程度，是進(jìn)行系統(tǒng)設(shè)計(jì)的準(zhǔn)則之一。無中斷 要通過“冗余”來是實(shí)現(xiàn)高可用。 一個(gè)服務(wù)單點(diǎn)故障存儲(chǔ)高可用（有狀態(tài)）計(jì)算高可用業(yè)務(wù)高可用數(shù)據(jù)庫高可用三模塊數(shù)據(jù)同步模塊-高可用基礎(chǔ)，實(shí)現(xiàn)“冗余”和“多副本”高可用管理模塊-高可用實(shí)現(xiàn)，狀態(tài)判斷，故障切換統(tǒng)一訪問模塊-高可用接口，對(duì)外應(yīng)用訪問透明數(shù)據(jù)庫高可用三模塊 數(shù)據(jù)同步模塊數(shù)據(jù)庫功能：- 事務(wù) ACID-

2、 日志系統(tǒng)同步建立：- 日志歸檔- 同步用戶- 建立復(fù)制關(guān)系數(shù)據(jù)一致與可用性權(quán)衡：- 異步復(fù)制- 半同步復(fù)制- 同步復(fù)制數(shù)據(jù)庫高可用三模塊 高可用管理模塊節(jié)點(diǎn)關(guān)系（部署架構(gòu)）- 集中式- 協(xié)商式- 分布式狀態(tài)判斷（發(fā)現(xiàn)異常）- 狀態(tài)檢測- 狀態(tài)存儲(chǔ)異常處理（處理異常）- 故障切換過程 failover- 故障恢復(fù)過程 failback數(shù)據(jù)庫高可用三模塊 統(tǒng)一訪問模塊應(yīng)用與數(shù)據(jù)庫的訪問方式：直連數(shù)據(jù)庫，通過中間層訪問數(shù)據(jù)庫直連數(shù)據(jù)庫- 業(yè)務(wù)程序與數(shù)據(jù)庫耦合性高- 發(fā)生故障切換，業(yè)務(wù)需調(diào)整，必須有手工操作通過中間層訪問數(shù)據(jù)庫- 統(tǒng)一入口，對(duì)應(yīng)用透明，故障切換時(shí) endpoint 不發(fā)生改變- VI

3、P- DNS- proxy典型通用高可用方案keepalived + haproxy + 服務(wù)資源keepalived- vrrp 控制vip的漂移- watch dog- health checkhaproxy- 4層/7層代理，健康檢查，負(fù)載均衡服務(wù)資源- 數(shù)據(jù)庫/web服務(wù)器/vip等各種資源- 編寫shell腳本（狀態(tài)腳本，切換腳本等）- 高可用軟件定義腳本調(diào)用邏輯第二章mysql高可用實(shí)踐mysql 數(shù)據(jù)同步日志格式- log_bin- binlog_format=row- server_id主從復(fù)制原理- Master - binlog - IO thread - Relay lo

4、g - SQL thread - Slave同步類型- 異步復(fù)制 （CHANGE MASTER TO master_connect_info MASER_LOG_FILE MASTER_LOG_POST）- 半同步復(fù)制 （主從需安裝半同步plugin，開啟半同步參數(shù)，主事務(wù)提交至少有一個(gè)slave接收）- GTID 復(fù)制（開啟GTID參數(shù)，簡化 CHANGER MASTER）- MGR 復(fù)制（依賴Paxos協(xié)議，復(fù)制組中一半以上的節(jié)點(diǎn)通過，事務(wù)才能提交）mysql高可用方案之 MHAMHA架構(gòu)數(shù)據(jù)同步模塊- MySQL異步復(fù)制- MySQL半同步復(fù)制集群管理模塊- MHA Manager集中管

5、理- MHA Node狀態(tài)交互- failover，online_change腳本統(tǒng)一訪問模塊- vipmysql高可用方案之 MHAMHA搭建ssh節(jié)點(diǎn)互信mysql同步集群所有節(jié)點(diǎn)部署 MHA-Node安裝配置 MHA- manger,創(chuàng)建腳本 5 添加 vip啟動(dòng) MHA 服務(wù)master故障時(shí)，高可用切換實(shí)例在線轉(zhuǎn)移角色，切換后恢復(fù)MHA高可用管理狀態(tài)檢測監(jiān)控和故障轉(zhuǎn)移流程- 監(jiān)測主 - 檢測從 - 關(guān)閉主 - 應(yīng)用日 志 - 恢復(fù)一個(gè)新主 - 激活主 - 恢復(fù)從在線切換過程mysql高可用方案之 MySQL Innodb ClusterInnodb Cluster架構(gòu)數(shù)據(jù)同步模塊-

6、MySQL Group Replication 組復(fù)制集群管理模塊- MySQL Shell （創(chuàng)建和管理集群）統(tǒng)一訪問模塊- MySQL Router （負(fù)載均衡，故障轉(zhuǎn)移）mysql高可用方案之 MySQL Innodb ClusterInnodb Cluster 搭建 1 操作系統(tǒng)環(huán)境準(zhǔn)備數(shù)據(jù)節(jié)點(diǎn)安裝mysql和mysql-shell數(shù)據(jù)節(jié)點(diǎn)/etc/f 添加組復(fù)制參數(shù)數(shù)據(jù)節(jié)點(diǎn)初始化mysql實(shí)例，搭建組復(fù)制 5 數(shù)據(jù)節(jié)點(diǎn)用 mysql-shell 配置實(shí)例6 管理節(jié)點(diǎn)用 mysql-shell 創(chuàng)建和添加實(shí)例 7 管理節(jié)點(diǎn)安裝和啟動(dòng) mysql-router8 驗(yàn)證 cluster 集

7、群Innodb Cluster高可用管理數(shù)據(jù)節(jié)點(diǎn)部署 mysql MGR 管理節(jié)點(diǎn)部署 mysql router所有節(jié)點(diǎn)都部署 mysql shellMGR 建議采用 Single-Primary 模式 注意功能限制mysql高可用方案文檔與測試官方文檔mysql MHA: /archive/p/mysql-master-ha/ /yoshinorim/mha4mysql-manager /yoshinorim/mha4mysql-nodemysql innodb cluster:/doc/refman/8.0/en/mysql-innodb-cluster-introduction.html

8、第三章PostgreSQL高可用實(shí)踐PostgreSQL 數(shù)據(jù)同步日志格式- 日志格式，日志歸檔，wal_level=logical主從搭建- 復(fù)制賬號(hào)、全量同步、建立復(fù)制關(guān)系- 異步流復(fù)制- 同步流復(fù)制- 邏輯復(fù)制同步類型- 基于共享存儲(chǔ)的同步 （DRBD 或 SAN存儲(chǔ)）- WAL日志或流復(fù)制同步 （stream replication）- 基于觸發(fā)器的同步 （Slony 或 Bucardo）- 基于中間件的同步 （pgpool-II 或 Tungsten）PostgreSQL 高可用方案之 pgpool-IIpgpool-II 架構(gòu)數(shù)據(jù)同步模塊- PostgreSQL異步流復(fù)制集群管理模

9、塊- pgpool （管理節(jié)點(diǎn)，負(fù)載均衡，健康檢查）統(tǒng)一訪問模塊- pgpool-II vip （負(fù)載均衡，故障轉(zhuǎn)移）PostgreSQL 高可用方案之 pgpool-IIPostgreSQL pgpool-II 搭建 1 操作系統(tǒng)環(huán)境準(zhǔn)備安裝PostgreSQL 12軟件搭建PostgreSQL實(shí)例異步流復(fù)制環(huán)境安裝配置 pgpool-II- 端口，后端節(jié)點(diǎn)，負(fù)載均衡- 復(fù)制模型，流復(fù)制檢測- watchdog，vip,故障轉(zhuǎn)移腳本 5 配置PCP管理端口，啟動(dòng)pgpool-II 6 驗(yàn)證 pgpool-II 高可用集群pgpool-II 繼承的功能很多，主要有：- 連接池- 只讀請(qǐng)求負(fù)載均

10、衡- 高可用- 有四種運(yùn)行模式，一般使用物理流復(fù)制 模式，其他三種很少用。需要注意：- 切換腳本主庫與備庫的數(shù)據(jù)差異- 性能有一定損失- 主備切換后，需要手工恢復(fù)集群狀態(tài)PostgreSQL 高可用方案之 patroniPG patroni 架構(gòu)數(shù)據(jù)同步模塊- PostgreSQL異步流復(fù)制集群管理模塊- etcd/ZK/consul集群 （記錄集群狀態(tài)）- Patroni (管理集群狀態(tài))- haproxy （負(fù)載均衡）統(tǒng)一訪問模塊- keepalived vipPostgreSQL 高可用方案之 patroniPostgreSQL patroni 搭建 1 操作系統(tǒng)環(huán)境準(zhǔn)備2 安裝Post

11、greSQL 12并配置流復(fù)制 3 安裝并配置 etcd 集群安裝配置 patroni- 安裝python環(huán)境- 安裝patroni依賴包- 設(shè)置patroni配置文件啟動(dòng)patroni，確認(rèn)集群狀態(tài) 6 驗(yàn)證 patroni 高可用集群patroni 優(yōu)勢主要有：- 健壯性高- 支持多種方式- 支持主備延遲設(shè)置- 自動(dòng)化程度高- 能避免腦裂需要注意：- 涉及的組件比較多- 處理流程圖比較復(fù)雜PostgreSQL高可用方案文檔與測試官方文檔pgpool:https:/ https:/mediawiki/index.php/Documentationpatroni: /zalando/patroni https:/patroni.readthedocs.io/en/latest/第四章Cloud高可用與高可用發(fā)展Cloud高可用RDS服務(wù)：- 需要 wal_level=logical- 基于流復(fù)制的高可用- 基于共享存儲(chǔ)的高可用- 高可用切換時(shí)間與讀、寫服務(wù)自建高可用性限制：- 無法使用 vip 和 keepalived- RDS服務(wù)只有內(nèi)置slb和proxy- ESC自建proxy + slb高可用發(fā)展趨勢目標(biāo)和基本原理- 根本目標(biāo)基本的三方面原理不變高可用實(shí)現(xiàn)方式- 手工需要判斷的內(nèi)容轉(zhuǎn)化為自動(dòng)內(nèi)容-