騰訊TBase運維平臺架構詳解

1、騰訊TBase運維平臺架構詳解技術創(chuàng)新，變革未來概述騰訊TBase分布式關系型數(shù)據(jù)庫是一款面向海量在線實時分布式 事務交易和MPP實時數(shù)據(jù)分析通用型高性能數(shù)據(jù)庫系統(tǒng)。面對大 規(guī)模量的機器管理，實例管理，如何高效，有效運營所有數(shù)據(jù)庫 實例,我們必需要有一套可靠性高，性能良好的運營系統(tǒng)。利用運 營系統(tǒng)提高數(shù)據(jù)庫服務的可用性，賦能DBA運維能力，解放他們 的生產(chǎn)力，讓他們投入更多的時間觀注業(yè)務。本次分享介紹 TBase運營支撐系統(tǒng)架構設計，詳細說明各個組件 作 用，最后介 紹各種可靠性對部署規(guī)范的要求。云管平臺架構圖12架構解說目錄CONTENTS云管平臺總架構圖EtcdNode1Node2 lea

2、derNode3CenterConfdbMasterSlave1Slave2MasterSlave1Slave2Agent1Agent2Agent.Agent3N個數(shù)據(jù)庫服務更多數(shù)據(jù)庫服務資源池N個數(shù)據(jù)庫服務N個數(shù)據(jù)庫服務架構解說CenterOSS大腦處理前端請求管理和下發(fā)任務Confdb元數(shù)據(jù)存儲訪問Etcd底座支撐關鍵數(shù)據(jù)存儲Agent任務執(zhí)行者狀態(tài)數(shù)據(jù)采集指標數(shù)據(jù)采集Etcd12Center3Confdb4Agent5設計參考目錄CONTENTSEtcd功能概述運營平臺底座， 存儲關鍵數(shù)據(jù)承擔功能 高可用自我管理， 多活， 一半以上節(jié)點存活時可用可用性 C e n ter 監(jiān)控拉起， 告

3、警故障管理 1 、3 、5 、7 . . . , 對于生產(chǎn) 系統(tǒng)最少要求3 節(jié)點部署要求 可擴容， 也可以縮容擴展性 Center功能概述可用性及性能一主多從，故障時自動選主，訪問到備時自動轉發(fā)，支持高并發(fā)，低延遲故障管理crontab定時腳本監(jiān)控拉起，告警部署要求2個以上，對于生產(chǎn)系統(tǒng)建議3節(jié)點，與etcd共用機器部署擴展性可擴容，也可以縮容承擔功能運營平臺大腦，接收運維指令，派發(fā) 任務給Agent,調(diào)度任務Confdb功能概述故障管理 C e n t e r 監(jiān)控拉起， 故障告警承擔功能 運營支撐平臺元數(shù)據(jù)存儲及管理使用組件 C o n f d b 是一個P o s t g r e S Q

4、 L 單機主備實例， 由S t o l o n 提 供管理部署要求 2 個以上， 對于生產(chǎn)系統(tǒng)建議3節(jié)點，與e t c d 共用機器部署可用性 主多從， 故障時自動選主， 并且注冊主節(jié)點ip 到e t c d 中擴展性 可在線擴容， 也可以縮容010203040506Agent功能概述部署要求 每一臺機器部署一個A g e n t 服務01故障管理 c r o n t a b 定時腳本監(jiān)控拉 起，告警02承擔功能 任務執(zhí)行者， 節(jié)點狀態(tài)上 報， 監(jiān)控指標數(shù)據(jù)采集上 報03設計參考數(shù)據(jù)存儲 關鍵數(shù)據(jù)存儲e t c d日志存儲容量要控制。040105020306任務管理 任務拆分成最小單元， 支持

5、 故障續(xù)傳。 固定任務要錯開， 并發(fā)數(shù)要控制。 任務需要有互斥機制。資源保障 使用C G R O U P 隔離， 保障 管控程序計算資源足夠。其它規(guī)則 不要隨意引入組件 每個組件都要監(jiān)控 異地組件不訪問系統(tǒng)整體延遲 降級運行， 能不做就不做。交互規(guī)則 異步化， 減少阻塞。 集中批處 理， 減少交互次數(shù)， 提升處理 效能。 超時機制不可少， 防止產(chǎn)生僵尸進程。硬件，供電及網(wǎng)絡要求12部署規(guī)劃3性能指標參考4多可用區(qū)部署目錄CONTENTS硬件，供電、網(wǎng)絡及OS要求指令集架構X 86 / Arm/ 390 s操作系統(tǒng)推薦Cent OS或者Red Hat7 . 3 及以上/ TLinux/ Suse

6、 12 sp 4機架要求每個節(jié)點獨立機架， 獨立供電機器類型物理機， 如果只能CVM, 則 需要控制節(jié)點不要存放于 同一臺母機上網(wǎng)絡要求雙網(wǎng)卡高可用bond 單中心部署規(guī)范01E tc d L e a d er C e n ter S l a ve C o n fdb S l a ve機器 102機器 2E tc d N o d eC e n ter M a s te r C o n fdb S a l ve03E tc d N o d e C e n ter S l a veC o n fdb M a s te r機器 3二地三中心部署規(guī)范生產(chǎn)中心 機器1 ： Conf db M a s t

7、 er + E t c d N o de + C e n ter S l a ve機器2 ： Conf db S l a ve + E t c d L e ader + C e n ter M a s t er異地災備 機器5 ：C o nf db S l a veE t c d N o deC e n ter S l a ve同城備中心 機器3 ： Conf db S l a ve + E t c d N o de + C e nt er S l a ve機器4 ： Conf db S l a ve + E t c d N o de + C e nt er S l a ve異地雙活二中心部署

8、規(guī)范南生產(chǎn)中心 機器1 ： C o n f d b M a s t e r + E t c d N o d e + C e n t e r S l a v e 機器2 ： C o n f d b S l a v e + E t c d L e a d e r + C e n t e r S l a v e 機器3 ： C o n f d b S l a v e + E t c d N o d e + C e n t e r M a s t e r北生產(chǎn)中心 機器1 ： C o n f d b M a s t e r + E t c d N o d e + C e n t e r S l a v

9、 e 機器2 ： C o n f d b S l a v e + E t c d L e a d e r + C e n t e r S l a v e 機器3 ： C o n f d b S l a v e + E t c d N o d e + C e n t e r M a s t e r異地雙活四中心部署規(guī)范機器3 ： C o n f d b S l a v e + E t c d N o d e + C e n t e r S l a v e機器4 ： C o n f d b S l a v e + E t c d N o d e + C e n t e r S l a v e南同城

10、備中心 北生產(chǎn)中心 機器 1 ： C o n f d b M a s t e r + E t c d N o d e + C e n t e r S l a v e 機器 2 ： C o n f d b S l a v e + E t c d L e a d e r + C e n t e r M a s t e r 南中心機器5 ： E t c d N o d e南生產(chǎn)中心 機 器 1 ： C o n f d b M a s t e r + E t c d N o d e + C e n t e r S l a v e 機器 2 ： C o n f d b S l a v e + E t c d L e a d e r + C e n t e r M a s t e r 北中心機器 5 ： E t c d N o d e北同城中心 機器 3 ： C o n f d b S l a v e + E t c d N o d e + C e n t e r S l a v e機器 4