騰訊互娛DB管理平臺(tái)GCS的迭代路徑

1、騰訊互娛DB管理平臺(tái)GCS的迭代路徑agenda精品游戲存儲(chǔ)的難題Services Window自助化GCS 1.X 3.X的演進(jìn)之路GCS1.0 高可用技術(shù)GCS2.0 MySQL分支定制GCS3.0 存儲(chǔ)層云化GCS 4.X的規(guī)劃Q&A精品游戲存儲(chǔ)的難題痛點(diǎn) III基礎(chǔ)DB管理能力基礎(chǔ)管理需求多日常變更頻繁- 多種存儲(chǔ)并行痛點(diǎn) II痛點(diǎn) I透明數(shù)據(jù)存儲(chǔ)能力硬件故障影響面廣快速加字段需求大Innodb存儲(chǔ)優(yōu)化難動(dòng)態(tài)運(yùn)營(yíng)能力透明擴(kuò)縮容能力數(shù)據(jù)化運(yùn)營(yíng)能力幾個(gè)核心數(shù)據(jù)250+款游戲(端游+手游)、10000+臺(tái)服務(wù)器、20000+個(gè)實(shí)例690次SQL變更/月，人均每天支撐2個(gè)業(yè)務(wù)SQL變更，人均管

2、理著500臺(tái)機(jī)器、1000個(gè)實(shí)例DBA管理的進(jìn)程，從進(jìn)程托管到機(jī)器托管精品游戲存儲(chǔ)的難題 痛點(diǎn)1 運(yùn)營(yíng)效率低硬件故障影響玩家時(shí)間長(zhǎng)精品游戲存儲(chǔ)的難題 痛點(diǎn)2 玩家體驗(yàn)差精品游戲存儲(chǔ)的難題 痛點(diǎn)2：版本停機(jī)時(shí)長(zhǎng)高星級(jí)業(yè)務(wù)變更加字段停機(jī)時(shí)間長(zhǎng)精品游戲存儲(chǔ)的難題 痛點(diǎn)3：成本高2/3機(jī)器處在低負(fù)載狀態(tài)不同大區(qū)對(duì)應(yīng)DB忙閑不均Services Window自助化痛點(diǎn)1的應(yīng)對(duì)思路以統(tǒng)一的Interface管理不同的DB存儲(chǔ)類(lèi)型提升DB管理效率、釋放人力 ( 90%以上日常需求自助化 )Services Window自助化流程設(shè)計(jì)業(yè)務(wù)運(yùn)維填寫(xiě) 申請(qǐng)單單據(jù)輸入 檢查DBA審核業(yè)務(wù)運(yùn)維執(zhí)行 通過(guò)審核的單據(jù)結(jié)果

3、展示YNNYServices Window自助化系統(tǒng)設(shè)計(jì)GCS 1.X 3.X的演進(jìn)之路痛點(diǎn)2-3的應(yīng)對(duì)思路GCS 1.0 高可用技術(shù)GCS 2.0 定制MySQL分支解決快速加字段問(wèn)題解決大字段(blob/text)的壓縮問(wèn)題tmysqlparse語(yǔ)法自動(dòng)檢測(cè)工具GCS 3.0 存儲(chǔ)云化解決CPU/MEM/IO的擴(kuò)展性問(wèn)題實(shí)現(xiàn)在線擴(kuò)容及縮容透明分庫(kù)分表GCS 1.X 3.X的演進(jìn)之路 GCS系統(tǒng)架構(gòu)GCS 1.X 3.X的演進(jìn)之路 GCS1.0 高可用技術(shù)數(shù)據(jù)切換保護(hù)及例行化checksumchunk-size-exact，數(shù)據(jù)塊切分不均在可重復(fù)度隔離級(jí)別下的“鎖數(shù)據(jù)”問(wèn)題按數(shù)據(jù)分塊的原理，

4、5000M的表，chunk-size=10M時(shí)，只有兩個(gè)區(qū)間包含 數(shù)據(jù)：第1個(gè)區(qū)間包含5行數(shù)據(jù)(id=0 and id 20)，第500個(gè)區(qū)間包含1行數(shù) 據(jù)(id=10000000)。GCS 1.X 3.X的演進(jìn)之路 GCS1.0 高可用技術(shù)mysql-proxy admin接口擴(kuò)展refresh_backends,refresh_usersshow processlist,refresh_connlog故障探測(cè)兩段式仲裁及GM中控切換兩個(gè)監(jiān)測(cè)點(diǎn)同時(shí)認(rèn)為故障checkmysql、checksshDouble check | Slave Status、Checksum、Time Delay插件式

5、支持MSSQL、Redis等存儲(chǔ)介質(zhì)GCS 1.X 3.X的演進(jìn)之路 GCS1.0 高可用技術(shù)業(yè)務(wù)應(yīng)用效果52%線上業(yè)務(wù)接入，涵蓋多種類(lèi)型端游及全部手游60S內(nèi)，從故障發(fā)生到成功實(shí)施切換TMySQL版本迭代 /TencentDBA/TMySQLGCS 1.X 3.X的演進(jìn)之路 GCS2.0 MySQL分支定制版本主要功能詳細(xì)描述發(fā)布時(shí)間TMySQL 1.1在線加字段秒級(jí)實(shí)現(xiàn)，支持MySQL分區(qū)表2012/12/10TMySQL 1.2內(nèi)存分配優(yōu)化核心BUG修復(fù)Valgrind代碼修改定位內(nèi)存使用過(guò)多問(wèn)題深入剖析glibc內(nèi)存碎片問(wèn)題集成tcmalloc作為T(mén)MySQL內(nèi)存管理模塊修復(fù)5個(gè)重要m

6、ysql bugs，發(fā)現(xiàn)并定位15個(gè)mysql bugs2013/3/20TMySQL 1.3(In-Place) Upgrade 安全性增強(qiáng)運(yùn)營(yíng)特性增強(qiáng) 備份、恢復(fù)增強(qiáng)支持MySQL5.0 TMySQL的原地快速升級(jí)增加TMySQL客戶端程序名審計(jì)、密碼二次加密 增加Alter Log日志記錄支持跨庫(kù)表一致性備份并行數(shù)據(jù)恢復(fù)加速（A5 60% Z3 90%縮短數(shù)據(jù)導(dǎo)入時(shí)間）2013/6/6TMySQL 1.4SqlParse工具開(kāi)發(fā)Binlog多線程導(dǎo)入innodb字段壓縮實(shí)現(xiàn)集成語(yǔ)法、語(yǔ)義檢查到OSS的變更子系統(tǒng)，提升業(yè)務(wù)變更效率Binlog并發(fā)導(dǎo)入，縮短業(yè)務(wù)數(shù)據(jù)的回檔時(shí)間通過(guò)配置化的in

7、nodb底層字段壓縮，提升mysql的cache利用率2013/11/1TMySQL在線加字段1秒以?xún)?nèi)完成加字段，后期性能損失2%-5%安裝或者升級(jí)到TMySQL，并且alter table tbl row_format=GCS;GCS 1.X 3.X的演進(jìn)之路 GCS2.0 MySQL分支定制TMySQL Innodb blob/text列壓縮 背景結(jié)構(gòu)體序列化存儲(chǔ)較多C/C+ NULL占位符，序列化 壓縮DBA推動(dòng)研發(fā)改動(dòng)幾行代碼困難GCS 1.X 3.X的演進(jìn)之路 GCS2.0 MySQL分支定制GCS 1.X 3.X的演進(jìn)之路 GCS2.0 MySQL分支定制TMySQL Innodb

8、 blob/text列壓縮 使用及效果創(chuàng)建表Create table t1 (C1 int primary key, C2 blob compressed,C3 text character set gbk compressed, C4 blob) engine = innodb row_format=GCS修改表Alter table t1 change c4 c4 blob compressed.某業(yè)務(wù)數(shù)據(jù)，壓縮前51G，壓縮后7.3G，壓縮率達(dá)14.3%TMySQL Innodb blob/text列壓縮 性能對(duì)比利用空閑的CPU計(jì)算能力換取IO能力的提升！GCS 1.X 3.X的演進(jìn)之

9、路 GCS2.0 MySQL分支定制對(duì)比緯度數(shù)據(jù)不壓縮row_format=compressedBLOB列壓縮數(shù)據(jù)量51G24G7.1GQPS117415243994IO100%100%30%CPU15%45%50%TMySQL Tmysqlparse語(yǔ)法自動(dòng)檢測(cè)工具GCS 1.X 3.X的演進(jìn)之路 GCS2.0 MySQL分支定制透明DB中間件-SpiderCPU/MEM/IO擴(kuò)展透明分庫(kù)分表，應(yīng)用無(wú)關(guān)性GCS 1.X 3.X的演進(jìn)之路 GCS3.0 存儲(chǔ)層云化DB4W在線 負(fù)載80%DB5k在線 負(fù)載10%DB1W在線 負(fù)載20%DB負(fù)載10%DBDB號(hào)段2號(hào)段3DB5k在D線B6W在線，

10、負(fù)載40%DBDB號(hào)段1SpideSrpiderGCS4.X規(guī)劃從 功能 到 性能TMySQL遷移到MySQL 5.6取消MySQL的鎖粒度數(shù)據(jù)化運(yùn)營(yíng)數(shù)據(jù)庫(kù)優(yōu)化標(biāo)準(zhǔn)化進(jìn)而形成有競(jìng)爭(zhēng)力的產(chǎn)品或服務(wù)SQL變更時(shí)間自動(dòng)化預(yù)估需整合現(xiàn)網(wǎng)備份時(shí)間數(shù)據(jù)、實(shí)例Schema數(shù)據(jù)、表信息數(shù)據(jù)等GCS的迭代路徑GCS 2.0GCS 3.0DBHA 高可用（2012.1至2012.5）mysql-proxy定制DNS集群兩段式監(jiān)測(cè)點(diǎn)探測(cè)及GM切換checksum例行化支持Redis及MSSQLTMySQL加字段及Innodb透明壓縮（2012.5至2013.1）在線加字段支持分區(qū)表Innodb大字段透明壓縮內(nèi)存性能

11、問(wèn)題分析及tcmalloc引入語(yǔ)法自動(dòng)檢測(cè)工具Spider云化（2013.1至2013.9）擴(kuò)展性、動(dòng)態(tài)擴(kuò)縮容DB負(fù)載得以平均DB成本縮減GCS 4.X數(shù)據(jù)化運(yùn)營(yíng)（2013.9至今）SQL變更時(shí)間預(yù)估SQL性能自動(dòng)分析及優(yōu)化GCS 1.0附錄1：TMySQL在線加字段與業(yè)界的對(duì)比在線加字段方案優(yōu)勢(shì)劣勢(shì)誰(shuí)在使用Facebook OSC支持更多類(lèi)型的DDL，外圍 實(shí)現(xiàn)觸發(fā)器實(shí)現(xiàn)，性能至少損失20%對(duì)負(fù)載高的DB，加字段完成 時(shí)間不可控外圍管理成本較高Facebook、新浪、淘寶MySQL 5.6 DDLOnline支持更多類(lèi)型的DDL，底層 實(shí)現(xiàn)數(shù)據(jù)需要拷貝，磁盤(pán)壓力大GA不足半年，不建議使用TMySQL新增行格式，無(wú)需數(shù)據(jù)拷 貝，只需修改數(shù)據(jù)字典，立即生效不是通用的DDL Online方案， 但未來(lái)會(huì)集成到5.6的MySQL 版本騰訊互娛TMySQL字段擴(kuò)展達(dá)到商業(yè)數(shù)據(jù)庫(kù)Oracle 11g，MSSQL 2012的能力！附錄2：Spider與業(yè)界的對(duì)比云化存儲(chǔ)方案可擴(kuò)展性兼容性成熟度SPIDER優(yōu)接入層、存儲(chǔ)層可自由 擴(kuò)展良應(yīng)用層透明，支持大部分 SQL，但不宜過(guò)于復(fù)雜，事 務(wù)支持程度有限。對(duì)mysql版本無(wú)要求。良未release，但已通過(guò)基本 的壓測(cè)，待解決問(wèn)題已基本 明確CDB+CBS中存儲(chǔ)層(TSSD)可擴(kuò)展， 但CDB本身會(huì)