騰訊云CDB內(nèi)核架構(gòu)功能解密

1、庖丁解牛：騰訊云CDB內(nèi)核架構(gòu)功能解密目 錄CDB內(nèi)核簡介01CDB內(nèi)核架構(gòu)及特性02CDB內(nèi)核質(zhì)量保障03CDB內(nèi)核最佳實踐04CDB內(nèi)核簡介TXSQL 騰訊自研數(shù)據(jù)庫內(nèi)核Access ClustersInstance ClusterStorage ClusterRouteSafetyHADatabase EnginesReplicationStorage什么是TXSQLTXSQL = Tencent MySQL騰訊-CDB (Cloud DataBase)團隊自研MySQL分支騰訊云及騰訊內(nèi)部云DBaaS平臺官方唯一MySQL版本為什么有TXSQLMySQL- The most popul

2、ar database海量運營的挑戰(zhàn)：超大規(guī)模、海量用戶、多種業(yè)務場景促進開源數(shù)據(jù)庫技術(shù)發(fā)展TXSQL的演進之路TXSQL 5.1TXSQL 5.5TXSQL 5.6Bugfix for5.1Bugfix for 5.5Featuresneeded by OSSBugfix for 5.6Features needed by OSSFeatures from DBA & businessRead and WriteOptimization.TXSQL 8.0(coming soon)Bugfix for 5.7Features needed by OSSEncryptionAuditThrea

3、d pool.TXSQL 5.7CStoreAEP perf boostMore featureMore optimization.CynosDBCloud native databaseSeparating compute and storage現(xiàn)網(wǎng)客戶電商平臺金融支付科技教育影音娛樂CDB內(nèi)核架構(gòu)及亮點功能CDB內(nèi)核架構(gòu)騰訊云高效能云硬盤CBS線程池半 同 步 復 制 插 件審 計 插 件透 明 數(shù) 據(jù) 加 密 插 件Server層（優(yōu)化器，執(zhí)行器）存儲引擎層InnoDBCStoreMyISAM客戶端從 實 例審 計 系 統(tǒng)K M S亮點功能：列存引擎CSTORE列式存儲數(shù)據(jù)按列存儲而不是

4、按行存儲查詢時無需訪問無關(guān)列，減少大量 IO高壓縮比壓縮比平均在10比1，可以大大減少存儲空間快速加載支持 MySQL 標準的 LOAD 語句多核并行處理，加載速度可達 INNODB 的 10 倍執(zhí)行引擎支持查詢?nèi)我舛嗔械慕M合單節(jié)點可支持百億行記錄的秒級查詢支持多種JOIN算法，包括HASH JOIN查詢優(yōu)化查詢時利用多種形式的稀疏索引過濾數(shù)據(jù)維護數(shù)據(jù)的統(tǒng)計信息，聚合類查詢預計算MySQL兼容SQL 語法全面兼容 MySQL 8.0兼容 MySQL 工具和應用，例如phpMyADmin等支持XtraBackup 物理備份和恢復亮點功能：秒加字段只修改數(shù)據(jù)字典信息，避免數(shù)據(jù)拷貝即時完成，無需等待

5、亮點功能：異步刪除大表目標:避免在刪除大表時產(chǎn)生IO峰值實現(xiàn)方法:將.ibd文件名改為臨時文件名在后臺線程中逐步truncate .ibd文件（每次128M）最終將.ibd文件刪除安全性：審計安全性：加密KMS : Key Management Service by Tencent CloudCAM : Cloud Access ManagementService by Tencent CloudKeyring_kms集成 KMS & CAM with MySQL TDE實現(xiàn) Keyring 接口KMS PluginCAMKMS性能優(yōu)化：面向非易失性存儲的優(yōu)化單機場景，有redolog，性能提

6、升15%主備場景，有redolog&binlog，性能提升50+%同步場景，主機有redolog&binlog，備機redolog&relaylog，性能提升60+%近，在sync_relay_log為=1，強同步場景，性能提升2221%性能優(yōu)化：熱點更新內(nèi)核級解決秒殺場景下的熱點數(shù)據(jù)更新問題一鍵開啟，用戶無需修改任何應用層SQLCDB內(nèi)核質(zhì)量保障自主可控的內(nèi)核質(zhì)量保障建立內(nèi)核產(chǎn)品自主可控的全流程質(zhì)量保障體系1：開發(fā)流程：從需求搜集，評審到設計開發(fā)，到測試和灰度上線全流程驗證產(chǎn)品質(zhì)量2：測試體系：研發(fā)自測 自動化測試 版本測試 灰度上線測試3：質(zhì)量反饋：針對測試和客戶使用中發(fā)現(xiàn)的問題，快速響應

7、，即刻解決需求搜集開發(fā)需求主要來源于客戶 反饋，市場調(diào)研，內(nèi)部分 析等需求評審對于所有需求，進行 內(nèi)部評審，落實開發(fā) 計劃設計開發(fā)根據(jù)需求進行架構(gòu)設 計和開發(fā)測試評審對開發(fā)完成的功能進 行嚴格的測試，包括： 功能測試,穩(wěn)定性測試,壓力及性能測試等灰度上線定期發(fā)布版本，并灰 度上線。讓客戶進行 測試試用，之后正式上線自主可控的內(nèi)核質(zhì)量保障現(xiàn)網(wǎng)問題響應體系1：7*24小時在線值班：對現(xiàn)網(wǎng)客戶碰到的內(nèi)核問題快速響應，及時解決2：實例監(jiān)控系統(tǒng)：crash實例監(jiān)控系統(tǒng)，慢查詢告警系統(tǒng)，秒級監(jiān)控系統(tǒng)等3：問題歸納總結(jié)：記錄所有現(xiàn)網(wǎng)問題并做好分類，形成知識庫，定期分享CDB內(nèi)核最佳實踐涅槃重生：微盟上云紀實

8、源：騰訊云黑石自建服務器 目標：騰訊云CDB測試方法：mysqlslap -iterations=100 -create-schema=test -query=query.sql -number-of- queries=20000 -delimiter=; -concurrency=100時間線：4月8日發(fā)現(xiàn)性能問題1 4月9日微盟騰訊成立專項組分析并驗證問題 4月10日21時確認 問題原因，進行第一版優(yōu)化 4月13日抽檢29套CDB實例并應用第一排優(yōu)化配置 4月14日基準+業(yè) 務壓測 4月14日23時全面分析生成壓測報告發(fā)現(xiàn)性能問題2 4月23日第二版優(yōu)化 4月24日第 三版優(yōu)化 4月25日

9、30個實例DTS遷移任務 4月26日發(fā)現(xiàn)性能問題3 4月26日第四版優(yōu)化，CDB 上云建立長期基準壓測任務工具集：perf 工具：用于分析特殊 SQL 語句在 MySQL 內(nèi)部的資源消耗情況 pt-pmp 工具：用于排查大并發(fā)環(huán)境下的性能瓶頸，提升實例性能 數(shù)據(jù)庫性能秒級監(jiān)控工具（orzdba）騰訊云 CDB 團隊內(nèi)核層的源碼分析與修改涅槃重生：微盟上云紀實問題1： NUMA綁核問題原因：騰訊云CDB cgroup隔離策略和微盟cgroup隔離策略不一致造成辦法：調(diào)整cpu quota設置，修改測試CDB機器CPU隔離策略，按核進行綁定 并將核綁定到同一個Node上。問題2：網(wǎng)絡問題原因：1：并發(fā)增加時，mysqlslap退化為短連接。2：TGW導致的網(wǎng)絡延遲。辦法：1：調(diào)整參數(shù)tcp_rmem， tcp_wmem