騰訊云數(shù)據(jù)庫智能運(yùn)維發(fā)展

1、騰訊云數(shù)據(jù)庫智能運(yùn)維發(fā)展技術(shù)創(chuàng)新，變革未來數(shù)據(jù)庫智能運(yùn)維時(shí)代的演進(jìn)數(shù)據(jù)庫智能運(yùn)維的分級(jí)騰訊云數(shù)據(jù)庫智能運(yùn)維的探索和實(shí)踐數(shù)據(jù)庫智能運(yùn)維時(shí)代的價(jià)值目錄Part 1數(shù)據(jù)庫智能運(yùn)維時(shí)代的演進(jìn)石器時(shí)代工具時(shí)代專家時(shí)代智能時(shí)代業(yè)務(wù) 驅(qū)動(dòng)開源 技術(shù) 驅(qū)動(dòng)單機(jī)少量集群 分散式管理單機(jī)大量集群 集中式管理分布式，多種類型集群 平臺(tái)化管理彈性、集約成本 云化管理成本和效率數(shù)據(jù)庫開源數(shù)據(jù)庫中間件 等組件開源數(shù)據(jù)庫運(yùn)維管 理平臺(tái)的建設(shè)KVM、K8s等虛擬化 技術(shù)開源和Tbase等 數(shù)據(jù)庫技術(shù)開源數(shù)據(jù)庫運(yùn)維-石器時(shí)代client Aclinet Bclient CDB ADB BDB C主要問題：業(yè)務(wù)不出問題就行了 主

2、要手段：人主要階段：知識(shí)積累階段數(shù)據(jù)庫運(yùn)維-工具時(shí)代鳥槍換鳥炮client Aclinet Bclient CDB ADB BDB C數(shù)據(jù)庫中間件主要問題：運(yùn)維效率問題 主要手段：人 + 腳本工具 主要階段：知識(shí)轉(zhuǎn)化生產(chǎn)力數(shù)據(jù)庫運(yùn)維-專家時(shí)代知識(shí)共享的時(shí)代數(shù)據(jù)庫實(shí)例自動(dòng)化管理日志監(jiān)控審計(jì)SQL服務(wù)服務(wù)服務(wù)自助主要問題：運(yùn)維效率，流程管理，資源成本 主要手段：人 + 腳本工具+平臺(tái)主要階段：知識(shí)共享時(shí)代，但還需要自己把知識(shí) 轉(zhuǎn)化為生產(chǎn)力數(shù)據(jù)庫運(yùn)維-智能時(shí)代云+智能的時(shí)代統(tǒng)一云管平臺(tái)主要問題：彈性，智能主要手段：人 + 腳本工具+云平臺(tái)+智能引擎 主要階段：數(shù)據(jù)庫能力和經(jīng)驗(yàn)共享全鏈路日志和監(jiān)控機(jī)器

3、學(xué)習(xí)和大數(shù)據(jù)分析專家經(jīng)驗(yàn)最大化輸出石器時(shí)代工具時(shí)代專家時(shí)代智能時(shí)代第一次數(shù)據(jù)集中公司內(nèi)：從分散管理到集中管理第二次數(shù)據(jù)集中行業(yè)內(nèi)：從云下到云上技術(shù)和能力共享的時(shí)代 請(qǐng)擁抱這個(gè)時(shí)代的到來Part 2數(shù)據(jù)庫智能運(yùn)維的分級(jí)數(shù)據(jù)庫智能運(yùn)維的分級(jí)人工參與運(yùn)維人工化運(yùn)維工具化基礎(chǔ)平臺(tái)化高級(jí)自動(dòng)化服務(wù)智能化Level 1智能運(yùn)維Level 4Level 3Level 2Level 0人工完成數(shù)據(jù)庫 的部署、監(jiān)控、 SQL上線、故障 處理等操作常用運(yùn)維操作腳 本化，通過腳本+預(yù)案的方式輔 助DBA進(jìn)行管理數(shù)據(jù)庫運(yùn)維平臺(tái) 具備基礎(chǔ)管控能 力的自動(dòng)化主要包括自動(dòng)化 部署、監(jiān)控、故 障切換、災(zāi)備、 上線等能力數(shù)據(jù)庫

4、運(yùn)維平臺(tái) 具備高級(jí)管控能 力的自動(dòng)化主要包括容量管 理、異常診斷、 數(shù)據(jù)審計(jì)、優(yōu)化 分析、流量管控 等能力服務(wù)完全由數(shù)據(jù) 庫系統(tǒng)接管，不 需要人工處理主要包括自適應(yīng)、 自修復(fù)、自優(yōu)化、 自決策等高度自 治的管理能力Part 3騰訊云數(shù)據(jù)庫智能運(yùn)維的探索 和實(shí)踐騰訊云數(shù)據(jù)庫智能運(yùn)維體系數(shù)據(jù)采集全量存儲(chǔ)數(shù)據(jù)加工計(jì)算智能實(shí)時(shí)診斷智能化數(shù)據(jù)庫管控平臺(tái)智能化決策引擎自適應(yīng)數(shù)據(jù)庫引擎訓(xùn)練數(shù)據(jù)深度強(qiáng)化學(xué)習(xí)配置推薦TencentDB自適應(yīng)自動(dòng)化自決策數(shù)據(jù)庫實(shí)例自動(dòng)化管理SQL自 助實(shí)日監(jiān)審例志控計(jì)管服服服理務(wù)務(wù)務(wù)度量指標(biāo)采集云數(shù)據(jù)庫自動(dòng)性能優(yōu)化系統(tǒng) CDBTuneAn End-to-End Automatic

5、 Cloud Database Tuning System Using Deep Reinforcement Learning- SIGMOD 2019用戶很難發(fā)現(xiàn)導(dǎo)致數(shù)據(jù)庫系統(tǒng)性能下降的原因并有效地解決對(duì)于擁有數(shù)十萬計(jì)用戶實(shí)例的云服務(wù)提供商來說，完全依賴數(shù) 據(jù)庫專家進(jìn)行數(shù)據(jù)庫參數(shù)調(diào)優(yōu)并不現(xiàn)實(shí)利用 AI 技術(shù)解決數(shù)據(jù)庫系統(tǒng)性能問題，為用戶及時(shí)地調(diào)整數(shù) 據(jù)庫系統(tǒng)參數(shù)，以保證數(shù)據(jù)庫的性能維持在一個(gè)較優(yōu)的狀態(tài)性能調(diào)優(yōu)結(jié)果首次全面超越數(shù)據(jù)庫專家在線性能調(diào)優(yōu)需要的時(shí)間最短，比otterTune快一倍降低學(xué)習(xí)門檻和提升調(diào)參效率基于時(shí)間序列的預(yù)測(cè)模型（Prophet）在容量管理上的應(yīng)用初始數(shù)據(jù)預(yù)測(cè)趨勢(shì)和 實(shí)

6、際結(jié)果的 對(duì)比累加回歸模型：y(t) = g(t)+s(t)+h(t)+etg(t)：growth(增長趨勢(shì))s(t)：seasonality（季節(jié)趨勢(shì)）h(t)：holidays（節(jié)假日對(duì)預(yù)測(cè)值的影響）et：為噪聲項(xiàng)對(duì)我們的價(jià)值：對(duì)客戶的價(jià)值：容量管理：知道在什么時(shí)間點(diǎn)進(jìn)行資源擴(kuò)容挖掘大客戶：發(fā)現(xiàn)未來需求量巨大的潛在客戶對(duì)自己使用的資源量進(jìn)行分析，提前預(yù)測(cè)在什么 時(shí)候需要進(jìn)行擴(kuò)容方便預(yù)算和資源配置騰訊智能化數(shù)據(jù)庫運(yùn)營管理平臺(tái)數(shù)據(jù)倉庫日志分析系統(tǒng)管控平臺(tái)健康報(bào)表DB實(shí)例DB實(shí)例DB實(shí)例DB實(shí)例宿主機(jī)宿主機(jī)DB狀態(tài)信息： 連接數(shù)，QPS，主 從延遲等DB系統(tǒng)信息： 表結(jié)構(gòu)，表索引SQL信息：歷史

7、SQL，SQL執(zhí) 行情況系統(tǒng)信息：Cpu、mem、io、 network元數(shù) 據(jù)鎖鎖等待慢查詢空間 資源會(huì)話主備切換主從延遲SQL優(yōu)化事務(wù)信息資源采集存儲(chǔ)索引分析展示故障預(yù)警故障自動(dòng)診斷歷史事件剖析優(yōu)化建議操作管理控制臺(tái) 自動(dòng)化專家知識(shí)庫積累降低DBA工作復(fù)雜 度，提升幸福感騰訊云智能運(yùn)維云化產(chǎn)品全局大盤展示實(shí)時(shí)異常診斷深度優(yōu)化分析安全威脅識(shí)別技術(shù)規(guī)避賦能風(fēng)險(xiǎn)提升移動(dòng)效率辦公騰訊云圖-一站式數(shù)據(jù)可視化平臺(tái)46款豐富組件24個(gè)擴(kuò)展大屏15種數(shù)據(jù)源12張行業(yè)模板零門檻設(shè)計(jì)，所 見即所得騰訊云圖-拖拽式自由布局，快速打造炫酷專業(yè)大屏Part 4 數(shù)據(jù)庫運(yùn)維智能時(shí)代的價(jià)值開源可控共享合作TencentDBTDSQL（Tencent Distributed SQL）TBaseCynosDBDBBrainMySQLSQLserverMongoDB RedisTDataCTSDBTcaplusDBDTSDatabase Expert Ser