AIOps數(shù)據(jù)庫自動化運維實踐

1、AIOps數(shù)據(jù)庫自動化運維實踐技術(shù)創(chuàng)新，變革未來1傳統(tǒng)數(shù)據(jù)庫運維在蘇寧面臨的問題2DBA團隊和研發(fā)中心的痛點傳統(tǒng)數(shù)據(jù)庫運維在蘇寧面臨的問題數(shù)據(jù)庫實例數(shù)高速增長，部分核心項目需要持續(xù)鎖定DBA資源性能優(yōu)化工作無法有效推進， 復(fù)雜故障很難快速恢復(fù)和回溯原因集團對于系統(tǒng)可靠性的要求， 如何滿足4個9？DBA不可避免地在做一些重復(fù)勞動，部分工單響應(yīng)時間和處理質(zhì)量開始下降0203040501人員穩(wěn)定性和持續(xù)發(fā)展問題研發(fā)中心的痛點完全與生產(chǎn)環(huán)境隔離，不了解數(shù)據(jù)庫健康狀況，對數(shù)據(jù)庫 的優(yōu)化無從下手痛傳統(tǒng)監(jiān)控手段只能看到告警信息，無法獲得有效的指標(biāo)預(yù)警 和專業(yè)建議 痛各種諸如數(shù)據(jù)導(dǎo)出、SQL發(fā)布、元數(shù)據(jù)/配置

2、查詢等數(shù)據(jù)庫操 作需求需要DBA人肉配合，溝通和等待成本高運維事件對研發(fā)中心不透明，如備份時段變化、參數(shù)歷史版 本、遷移記錄、拓撲變化、近期錯誤信息等等 痛痛痛測試環(huán)境運行良好的SQL在生產(chǎn)環(huán)境中可能會出現(xiàn)性能問題事件感知基于多場景分析，智能聚合報警及趨勢相關(guān)信息， 實時預(yù)警事件。大數(shù)據(jù)決策實時事件分析輔以歷史事件分析，即時定位問題，預(yù)測未來事件，生成止損方案。AIOps離線計算實時計算事件預(yù)警智能決策DevOps到AIOps的思考自動化執(zhí)行不斷完善的事件處理引擎，提供全場景變更和 故障的自動化執(zhí)行能力。DevOps到AIOps的思考AIOps離線計算實時計算事件預(yù)警智能決策離線計算 歷史歷史

3、數(shù)據(jù)分析，多維度數(shù)據(jù)挖掘故障分析，生成時間軸，知識庫生成報表展示，問題回溯，熱點分析數(shù)據(jù)庫健康風(fēng)險模型訓(xùn)練機器學(xué)習(xí)，規(guī)則自我優(yōu)化實時計算 當(dāng)前秒級監(jiān)控，告警聚合，事件生成異常判斷，鄰近比對，決策發(fā)起事件預(yù)警 未來容量預(yù)測故障預(yù)測趨勢預(yù)測1平臺定位2開發(fā)資源3基礎(chǔ)環(huán)境標(biāo)準(zhǔn)化4平臺架構(gòu)平臺定位日常運維管理元數(shù)據(jù)服務(wù)SQL解析和執(zhí)行引擎自動告警處理Real-Time監(jiān)控分析只有DBA清楚自己的痛點，也只有DBA清楚研發(fā) 中心的痛點DBA知道雙方未來需要什么，更需要在數(shù)據(jù)庫自治趨勢下思考轉(zhuǎn)型!重要的是能絕對把控需求實現(xiàn)的細節(jié)和開發(fā)進度，溝通 成本低、資源利用率高，并且前期快速實現(xiàn)必然帶來后期 重構(gòu)的問

4、題，對于這一點單個團隊內(nèi)部看法容易統(tǒng)一。開發(fā)資源為什么要DBA自研發(fā)？基礎(chǔ)環(huán)境標(biāo)準(zhǔn)化存在的問題架構(gòu)不一，新老環(huán)境并存OS環(huán)境不統(tǒng)一數(shù)據(jù)庫規(guī)模龐大，且仍在快速增長自身對于環(huán)境的適應(yīng)agent要求自動部署，自動升級，腳本實現(xiàn)自動分發(fā)兼容現(xiàn)網(wǎng)各類數(shù)據(jù)庫的主流版本，OS環(huán)境自動修復(fù)監(jiān)控數(shù)據(jù)要求分級分頻、高準(zhǔn)確性，對系統(tǒng)無侵入要能和蘇寧現(xiàn)有平臺聯(lián)動，且提供標(biāo)準(zhǔn)化接口服務(wù)平臺架構(gòu)1面向DBA2面向研發(fā)中心3對大促的支持支持多數(shù)據(jù)庫類型面向DBA面向DBA參數(shù)管理備份管理自動切換 一鍵遷移 一鍵擴縮容自動告警處理智能調(diào)度&限速/斷點續(xù)傳面向DBA數(shù)據(jù)庫性能指標(biāo)秒級監(jiān)控趨勢分析TopSQL分析面向DBA大數(shù)據(jù)

5、輔助運維決策變量監(jiān)控 故障預(yù)測自動化資源調(diào)整面向DBASQL語句全量追蹤執(zhí)行效率變化捕獲 自動優(yōu)化建議呈現(xiàn)自研解析工具SSE解決PT的效率問題面向研發(fā)中心面向研發(fā)中心系統(tǒng)級元數(shù)據(jù)API實時數(shù)據(jù)字典面向研發(fā)中心全面的數(shù)據(jù)庫性能分析報告智能優(yōu)化建議面向研發(fā)中心SQL執(zhí)行計劃實時解析異常SQL報表索引和規(guī)則優(yōu)化建議面向研發(fā)中心預(yù)發(fā)布SQL審計行級數(shù)據(jù)備份自動發(fā)布/回滾秒級監(jiān)控海量數(shù)據(jù)分布存儲使用最新大數(shù)據(jù)分布式技術(shù)，自開發(fā)數(shù)據(jù)轉(zhuǎn)發(fā)層服務(wù)， 解決數(shù)據(jù)采集秒級頻度和海量存儲的問題實時智能分析性能問題第一時間精準(zhǔn)定位依托storm實時流式計算，實時性能問題告警；輔以離線性能分析，資源預(yù)警定時送達對大促的支持?jǐn)?shù)據(jù)采集架構(gòu)1智能大盤/事件感知2SQL全量追蹤3自動優(yōu)化建議4故障預(yù)測/告警自動處理5AIOps決策探索DBRTMP 突變捕獲DBRTMP 自動告警處理平臺DBRTMP 自動告警處理平臺DBRTMP 告警自動處理平臺DBRTMP 告警自動處理平臺SQL全量追蹤SQL全量追蹤SQL優(yōu)化器AIOps決策探索AIOps決策探索AIOps決策探索AIOps決策探索離線計算中，利用海量SQL 掃描行數(shù)和執(zhí)行時間的數(shù)據(jù) 不斷進行訓(xùn)練，得到單個 SQL ID的歷史效