TDSQL自動化運營體系概述

1、TDSQL自動化運營體系概述第一章 TDSQL自動化運營體系第二章 TDSQL日常事務處理自動化第三章 TDSQL故障分析自動化 第四章 總結(jié)01第一章：TDSQL自動化運營體系021.1 DBA的日常工作1.3 TDSQL自動化的后臺處 理流程1.2 TDSQL自動化運營平臺-赤兔1.1 DBA的日常工作031.2 TDSQL自動化運營平臺-赤兔04自 動 化 流 程日常類事務數(shù)據(jù)庫運營平臺-赤兔TDSQL集群創(chuàng)建實例權(quán)限申請DDL 實例下線參數(shù)調(diào)整擴容讀寫分離重做備機備份手工切換在線SQL問題診斷故障類事務性能分析數(shù)據(jù)回檔告警策略調(diào)整異常監(jiān)控/告警自動容災切換日常巡檢1.3 TDSQL自動

2、化的后臺處理流程05赤兔管理臺OSSOSSOSSMetaCluster負載均衡監(jiān)控采集SQL引擎SQL引擎SQL引擎schedulerSet2主 Agent+MySQL從1從NSet1主 Agent+MySQL從1從N扁鵲onlineddl第二章：TDSQL日常事務處理自動化062.1 重做DB節(jié)點2.3 自動化的安全性保障2.2 在線DDL2.1 重做DB節(jié)點07發(fā)起重做加載鏡像赤兔主節(jié)點保護實時顯示節(jié) 點狀態(tài)重裝DB刪除限速自動拉取DB參 數(shù)拉取鏡像選擇最優(yōu)數(shù)據(jù)源拉取進程互斥壓縮加速建立同步自動確認同步點自動恢復同步TDSQL2.1 重做DB節(jié)點-案例082.2 在線DDL09DDL赤兔自

3、定義開始時間拷貝數(shù)據(jù)備機延遲檢測活躍鏈接檢測切表切表加鎖檢測和保護切表模式自由選擇TDSQL2.2 在線DDL-案例102.3 自動化的安全性保障11權(quán)限申請onlineddl實例下線切表加鎖保護防密碼覆蓋隔離定時刪除重做DB節(jié)點擴容備份模式自主選擇/路由切換回退主節(jié)點保護互斥檢測/加鎖保護第三章：TDSQL故障分析自動化123.1 如何提升故障 定位能力3.3 扁鵲-DB可用 性分析3.2 TDSQL故障自 動化分析平臺-扁 鵲3.5 扁鵲-DB可靠 性分析3.4 扁鵲-DB性能 分析3.1 如何提升故障定位能力13DBA故障分析 經(jīng)驗沉淀智能分析平臺- 扁鵲3.2 TDSQL故障自動化分析

4、平臺-扁鵲14其他分析性能分析可靠性分析可用性分析字符集問題導數(shù)據(jù)失敗SQL頻率統(tǒng)計ELK熱點表鎖等待大事務長事務SQL不合理無法利用索引索引缺失監(jiān)控異常分析無主鍵表表數(shù)據(jù)空間慢查詢優(yōu)化體檢報告冗余索引myisam表死鎖資源消耗統(tǒng)計主備切換根 因分析SQL審計日志分析sql,事務時耗Sql優(yōu)化，審查show slave status 表結(jié)構(gòu)innodb事務信息 表processlistInnodb statusDB系統(tǒng)信息快照DB歷史監(jiān)控庫OS監(jiān)控SQL執(zhí)行時耗ClientIP請求時間戳慢查詢時間性能指標 key- time - value主備切換時間點TOPiotopiostatvmstat

5、異常事務風險SQL主備延遲分析歷史TOP 慢SQL歷史TOP 慢SQL用戶輸入 SQL慢查詢并發(fā)3.3 扁鵲-DB可用性分析15仲裁agentM備探活agentM備探活agentM主探活同步同步探活：模擬用戶請求3.3 扁鵲-DB可用性分析16 故障分類機器故障DB重啟資源耗盡 數(shù)據(jù)采集Db系統(tǒng)信息快照DB歷史監(jiān)控庫OS監(jiān)控 故障分析磁盤日志分析磁盤IO性能分析磁盤使用率DB啟動時間DB core文件磁盤IO分析線程池狀態(tài)分析大事務分析 可用性可用性問題主DB agent探活失敗業(yè)務主DB探活心跳agent備DBbinlogrelaylo g刪除1000W行等待故障特征心跳寫入超時產(chǎn)生大bin

6、log文件Innodb影響行數(shù) 突增大量事務 prepared狀態(tài)3.3 扁鵲-DB可用性分析-大事務173.3 扁鵲-DB可用性分析-大事務183.4 扁鵲-DB性能分析19 故障分類網(wǎng)絡延遲SQL問題系統(tǒng)資源鎖等待 數(shù)據(jù)采集DB系統(tǒng)信息快照DB歷史監(jiān)控庫OS監(jiān)控 故障分析網(wǎng)卡流量分析網(wǎng)絡延遲波動索引分析SQL分析cpu使用率分析IO使用率分析Swap使用分析事務鎖等待分析事務時耗分析 可用性性能問題SQL執(zhí)行慢3.4 扁鵲-DB性能分析-鎖等待20會話2會話1等待分析時間點1：分析DB當前鎖等待狀態(tài)分析information_ schema庫下表： innodb_ trx innodb_

7、lock_ waits innodb_ locks 得到會話之間鎖等待的依賴關(guān)系， 找到會 話1持有鎖而未提交 時間 會話1 會話2 00:00:00 begin begin 00:00:01 update t set value=a1 where id=1. 00:00:02 update t set value=a2 where id=2 (會話阻塞) 00:00:20分析時間點1 00:01:10 commit 00:02:00分析時間點23.4 扁鵲-DB性能分析-鎖等待213.4 扁鵲-DB性能分析-鎖等待22分析時間點2：會話1已經(jīng)commit，事后分析故障特征會話2更新表t超時 時間點time1會話X的事務在時間點time1持 有t表的行鎖SQL日志按客戶端ip:port聚合 還原事務語法解析分析事務中訪問表的方式,是 否 可 能 持 有 鎖 select/update/分析事務 開啟/提交時間提前事務信息事務執(zhí)行時間事務持鎖列表事務SQL執(zhí)行間隔事務耗時3.4 扁鵲-DB性能分析-鎖等待233.5 扁鵲-DB可靠性分析24系統(tǒng)狀態(tài)表空間分布冗余索引死鎖診斷鎖等待診斷慢查詢分析DB狀態(tài)檢查表檢查25