數(shù)據(jù)庫智能運(yùn)維體系建設(shè)實(shí)踐

1、數(shù)據(jù)庫智能運(yùn)維（含手機(jī)移動(dòng)端遠(yuǎn)程運(yùn)維）實(shí)踐技術(shù)創(chuàng)新，變革未來1運(yùn)維體系總覽2移動(dòng)運(yùn)維流程3移動(dòng)運(yùn)維功能4移動(dòng)運(yùn)維技術(shù)目 錄CONTENTS5數(shù)據(jù)庫運(yùn)維小結(jié)01主題一運(yùn)維體系建設(shè)數(shù)據(jù)庫運(yùn)維要素與移動(dòng)運(yùn)維運(yùn)維要素構(gòu)成SQL審核要具備SQL審核工具。數(shù)據(jù)備份體系完善的時(shí)時(shí)數(shù)據(jù)備份體系。數(shù)據(jù)庫可恢復(fù)體系可基于任意歷史時(shí)間點(diǎn)的數(shù)據(jù)恢復(fù)。多中心敏態(tài)無感切換單中心數(shù)據(jù)庫節(jié)點(diǎn)故障自動(dòng)快速接管。數(shù)據(jù)庫運(yùn)維與監(jiān)控平臺(tái)完善的數(shù)據(jù)庫運(yùn)維與監(jiān)控平臺(tái)。移動(dòng)運(yùn)維平臺(tái)移動(dòng)端快速遠(yuǎn)程運(yùn)維。運(yùn)維要素0102銀行不僅實(shí)現(xiàn)電腦端運(yùn)維，也 在慢慢嘗試實(shí)現(xiàn)遠(yuǎn)程移動(dòng)APP 運(yùn)維，確保發(fā)生故障時(shí)能夠進(jìn) 行遠(yuǎn)程快速定位與干預(yù)。手機(jī)端APP工具

2、目標(biāo)是能夠 實(shí)現(xiàn)數(shù)據(jù)庫遠(yuǎn)程快速巡檢、 健康檢測(cè)、故障定位、問題處置、故障現(xiàn)場(chǎng)歷史 回溯等。處理告 警手機(jī)回溯檢測(cè)定位無論何時(shí)、何地皆可運(yùn)維設(shè)計(jì)理念巡檢案例DB魔方模塊構(gòu)成DB魔方檢索快速匹配數(shù)據(jù)庫DB魔方區(qū)域診斷區(qū)域內(nèi)快掃，確定問題點(diǎn)DB魔方一鍵式診斷對(duì)問題點(diǎn)進(jìn)行詳細(xì)診斷DB魔方問題處理診斷出的問題進(jìn)行處理DB魔方歷史回溯回溯過往歷史故障現(xiàn)場(chǎng)DB魔方報(bào)表快速日常巡檢02主題二移動(dòng)運(yùn)維流程DB魔方流程實(shí)現(xiàn)過往現(xiàn)場(chǎng)分析 過往事件分析 過往執(zhí)行軌跡 過往資源阻塞 過往SQL情況流程要標(biāo)準(zhǔn)化、要簡(jiǎn)潔，要直觀、要高效；工具要有智能分析、要有歷史趨勢(shì)對(duì)比、要能分析能處理問題。須多重認(rèn)證、前后端分離、內(nèi)外網(wǎng)

3、分離、手機(jī)移動(dòng)端與配置 管理端（電腦端）分離、輕手機(jī)端重電腦端、配置數(shù)據(jù)加密、最小授權(quán)原則。高效簡(jiǎn)單要降低使用者具備的技術(shù)水準(zhǔn)，運(yùn)維與問題處理不需要個(gè)人臨場(chǎng)發(fā)揮，要將成型的標(biāo)準(zhǔn)化故障診斷和處置流程固化到工具中。事安故全03主題三移動(dòng)運(yùn)維功能DB魔方特色功能與設(shè)計(jì)理念高效 直觀 便捷高效便捷直觀良好的使用體驗(yàn)無人工輸入指令 操作，傻瓜式選 擇與點(diǎn)擊操作當(dāng)前、歷史、趨 勢(shì)分析等全圖形 化直觀顯示所有操作（含報(bào)表） 秒級(jí)出結(jié)果標(biāo)準(zhǔn)化日常巡檢故障處理故障定位團(tuán)隊(duì)運(yùn)維智能 容量 解析容量智能分析，自動(dòng)評(píng)估 空間增長(zhǎng)情況，并自動(dòng)測(cè) 算剩于空間可用天數(shù)。案例疑問要點(diǎn)分析一般設(shè)計(jì)理念是容量空間利用率80%要預(yù)

4、警，50%不預(yù)警。 DB魔方設(shè)計(jì)理念是空間利用率80%不一定預(yù)警，50%也不 一定不告警。內(nèi)嵌容量分析模塊，依據(jù)最近空間平均天增長(zhǎng)來計(jì)算 空間增長(zhǎng)情況，并計(jì)算剩于空間能夠支撐業(yè)務(wù)數(shù)據(jù)存 儲(chǔ)天數(shù)。能計(jì)算、能分析、能告警且給運(yùn)維人員充足的變更窗口； 能勾畫空間容量歷史運(yùn)行曲線。容量解析智能 容量 解析問題 根源 解析問題預(yù)警，根源交互式深度挖掘， 問題定位與問題處理聯(lián)動(dòng)。案例案例1234第三者認(rèn)證，敏感操作彈出窗口再次確認(rèn)問題 根源 解析自動(dòng)過濾后臺(tái)進(jìn)程與高危操作全程菜單式選擇，無需輸入指令自動(dòng)檢測(cè)前置條件，后臺(tái)自動(dòng)處理，避免誤操作案例性能監(jiān)測(cè)理論SQL感知要能夠感知執(zhí)行頻繁的SQL。SQL成本要

5、能夠計(jì)算與記錄SQL執(zhí)行成本。SQL時(shí)間要能夠計(jì)算與記錄SQL執(zhí)行時(shí)間。SQL執(zhí)行計(jì)劃要能夠解析SQL執(zhí)行計(jì)劃。SQL歷史比較要能夠?qū)Ρ萐QL歷史運(yùn)行情況。SQL歷史效率曲線要能夠依據(jù)SQL運(yùn)行歷史勾畫效率曲線。性能要素性能監(jiān)測(cè)解析SQL智能分析：能挖掘、能分析、能畫歷 史性能曲線、能生成優(yōu)化建議、能進(jìn)行人 工緊急干預(yù)。原理：交易時(shí)間在0.03至 0.05秒時(shí)間，當(dāng)交易時(shí)間 逐步變慢時(shí)但又未造成交 易超時(shí)即告警，做到提前 感知與性能告警。演示手機(jī) 報(bào)表 解析報(bào)表解析：電腦收集數(shù)據(jù)，電腦后臺(tái)定時(shí)計(jì)算報(bào)表，手機(jī)展示結(jié)果，確保高效，秒級(jí)返回。手機(jī) 報(bào)表解析案例04主題四移動(dòng)運(yùn)維技術(shù)數(shù)據(jù)庫移動(dòng)APP技

6、術(shù)架構(gòu)與算法實(shí)現(xiàn)總體技術(shù)架構(gòu)X86存儲(chǔ)X86存儲(chǔ)X86存儲(chǔ)存儲(chǔ)存儲(chǔ)X86存儲(chǔ)存儲(chǔ)存儲(chǔ)存儲(chǔ)存儲(chǔ)存儲(chǔ)存儲(chǔ)同城數(shù)據(jù)中心A同城數(shù)據(jù)中心B存 儲(chǔ) 層存儲(chǔ)存儲(chǔ)X86存儲(chǔ)X86存儲(chǔ)APP1APP2中間件中間件APP3APP4中件件中間件應(yīng) 用 層中 件 件 層F5/LVSF5/LVS數(shù)據(jù)庫4節(jié)點(diǎn)集群數(shù)據(jù)庫1節(jié)點(diǎn)數(shù)據(jù)庫2節(jié)點(diǎn)數(shù)據(jù)庫3節(jié)點(diǎn)數(shù)據(jù)庫4節(jié)點(diǎn)數(shù) 據(jù) 庫 層寫讀寫讀應(yīng)用 層技 術(shù)實(shí) 現(xiàn)數(shù)據(jù) 層技 術(shù)實(shí) 現(xiàn)A數(shù)據(jù)中心（遠(yuǎn)距離雙樓宇）B數(shù)據(jù)中心DB魔方數(shù)據(jù)層（配置數(shù)據(jù)庫）技術(shù)架構(gòu)數(shù)據(jù) 層技 術(shù)實(shí) 現(xiàn)DB魔方數(shù)據(jù)層（歷史數(shù)據(jù)庫）技術(shù)架構(gòu)A數(shù)據(jù)中心B數(shù)據(jù)中心容量 累計(jì) 算法246531空間利用率按平均增長(zhǎng)率計(jì)算天

7、數(shù) T=S / V按照最近一天增 長(zhǎng)計(jì)算天數(shù)T=S/V按照幾天內(nèi)高/低水位的平均 水位差計(jì)算浮動(dòng)風(fēng)險(xiǎn)T=S/V按照最近加速度計(jì)算 可用天數(shù)S=V0t+1/2at累計(jì)亮燈系數(shù)， 系數(shù)越高，容量 風(fēng)險(xiǎn)越高容量 多維 累計(jì) 算法性能 關(guān)聯(lián) 算法246531SQL執(zhí)行時(shí)間變化SQL執(zhí)行成本變化CBO COST綜合體SQL執(zhí)行計(jì)劃與執(zhí) 行軌跡變化SQL執(zhí)行計(jì)劃變化與執(zhí)行 時(shí)間變慢同時(shí)發(fā)生SQL執(zhí)行成本變化與 執(zhí)行時(shí)間變慢同時(shí)發(fā) 生僅發(fā)生SQL執(zhí)行時(shí) 間變慢情況性能 多維 關(guān)聯(lián) 算法資源 高水 位算法部分資源要素算法特例（高水位）客戶連接或數(shù)據(jù)庫連接到達(dá)的高水位，確定數(shù)據(jù)庫連接相關(guān) 資源參數(shù)配置容量風(fēng)險(xiǎn)度

8、。主備庫數(shù)據(jù)復(fù)制延遲高水位，衡量當(dāng)前架構(gòu)模式的最大數(shù)據(jù) 復(fù)制容災(zāi)風(fēng)險(xiǎn)。排序堆、UNDO表空間真實(shí)使用高水位線，確定數(shù)據(jù)庫排序 與UNDO資源容量風(fēng)險(xiǎn)度其他類，因系統(tǒng)不同有所區(qū)別，比如最長(zhǎng)事務(wù)時(shí)間，最大表、碎片最多的表等ABCD數(shù)據(jù)庫連 接參數(shù)數(shù)據(jù)復(fù)制 延遲排序、UNDO資源其他類歷史 回溯 技術(shù) 要點(diǎn)數(shù)據(jù)庫過往現(xiàn)場(chǎng)場(chǎng)景要素采集數(shù)據(jù)庫進(jìn)程或線 程，已及客戶端運(yùn)行 信息采集主機(jī)資源、存儲(chǔ) 資源、數(shù)據(jù)庫資源使 用信息采集資源阻塞、等待、 鎖情況等數(shù)據(jù)庫反生 的事件信息SQL執(zhí)行時(shí)間、成本、執(zhí)行計(jì)劃信息進(jìn)程信息事件信息資源信息SQL信息安全 技術(shù) 實(shí)現(xiàn)01020304移動(dòng)運(yùn)維 安全技術(shù) 控制獨(dú)立管理平

9、臺(tái)內(nèi)外網(wǎng)分割，配置數(shù)據(jù)管理、自動(dòng)定期 改密、用戶權(quán)限管理等通過獨(dú)立于手機(jī)端的第三方平臺(tái) 進(jìn)行操作。配置數(shù)據(jù)加密-數(shù)據(jù)庫涉及生產(chǎn)配置（如連接用戶名、密 碼、IP地址、端口等）全部加密存儲(chǔ)與傳輸。用戶權(quán)限控制-移動(dòng)端僅限數(shù)據(jù)庫軟件自身診斷、運(yùn)維與 報(bào)表查詢，不涉及任何業(yè)務(wù)數(shù)據(jù)維護(hù)操作。程序用戶只 授予字典視圖權(quán)限。第三者授權(quán)-在進(jìn)入手機(jī)端問題處理模塊時(shí)需要第三者授權(quán)，驗(yàn)證通過后方可進(jìn)行問題應(yīng)急處理。05主題五移動(dòng)運(yùn)維小結(jié)數(shù)據(jù)庫移動(dòng)APP運(yùn)維小結(jié)1234工具化移動(dòng)APP運(yùn)維平臺(tái)是建立在監(jiān)控、巡檢、診斷與問題處理標(biāo)準(zhǔn)化基礎(chǔ)之上的標(biāo)準(zhǔn)工具化。標(biāo)準(zhǔn)化團(tuán)隊(duì)運(yùn)維工具標(biāo)準(zhǔn)化之后，確保運(yùn)維質(zhì)量在整個(gè)運(yùn)維團(tuán)體保持一致，不因個(gè)人運(yùn)維 水平或團(tuán)隊(duì)人員變動(dòng)產(chǎn)生差異。解放自我創(chuàng)新工具化建設(shè)，提升運(yùn)維工作效率，解