天眼數(shù)字化應(yīng)用實時監(jiān)控解決方案

業(yè)務(wù)架構(gòu)師天眼-數(shù)字化應(yīng)用實時監(jiān)控解決方案目錄CONTENTS1建設(shè)背景思路2平臺整體概述3核心功能介紹建設(shè)背景思路01問題挑戰(zhàn)、體系支撐建設(shè)背景為打破各應(yīng)用系統(tǒng)監(jiān)控告警能力不足、工具重復(fù)建設(shè)、故障定位困難的現(xiàn)狀，提供統(tǒng)一的全層級、立體化的監(jiān)控工具支撐解決方案監(jiān)控覆蓋多層級監(jiān)控覆蓋難多層級數(shù)據(jù)共享難多層級監(jiān)控聯(lián)動難架構(gòu)演進前后端分離監(jiān)控微服務(wù)拓撲復(fù)雜中臺架構(gòu)定位難監(jiān)控告警告警渠道不統(tǒng)一告警處理不及時告警處理不閉環(huán)運維生態(tài)運維工具分散工具重復(fù)建設(shè)分層運維割裂問題挑戰(zhàn)SRE體系支撐為客戶提供端到端工具覆蓋，全流程閉環(huán)貫通的數(shù)字化應(yīng)用實時監(jiān)控解決方案，提高運維效率，降低運維成本，提升用戶感知故障發(fā)現(xiàn)監(jiān)控告警常規(guī)巡檢用戶反饋輿情感知智能預(yù)測故障定位日志分析監(jiān)控分析鏈路跟蹤變更追蹤根因定位故障恢復(fù)容災(zāi)切換服務(wù)降級熔斷限流作業(yè)處理故障自愈建設(shè)/演練/OnCall復(fù)盤/改進/OnCall應(yīng)急響應(yīng)Pre-MTBFMTBF故障預(yù)防災(zāi)備演練應(yīng)急預(yù)案容量評估變更管理健康檢查Post-MTBFMTBF故障改進故障復(fù)盤改進驗收容量壓測故障模擬混沌工程MTTI MTTK MTTF MTTVMTTR故障驗證告警恢復(fù)業(yè)務(wù)驗證接口驗證驗證反饋業(yè)務(wù)統(tǒng)計平臺整體概述02功能方案、技術(shù)架構(gòu)監(jiān)控指標微服務(wù)監(jiān)控三大核心融合貫通：基于Metrics的告警發(fā)現(xiàn)異常，通過Tracing定位問題模塊，根據(jù)模塊具體的Logging定位到錯誤根源MetricsTracingLogging天眼請求范圍內(nèi)的拓撲追蹤系統(tǒng)各維度的度量指標記錄處理的離散事件信息監(jiān)控層級天眼應(yīng)用實時監(jiān)控提供IaaS、PaaS、SaaS全層級監(jiān)控能力，用戶可快速實現(xiàn)監(jiān)控接入，告警事件閉環(huán)管理，為系統(tǒng)日常生產(chǎn)運行提供保障調(diào)用量、響應(yīng)時間、TPS服務(wù)KONG、LB、MQ等中間件RDS、ES、REIDS等數(shù)據(jù)庫CPU、內(nèi)存容器CPU、內(nèi)存、磁盤、IO主機域名流量、機房流量網(wǎng)絡(luò)用戶發(fā)展量、工單積壓量業(yè)務(wù)天眼指標體系分類基礎(chǔ)資源通用組件服務(wù)應(yīng)用業(yè)務(wù)監(jiān)控全流程調(diào)用鏈智能監(jiān)控告警平臺APP性能監(jiān)控瀏覽器監(jiān)控自動化巡檢全層級監(jiān)控前端觸點日志中心&業(yè)務(wù)數(shù)據(jù)技術(shù)架構(gòu)Marathon微前端用戶中心權(quán)限中心……Marathon

A(租戶1)告警中心Marathon

B

(租戶2)配置中心Marathon

C

(租戶3)數(shù)據(jù)存儲數(shù)據(jù)采集PrometheusFilebeatPinpointSDK天宮資源池Apache

Mesos天梯JSAgent數(shù)據(jù)處理KafkaFlinkMysqlRedisClickHouseElasticSearchHbase核心功能介紹03生產(chǎn)運營工作臺、應(yīng)用實時監(jiān)控天眼-生產(chǎn)運營工作臺統(tǒng)一生產(chǎn)運營入口，運維工具一點使用，PC+移動多終端處理，工具共建、能力共享、協(xié)同研發(fā)，實現(xiàn)“平臺+應(yīng)用”快速能力交付，構(gòu)建“企業(yè)運維生態(tài)”統(tǒng)一規(guī)劃統(tǒng)一架構(gòu)統(tǒng)一風(fēng)格統(tǒng)一登錄統(tǒng)一權(quán)限統(tǒng)一能力生產(chǎn)運營工作臺-技術(shù)架構(gòu)客戶端單點登錄主應(yīng)用工作臺首頁子應(yīng)用網(wǎng)關(guān)層網(wǎng)關(guān)代理認證鑒權(quán)控制限流天眼-應(yīng)用實時監(jiān)控-智能監(jiān)控告警平臺提供IaaS、PaaS、SaaS全層級監(jiān)控能力，支持全流程可視化配置，具備多樣化告警通知方式，實現(xiàn)告警工單閉環(huán)管理采集管理：標準組件采集、私有倉庫接入、自定義指標采集監(jiān)控配置：告警規(guī)則、收斂條件、告警內(nèi)容靜默管理：支持全量、監(jiān)控點、監(jiān)控實例多維度靜默告警處理：雙終端工單處理、工單閉環(huán)管理告警大屏：系統(tǒng)監(jiān)控告警全景圖、告警工單處理進度告警詳情：租戶采集任務(wù)、監(jiān)控實例、告警分析智能監(jiān)控告警平臺-技術(shù)架構(gòu)埋點采集層ExporterExporterExporterExporter數(shù)據(jù)采集Prometheus聯(lián)邦指標數(shù)據(jù)數(shù)據(jù)存儲層指標數(shù)據(jù)Prometheus時序數(shù)據(jù)InfluxDb關(guān)系數(shù)據(jù)MySQL數(shù)據(jù)服務(wù)層 網(wǎng)關(guān)層OpenAPI告警靜默配置

租戶數(shù)據(jù)關(guān)系Etcd MongoDBWeb網(wǎng)關(guān)配置版本管理 告警收斂Gitlab AlertManager 外部接口觸點層展現(xiàn)告警天眼生產(chǎn)運營工作臺統(tǒng)一門戶 租戶隔離 數(shù)據(jù)安全 智能配置天眼-應(yīng)用實時監(jiān)控-全流程調(diào)用鏈可視化頁面自由配置，萬級微服務(wù)自動拓撲，根因服務(wù)定位一目了然服務(wù)拓撲故障拓撲天眼-應(yīng)用實時監(jiān)控-全流程調(diào)用鏈百億級指標采集處理，黃金指標：調(diào)用量、響應(yīng)時間、成功率服務(wù)調(diào)用趨勢、報錯分類、根因服務(wù)、根因接口、JVM、GC指標數(shù)據(jù)根因分析天眼-應(yīng)用實時監(jiān)控-瀏覽器監(jiān)控前端性能實時呈現(xiàn)，客戶感知精準展現(xiàn)，故障異常及時發(fā)現(xiàn)頁面性能分析頁面彈窗分析js錯誤分析ajax分析天眼-應(yīng)用實時監(jiān)控-瀏覽器監(jiān)控跟蹤真實用戶行為，用戶軌跡實時追蹤，多維度統(tǒng)計對比分析對比分析用戶軌跡調(diào)用鏈&瀏覽器-技術(shù)架構(gòu)接入處理層消息隊列Kafka數(shù)據(jù)處理Flink存儲服務(wù)層 網(wǎng)關(guān)層OpenAPI關(guān)系數(shù)據(jù) 緩存數(shù)據(jù)MySQL RedisWeb網(wǎng)關(guān)圖形數(shù)據(jù) 指標數(shù)據(jù)