天眼數(shù)字化應(yīng)用實(shí)時(shí)監(jiān)控解決方案

業(yè)務(wù)架構(gòu)師天眼-數(shù)字化應(yīng)用實(shí)時(shí)監(jiān)控解決方案目錄CONTENTS1建設(shè)背景思路2平臺(tái)整體概述3核心功能介紹建設(shè)背景思路01問(wèn)題挑戰(zhàn)、體系支撐建設(shè)背景為打破各應(yīng)用系統(tǒng)監(jiān)控告警能力不足、工具重復(fù)建設(shè)、故障定位困難的現(xiàn)狀，提供統(tǒng)一的全層級(jí)、立體化的監(jiān)控工具支撐解決方案監(jiān)控覆蓋多層級(jí)監(jiān)控覆蓋難多層級(jí)數(shù)據(jù)共享難多層級(jí)監(jiān)控聯(lián)動(dòng)難架構(gòu)演進(jìn)前后端分離監(jiān)控微服務(wù)拓?fù)鋸?fù)雜中臺(tái)架構(gòu)定位難監(jiān)控告警告警渠道不統(tǒng)一告警處理不及時(shí)告警處理不閉環(huán)運(yùn)維生態(tài)運(yùn)維工具分散工具重復(fù)建設(shè)分層運(yùn)維割裂問(wèn)題挑戰(zhàn)SRE體系支撐為客戶提供端到端工具覆蓋，全流程閉環(huán)貫通的數(shù)字化應(yīng)用實(shí)時(shí)監(jiān)控解決方案，提高運(yùn)維效率，降低運(yùn)維成本，提升用戶感知故障發(fā)現(xiàn)監(jiān)控告警常規(guī)巡檢用戶反饋輿情感知智能預(yù)測(cè)故障定位日志分析監(jiān)控分析鏈路跟蹤變更追蹤根因定位故障恢復(fù)容災(zāi)切換服務(wù)降級(jí)熔斷限流作業(yè)處理故障自愈建設(shè)/演練/OnCall復(fù)盤(pán)/改進(jìn)/OnCall應(yīng)急響應(yīng)Pre-MTBFMTBF故障預(yù)防災(zāi)備演練應(yīng)急預(yù)案容量評(píng)估變更管理健康檢查Post-MTBFMTBF故障改進(jìn)故障復(fù)盤(pán)改進(jìn)驗(yàn)收容量壓測(cè)故障模擬混沌工程MTTI MTTK MTTF MTTVMTTR故障驗(yàn)證告警恢復(fù)業(yè)務(wù)驗(yàn)證接口驗(yàn)證驗(yàn)證反饋業(yè)務(wù)統(tǒng)計(jì)平臺(tái)整體概述02功能方案、技術(shù)架構(gòu)監(jiān)控指標(biāo)微服務(wù)監(jiān)控三大核心融合貫通：基于Metrics的告警發(fā)現(xiàn)異常，通過(guò)Tracing定位問(wèn)題模塊，根據(jù)模塊具體的Logging定位到錯(cuò)誤根源MetricsTracingLogging天眼請(qǐng)求范圍內(nèi)的拓?fù)渥粉櫹到y(tǒng)各維度的度量指標(biāo)記錄處理的離散事件信息監(jiān)控層級(jí)天眼應(yīng)用實(shí)時(shí)監(jiān)控提供IaaS、PaaS、SaaS全層級(jí)監(jiān)控能力，用戶可快速實(shí)現(xiàn)監(jiān)控接入，告警事件閉環(huán)管理，為系統(tǒng)日常生產(chǎn)運(yùn)行提供保障調(diào)用量、響應(yīng)時(shí)間、TPS服務(wù)KONG、LB、MQ等中間件RDS、ES、REIDS等數(shù)據(jù)庫(kù)CPU、內(nèi)存容器CPU、內(nèi)存、磁盤(pán)、IO主機(jī)域名流量、機(jī)房流量網(wǎng)絡(luò)用戶發(fā)展量、工單積壓量業(yè)務(wù)天眼指標(biāo)體系分類(lèi)基礎(chǔ)資源通用組件服務(wù)應(yīng)用業(yè)務(wù)監(jiān)控全流程調(diào)用鏈智能監(jiān)控告警平臺(tái)APP性能監(jiān)控瀏覽器監(jiān)控自動(dòng)化巡檢全層級(jí)監(jiān)控前端觸點(diǎn)日志中心&業(yè)務(wù)數(shù)據(jù)技術(shù)架構(gòu)Marathon微前端用戶中心權(quán)限中心……Marathon

A(租戶1)告警中心Marathon

B

(租戶2)配置中心Marathon

C

(租戶3)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)采集PrometheusFilebeatPinpointSDK天宮資源池Apache

Mesos天梯JSAgent數(shù)據(jù)處理KafkaFlinkMysqlRedisClickHouseElasticSearchHbase核心功能介紹03生產(chǎn)運(yùn)營(yíng)工作臺(tái)、應(yīng)用實(shí)時(shí)監(jiān)控天眼-生產(chǎn)運(yùn)營(yíng)工作臺(tái)統(tǒng)一生產(chǎn)運(yùn)營(yíng)入口，運(yùn)維工具一點(diǎn)使用，PC+移動(dòng)多終端處理，工具共建、能力共享、協(xié)同研發(fā)，實(shí)現(xiàn)“平臺(tái)+應(yīng)用”快速能力交付，構(gòu)建“企業(yè)運(yùn)維生態(tài)”統(tǒng)一規(guī)劃統(tǒng)一架構(gòu)統(tǒng)一風(fēng)格統(tǒng)一登錄統(tǒng)一權(quán)限統(tǒng)一能力生產(chǎn)運(yùn)營(yíng)工作臺(tái)-技術(shù)架構(gòu)客戶端單點(diǎn)登錄主應(yīng)用工作臺(tái)首頁(yè)子應(yīng)用網(wǎng)關(guān)層網(wǎng)關(guān)代理認(rèn)證鑒權(quán)控制限流天眼-應(yīng)用實(shí)時(shí)監(jiān)控-智能監(jiān)控告警平臺(tái)提供IaaS、PaaS、SaaS全層級(jí)監(jiān)控能力，支持全流程可視化配置，具備多樣化告警通知方式，實(shí)現(xiàn)告警工單閉環(huán)管理采集管理：標(biāo)準(zhǔn)組件采集、私有倉(cāng)庫(kù)接入、自定義指標(biāo)采集監(jiān)控配置：告警規(guī)則、收斂條件、告警內(nèi)容靜默管理：支持全量、監(jiān)控點(diǎn)、監(jiān)控實(shí)例多維度靜默告警處理：雙終端工單處理、工單閉環(huán)管理告警大屏：系統(tǒng)監(jiān)控告警全景圖、告警工單處理進(jìn)度告警詳情：租戶采集任務(wù)、監(jiān)控實(shí)例、告警分析智能監(jiān)控告警平臺(tái)-技術(shù)架構(gòu)埋點(diǎn)采集層ExporterExporterExporterExporter數(shù)據(jù)采集Prometheus聯(lián)邦指標(biāo)數(shù)據(jù)數(shù)據(jù)存儲(chǔ)層指標(biāo)數(shù)據(jù)Prometheus時(shí)序數(shù)據(jù)InfluxDb關(guān)系數(shù)據(jù)MySQL數(shù)據(jù)服務(wù)層 網(wǎng)關(guān)層OpenAPI告警靜默配置

租戶數(shù)據(jù)關(guān)系Etcd MongoDBWeb網(wǎng)關(guān)配置版本管理 告警收斂Gitlab AlertManager 外部接口觸點(diǎn)層展現(xiàn)告警天眼生產(chǎn)運(yùn)營(yíng)工作臺(tái)統(tǒng)一門(mén)戶 租戶隔離 數(shù)據(jù)安全 智能配置天眼-應(yīng)用實(shí)時(shí)監(jiān)控-全流程調(diào)用鏈可視化頁(yè)面自由配置，萬(wàn)級(jí)微服務(wù)自動(dòng)拓?fù)洌蚍?wù)定位一目了然服務(wù)拓?fù)涔收贤負(fù)涮煅?應(yīng)用實(shí)時(shí)監(jiān)控-全流程調(diào)用鏈百億級(jí)指標(biāo)采集處理，黃金指標(biāo)：調(diào)用量、響應(yīng)時(shí)間、成功率服務(wù)調(diào)用趨勢(shì)、報(bào)錯(cuò)分類(lèi)、根因服務(wù)、根因接口、JVM、GC指標(biāo)數(shù)據(jù)根因分析天眼-應(yīng)用實(shí)時(shí)監(jiān)控-瀏覽器監(jiān)控前端性能實(shí)時(shí)呈現(xiàn)，客戶感知精準(zhǔn)展現(xiàn)，故障異常及時(shí)發(fā)現(xiàn)頁(yè)面性能分析頁(yè)面彈窗分析js錯(cuò)誤分析ajax分析天眼-應(yīng)用實(shí)時(shí)監(jiān)控-瀏覽器監(jiān)控跟蹤真實(shí)用戶行為，用戶軌跡實(shí)時(shí)追蹤，多維度統(tǒng)計(jì)對(duì)比分析對(duì)比分析用戶軌跡調(diào)用鏈&瀏覽器-技術(shù)架構(gòu)接入處理層消息隊(duì)列Kafka數(shù)據(jù)處理Flink存儲(chǔ)服務(wù)層 網(wǎng)關(guān)層OpenAPI關(guān)系數(shù)據(jù) 緩存數(shù)據(jù)MySQL RedisWeb網(wǎng)關(guān)圖形數(shù)據(jù) 指標(biāo)數(shù)據(jù)