傳音移動互聯(lián)可觀測體系設(shè)計與落地

*統(tǒng)計數(shù)據(jù)援引IDC‘sWorldwideQuarterlyMobilePhoneTracker2021Q關(guān)于傳音控股音移動互聯(lián)廣告平臺作為非洲主流營銷平臺之一，助廣告主通戰(zhàn)?觀測對象多且雜?微服務(wù)多，調(diào)用鏈路復(fù)雜?新服務(wù)上線頻繁，運維工作量大技術(shù)架技術(shù)架構(gòu)SpringCloud微服務(wù)云原生PaaS云原生容器化全球多地域阿里云法蘭克福 (生產(chǎn))WebWeb應(yīng)用微服務(wù)A1微服務(wù)A2Web應(yīng)用微服務(wù)B1微服務(wù)B2KubernetesKubernetes生態(tài)VM、存儲、網(wǎng)絡(luò)、安全阿里云新加坡阿里云新加坡 (測試) (測試)?問題定位以鏈路為主日志為輔，指標(biāo)到鏈路必須打通??問題定位以鏈路為主日志為輔，指標(biāo)到鏈路必須打通?開源標(biāo)準(zhǔn)優(yōu)先，云服務(wù)優(yōu)先終端應(yīng)用云服務(wù)&容器PaaSy數(shù)據(jù)互聯(lián)互通，開放，兼容rorappcrash性能移動端日志鏈路應(yīng)用日志堆積數(shù)據(jù)庫連接鏈路sslogVPCFlowceRouteDump基基礎(chǔ)架構(gòu)IaaS4.應(yīng)用層觀測4.應(yīng)用層觀測計?節(jié)點觀測?內(nèi)存總量、使用量、限制量?CPU總量、使用量、限制量?網(wǎng)絡(luò)帶寬磁盤空間?工作負載本數(shù)Failed),CPU使用率?控制面?APIServer：讀寫成功率，在處理量?ETCD：存活狀態(tài)，內(nèi)存使用量?事件?云產(chǎn)品觀測?負載均衡SLB：活躍連接數(shù)，丟失連接數(shù)使用率?消息隊列MQ：消費延遲，堆積數(shù)話數(shù)?應(yīng)用健康度?耗時、狀態(tài)碼、聯(lián)通性?應(yīng)用觀測?實例數(shù)、累計請求量、累計錯誤、?JVM監(jiān)控(FullGC、Heap等)慢Sql、Ingress監(jiān)控(訪問成功率、500錯誤比例、平均延遲)阿里云服務(wù)PaaS阿里云服務(wù)PaaS云監(jiān)控SDK盲點分散到全球全棧統(tǒng)工作負載workload工作負載workload容器服務(wù)集群ARMSARMS應(yīng)用探針Prometheus探針KS應(yīng)用性能指標(biāo)云服務(wù)指標(biāo)法蘭克福法蘭克福新加坡孟買一全局多維度大盤解決一觀測分散缺失痛點業(yè)務(wù)關(guān)鍵指標(biāo)技術(shù)觀測大盤業(yè)務(wù)關(guān)鍵指標(biāo)應(yīng)用性能關(guān)鍵云服務(wù)視應(yīng)用性能數(shù)據(jù)源全球加速阿里云Grafana服務(wù) (杭州)一套觀測產(chǎn)品全球使用統(tǒng)一對接飛書群揀MS智能告警平臺AI處理流程統(tǒng)一對接飛書群揀MS智能告警平臺AI處理流程能組應(yīng)用監(jiān)控云監(jiān)控前端監(jiān)控容器服務(wù)監(jiān)控統(tǒng)一Prometheus數(shù)據(jù)源基基于PromQL的告警規(guī)則警數(shù)據(jù)分析大盤智能降噪智能降噪告警事件-等級評估-分配處理人-狀態(tài)追蹤事件處理詳情-事后回溯①容器環(huán)境自動接入，運維效率指數(shù)級提升①容器環(huán)境自動接入，運維效率指數(shù)級提升Prometheus服務(wù)ARMS應(yīng)用監(jiān)控④端到端完整調(diào)用鏈追蹤，慢調(diào)用錯誤快速定位路追蹤診斷系統(tǒng)：從零散單點到規(guī)?；娓采w②②指標(biāo)觀測關(guān)聯(lián)鏈路和日志，可觀測成為整體ARMS應(yīng)用探針應(yīng)用ARMS應(yīng)用探針應(yīng)用容器服務(wù)集群自動注入JavaagentARMSPilotControllerDeployment加入Annotation③③自動生成全局拓撲，微服務(wù)依賴一目了然ARMS告警平臺Prometheus實例 (ARMS應(yīng)用監(jiān)控)Prometheus實例 (云服務(wù)監(jiān)控ARMS告警平臺Prometheus實例 (ARMS應(yīng)用監(jiān)控)Prometheus實例 (云服務(wù)監(jiān)控)Prometheus實例 (容器服務(wù))Prometheus實例 (ARMS應(yīng)用監(jiān)控)Prometheus實例 (云服務(wù)監(jiān)控)Prometheus實例 (容器服務(wù))坡Prometheus實例 (ARMS應(yīng)用監(jiān)控)Prometheus實例 (云服務(wù)監(jiān)控)Prometheus實例 (容器服務(wù))?全球多地域統(tǒng)一可觀測架構(gòu)，統(tǒng)一視圖和告警架架構(gòu)總結(jié)?基于Prometheus統(tǒng)一指標(biāo)?通過ARMS應(yīng)用監(jiān)控構(gòu)建全鏈路追蹤系統(tǒng)?阿里云Grafana工作區(qū)提供統(tǒng)一可觀測視圖?ARMS告警平臺對接各種告警事件，統(tǒng)一告警到飛書群處理Web應(yīng)用指標(biāo)云服務(wù)觀測指標(biāo)RDS,Clickhouse,Kafka,容器層&資源層指標(biāo)全鏈路追蹤統(tǒng)一告警統(tǒng)一告警克福PrometheusPrometheus實例 (ARMS應(yīng)用監(jiān)控)PrometheusPrometheus實例 (云服務(wù)監(jiān)控)PrometheusPrometheus實例 (容器服務(wù))ARMS應(yīng)用監(jiān)控ARMS應(yīng)用監(jiān)控TraceARMS應(yīng)用監(jiān)控TraceARMS應(yīng)用監(jiān)控TraceARMSARMS應(yīng)用監(jiān)控Trace可