黃泳：全鏈路監(jiān)控在嘉銀科技的落地實踐

分享人:黃泳GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站02嘉銀告警管理03嘉銀智能可觀測實踐04未來展望GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站GOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站嘉銀科技基礎(chǔ)設(shè)施概覽GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站嘉銀復(fù)雜業(yè)務(wù)下的監(jiān)控告警挑戰(zhàn)GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站告警數(shù)據(jù)清洗、降噪告警數(shù)據(jù)清洗、降噪GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站基于VictoriaMetrics的Prometheus集群架構(gòu)A機房VmalertVmalertVmalertVmalertAlertmanagerAlertmanagerAlertmanagerAlertmanagerGrafanaAPIGrafanaAPIGOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站GOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站嘉銀監(jiān)控告警流程監(jiān)控告警全生命周期管理監(jiān)控告警全生命周期管理GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站嘉銀統(tǒng)一監(jiān)控告警平臺建設(shè)GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站嘉銀四層監(jiān)控體系建設(shè)依賴關(guān)系依賴關(guān)系GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站告警過多的問題怎么解?GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站聯(lián)動CMDB識別告警資源DDGOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站告警降噪流程設(shè)計 否否否GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站GOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站全面的數(shù)據(jù)決定智能化的起點GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站優(yōu)質(zhì)的數(shù)據(jù)決定智能化的高度一站式全棧覆蓋異構(gòu)可觀測數(shù)據(jù)源應(yīng)用監(jiān)控數(shù)據(jù)庫監(jiān)控一站式全棧覆蓋異構(gòu)可觀測數(shù)據(jù)源應(yīng)用監(jiān)控數(shù)據(jù)庫監(jiān)控控控AIOPSAIOPSGOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站建設(shè)統(tǒng)一監(jiān)控指標(biāo)數(shù)據(jù)底座,夯實多場景的數(shù)據(jù)支撐能力GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站智能化可觀測場景落地三板斧GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站先知——洞察之眼分析數(shù)智化AI通過性能指標(biāo)和告警數(shù)據(jù)根據(jù)評價算法對業(yè)務(wù)健康度進行GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站先知——挑戰(zhàn):沒有放之四海而皆準(zhǔn)的檢測算法–環(huán)比：對比值的變化率?單點比較：xj?xj—1>threshold?突增：xj>過去同一周期時刻的值*max_threshold?突降：xj<過去同一周期時刻的值*min_thresholdGOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站先知——趨勢預(yù)測案例拿GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站先知——智能巡檢ARIMAARIMAGOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站先知——智能巡檢系統(tǒng)案例GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站先決——挑戰(zhàn):如何快速實現(xiàn)根因分析?51512436GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站先決——根因分析定位常見方案主要面向指標(biāo)異動場景，首先監(jiān)控整體的指標(biāo)，合?根因?qū)傩越M合不是根因，需要經(jīng)過人工分析，才能基于調(diào)用軌跡的根因組件定位：當(dāng)監(jiān)控到系統(tǒng)發(fā)生故性能下降和失效）時，通過調(diào)用軌跡數(shù)據(jù)，找到大量?為大量組件進行因果挖掘存在復(fù)雜度和準(zhǔn)確性兩方基于知識圖譜和專家規(guī)則，提取離散異常事件后，基GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站先決——故障根因分析流程以嘉銀內(nèi)部的SREOncall相應(yīng)處理故障過程為例，人工經(jīng)驗與自動化路線，雙向賦能，既保證AI在落地過程中的安全生成故障復(fù)盤報告,故障事件生成故障復(fù)盤報告,故障事件，故障現(xiàn)象，故障故障診斷Agent根據(jù)告警事件，告警資源自動生成故障診斷事件流，輔助工程GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站先決——故障根因分析案例適用場景：基于智能巡檢，故障診斷平臺，且監(jiān)控觀測數(shù)據(jù)接入完善的中低復(fù)GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站先行——故障自愈流程設(shè)計發(fā)布平臺自動化變更ssGOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站先行——故障自愈案例(自治+推薦)GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站GOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站未來展望GOGOPS全球