阿里云超大規(guī)模彈性計(jì)算節(jié)點(diǎn)自動(dòng)化運(yùn)維穩(wěn)定性實(shí)踐-唐磊-公開(kāi)版

唐磊(小唐)2101概述&背景?客戶訴求?業(yè)務(wù)難點(diǎn)02業(yè)界方案03我們的方案?業(yè)界方案?基于專家規(guī)則的自動(dòng)化運(yùn)維策略?發(fā)展趨勢(shì)?運(yùn)維評(píng)價(jià)?發(fā)布熔斷23概述&背景–客戶訴求維護(hù)成本高?資源利用率低?IT資源管理和運(yùn)維復(fù)雜繁瑣?…無(wú)人值守口客戶用云述求可控制VM:VM:?智能編排?原子操作?自動(dòng)化?監(jiān)控&告警?根因診斷穩(wěn)定&可靠：?穩(wěn)定性SLA幸福感提升幸福感4業(yè)務(wù)難點(diǎn)–基礎(chǔ)設(shè)施規(guī)模大200+可用區(qū)(AZ)3000+28數(shù)據(jù)中心區(qū)域(Region)?云計(jì)算基礎(chǔ)設(shè)施規(guī)模決定了其運(yùn)維復(fù)雜度100,000,000+(CPUs,disksetc.)1,000,000+5000+5業(yè)務(wù)難點(diǎn)–產(chǎn)品形態(tài)多、業(yè)務(wù)領(lǐng)域廣熱遷移(無(wú)感更換物理機(jī))?X86計(jì)算G6通用型R6內(nèi)存型C6計(jì)算型D1NE大數(shù)據(jù)型HFC6高主頻算型I本地SSDR5內(nèi)存型G5業(yè)務(wù)難點(diǎn)–產(chǎn)品形態(tài)多、業(yè)務(wù)領(lǐng)域廣熱遷移(無(wú)感更換物理機(jī))?X86計(jì)算G6通用型R6內(nèi)存型C6計(jì)算型D1NE大數(shù)據(jù)型HFC6高主頻算型I本地SSDR5內(nèi)存型G5通用型C5計(jì)算型HFG頻通用型ENE絡(luò)增強(qiáng)SN1NE計(jì)算網(wǎng)絡(luò)增強(qiáng)SN2NE通用網(wǎng)絡(luò)增強(qiáng)D1大數(shù)據(jù)型F3FPGA計(jì)算型D2大數(shù)據(jù)型I本地SSDGA1GPU可視化型F1FPGA計(jì)算型異構(gòu)計(jì)算裸金屬&高性能計(jì)算 高性能數(shù)據(jù)庫(kù)ed時(shí))；圖高性能數(shù)據(jù)庫(kù)；高性能網(wǎng)站前端機(jī)；售賣形態(tài)多業(yè)務(wù)本地盤(pán)存儲(chǔ)大數(shù)據(jù)業(yè)務(wù)異構(gòu)GPU業(yè)務(wù)異構(gòu)FPGA業(yè)務(wù)SCC超算業(yè)務(wù)監(jiān)控診斷運(yùn)維手段有差異6鏈路長(zhǎng)技術(shù)難度深鏈路長(zhǎng)技術(shù)難度深?LLC一致性?LLC容量QoS?LLC爭(zhēng)搶elMEianSKLICLAtom覆蓋子系統(tǒng)眾覆蓋子系統(tǒng)眾多CPUCPU子系統(tǒng)舉例?IMCfreq?IMCchannel702業(yè)界方案/.anIDGrafanaZabbixWebUI析?OneAgent通用采集?動(dòng)態(tài)閾值告警自動(dòng)分析?APITrace分析析TraceIDusZabbixServerMySQLMetricTSDBResourceZabbixClientZabbixClientZabbixClientAppExporteranIDGrafanaZabbixWebUI析?OneAgent通用采集?動(dòng)態(tài)閾值告警自動(dòng)分析?APITrace分析析TraceIDusZabbixServerMySQLMetricTSDBResourceZabbixClientZabbixClientZabbixClientAppExporterTagTracingStatus控時(shí)代201620172018201920202012BorgMonCNCFBorgMonCNCF發(fā)布yunSLSyunSLSCacti發(fā)布 Metric-加入加入CNCFE22010//03我們的方案/2智能化201320162017201820192010智能化201320162017201820192010我們的方案–ECS監(jiān)控運(yùn)維體系發(fā)展歷程ECS正式售賣ECS全鏈斷平臺(tái)上線監(jiān)控采集接入FlushAgent重構(gòu)接入Flush入落日弓入落日弓環(huán)境問(wèn)題運(yùn)發(fā)布熔斷99.自22021/1客戶側(cè)事件完整鏈路追蹤運(yùn)維引擎運(yùn)維事件受損事件宕機(jī)/夯機(jī)性能受損實(shí)例類磁盤(pán)類客戶側(cè)事件完整鏈路追蹤運(yùn)維引擎運(yùn)維事件受損事件宕機(jī)/夯機(jī)性能受損實(shí)例類磁盤(pán)類診斷引擎異常抽取數(shù)據(jù)清洗特征計(jì)算異常定義維度關(guān)聯(lián)聚合計(jì)算聚類分析可靠的底座?數(shù)據(jù)處理：承載百萬(wàn)級(jí)物理機(jī)的診斷能力ODPS承載百TB級(jí)數(shù)據(jù)傳輸；(hadoop)BLINK確保每日同等數(shù)量級(jí)的數(shù)據(jù)實(shí)時(shí)性(apache-flink)?日志服務(wù)：類似ELK產(chǎn)品棧，提供更完整的數(shù)據(jù)處理能力(數(shù)據(jù)投及強(qiáng)大的計(jì)算聚合函數(shù)(map,json,lamda函數(shù)等)?MNS：高效、可靠、安全、便捷、可彈性擴(kuò)展的分布式消息通知服務(wù)?TDDL：分庫(kù)分表解決方案(sharding-jdbc/MyCat)JOB/ElasticJob)查詢分析離線數(shù)據(jù)源集群基礎(chǔ)設(shè)施機(jī)型地域BLINKODPSTDDL我們的方案–整體架構(gòu)運(yùn)維定義NC運(yùn)維定義NC運(yùn)維工作流編排VM運(yùn)維運(yùn)運(yùn)維調(diào)度運(yùn)維評(píng)價(jià)A/B運(yùn)維評(píng)價(jià)A/BTest規(guī)則匹配統(tǒng)一流控規(guī)規(guī)則定義根根因推導(dǎo)監(jiān)監(jiān)控采集監(jiān)控調(diào)度任務(wù)執(zhí)行任務(wù)存儲(chǔ)配置下發(fā)結(jié)果存儲(chǔ)配置存儲(chǔ)在線數(shù)據(jù)在線數(shù)據(jù)控制面虛擬化GUEST硬件組件schedulerX/2告警中心云監(jiān)控其他消費(fèi)?P95CPU利用率：告警中心云監(jiān)控其他消費(fèi)?P95CPU利用率：100T/D我們的方案–監(jiān)控?cái)?shù)據(jù)采集口規(guī)模效應(yīng)項(xiàng)entPrometheusNightingaleK8s開(kāi)源滴滴開(kāi)源觸發(fā)方式服務(wù)側(cè)服務(wù)側(cè)周期采集按需采集周期采集周期采集百萬(wàn)級(jí)節(jié)點(diǎn)千級(jí)別萬(wàn)級(jí)別整度高采集回流分離中結(jié)果實(shí)時(shí)回流中結(jié)果實(shí)時(shí)回流報(bào)表和告警有限節(jié)點(diǎn)丟失提醒有限節(jié)點(diǎn)丟失提醒不支持不支持采集大盤(pán)T+1同步SLS采集大盤(pán)T+1同步SLS (張家口) 節(jié)點(diǎn)采集節(jié)點(diǎn)采集口資源最大化利用：資源有限(1-2HT)?調(diào)度器輕量化?采集之間數(shù)據(jù)共享口代碼發(fā)布灰度可控??問(wèn)題盡早暴露?降低故障爆炸半徑/3我們的方案–運(yùn)維策略相關(guān)定義?監(jiān)控異常?特征定義?運(yùn)維規(guī)則?運(yùn)維動(dòng)作/4例如客戶事件響應(yīng)的預(yù)期行為；產(chǎn)出例如客戶事件響應(yīng)的預(yù)期行為；產(chǎn)出KeyMetrics數(shù)據(jù)口產(chǎn)生背景：?是否存在過(guò)度運(yùn)維的問(wèn)題？?對(duì)客戶真實(shí)體感是什么？口評(píng)價(jià)度量*：?性能度量?不可用度量?控制面度量口差異化分析：?顯著性差異檢驗(yàn)-單因素方差分析F檢驗(yàn)(Welch'sanova)?精準(zhǔn)控制切流比例-功效分析(Cohen’sf)[*]LevyS,etal.PredictiveandAdaptiveFailureMitigationtoAvertProductionCloudVMInterruptions.[C]//OperatingSystemsDesignandImplementation.2020./5MaxCompute對(duì)外評(píng)價(jià)API切流建議模塊方差/功效分析a.每日命中資源詳情b.每日命中資源各維度分布離線結(jié)果表KeyMetric原始數(shù)據(jù)--ADB/SLS加速查詢定時(shí)計(jì)算任務(wù)過(guò)濾器配置特征分類配置Spark算法靜態(tài)維表特征規(guī)則異常計(jì)算MaxCompute對(duì)外評(píng)價(jià)API切流建議模塊方差/功效分析a.每日命中資源詳情b.每日命中資源各維度分布離線結(jié)果表KeyMetric原始數(shù)據(jù)--ADB/SLS加速查詢定時(shí)計(jì)算任務(wù)過(guò)濾器配置特征分類配置Spark算法靜態(tài)維表特征規(guī)則異常計(jì)算類離線異常特征運(yùn)維策略A/B上線流程A/BTest灰度切流比例建議口落地方案評(píng)價(jià)模塊數(shù)據(jù)加速層KeyMetrica.a.歷史異常回放b.提前命中程度統(tǒng)計(jì)分析c.漏召回詳情分析d.新增命中資源詳情分析口面臨問(wèn)題?如何與現(xiàn)有的運(yùn)維體系整合？?如何安全高效的灰度發(fā)布上線？/6我們的方案–業(yè)務(wù)流控口業(yè)務(wù)流控我們的方案–業(yè)務(wù)流控口業(yè)務(wù)流控：?自動(dòng)運(yùn)維維持正常水位?有效阻止故障發(fā)生靈活的流控規(guī)則數(shù)據(jù)報(bào)表支撐流控維度/784218421等發(fā)布節(jié)奏計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)各機(jī)型/集群等30+維度我們的方案?業(yè)界大概XX%的生產(chǎn)事故由變更而觸發(fā)?集團(tuán)全部故障中xx%+和變更相關(guān)?支撐百萬(wàn)級(jí)資源的發(fā)布(千萬(wàn)級(jí)VM)布業(yè)務(wù)方數(shù)百?累計(jì)變更次數(shù)n億?發(fā)布次數(shù)n萬(wàn)2.我們的方案–灰度發(fā)布&熔斷召回率=召回率=熔斷次數(shù)+漏召回次數(shù)?100%效熔斷準(zhǔn)確率=熔斷次數(shù)+