AIOps的探索與實踐

1、AIOps的探索與實踐目錄應(yīng)用運維的痛點1攜程AIOps實踐之路2典型應(yīng)用場景介紹34AIOps的一些思索和展望應(yīng)用的生命周期開發(fā)測試部署運維監(jiān)控分析發(fā)布持續(xù)集成持續(xù)交付DevOpsOps可用性保障、容量規(guī)劃等應(yīng)用告警質(zhì)量不高準確率、覆蓋率、及時性故障診斷效率低下告警風(fēng)暴、根因定位、及時止損應(yīng)用畫像缺失重要性識別、容量規(guī)劃、健康報告應(yīng)用運維的一些“痛點”目錄應(yīng)用運維的痛點1攜程AIOps實踐之路2典型應(yīng)用場景介紹3AIOps的一些思索和展望4攜程AIOps實踐之路運維方式的轉(zhuǎn)變腳本時代 工具時代 自動化時代 智能時代人員結(jié)構(gòu)的轉(zhuǎn)變運維工程師運維開發(fā)工程師 運維AI工程師提出數(shù)據(jù)開發(fā)場景的平臺訴

2、求提供穩(wěn)定數(shù)據(jù)平臺、滿足各類 場景，降低數(shù)據(jù)開發(fā)門檻攜程AIOps實踐之路豐富應(yīng)用畫像網(wǎng)絡(luò)異常檢測通用異常檢測平臺精細化混合部署動態(tài)容量優(yōu)化故障自愈效率質(zhì)量成本異常檢測容量預(yù)測故障診斷容量調(diào)整故障自愈成本優(yōu)化攜程AIOps實踐之路AIOps實踐異常指標檢測智能彈性擴縮容資源混合部署智能告警診斷Online資源非業(yè)務(wù)高峰期 間運行Offline作業(yè)通過機器學(xué)習(xí)替代傳統(tǒng)的固定閾值方案報警風(fēng)暴中快速定位出故 障根源設(shè)計容量模型，動態(tài)調(diào)配 生產(chǎn)資源目錄應(yīng)用運維的痛點攜程AIOps實踐之路典型應(yīng)用場景介紹3AIOps的一些思索和展望4(一) 監(jiān)控時序的異常檢測提升告警質(zhì)量訂單指標業(yè)務(wù)指標應(yīng)用指標基礎(chǔ)監(jiān)控

3、指標監(jiān)控時序指標異常檢測流程DBHiveRest APIMonitor數(shù)據(jù)源配置數(shù)據(jù)集過濾異常檢測告警狀態(tài)機規(guī)則引擎預(yù)篩選算法集生成告警檢測副本告警質(zhì)量評判算法介紹有無標注監(jiān)督類分類、回歸半監(jiān)督類分類、回歸、聚類無監(jiān)督類聚類、降維有無參數(shù)有參模型假設(shè)分布：Gaussian、Grubbs、Tukey等AR、MA、ARMA、 Holt-Winters、LSTM等無參模型直方圖、熵、iForest等3-SigmaTukeyGrubbsiForest基于分布統(tǒng)計的異常檢測xf(x)基于統(tǒng)計特性的異常檢測基于頻域濾波=0方法：DFT(離散傅里葉變換) = FFT(快速傅里葉變換) 2其中由2 替代基于頻

4、域濾波時間序列周期發(fā)現(xiàn)自相關(guān)技術(shù)頻域濾波技術(shù)頻譜分析技術(shù)時頻轉(zhuǎn)換應(yīng)用告警準確率、召回率達90%+和95%+應(yīng)用告警全面替換為智能模式大部分時序數(shù)據(jù)都無標注不是所有時序都需要被“智能”檢測不同的場景使用不同的檢測算法異常檢測的質(zhì)量評估是個難點實踐總結(jié)(二) 應(yīng)用異常智能診斷提高故障排查效率、快速止損智能故障診斷 告警風(fēng)暴Which one is theRoot Cause?應(yīng)用調(diào)用關(guān)系故障影響因子故障關(guān)聯(lián)性診斷 =1.相關(guān)性打分、聚合 , 2.后驗概率打分 |= | 其中 , = 相關(guān)性打分10.80.60.40.20發(fā)布事件B量化應(yīng)用指標告警事件A相關(guān)系數(shù) = 0.98告警相關(guān)性聚合告警應(yīng)用A

5、相關(guān)系數(shù) = 0.98告警應(yīng)用B后驗概率打分事件A表示告警事件事件B表示變更事件P(A|B)代表似然概率P(A)、P(B)分別表示先驗概率P(B|A)表示后驗概率|=特征知識庫異常文本解析專家標注特征提取知識庫匹配APP信息組織匹配原因標簽應(yīng)用A酒店Redis應(yīng)用B酒店Redis應(yīng)用C酒店Redis應(yīng)用D酒店Redis應(yīng)用E風(fēng)險控制SOA Server應(yīng)用F酒店Redis應(yīng)用G酒店Redis快速定位RCARCA分析結(jié)果：發(fā)布導(dǎo)致故障診斷由原來數(shù)十分鐘將至分鐘級告警質(zhì)量是故障診斷的前提故障影響因子分析+專家經(jīng)驗知識庫是核心服務(wù)調(diào)用鏈挖掘+關(guān)聯(lián)打分是關(guān)鍵診斷結(jié)果的質(zhì)量評估是個難點實踐總結(jié)(三) O

6、nline/Offline混合部署大幅降低數(shù)據(jù)中心部署成本的創(chuàng)新技術(shù)混合部署背景Online應(yīng)用Offline作業(yè)部署架構(gòu)Task 1Task 2Task 3Task 4Task 5Task 1Online NodeAPPAPPAPPIDC網(wǎng)絡(luò)宿主機監(jiān)控報警上線發(fā)布基礎(chǔ) 設(shè)施APPTask 2APPAPPTask 3APPAPP資源畫像混部資源池 在線資源池 作業(yè)畫像規(guī)則引擎統(tǒng)一調(diào)度離線作業(yè)Offline Node離線資源池Task 4Offline NodeTask 5CPU、IO隔離資源+應(yīng)用畫像用來篩選合適的Online資源供作業(yè)運行作業(yè)畫像用來篩選合適運行的作業(yè)資源調(diào)度、退出保護機制保障不同業(yè)務(wù)的服務(wù)質(zhì)量關(guān)鍵技術(shù)及挑戰(zhàn)資源維度標簽：CPU密集、內(nèi)存消耗、IO密集型等聚類算法：K-means、DBSCAN等業(yè)務(wù)維度標簽：預(yù)定類、引擎類、下單類、支付類等服務(wù)調(diào)用鏈挖掘?qū)＜医?jīng)驗高級(復(fù)合)標簽：重要性、穩(wěn)定性、活躍度、健康指數(shù)等圖論模型：PageRank、聲望打分等專家經(jīng)驗+單維度標簽組合資源、應(yīng)用畫像減少Offline資源的采購成本探索一種創(chuàng)新的部署模式，為容器時代的混部積 累經(jīng)驗新數(shù)據(jù)中心的網(wǎng)絡(luò)、大數(shù)據(jù)等建設(shè)提供標準實踐總結(jié)45%作業(yè)數(shù)比230%利用率提升10%核數(shù)比10%作業(yè)效率提升目錄應(yīng)用運維的痛點1攜程AIOps實踐之路2典型應(yīng)用