容器環(huán)境下的智能運維技術研發(fā)與實踐

1、容器環(huán)境下智能運維技術研發(fā)與實踐才振功 博士浙江大學SEL容器環(huán)境下智能運維的容器環(huán)境下智能運維研發(fā)實踐智能運維發(fā)展展望 浙江大學SEL浙江大學SEL2016 2013 2011 SEL 2009 2001 SEL 團隊% FB/ FB/t520 *_*100+ c 2$ ?K h7YkQ( M$/ ! 7Y -qQ =gj 9"Q( 300 fR6uH: a%pl&CIO N < r L' &9E oIT.n 34bi _c>O4b 0>y100 U,# 4b CD Z T-( =gj8vP;4b?K 3-(o =gj9" se

2、-GA1i + X o) w Jl&3 DST IFDS z &,S I ;d# SEL實驗室容器云貢獻pCNCFKubernetes 200 Docker p20167 20Kubernetes , ,2017/8/30- by 5Kubernetes15Docker524Cloud Foundry326我們?yōu)槭裁醋鋈萜髌脚_的智能運維 SEL 浙江大學SEL 容器環(huán)境下智能運維的 容器環(huán)境下智能運維研發(fā)實踐智能運維發(fā)展展望傳統(tǒng)運維容器環(huán)境特點 容器化是IT架構*要發(fā)展趨勢之一 組件和服務數(shù)量眾多 部署模式多樣化 自帶服務治理功能容器環(huán)境下智能運維 浙江大學SEL容器環(huán)境下智能

3、運維的 容器環(huán)境下智能運維研發(fā)實踐 智能運維發(fā)展展望智能運維技術研發(fā)與實踐 1. 2. 3. 1. 容器統(tǒng)一案例場景為某政務數(shù)據(jù)中心，采用+容器技術方案*要業(yè)務：支撐應用系統(tǒng)發(fā)布運維特點：系統(tǒng)托管在數(shù)據(jù)中心，發(fā)現(xiàn)問題后，應用方請求數(shù)據(jù)中心提供相關數(shù)據(jù)進行故障診斷目標：提供適合應用的數(shù)據(jù)，供運維運行分析設計思路Kafaka Spark SQL HBase HDFSElasticSearchSpark Streaming AgentflumeAgentflume容器方案如何容器鏡像Option1: 鏡像提前做好，tomcat，jetty等啟動命令提前加好Batch 批量更新鏡像Option 2:但

4、： 根據(jù)只跟蹤service ip， 沒有pod ip，如何對應到podAgent與K8S Agent如何識別是哪個service？哪個POD？Ø ETCD維護著service與pod關系Ø Agent啟動時所屬的service如何獲取鏈路 對代碼掌控能力較強采用OpenTracing 對代碼進行插裝實現(xiàn)Google Dapper的原理Request Responseorigin.classClass LoaderJVMJavaagentTomcatnew classDapper鏈路跟蹤TraceID : 識別用戶一次請求，所有全鏈路上的節(jié)點共用一個TraceIDSpanI

5、D：正在處理用戶請求的節(jié)點ParentSpanID：正在處理用戶請求節(jié)點的上一個節(jié)點2. 故障根源分析案例場景為某教育平臺提供各類教育，用戶廣泛，IT技術能力差異顯著經(jīng)常接到比較奇葩的投訴，很難給出合理建議發(fā)生故障后，IT團隊修復問題需要花費較長時間源問題根目標：減輕和運維工作量，快速故障或投訴根由分析流程Trace動態(tài)拓撲結構基于拓撲的異常檢測構建執(zhí)行鏈正常模型ØØ性能基線異常行為檢測Ø行為異常Ø性能異常量異常ØDB 2WEBLogicLogicDB 1因果關系分析 因果關系分析定義構建數(shù)據(jù)中心服務拓撲結構圖，如右圖A調用B觸發(fā)B調用C，A-

6、>B稱為B的因邊，B->C稱為B的Ø 如何判定因果關系應發(fā)生在因邊之后的一個特定的時間段，即服務延時ØØ服務延時不能超過超時時間也不能低于服務處理時間Ø通過關聯(lián)分析，潛在因果關系故障根由對故障相關容器節(jié)點的可能性進行量化分析形成故障因果關系鏈，執(zhí)行鏈的歷史執(zhí)行頻度將作為該鏈路上節(jié)點權重ØA0.850.8計算因果鏈上每個節(jié)點的影響Ø0.9E0.5B0.90以右圖D為例，影響D的節(jié)點為E，F(xiàn)等，受D 影響的節(jié)點為C，B，Aü0.880.80.95D0.84G0.6量化單個節(jié)點對其他節(jié)點影響C0.880.981

7、6;0.8F0.4H0.860.9ØP(D|F)=P(DF)*w /P(F)FH0.780.6ØP(C|F)=P(C|D)*P(D|F)，其中權重由節(jié)點歷史執(zhí)行頻率決定Ø異常發(fā)生時，可快速計算出其他節(jié)點的嫌疑程度I0.83. 智能調度10+設計思路性能瓶頸性能瓶頸利用率Ø服務時間估算 多元線性回歸）利用率Ø 響應時間ØMVA隊列模型ØBP神經(jīng)網(wǎng)絡 + 遺傳算法應用容量估算相關方法 Neural network Queue network Regression Analysis Holt- Winters CPU IO Acc

8、ess logTransaction profileETL1Resource log0.80.60.40.20util29 37 45 53 61 69 77 85 9333 41 49 57 65 73 81 89 97Transactionresource demand2RegressionAnalysisorderingshoppingDB Disk DB CPUWeb CPUsearchbrowsing024681012demand(mills)Transaction應用需求估算MySQL mVCPU YW vs x|容器動態(tài)調度 Kubernetes容器 業(yè)務指標驅動調度：Predicates和Prio