神龍裸金屬Kubernetes集群運維實踐

1、超大規(guī)模神龍裸金屬Kubernetes 集群運維實踐技術(shù)創(chuàng)新，變革未來目錄阿里全站上云神龍 (what & why)規(guī)?；哼\維實踐未來工作云原生全景圖阿里全站上云2018年底：阿里經(jīng)濟體全面上云2019上云第一仗：基礎(chǔ)設(shè)施上云雙11順利通過峰值流量考驗神龍 X-Dragon全稱：彈性裸金屬服務(wù)器（神龍）阿里造“神龍” 神龍 X-Dragon優(yōu)勢：性能彈性支持再虛擬化2017/10 阿里云神龍正式商用 (AWS Nitro 2017/11)技術(shù)選型全面上云為什么要用神龍？高性能：去掉了虛擬化帶來的 8% 的性能損耗支持二次虛擬化：使多樣虛擬化技術(shù) (Kata, Firecracker 等)

2、的探索和創(chuàng)新成為 可能ASI (k8s) + 容器 (runc / runv / kata / .) + 神龍 = 阿里云原生化 的最佳組合最大的電商平臺之一，并池最佳化資源利用率大規(guī)?；觳?、優(yōu)先級差異化提升資源使用效率Alibaba Serverless Infrastructure (ASI) 的基石上云效率提升物理機 (云下)神龍裸金屬 (云上)交付周期周分鐘級彈性擴縮容-支持性能獨占獨占 (優(yōu)于普通ECS)硬件故障率硬盤1年故障率 2%0.8% (無本地盤)硬件維修周期周, 月分鐘，天效率成本穩(wěn)定云化架構(gòu)集團機房物理機 + 本地存儲 + Underlay網(wǎng) 絡(luò)云上機房神龍/ECS +

3、遠(yuǎn)程存儲 + Overlay網(wǎng)絡(luò)基礎(chǔ)設(shè)施IDC 系統(tǒng)基礎(chǔ)運維天基系統(tǒng)CMDB安全審計單機監(jiān)控ASI 平臺kubelet/PouchCI/CDk8s extended Service Mesh安全容器運維管控額度管控在離線混部監(jiān)控體系多租隔離上層業(yè)務(wù)集 團 業(yè) 務(wù)運維挑戰(zhàn)規(guī)模大集群規(guī)模大 (數(shù)十個集群)，節(jié)點數(shù)量多 (數(shù)十萬節(jié)點)業(yè)務(wù)線多、應(yīng)用數(shù)量多、應(yīng)用類型復(fù)雜 (有狀態(tài)、無狀態(tài)、多語言)基礎(chǔ)環(huán)境復(fù)雜大規(guī)模 在線、離線 混部 (運維打通)裝機模板、OS版本、內(nèi)核版本多；內(nèi)核補丁、參數(shù)不同；其他如網(wǎng)卡中斷打散穩(wěn)定性要求高性能、宕機、夯機、抖動系統(tǒng)架構(gòu)基礎(chǔ)監(jiān)控秒級、分鐘級監(jiān)控內(nèi)核性能指標(biāo)采集監(jiān)控大

4、盤在線率宕機率抖動率基線系統(tǒng)基礎(chǔ)環(huán)境一致性故障自愈 (1-5-10)監(jiān)控、故障發(fā)現(xiàn) (1-5)本地檢測 (walle, NPD) + 外部系統(tǒng) (IDC、aliyun)SLI、SLO、SLA釘釘、郵件、電話報警、ChatOps 自助診斷節(jié)點故障自愈 (10)決策中心執(zhí)行修復(fù)操作集中統(tǒng)一風(fēng)控日常1人運維數(shù)十萬節(jié)點統(tǒng)一風(fēng)控監(jiān)控決策自愈神龍運維事件接收事件 (doc)響應(yīng)事件不帶本地盤SystemFailure.Reboot帶本地盤SystemFailure.Redeploy不帶本地盤RebootInstance (doc)帶本地盤RedeployInstance (doc) 本盤數(shù)據(jù)不能遷移運維實踐 - 宕機率分析宕機關(guān)聯(lián)度分析宕機趨勢機房、單元、分組機型、硬件特征內(nèi)核版本、hotfix 一致率宕機根因分析診斷硬件故障、運維事件vmcore 歸類分析內(nèi)核錯誤日志分析Machine Operator全生命周期導(dǎo)入下線維護(hù)組件終態(tài)安裝升級回滾故障自愈運維事件業(yè)務(wù)置換Machine Operator未來工作穩(wěn)定性、資源利用率、運維效率基于安全容器的新混部架構(gòu)全業(yè)務(wù)上云、Serverles