大數(shù)據(jù)云原生運(yùn)維平臺(tái)實(shí)踐

?數(shù)據(jù)云原?運(yùn)維平臺(tái)實(shí)踐

?錄

contents背景與挑戰(zhàn)云原?演進(jìn)路線?數(shù)據(jù)云原?運(yùn)維平臺(tái)實(shí)踐123

PART1背景與挑戰(zhàn)業(yè)務(wù)背景：超?規(guī)模集群運(yùn)維

8?數(shù)據(jù)產(chǎn)品-----MaxComputeFlinkHologresDatahubPAI---DataWorksEMRElasticsearch-

國內(nèi)-

海外-

專有域

10+數(shù)據(jù)中?1K+

集群----集群規(guī)模差異?集群技術(shù)差異?全托管半托管-

物理機(jī)-

虛擬機(jī)-

容器100K+

節(jié)點(diǎn)業(yè)務(wù)挑戰(zhàn)：有限的資源

vs

增?的需求VS穩(wěn)定性?

?量升級(jí)變更與穩(wěn)定性管控沖突?

單機(jī)故障在?規(guī)模集群中的必然性?

集群復(fù)雜性帶來的監(jiān)控難度與故障恢復(fù)難度成本效率?

?戶需求超過資源供給能??

資源需求的峰?變化導(dǎo)致的閑置浪費(fèi)?

?量瑣碎?戶咨詢影響?作效率?

?法清晰定義運(yùn)維團(tuán)隊(duì)活動(dòng)的價(jià)值

PART2云原?演進(jìn)路線演進(jìn)歷史:

云原?發(fā)展時(shí)間線從集裝箱發(fā)展史看云原?容器化變遷1956年

理想六號(hào)卸貨時(shí)間

7天

→

15?時(shí)

(下降90%)1921年美國紐約鐵路運(yùn)輸總公司集裝箱物流體系2013年Docker

容器鏡像(container)打包2014年Kubernetes發(fā)布，以Pod作為最?調(diào)度單位PodInfra

ContainerContainer

AContainer

BVolumeNodePodPodPodPodPodNodePodPodPodPodPodNodePodPodPodPodPodNodePodPodPodPodPod云原?體系進(jìn)程從集裝箱發(fā)展史看云原?容器化變遷1956年

理想六號(hào)1921年2013年Docker

容器鏡像(container)打包2014年Kubernetes發(fā)布，以Pod作為最?調(diào)度單位Container

AContainer

BVolumePodPodPodPod

Pod

Node集裝箱物流體系

Pod

Pod

Pod

Pod

Pod

NodeNodePodPodPodPodPodNodePodPodPodPodPod云原?體系進(jìn)程美國紐約鐵路運(yùn)輸總公司

卸貨時(shí)間

7天

→

15?時(shí)

(下降90%)

集裝箱物流體系促使了全球化貿(mào)易，

云原?體系會(huì)給我們來帶

Pod

么？

Infra

Container什什么是云原?應(yīng)?？云原?應(yīng)?

??要素

代碼庫(Code

base)?份基準(zhǔn)代碼，多份部署

依賴關(guān)系(Dependencies)顯式聲明并隔離依賴關(guān)系

配置(Config)在環(huán)境中存儲(chǔ)配置

后端服務(wù)(Backing

services)把后端服務(wù)當(dāng)做附加資源構(gòu)建、發(fā)布和運(yùn)?(Build,

release,

run)

完全獨(dú)?的構(gòu)建和運(yùn)?階段

進(jìn)程(Processes)

基于?個(gè)或多個(gè)?狀態(tài)進(jìn)程運(yùn)?端?綁定(Port

binding)通過端?綁定提供服務(wù)

并發(fā)(Concurrency)通過進(jìn)程模型擴(kuò)展

易處理(Disposability)通過快速啟動(dòng)和優(yōu)雅停?來最?程度地提?健壯性環(huán)境等價(jià)(Dev/prod

parity)保持開發(fā)和?產(chǎn)環(huán)境的

?致性

管理進(jìn)程(Admin

processes)

后端管理任務(wù)當(dāng)作?次

性進(jìn)程運(yùn)?

?志(Logs)將?志處理作為事件流云原?化的開發(fā)模式

開發(fā)-

在測(cè)試云原?環(huán)

境驗(yàn)證容器鏡像

(Dockerfile)-

集成并驗(yàn)證第三

?helm包

構(gòu)建-

容器化構(gòu)建作業(yè)(Job)-

構(gòu)建時(shí)從遠(yuǎn)程倉庫拉

取源碼

部署-

OAM標(biāo)準(zhǔn)模型部署-

運(yùn)維特性trait市場(chǎng)-

helm包更新部署

云原?架構(gòu)

云原?理念交付監(jiān)測(cè)管理控制運(yùn)營服務(wù)云原??程能?沉淀

PART3?數(shù)據(jù)云原?運(yùn)維平臺(tái)實(shí)踐云原?運(yùn)維平臺(tái)

為了提效、解耦?整合在云原?控制平?上的中間組織，能夠?yàn)椴煌\(yùn)維產(chǎn)品提供公共資源。們?cè)谏?的時(shí)候，建?、維護(hù)、釋放與?絡(luò)間的鏈路時(shí)，都是通過控制平?來完成的。運(yùn)維平臺(tái)為了提效、解耦?整合的中間組織，能夠?yàn)椴煌\(yùn)維產(chǎn)品提供公共資源。

控制平?釋義:

控制平?是相對(duì)于數(shù)據(jù)平???的。最初的控制平?概念

來?于通信領(lǐng)域。?如:“傳輸信令信息的叫做控制平?，控

制平?上承載的是?戶和?絡(luò)的交互控制信息。例如，我?數(shù)據(jù)運(yùn)維平臺(tái)云原?運(yùn)維平臺(tái)演進(jìn)

PaaS平臺(tái)服務(wù)

SaaS運(yùn)維應(yīng)?交付團(tuán)隊(duì)管理集群管理應(yīng)?管理監(jiān)測(cè)事件中?告警分析?險(xiǎn)巡檢異常診斷故障統(tǒng)計(jì)k8s

apiserverkubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)管理變更管理存儲(chǔ)管理預(yù)算管理控制智能?愈彈性伸縮編排均衡運(yùn)營質(zhì)量運(yùn)營成本運(yùn)營效率運(yùn)營服務(wù)運(yùn)維搜索?助答疑

IaaS基礎(chǔ)設(shè)施前端?程框架

appmanager

多集群部署

路由?關(guān)Helm包適配部署

發(fā)現(xiàn)服務(wù)kaniko鏡像構(gòu)建

鑒權(quán)服務(wù)OAM標(biāo)準(zhǔn)模型

應(yīng)?腳?架trait運(yùn)維特性市場(chǎng)運(yùn)維應(yīng)?多元化平臺(tái)服務(wù)標(biāo)準(zhǔn)化基礎(chǔ)設(shè)施歸?化實(shí)踐1:

企業(yè)應(yīng)?交付

PaaS平臺(tái)服務(wù)

SaaS運(yùn)維應(yīng)?交付團(tuán)隊(duì)管理集群管理應(yīng)?管理監(jiān)測(cè)事件中?告警分析?險(xiǎn)巡檢異常診斷故障統(tǒng)計(jì)k8s

apiserverkubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)管理變更管理存儲(chǔ)管理預(yù)算管理控制智能?愈彈性伸縮編排均衡運(yùn)營質(zhì)量運(yùn)營成本運(yùn)營效率運(yùn)營服務(wù)運(yùn)維搜索?助答疑

IaaS基礎(chǔ)設(shè)施前端?程框架

appmanager

多集群部署

路由?關(guān)Helm包適配部署

發(fā)現(xiàn)服務(wù)kaniko鏡像構(gòu)建

鑒權(quán)服務(wù)OAM標(biāo)準(zhǔn)模型

應(yīng)?腳?架trait運(yùn)維特性市場(chǎng)運(yùn)維應(yīng)?多元化平臺(tái)服務(wù)標(biāo)準(zhǔn)化基礎(chǔ)設(shè)施歸?化收集需求應(yīng)?設(shè)計(jì)應(yīng)?開發(fā)應(yīng)?測(cè)試應(yīng)?部署實(shí)踐1:

企業(yè)應(yīng)?交付

-

利?云原?技術(shù)快速構(gòu)建應(yīng)?技術(shù)棧-

?持企業(yè)按照?身需求對(duì)應(yīng)?交付流程進(jìn)

?深度定制改造-

引導(dǎo)企業(yè)在云原?模式下開發(fā)迭代演進(jìn)---Trait

通常由應(yīng)?運(yùn)維?員定義和維護(hù)，?不需要應(yīng)?開發(fā)?員參與，應(yīng)?開發(fā)?員對(duì)

Trait

可能?感知，減輕了應(yīng)?開發(fā)?員的負(fù)擔(dān)；Trait

將云原?應(yīng)?程序的?些通?運(yùn)維屬性從應(yīng)?配置中剝離出來，??提?了運(yùn)維邏輯的可復(fù)?性；應(yīng)?

Trait

組合前進(jìn)?運(yùn)維特性檢查，可以有效防?配置沖突和?法預(yù)期的情況發(fā)?；實(shí)踐1:

企業(yè)應(yīng)?交付

—

OAM模型標(biāo)準(zhǔn)化

ApplicationConfiguration

Component

Component

Trait

Trait實(shí)踐2:

健康管理體系

PaaS平臺(tái)服務(wù)

SaaS運(yùn)維應(yīng)?交付團(tuán)隊(duì)管理集群管理應(yīng)?管理監(jiān)測(cè)事件中?告警分析?險(xiǎn)巡檢異常診斷故障統(tǒng)計(jì)k8s

apiserverkubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)管理變更管理存儲(chǔ)管理預(yù)算管理控制智能?愈彈性伸縮編排均衡運(yùn)營質(zhì)量運(yùn)營成本運(yùn)營效率運(yùn)營服務(wù)運(yùn)維搜索?助答疑

IaaS基礎(chǔ)設(shè)施前端?程框架

appmanager

多集群部署

路由?關(guān)Helm包適配部署

發(fā)現(xiàn)服務(wù)kaniko鏡像構(gòu)建

鑒權(quán)服務(wù)OAM標(biāo)準(zhǔn)模型

應(yīng)?腳?架trait運(yùn)維特性市場(chǎng)運(yùn)維應(yīng)?多元化平臺(tái)服務(wù)標(biāo)準(zhǔn)化基礎(chǔ)設(shè)施歸?化實(shí)踐2:

健康管理體系

故障異常

告警

?險(xiǎn)事件

持續(xù)?定時(shí)間的?戶使?異常。

?戶側(cè)使?體感下降（包括不可?或性能下降）。

某些功能處于?預(yù)期狀態(tài)，需要?即處理。

某些數(shù)值?定程度偏離基線，提醒運(yùn)維同學(xué)關(guān)注。某個(gè)時(shí)間點(diǎn)對(duì)于某個(gè)?為的客觀描述，沒有好壞之分。

PaaS平臺(tái)服務(wù)

SaaS運(yùn)維應(yīng)?交付團(tuán)隊(duì)管理集群管理應(yīng)?管理監(jiān)測(cè)事件中?告警分析?險(xiǎn)巡檢異常診斷故障統(tǒng)計(jì)k8s

apiserverkubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)管理變更管理存儲(chǔ)管理預(yù)算管理控制智能?愈彈性伸縮編排均衡運(yùn)營質(zhì)量運(yùn)營成本運(yùn)營效率運(yùn)營服務(wù)運(yùn)維搜索?助答疑

IaaS基礎(chǔ)設(shè)施前端?程框架

appmanager

多集群部署

路由?關(guān)Helm包適配部署

發(fā)現(xiàn)服務(wù)kaniko鏡像構(gòu)建

鑒權(quán)服務(wù)OAM標(biāo)準(zhǔn)模型

應(yīng)?腳?架trait運(yùn)維特性市場(chǎng)運(yùn)維應(yīng)?多元化平臺(tái)服務(wù)標(biāo)準(zhǔn)化基礎(chǔ)設(shè)施歸?化實(shí)踐3:

變更管理實(shí)踐3:

變更管理變更檢測(cè)變更檢測(cè)變更檢測(cè)第?批:

觀察30分鐘第?批:

觀察10分鐘第三批:

觀察5分鐘

…----指定時(shí)間窗??動(dòng)執(zhí)?按實(shí)體分批執(zhí)?批次間穩(wěn)定性觀察?預(yù)期變更?動(dòng)停?/報(bào)警/回滾

PaaS平臺(tái)服務(wù)

SaaS運(yùn)維應(yīng)?交付團(tuán)隊(duì)管理集群管理應(yīng)?管理監(jiān)測(cè)事件中?告警分析?險(xiǎn)巡檢異常診斷故障統(tǒng)計(jì)k8s

apiserverkubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)管理變更管理存儲(chǔ)管理預(yù)算管理控制智能?愈彈性伸縮編排均衡運(yùn)營質(zhì)量運(yùn)營成本運(yùn)營效率運(yùn)營服務(wù)運(yùn)維搜索?助答疑

IaaS基礎(chǔ)設(shè)施前端?程框架

appmanager

多集群部署

路由?關(guān)Helm包適配部署

發(fā)現(xiàn)服務(wù)kaniko鏡像構(gòu)建

鑒權(quán)服務(wù)OAM標(biāo)準(zhǔn)模型

應(yīng)?腳?架trait運(yùn)維特性市場(chǎng)運(yùn)維應(yīng)?多元化平臺(tái)服務(wù)標(biāo)準(zhǔn)化基礎(chǔ)設(shè)施歸?化實(shí)踐4:

智能?愈閉環(huán)實(shí)踐4:

智能?愈閉環(huán)系統(tǒng)檢測(cè)告警分析

?例智能?愈閉環(huán)流程示意異常診斷-

巡檢任務(wù)-

異常檢測(cè)-

檢測(cè)出告警

-

關(guān)聯(lián)分析

-

報(bào)警壓縮

-

分析出異常

-

根因分析-

診斷出新異常異常診斷

決策執(zhí)?-

診斷樹-

診斷出根因

-

恢復(fù)作業(yè)

-

變更通知

PaaS平臺(tái)服務(wù)

SaaS運(yùn)維應(yīng)?交付團(tuán)隊(duì)管理集群管理應(yīng)?管理監(jiān)測(cè)事件中?告警分析?險(xiǎn)巡檢異常診斷故障統(tǒng)計(jì)k8s

apiserverkubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)kubelet

節(jié)點(diǎn)管理數(shù)據(jù)運(yùn)維智能運(yùn)維作業(yè)管理控制智能?愈容量維持彈性伸縮運(yùn)營質(zhì)量運(yùn)營成本運(yùn)營效率運(yùn)營服務(wù)運(yùn)維搜索?助答疑

IaaS基礎(chǔ)設(shè)施前端?程框架

appmanager

多集群部署

路由?關(guān)Helm包適配部署

發(fā)現(xiàn)服務(wù)kaniko鏡像構(gòu)建

鑒權(quán)服務(wù)OAM標(biāo)準(zhǔn)模型

應(yīng)?腳?架trait運(yùn)維特性市場(chǎng)運(yùn)維應(yīng)?多元化平臺(tái)服務(wù)標(biāo)準(zhǔn)化基礎(chǔ)設(shè)施歸?化實(shí)踐5:

運(yùn)維低