從服務(wù)化es到kafka和redis技術(shù)架構(gòu)實(shí)踐

1、林清軒&ZMENG從服務(wù)化es到kafka和redis技術(shù)架構(gòu)實(shí)踐萬(wàn)物皆K8S企業(yè)容器化之路SwarmCattleK8S201720162018我們?cè)趺纯创齂8SKubernetesIaasPaasCaas企業(yè)容器云總體設(shè)計(jì)XDF新東方K8S實(shí)踐XDF新東方鏡像和分發(fā)XDF新東方節(jié)點(diǎn)管理XDF新東方CI/CDXDF新東方監(jiān)控項(xiàng)目日志和集群日志XDF新東方集群建設(shè)業(yè)務(wù)UAT 集群1.11.9Platform-1集群 1.14.1Test 集群1.12.41.14.1業(yè)務(wù) PRD集群 1.11.9Platform Uat集群1.14.1業(yè)務(wù)應(yīng)用情況中間件服務(wù)化掌上泡泡/新東方APP后端服務(wù)為什么要

2、將中間件服務(wù)化ES隊(duì)列緩存等中間件特點(diǎn):項(xiàng)目應(yīng)用范圍廣規(guī)模大KPI要求高增長(zhǎng)快跨機(jī)房高可用項(xiàng)目自有小灶吃資源版本多投入人員多管理和維護(hù)成本高治理猛獸的穿心箭-自動(dòng)化-服務(wù)化容器化-服務(wù)化Helm通過(guò)組合Helm和ansible 將基礎(chǔ)架構(gòu)代碼化 Infrastructure as a CodeAnsible AWX容器化-自動(dòng)化-將最佳實(shí)踐和管理規(guī)范轉(zhuǎn)換為 服務(wù)輸出逐步合并項(xiàng)目中的小灶到大鍋飯中來(lái)VIP項(xiàng)目可以改造為大鍋飯中的小灶將運(yùn)維人員對(duì)項(xiàng)目支持的勞務(wù)輸出轉(zhuǎn)變?yōu)閷?duì)服務(wù)平臺(tái)的建設(shè)賦能一線人員,讓二線人員做更 有意義的事情我們的實(shí)踐 ELK/ESElastic給我們很大啟發(fā)ELK的編排UAT環(huán)

3、境的編排方案NodeNodeNodeRook(ceph)ES-STS1RBDRBDRBDES-STS2StatefulsetNodeNodeNodeRook(ceph)ES-STS1RBDRBDRBDES-STS2Statefulset存儲(chǔ)采用ROOK與ES同屬于同一個(gè)K8S集群ES數(shù)據(jù)節(jié)點(diǎn)是一個(gè)STS, 每個(gè)節(jié)點(diǎn)掛載一個(gè)RBD卷節(jié)點(diǎn)可以任意在各個(gè)node中漂移.生產(chǎn)環(huán)境的編排NodeES-dep1hostpathhostpathES-dep2Deploy1Deploy2NodeNodeNodeNodeNodeES-dep2hostpathhostpathES-dep1CopyDeploy1D

4、eploy21.每個(gè)ES節(jié)點(diǎn)是一個(gè)deployment,deployment中只有一個(gè)POD 2.使用Taint和label將deploy固定到指定的物理機(jī)上,禁止漂移 3.數(shù)據(jù)直接寫本地磁盤(hostpath)直接采用Host網(wǎng)絡(luò)如果節(jié)點(diǎn)掛了就掛了, 等待就地復(fù)活如果無(wú)法復(fù)活,節(jié)點(diǎn)數(shù)據(jù)丟棄,從物理機(jī)池中喚醒新的實(shí)例,從集群同步數(shù)據(jù)簡(jiǎn)約架構(gòu)是最美的架構(gòu)組件減少,故障點(diǎn)也少性能強(qiáng):本地磁盤性能優(yōu)于RBDHost網(wǎng)絡(luò)跳過(guò)K8S網(wǎng)絡(luò)棧被編排的應(yīng)用特性決定:ES是分布式架構(gòu)ES內(nèi)置副本機(jī)制本地復(fù)活節(jié)點(diǎn)比節(jié)點(diǎn)漂移的恢復(fù)時(shí)間更短物理節(jié)點(diǎn)徹底無(wú)法復(fù)活是小概率事件我們的實(shí)踐 RedisRedis 編排Redi

5、s 哨兵無(wú)持久化方案Host網(wǎng)絡(luò), 每個(gè)項(xiàng)目?jī)蓚€(gè)端口,端口保證唯一容器內(nèi)部嵌入supervisord,避免k8s在哨兵反應(yīng)前重啟PODRedis POD 啟動(dòng)時(shí)綁定CPU我們的實(shí)踐 KafkaKafka簡(jiǎn)述kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)kafka的優(yōu)勢(shì)和特點(diǎn):吞吐量高數(shù)據(jù)可持久化分布式架構(gòu),且易于擴(kuò)展Kafka應(yīng)用場(chǎng)景和設(shè)計(jì)要求使用kafka作為交易類系統(tǒng)的 消息隊(duì)列使用kafka作為業(yè)務(wù)log的中間 載體, 將數(shù)據(jù)轉(zhuǎn)到es端進(jìn)行消 費(fèi)Kafka傳送Mysql bin log 將 數(shù)據(jù)同步到其他數(shù)據(jù)庫(kù)或ES要求各項(xiàng)目topic之間權(quán)限完全隔 離資源隔離, 讀寫大戶隔離部署同時(shí)

6、滿足SSL加密傳輸和明文傳輸Kafka安全加固信道加密SSL用戶認(rèn)證/權(quán)限SASL/PLAINSASL/GASSAPI(Kerberos)ACL (用戶權(quán)限)SASL方案對(duì)比新東方kafka架構(gòu)基于K8s平臺(tái)的kafka容器編排我們的實(shí)踐 服務(wù)化平臺(tái)服務(wù)化平臺(tái)架構(gòu)XDF新東方服務(wù)化平臺(tái)-集群管理服務(wù)化平臺(tái)-申請(qǐng)kafka服務(wù)服務(wù)化平臺(tái)-申請(qǐng)kafka服務(wù)服務(wù)化平臺(tái)-服務(wù)總覽服務(wù)化平臺(tái)-自助維護(hù)服務(wù)化平臺(tái)-AWX后臺(tái)實(shí)例部署完成實(shí)例部署完成針對(duì)kafka定制的報(bào)警規(guī)則監(jiān)控可視化面板壓測(cè)數(shù)據(jù)(SSL+ACL)容器配置: 16C 140G內(nèi)存(16G JVM) SSD服務(wù)化平臺(tái)路線展望多種服務(wù)集成到云門戶部署/回收 API配置查看/變更 API權(quán)限變更 API監(jiān)控日志查詢 APIES服務(wù)部署/回收 API配置查看/變更 API權(quán)限變更 API監(jiān)控日志查詢 APIKafka服務(wù)部署/回收 API配置查看/變更 API權(quán)限變更 API監(jiān)控日志查詢 APIRedis服務(wù)部署/回收 API配置查看/變更