容器大數(shù)據(jù)融合平臺(tái)技術(shù)架構(gòu)演進(jìn)

1、容器大數(shù)據(jù)融合平臺(tái)技術(shù)架構(gòu)演進(jìn)技術(shù)創(chuàng)新，變革未來提綱容器平臺(tái)演進(jìn)實(shí)踐中踩過的坑容器技術(shù)與大數(shù)據(jù)融合實(shí)踐010203知乎容器平臺(tái)演進(jìn)要點(diǎn)從 Mesos 到 Kubernetes從單集群到多集群混合云架構(gòu)從滾動(dòng)部署到部署發(fā)布分離從無狀態(tài)到有狀態(tài)從 NAT 到 Underlay IP0102030405從 Mesos 到 KubernetesMesosPros: 穩(wěn)定，Master負(fù)載輕，單集群規(guī)模大Cons: Framework 開發(fā)成本高KubernetesPros: 社區(qū)強(qiáng)大，功能完善，接入成本低Cons: 單集群規(guī)模受限于 etcd 性能從單集群到混合云需求灰度集群容量水平擴(kuò)展容忍集群級(jí)別故

2、障混合云架構(gòu)公有云集群資源池大，抗突發(fā)擴(kuò)容能力強(qiáng)按需計(jì)費(fèi)，對(duì)臨時(shí)活動(dòng)擴(kuò)容更經(jīng)濟(jì)混合云架構(gòu)多集群管理方案Kubernetes Federation自研同一組業(yè)務(wù)容器同 時(shí)在兩個(gè)集群創(chuàng)建同一組業(yè)務(wù)不同集 群的 Deployment 配置相同，只有容 器個(gè)數(shù)不同從滾動(dòng)部署到部署發(fā)布分離概念定義部署： 分發(fā)代碼配置，啟動(dòng)服務(wù)實(shí)例發(fā)布： 服務(wù)實(shí)例對(duì)外接受流量上線流程從滾動(dòng)部署到部署發(fā)布分離滾動(dòng)部署每次升級(jí)部分實(shí)例，迭代運(yùn)行保證升級(jí)過程中服務(wù)不中斷，瞬時(shí)最大 資源少問題單個(gè)滾動(dòng)部署過程不能和多個(gè)發(fā)布階段相對(duì)應(yīng)多個(gè)部署過程導(dǎo)致部署速度慢部署過程中舊實(shí)例銷毀，導(dǎo)致回滾速度 慢從滾動(dòng)部署到部署發(fā)布分離部署和發(fā)布

3、分離部署階段和發(fā)布階段靈活 對(duì)應(yīng)部署過程和發(fā)布驗(yàn)證并行 執(zhí)行發(fā)布過程中不銷毀舊實(shí)例，實(shí)現(xiàn)秒級(jí)回滾從無狀態(tài)到有狀態(tài)容器的持久化存儲(chǔ)HostPath配合DaemonSet, 如 Consul Agent 部署Local高 IOPS，低延時(shí)ReadWriteOnce， 如 KafkaNFSFuse + DFSReadOnlyMany，如業(yè)務(wù)文件讀取從 NAT 到 Underlay IP容器網(wǎng)絡(luò)模式端口映射模式Docker NAT性能損耗Underlay IPUnderlay 網(wǎng)絡(luò)，容器和物理機(jī)網(wǎng)絡(luò)對(duì)等互聯(lián)簡(jiǎn)單，性能無損耗故障定位方便每個(gè)機(jī)器一個(gè)固定網(wǎng)段，通過 CNI 插件實(shí)現(xiàn) IP 分配踩過的坑K8

4、S events變更事件默認(rèn)寫入 etcdevents 默認(rèn) TTL 采用遍歷實(shí)現(xiàn)，效率很差在集群規(guī)模變大，集群變更頻繁時(shí)導(dǎo)致 etcd 集群負(fù)載過大，最終導(dǎo)致 etcd集群崩潰解決方案隔離：將 events 記錄到單獨(dú)的 etcd 集群 （-etcd-servers-overrides ）去高可用： events etcd 集群采用單節(jié)點(diǎn)固定時(shí)間清理：每天清空 events etcd 集群，替代 TTL 機(jī)制踩過的坑K8S Eviction在 1.5 版本之前的 Kubernetes 里，Controller Manager 會(huì)將 不能訪問的 Node 上的 Pods 刪除，如果 API s

5、erver 全部掛掉 超過一定時(shí)間再恢復(fù)后，Controller Manager 會(huì)刪除所有 Pod 實(shí)例-unhealthy-zone-threshold踩過的坑Docker 容器端口泄露現(xiàn) 象 ：“port is already allocated” /docker/libnetwork/issues/1790原因：Docker Daemon 分配端口和記錄過程不是原子的， 恢復(fù)流程只根據(jù)自身記錄恢復(fù)導(dǎo)致端口泄露踩過的坑TCP Connection Reset在 Docker NAT 網(wǎng)絡(luò)模式下出現(xiàn) nf_ct_tcp: ACK is under the lower bound (poss

6、ible overly delayed ACK)ip_conntrack_tcp_be_liberalwhen enabled, only out of window reset (RST) segments are marked as INVALID; when disabled (default), all out of window packets are marked as INVALID基于 Kubernetes 的大數(shù)據(jù)融合批處理追求吞吐時(shí)延不敏感容錯(cuò)性高實(shí)時(shí)處理時(shí)延敏感可用性要求高基于 Kubernetes 的大數(shù)據(jù)融合問題：業(yè)務(wù)相互影響，服務(wù)質(zhì)量難以保障方案：集群隔離多集群部署

7、成本高方案：K8S 模板問題：集群隔離導(dǎo)致資源利用率下降方案：用容器實(shí)現(xiàn)更細(xì)粒度的資源分配和隔離基于 Kubernetes 的 Kafka 集群平臺(tái)需求Kafka 集群隔離多集群資源利用率提升方案Kafka 性能瓶頸在磁盤 IOPSLocal Disk 調(diào)度優(yōu)勢(shì)天然 IOPS，容量隔離細(xì)粒度資源分配，資源利用率高數(shù)據(jù)冗余由 Replica 實(shí)現(xiàn)，由機(jī)架感知控制 Broker 分布（broker.rack = $hostname）故障處理簡(jiǎn)單基于 Kubernetes 的 Kafka 集群平臺(tái)創(chuàng)建流程定義第三方資源 LocalPV 和LocalPVC靜態(tài)創(chuàng)建磁盤資源 LocalPV平臺(tái)創(chuàng)建 Ka

8、fka 集群時(shí)動(dòng)態(tài) 創(chuàng)建 LocalPVC調(diào)度器結(jié)合 LocalPV 和 LocalPVC 創(chuàng)建 RC，在對(duì)應(yīng) 的節(jié)點(diǎn)上啟動(dòng) Broker容器與 Hbase 融合需求HBase 集群隔離Region Server 資源限制資源利用率優(yōu)化Hbase 特性Master 和 Regionserver 無狀態(tài)Regionserver 性能瓶頸在 CPU 和內(nèi)存容器與 HBase 融合架構(gòu)每個(gè) HBase Cluster 使 用獨(dú)立的 NamespaceHBase Master 和 RegionServer 使用 Deployment 部署共享 ZooKeeper 和HDFS 集群容器與 Spark S

9、treaming 融合業(yè)務(wù)特性長(zhǎng)駐型任務(wù)不需要大量讀 HDFS， 不需要數(shù)據(jù) locality 的調(diào)度特性負(fù)載敏感容器與 Spark Streaming 融合架構(gòu)演進(jìn)Spark on YARN, YARN on K8SSpark on K8S大數(shù)據(jù)平臺(tái)的 DevOps 管理自助式申請(qǐng)大數(shù)據(jù)平臺(tái)的 DevOps 管理多維度監(jiān)控KafkaTopic LevelMSG/S, ISR Number, Consumer LagBroker LevelBroker CPU, Heap Memory, Thread CountHost LevelCPU Load, Disk Latency總結(jié)按業(yè)務(wù)方進(jìn)行集群隔離利用 K8S 進(jìn)行多集群部