基于AWS的容器混合云架構(gòu)

1、基于 AWS 的容器混合云架構(gòu)數(shù)字化轉(zhuǎn)型：商業(yè)、行業(yè)趨勢國家政策：中國工信部推動(dòng)企業(yè)上云實(shí)施指南（2018-2020 年），新增上云企業(yè) 100 萬家，加快實(shí)體企業(yè) 數(shù)字化轉(zhuǎn)型。單位：億元2541.43333.4云計(jì)算216.9339人工智能2017201820172018增長期待：中國云計(jì)算超 30% 增長，AI 超 50% 增長；企業(yè)迫切需要融合方案以支撐轉(zhuǎn)型。行業(yè)標(biāo)準(zhǔn)：中國人民銀行 2018 年發(fā)布中華人民共和國 金融行業(yè)標(biāo)準(zhǔn)，對高彈性、高并發(fā)性等金融架構(gòu)特性 做出了清晰的指示。數(shù)字化轉(zhuǎn)型：93% 企業(yè)的挑戰(zhàn)與機(jī)遇企業(yè)需要新型 ISV 為企業(yè)提供整 合一體化 IT 架構(gòu)企業(yè)需要面向量體裁

2、衣的“半自 動(dòng)”深度行業(yè)解決方案，打通云、 數(shù)據(jù)與業(yè)務(wù)企業(yè)需要新型技術(shù)中臺(tái)賦能業(yè)務(wù)的 敏捷傳統(tǒng) IT 無法適應(yīng)數(shù)字化時(shí)代互聯(lián)網(wǎng)推動(dòng)商業(yè)模式變革，傳統(tǒng)行業(yè)原有的 IT 系統(tǒng) 無法滿足應(yīng)用快速 交付和流量彈性伸縮的新場景現(xiàn)有技術(shù)體系分層多、技術(shù)演化快、系統(tǒng)孤 島多云平臺(tái)需要 IaaS+PaaS+SaaS 分層構(gòu)建效率低、復(fù) 雜度高； 業(yè)務(wù)系統(tǒng)、大數(shù)據(jù)系統(tǒng)、機(jī)器學(xué)習(xí)系統(tǒng)、 存儲(chǔ)系統(tǒng)獨(dú)立割裂，缺乏彈性和融合數(shù)據(jù)日益增多企業(yè)定制化需求大市場競爭導(dǎo)致企業(yè)業(yè)務(wù)推陳出新，業(yè)務(wù)個(gè)性化越來 越強(qiáng)； 企業(yè)數(shù)據(jù)的增多帶來智能創(chuàng)新需求的增加， 企業(yè)數(shù)據(jù)不同帶來智能應(yīng)用個(gè)性化增強(qiáng)痛點(diǎn)機(jī)遇平臺(tái)化建設(shè)的階段性考量功能特性技術(shù)

3、 層面管理 層面生產(chǎn)穩(wěn)定安全性運(yùn)維操作租戶體系集成功能特性：多集群與混合云管理集群 總部用戶集群 北京用戶集群 上海用戶集群 深圳用戶集群 AWS1用戶集群 AWS2添加用戶集群 成都節(jié)點(diǎn)擴(kuò)容首創(chuàng)多集群容器云平臺(tái)支持平臺(tái)內(nèi)集群級(jí)擴(kuò)容支持集群內(nèi)節(jié)點(diǎn)級(jí)擴(kuò)容集群資源管理與監(jiān)控集群節(jié)點(diǎn)管理與監(jiān)控支持節(jié)點(diǎn)上容器管理支持配額超配管理應(yīng)用分區(qū)及應(yīng)用管理Grafana & Kibana功能特性：集群類型管理集群實(shí)現(xiàn)容器云核心功能資源管理任務(wù)調(diào)度網(wǎng)絡(luò)分配服務(wù)發(fā)現(xiàn)存儲(chǔ)管理擴(kuò)容縮容日志管理監(jiān)控告警租戶管理權(quán)限控制用戶集群提供應(yīng)用運(yùn)行環(huán)境開發(fā)測試生產(chǎn)區(qū)DMZ 區(qū)應(yīng)用運(yùn)行環(huán)境一致性開發(fā)測試區(qū)應(yīng)用性能要求不高，虛擬 機(jī)基

4、本滿足需求生產(chǎn)區(qū) DMZ 區(qū)應(yīng)用對安全性、穩(wěn)定 性、響應(yīng)速度等要求高，建議物理機(jī)應(yīng)用編排應(yīng)用管理鏡像管理灰度發(fā)布負(fù)載均衡集群管理物理機(jī)物理機(jī)虛擬機(jī)功能特性：鏡像倉庫、鏡像同步開發(fā)測試集群生產(chǎn)集群預(yù)發(fā)布集群托管環(huán)境生產(chǎn)環(huán)境共有云區(qū)策略復(fù)制同城數(shù)據(jù)中心主數(shù)據(jù)中心異地災(zāi)備數(shù)據(jù)中心環(huán)境集群鏡像策略復(fù)制節(jié)點(diǎn) GPU 卡識(shí)別 容器內(nèi)掛載 GPU01. 管理大粒度：按租戶 小粒度：用戶集群 硬件型號(hào)02. 分配GPU 狀態(tài)監(jiān)控GPU 用量監(jiān)控（使用率、顯存、溫度等）03. 監(jiān)控管理分配監(jiān)控功能特性： GPU 調(diào)度 用戶業(yè)務(wù) Pod 和 系統(tǒng) Pod 分離 特殊的網(wǎng)絡(luò)需求（IP 固定、對外可見等），對 K8s

5、 系統(tǒng)平臺(tái)無影響 當(dāng)用戶需要 IP 對外可見時(shí)，他們給業(yè)務(wù)規(guī)劃的 IP 資源往往是有限的、精確的，系統(tǒng) Pod 可以不占用這 些 IP 地址 用戶不同租戶可以使用不同的網(wǎng)絡(luò) 支持固定 IP、Pod IP 外部可見功能特性：多網(wǎng)絡(luò)方案K8sMultus CNIcanalbridge-vlancalico生產(chǎn)穩(wěn)定：大規(guī)模集群，千臺(tái)節(jié)點(diǎn)給應(yīng)用設(shè)計(jì)多維度 Label，便于歷史數(shù)據(jù)分析和推薦Type: Frontend/BackendApp Type: WebServer/ApiServer/DatabaseResource Bound: CPU-Bound/MEM-Bound/NET- Bound/D

6、iskIO-BoundEnv: prod/staging/dev/testTeam: AI/OS/PAASVersion: v0.5/v1.0/v1.1/v2.0namespace: 設(shè)置 resource quota為 Pod 設(shè)置 Request 和 Limit從 Prometheus 中可以獲取經(jīng)驗(yàn)值防止資源被當(dāng)個(gè) Pod 大量占用甚至耗盡健康檢查：liveness、readinessMaster 不調(diào)度業(yè)務(wù)：kubectl cordonImagePullPolicy：IfNotPresentgolang 應(yīng)用：不用 glog，需要日志 rotateInit Container：初始化工

7、作imagePullSecret：關(guān)聯(lián) serviceaccountQoS、Network Policy、鏡像制作、.controller-manager-concurrent-XXXX-syncs-kube-api-burst、-kube-api-qps-pod-eviction-timeout、-node-eviction-rate、-large-cluster-size-thresholdscheduler-kube-api-burst、-kube-api-qpskubelet-system-reserved、-system-reserved-cgroup-kube-api-burst、

8、-kube-api-qps-event-burst、-event-qpsNode 核數(shù)和 Pod 數(shù)量40c：40+ 個(gè) pod64c：4070 個(gè)pod80c：8090 個(gè)pod生產(chǎn)穩(wěn)定：大規(guī)模集群，千臺(tái)節(jié)點(diǎn)Master 高可用配置：= 16c32g，SSD高性能 LBEtcd：SSD事件和 K8s 對象分別存儲(chǔ)備份-heartbeat-interval-election-timeout-auto-compaction-retention-max-snapshots、-max-wals-max-request-bytes-quota-backend-bytes.apiserver 參數(shù)：-e

9、viction-hard：針對 memory 和 storage-max-requests-inflight-target-ram-mb、-watch-cache、-watch-cache-sizes.生產(chǎn)穩(wěn)定：大規(guī)模集群，千臺(tái)節(jié)點(diǎn)操作系統(tǒng)優(yōu)化ntp 時(shí)間同步關(guān)閉 swap/etc/security/limits.conf 打開文件數(shù)soft nofilehard nofile/etc/sysctl.confkernel.pid_maxnet.ipv4.ip_local_port_rangenet.ipv4.tcp_syncookiesnet.ipv4.tcp_tw_reusefs.file-

10、maxnet.ipv4.neigh.default.gc_thresh1net.ipv4.neigh.default.gc_thresh2net.ipv4.neigh.default.gc_thresh3生產(chǎn)穩(wěn)定：大規(guī)模集群，千臺(tái)節(jié)點(diǎn)Pod 固定 ip、靜態(tài) ip避免同一類型容器使用同一個(gè) uid基于 TOR 或者匯聚交換機(jī) Pod 打散多網(wǎng)絡(luò)平面.優(yōu)化實(shí)踐調(diào)度 numa 感知調(diào)度考慮網(wǎng)絡(luò)帶寬和磁盤 IO結(jié)合 label 根據(jù)歷史資源使用情況做資源推薦磁盤限速、容器網(wǎng)絡(luò)帶寬限速Pod 重啟，日志采集完再釋放日志文件句柄鏡像預(yù)熱、同步指定 Pod 縮容、灰度發(fā)布式 rolling updatel

11、ocal pvdpdk sr-iovdpdk ovsveth pairdpdk knivhost-netdpdk port生產(chǎn)穩(wěn)定：大規(guī)模集群，千臺(tái)節(jié)點(diǎn)安全管理容器運(yùn)行時(shí)漏洞管理容器網(wǎng)絡(luò)訪問無隔離容器運(yùn)行時(shí)配置缺陷容器承載的應(yīng)用漏洞平臺(tái)中存有流氓容器鏡像安全漏洞掃描鏡像配置缺陷管理鏡像中有惡意軟件鏡像中有明文密鑰使用了非信任鏡像不安全連接和訪問倉庫中有陳舊鏡像訪問敏感數(shù)據(jù)鑒權(quán)宿主機(jī)可被攻擊面大容器共享 kernel 風(fēng)險(xiǎn)宿主機(jī)操作系統(tǒng)漏洞宿主機(jī)用戶訪問權(quán)限宿主機(jī)文件系統(tǒng)篡改業(yè)務(wù)間訪問通斷控制非同類網(wǎng)絡(luò)流量分離負(fù)載均衡的加密訪問基于 SSL 傳輸加密無界的管理員權(quán)限授權(quán)訪問不夠嚴(yán)格敏感度差異容器

12、負(fù)載混合節(jié)點(diǎn)間互信關(guān)系操作日志審計(jì)容器安全鏡像安全倉庫安全宿主機(jī)安全網(wǎng)絡(luò)安全管理安全租戶體系：跨集群、用戶中心租戶管理租戶： 租 戶 A：150c/2TB 租戶 C：100c/700GB 租戶 B：20c/200GB 租戶 D：40c/500GB集群 北京1集群 北京2集群 北京3集群 青島1集群 青島2集群 AWS1集群 AWS2集群 ALIYUN租戶 C租戶 A租戶 A租戶 CCPU 60c Mem 200GBCPU 100cMem 1TBCPU 50cMem 1TBCPU 40c Mem 500GB租戶 B租戶 DCPU 20c Mem 200GBCPU 40c Mem 500GBNod

13、ePrometheus Server（Pod）RetrievalStoragePromQLLocal StorageWeb UI（Pod）Grafana（Pod）APIPush GatewayJobs / ExportersPrometheus ServerShort-livedjobspodhostNodepodhostEndpointsTargetsData宿主機(jī)監(jiān)控：CPU/內(nèi)存/磁盤 io/網(wǎng)絡(luò)容器監(jiān)控：CPU/內(nèi)存/磁盤 io/網(wǎng)絡(luò)應(yīng)用監(jiān)控：應(yīng)用可暴露的監(jiān)控指標(biāo)統(tǒng)一后端分布式存儲(chǔ)告警策略告警壓制運(yùn)維操作：監(jiān)控NodePodPodPodGlusterFSPod宿主機(jī)日志采集容器日志采集：標(biāo)準(zhǔn)輸出 & 文件日志支持海量日志文件跟蹤收取和傳送支持海量日志分析支持單應(yīng)用日志聚合及檢索支持基于日期、關(guān)鍵字檢索操作日志記錄用戶行為分析操作規(guī)范審計(jì)運(yùn)維操作：日志審計(jì)集成：DevOps平臺(tái)化建設(shè)的階段性考量功能特性技術(shù) 層面管理 層面生產(chǎn)穩(wěn)定安全性運(yùn)維操作租戶體系集成數(shù) 據(jù)訓(xùn) 練推 理團(tuán)隊(duì)云盤數(shù)據(jù)整形工程項(xiàng)目模型協(xié)作模型訓(xùn)練A/B 測試工具中心模型上線流量管理數(shù)據(jù)接入數(shù)據(jù)倉庫流