容器云平臺的安全性設計

容器云平臺的安全性設計Ⅱ目錄ⅡPAGE08PAGE081容器云平臺概述部分將在高可用章節(jié)介紹。2容器云平臺風險及挑戰(zhàn)舉例作為平臺級的容器環(huán)境，比以往任何的基礎架構平臺更加的接近業(yè)務，同時也包含了更多的層級和組件，因此也帶來了更多的風險；目前容器安全也是一個信息安全的新興領域，該領域的技術和產(chǎn)品也在不斷完善中，下面我們先從風險的角度列舉幾個常見的例子，讓大家對容器平臺安全有個感性認識：Linux內(nèi)核2018年，Kubernetes生態(tài)系統(tǒng)因發(fā)現(xiàn)Kubernetes的第一個主要安全漏洞（Kubernetes特權升級漏洞k8sapi實現(xiàn)提升普通用戶到k8sapi-server的最高權限，然后運行代碼來安裝惡意軟件，進而破壞k8s集群。除此之外還有CVE-2019-11245還提供了一個遠程管理接口的RESTAPI，允許通過TCP步利用容器自身特性，直接訪問主機上的敏感信息，獲取服務器root權限，對敏感文件進行修改并最終完2．提供其他模塊之間的數(shù)據(jù)交互和通信的樞紐;3．資源配額控制的入口；4．應用部署的接口；就是整個容器平臺的入口，任何用戶和程序對集群資源的增刪改查操作都可以通過api實現(xiàn)。因此，為了保證集群的安全，API-server需要提供完備的安全機制。企業(yè)需要在構建容器云平臺時考慮如何增強網(wǎng)絡訪問控制，進而提升網(wǎng)絡安全。3容器云平臺安全設計容器云平臺架構典型容器云平臺，參照上面平臺架構設計，包括如下幾部分，從下到上包括分別是：基礎設施，容器云平臺基礎組件部分，容器云管理平臺部分，業(yè)務應用部分平臺支持系統(tǒng)部分。容器云平臺安全架構1．安全基線建設安全基線（參照附件5和6）持續(xù)改進建設安全基線檢測自動化工具建設容器資產(chǎn)清單工具，實時洞察容器運行狀況。2．容器運行風格選擇瘦容器(ThinContainer):單進程應用的封裝，在鏡像中打包應用。這非常適于微服務架構應用的服務交付。以上組件是容器云平臺的控制（管理）組件安全基線建設安全基線檢測自動化工具組件之間通信加密為了實現(xiàn)組件之間的安全，設計要求組件之間應該啟用TLS，支持TLS以防止流量嗅探、驗證服務器身份以及（對于相互TLS而言）驗證客戶端身份。需要開啟的TLS通訊包括：1．APIServer和etcd之間參考下圖：簡單路由網(wǎng)絡或常用的?annel網(wǎng)絡程序本身不能應用網(wǎng)絡策略。南北向流量的安全對于南北向的流量，應該引入傳統(tǒng)的網(wǎng)絡流量分析控制設備，例如IPS/IDS/審計/NGFW/WAF等。東西向流量的安全全控制點，在沒有合適的產(chǎn)品可以替代的情況下，應該盡量：3．采用強制訪問控制技術；4．監(jiān)控宿主機文件系統(tǒng)的變更；5．保持系統(tǒng)和組件的安全補丁為最新。建立專屬CA中心，定期替換密鑰檢查根證書到期時間的命令：檢查根證書到期時間的命令：opensslx509-noout-enddate-in/etc/kubernetes/ssl/kubelet-client.crt構建統(tǒng)一賬戶管理平臺（UIMS）建設過程中需要對容器云平臺，組織實體，個人實體等賬戶的口令進行分類，建立平臺超級管理員口令，組織管理員口令，個人實體口令管理辦法，典型的云平臺超級管理員口令的安全性要求最高，組織管理員次之，個人實體口令要求相對低一些，因此口令的管理措施也不同，比如云平臺超級管理員需要建設基于硬件的一次性密碼或者雙要素密碼認證機制，組織管理員密碼需要建立一次性密碼或者雙要素密碼認證機制，個人實體密碼需要滿足一定密碼復雜度要求。典型口令策略，舉例：密碼至少由8個字符組成，應該混合數(shù)字、大寫字母、小寫字母，以及特殊字符等；UIMS系統(tǒng)支持完備口令使用，變更，修改，注銷等生命周期管理能力。構建統(tǒng)一身份認證平臺SSO1．傳統(tǒng)的Cookie+Session解決方案，有狀態(tài)會話模式；2．基于令牌/票據(jù)的解決方案，無狀態(tài)交互模式。上述方案各有利弊：Kubernetes有三種主要的身份驗證方法，用于和API進行交互。官網(wǎng)列出了更多的認證方法，但以下三種是用戶認證常見的方法。OpenIDConnect（OIDC）其中，OpenIDConnect基于OAuth2.0協(xié)議。構建最小權限授權管理機制--authorization-mode=RBAC--authorization-mode=RBAC除此之外還有以下模式：--authorization_mode=ABAC--authorization_mode=Webhook--authorization_mode=Node容器云平臺RBAC授權管理機制涉及的概念包括：1．訪問對象定義：K8s對集群內(nèi)部的對象以及對象上有的操作進行了規(guī)范，比如對象包括（不含CRD對象）：PodsCon?gMapsDeploymentsNodesSecretsNamespaces2．對象操作定義：資源對象的可能存在的操作有：creategetdeletelistupdateeditwatchexec3．角色/集群角色定義：命名空間的約束。4．用戶/服務賬戶/組定義：在Kubernetes集群中有存在兩類用戶：Group：組，這是用來關聯(lián)多個賬戶的，集群中有一些默認創(chuàng)建的組，比如cluster-adminKeystone或ldap中，或影響到當前namespace下面的資源操作權限，而ClusterRoleBinding會影響到所有的namespace。在有以上定義的基礎上，容器云平臺的基于rbac管理模型下的權限管理方式：某一用戶(service小提示：關于如何實為集群服務設置RBAC策略的最佳實踐，以及歸納典型設置可以使用audit2rbac，從審計日志提取細粒度的RBAC策略。開啟審計功能（非強制）審計功能主要包括兩部分內(nèi)容，一個是k8sapiapi審計日志通過開啟k8saudit功能實現(xiàn)，管理平臺的審計日志通過管理平臺的實現(xiàn)方自定義實現(xiàn)。其中apiserver(kube-apiserver.yaml)開啟audit日志的方式是：--feature-gates=AdvancedAuditing=true--feature-gates=AdvancedAuditing=true--audit-policy-file=/etc/kubernetes/pki/audit-policy.yaml--audit-log-format=json--audit-log-path=/var/log/kubernetes/kubernetes-audit--audit-log-path=/var/log/kubernetes/kubernetes-audit--audit-log-maxage=30--audit-log-maxage=30--audit-log-maxbackup=3--audit-log-maxsize=100其中audit策略在文件audit-policy.yaml定義，形如：apiVersion:audit.k8s.io/v1beta1#Thisisrequired.apiVersion:audit.k8s.io/v1beta1#Thisisrequired.kind:Policy#Don'tgenerateauditeventsforallrequestsinRequestReceivedstage.omitStages:-"RequestReceived"rules:#LogpodchangesatRequestResponselevel-level:RequestResponseresources:-group:"" #Resource"pods"doesn'tmatchrequeststoanysubresourceofpods,#whichisconsistentwiththeRBACpolicy.resources:["pods"]#Log"pods/log","pods/status"atMetadatalevel-level:Metadataresources:-group:"" resources:["pods/log","pods/status"]……#Acatch-allruletologallotherrequestsattheMetadatalevel.-level:Metadata #Long-runningrequestslikewatchesthatfallunderthisrulewillnot#generateanauditeventinRequestReceived.omitStages: -"RequestReceived"審計政策定義了關于應記錄哪些事件以及應包含哪些數(shù)據(jù)的規(guī)則。處理事件時，將按順序與規(guī)則列表進行比較。第一個匹配規(guī)則設置事件的[審計級別][auditing-level]。已知的審計級別有：None-符合這條規(guī)則的日志將不會記錄。Metadata-記錄請求的metadata(請求的用戶、timestamp、resource、verb等等)，但是不記錄請求或者響應的消息體。Request-記錄事件的metadata和請求的消息體，但是不記錄響應的消息體。這不適用于非資源類型的請求。RequestResponse-記錄事件的metadata，請求和響應的消息體。這不適用于非資源類型的請求。API1．資源的訪問隔離通過namespace機制對容器云平臺進行多租戶資源隔離，租戶內(nèi)基于RBAC模式的授權模式進行資源的訪問控制。control目前支持的admissioncontrol插件，分別是NamespaceLifecycle,LimitRanger,ServiceAccount,TaintNodesByCondition,Priority,DefaultSeconds,DefaultStorageClass,StorageObjectInUseProtection,PersistentVolumeClaimResize,MutatingAdmissionWebhook,ValidatingAdmissionWebhook,RuntimeClass,ResourceQuota以上插件按需激活使用，比如：…………--enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota……4．網(wǎng)絡隔離網(wǎng)絡資源在集群層面也是共享的，相關的隔離措施見前面部分。單集群和多集群建議：不同業(yè)務安全級別的應用部署在不同集群。單個集群不能太小，同時也不能太多，建議不超過128臺物理主機（48c/256G）。CSI2．UI與API的權限控制：對界面的菜單、按鈕進行權限控制，對后臺api的訪問權限進行權限控制，其中賬戶部分需要對接統(tǒng)一的LDAP系統(tǒng)。4．平滑升級：組件的升級應該不影響容器云平臺的影響。鏡像介質(zhì)安全鏡像運行(策略)安全發(fā)現(xiàn)鏡像以root用戶運行禁止運行發(fā)現(xiàn)鏡像有指定的安全級別的漏洞禁止運行發(fā)現(xiàn)鏡像內(nèi)有指定某CVE漏洞禁止運行發(fā)現(xiàn)鏡像內(nèi)有木馬病毒禁止運行發(fā)現(xiàn)鏡像內(nèi)有特定的軟件包版本禁止運行發(fā)現(xiàn)鏡像內(nèi)有非信任鏡像禁止運行發(fā)現(xiàn)鏡像內(nèi)有私有證書禁止運行鏡像庫建設對于鏡像庫建設方案包括1．采用商用的鏡像倉庫，并且啟用鏡像漏洞掃描功能，2．自建鏡像倉庫，但是構建一套完整的鏡像掃描工具，對于鏡像進行離線掃描，并且形成整改措施。2．支持TLS加密訪問，訪問權限控制以保證鏡像安全。3．冗余、高可用的架構，數(shù)據(jù)持久性，支持全鏈路數(shù)據(jù)加密，保障數(shù)據(jù)安全。4．擁有海量的存儲能力，隨時隨地可以實現(xiàn)對容器鏡像的下載、管理。鏡像簽名Secret會以Volume的形式常見敏感信息包括關鍵的環(huán)境變量，比如數(shù)據(jù)鏈接密碼信息，TLS證書信息，鏡像庫認證信息等。Vault其主要的應用場景：1．作為部署在Kubernetes集群中的應用對外提供秘鑰管理服務，支持與多家主流云廠商秘鑰服務以及多種secrets形式的對接，支持多種數(shù)據(jù)庫服務的存儲對接，同時支持多種認證形式的對接。aTwo-man原則利用私鑰分割上。這一點與傳統(tǒng)IT基礎架構中F5等負載均衡設備將訪問請求負載分發(fā)到后端功能相同的應用上類似，過kube-proxy轉發(fā)至后端的容器，完成對服務的訪問。臺的網(wǎng)絡方案深度耦合，只能在特定的云平臺上使用，局限性較大。Ingress除了k8s原生支持方案以外，F(xiàn)5公司提供了另外一種方案：F5CC+VE方案的namespace與VE以上方案中，F(xiàn)5方案中實現(xiàn)了基于api的TLS證書管理能力以及F5商用產(chǎn)品的負載均衡處理能力，是一種不錯的應用安全入訪訪問控制方案。隨著零信任安全模型的普及，業(yè)務系統(tǒng)實現(xiàn)全站HTTPS隨著零信任安全模型的普及，業(yè)務系統(tǒng)實現(xiàn)全站HTTPSWEB應用入侵檢測在容器云環(huán)境下，依然很重要，應用入侵防御主要的考慮點如下：Iptables隔離，通過在宿主機側對網(wǎng)絡集群外部做基于Iptables的隔離策略，可以限制攻擊者對“容器在宿主機所映射端口”的訪問，縮小受攻擊面。部署RASP，通過在Java、PHP服務器容器內(nèi)部部署RASP產(chǎn)品，可以用之作為保護的最后一環(huán)，作為網(wǎng)絡治理的一個補充小點。Webshell掃描，通過在宿主機側通過Webshell掃描引擎掃描來自Docker容器的“Web應用程序文件”(這些文件可通過“dockercp”命令或者“動態(tài)掛載”機制獲得)，有助于發(fā)現(xiàn)攻擊者植入的Webshell。日志分析，通過在宿主機側通過ELK識別拒絕服務攻擊，通過在宿主機側讀取和容器對應的cgroup文件系統(tǒng)相關文件的實時內(nèi)容(網(wǎng)絡、CPU、內(nèi)存、磁盤），可以識別出拒絕服務攻擊。網(wǎng)絡流量可視化，“網(wǎng)絡流量可視化”是現(xiàn)有的“容器安全產(chǎn)品”的常見附加功能。該功能的功能可能依托于“對指定的網(wǎng)橋、網(wǎng)卡進行流量的DPI分析”。實現(xiàn)容器云環(huán)境下的WE