基于云原生存儲(chǔ)的容器持久化存儲(chǔ)方案

基于云原生存儲(chǔ)的容器持久化存儲(chǔ)方案

【摘要】容器正逐漸成為云上應(yīng)用的標(biāo)準(zhǔn)部署單元，某保險(xiǎn)公司將所有業(yè)務(wù)系統(tǒng)進(jìn)行容器化部署，在綜合了技術(shù)先進(jìn)性、成熟性、安全性、可擴(kuò)展性等架構(gòu)評(píng)估要素，并利用現(xiàn)有的物理存儲(chǔ)的基礎(chǔ)上，最終確認(rèn)采用以分布式云原生存儲(chǔ)IOMesh方案為主、容器本地存儲(chǔ)相配合的容器持久化存儲(chǔ)架構(gòu)方案。該方案可以整合當(dāng)前IT基礎(chǔ)架構(gòu)中的存儲(chǔ)系統(tǒng)，支持的基礎(chǔ)架構(gòu)包括公有云、私有云和裸金屬，大大提高企業(yè)在多云或混合云架構(gòu)中存儲(chǔ)資源的利用率，也滿足了云應(yīng)用、數(shù)據(jù)庫(kù)以及大數(shù)據(jù)等不同業(yè)務(wù)場(chǎng)景的存儲(chǔ)需求。1.背景某保險(xiǎn)公司將所有業(yè)務(wù)系統(tǒng)進(jìn)行容器化部署，容器云平臺(tái)的數(shù)據(jù)存儲(chǔ)采取了分布式持久化技術(shù)，存儲(chǔ)場(chǎng)景涉及了云應(yīng)用、數(shù)據(jù)存儲(chǔ)和分析、高性能計(jì)算以及數(shù)據(jù)邊界隔離。由于金融監(jiān)管的要求，存儲(chǔ)作為核心基礎(chǔ)架構(gòu)設(shè)施，需要保證高穩(wěn)定性和高安全性，需要對(duì)數(shù)據(jù)一致性、災(zāi)備和恢復(fù)有嚴(yán)格的要求。2.需求分析容器正逐漸成為云上應(yīng)用的標(biāo)準(zhǔn)部署單元，容器云平臺(tái)需要解決分布式持久化存儲(chǔ)的需求。同時(shí)容器編排系統(tǒng)也已成為趨勢(shì)，在無(wú)狀態(tài)的容器中，分布式存儲(chǔ)系統(tǒng)需要適配不同的存儲(chǔ)模式和規(guī)模，具體的架構(gòu)需求如下：分布式持久化存儲(chǔ)系統(tǒng)根據(jù)不通的場(chǎng)景具備融合架構(gòu)和分離架構(gòu)的能力，滿足高效率的文件檢索、高帶寬的吞吐性能，高可靠的數(shù)據(jù)安全保障；存儲(chǔ)插件需要支持不同的后端存儲(chǔ)；分布式持久化存儲(chǔ)系統(tǒng)需要結(jié)合容器云平臺(tái)實(shí)現(xiàn)自動(dòng)化功能，如彈性伸縮，隔離管理，還需要具備可視化監(jiān)控。3.總體架構(gòu)設(shè)計(jì)3.1方案設(shè)計(jì)原則高可用原則關(guān)鍵軟硬件組件都要求高可用設(shè)計(jì)部署，全鏈路冗余，能應(yīng)對(duì)多種故障場(chǎng)景。先進(jìn)性與成熟性原則方案采用業(yè)界主流云計(jì)算技術(shù)，保持技術(shù)的先進(jìn)性，同時(shí)更偏向于采用成熟的商業(yè)解決方案，以保證系統(tǒng)的穩(wěn)定性?？蓴U(kuò)展性原則采用分布式架構(gòu)方案，滿足彈性擴(kuò)容需求，并對(duì)外提供開放標(biāo)準(zhǔn)的API接口，便于功能的擴(kuò)展。合適原則方案適應(yīng)大多數(shù)存儲(chǔ)場(chǎng)景，注重成本與收益的平衡，合理利用現(xiàn)有計(jì)算存儲(chǔ)資源，關(guān)注資源的使用效率。簡(jiǎn)單原則盡量降低方案設(shè)計(jì)的復(fù)雜性，在滿足合適原則下，選用簡(jiǎn)單易行方案。3.2總體架構(gòu)圖1.容器持久化存儲(chǔ)架構(gòu)圖如圖1所示，容器云可構(gòu)筑在公有云、私有云、虛擬化以及裸金屬等不同的物理底座之上。不同于物理存儲(chǔ)，容器存儲(chǔ)是容器云的組件之一，是跨平臺(tái)、更高層的邏輯概念，主要包括容器云存儲(chǔ)和容器本地存儲(chǔ)，容器云存儲(chǔ)通過(guò)CSI存儲(chǔ)插件可將云存儲(chǔ)卷掛載到容器，從而能被容器應(yīng)用訪問(wèn)。在本方案中，主要采用的是以分布式云原生存儲(chǔ)為主、容器本地存儲(chǔ)相配合的容器持久化存儲(chǔ)架構(gòu)，并充分利用現(xiàn)有的物理存儲(chǔ)系統(tǒng)，提高資源利用效率，也滿足全業(yè)務(wù)場(chǎng)景的存儲(chǔ)需求。3.3部署建議物理機(jī)部署物理底座選擇裸金屬，可滿足最大性能需求，但不易擴(kuò)展，運(yùn)維簡(jiǎn)便性不足。虛擬化部署物理底座選擇虛擬化或云平臺(tái)，易擴(kuò)展、運(yùn)維簡(jiǎn)單，適用于大多數(shù)容器應(yīng)用場(chǎng)景，但有一定的資源損耗?；旌喜渴鹁C合來(lái)看，最終建議采用混合部署的方式，需要根據(jù)集群性能、運(yùn)維管理、資源利用率、技術(shù)成熟度、成本等因素，合理利用原有的計(jì)算存儲(chǔ)資源，去權(quán)衡不同業(yè)務(wù)場(chǎng)景下的物理部署方案。4.詳細(xì)方案說(shuō)明4.1存儲(chǔ)方案選型容器云存儲(chǔ)是建立在物理存儲(chǔ)之上的一種邏輯概念，需建立物理存儲(chǔ)到容器存儲(chǔ)的映射關(guān)系。結(jié)合現(xiàn)有的物理存儲(chǔ)資產(chǎn)，分析物理存儲(chǔ)到容器存儲(chǔ)的映射關(guān)系，如表1所示?，F(xiàn)有物理存儲(chǔ)特點(diǎn)映射方式容器訪問(wèn)方式對(duì)象存儲(chǔ)容量擴(kuò)展性強(qiáng)，成本低，性能一般不需要映射HTTP/RESTAPI接口NAS存儲(chǔ)性能不高，擴(kuò)展性弱容器云文件存儲(chǔ)NFS，掛載存儲(chǔ)卷到容器SAN存儲(chǔ)存儲(chǔ)延時(shí)低，性能穩(wěn)定，成本高，擴(kuò)展性弱容器本地存儲(chǔ)HostPath或EmptyDir容器云塊存儲(chǔ)iscsi，掛載存儲(chǔ)卷到容器本地硬盤成本低，適配SSD和HDD容器本地存儲(chǔ)HostPath或EmptyDir分布式云原生存儲(chǔ)iscsi，掛載存儲(chǔ)卷到容器表1.物理存儲(chǔ)到容器存儲(chǔ)的映射關(guān)系容器一般不需要持有對(duì)象存儲(chǔ)，容器應(yīng)用可直接訪問(wèn)對(duì)象存儲(chǔ)；傳統(tǒng)NAS存儲(chǔ)可匹配容器云平臺(tái)的文件存儲(chǔ)需求，支持在多個(gè)容器中掛載和數(shù)據(jù)共享；傳統(tǒng)SAN存儲(chǔ)成本較高，性能穩(wěn)定，為特定的業(yè)務(wù)場(chǎng)景服務(wù)，但彈性擴(kuò)展能力弱，運(yùn)維管理相對(duì)復(fù)雜，并不適合提供大規(guī)模容器云塊存儲(chǔ)服務(wù)；服務(wù)器的本地磁盤成本低，在其上規(guī)劃部署分布式云原生存儲(chǔ)，可提供大規(guī)模容器云塊存儲(chǔ)服務(wù)功能。在合理利用現(xiàn)有存儲(chǔ)資源的前提下，提供大規(guī)模容器云塊存儲(chǔ)功能的云原生存儲(chǔ)是本方案的主要選型目標(biāo)。云原生存儲(chǔ)是專為容器化應(yīng)用構(gòu)建的存儲(chǔ)系統(tǒng)，和應(yīng)用一起運(yùn)行在容器平臺(tái)之上，充分發(fā)揮容器平臺(tái)的優(yōu)勢(shì)，滿足高可用性、可擴(kuò)展性、動(dòng)態(tài)部署、存儲(chǔ)服務(wù)自維護(hù)等要求，可極大地降低管理復(fù)雜度和運(yùn)維成本。目前主流的云原生存儲(chǔ)方案主要分為開源與閉源商用兩種解決方案：1)開源云原生存儲(chǔ)主要包括OpenEBS、Rook-Ceph等開源架構(gòu)的分布式云原生存儲(chǔ)。其特點(diǎn)是IO性能、吞吐、時(shí)延等方面都表現(xiàn)欠佳，需要有比較強(qiáng)的技術(shù)團(tuán)隊(duì)做保障，不適宜直接應(yīng)用于生產(chǎn)環(huán)境。2)商用云原生存儲(chǔ)方案商業(yè)云原生存儲(chǔ)提供了更多企業(yè)級(jí)應(yīng)用功能，性能和穩(wěn)定性方面也要優(yōu)于開源方案。相比于Portworx、StorageOS等國(guó)外廠商的云原生存儲(chǔ)方案，SmartX公司的IOMesh有著國(guó)內(nèi)本地研發(fā)的優(yōu)勢(shì)，能提供更快的用戶響應(yīng)，同時(shí)也具備著更高的IO性能。綜合技術(shù)先進(jìn)性、成熟性、安全性、可擴(kuò)展性等架構(gòu)評(píng)估要素，在利用現(xiàn)有的物理存儲(chǔ)的基礎(chǔ)上，最終確定了以分布式云原生存儲(chǔ)IOMesh方案為主、容器本地存儲(chǔ)相配合的容器持久化存儲(chǔ)方案。4.2IOMesh云原生存儲(chǔ)架構(gòu)IOMesh可以整合當(dāng)前IT基礎(chǔ)架構(gòu)中的存儲(chǔ)系統(tǒng)，支持的基礎(chǔ)架構(gòu)包括公有云、私有云和裸金屬，大大提高企業(yè)在多云或混合云架構(gòu)中存儲(chǔ)資源的利用率。IOMesh將整個(gè)架構(gòu)中的存儲(chǔ)資源進(jìn)行池化,支持在線擴(kuò)容，以供Kubernetes集群使用，如圖2所示。圖2.IOMesh云原生存儲(chǔ)架構(gòu)圖IOMesh主要有三個(gè)組件：IOMeshCSIDriver，是符合KubernetesCSIDriver規(guī)范的CSI插件，可以為容器調(diào)度平臺(tái)提供管理存儲(chǔ)的接口；IOMeshOperator，提供了和應(yīng)用統(tǒng)一的運(yùn)維方式，負(fù)責(zé)存儲(chǔ)集群的運(yùn)維，包括一鍵安裝、一鍵升級(jí)、一鍵擴(kuò)容等；IOMeshCluster，分布式塊存儲(chǔ)集群，基于本地存儲(chǔ)盤構(gòu)建存儲(chǔ)資源池。IOMesh的優(yōu)勢(shì)主要在于：1)裸設(shè)備存儲(chǔ)引擎：性能更優(yōu)；2)智能數(shù)據(jù)分層：自動(dòng)分層，成本效益最大化；3)無(wú)內(nèi)核依賴：故障隔離，穩(wěn)定性高；4)自動(dòng)數(shù)據(jù)恢復(fù)：高可用，易維護(hù)；5)彈性擴(kuò)展：靈活橫向擴(kuò)展；6)卷級(jí)別管理：存儲(chǔ)管理更精細(xì)的；7)監(jiān)控分析：可視化的統(tǒng)一監(jiān)控管理。4.3動(dòng)態(tài)Provision過(guò)程持久化存儲(chǔ)主要通過(guò)持久卷(PV，PersistentVolume)、持久卷聲明(PVC，PersistentVolumeClaim)兩種方式來(lái)實(shí)現(xiàn)。PV是集群存儲(chǔ)資源，PVC則是用戶對(duì)存儲(chǔ)資源的請(qǐng)求，通過(guò)PV滿足請(qǐng)求。PV的Provision分為靜態(tài)和動(dòng)態(tài)兩種方式，其中靜態(tài)供應(yīng)需要管理員手動(dòng)創(chuàng)建PV，但會(huì)大大增加存儲(chǔ)運(yùn)維工作；而動(dòng)態(tài)供應(yīng)可以不需要集群管理員的任何手動(dòng)干預(yù)，主要通過(guò)定義存儲(chǔ)類(StorageClass),并在PVC時(shí)對(duì)存儲(chǔ)類進(jìn)行聲明的方式。存儲(chǔ)類抽象了存儲(chǔ)供應(yīng)的細(xì)節(jié)，而依賴于制定的供應(yīng)程序來(lái)處理供應(yīng)邏輯。整個(gè)自動(dòng)供應(yīng)過(guò)程如圖3所示：圖3.動(dòng)態(tài)Provision過(guò)程本方案中使用的存儲(chǔ)及對(duì)應(yīng)的存儲(chǔ)類配置信息如下表所示：存儲(chǔ)CSI-Provisioner存儲(chǔ)接口AcessModes用途NetAppnetapp.io/tridentNfsReadWriteOnce，ReadWriteMany共享文件存儲(chǔ)IOMeshcom.iomesh.csi-driverIscsiReadWriteOnce高性能塊存儲(chǔ)存儲(chǔ)類是管理員需要提前規(guī)劃定義的，對(duì)于IOMesh來(lái)說(shuō)，其存儲(chǔ)類定義可參考如下：在完成存儲(chǔ)類定義后，用戶可使用已定義的存儲(chǔ)類iomesh–sc1來(lái)創(chuàng)建聲明PVC，指定的PV支持單節(jié)點(diǎn)讀寫，大小為10G，定義的yaml文件參考如下：4.4應(yīng)用場(chǎng)景分類在容器云平臺(tái)中，典型的有狀態(tài)應(yīng)用場(chǎng)景主要包括云應(yīng)用、云數(shù)據(jù)庫(kù)、NOSQL、大數(shù)據(jù)分析和高性能計(jì)算等類型，本節(jié)將分別介紹這幾類應(yīng)用場(chǎng)景下的存儲(chǔ)應(yīng)用。4.4.1云應(yīng)用場(chǎng)景一般是輕量級(jí)應(yīng)用，應(yīng)用之間不掛載共享存儲(chǔ)，容器部署在云VM主機(jī)上，應(yīng)用間可通過(guò)容器直接訪問(wèn)對(duì)象存儲(chǔ)的方式實(shí)現(xiàn)數(shù)據(jù)共享。在云原生存儲(chǔ)池中創(chuàng)建不同業(yè)務(wù)應(yīng)用的StorageClass，單個(gè)應(yīng)用容器對(duì)應(yīng)于一個(gè)或多個(gè)StorageClass，應(yīng)用通過(guò)申請(qǐng)指定的StorageClass的存儲(chǔ)資源PVC,存儲(chǔ)集群會(huì)創(chuàng)建和分配PV，PV會(huì)再被動(dòng)態(tài)綁定到應(yīng)用容器，從而實(shí)現(xiàn)存儲(chǔ)資源的動(dòng)態(tài)供應(yīng)，如圖4所示。圖4.云應(yīng)用的容器存儲(chǔ)部署對(duì)于部分需要掛載共享存儲(chǔ)的應(yīng)用，則使用NAS存儲(chǔ)對(duì)應(yīng)的StorageClass，通過(guò)PVC綁定PV，最終實(shí)現(xiàn)應(yīng)用容器通過(guò)NFS方式共享文件存儲(chǔ)。4.4.2數(shù)據(jù)庫(kù)場(chǎng)景數(shù)據(jù)庫(kù)場(chǎng)景主要是MySQL、PostgreSQL等關(guān)系型數(shù)據(jù)庫(kù)以及MongoDB、Cassandra、Hbase等NoSQL數(shù)據(jù)庫(kù)，具體可根據(jù)存儲(chǔ)IO性能需求選擇部署在云VM主機(jī)或物理服務(wù)器上。對(duì)于數(shù)據(jù)庫(kù)場(chǎng)景來(lái)說(shuō)，存儲(chǔ)IO性能至關(guān)重要。在同等硬件條件和測(cè)試參數(shù)下，IOMesh的性能遠(yuǎn)超業(yè)界同類產(chǎn)品。圖5.存儲(chǔ)性能測(cè)試對(duì)比MySQL部署：以單節(jié)點(diǎn)MySQL容器化部署為例，在Kubernetes中使用Service和Deployment部署MySQL，通過(guò)PVC聲明了一個(gè)存儲(chǔ)卷，并在Deployment中引用這個(gè)PVC，IOMesh再通過(guò)動(dòng)態(tài)供應(yīng)卷的機(jī)制為MySQL提供PV。當(dāng)MySQL容器所在的節(jié)點(diǎn)發(fā)生故障時(shí)，Kubernetes集群會(huì)立即檢測(cè)到節(jié)點(diǎn)故障，并自動(dòng)在集群內(nèi)的一個(gè)可用節(jié)點(diǎn)上創(chuàng)建新的Pod，并重新綁定原有的PV，一定程度上保證了數(shù)據(jù)庫(kù)服務(wù)的高可用。Cassandra部署：Cassandra是一種Key—Value鍵值對(duì)數(shù)據(jù)庫(kù)，采用一致性hash算法對(duì)存儲(chǔ)在節(jié)點(diǎn)上的數(shù)據(jù)進(jìn)行分片，每個(gè)節(jié)點(diǎn)上均保存有數(shù)據(jù)分片。以三節(jié)點(diǎn)的Cassandra集群部署為例，在Kubernetes中使用headlessService和StatefulSet部署Cassandra集群，replicas設(shè)置為3。每個(gè)Cassandra集群節(jié)點(diǎn)各申請(qǐng)一個(gè)PVC，IOMesh再將通過(guò)動(dòng)態(tài)供應(yīng)卷的機(jī)制提供PV。每一個(gè)Cassandra集群節(jié)點(diǎn)均有為穩(wěn)定、唯一的網(wǎng)絡(luò)標(biāo)識(shí)和持久化存儲(chǔ)，應(yīng)用可以按照順序、優(yōu)雅的啟停。對(duì)于關(guān)系數(shù)據(jù)庫(kù)和NOSQL來(lái)說(shuō)，云原生存儲(chǔ)提供了數(shù)據(jù)多副本機(jī)制保障數(shù)據(jù)安全，可根據(jù)具體的技術(shù)架構(gòu)和實(shí)際業(yè)務(wù)需要決定是否部署數(shù)據(jù)庫(kù)層的高可用架構(gòu)或數(shù)據(jù)多副本，避免存儲(chǔ)資源的浪費(fèi)。4.4.3大數(shù)據(jù)場(chǎng)景大數(shù)據(jù)分析、高性能計(jì)算場(chǎng)景是一種大規(guī)模、高并發(fā)的數(shù)據(jù)密集型應(yīng)用。相比于傳統(tǒng)業(yè)務(wù)應(yīng)用，存儲(chǔ)方面需要滿足更大的內(nèi)存、存儲(chǔ)級(jí)內(nèi)存、固態(tài)硬盤、NVMe、更大的存儲(chǔ)容量等基礎(chǔ)設(shè)施要求，容器化后也一般是部署在物理主機(jī)上，可充分使用服務(wù)器的內(nèi)存和本地NVMeSSD。傳統(tǒng)的大數(shù)據(jù)分析和高性能計(jì)算場(chǎng)景存在著資源利用率低、資源隔離性差等問(wèn)題，而容器化改造能很好地解決這個(gè)問(wèn)題。一般來(lái)說(shuō)，數(shù)據(jù)分析類應(yīng)用是一種夜間離線業(yè)務(wù)，而在線業(yè)務(wù)高峰主要出現(xiàn)在日間，容器云平臺(tái)混合部署后，容器的彈性伸縮可以有效提升資源利用率；大數(shù)據(jù)分析和高性能計(jì)算的各組件容器化后，可以做到容器間對(duì)于CPU、內(nèi)存等資源的隔離。以大數(shù)據(jù)分析應(yīng)用為例，包括分布式文件系統(tǒng)HDFS、列數(shù)據(jù)庫(kù)HBase等組件，容器化部署如下表所示。大數(shù)據(jù)組件用途容器部署方式數(shù)據(jù)存儲(chǔ)HDFS文件存儲(chǔ)，Hadoop基礎(chǔ)組件StatefulSet+DaemonSet本地磁盤，根目錄；IOMesh塊存儲(chǔ)HBase列數(shù)據(jù)庫(kù)StatefulSetHDFSMySQL關(guān)系數(shù)據(jù)庫(kù)DeploymentIOMesh塊存儲(chǔ)Hive數(shù)據(jù)查詢分析StatefulSetHDFS，MySQLHbase架構(gòu)在HDFS之上，HDFS的存儲(chǔ)架構(gòu)需重點(diǎn)設(shè)計(jì)。如圖6所示，HDFS一般包括Namenode和多個(gè)Datanode，Namenode容器管理著HDFS的元數(shù)據(jù)MetaData，存放在IOMesh云原生存儲(chǔ)池中；每個(gè)節(jié)點(diǎn)主機(jī)通過(guò)DaemonSet方式固定部署某個(gè)Datanode容器，Datanode容器管理著實(shí)際的數(shù)據(jù)塊，存儲(chǔ)在節(jié)點(diǎn)主機(jī)的本地磁盤。HDFS的數(shù)據(jù)量較大，本身就支持多數(shù)據(jù)副本機(jī)制，有著一套完整的存儲(chǔ)管理機(jī)制，數(shù)據(jù)塊部署在本地磁盤可以很好地契合場(chǎng)景。圖6.HDFS的容器存儲(chǔ)部署

4.5異常場(chǎng)景應(yīng)對(duì)對(duì)于分布式持久化存儲(chǔ)系統(tǒng)來(lái)說(shuō)，異常場(chǎng)景主要受以下三類因素影響：1)自身的可用性存儲(chǔ)的軟硬件組件層面的冗余設(shè)計(jì)存在缺陷，在部分組件故障失效時(shí)，會(huì)導(dǎo)致部分或全部服務(wù)不可用，甚至?xí)霈F(xiàn)數(shù)據(jù)丟失的極端情況。2)自身的穩(wěn)定性在部分軟硬件故障或故障恢復(fù)時(shí)，存儲(chǔ)性能出現(xiàn)較大下降，響應(yīng)延遲增加，從而可能會(huì)導(dǎo)致應(yīng)用訪問(wèn)隊(duì)列堵塞，嚴(yán)重影響到用戶體驗(yàn)。3)外在的容器云環(huán)境云原生存儲(chǔ)運(yùn)行在容器云平臺(tái)上，會(huì)受到容器云平臺(tái)的故障影響，比如節(jié)點(diǎn)主機(jī)故障、容器云平臺(tái)故障等，從而嚴(yán)重影響到云原生存儲(chǔ)，用戶體驗(yàn)下降或無(wú)法對(duì)外提供服務(wù)。針對(duì)上述因素引起的異常場(chǎng)景，在存儲(chǔ)方案設(shè)計(jì)和部署時(shí)，需要關(guān)注以下幾點(diǎn)：高可用部署高可用部署需要滿足軟硬件層面的全冗余，需要考慮軟件層的組件配置、組件的主機(jī)部署、機(jī)柜位置分布、網(wǎng)絡(luò)拓?fù)涞纫蛩?。?duì)于云原生存儲(chǔ)IOMesh來(lái)說(shuō)，采用了先進(jìn)的全分布式架構(gòu)，其充分利用了容器云平臺(tái)的高可用特性，安裝部署簡(jiǎn)單，可根據(jù)實(shí)際需求，配置3~5MetaServers和ChunkServer。存儲(chǔ)插件IOMesh采用IO