云平臺(tái)存儲(chǔ)四種場(chǎng)景的自動(dòng)化設(shè)計(jì)

一、前言伴隨著大數(shù)據(jù)、云計(jì)算浪潮的洶涌發(fā)展，越來越多金融行業(yè)選擇業(yè)務(wù)整體上云。如何在保障云平臺(tái)存儲(chǔ)安全性、可靠性的同時(shí)降低運(yùn)維成本，是所有企業(yè)必須思考的命題。本文將從云平臺(tái)存儲(chǔ)自動(dòng)化的角度，介紹某金融企業(yè)在上云過程中，如何結(jié)合自動(dòng)化配置，強(qiáng)化上云的規(guī)模效應(yīng)和成本遞減效應(yīng)，安全、穩(wěn)定的降低運(yùn)維成本。二、云平臺(tái)存儲(chǔ)的優(yōu)勢(shì)目前業(yè)界在云平臺(tái)存儲(chǔ)的選擇上，常見的方案有集中式SAN/NAS存儲(chǔ)與分布式存儲(chǔ)。生產(chǎn)環(huán)境在選擇存儲(chǔ)方案時(shí)，需要兼顧性能和成本，一般需結(jié)合業(yè)務(wù)場(chǎng)景，將各種存儲(chǔ)方案加以組合應(yīng)用。如業(yè)務(wù)系統(tǒng)的虛擬機(jī)云硬盤、NFS一般采用NAS存儲(chǔ)，數(shù)據(jù)庫使用SAN存儲(chǔ)，文件備份使用分布式存儲(chǔ)等。通過對(duì)云平臺(tái)存儲(chǔ)平臺(tái)的自動(dòng)化設(shè)計(jì)，有機(jī)地將業(yè)務(wù)場(chǎng)景與存儲(chǔ)方案相結(jié)合，實(shí)現(xiàn)云平臺(tái)存儲(chǔ)的安全、可靠落地。既能滿足業(yè)務(wù)的發(fā)展需求，又能降低運(yùn)維成本。三、關(guān)鍵點(diǎn)和挑戰(zhàn)云平臺(tái)存儲(chǔ)平臺(tái)的建設(shè)，需要針對(duì)不同業(yè)務(wù)場(chǎng)景，挑選合適的存儲(chǔ)方案。因此云平臺(tái)存儲(chǔ)平臺(tái)整體設(shè)計(jì)上，既要最大程度降低數(shù)據(jù)和基礎(chǔ)架構(gòu)風(fēng)險(xiǎn)，又要具備靈活的部署選項(xiàng)和高速擴(kuò)展性。在自動(dòng)化的設(shè)計(jì)方面，同樣要考慮兼容業(yè)界不同的軟硬件接口。從硬件的磁盤介質(zhì)層，到操作系統(tǒng)的文件系統(tǒng)層，如何實(shí)現(xiàn)云平臺(tái)存儲(chǔ)資源的動(dòng)態(tài)容量管理、自動(dòng)化調(diào)度等，是云平臺(tái)存儲(chǔ)平臺(tái)自動(dòng)化設(shè)計(jì)的關(guān)鍵點(diǎn)和挑戰(zhàn)之一。四、自動(dòng)化設(shè)計(jì)在云平臺(tái)存儲(chǔ)的自動(dòng)化設(shè)計(jì)上，主要考慮面向業(yè)務(wù)的存儲(chǔ)服務(wù)交付。如虛擬機(jī)相關(guān)文件系統(tǒng)、NFS相關(guān)文件系統(tǒng)、數(shù)據(jù)庫表空間相關(guān)文件系統(tǒng)，以及這類存儲(chǔ)服務(wù)的自動(dòng)化擴(kuò)容場(chǎng)景。下面結(jié)合目前企業(yè)常用的四種自動(dòng)化場(chǎng)景進(jìn)下介紹：場(chǎng)景一：虛擬機(jī)存儲(chǔ)自動(dòng)化配置業(yè)務(wù)上云之后，普遍需要解決虛擬機(jī)的批量部署問題。在虛擬機(jī)文件系統(tǒng)的自動(dòng)化設(shè)計(jì)上，基于OpenStack的Cinder模塊接口、Shell腳本以及批量自動(dòng)化工具（Ansible）的結(jié)合，實(shí)現(xiàn)規(guī)?；?、自動(dòng)化的虛擬機(jī)文件系統(tǒng)的初始化。簡(jiǎn)要設(shè)計(jì)邏輯如下（圖1）：圖1:虛擬機(jī)存儲(chǔ)自動(dòng)化配置1）調(diào)用OpenStackNova模塊接口，創(chuàng)建計(jì)算資源；2）調(diào)用OpenStackCinder模塊接口，創(chuàng)建存儲(chǔ)資源；3）調(diào)用批量自動(dòng)化工具，在虛擬機(jī)上通過Shell腳本將硬盤初始化，創(chuàng)建卷組、邏輯卷到可用的文件系統(tǒng)。該方案能夠快速實(shí)現(xiàn)計(jì)算及存儲(chǔ)資源的高效交付。場(chǎng)景二：NFS存儲(chǔ)自動(dòng)化配置NFS文件系統(tǒng)用在多個(gè)用戶之間共享公共文件系統(tǒng)，在業(yè)務(wù)規(guī)模較大時(shí)，同一個(gè)NFS需要掛載的節(jié)點(diǎn)多，既需要考慮訪問安全性，又需要考慮管理的便捷性。基于OpenStack的Manila模塊接口、Shell腳本以及批量自動(dòng)化工具（Ansible）的結(jié)合，實(shí)現(xiàn)NFS文件系統(tǒng)掛載。簡(jiǎn)要設(shè)計(jì)邏輯如下（圖2）：圖2:NFS存儲(chǔ)自動(dòng)化配置1）調(diào)用OpenStackManila接口，創(chuàng)建NFS目錄創(chuàng)建；2）調(diào)用OpenStackManila接口，設(shè)置NFS白名單；3）調(diào)用OpenStackNeutron接口，實(shí)現(xiàn)NFS網(wǎng)絡(luò)訪問開通；4）調(diào)用批量自動(dòng)化工具，在虛擬機(jī)上通過Shell腳本實(shí)現(xiàn)NFS目錄掛載。該方案同時(shí)支持新增NFS白名單及掛載功能，滿足業(yè)務(wù)的縱向擴(kuò)展。場(chǎng)景三：數(shù)據(jù)庫表空間存儲(chǔ)自動(dòng)化配置數(shù)據(jù)庫高IO的特性，在選擇存儲(chǔ)時(shí)，不同于計(jì)算幾點(diǎn)采用的NAS存儲(chǔ)方案，一般選擇IO性能更高的SAN、SSD或本地磁盤的存儲(chǔ)方案。基于Kubernetes的數(shù)據(jù)庫容器化設(shè)計(jì)與SAN、SSD或本地磁盤封裝接口結(jié)合，具備極好的魯棒性，可以滿足數(shù)據(jù)庫的高可用及性能要求。簡(jiǎn)要設(shè)計(jì)邏輯如下：1）調(diào)用Kubernetes接口，初始化數(shù)據(jù)庫容器；2）調(diào)用封裝的磁盤接口，執(zhí)行SAN、SSD或本地磁盤的存儲(chǔ)分配；3）調(diào)用批量自動(dòng)化工具，通過Shell腳本實(shí)現(xiàn)容器的文件目錄掛載及數(shù)據(jù)庫初始化；4）調(diào)用批量自動(dòng)化工具，搭建數(shù)據(jù)庫復(fù)制關(guān)系。該方案在在面對(duì)數(shù)以千計(jì)的數(shù)據(jù)庫需求時(shí)，既能實(shí)現(xiàn)表空間的自動(dòng)縱向擴(kuò)容，還支持實(shí)例規(guī)格的自動(dòng)縱向擴(kuò)容。場(chǎng)景四：云平臺(tái)存儲(chǔ)容量自動(dòng)化配置在企業(yè)日益講究成本及精細(xì)化運(yùn)維管理的背景下，云平臺(tái)存儲(chǔ)的容量動(dòng)態(tài)管理能力，是云平臺(tái)存儲(chǔ)必須具備的功能之一。通過云監(jiān)控與云平臺(tái)存儲(chǔ)容量的整合，實(shí)現(xiàn)基于容量數(shù)據(jù)的存儲(chǔ)全自動(dòng)化擴(kuò)容。以上提到的虛擬機(jī)存儲(chǔ)、NFS存儲(chǔ)、數(shù)據(jù)庫表空間存儲(chǔ)，均支持自動(dòng)化擴(kuò)容。簡(jiǎn)要設(shè)計(jì)邏輯如下：1）云監(jiān)控實(shí)時(shí)監(jiān)控文件系統(tǒng)使用情況；2）基于容量水位，自動(dòng)推送云平臺(tái)存儲(chǔ)擴(kuò)容策略；3）基于自動(dòng)化流程，實(shí)現(xiàn)存儲(chǔ)服務(wù)的自動(dòng)化擴(kuò)容。云平臺(tái)存儲(chǔ)的容量管理，按照最小化存儲(chǔ)資源交付，一方面實(shí)現(xiàn)了存儲(chǔ)成本的節(jié)約，避免浪費(fèi)；另一方面與監(jiān)控及容量管理的結(jié)合，能夠及時(shí)滿足業(yè)務(wù)發(fā)展的需求。五、總結(jié)在上云后的規(guī)?；\(yùn)營時(shí)代，傳統(tǒng)金融企業(yè)通過云平臺(tái)存儲(chǔ)的自動(dòng)化平臺(tái)設(shè)計(jì)，加速企業(yè)上云的速度，既能滿足基礎(chǔ)服務(wù)快速交付（