省級政務(wù)云平臺-存儲資源規(guī)劃

1、省級政務(wù)云平臺存儲資源規(guī)劃 目 錄 TOC o 1-3 h z u HYPERLINK l _Toc524552300 第1章 建設(shè)目標(biāo)、范圍、任務(wù) 建設(shè)目標(biāo)、范圍、任務(wù)建設(shè)目標(biāo)以國務(wù)院辦公廳關(guān)于促進(jìn)電子政務(wù)協(xié)調(diào)發(fā)展的指導(dǎo)意見為指導(dǎo)，統(tǒng)籌推進(jìn)省電子政務(wù)基礎(chǔ)設(shè)施提升、電子政務(wù)業(yè)務(wù)系統(tǒng)協(xié)同發(fā)展、信息資源共享共用和數(shù)據(jù)開放利用；按照湘府閱201553號文件要求，以資源整合、集約建設(shè)、穩(wěn)步推進(jìn)為原則，建成安全可靠、統(tǒng)一高效、國內(nèi)領(lǐng)先的云計(jì)算平臺并開展示范應(yīng)用，為全省各級部門提供彈性的云計(jì)算和云存儲能力、政務(wù)外網(wǎng)承載服務(wù)與應(yīng)用能力，基本滿足省直部門“十三五”期間非涉密業(yè)務(wù)的統(tǒng)一網(wǎng)絡(luò)、計(jì)算資源、存儲資源、

2、數(shù)據(jù)庫服務(wù)、備份服務(wù)、安全服務(wù)等需求，提升政府效能，促進(jìn)政府管理創(chuàng)新，達(dá)到簡政、興業(yè)、惠民的目標(biāo)。建設(shè)范圍省級電子政務(wù)外網(wǎng)主要滿足各級政府部門社會管理、公共服務(wù)等方 面的需求，為各省直部門的非涉密電子政務(wù)業(yè)務(wù)提供承載服務(wù)。本次建設(shè)省級電子政務(wù)外網(wǎng)統(tǒng)一云平臺，總體框架為“1+2+N”， 即“1網(wǎng)、2中心、N多應(yīng)用云”，省本級政務(wù)大數(shù)據(jù)中心，初步形成“8+3+5”的基本框架。具體業(yè)務(wù)目標(biāo)主要包括： “一個(gè)網(wǎng)絡(luò)”優(yōu)化升級電子政務(wù)外網(wǎng)平臺，滿足省直部門間以及省 到市、市到縣網(wǎng)絡(luò)傳輸和承載的需求； “兩個(gè)中心”建設(shè)云計(jì)算中心、大數(shù)據(jù)中心，滿足省直部門十三五期間非涉密業(yè)務(wù)需求，為政府領(lǐng)導(dǎo)提供科學(xué)、合理的決

3、策支持。 “N 朵應(yīng)用云”建設(shè)基于云平臺的 N 個(gè)全省性應(yīng)用系統(tǒng)，包括政務(wù) 服務(wù)、政務(wù)管理、政務(wù)行業(yè)、政務(wù)決策和政務(wù)辦公等領(lǐng)域。 “8大基礎(chǔ)數(shù)據(jù)庫、主題數(shù)據(jù)庫”完成人口、法人、宏觀、地理空間、政務(wù)服務(wù)信息、工商企業(yè)、信用信息、電子證照等8大基礎(chǔ)數(shù)據(jù)庫、主題數(shù)據(jù)庫的建設(shè)、遷移、備份共享； “3大平臺”完成大數(shù)據(jù)智能分析平臺、數(shù)據(jù)交換和共享平臺、數(shù)據(jù)開放平臺3大平臺； “5大示范工程”完成全省旅游大數(shù)據(jù)分析、12345服務(wù)平臺、區(qū)域經(jīng)濟(jì)臉譜大數(shù)據(jù)分析、省互聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展?fàn)顩r分析、省政府網(wǎng)站群智能監(jiān)測分析5大示范工程；建設(shè)建設(shè)統(tǒng)一的安全體系；建設(shè)統(tǒng)一運(yùn)維管理機(jī)制；設(shè)計(jì)遷移策略，完成部分系統(tǒng)的遷移；明確

4、云平臺建設(shè)、管理、運(yùn)營模式，節(jié)約投資，提升服務(wù)質(zhì)量。建設(shè)任務(wù)充分考慮省級電子政務(wù)外網(wǎng)統(tǒng)一云平臺計(jì)算、存儲資源需求的階段性和應(yīng)用系統(tǒng)建設(shè)的復(fù)雜性，為了保證投資的有效使用，采用分期建設(shè)的原則。（一）第一期2016年1完成省電子政務(wù)外網(wǎng)的升級改造；2建設(shè)40%的計(jì)算、存儲資源；3啟動大數(shù)據(jù)中心建設(shè)；4啟動N朵云建設(shè)。（二）第二期2017年1建設(shè)60%的計(jì)算、存儲資源；2完成災(zāi)備中心建設(shè)；3完成大數(shù)據(jù)中心建設(shè)；4完成N朵應(yīng)用云的部分建設(shè)。（三）第三期2018年-2020年1全面完成N應(yīng)用朵云建設(shè)。其中，本期云平臺基礎(chǔ)設(shè)施部分的建設(shè)任務(wù)具體包括以下：完成省電子政務(wù)外網(wǎng)升級改造（含安全平臺）；建設(shè)主數(shù)據(jù)中

5、心、同城雙活數(shù)據(jù)中心40%的計(jì)算、存儲資源，數(shù)據(jù)交換和共享平臺；建設(shè)政府協(xié)同辦公平臺、政務(wù)安全郵箱；提供省政府門戶網(wǎng)站群五年的運(yùn)維服務(wù)；提供統(tǒng)一的運(yùn)維管理服務(wù)（五年），確保本期建設(shè)的政務(wù)外網(wǎng)、安全體系、云計(jì)算中心安全穩(wěn)定運(yùn)行。省級云計(jì)算中心方案整體架構(gòu) （圖示：數(shù)據(jù)中心架構(gòu)設(shè)計(jì)）湖南政務(wù)云數(shù)據(jù)中心采用標(biāo)準(zhǔn)化、開放和高擴(kuò)展的云計(jì)算架構(gòu)，支撐省政府各部門的政務(wù)外網(wǎng)、互聯(lián)網(wǎng)等多種不同業(yè)務(wù)服務(wù)。（1）網(wǎng)絡(luò)資源設(shè)計(jì)：網(wǎng)絡(luò)采用扁平化二層架構(gòu)，分為核心層和接入層，提高性能，減少時(shí)延；網(wǎng)絡(luò)大二層部署，保證虛擬機(jī)在資源池內(nèi)部的熱遷移能力；核心交換機(jī)旁掛負(fù)載均衡器，提供負(fù)載均衡增值服務(wù)；防火墻支持虛擬防火墻能力，

6、實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)之間的安全隔離。外網(wǎng)服務(wù)區(qū)與互聯(lián)網(wǎng)服務(wù)區(qū)之間網(wǎng)絡(luò)通過部署數(shù)據(jù)交換平臺實(shí)現(xiàn)不同業(yè)務(wù)域之間的安全隔離。（2）計(jì)算資源設(shè)計(jì)：采用標(biāo)準(zhǔn)化的X86物理服務(wù)器，構(gòu)建計(jì)算資源池。采用OpenStack開放架構(gòu)，支持Xen、KVM等主流虛擬化平臺。X86服務(wù)器根據(jù)業(yè)務(wù)系統(tǒng)對資源的不同需求，配置不同的產(chǎn)品型號及物理配置，劃分高性能計(jì)算區(qū)、通用性能計(jì)算區(qū)，分別作為虛擬化資源和物理機(jī)資源。（3）存儲資源設(shè)計(jì)：多樣化存儲部署，滿足不同業(yè)務(wù)系統(tǒng)的需求，降低存儲的投資成本。對于數(shù)據(jù)庫、VM文件系統(tǒng)采用FC SAN進(jìn)行承載；對于非結(jié)構(gòu)化數(shù)據(jù)、虛擬化鏡像等數(shù)據(jù)存儲，建議采用分布式文件系統(tǒng)存儲承載，保障存儲性能和擴(kuò)

7、容能力。（4）業(yè)務(wù)云化設(shè)計(jì)：根據(jù)各政府部門業(yè)務(wù)對云資源的不同需求，以及業(yè)務(wù)云化的難度，分批逐步的將現(xiàn)網(wǎng)業(yè)務(wù)系統(tǒng)遷移至云服務(wù)商政務(wù)云，實(shí)現(xiàn)更多政務(wù)業(yè)務(wù)的云化。（5）云管理平臺設(shè)計(jì)： 構(gòu)建統(tǒng)一云管理平臺，通過對政務(wù)云基礎(chǔ)資源的抽象和資源池化，提供自助式的IaaS、PaaS、SaaS服務(wù)。政府客戶可通過云管理平臺統(tǒng)一門戶自助申請?jiān)品?wù)，并進(jìn)行靈活的管理。同時(shí)，云管理平臺也負(fù)責(zé)對政務(wù)云所有基礎(chǔ)資源進(jìn)行統(tǒng)一的運(yùn)維管理。存儲資源方案存儲架構(gòu)設(shè)計(jì)方案本次存儲設(shè)計(jì)方案，20%結(jié)構(gòu)化數(shù)據(jù)庫單獨(dú)建池，采用FCSAN磁陣集中互連，對于既有現(xiàn)有高端存儲和新添置存儲通過虛擬化網(wǎng)關(guān)進(jìn)行統(tǒng)一異構(gòu)管理。對于80%的非結(jié)構(gòu)化數(shù)

8、據(jù)，其中虛擬化服務(wù)通過分布式存儲系統(tǒng)提供后端存儲，虛擬機(jī)鏡像和應(yīng)用的其他非結(jié)構(gòu)化數(shù)據(jù)采用分布式存儲系統(tǒng)提供。為了保證存儲的可靠性及性能，非結(jié)構(gòu)化數(shù)據(jù)采用采用全對等、分布式的存儲集群來構(gòu)建統(tǒng)一云存儲。全對等指的是在整個(gè)集群架構(gòu)中，不存在獨(dú)立的元數(shù)據(jù)節(jié)點(diǎn)或者控制節(jié)點(diǎn)，所有的節(jié)點(diǎn)均完全相等，避免“關(guān)鍵節(jié)點(diǎn)”異常而導(dǎo)致的存儲服務(wù)異常；存儲資源池在物理上由多個(gè)小存儲構(gòu)成，邏輯上作為一個(gè)整體對外提供服務(wù)。存儲架構(gòu)設(shè)計(jì)圖存儲功能設(shè)計(jì)目前較為主流的存儲方式，主要有FC-SAN、IP-SAN、NAS、分布式存儲等幾種方式，詳見下表。表5-4-17 存儲類型分類表NASFC-SANIP-SAN分布式存儲特點(diǎn)成本較

9、低，性能也較低，易部署，支持長距離、跨平臺的共享文件服務(wù)器，可滿足對訪問性能要求不高的平臺存放非系統(tǒng)類文件，例如大容量的音視頻、辦公文件資料、郵件備份文件、虛機(jī)鏡像文件等。高成本、高性能、高可靠性的塊存儲，滿足核心平臺的虛機(jī)文件系統(tǒng)和數(shù)據(jù)存儲需求，一般配置SAS盤，性能要求不高的可配置SATA盤。成本較低，性能和穩(wěn)定性中等的塊存儲，滿足非核心平臺（例如一般應(yīng)用平臺）虛機(jī)文件系統(tǒng)和數(shù)據(jù)庫存儲需求。以Hadoop HDFS/HBase 為代表的大數(shù)據(jù)存儲系統(tǒng)和Server San的分布式存儲，大數(shù)據(jù)存儲主要適合存儲大文件（以G甚至T為單位的文件），文件存儲的節(jié)點(diǎn)同時(shí)也是計(jì)算的節(jié)點(diǎn)（計(jì)算靠近數(shù)據(jù)），

10、適合與作為大數(shù)據(jù)分析數(shù)據(jù)的存儲。系統(tǒng)架構(gòu)局域網(wǎng)+服務(wù)器+集中存儲服務(wù)器+FC交換機(jī)+集中存儲服務(wù)器+以太網(wǎng)交換機(jī)+集中存儲服務(wù)器+互聯(lián)網(wǎng)絡(luò)應(yīng)用場景云資源池大數(shù)據(jù)平臺、分布式存儲傳統(tǒng)集中存儲集中式存儲是目前市場主流存儲形態(tài)，采用專有的企業(yè)級存儲硬件架構(gòu)把多個(gè)硬盤組成一個(gè)陣列，當(dāng)作大資源池使用，它將數(shù)據(jù)以分段（striping）的方式儲存在不同硬盤中，存取數(shù)據(jù)時(shí)，陣列中的相關(guān)磁盤一起動作，既保證可靠性，又大幅減低數(shù)據(jù)存取時(shí)間，同時(shí)有更佳的空間利用率。在實(shí)現(xiàn)了文件系統(tǒng)級和塊級數(shù)據(jù)、存儲協(xié)議融合統(tǒng)一的基礎(chǔ)上，以業(yè)界領(lǐng)先的性能、多種效率提升機(jī)制為支撐，為用戶提供了高性能、全方位的解決方案，使用戶投資收益

11、比最大化，能夠滿足大型數(shù)據(jù)庫OLTP/OLAP（Online Transaction Processing/Online Analytical Processing）、高性能計(jì)算、數(shù)字媒體、因特網(wǎng)運(yùn)營、集中存儲、備份、容災(zāi)和數(shù)據(jù)遷移等不同業(yè)務(wù)應(yīng)用的需求。結(jié)構(gòu)化數(shù)據(jù)應(yīng)用有很多小文件隨機(jī)讀寫的IO，需要的是存儲的高IOPS，虛擬機(jī)和數(shù)據(jù)庫均對存儲速度和穩(wěn)定性要求特別高，優(yōu)先使用FC SAN作為業(yè)務(wù)的主存儲，配置高速的固態(tài)SSD硬盤和SAS硬盤，提供極其強(qiáng)大的IO性能。存儲的IO會不定時(shí)突發(fā)增大，因此需要存儲能夠有這種解決突發(fā)IO的技術(shù)及數(shù)據(jù)自動分層技術(shù)。采用大型的FC SAN交換設(shè)備，提供8Gps

12、的全雙工光纖端口的線速互聯(lián)，為所有服務(wù)器通過FC網(wǎng)絡(luò)連接到FC存儲系統(tǒng)，F(xiàn)C存儲系統(tǒng)向所有服務(wù)器提供塊設(shè)備級共享存儲系統(tǒng)，同時(shí)為了保證系統(tǒng)的可靠性，F(xiàn)C-SAN存儲網(wǎng)采用雙路徑設(shè)計(jì)。為滿足業(yè)務(wù)系統(tǒng)、查詢系統(tǒng)、數(shù)據(jù)分析系統(tǒng)的要求，必須強(qiáng)化數(shù)據(jù)存儲核心，磁盤本身性能也決定存儲系統(tǒng)整體性能，通常磁盤性能以轉(zhuǎn)速、尋道時(shí)間、磁盤緩存等技術(shù)指標(biāo)衡量，存儲陣列采用全自動分層存儲功能，將關(guān)鍵應(yīng)用訪問讀寫最為頻繁的核心一級應(yīng)用數(shù)據(jù)和數(shù)據(jù)庫熱點(diǎn)表、索引表以及相關(guān)的數(shù)據(jù)文件自動遷移在第一層固態(tài)硬盤層中；將二級應(yīng)用數(shù)據(jù)庫文件數(shù)據(jù)存儲在第二層的SAS硬盤中，將三級應(yīng)用放置在SATA磁盤上。集中存儲優(yōu)勢和特點(diǎn)：穩(wěn)定可靠：

13、存儲系統(tǒng)部件采用全冗余設(shè)計(jì)和A/A工作模式，在部分設(shè)備故障時(shí)，剩余的設(shè)備可以替代原有設(shè)備功能，保證業(yè)務(wù)的連續(xù)性；快照、克隆、遠(yuǎn)程數(shù)據(jù)復(fù)制、陣列雙活等數(shù)據(jù)保護(hù)和容災(zāi)特性能夠保護(hù)數(shù)據(jù)不丟失，業(yè)務(wù)不中斷。安全高效：智能精簡配置通過按需分配的方式來管理存儲設(shè)備，實(shí)現(xiàn)業(yè)務(wù)在線擴(kuò)容，提高資源利用率降低；智能分級存儲和智能數(shù)據(jù)緩存技術(shù)利用SSD盤高性能特點(diǎn)實(shí)現(xiàn)熱點(diǎn)數(shù)據(jù)加速，提高存儲整體訪問性能，實(shí)現(xiàn)數(shù)據(jù)生命周期管理；緩存分區(qū)和服務(wù)質(zhì)量控制QOS技術(shù)實(shí)現(xiàn)針對不同的業(yè)務(wù)劃分不同優(yōu)先級，系統(tǒng)優(yōu)先響應(yīng)高優(yōu)先級的訪問請求，從而提升高優(yōu)先級業(yè)務(wù)的性能，保障關(guān)鍵業(yè)務(wù)的服務(wù)質(zhì)量。分布式存儲傳統(tǒng)SAN在企業(yè)基礎(chǔ)設(shè)施池化、云化

14、中面臨的主要問題：存儲資源彈性問題：多業(yè)務(wù)負(fù)載、資源的動態(tài)需求變化；存儲擴(kuò)展的問題：共享、擴(kuò)展面臨了諸多的瓶頸和問題（機(jī)頭、前后端網(wǎng)絡(luò)、CPU/Cache與HDD不同步問題）；形態(tài)和實(shí)施的成本、復(fù)雜性問題：獨(dú)立的存儲網(wǎng)絡(luò)，建設(shè)成本高、實(shí)施復(fù)雜（初始實(shí)施、擴(kuò)減容等）；容錯和可靠性問題：大規(guī)模集群中容忍的故障域問題（跨機(jī)柜、跨機(jī)房），硬盤重建時(shí)間長問題。針對上述問題，政務(wù)云資源池同時(shí)提供分布式存儲資源池，使用分布式存儲解決上述問題，以滿足業(yè)務(wù)平臺日益增長的存儲需求，為業(yè)務(wù)平臺提供高安全性、高可靠性、高可用性和開放性的存儲服務(wù)。分布式存儲系統(tǒng)基于分布式處理技術(shù)、虛擬化技術(shù)和集群技術(shù)實(shí)現(xiàn)，作為云計(jì)算資

15、源池存儲資源池的一部分，為計(jì)算資源池提供高速、可靠、安全的塊存儲服務(wù)。分布式Server SAN創(chuàng)建的軟件定義的存儲環(huán)境，利用服務(wù)器中的本地存儲容量，擁有一個(gè)可擴(kuò)展、高性能且容錯的分布式共享存儲系統(tǒng)。聚合存儲和計(jì)算資源，可擴(kuò)展至數(shù)千節(jié)點(diǎn)，結(jié)合了HDD、DAS以創(chuàng)建具有不同性能層的虛擬數(shù)據(jù)塊存儲池。隨著存儲和計(jì)算資源的變化，分布式Server SAN會自動重新平衡存儲分布以優(yōu)化性能和容量使用。分布式Server SAN不受硬件限制，可支持物理應(yīng)用程序服務(wù)器和/或虛擬應(yīng)用程序服務(wù)器，Server SAN不受基礎(chǔ)架構(gòu)限制，可與混合服務(wù)器品牌、操作系統(tǒng)（物理和虛擬）以及存儲介質(zhì)類型（HDD、DAS）同

16、時(shí)使用，因此它既是一種分布式存儲解決方案，又是一種存儲虛擬化解決方案。存儲容量設(shè)計(jì)本次需求調(diào)研共抽樣調(diào)研13個(gè)省直屬部門（分別是統(tǒng)計(jì)局、衛(wèi)計(jì)委、教育廳、國土廳、工商局、財(cái)政廳、住建廳、人社廳、質(zhì)監(jiān)局、地稅局、交通廳、民政廳、旅游局），調(diào)研系統(tǒng)55個(gè)，目前共占用存儲空間931T，單業(yè)務(wù)系統(tǒng)占用存儲空間19T，按照20%的年增長率，考慮未來5年的需求，規(guī)劃期內(nèi)新建及遷移200個(gè)應(yīng)用系統(tǒng)，本期存儲需求為：19T*（1+20%）5*2009500T，其中結(jié)構(gòu)化數(shù)據(jù)1000T、非結(jié)構(gòu)化數(shù)據(jù)6600T、本地備份存儲1900T；本地備份存儲測算：1000T*1.5+6600T*4%*1.51900T，其中1

17、00%結(jié)構(gòu)化數(shù)據(jù)備份按照1.5倍考慮，4%的非結(jié)構(gòu)化數(shù)據(jù)按照1.5倍考慮。第一期建設(shè)40%存儲資源，共計(jì)9500T*40%+1900T*40%4600T。業(yè)務(wù)系統(tǒng)數(shù)據(jù)存儲分析云平臺采用“兩朵云”的方式，即內(nèi)部云和外部云分開，本期需同時(shí)滿足兩朵云的存儲需求。根據(jù)需求調(diào)研，省政府各直屬部門的系統(tǒng)存儲結(jié)構(gòu)化非結(jié)構(gòu)數(shù)據(jù)比例為1:4，本次設(shè)計(jì)方案中，存儲需要同時(shí)滿足結(jié)構(gòu)化數(shù)據(jù)（關(guān)系數(shù)據(jù)庫中的表數(shù)據(jù)）以及非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)（對象數(shù)據(jù)，如聲音，圖片，視頻等）的存儲需求。從政務(wù)云的業(yè)務(wù)數(shù)據(jù)來看主要有以下幾類數(shù)據(jù)；核心數(shù)據(jù)庫、虛擬機(jī)（OA/Web/APP）、GIS應(yīng)用、公文共享/視頻/媒體、數(shù)據(jù)交換共享平臺

18、，主要存儲需求分析如下：核心數(shù)據(jù)庫委辦局虛擬機(jī)GIS應(yīng)用文件/媒體/視頻數(shù)據(jù)交換共享平臺典型業(yè)務(wù)各種核心Oracle數(shù)據(jù)庫辦公系統(tǒng)，政府網(wǎng)站，普通應(yīng)用農(nóng)業(yè)土地確權(quán)，國土不動產(chǎn)，地理信息共享平臺電子證照，氣象局流媒體，文件共享人口庫，法人庫，文件共享存儲訴求多為實(shí)時(shí)在線交易系統(tǒng)OLTP場景，隨機(jī)小IO，延時(shí)小于5ms，RPO=0業(yè)務(wù)復(fù)雜，以O(shè)A、Web等應(yīng)用為主，IO不均，對業(yè)務(wù)上線速度，要求較高多并發(fā)作業(yè)，入庫、合庫性能要求高，歸檔場景權(quán)限管理復(fù)雜視頻數(shù)據(jù)順序大IO寫，圖片文檔隨機(jī)IO，權(quán)限管理復(fù)雜數(shù)據(jù)變化量不大，以讀為主，同步周期5分鐘左右，帶寬型業(yè)務(wù)，可靠性要求較高對應(yīng)存儲資源池方案采用高

19、端集中式存儲，并建議采用高等級災(zāi)備解決方案重要業(yè)務(wù)委辦局，對業(yè)務(wù)連續(xù)性要求較高，建議采用高端集中存儲，一般委辦局采用分布式存儲入庫、合庫等結(jié)構(gòu)化數(shù)據(jù)采用集中式存儲，大量地圖文件采用分布式存儲文件增長較快，一般多采用分布式存儲可靠性要求較高，結(jié)構(gòu)化數(shù)據(jù)，建議采用集中式存儲存儲管理系統(tǒng)為了能夠真正接管企業(yè)現(xiàn)有各類存儲設(shè)備，未來亦能提供良好的擴(kuò)展性，簡化企業(yè)IT部門日常運(yùn)維監(jiān)管的復(fù)雜度，業(yè)界提出了帶外控制面存儲資源池的理念。即在不改變現(xiàn)有數(shù)據(jù)通道的前提下，通過管理通道實(shí)現(xiàn)存儲資源虛擬化，配置自動化和請求服務(wù)化來解決客戶當(dāng)前的困惑。華為OceanStor DJ軟件集存儲資源虛擬化、自動化、服務(wù)化為一體

20、，為業(yè)務(wù)驅(qū)動的存儲控制軟件, 統(tǒng)一管理存儲資源, 提供業(yè)務(wù)驅(qū)動、自動化的數(shù)據(jù)服務(wù)。其核心是基于Openstack存儲相關(guān)組件的增強(qiáng)，實(shí)現(xiàn)存儲即服務(wù)、數(shù)據(jù)保護(hù)即服務(wù)、數(shù)據(jù)庫即服務(wù)、大數(shù)據(jù)即服務(wù)等。OceanStor DJ將應(yīng)用與底層存儲解耦，能夠使客戶不依賴于傳統(tǒng)設(shè)備和應(yīng)用廠商的綁定地位。在云化場景下，將存儲和數(shù)據(jù)保護(hù)等能力以服務(wù)的方式提供，順應(yīng)存儲價(jià)值鏈向軟件和服務(wù)轉(zhuǎn)移。OceanStor DJ 功能架構(gòu)如圖所示：虛擬化存儲管理系統(tǒng)的主要特點(diǎn)：數(shù)據(jù)應(yīng)用服務(wù)化1、通過將存儲功能軟件化、應(yīng)用化，訪問協(xié)議解耦，支持文件、塊、對象等類型存儲資源分配服務(wù)。2、作為開放平臺，集成華為和第三方數(shù)據(jù)保護(hù)、容災(zāi)

21、軟件，提供XaaS等服務(wù)能力。 業(yè)務(wù)部署自動化1、通過基于策略的資源調(diào)度和任務(wù)編排，實(shí)現(xiàn)存儲資源按需發(fā)放和自動化部署。 2、支持自服務(wù)（Self-Service），提高資源分配效率，降低OPEX。向存儲資源虛擬化1、從控制面通過對企業(yè)級存儲的管理、資源虛擬化，實(shí)現(xiàn)統(tǒng)一管理，提升資源利用率。 2、支持標(biāo)準(zhǔn)硬件，實(shí)現(xiàn)快速彈性擴(kuò)展，承接新型業(yè)務(wù)和負(fù)載。華為OceanStor DJ在控制面上將存儲的功能特性從物理陣列中抽象出來，把具備相同或近似能力的多個(gè)物理存儲池在邏輯上組成虛擬存儲池。用戶在請求存儲資源的時(shí)候，可基于虛擬存儲池的SLA能力去考慮，無需關(guān)心后端由哪臺陣列為其應(yīng)用提供存儲資源。DJ部署在

22、管理網(wǎng)絡(luò)，不會部署在數(shù)據(jù)網(wǎng)絡(luò)里；數(shù)據(jù)的傳輸不通過OceanStor DJ，但可以定義數(shù)據(jù)路徑如何聯(lián)通 。DJ的存儲服務(wù)保留了陣列的高級特性，如鏡像、克隆、快照、多站點(diǎn)高可用性等，這區(qū)別于傳統(tǒng)的存儲虛擬化技術(shù)，不會因?yàn)閷⒑蠖舜鎯σ暈闃?biāo)準(zhǔn)塊存儲設(shè)備而抹殺這些特性?？傮w來說，OceanStor DJ具備以下特征：支持異構(gòu)存儲資源的虛擬化管理允許管理員設(shè)置存儲和數(shù)據(jù)服務(wù)的管理策略支持存儲和數(shù)據(jù)服務(wù)“解決方案”的漸進(jìn)式建設(shè)支持全局自動化管理為用戶提供豐富的自助服務(wù)Portal或API接口存儲基礎(chǔ)架構(gòu)的無縫擴(kuò)展，實(shí)現(xiàn)可靠性或性能的提升。（例如QoS和SLA設(shè)置）用戶對存儲資源及成本耗費(fèi)可進(jìn)行公開透明的監(jiān)控

23、和管理華為OceanStor DJ的漸進(jìn)式建設(shè)：從基礎(chǔ)存儲資源的發(fā)放到基于業(yè)務(wù)驅(qū)動Workload的資源分配。從基礎(chǔ)存儲資源發(fā)放到基于大數(shù)據(jù)、數(shù)據(jù)庫等資源分配。從基礎(chǔ)存儲資源發(fā)放到和FusionSphere等配合提供計(jì)算、網(wǎng)絡(luò)、存儲資源分配。可靠性設(shè)計(jì)實(shí)現(xiàn)數(shù)據(jù)中心的有效性的目的是提升數(shù)據(jù)中心服務(wù)的最大化，減少數(shù)據(jù)中心業(yè)務(wù)中斷所帶來的影響，本方案整體能力超過99.99%以上的有效性，具體實(shí)現(xiàn)從以下幾個(gè)方面來實(shí)現(xiàn)：存儲集群云平臺存儲應(yīng)使用分布式的集群存儲技術(shù)，確保數(shù)據(jù)的高可用。云平臺中使用統(tǒng)一的存儲提供多種服務(wù)，同時(shí)服務(wù)于虛擬化平臺、數(shù)據(jù)庫平臺及其他特殊業(yè)務(wù)。云平臺存儲需要使用全對等、分布式架構(gòu)，

24、無論是元數(shù)據(jù)管理節(jié)點(diǎn)還是數(shù)據(jù)存儲節(jié)點(diǎn)，都應(yīng)滿足全對等、分布式的要求。即任何一個(gè)或者有限個(gè)節(jié)點(diǎn)出現(xiàn)故障，都不應(yīng)該對整個(gè)存儲的服務(wù)連續(xù)性上產(chǎn)生影響。整個(gè)存儲可以在線完成存儲擴(kuò)容。云平臺存儲需要實(shí)現(xiàn)存儲分級，在統(tǒng)一的存儲架構(gòu)下，可以對不同的數(shù)據(jù)，如結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)，進(jìn)行分級存儲。整個(gè)存儲集群，需要支持可自定義的多副本冗余方式。用戶可以自行根據(jù)數(shù)據(jù)的分級屬性、重要程度等指標(biāo)，對數(shù)據(jù)進(jìn)行冗余定義。在用戶定義保存多份副本時(shí)，如果因?yàn)槟硞€(gè)或者某幾個(gè)節(jié)點(diǎn)故障導(dǎo)致的副本缺失，存儲需要能夠進(jìn)行自動修復(fù)，確保足夠安全的副本個(gè)數(shù)。云平臺存儲需要能夠?qū)崿F(xiàn)資源隔離，包括不同用戶的存儲資源隔離，不同分級存儲隔離，不

25、同分組間存儲資源隔離。存儲設(shè)備冗余設(shè)計(jì)構(gòu)架設(shè)計(jì)上采用冗余的體系構(gòu)架，實(shí)現(xiàn)電源、CACHE、控制卡、總線、磁盤等關(guān)鍵部件的冗余保護(hù)，并具有斷電保護(hù)功能；全面的在線升級能力：所有硬件部件、功能性軟件及存儲系統(tǒng)的內(nèi)部微碼均具有在線升級能力，使用戶的業(yè)務(wù)能夠?qū)崿F(xiàn)真正的7*24小時(shí)應(yīng)用。系統(tǒng)中所有硬件部件都可以不間斷修復(fù)，微碼可在不影響用戶操作和應(yīng)用運(yùn)行的情況下重新裝入。可熱插拔的硬件部件包括：通道適配器、磁盤適配器、硬盤（HDA）、Cache板、電源、電池、風(fēng)扇等。不間斷電源系統(tǒng)，系統(tǒng)有一個(gè)電池備份系統(tǒng)。數(shù)據(jù)保護(hù)的可靠性云平臺存儲需要提供傳統(tǒng)的RAID技術(shù)（RAID0、RAID1、RAID5、RAID

26、10），以保證數(shù)據(jù)可靠。動態(tài)備盤非RAID的數(shù)據(jù)保護(hù)方式，降低磁盤重建時(shí)間。存儲電源配置冗余，防止意外斷電而失去Cache內(nèi)容的問題。存儲資源虛擬化存儲資源“池”化，支持跨硬件平臺，跨不同廠商的存儲設(shè)備整合設(shè)備，將各種不同品牌、類型、分散的存儲資源整合、虛擬成一個(gè)“存儲資源池”，以提高整體利用率、降低管理成本。從應(yīng)用和用戶角度看，無需關(guān)注使用的物理磁盤及數(shù)據(jù)經(jīng)過的具體路徑和具體設(shè)備。動態(tài)、靈活調(diào)整。采用集中化管理方式，并根據(jù)具體需求將存儲資源動態(tài)地分配給各個(gè)應(yīng)用。同時(shí)根據(jù)數(shù)據(jù)的重要性、訪問頻度等情況，可以自動在不同性能的設(shè)備之間遷移。存儲池應(yīng)做虛擬化設(shè)計(jì)，包括基于存儲廠商的存儲設(shè)備的虛擬化以及

27、物理服務(wù)器本地硬盤的虛擬化兩種方式，構(gòu)建統(tǒng)一的虛擬化儲存資源池。集存儲資源虛擬化、自動化、服務(wù)化為一體，為業(yè)務(wù)驅(qū)動的存儲控制軟件，統(tǒng)一管理存儲資源，提供業(yè)務(wù)驅(qū)動、自動化的數(shù)據(jù)服務(wù)。其核心是基于Openstack存儲相關(guān)組件的增強(qiáng)，實(shí)現(xiàn)存儲即服務(wù)、數(shù)據(jù)保護(hù)即服務(wù)、數(shù)據(jù)庫即服務(wù)、大數(shù)據(jù)即服務(wù)等。將應(yīng)用與底層存儲解耦，能夠使客戶不依賴于傳統(tǒng)設(shè)備和應(yīng)用廠商的綁定地位。在云化場景下，將存儲和數(shù)據(jù)保護(hù)等能力以服務(wù)的方式提供，順應(yīng)存儲價(jià)值鏈向軟件和服務(wù)轉(zhuǎn)移。分布式存儲數(shù)據(jù)可靠性數(shù)據(jù)可靠性，即數(shù)據(jù)不丟失，是存儲系統(tǒng)的第一職責(zé)。分布式一般采用普通服務(wù)器，要假設(shè)服務(wù)器和硬盤都是不可靠的。如何保證在有硬件損壞時(shí)數(shù)據(jù)

28、不丟失，是任何分布式存儲系統(tǒng)都必須考慮的，包括以下幾種：多副本即數(shù)據(jù)保存N+1份（一般是3份），每一份都存儲在不同的節(jié)點(diǎn)上。在數(shù)據(jù)損壞N份時(shí)，仍能修復(fù)數(shù)據(jù)。缺點(diǎn)是，需N倍的冗余存儲空間。糾刪碼即將一條數(shù)據(jù)切分成n等份，通過對這n份數(shù)據(jù)編碼，得到m份相等大小的校驗(yàn)數(shù)據(jù)塊兒。這n+m份數(shù)據(jù)，各自存儲在不同的節(jié)點(diǎn)上，拿到n+m中的任意n份數(shù)據(jù)，均可計(jì)算得到原始的數(shù)據(jù)。一般n取10，m取3。優(yōu)點(diǎn)是，只需m/n倍的冗余空間，缺點(diǎn)是讀寫效率較低，且耗費(fèi)cpu?？鏒C雙活在兩個(gè)站點(diǎn)提供兩個(gè)FusionStorage集群來做雙活存儲容災(zāi)設(shè)計(jì)。容災(zāi)存儲卷在兩個(gè)站點(diǎn)同時(shí)支持讀和寫。接入修復(fù)客戶端寫數(shù)據(jù)到存儲集群，

29、一般先按一定規(guī)則找到一個(gè)接入節(jié)點(diǎn)，再由次接入節(jié)點(diǎn)做proxy將數(shù)據(jù)寫到實(shí)際存儲的節(jié)點(diǎn)。假設(shè)需要寫入3副本，如果接入節(jié)點(diǎn)發(fā)現(xiàn)，有的副本對應(yīng)的存儲節(jié)點(diǎn)此時(shí)不可用，或者寫超時(shí)，那么會將寫失敗的節(jié)點(diǎn)及未寫成功的數(shù)據(jù)存儲下來。之后，定時(shí)或者收到通知不可用節(jié)點(diǎn)變?yōu)榭捎脮r(shí)，嘗試寫入之前未寫成功的數(shù)據(jù)。全局掃描修復(fù)用以修復(fù)磁盤損壞、誤刪文件等原因引起的數(shù)據(jù)丟失。由master節(jié)點(diǎn)發(fā)起全局?jǐn)?shù)據(jù)，或者primary節(jié)點(diǎn)發(fā)起自己負(fù)責(zé)的range的數(shù)據(jù)，的多個(gè)副本間的數(shù)據(jù)掃描。如果發(fā)現(xiàn)某個(gè)副本缺失，則進(jìn)行修復(fù)?？蓴U(kuò)展性設(shè)計(jì)集中存儲通過增加控制器緩存和硬盤數(shù)量來滿足存儲容量和性能的擴(kuò)展要求，這種擴(kuò)展思路在存儲界稱之為S

30、cale-up縱向擴(kuò)展，縱向擴(kuò)展是一般存儲系統(tǒng)都具備的功能。它通過將多個(gè)單元并入一個(gè)單一的邏輯系統(tǒng)來擴(kuò)展存儲系統(tǒng)?？v向擴(kuò)展Scale-Up示意圖這種擴(kuò)展方法使得單一系統(tǒng)不斷膨脹成一個(gè)龐然大物，單個(gè)個(gè)體變強(qiáng)大了，解決了容量擴(kuò)展和性能擴(kuò)展的問題。但是畢竟是單一系統(tǒng)，當(dāng)業(yè)務(wù)繼續(xù)增長，對容量和性能需求繼續(xù)提高，縱向擴(kuò)展方法將會使得存儲系統(tǒng)變得復(fù)雜，縱向擴(kuò)展觸到天花板，不能完美解決擴(kuò)展的問題。橫向擴(kuò)展能在縱向擴(kuò)展基礎(chǔ)上解決容量和性能繼續(xù)增長的問題。橫向擴(kuò)展稱之為Scale-out擴(kuò)展，簡單地說就是在原有存儲系統(tǒng)上并行再新增一套或多套存儲系統(tǒng)，這些系統(tǒng)自動地就融合成在一起，從使用的角度來看，就是一套完整的系統(tǒng)。這套完整的系統(tǒng)將相關(guān)資源緊密融合在一起，不影響系統(tǒng)的運(yùn)行。橫向擴(kuò)展存儲系統(tǒng)克服了物理機(jī)架和模塊的限制，可作為單一系統(tǒng)，通過增加控制器或是容量節(jié)點(diǎn)來實(shí)現(xiàn)性能和容量的獨(dú)立升級，提高IT投入的回報(bào)率。同時(shí)，線性擴(kuò)展能力為業(yè)務(wù)的長期高性價(jià)比提供保障。解決了傳統(tǒng)單一系統(tǒng)在性能和容量擴(kuò)展方面的弊端支持Scale-out的存儲系統(tǒng)，一切就變得簡單，部署工作大大簡化，每增加一個(gè)系統(tǒng)結(jié)點(diǎn)，性能和容量同時(shí)增長，當(dāng)容量不夠了，再采購一臺加入現(xiàn)有存儲系