云存儲技術規(guī)范0810

1、云存儲技術規(guī)范億達信息技術有限公司劉強2012年7月1、 總則1.1 編寫目的為了更好的推進云虛擬化項目和工程規(guī)范實施，特此編寫此技術規(guī)范，對系統(tǒng)的各個特性和性能要求提出具體要求，起到規(guī)范統(tǒng)一的作用。1.2 建設背景和目標隨著互聯(lián)網(wǎng)的急速發(fā)展和非結(jié)構化數(shù)據(jù)的爆炸性增長，公眾對高效，快速，分布式存儲提出了更高的要求。億達集團云存儲方案基于這個需求被提出來。1.3 適用范圍億達集團云存儲項目1.4 起草單位億達信息技術有限公司-系統(tǒng)集成部1.5 解釋權億達信息技術有限公司-系統(tǒng)集成部1.6 術語解釋1.6.1何謂云存儲虛擬化存儲領域國際權威機構SNIA(存儲網(wǎng)絡工業(yè)協(xié)會)給出了云存儲虛擬化(Sto

2、rage Virtualization)的定義：“通過將存儲系統(tǒng)/子系統(tǒng)的內(nèi)部功能從應用程序、計算服務器、網(wǎng)絡資源中進行抽象、隱藏或隔離，實現(xiàn)獨立于應用程序、網(wǎng)絡的存儲與數(shù)據(jù)管理”。云存儲虛擬化技術將底層存儲設備進行抽象化統(tǒng)一管理，向服務器層屏蔽存儲設備硬件的特殊性，而只保留其統(tǒng)一的邏輯特性，從而實現(xiàn)了存儲系統(tǒng)的集中、統(tǒng)一、方便的管理。 與傳統(tǒng)存儲相比，云虛擬化存儲的優(yōu)點主要體現(xiàn)在：磁盤利用率高，傳統(tǒng)存儲技術的磁盤利用率一般只有30-70%，而采用虛擬化技術后的磁盤利用率高達70-90%;存儲靈活，可以適應不同廠商、不同類別的異構存儲平臺，為存儲資源管理提供了更好的靈活性;管理方便，提供了一個

3、大容量存儲系統(tǒng)集中管理的手段，避免了由于存儲設備擴充所帶來的管理方面的麻煩;性能更好，虛擬化存儲系統(tǒng)可以很好地進行負載均衡，把每一次數(shù)據(jù)訪問所需的帶寬合理地分配到各個存儲模塊上，提高了系統(tǒng)的整體訪問帶寬。 云虛擬化存儲有多種分類方法，從大的方面可以分為：根據(jù)在I/O路徑中實現(xiàn)虛擬化的位置不同進行分類;根據(jù)控制路徑和數(shù)據(jù)路徑的不同進行分類。根據(jù)在I/O路徑中實現(xiàn)虛擬化的位置不同，虛擬化存儲可以分為主機的虛擬存儲、網(wǎng)絡的虛擬存儲、存儲設備的虛擬存儲。根據(jù)控制路徑和數(shù)據(jù)路徑的不同，虛擬化存儲分為對稱虛擬化與不對稱虛擬化。 1.6.2虛擬化存儲的系統(tǒng)構成 云存儲中的一種典型存儲方式為分布式存儲。在這種

4、方式中，一般采用帶外虛擬化的方式管理存儲設備，元數(shù)據(jù)管理和數(shù)據(jù)傳輸都是通過IP網(wǎng)絡來完成。這種虛擬化存儲系統(tǒng)主要有四類不同的存儲設備。 客戶端：客戶端向外為客戶提供各種應用服務，如萬維網(wǎng)服務、數(shù)據(jù)庫、文件服務、科學計算等?？蛻舳松线\行存儲代理軟件，提供網(wǎng)絡虛擬設備供應用程序讀寫訪問。 配置管理服務器：配置管理服務器用來進行系統(tǒng)的配置和管理。通過Internet、Telnet或其它接口登陸云存儲平臺，以遠程的方式配置和管理整個存儲系統(tǒng)。 元數(shù)據(jù)服務器：云存儲系統(tǒng)的元數(shù)據(jù)服務器(MDS)管理著整個系統(tǒng)的元數(shù)據(jù)和對象數(shù)據(jù)的布局信息，負責系統(tǒng)的資源分配和網(wǎng)絡虛擬磁盤的地址映射。在MDS上部署的全局虛擬

5、化存儲管理軟件和集群管理軟件可管理整個存儲系統(tǒng)的配置和運行。另外，MDS通過冗余管理軟件來實現(xiàn)普通存儲節(jié)點之間的數(shù)據(jù)冗余關系。 對象存儲節(jié)點：每個存儲節(jié)點都是獨立的存儲設備，負責對象數(shù)據(jù)的存儲、備份、遷移和恢復，并負責監(jiān)控其他存儲設備的運行狀況和資源情況。同時，存儲節(jié)點上運行著虛擬化存儲管理軟件，并存儲了應用程序所需的數(shù)據(jù)。 1.6.3虛擬化存儲的三層模型 根據(jù)云存儲系統(tǒng)的構成和特點，可將虛擬化存儲的模型分為三層：物理設備虛擬化層、存儲節(jié)點虛擬化層、存儲區(qū)域網(wǎng)絡虛擬化層。三層虛擬化存儲模型大大降低了存儲管理的復雜度，有效地封裝了底層存儲設備的復雜性和多樣性，使系統(tǒng)具備了更好的擴展性和靈活性。用

6、戶只需將存儲設備添加到存儲池中并進行簡單配置，就可以創(chuàng)建虛擬卷，而不必關注系統(tǒng)中單個設備的物理存儲容量和存儲介質(zhì)的屬性，從而實現(xiàn)統(tǒng)一的存儲管理。 物理設備虛擬化層：主要用來進行數(shù)據(jù)塊級別的資源分配和管理，利用底層物理設備創(chuàng)建一個連續(xù)的邏輯地址空間，即存儲池。根據(jù)物理設備的屬性和用戶的需求，存儲池可以有多個不同的數(shù)據(jù)屬性，例如讀寫特征、性能權重和可靠性等級。按需分配的存儲設備作為一個邏輯卷管理器，可以從存儲池中分配邏輯卷，動態(tài)地分配存儲資源，并管理數(shù)據(jù)塊的映射和轉(zhuǎn)發(fā)。 存儲節(jié)點虛擬化層：可實現(xiàn)存儲節(jié)點內(nèi)部多個存儲池之間的資源分配和管理，將一個或者多個按需分配的存儲池整合為在存儲節(jié)點范圍內(nèi)的統(tǒng)一的

7、虛擬存儲池。這個虛擬化層由存儲節(jié)點虛擬模塊在存儲節(jié)點內(nèi)部實現(xiàn)，對下管理按需分配的存儲設備，對上支持存儲區(qū)域網(wǎng)絡虛擬化層。 存儲區(qū)域網(wǎng)絡虛擬化層：可實現(xiàn)存儲節(jié)點之間的資源分配和管理，集中地管理所有存儲設備上的存儲池，以組成一個統(tǒng)一的虛擬存儲池。這個虛擬化層由虛擬存儲管理模塊在虛擬存儲管理服務器上實現(xiàn)，以帶外虛擬化方式管理虛擬存儲系統(tǒng)的資源分配，為虛擬磁盤管理提供地址映射、查詢等服務。 1.6.4廣泛的應用 云虛擬化技術已經(jīng)在存儲領域得到廣泛的應用。 各個存儲設備廠商紛紛推出了自己的云虛擬化存儲產(chǎn)品。令人矚目的是，華為提供了企業(yè)級虛擬化存儲服務，推出了針對云計算的虛擬機和網(wǎng)絡存儲服務器的虛擬機，以

8、及VTL虛擬帶庫和VIS產(chǎn)品。同時，華為在云存儲系統(tǒng)中也大量應用了虛擬化技術，實現(xiàn)了元數(shù)據(jù)服務器的虛擬化VMDS，對象存儲服務器的虛擬化VOSN，以及數(shù)據(jù)容器的虛擬化，等等。 虛擬化存儲在各種行業(yè)中已經(jīng)開始了大規(guī)模應用。這些應用包括： 數(shù)據(jù)中心：應用虛擬化技術提供計算和存儲服務中心、網(wǎng)絡管理中心、災難恢復中心、IT資源租賃中心等服務。 電信行業(yè)：隨著產(chǎn)業(yè)的發(fā)展，電信行業(yè)面臨兩方面的挑戰(zhàn)，一方面降低IT架構的成本，另一方面提高IT架構的可用性。虛擬化技術正是解決這一問題有效辦法。 銀行證券保險行業(yè)：利用虛擬化進行容災，采取“兩地三中心”方案，即生產(chǎn)中心、同城災備中心、異地災備中心。同城災備中心負

9、責一般性災難的防范，異地災備中心用來防范大范圍的災難。利用虛擬化技術，可以在統(tǒng)一的虛擬化基礎架構中，實現(xiàn)跨數(shù)據(jù)中心的虛擬化管理。 政府信息系統(tǒng)：政府數(shù)據(jù)存儲系統(tǒng)的建設正受到前所未有的重視。系統(tǒng)利用先進的存儲虛擬化技術，建立統(tǒng)一、標準、共享的數(shù)據(jù)資源存儲平臺，能夠有效地管理龐大、繁多、復雜的數(shù)據(jù)及相關的設備，提高資源利用率，并建立起全面的數(shù)據(jù)安全保障體系。1.7 參考文獻1.8 設計要求及使用條件1.3.1 總體設計要求要求系統(tǒng)部署合理，提供完善的網(wǎng)絡硬盤服務，提供完善的開發(fā)接口，提供及時有效的售后服務。1.3.2 使用條件滿足一般條件下的使用條件。2、 技術要求及規(guī)范2.1 平臺架構按照解耦和

10、，多模塊的觀點，要求系統(tǒng)各個模塊結(jié)構清晰，功能相對獨立，便于維護和升級。架構圖可以參考如下的模型（圖）：（圖）圖詳解：存儲業(yè)務作為磁盤空間，為億達集團內(nèi)部自有業(yè)務提供存儲支撐；存儲業(yè)務為公眾用戶（主要是億達業(yè)主）提供豐富的個人存儲產(chǎn)品和服務；云存儲系統(tǒng)必須提供豐富的業(yè)務接口，以支持開發(fā)豐富的上層應用。2.2 組網(wǎng)結(jié)構按照分布式的組網(wǎng)需求，并充分使用中國電信骨干網(wǎng)絡，要求全國云存儲采取分點組網(wǎng)，快速連接。整個組網(wǎng)結(jié)構，請參考如下圖（圖）：（圖）2.3 功能性要求2.3.1 基礎存儲服務云存儲管理平臺提供基礎的存儲資源池，將多個物理設備上的存儲資源虛擬為統(tǒng)一的存儲資源池，供上層使用。2.3.2 存

11、儲管理設備管理：通過查詢域內(nèi)所有設備的磁盤、CPU、內(nèi)存、電源、風扇、網(wǎng)口等信息。讓用戶實時了解域內(nèi)設備運行信息，運行狀態(tài)，從而可以操控設備；同時及時了解運行有誤的設備，有必要可以采取適當措施保證其正常運行。資源管理：用戶可以方便的了解云存儲系統(tǒng)的各個節(jié)點的服務情況，包括MDS的主備、 MDSOSN的容量和性能（讀IOPS、寫IOPS、讀流量、寫流量）等信息，讓用戶實時了解域內(nèi)資源信息，運行狀態(tài)，從而可以操控這些資源；同時及時了解資源的異常，有必要可以采取適當措施保證其正常運行。2.3.3 策略管理云存儲平臺提供靈活的存儲策略，包括文件的副本數(shù)量、異地存儲、加密存儲、壓縮存儲、同步或異步存儲。

12、可以對用戶不同目錄設置不同的存儲策略。2.3.4 多租戶管理云存儲平臺要求能支持對多租戶的管理，可以為每個租戶設定存儲空間、存儲帶寬、存儲策略、用戶數(shù)。租戶可以設置管理子租戶和孫租戶，形成目錄樹結(jié)構。2.3.5 統(tǒng)計報表云存儲管理平臺提供統(tǒng)計報表接口，能夠完成用戶存儲容量、存儲數(shù)據(jù)訪問量等數(shù)據(jù)的統(tǒng)計2.3.6 多線程支持云存儲管理平臺提供的接口支持多線程及斷點續(xù)傳上傳下載文件。2.3.7 跨數(shù)據(jù)中心部署云存儲管理平臺要求支持跨數(shù)據(jù)中心的部署和管理，并支持跨數(shù)據(jù)中心的用戶訪問調(diào)度、數(shù)據(jù)遷移、數(shù)據(jù)異地存儲備份等功能。支持集中管理，云存儲管理平臺部署在全國中心機房，存儲節(jié)點可以部署在全國各機房中，管

13、理平臺對分點機房的存儲設備可以統(tǒng)一管理調(diào)度。2.3.8 數(shù)據(jù)寫多份云存儲平臺要求能夠針對不同應用或用戶的可靠性和性能需求，靈活設置文件存儲的副本數(shù)。在滿足數(shù)據(jù)可靠性要求（要求支持同時壞任意兩塊磁盤數(shù)據(jù)不丟失）和讀寫性能要求的前提下，盡量提高存儲空間利用效率，降低存儲成本。2.3.9 分級安全服務² 傳輸安全云存儲系統(tǒng)采用HTTPS（Secure Hypertext Transfer Protocol）安全超文本傳輸協(xié)議，是以安全為目標的HTTP通道，簡單講是HTTP的安全版。Https:URL表明它使用了HTTP，但HTTPS存在不同于HTTP的默認端口及一個加密/身份驗證層（在HT

14、TP與TCP之間）。這個系統(tǒng)提供了身份驗證與加密通訊方法，目前廣泛用于萬維網(wǎng)上安全敏感的通訊，例如交易支付方面。云存儲提供的業(yè)務接口及管理接口都基于Https，從而保證數(shù)據(jù)的在傳輸層的安全。² 存儲安全云存儲系統(tǒng)在數(shù)據(jù)存儲時，根據(jù)條帶策略，將用戶數(shù)據(jù)根據(jù)側(cè)錄進行分條，根據(jù)條帶策略決定每個分條的大小，數(shù)據(jù)分條的存儲物理位置等。數(shù)據(jù)的所有分條及布局信息是元數(shù)據(jù)的一部分內(nèi)容，由元數(shù)據(jù)節(jié)點統(tǒng)一管理。即使任何一個磁盤、一個云存儲節(jié)點被盜或被入侵。都無法得知具體的數(shù)據(jù)內(nèi)容。入侵者無法將零散的數(shù)據(jù)恢復成完整的數(shù)據(jù)內(nèi)容。從而保證數(shù)據(jù)在存儲過程中的安全。保證數(shù)據(jù)在存儲過程中不被竊取。支持用戶指定的目錄

15、和文件加密存儲。² 用戶和權限控制云存儲系統(tǒng)對每份數(shù)據(jù)都提供豐富的訪問控制策略策略，對數(shù)據(jù)的所有操作都會進行權限檢查。訪問控制策略包括：用戶和權限。2.3.10 內(nèi)容搜索支持按關鍵字搜索文件名和文件內(nèi)容。2.3.11 離線下載關機后也可以雇傭服務器下載，支持HTTP多線程下載。2.3.12 維護管理設備管理、系統(tǒng)監(jiān)控、日志、節(jié)點管理、域管理、異地災備、負載均衡等等基礎存儲服務2.3.13 應用接入接口云存儲管理平臺提供基于HTTP（SOAP/REST）的應用接入接口，包括對用戶所有資源的操作接口、用戶容器、用戶數(shù)據(jù)的操作、數(shù)據(jù)訪問控制和權限的接口。云存儲管理平臺提供資源分配、空間使用

16、、空間回收等管理接口。2.3.14 資源統(tǒng)計接口云存儲管理平臺提供基于用戶的存儲資源使用情況相關接口，滿足計費要求。具體包括：用戶使用空間的統(tǒng)計、用戶上傳下載的數(shù)據(jù)流量統(tǒng)計、用戶上傳下載的次數(shù)統(tǒng)計等。2.4 擴展性要求考慮到后期擴容的需求，對系統(tǒng)擴展性的要求十分重要。主要體現(xiàn)在以下幾個方面：（） 可以實時對容量進行擴充和升級；（） 支持磁盤的熱插拔，新增的資源可以立即被平臺辨識，管理和分配；（） 最低要求可以同時更換兩塊壞磁盤，更換上的新磁盤自動進行數(shù)據(jù)填充修復，以保持數(shù)據(jù)完整性、一致性；（） 新增磁盤空間要對磁盤的總體負載要起到良好的均衡作用；（） 支持新增空間的主動和被動的數(shù)據(jù)備份作用。2

17、.5 容量要求為了提供優(yōu)秀的讀取速度，穩(wěn)定的數(shù)據(jù)存儲性能，對云存儲系統(tǒng)的整體容量和最小容量提出要求，具體如下：（） 整體支持級的存儲能力，具有快速部署一個的能力；（） 最小磁盤支持1TB(7200rmp)；（） 整個云存儲平臺最大存儲能力要求達到30PB以上；2.6 性能要求（） 云存儲平臺的吞吐能力要求能夠隨著存儲能力的增長而線性增長；（） 要求能夠通過調(diào)整云存儲平臺的硬件配置，靈活調(diào)整吞吐能力與存儲能力的比率，以適應業(yè)務變化對平臺能力的要求；（） 要求支持客戶端多線程并發(fā)上傳下載文件，提供訪問速度；（） 要求支持大文件分片存儲在多個存儲節(jié)點，各存儲節(jié)點能夠完成對各分片的并發(fā)讀寫能力，提高大

18、文件的訪問速度；2.7 可靠性要求云存儲一旦投入運作，是全年不斷電無休系統(tǒng)，需要確保高度的可靠性。具體要求以下幾點：（） 全年不下電，不停機，不閃斷；（） 出現(xiàn)故障及時進行告警（聲音、燈閃），告警分等級，界面可見，具有詳細說明和修復手段提示；（） 要求有raid保護機制，在用戶數(shù)據(jù)寫單份的情況下，要求數(shù)據(jù)訪問的可靠性達到99.999%，即對單個存儲節(jié)點要求：可訪問時長/全年時長 >= 99.999（） 要求用戶數(shù)據(jù)可靠性可靈活配置，支持設置用戶數(shù)據(jù)的副本數(shù)、是否異地存放，向用戶提供不同級別的可靠性保護；（） 要求任意兩塊磁盤或單個存儲節(jié)點損壞，不會導致用戶數(shù)據(jù)丟失；（） 要求任意磁盤或存

19、儲節(jié)點故障，不影響云存儲平臺其他設備的正常使用和用戶訪問。2.8 安全性要求2.3.1 硬件安全性硬件安全性是指硬件在安裝、調(diào)試、維護、更新等環(huán)節(jié)，對人員和環(huán)境是安全的，具體體現(xiàn)在以下幾點：（） 產(chǎn)品電位接地，防止觸電事故；（） 尺寸、規(guī)格、形狀合理，以免傾斜倒伏，碰撞；（） 產(chǎn)品材質(zhì)耐溫，散熱；（） 明確警示觸電、有毒害、或其它危險發(fā)生的可能；2.3.2 系統(tǒng)安全性系統(tǒng)安全性主要體現(xiàn)在：（） 強有力的加密手段和管理策略，確保管理員賬戶的安全性；（） 采取設置防火墻等手段，防止來自公網(wǎng)的破壞；（） 對于大規(guī)模訪問量，異常訪問等情況進行監(jiān)控；（） 強大的系統(tǒng)管理能力，提供簡潔，高效，互動良好的G

20、UI界面進行系統(tǒng)配置，這些配置項應該包括（但不局限于）以下一些屬性：u 管理，監(jiān)視，控制硬件資源；u 管理網(wǎng)絡資源（IP分配和服務）；u 管理每個結(jié)點（node）上運行的軟件；u 配置每個結(jié)點服務均衡；u 控制整體行為；u 設置異?；蚬收系母婢?；u 釋放結(jié)點或系統(tǒng)的資源。2.3.3 數(shù)據(jù)安全性數(shù)據(jù)安全性，指用戶存放的數(shù)據(jù)不可被非法訪問、復制、修改等，具體如下：（） 提供加密接口，對用戶數(shù)據(jù)進行加密；（） 基于角色的數(shù)據(jù)保護策略：角色級別職責備注安全管理員1系統(tǒng)初始安裝，創(chuàng)建賬戶，分配/刪除系統(tǒng)管理員賬戶系統(tǒng)新建時默認的管理員，對“系統(tǒng)管理員”進行授權系統(tǒng)管理員2管理整個云存儲系統(tǒng)：網(wǎng)段，存儲群

21、和節(jié)點；更換壞盤和硬件；對“租戶管理員”進行授權租戶管理員3在給定的空間內(nèi)進行策略配置，User ID分配等工作；對“子租戶管理員”進行授權子租戶管理員4在給定的空間內(nèi)創(chuàng)建用戶，重構策略;無（） 策略化數(shù)據(jù)管理，管理員通過可視化界面，進行策略配置，從而實現(xiàn)諸如：u 創(chuàng)建不同的策略等級（金牌，銀牌，銅牌）；u 配置不同的用戶對應不同的服務等級，或者同一用戶的不同數(shù)據(jù)對象擁有不同的服務等級；u 同步副本和異步副本數(shù)目策略配置，副本壓縮，選擇存儲地的權限（） 采取冗余手段和版本管理，實現(xiàn)數(shù)據(jù)恢復和災難備份：副本種類定義屬性備注同步副本數(shù)據(jù)對象的一個完全拷貝每個數(shù)據(jù)對象都有至少一個同步副本同步副本數(shù)量，副本間距離，網(wǎng)絡連接情況等都影響響應速度異步副本基于某種策略的數(shù)據(jù)