云存儲技術及及規(guī)范0810

1、云存儲技術規(guī)范 上海電信互聯(lián)網(wǎng)部2010年7月總則編寫目的為了更好的推進網(wǎng)盤項目招標和工程規(guī)范實施，特此編寫此技術規(guī)范，對系統(tǒng)的各個特性和性能要求提出具體要求，起到規(guī)范統(tǒng)一的作用。建設背景和目標隨著互聯(lián)網(wǎng)的急速發(fā)展和非結(jié)構(gòu)化數(shù)據(jù)的爆炸性增長，公眾對高效，快速，分布式存儲提出了更高的要求。中國電信云存儲方案基于這個需求被提出來。適用范圍中國電信云存儲項目起草單位中國電信股份有限公司上海分公司互聯(lián)網(wǎng)部解釋權中國電信股份有限公司上海分公司互聯(lián)網(wǎng)部術語解釋參考文獻設計要求及使用條件總體設計要求要求系統(tǒng)部署合理，提供完善的網(wǎng)絡硬盤服務，提供完善的開發(fā)接口，提供及時有效的售后服務。使用條件滿足一般條件下的

2、使用條件。技術要求及規(guī)范平臺架構(gòu)按照解耦和，多模塊的觀點，要求系統(tǒng)各個模塊結(jié)構(gòu)清晰，功能相對獨立，便于維護和升級。架構(gòu)圖可以參考如下的模型（圖）： = 3 * GB3 = 3 * GB3 = 1 * GB3 = 2 * GB3 （圖）圖詳解： = 1 * GB3 存儲業(yè)務作為磁盤空間，為中國電信內(nèi)部自有業(yè)務提供存儲支撐； = 2 * GB3 存儲業(yè)務為公眾用戶（主要是中國電信客戶）提供豐富的個人存儲產(chǎn)品和服務； = 3 * GB3 云存儲系統(tǒng)必須提供豐富的業(yè)務接口，以支持開發(fā)豐富的上層應用。組網(wǎng)結(jié)構(gòu)按照分布式的組網(wǎng)需求，并充分使用中國電信骨干網(wǎng)絡，要求全國云存儲采取分點組網(wǎng)，快速連接。整個組網(wǎng)

3、結(jié)構(gòu)，請參考如下圖（圖）：（圖）功能性要求基礎存儲服務云存儲管理平臺提供基礎的存儲資源池，將多個物理設備上的存儲資源虛擬為統(tǒng)一的存儲資源池，供上層使用。存儲管理設備管理：通過查詢域內(nèi)所有設備的磁盤、CPU、內(nèi)存、電源、風扇、網(wǎng)口等信息。讓用戶實時了解域內(nèi)設備運行信息，運行狀態(tài)，從而可以操控設備；同時及時了解運行有誤的設備，有必要可以采取適當措施保證其正常運行。資源管理：用戶可以方便的了解云存儲系統(tǒng)的各個節(jié)點的服務情況，包括MDS的主備、 MDSOSN的容量和性能（讀IOPS、寫IOPS、讀流量、寫流量）等信息，讓用戶實時了解域內(nèi)資源信息，運行狀態(tài)，從而可以操控這些資源；同時及時了解資源的異常，

4、有必要可以采取適當措施保證其正常運行。策略管理云存儲平臺提供靈活的存儲策略，包括文件的副本數(shù)量、異地存儲、加密存儲、壓縮存儲、同步或異步存儲?？梢詫τ脩舨煌夸浽O置不同的存儲策略。多租戶管理云存儲平臺要求能支持對多租戶的管理，可以為每個租戶設定存儲空間、存儲帶寬、存儲策略、用戶數(shù)。租戶可以設置管理子租戶和孫租戶，形成目錄樹結(jié)構(gòu)。統(tǒng)計報表云存儲管理平臺提供統(tǒng)計報表接口，能夠完成用戶存儲容量、存儲數(shù)據(jù)訪問量等數(shù)據(jù)的統(tǒng)計多線程支持云存儲管理平臺提供的接口支持多線程及斷點續(xù)傳上傳下載文件?？鐢?shù)據(jù)中心部署云存儲管理平臺要求支持跨數(shù)據(jù)中心的部署和管理，并支持跨數(shù)據(jù)中心的用戶訪問調(diào)度、數(shù)據(jù)遷移、數(shù)據(jù)異地存儲

5、備份等功能。支持集中管理，云存儲管理平臺部署在全國中心機房，存儲節(jié)點可以部署在全國各機房中，管理平臺對分點機房的存儲設備可以統(tǒng)一管理調(diào)度。數(shù)據(jù)寫多份云存儲平臺要求能夠針對不同應用或用戶的可靠性和性能需求，靈活設置文件存儲的副本數(shù)。在滿足數(shù)據(jù)可靠性要求（要求支持同時壞任意兩塊磁盤數(shù)據(jù)不丟失）和讀寫性能要求的前提下，盡量提高存儲空間利用效率，降低存儲成本。分級安全服務傳輸安全云存儲系統(tǒng)采用HTTPS（Secure Hypertext Transfer Protocol）安全超文本傳輸協(xié)議，是以安全為目標的HTTP通道，簡單講是HTTP的安全版。Https:URL表明它使用了HTTP，但HTTPS存

6、在不同于HTTP的默認端口及一個加密/身份驗證層（在HTTP與TCP之間）。這個系統(tǒng)提供了身份驗證與加密通訊方法，目前廣泛用于萬維網(wǎng)上安全敏感的通訊，例如交易支付方面。云存儲提供的業(yè)務接口及管理接口都基于Https，從而保證數(shù)據(jù)的在傳輸層的安全。存儲安全云存儲系統(tǒng)在數(shù)據(jù)存儲時，根據(jù)條帶策略，將用戶數(shù)據(jù)根據(jù)側(cè)錄進行分條，根據(jù)條帶策略決定每個分條的大小，數(shù)據(jù)分條的存儲物理位置等。數(shù)據(jù)的所有分條及布局信息是元數(shù)據(jù)的一部分內(nèi)容，由元數(shù)據(jù)節(jié)點統(tǒng)一管理。即使任何一個磁盤、一個云存儲節(jié)點被盜或被入侵。都無法得知具體的數(shù)據(jù)內(nèi)容。入侵者無法將零散的數(shù)據(jù)恢復成完整的數(shù)據(jù)內(nèi)容。從而保證數(shù)據(jù)在存儲過程中的安全。保證數(shù)

7、據(jù)在存儲過程中不被竊取。支持用戶指定的目錄和文件加密存儲。用戶和權限控制云存儲系統(tǒng)對每份數(shù)據(jù)都提供豐富的訪問控制策略策略，對數(shù)據(jù)的所有操作都會進行權限檢查。訪問控制策略包括：用戶和權限。內(nèi)容搜索支持按關鍵字搜索文件名和文件內(nèi)容。離線下載關機后也可以雇傭服務器下載，支持HTTP多線程下載。維護管理設備管理、系統(tǒng)監(jiān)控、日志、節(jié)點管理、域管理、異地災備、負載均衡等等基礎存儲服務應用接入接口云存儲管理平臺提供基于HTTP（SOAP/REST）的應用接入接口，包括對用戶所有資源的操作接口、用戶容器、用戶數(shù)據(jù)的操作、數(shù)據(jù)訪問控制和權限的接口。云存儲管理平臺提供資源分配、空間使用、空間回收等管理接口。資源統(tǒng)

8、計接口云存儲管理平臺提供基于用戶的存儲資源使用情況相關接口，滿足計費要求。具體包括：用戶使用空間的統(tǒng)計、用戶上傳下載的數(shù)據(jù)流量統(tǒng)計、用戶上傳下載的次數(shù)統(tǒng)計等。擴展性要求考慮到后期擴容的需求，對系統(tǒng)擴展性的要求十分重要。主要體現(xiàn)在以下幾個方面：可以實時對容量進行擴充和升級；支持磁盤的熱插拔，新增的資源可以立即被平臺辨識，管理和分配；最低要求可以同時更換兩塊壞磁盤，更換上的新磁盤自動進行數(shù)據(jù)填充修復，以保持數(shù)據(jù)完整性、一致性；新增磁盤空間要對磁盤的總體負載要起到良好的均衡作用；支持新增空間的主動和被動的數(shù)據(jù)備份作用。容量要求為了提供優(yōu)秀的讀取速度，穩(wěn)定的數(shù)據(jù)存儲性能，對云存儲系統(tǒng)的整體容量和最小容

9、量提出要求，具體如下：整體支持級的存儲能力，具有快速部署一個的能力；最小磁盤支持1TB(7200rmp)；整個云存儲平臺最大存儲能力要求達到30PB以上；性能要求云存儲平臺的吞吐能力要求能夠隨著存儲能力的增長而線性增長；要求能夠通過調(diào)整云存儲平臺的硬件配置，靈活調(diào)整吞吐能力與存儲能力的比率，以適應業(yè)務變化對平臺能力的要求；要求支持客戶端多線程并發(fā)上傳下載文件，提供訪問速度；要求支持大文件分片存儲在多個存儲節(jié)點，各存儲節(jié)點能夠完成對各分片的并發(fā)讀寫能力，提高大文件的訪問速度；可靠性要求云存儲一旦投入運作，是全年不斷電無休系統(tǒng)，需要確保高度的可靠性。具體要求以下幾點：全年不下電，不停機，不閃斷；出

10、現(xiàn)故障及時進行告警（聲音、燈閃），告警分等級，界面可見，具有詳細說明和修復手段提示；要求有raid保護機制，在用戶數(shù)據(jù)寫單份的情況下，要求數(shù)據(jù)訪問的可靠性達到%，即對單個存儲節(jié)點要求：可訪問時長/全年時長 = 要求用戶數(shù)據(jù)可靠性可靈活配置，支持設置用戶數(shù)據(jù)的副本數(shù)、是否異地存放，向用戶提供不同級別的可靠性保護；要求任意兩塊磁盤或單個存儲節(jié)點損壞，不會導致用戶數(shù)據(jù)丟失；要求任意磁盤或存儲節(jié)點故障，不影響云存儲平臺其他設備的正常使用和用戶訪問。安全性要求硬件安全性硬件安全性是指硬件在安裝、調(diào)試、維護、更新等環(huán)節(jié)，對人員和環(huán)境是安全的，具體體現(xiàn)在以下幾點：產(chǎn)品電位接地，防止觸電事故；尺寸、規(guī)格、形狀

11、合理，以免傾斜倒伏，碰撞；產(chǎn)品材質(zhì)耐溫，散熱；明確警示觸電、有毒害、或其它危險發(fā)生的可能；系統(tǒng)安全性系統(tǒng)安全性主要體現(xiàn)在：強有力的加密手段和管理策略，確保管理員賬戶的安全性；采取設置防火墻等手段，防止來自公網(wǎng)的破壞；對于大規(guī)模訪問量，異常訪問等情況進行監(jiān)控；強大的系統(tǒng)管理能力，提供簡潔，高效，互動良好的GUI界面進行系統(tǒng)配置，這些配置項應該包括（但不局限于）以下一些屬性：管理，監(jiān)視，控制硬件資源；管理網(wǎng)絡資源（IP分配和服務）；管理每個結(jié)點（node）上運行的軟件；配置每個結(jié)點服務均衡；控制整體行為；設置異?；蚬收系母婢?；釋放結(jié)點或系統(tǒng)的資源。數(shù)據(jù)安全性數(shù)據(jù)安全性，指用戶存放的數(shù)據(jù)不可被非法訪

12、問、復制、修改等，具體如下：提供加密接口，對用戶數(shù)據(jù)進行加密；基于角色的數(shù)據(jù)保護策略：級別職責備注安全管理員1系統(tǒng)初始安裝，創(chuàng)建賬戶，分配/刪除系統(tǒng)管理員賬戶系統(tǒng)新建時默認的管理員，對“系統(tǒng)管理員”進行授權系統(tǒng)管理員2管理整個云存儲系統(tǒng)：網(wǎng)段，存儲群和節(jié)點；更換壞盤和硬件；對“租戶管理員”進行授權租戶管理員3在給定的空間內(nèi)進行策略配置，User ID分配等工作；對“子租戶管理員”進行授權子租戶管理員4在給定的空間內(nèi)創(chuàng)建用戶，重構(gòu)策略;無 策略化數(shù)據(jù)管理，管理員通過可視化界面，進行策略配置，從而實現(xiàn)諸如：創(chuàng)建不同的策略等級（金牌，銀牌，銅牌）；配置不同的用戶對應不同的服務等級，或者同一用戶的不同

13、數(shù)據(jù)對象擁有不同的服務等級；同步副本和異步副本數(shù)目策略配置，副本壓縮，選擇存儲地的權限 采取冗余手段和版本管理，實現(xiàn)數(shù)據(jù)恢復和災難備份：副本種類定義屬性備注同步副本數(shù)據(jù)對象的一個完全拷貝每個數(shù)據(jù)對象都有至少一個同步副本同步副本數(shù)量，副本間距離，網(wǎng)絡連接情況等都影響響應速度異步副本基于某種策略的數(shù)據(jù)備份“盡最大努力”進行數(shù)據(jù)恢復系統(tǒng)自動進行異步副本的更新，以保持數(shù)據(jù)一致磁盤利用率磁盤利用率指磁盤在提供數(shù)據(jù)冗余備份功能的前提下，能提供的實際裸存儲空間占總空間的比例，該指標反應系統(tǒng)的有效利用率，對投入產(chǎn)出比具有重要的參考意義。參考目前主流的技術指標，要求云存儲提供65%的磁盤利用率。AA：可以被系統(tǒng)

14、管理的空間B：系統(tǒng)自行耗用的空間（數(shù)據(jù)恢復，系統(tǒng)文件等）B：系統(tǒng)自行耗用的空間（數(shù)據(jù)恢復，系統(tǒng)文件等）要求：A/(A+B) 65%要求支持重復數(shù)據(jù)刪除技術，通過刪除重復數(shù)據(jù)，進一步提高存儲空間利用效率。維護與升級保障隨著未來硬件技術和服務質(zhì)量的提升，考慮到產(chǎn)品有較長的生命周期，故在此單獨提出對維護和升級保障方面的要求：單個磁盤損壞或故障時需使用新磁盤替換，系統(tǒng)需在4小時之內(nèi)恢復數(shù)據(jù)到新替換的磁盤；單個存儲節(jié)點損壞或故障，需在24小時內(nèi)解決并恢復用戶訪問當存儲空間使用率達到一定額度時，需對存儲擴容，存儲擴容工作從提出到完成上線，需在2個月之內(nèi)完成。工程實施的質(zhì)量、安全，效率有保障；主動發(fā)現(xiàn)運行中出現(xiàn)的隱形問題和風險，