課程設(shè)計(jì)大報(bào)告

1、課程設(shè)計(jì)大報(bào)告云存儲(chǔ)關(guān)鍵技術(shù)班級(jí)：021151學(xué)號(hào):02115036學(xué)生：王亦瑋指導(dǎo)老師：朱虎明時(shí)間：2014年9月云存儲(chǔ)關(guān)鍵技術(shù)綜述班級(jí)：021151學(xué)號(hào)：02115036學(xué)生：王亦瑋指導(dǎo)老師：朱虎明0前言隨著海量存儲(chǔ)系統(tǒng)的出現(xiàn)與并行文件系統(tǒng)、分布式文件系統(tǒng)的發(fā)展，云存儲(chǔ)系統(tǒng)建立在云計(jì)算技術(shù)基礎(chǔ)之上，以其成本低、可拓展的特點(diǎn)，將成為未來主要的存儲(chǔ)方式。本文是一篇關(guān)于云存儲(chǔ)關(guān)鍵技術(shù)的綜述。開始部分從4個(gè)角度定義了云存儲(chǔ)，接著有云存儲(chǔ)架構(gòu)的介紹，包括一些基本概念，然后就是本文的核心部分云存儲(chǔ)關(guān)鍵技術(shù)，分為7大技術(shù)進(jìn)行闡述。包括有虛擬化，分布式存儲(chǔ)，數(shù)據(jù)備份、縮減、遷移、壓縮及內(nèi)容分布網(wǎng)絡(luò)技術(shù)，最

2、后還有提到云存儲(chǔ)的優(yōu)勢(shì)、安全問題和云存儲(chǔ)的現(xiàn)狀及發(fā)展。1云存儲(chǔ)的定義1.1定義1云存儲(chǔ)系統(tǒng)以傳統(tǒng)的分布式存儲(chǔ)技術(shù)為基礎(chǔ)，利用高吞吐率網(wǎng)絡(luò)技術(shù)為依托，一方面高效地整合管理網(wǎng)絡(luò)存儲(chǔ)資源，另一方面對(duì)外提供友好的接口，發(fā)布便捷的網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)服務(wù)。1.2定義2從狹義上來說，云存儲(chǔ)是指通過虛擬化、分布式技術(shù)、集群應(yīng)用、網(wǎng)格技術(shù)、負(fù)載均衡等技術(shù)，將網(wǎng)絡(luò)中大量的存儲(chǔ)設(shè)備通過軟件集合起來高效協(xié)同工作，共同對(duì)外提供低成本、高擴(kuò)展性的數(shù)據(jù)存儲(chǔ)服務(wù)。從廣義上來講，云存儲(chǔ)可以理解為按需提供的虛擬存儲(chǔ)資源，如同云計(jì)算的Paas、laas服務(wù)一樣，可稱為數(shù)據(jù)存儲(chǔ)即服務(wù)(DataStorageAsaService，DaaS)

3、，即基于指定的服務(wù)水平請(qǐng)求，通過網(wǎng)絡(luò)提供適當(dāng)?shù)奶摂M存儲(chǔ)和相關(guān)數(shù)據(jù)服務(wù)。1.3定義3云存儲(chǔ)不是指某一個(gè)具體的設(shè)備，而是指一個(gè)由許許多多個(gè)存儲(chǔ)設(shè)備和服務(wù)器所構(gòu)成的集合體。使用者使用云存儲(chǔ)，并不是使用某一個(gè)存儲(chǔ)設(shè)備，而是使用整個(gè)云存儲(chǔ)系統(tǒng)帶來的一種數(shù)據(jù)訪問服務(wù)。云存儲(chǔ)的核心是應(yīng)用軟件與存儲(chǔ)設(shè)備相結(jié)合，通過應(yīng)用軟件來TOCo1-5hz實(shí)現(xiàn)存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)的轉(zhuǎn)變。1.4定義4云存儲(chǔ)就是將儲(chǔ)存資源放到網(wǎng)絡(luò)上供人存取的一種新興方案。使用者可以在任何時(shí)間、任何地方，透過任何可連網(wǎng)的裝置方便地存取數(shù)據(jù)。綜合以上定義，云存儲(chǔ)系統(tǒng)應(yīng)具有以下通用特征：高可擴(kuò)展性：云存儲(chǔ)系統(tǒng)可支持海量數(shù)據(jù)處理，資源可以實(shí)現(xiàn)按需擴(kuò)展；

4、低成本：云存儲(chǔ)系統(tǒng)應(yīng)具備高性價(jià)比的特點(diǎn)，低成本體現(xiàn)在兩方面，更低的建設(shè)成本和更低的運(yùn)維成本；無接入限制：相比傳統(tǒng)存儲(chǔ)，云存儲(chǔ)強(qiáng)調(diào)對(duì)用戶存儲(chǔ)的靈活支持，服務(wù)域內(nèi)存儲(chǔ)資源可以隨處接入，隨時(shí)訪問；易管理：少量管理員可以處理上千節(jié)點(diǎn)和PB級(jí)存儲(chǔ)，更高效的支撐大量上層應(yīng)用對(duì)存儲(chǔ)資源的快速部署需求。2云存儲(chǔ)架構(gòu)云存儲(chǔ)是由一個(gè)網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、接入網(wǎng)和客戶端程序等組成的復(fù)雜系統(tǒng)。以存儲(chǔ)設(shè)備為核心，通過應(yīng)用軟件來對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問服務(wù)。云存儲(chǔ)的架構(gòu)如下圖所示：應(yīng)用護(hù)口層網(wǎng)絡(luò)接入、用戶認(rèn)證r權(quán)根管理公用API摟口、應(yīng)用豐欠件、恥bServin等基礎(chǔ)管理層集群系統(tǒng)分布式文

5、件聚統(tǒng)網(wǎng)絡(luò)計(jì)算內(nèi)容分發(fā)P2P重復(fù)數(shù)據(jù)刪除數(shù)據(jù)壓縮數(shù)據(jù)加密敵據(jù)備份數(shù)據(jù)容災(zāi)訪問層訪問層個(gè)人空間服務(wù)運(yùn)營商空間租賃竽企事業(yè)單位實(shí)現(xiàn)數(shù)揺備粉、數(shù)據(jù)歸檔、集中存儲(chǔ)、遠(yuǎn)程共享視頻監(jiān)控、IPTV集中存儲(chǔ)、網(wǎng)站犬容量在線存儲(chǔ)存儲(chǔ)層存儲(chǔ)層存儲(chǔ)虛擬化*存儲(chǔ)集中管理、狀態(tài)監(jiān)控、維護(hù)升級(jí)、存儲(chǔ)設(shè)備云存儲(chǔ)架構(gòu)存儲(chǔ)層：存儲(chǔ)設(shè)備數(shù)量龐大且分布在不同地域，彼此通過廣域網(wǎng)、互聯(lián)網(wǎng)或光纖通道網(wǎng)絡(luò)連接在一起。在存儲(chǔ)設(shè)備之上是一個(gè)統(tǒng)一存儲(chǔ)設(shè)備管理系統(tǒng)，實(shí)現(xiàn)存儲(chǔ)設(shè)備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)?；A(chǔ)管理層：通過集群、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)云存儲(chǔ)設(shè)備之間的協(xié)同工作，使多個(gè)的存儲(chǔ)設(shè)備可

6、以對(duì)外提供同一種服務(wù)，并提供更大更強(qiáng)更好的數(shù)據(jù)訪問性能。數(shù)據(jù)加密技術(shù)保證云存儲(chǔ)中的數(shù)據(jù)不會(huì)被未授權(quán)的用戶訪問，數(shù)據(jù)備份和容災(zāi)技術(shù)可以保證云存儲(chǔ)中的數(shù)據(jù)不會(huì)丟失，保證云存儲(chǔ)自身的安全和穩(wěn)定。應(yīng)用接口層：不同的云存儲(chǔ)運(yùn)營商根據(jù)業(yè)務(wù)類型，開發(fā)不同的服務(wù)接口，提供不同的服務(wù)。例如視頻監(jiān)控、視頻點(diǎn)播應(yīng)用平臺(tái)、網(wǎng)絡(luò)硬盤，遠(yuǎn)程數(shù)據(jù)備份應(yīng)用等。訪問層：授權(quán)用戶可以通過標(biāo)準(zhǔn)的公用應(yīng)用接口來登錄云存儲(chǔ)系統(tǒng)，享受云存儲(chǔ)服務(wù)。3云存儲(chǔ)中的關(guān)鍵技術(shù)3.1云存儲(chǔ)中的存儲(chǔ)虛擬化通過存儲(chǔ)虛擬化方法，把不同廠商、不同型號(hào)、不同通信技術(shù)、不同類型的存儲(chǔ)設(shè)備互聯(lián)起來，將系統(tǒng)中各種異構(gòu)的存儲(chǔ)設(shè)備映射為一個(gè)統(tǒng)一的存儲(chǔ)資源池。存儲(chǔ)虛擬化

7、技術(shù)能夠?qū)Υ鎯?chǔ)資源進(jìn)行統(tǒng)一分配管理，又可以屏蔽存儲(chǔ)實(shí)體間的物理位置以及異構(gòu)特性，實(shí)現(xiàn)了資源對(duì)用戶的透明性，降低了構(gòu)建、管理和維護(hù)資源的成本，從而提升云存儲(chǔ)系統(tǒng)的資源利用率。主要存儲(chǔ)虛擬化技術(shù)存儲(chǔ)虛擬化技術(shù)雖然不同設(shè)備與廠商之間略有區(qū)別，但從總體來說，可概括為基于主機(jī)虛擬化、基于存儲(chǔ)設(shè)備虛擬化和基于存儲(chǔ)網(wǎng)絡(luò)虛擬化三種技術(shù)。基于主機(jī)的虛擬化存儲(chǔ)的實(shí)現(xiàn)，其核心技術(shù)是通過增加一個(gè)運(yùn)行在操作系統(tǒng)下的邏輯卷管理軟件將磁盤上的物理塊號(hào)映射成邏輯卷號(hào)，并以此實(shí)現(xiàn)把多個(gè)物理磁盤陣列映射成一個(gè)統(tǒng)一的虛擬的邏輯存儲(chǔ)空間（邏輯塊）實(shí)現(xiàn)存儲(chǔ)虛擬化的控制和管理。從技術(shù)實(shí)施層面看，基于主機(jī)的虛擬化存儲(chǔ)不需要額外的硬件支持，

8、便于部署，只通過軟件即可實(shí)現(xiàn)對(duì)不同存儲(chǔ)資源的存儲(chǔ)管理。但是，虛擬化控制軟件也導(dǎo)致了此項(xiàng)技術(shù)的主要缺點(diǎn)：首先，軟件的部署和應(yīng)用影響了主機(jī)性能；其次，各種與存儲(chǔ)相關(guān)的應(yīng)用通過同一個(gè)主機(jī)，存在越權(quán)訪問的數(shù)據(jù)安全隱患；最后，通過軟件控制不同廠家的存儲(chǔ)設(shè)備存在額外的資源開銷，進(jìn)而降低系統(tǒng)的可操作性與靈活性。基于存儲(chǔ)設(shè)備虛擬化技術(shù)依賴于提供相關(guān)功能的存儲(chǔ)設(shè)備的陣列控制器模塊，常見于高端存儲(chǔ)設(shè)備，其主要應(yīng)用針對(duì)異構(gòu)的SAN存儲(chǔ)構(gòu)架。此類技術(shù)的主要優(yōu)點(diǎn)是不占主機(jī)資源技術(shù)成熟度高，容易實(shí)施；缺點(diǎn)是核心存儲(chǔ)設(shè)備必須具有此類功能，且消耗存儲(chǔ)控制器的資源，同時(shí)由于異構(gòu)廠家磁盤陣列設(shè)備的控制功能被主控設(shè)備的存儲(chǔ)控制器接

9、管導(dǎo)致其高級(jí)存儲(chǔ)功能將不能使用?；诖鎯?chǔ)網(wǎng)絡(luò)虛擬化的技術(shù)的核心是在存儲(chǔ)區(qū)域網(wǎng)中增加虛擬化引擎實(shí)現(xiàn)存儲(chǔ)資源的集中管理，其具體實(shí)施一般是通過具有虛擬化支持能力的路由器或交換機(jī)實(shí)現(xiàn)。在此基礎(chǔ)上，存儲(chǔ)網(wǎng)絡(luò)虛擬化又可以分為帶內(nèi)虛擬化與帶外虛擬化兩類，二者主要的區(qū)別在于：帶內(nèi)虛擬化使用同一數(shù)據(jù)通道傳送存儲(chǔ)數(shù)據(jù)和控制信號(hào)，而帶外虛擬化使用不同的通道傳送數(shù)據(jù)和命令信息。基于存儲(chǔ)網(wǎng)絡(luò)的存儲(chǔ)虛擬化技術(shù)架構(gòu)合理，不占用主機(jī)和設(shè)備資源；但是其存儲(chǔ)陣列中設(shè)備的兼容性需要嚴(yán)格驗(yàn)證，與基于設(shè)備的虛擬化技術(shù)一樣，由于網(wǎng)絡(luò)中存儲(chǔ)設(shè)備的控制功能被虛擬化引擎所接管，導(dǎo)致存儲(chǔ)設(shè)備自帶的高級(jí)存儲(chǔ)功能將不能使用。存儲(chǔ)虛擬化技術(shù)對(duì)比用表格

10、的方式對(duì)三種存儲(chǔ)虛擬化技術(shù)的技術(shù)優(yōu)點(diǎn)與缺點(diǎn)、適應(yīng)場(chǎng)景等進(jìn)行了分析對(duì)比，結(jié)果如下：存儲(chǔ)虛擬化按術(shù)討比翊L層面主機(jī)丈打異構(gòu)的存儲(chǔ)採烷；不占用時(shí)盤控制黠費(fèi)檢與主機(jī)無關(guān)不占用主機(jī)貿(mào)視；能蚌支持畀構(gòu)主機(jī)“異構(gòu)存儲(chǔ)設(shè)備；對(duì)蘋同存儲(chǔ)設(shè)備他統(tǒng)一普程平臺(tái)I可擴(kuò)展性好與爭機(jī)無務(wù)，不占用主機(jī)黑a；數(shù)據(jù)營理功弗豐常：技術(shù)戰(zhàn)熟度盍占用主機(jī)資涯”障低應(yīng)用性能：存在撇作系折和應(yīng)用的叢容性問懸；主機(jī)數(shù)呈越多卜背理咸本駆高占用交換機(jī)資涯；面臨芾內(nèi)、莆外的遶捧；存楠逵備豪容性彌整產(chǎn)格驗(yàn)述；原肯的甜盤暉劌的高級(jí)存儲(chǔ)功罷將不能使用憑制于存儲(chǔ)揑制甜授口資憑虛擬化禮力較前；異構(gòu)廠家存?zhèn)蛟O(shè)備的高誠存儲(chǔ)功能辮證橈用王要用逢滾巌爵器的存髀空問

11、町以跨延雪個(gè)異枸謎盤薩劌塞用子隹不圖讎聳薩列之間冊(cè)葩彊蝶懂保護(hù)異構(gòu)存請(qǐng)系扌元St含和饒一數(shù)掘営理1災(zāi)備）SftSilSiSS含宛攬一數(shù)據(jù)苜餐（磁）主抓已王旳SF卷莒理.需剽很系甄中包把自帶虛船化功能的商舶？睛設(shè)備與若干需要利舊的中（慮鎖存?zhèn)蜻m用場(chǎng)捷予臺(tái)存儲(chǔ)謖備；存請(qǐng)親頓中包含澤構(gòu)陣列設(shè)備；業(yè)務(wù)持拔翅力與辭據(jù)卷吐菱求玫鬲系箱包拈下冋品牌和型r的主機(jī)與苻儲(chǔ)設(shè)番；對(duì)數(shù)據(jù)無顯遷畤艮數(shù)搪牯式樣摘春較高時(shí)團(tuán)性幌證不適用場(chǎng)量主機(jī)數(shù)量大采用5F會(huì)涉及高昂的貰用；特遷入來航數(shù)據(jù)量過大*如鶏丸龍聲取存Hf級(jí)遷務(wù)方武廈囂僭式轉(zhuǎn)戡將住竇犬童的時(shí)冋和人力對(duì)業(yè)務(wù)持續(xù)龍力和詒定性要衣苛希要新購機(jī)去時(shí)費(fèi)用稅茴；存在更高靖的存

12、儲(chǔ)設(shè)備3.2云存儲(chǔ)中的分布式存儲(chǔ)技術(shù)分布式存儲(chǔ)是通過網(wǎng)絡(luò)使用服務(wù)商提供的各個(gè)存儲(chǔ)設(shè)備上的存儲(chǔ)空間，并將這些分散的存儲(chǔ)資源構(gòu)成一個(gè)虛擬的存儲(chǔ)設(shè)備，數(shù)據(jù)分散的存儲(chǔ)在各個(gè)存儲(chǔ)設(shè)備上。目前比較流行的分布式存儲(chǔ)技術(shù)為：分布式塊存儲(chǔ)、分布式文件系統(tǒng)存儲(chǔ)、分布式對(duì)象存儲(chǔ)和分布式表存儲(chǔ)。分布式塊存儲(chǔ)塊存儲(chǔ)就是服務(wù)器直接通過讀寫存儲(chǔ)空間中的一個(gè)或一段地址來存取數(shù)據(jù)。由于采用直接讀寫磁盤空間來訪問數(shù)據(jù)，相對(duì)于其他數(shù)據(jù)讀取方式，塊存儲(chǔ)的讀取效率最高，一些大型數(shù)據(jù)庫應(yīng)用只能運(yùn)行在塊存儲(chǔ)設(shè)備上。分布式塊存儲(chǔ)系統(tǒng)目前以標(biāo)準(zhǔn)的Intel/Linux硬件組件作為基本存儲(chǔ)單元，組件之間通過千兆以太網(wǎng)采用任意點(diǎn)對(duì)點(diǎn)拓?fù)浼夹g(shù)相互連

13、接，共同工作，構(gòu)成大型網(wǎng)格存儲(chǔ)，網(wǎng)格內(nèi)采用分布式算法管理存儲(chǔ)資源。此類技術(shù)比較典型的代表是IBMXIV存儲(chǔ)系統(tǒng)，其核心數(shù)據(jù)組件為基于Intel內(nèi)核的磁盤系統(tǒng)，卷數(shù)據(jù)分布到所有磁盤上，從而具有良好的并行處理能力；放棄RAID技術(shù)，采用冗余數(shù)據(jù)塊方式進(jìn)行數(shù)據(jù)保護(hù)，統(tǒng)一采用SATA盤，從而降低了存儲(chǔ)成本。分布式文件系統(tǒng)存儲(chǔ)文件存儲(chǔ)系統(tǒng)可提供通用的文件訪問接口，如POSIX、NFS、CIFS、FTP等，實(shí)現(xiàn)文件與目錄操作、文件訪問、文件訪問控制等功能。目前的分布式文件系統(tǒng)存儲(chǔ)的實(shí)現(xiàn)有軟硬件一體和軟硬件分離兩種方式。主要通過NAS虛擬化，或者基于X86硬件集群和分布式文件系統(tǒng)集成在一起，以實(shí)現(xiàn)海量非結(jié)構(gòu)

14、化數(shù)據(jù)處理能力。軟硬件一體方式的實(shí)現(xiàn)基于X86硬件，利用專有的、定制設(shè)計(jì)的硬件組件，與分布式文件系統(tǒng)集成在一起，以實(shí)現(xiàn)目標(biāo)設(shè)計(jì)的性能和可靠性目標(biāo)；產(chǎn)品代表Isilon,IBMSONASGPFS。軟硬件分離方式的實(shí)現(xiàn)基于開源分布式文件系統(tǒng)對(duì)外提供彈性存儲(chǔ)資源，軟硬件分離方式可采用標(biāo)準(zhǔn)PC服務(wù)器硬件;典型開源分布式文件系統(tǒng)有GFS、HDFS。分布式對(duì)象存儲(chǔ)對(duì)象存儲(chǔ)是為海量數(shù)據(jù)提供Key-Value這種通過鍵值查找數(shù)據(jù)文件的存儲(chǔ)模式；對(duì)象存儲(chǔ)引入對(duì)象元數(shù)據(jù)來描述對(duì)象特征，對(duì)象元數(shù)據(jù)具有豐富的語義；引入容器概念作為存儲(chǔ)對(duì)象的集合。對(duì)象存儲(chǔ)系統(tǒng)底層基于分布式存儲(chǔ)系統(tǒng)來實(shí)現(xiàn)數(shù)據(jù)的存取，其存儲(chǔ)方式對(duì)外部應(yīng)用

15、透明。這樣的存儲(chǔ)系統(tǒng)架構(gòu)具有高可擴(kuò)展性，支持?jǐn)?shù)據(jù)的并發(fā)讀寫，一般不支持?jǐn)?shù)據(jù)的隨機(jī)寫操作。最典型的應(yīng)用實(shí)例就是亞馬遜的S3(AmazonSimpleStorageService)。對(duì)象存儲(chǔ)技術(shù)相對(duì)成熟，對(duì)底層硬件要求不高，存儲(chǔ)系統(tǒng)可靠性和容錯(cuò)通過軟件實(shí)現(xiàn)，同時(shí)其訪問接口簡單，適合處理海量、小數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)，女口：郵箱、網(wǎng)盤、相冊(cè)、音頻視頻存儲(chǔ)等分布式表存儲(chǔ)表結(jié)構(gòu)存儲(chǔ)是一種結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，如傳統(tǒng)數(shù)據(jù)庫相比，它提供的表空間訪問功能受限，但更強(qiáng)調(diào)系統(tǒng)的可擴(kuò)展性。提供表存儲(chǔ)的云存儲(chǔ)系統(tǒng)的特征就是同時(shí)提供高并發(fā)的數(shù)據(jù)訪問性能和可伸縮的存儲(chǔ)和計(jì)算架構(gòu)。提供表存儲(chǔ)的云存儲(chǔ)系統(tǒng)有兩類接口訪問方式。一類是標(biāo)準(zhǔn)

16、的xDBC、SQL數(shù)據(jù)庫接口，一類是Map-reduce的數(shù)據(jù)倉庫應(yīng)用處理接口。前者目前以開源技術(shù)為主，尚未有成熟的商業(yè)軟件，后者已有商業(yè)軟件和成功的商業(yè)應(yīng)用案例。分布式存儲(chǔ)總結(jié)如今分布式存儲(chǔ)系統(tǒng)已經(jīng)得到了快速的發(fā)展，其技術(shù)已經(jīng)較為成熟。先進(jìn)的分布式存儲(chǔ)系統(tǒng)必須具備下面幾個(gè)特性：高性能、高可靠性、高可擴(kuò)展性、透明性以及自治性。高性能：對(duì)于分布式系統(tǒng)中的每一個(gè)用戶都要盡量減小網(wǎng)絡(luò)的延遲和因網(wǎng)絡(luò)擁塞、網(wǎng)絡(luò)斷開、節(jié)點(diǎn)退出等問題造成的影響；高可靠性：高可靠性是大多數(shù)系統(tǒng)設(shè)計(jì)時(shí)重點(diǎn)考慮的問題。分布式環(huán)境通常都有高可靠TOCo1-5hz性需求，用戶將文件保存到分布式存儲(chǔ)系統(tǒng)的基本要求是數(shù)據(jù)可靠；高可擴(kuò)展性

17、：分布式存儲(chǔ)系統(tǒng)需要能夠適應(yīng)節(jié)點(diǎn)規(guī)模和數(shù)據(jù)規(guī)模的擴(kuò)大；透明性：需要讓用戶在訪問網(wǎng)絡(luò)中其他節(jié)點(diǎn)中的數(shù)據(jù)時(shí)能感到像是訪問自己本機(jī)的數(shù)據(jù)一樣；自治性：分布式存儲(chǔ)系統(tǒng)需要擁有一定的自我維護(hù)和恢復(fù)功能。3.3云存儲(chǔ)中的數(shù)據(jù)備份副本數(shù)據(jù)布局一種被廣泛采用的副本布局方式是通過集中式的存儲(chǔ)目錄來定位數(shù)據(jù)對(duì)象的存儲(chǔ)位置這種方法可以利用存儲(chǔ)目錄中存放的存儲(chǔ)節(jié)點(diǎn)信息，將數(shù)據(jù)對(duì)象的多個(gè)副本放置在不同機(jī)架上，這樣可大大提高系統(tǒng)的數(shù)據(jù)可靠性。谷歌文件系統(tǒng)(GoogleFileSystem，GFS)、Hadoop分布式文件系統(tǒng)(HadoopDistributedFileSystem，HDFS)等著名的分布式文件系統(tǒng)都采用了

18、這種數(shù)據(jù)布局方式，然而，基于集中式存儲(chǔ)目錄的數(shù)據(jù)放置方式存在以下兩個(gè)缺陷：TOCo1-5hz隨著存儲(chǔ)目錄的增長，查找數(shù)據(jù)對(duì)象所需的開銷也會(huì)越來越大；為提高數(shù)據(jù)對(duì)象的定位速度，一般情況下都會(huì)將存儲(chǔ)目錄存放在服務(wù)器內(nèi)存中，對(duì)于PB級(jí)的云存儲(chǔ)系統(tǒng)來說，文件的數(shù)量可能達(dá)到上億級(jí)，這導(dǎo)致存儲(chǔ)目錄將會(huì)占用上百GB的內(nèi)存。因此，當(dāng)數(shù)據(jù)對(duì)象數(shù)量達(dá)到上億級(jí)別時(shí)，基于集中式存儲(chǔ)目錄的數(shù)據(jù)放置方法在存儲(chǔ)開銷和數(shù)據(jù)定位的時(shí)間開銷上都是難以接受的，此外，還會(huì)大大限制系統(tǒng)的擴(kuò)展性。另一種副本布局方法是基于哈希算法的副本布局方法，它完全摒棄了記錄數(shù)據(jù)對(duì)象映射信息的做法?；诠Ｋ惴ǖ母北静季址椒ㄐ枰獫M足以下要求：1.均衡性

19、：根據(jù)節(jié)點(diǎn)權(quán)重為存儲(chǔ)節(jié)點(diǎn)分配數(shù)據(jù)對(duì)象。2動(dòng)態(tài)自適應(yīng)性：當(dāng)系統(tǒng)中的節(jié)點(diǎn)數(shù)量發(fā)生變化時(shí)，需遷移的數(shù)據(jù)量應(yīng)該盡量少。3低性能開銷。4.高效性：確定副本位置所需的時(shí)間開銷盡可能小，理想情況下為0（1）。傳統(tǒng)的備份策略典型的用戶備份流程是這樣的：每天都要在凌晨進(jìn)行一次增量備份，然后每周末凌晨進(jìn)行全備份。采用這種方法，一旦出現(xiàn)了數(shù)據(jù)災(zāi)難，用戶可以恢復(fù)到某天（注意是以天為單位的）的數(shù)據(jù)，因此在最壞的情況下，可能丟失整整一天的數(shù)據(jù)。那么，能不能縮小備份時(shí)間單位呢？比如，可不可以每半天進(jìn)行一次增量備份呢？答案是非常困難。因?yàn)槊看芜M(jìn)行備份的數(shù)據(jù)量都很大的情況下，備份時(shí)間窗口很大，需要繁忙的業(yè)務(wù)系統(tǒng)停機(jī)很長時(shí)間才能

20、做到。因此，為了確保數(shù)據(jù)的更高安全性，用戶必須對(duì)在線系統(tǒng)實(shí)行在線實(shí)時(shí)復(fù)制，盡可能多TOCo1-5hz地采用快照等磁盤管理技術(shù)維持?jǐn)?shù)據(jù)的高可用性，這樣勢(shì)必需要增加很大一部分投資。連續(xù)數(shù)據(jù)保護(hù)連續(xù)數(shù)據(jù)保護(hù)（CDP）是一種連續(xù)捕獲和保存數(shù)據(jù)變化，并將變化后的數(shù)據(jù)獨(dú)立于初始數(shù)據(jù)進(jìn)行保存的方法，而且該方法可以實(shí)現(xiàn)過去任意一個(gè)時(shí)間點(diǎn)的數(shù)據(jù)恢復(fù)。CDP系統(tǒng)可能基于塊、文件或應(yīng)用，并且為數(shù)量無限的可變恢復(fù)點(diǎn)提供精細(xì)的可恢復(fù)對(duì)象。因此，所有的CDP解決方案都應(yīng)當(dāng)具備以下幾個(gè)基本的特性：數(shù)據(jù)的改變受到連續(xù)的捕獲和跟蹤；所有的數(shù)據(jù)改變都存儲(chǔ)在一個(gè)與主存儲(chǔ)地點(diǎn)不同的獨(dú)立地點(diǎn)中；恢復(fù)點(diǎn)目標(biāo)是任意的，而且不需要在實(shí)際恢復(fù)

21、之前事先定義。所以，CDP可以提供更快的數(shù)據(jù)檢索、更強(qiáng)的數(shù)據(jù)保護(hù)和更高的業(yè)務(wù)連續(xù)性能力，而與傳統(tǒng)的備份解決方案相比，CDP的總體成本和復(fù)雜性都要低。盡管一些廠商推出了CDP產(chǎn)品，然而從它們的功能上分析，還做不到真正連續(xù)的數(shù)據(jù)保護(hù)，比如有的產(chǎn)品備份時(shí)間間隔為一小時(shí)，那么在這一小時(shí)內(nèi)仍然存在數(shù)據(jù)丟失的風(fēng)險(xiǎn)因此，嚴(yán)格地講，它們還不是完全意義上的CDP產(chǎn)品，目前我們只能稱之為類似CDP產(chǎn)品。3.4云存儲(chǔ)中的數(shù)據(jù)縮減技術(shù)為應(yīng)對(duì)數(shù)據(jù)存儲(chǔ)的急劇膨脹，企業(yè)需要不斷購置大量的存儲(chǔ)設(shè)備來滿足不斷增長的存儲(chǔ)需求。權(quán)威調(diào)查機(jī)構(gòu)的研究發(fā)現(xiàn)，企業(yè)購買了大量的存儲(chǔ)設(shè)備，但是利用率往往不足50%,存儲(chǔ)投資回報(bào)率水平較低。數(shù)據(jù)

22、量的急劇增長為存儲(chǔ)技術(shù)提出了新的問題和要求，怎樣低成本高效快速地解決無限增長的信息的存儲(chǔ)和計(jì)算問題擺在科學(xué)家的面前。通過云存儲(chǔ)技術(shù)不僅解決了存儲(chǔ)中的高安全性、可靠性、可擴(kuò)展、易管理等存儲(chǔ)的基本要求，同時(shí)也利用云存儲(chǔ)中的數(shù)據(jù)縮減技術(shù)，滿足海量信息爆炸式增長趨勢(shì)，一定程度上節(jié)約企業(yè)存儲(chǔ)成本，提高效率。自動(dòng)精簡配置自動(dòng)精簡配置是一種存儲(chǔ)管理的特性，核心原理是欺騙”操作系統(tǒng)，讓操作系統(tǒng)認(rèn)為存儲(chǔ)設(shè)備中有很大的存儲(chǔ)空間，而實(shí)際的物理存儲(chǔ)空間則沒有那么大。傳統(tǒng)配置技術(shù)為了避免重新配置可能造成的業(yè)務(wù)中斷，常常會(huì)過度配置容量。在這種情況下，一旦存儲(chǔ)分配給某個(gè)應(yīng)用，就不可能重新分配給另一個(gè)應(yīng)用，由此就造成了已分配

23、的容量沒有得到充分利用，導(dǎo)致了資源的極大浪費(fèi)。而精簡配置技術(shù)帶給用戶的益處是大大提高了存儲(chǔ)資源的利用率，提高了配置管理效率，實(shí)現(xiàn)高自動(dòng)化的數(shù)據(jù)存儲(chǔ)。自動(dòng)精簡配置技術(shù)是利用虛擬化方法減少物理存儲(chǔ)空間的分配，最大限度提升存儲(chǔ)空間利用率。這種技術(shù)節(jié)約的存儲(chǔ)成本可能會(huì)非常巨大，并且使存儲(chǔ)的利用率超90%。通過欺騙”操作系統(tǒng)，造成的好像存儲(chǔ)空間有足夠大，而實(shí)際物理存儲(chǔ)空間并沒有那么大。自動(dòng)精簡配置技術(shù)的應(yīng)用會(huì)減少已分配但未使用的存儲(chǔ)容量的浪費(fèi)，在分配存儲(chǔ)空間時(shí)，需要多少存儲(chǔ)空間系統(tǒng)則按需分配。自動(dòng)精簡配置技術(shù)優(yōu)化了存儲(chǔ)空間的利用率，擴(kuò)展了存儲(chǔ)管理功能，雖然實(shí)際分配的物理容量小，但可以為操作系統(tǒng)提供超大容

24、量的虛擬存儲(chǔ)空間。隨著數(shù)據(jù)存儲(chǔ)的信息量越來越多，實(shí)際存儲(chǔ)空間也可以及時(shí)擴(kuò)展，無需用戶手動(dòng)處理。利用自動(dòng)精簡配置技術(shù)，用戶不需要了解存儲(chǔ)空間分配的細(xì)節(jié)，這種技術(shù)就能幫助用戶在不降低性能的情況下，大幅度提高存儲(chǔ)空間利用效率；需求變化時(shí)，無需更改存儲(chǔ)容量設(shè)置通過虛擬化技術(shù)集成存儲(chǔ)，減少超量配置，降低總功耗。自動(dòng)精簡配置這項(xiàng)技術(shù)最初由3Par公司開發(fā)，目前支持自動(dòng)精簡配置的廠商正在快速增加。這項(xiàng)技術(shù)已經(jīng)成為選擇存儲(chǔ)系統(tǒng)的關(guān)鍵標(biāo)準(zhǔn)之一。但是并不是所有的自動(dòng)精簡配置的實(shí)施都是相同的。隨著自動(dòng)精簡配置的存儲(chǔ)越來越多，物理存儲(chǔ)的耗盡成為自動(dòng)精簡配置環(huán)境中經(jīng)常出現(xiàn)的風(fēng)險(xiǎn)。因此，告警、通知和存儲(chǔ)分析成為必要的功能

25、，并且對(duì)比傳統(tǒng)環(huán)境，其在自動(dòng)精簡配置的環(huán)境中扮演了更主要的角色。自動(dòng)存儲(chǔ)分層自動(dòng)存儲(chǔ)分層（AST）技術(shù)主要用來幫助數(shù)據(jù)中心最大程度地降低成本和復(fù)雜性。在過去，進(jìn)行數(shù)據(jù)移動(dòng)主要依靠手工操作，由管理員來判斷這個(gè)卷的數(shù)據(jù)訪問壓力或大或小，遷移的時(shí)候也只能一個(gè)整卷一起遷移。自動(dòng)存儲(chǔ)分層技術(shù)的特點(diǎn)則是其分層的自動(dòng)化和智能化。傳統(tǒng)配置方式與自動(dòng)存儲(chǔ)分層方式比較是一個(gè)整卷一起遷移。新技術(shù)的特點(diǎn)則是其分層的自動(dòng)化和智能化。自動(dòng)存儲(chǔ)分層是存儲(chǔ)上減少數(shù)據(jù)的另外一種機(jī)制。一個(gè)磁盤陣列能夠把活動(dòng)數(shù)據(jù)保留在快速、昂貴的存儲(chǔ)上，把不活躍的數(shù)據(jù)遷移到廉價(jià)的低速層上，以限制存儲(chǔ)的花費(fèi)總量。自動(dòng)存儲(chǔ)分層的重要性隨著固態(tài)存儲(chǔ)在當(dāng)

26、前磁盤陣列中的采用而提升，并隨著云存儲(chǔ)的來臨而補(bǔ)充內(nèi)部部署的存儲(chǔ)。自動(dòng)存儲(chǔ)分層使用戶數(shù)據(jù)保留在合適的存儲(chǔ)層級(jí)，因此減少了存儲(chǔ)需求的總量并實(shí)質(zhì)上減少了成本，提升了性能。數(shù)據(jù)從一層遷移到另一層的粒度越精細(xì)，可以使用的昂貴存儲(chǔ)的效率就越高。子卷級(jí)的分層意味著數(shù)據(jù)是按照塊來分配而不是整個(gè)卷，而字節(jié)級(jí)的分層比文件級(jí)的分層更好。如何控制數(shù)據(jù)在層間移動(dòng)的內(nèi)部工作規(guī)則，決定需要把自動(dòng)分層放在正確的位置的努力程度。一些系統(tǒng)，是根據(jù)預(yù)先定義的什么時(shí)候移動(dòng)數(shù)據(jù)和移動(dòng)到哪一層。相反的，NetApp公司和Oracle公司(在SunZFSStorage7000系列中)倡導(dǎo)存儲(chǔ)系統(tǒng)應(yīng)該足夠智能，能重復(fù)數(shù)據(jù)刪除，能自動(dòng)的保留

27、數(shù)據(jù)在其合適的層，而不需要用戶定義的策略。重復(fù)數(shù)據(jù)刪除物理存儲(chǔ)設(shè)備在使用一段時(shí)間后必然會(huì)出現(xiàn)大量重復(fù)的數(shù)據(jù)?！爸貜?fù)刪除”技術(shù)(De-duplication)作為一種數(shù)據(jù)縮減技術(shù)可對(duì)存儲(chǔ)容量進(jìn)行優(yōu)化。它通過刪除數(shù)據(jù)集中重復(fù)的數(shù)據(jù)，只保留其中一份，從而消除冗余數(shù)據(jù)。使用De-dupe技術(shù)可以將數(shù)據(jù)縮減到原來的1/20-1/50。由于大幅度減少了對(duì)物理存儲(chǔ)空間的信息量，進(jìn)而減少傳輸過程中的網(wǎng)絡(luò)帶寬、節(jié)約設(shè)備成本、降低能耗。重復(fù)數(shù)據(jù)刪除技術(shù)原理De-dupe按照消重的粒度可以分為文件級(jí)和數(shù)據(jù)塊級(jí)。可以同時(shí)使用2種以上的hash算法計(jì)算數(shù)據(jù)指紋，以獲得非常小的數(shù)據(jù)碰撞發(fā)生概率。具有相同指紋的數(shù)據(jù)塊即可認(rèn)

28、為是相同的數(shù)據(jù)塊，存儲(chǔ)系統(tǒng)中僅需要保留一份。這樣，一個(gè)物理文件在存儲(chǔ)系統(tǒng)中就只對(duì)應(yīng)一個(gè)邏輯表示。NetApp公司為其所有的系統(tǒng)提供重復(fù)數(shù)據(jù)刪除選項(xiàng)，并且可以針對(duì)每個(gè)卷進(jìn)行激活。NetApp公司的重復(fù)數(shù)據(jù)刪除并不是實(shí)時(shí)執(zhí)行的。相反，它是使用預(yù)先設(shè)置的進(jìn)程執(zhí)行的，一般是在閑暇時(shí)間執(zhí)行，通過掃描把重復(fù)的4KB數(shù)據(jù)塊替換為相應(yīng)的指針。與NetApp公司相似，Oracle公司在其SunZFSStorage7000系列系統(tǒng)中也具備塊級(jí)別重復(fù)數(shù)據(jù)刪除的功能。與NetApp公司不同的是，去重是在其寫入磁盤時(shí)實(shí)時(shí)執(zhí)行的。戴爾公司獲得了內(nèi)容感知的去重和壓縮技術(shù)，并企圖把這種技術(shù)整合到其所有的存儲(chǔ)系統(tǒng)中。數(shù)據(jù)壓縮數(shù)

29、據(jù)壓縮技術(shù)是提高數(shù)據(jù)存儲(chǔ)效率最古老最有效的方法之一。為了節(jié)省信息的存儲(chǔ)空間和提高信息的傳輸效率，必須對(duì)大量的實(shí)際數(shù)據(jù)進(jìn)行有效的壓縮。數(shù)據(jù)壓縮作為對(duì)解決海量信息存儲(chǔ)和傳輸?shù)闹С旨夹g(shù)受到人們極大的重視。數(shù)據(jù)壓縮就是將收到的數(shù)據(jù)通過存儲(chǔ)算法存儲(chǔ)到更小的空間中去。隨著目前CPU處理能力的大幅提高，應(yīng)用實(shí)時(shí)壓縮技術(shù)來節(jié)省數(shù)據(jù)占用空間成為現(xiàn)實(shí)。這項(xiàng)新技術(shù)就是最新研發(fā)出的在線壓縮(RACE)，它與傳統(tǒng)壓縮技術(shù)不同。對(duì)RACE技術(shù)，當(dāng)數(shù)據(jù)在首次寫入時(shí)即被壓縮，以幫助系統(tǒng)控制大量數(shù)據(jù)在主存中雜亂無章地存儲(chǔ)的情形，特別是多任務(wù)工作時(shí)更加明顯。該技術(shù)還可以在數(shù)據(jù)寫入到存儲(chǔ)系統(tǒng)前壓縮數(shù)據(jù)，進(jìn)一步提高了存儲(chǔ)系統(tǒng)中的磁盤

30、和緩存的性能和效率。壓縮算法分為無損壓縮和有損壓縮。相對(duì)于有損壓縮來說，無損壓縮的占用空間大，壓縮比不高，但是它有效地保存了原始信息，沒有任何信號(hào)丟失。但是隨著限制無損格式的種種因素逐漸被消除，使得無損壓縮格式具有廣闊的應(yīng)用前景。數(shù)據(jù)壓縮中使用的LZS算法基于LZ77實(shí)現(xiàn)，主要由2部分構(gòu)成，滑窗(SlidingWindow)和自適應(yīng)編碼(AdaptiveCoding)。壓縮處理時(shí)，在滑窗中查找與待處理數(shù)據(jù)相同的塊，并用該塊在滑窗中的偏移值及塊長度替代待處理數(shù)據(jù)，從而實(shí)現(xiàn)壓縮編碼。如果滑窗中沒有與待處理數(shù)據(jù)塊相同的字段，或偏移值及長度數(shù)據(jù)超過被替代數(shù)據(jù)塊的長度，則不進(jìn)行替代處理。LZS算法的實(shí)現(xiàn)

31、非常簡潔，處理比較簡單，能夠適應(yīng)各種高速應(yīng)用。數(shù)據(jù)壓縮的應(yīng)用可以顯著降低待處理和存儲(chǔ)的數(shù)據(jù)量，一般情況下可實(shí)現(xiàn)2:13:1的壓縮比。壓縮和去重是互補(bǔ)性的技術(shù)，提供去重的廠商通常也提供壓縮。而對(duì)于虛擬服務(wù)器卷、電子郵件附件、文件和備份環(huán)境來說，去重通常更加有效，壓縮對(duì)于隨機(jī)數(shù)據(jù)效果更好，像數(shù)據(jù)庫。換句話說，在數(shù)據(jù)重復(fù)性比較高的地方，去重比壓縮有效。3.5云存儲(chǔ)中的內(nèi)容分發(fā)網(wǎng)絡(luò)技術(shù)云存儲(chǔ)是構(gòu)建于互聯(lián)網(wǎng)之上的，何如降低網(wǎng)絡(luò)延遲、提高數(shù)據(jù)傳輸率是關(guān)系到云存儲(chǔ)性能的關(guān)鍵問題。盡管有一些通過本地高速緩存、廣域網(wǎng)優(yōu)化等技術(shù)來解決問題的研究工作，但離實(shí)際的應(yīng)用需求還有一定的距離。內(nèi)容分發(fā)網(wǎng)絡(luò)是一種新型網(wǎng)絡(luò)構(gòu)建

32、模式，主要是針對(duì)現(xiàn)有的Internet進(jìn)行改造?；舅枷胧潜M量避開互聯(lián)網(wǎng)上由于網(wǎng)絡(luò)帶寬小、網(wǎng)點(diǎn)分布不均、用戶訪問量大等影響數(shù)據(jù)傳輸速度和穩(wěn)定性的弊端，使數(shù)據(jù)傳輸?shù)母?、更穩(wěn)定。通過在網(wǎng)絡(luò)各處放置節(jié)點(diǎn)服務(wù)器，在現(xiàn)有互聯(lián)網(wǎng)的基礎(chǔ)之上構(gòu)成一層智能虛擬網(wǎng)絡(luò)，實(shí)時(shí)地根據(jù)網(wǎng)絡(luò)流量、各節(jié)點(diǎn)的連接和負(fù)載情況、響應(yīng)時(shí)間、到用戶的距離等信息將用戶的請(qǐng)求重新導(dǎo)向離用戶最近的服務(wù)節(jié)點(diǎn)上。目的是使用戶可就近取得所需內(nèi)容，解決Internet網(wǎng)絡(luò)擁擠的狀況，提高用戶訪問網(wǎng)站的速度。3.6云存儲(chǔ)中的數(shù)據(jù)遷移當(dāng)我們從一個(gè)物理環(huán)境和單個(gè)陣列過渡到完全虛擬化的、高度動(dòng)態(tài)的存儲(chǔ)環(huán)境時(shí)，數(shù)據(jù)的遷移就成了云存儲(chǔ)方案中最為基礎(chǔ)、關(guān)鍵的步

33、驟，它在整個(gè)方案中占有了舉足輕重的作用。把企業(yè)的數(shù)據(jù)轉(zhuǎn)移到云中，針對(duì)不同的實(shí)際情況這里有兩種方法：1.當(dāng)企業(yè)的數(shù)據(jù)吞吐量較大但是數(shù)據(jù)量不是特別多，對(duì)傳輸延遲也沒過多要求時(shí)，云供應(yīng)商可以提供從企業(yè)到供應(yīng)商某個(gè)存儲(chǔ)節(jié)點(diǎn)之間的私人鏈接，方便企業(yè)遷移數(shù)據(jù)。企業(yè)可以根據(jù)自己的時(shí)間，在不影響公司正常運(yùn)行的情況下做數(shù)據(jù)的轉(zhuǎn)移安排；2當(dāng)企業(yè)的數(shù)據(jù)可以提供拷貝，那么我們可以采用sneaker-net的方式，即人工網(wǎng)絡(luò)模式，將數(shù)據(jù)通過磁盤、移動(dòng)存儲(chǔ)設(shè)備等從企業(yè)服務(wù)器拷入到云數(shù)據(jù)中心或者從云數(shù)據(jù)中心拷貝出來。如果企業(yè)對(duì)當(dāng)前云供應(yīng)商提供的服務(wù)不滿意需要更換服務(wù)商，如何在兩家服務(wù)商的云之間轉(zhuǎn)移數(shù)據(jù)？這應(yīng)該是當(dāng)前一個(gè)很棘

34、手的問題。由于目前云存儲(chǔ)還處在初級(jí)階段，各個(gè)云供應(yīng)商都采用自己的加密或傳輸機(jī)制，因此沒有一個(gè)規(guī)范和約束的統(tǒng)一標(biāo)準(zhǔn)。很多云存儲(chǔ)供應(yīng)商無法直接將客戶數(shù)據(jù)遷移到另一家供應(yīng)商。當(dāng)服務(wù)出現(xiàn)故障時(shí)，數(shù)據(jù)將返還給客戶，然后客戶要再找另一家云供應(yīng)商，或者將數(shù)據(jù)存儲(chǔ)在本地服務(wù)器。所以希望各個(gè)云供應(yīng)商提供一組云數(shù)據(jù)管理的應(yīng)用編程接口API，讓不同云供應(yīng)商之間的數(shù)據(jù)遷移更加便捷。3.7云存儲(chǔ)中的數(shù)據(jù)容錯(cuò)技術(shù)數(shù)據(jù)容錯(cuò)技術(shù)是云存儲(chǔ)研究領(lǐng)域的一項(xiàng)關(guān)鍵技術(shù)，良好的容錯(cuò)技術(shù)不但能夠提高系統(tǒng)的可用性和可靠性，而且能夠提高數(shù)據(jù)的訪問效率。數(shù)據(jù)容錯(cuò)技術(shù)一般都是通過增加數(shù)據(jù)冗余來實(shí)現(xiàn)的，以保證即使在部分?jǐn)?shù)據(jù)失效以后也能夠通過訪問冗余

35、數(shù)據(jù)滿足需求。冗余提高了容錯(cuò)性，但是也增加了存儲(chǔ)資源的消耗。因此,在保證系統(tǒng)容錯(cuò)性的同時(shí)，要盡可能地提高存儲(chǔ)資源的利用率，以降低成本。目前，常用的容錯(cuò)技術(shù)主要有基于復(fù)制(replication)的容錯(cuò)技術(shù)和基于糾刪碼(erasurecode)的容錯(cuò)技術(shù)兩種?；趶?fù)制的容錯(cuò)技術(shù)簡單直觀，易于實(shí)現(xiàn)和部署，但是需要為每個(gè)數(shù)據(jù)對(duì)象創(chuàng)建若干同樣大小的副本存儲(chǔ)空間開銷很大；基于糾刪碼的容錯(cuò)技術(shù)則能夠把多個(gè)數(shù)據(jù)塊的信息融合到較少的冗余信息中，因此能夠有效地節(jié)省存儲(chǔ)空間，但是對(duì)數(shù)據(jù)的讀寫操作要分別進(jìn)行編碼和解碼操作，需要一些計(jì)算開銷。當(dāng)數(shù)據(jù)失效以后，基于復(fù)制的容錯(cuò)技術(shù)只需要從其他副本下載同樣大小的數(shù)據(jù)即可進(jìn)行

36、修復(fù)；基于糾刪碼的技術(shù)則需要下載的數(shù)據(jù)量一般遠(yuǎn)大于失效數(shù)據(jù)大小，修復(fù)成本較高?；趶?fù)制的容錯(cuò)技術(shù)基于復(fù)制的容錯(cuò)技術(shù)對(duì)一個(gè)數(shù)據(jù)對(duì)象創(chuàng)建多個(gè)相同的數(shù)據(jù)副本，并把得到的多個(gè)副本散布到不同的存儲(chǔ)節(jié)點(diǎn)上。當(dāng)若干數(shù)據(jù)對(duì)象失效以后，可以通過訪問其他有效的副本獲取數(shù)據(jù)基于復(fù)制的容錯(cuò)技術(shù)主要關(guān)注兩方面的研究：數(shù)據(jù)組織結(jié)構(gòu)：數(shù)據(jù)組織結(jié)構(gòu)主要研究大量數(shù)據(jù)對(duì)象及其副本的管理方式；數(shù)據(jù)復(fù)制策略：數(shù)據(jù)復(fù)制策略主要研究副本的創(chuàng)建時(shí)機(jī)、副本的數(shù)量、副本的放置等問題.基于糾刪碼的容錯(cuò)技術(shù)基于復(fù)制的容錯(cuò)技術(shù)存儲(chǔ)開銷巨大，要提供冗余度為k的容錯(cuò)能力，就必須另外創(chuàng)建k個(gè)副本，存儲(chǔ)空間的開銷也增大了k倍?；诰幋a的容錯(cuò)技術(shù)通過對(duì)多個(gè)數(shù)

37、據(jù)對(duì)象進(jìn)行編碼產(chǎn)生編碼數(shù)據(jù)對(duì)象，進(jìn)而降低完全復(fù)制帶來的巨大的存儲(chǔ)開銷。RAID技術(shù)中使用最廣泛的RAID5通過把數(shù)據(jù)條帶化(stripping)分布到不同的存儲(chǔ)設(shè)備上以提高效率，并采用一個(gè)校驗(yàn)數(shù)據(jù)塊使之能夠容忍一個(gè)數(shù)據(jù)塊的失效。但是隨著節(jié)點(diǎn)規(guī)模和數(shù)據(jù)規(guī)模的不斷擴(kuò)大，只容忍一個(gè)數(shù)據(jù)塊的失效已經(jīng)無法滿足應(yīng)用的存儲(chǔ)需求。糾刪碼(erasure-coding)技術(shù)是一類源于信道傳輸?shù)木幋a技術(shù)，因?yàn)槟軌蛉萑潭鄠€(gè)數(shù)據(jù)幀的丟失，被引入到分布存儲(chǔ)領(lǐng)域，使得基于糾刪碼的容錯(cuò)技術(shù)成為能夠容忍多個(gè)數(shù)據(jù)塊同時(shí)失效的、最常用的基于編碼的容錯(cuò)技術(shù)。4云存儲(chǔ)的優(yōu)勢(shì)云存儲(chǔ)的優(yōu)勢(shì)主要體現(xiàn)在以下幾個(gè)方面：高可擴(kuò)展性：云存儲(chǔ)架構(gòu)采用的是并行擴(kuò)容方式，當(dāng)容量不夠時(shí)，只需采購新的存儲(chǔ)服務(wù)器，容量即可增加，而且?guī)缀鯖]有上限控制。負(fù)載均衡：云存儲(chǔ)能自動(dòng)將工作任務(wù)均勻分配到不同的存儲(chǔ)服務(wù)器上，從而可避免因個(gè)別存儲(chǔ)服務(wù)器工作量過大而造成性能瓶