課程設(shè)計(jì)大報(bào)告

課程設(shè)計(jì)大報(bào)告云存儲(chǔ)關(guān)鍵技術(shù)班級(jí)：021151學(xué)號(hào)：02115036學(xué)生：王亦瑋指導(dǎo)老師：朱虎明時(shí)間：2014年9月云存儲(chǔ)關(guān)鍵技術(shù)綜述班級(jí)：021151學(xué)號(hào)：02115036學(xué)生：王亦瑋指導(dǎo)老師：朱虎明0前言隨著海量存儲(chǔ)系統(tǒng)的出現(xiàn)與并行文件系統(tǒng)、分布式文件系統(tǒng)的發(fā)展，云存儲(chǔ)系統(tǒng)建立在云計(jì)算技術(shù)基礎(chǔ)之上，以其成本低、可拓展的特點(diǎn)，將成為未來(lái)主要的存儲(chǔ)方式。本文是一篇關(guān)于云存儲(chǔ)關(guān)鍵技術(shù)的綜述。開始部分從4個(gè)角度定義了云存儲(chǔ)，接著有云存儲(chǔ)架構(gòu)的介紹，包括一些基本概念，然后就是本文的核心部分云存儲(chǔ)關(guān)鍵技術(shù)，分為7大技術(shù)進(jìn)行闡述。包括有虛擬化，分布式存儲(chǔ)，數(shù)據(jù)備份、縮減、遷移、壓縮及內(nèi)容分布網(wǎng)絡(luò)技術(shù)，最后還有提到云存儲(chǔ)的優(yōu)勢(shì)、安全問(wèn)題和云存儲(chǔ)的現(xiàn)狀及發(fā)展。1

云存儲(chǔ)的定義1.1

定義1

云存儲(chǔ)系統(tǒng)以傳統(tǒng)的分布式存儲(chǔ)技術(shù)為基礎(chǔ)，利用高吞吐率網(wǎng)絡(luò)技術(shù)為依托，一方面高效地整合管理網(wǎng)絡(luò)存儲(chǔ)資源，另一方面對(duì)外提供友好的接口，發(fā)布便捷的網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)服務(wù)。1.2

定義2

從狹義上來(lái)說(shuō)，云存儲(chǔ)是指通過(guò)虛擬化、分布式技術(shù)、集群應(yīng)用、網(wǎng)格技術(shù)、負(fù)載均衡等技術(shù)，將網(wǎng)絡(luò)中大量的存儲(chǔ)設(shè)備通過(guò)軟件集合起來(lái)高效協(xié)同工作，共同對(duì)外提供低成本、高擴(kuò)展性的數(shù)據(jù)存儲(chǔ)服務(wù)。

從廣義上來(lái)講，云存儲(chǔ)可以理解為按需提供的虛擬存儲(chǔ)資源，如同云計(jì)算的Paas、Iaas服務(wù)一樣，可稱為數(shù)據(jù)存儲(chǔ)即服務(wù)（Data

Storage

As

a

Service，DaaS），即基于指定的服務(wù)水平請(qǐng)求，通過(guò)網(wǎng)絡(luò)提供適當(dāng)?shù)奶摂M存儲(chǔ)和相關(guān)數(shù)據(jù)服務(wù)。1.3

定義3

云存儲(chǔ)不是指某一個(gè)具體的設(shè)備，而是指一個(gè)由許許多多個(gè)存儲(chǔ)設(shè)備和服務(wù)器所構(gòu)成的集合體。使用者使用云存儲(chǔ)，并不是使用某一個(gè)存儲(chǔ)設(shè)備，而是使用整個(gè)云存儲(chǔ)系統(tǒng)帶來(lái)的一種數(shù)據(jù)訪問(wèn)服務(wù)。云存儲(chǔ)的核心是應(yīng)用軟件與存儲(chǔ)設(shè)備相結(jié)合，通過(guò)應(yīng)用軟件來(lái)實(shí)現(xiàn)存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)的轉(zhuǎn)變。1.4

定義4

云存儲(chǔ)就是將儲(chǔ)存資源放到網(wǎng)絡(luò)上供人存取的一種新興方案。使用者可以在任何時(shí)間、任何地方，透過(guò)任何可連網(wǎng)的裝置方便地存取數(shù)據(jù)。綜合以上定義，云存儲(chǔ)系統(tǒng)應(yīng)具有以下通用特征：★高可擴(kuò)展性：云存儲(chǔ)系統(tǒng)可支持海量數(shù)據(jù)處理，資源可以實(shí)現(xiàn)按需擴(kuò)展；★低成本：云存儲(chǔ)系統(tǒng)應(yīng)具備高性價(jià)比的特點(diǎn)，低成本體現(xiàn)在兩方面，更低的建設(shè)成本和更低的運(yùn)維成本；★無(wú)接入限制：相比傳統(tǒng)存儲(chǔ)，云存儲(chǔ)強(qiáng)調(diào)對(duì)用戶存儲(chǔ)的靈活支持，服務(wù)域內(nèi)存儲(chǔ)資源可以隨處接入，隨時(shí)訪問(wèn)；★易管理：少量管理員可以處理上千節(jié)點(diǎn)和PB級(jí)存儲(chǔ)，更高效的支撐大量上層應(yīng)用對(duì)存儲(chǔ)資源的快速部署需求。2

云存儲(chǔ)架構(gòu)

云存儲(chǔ)是由一個(gè)網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問(wèn)接口、接入網(wǎng)和客戶端程序等組成的復(fù)雜系統(tǒng)。以存儲(chǔ)設(shè)備為核心，通過(guò)應(yīng)用軟件來(lái)對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)服務(wù)。云存儲(chǔ)的架構(gòu)如下圖所示：3.2

云存儲(chǔ)中的分布式存儲(chǔ)技術(shù)

分布式存儲(chǔ)是通過(guò)網(wǎng)絡(luò)使用服務(wù)商提供的各個(gè)存儲(chǔ)設(shè)備上的存儲(chǔ)空間，并將這些分散的存儲(chǔ)資源構(gòu)成一個(gè)虛擬的存儲(chǔ)設(shè)備，數(shù)據(jù)分散的存儲(chǔ)在各個(gè)存儲(chǔ)設(shè)備上。目前比較流行的分布式存儲(chǔ)技術(shù)為：分布式塊存儲(chǔ)、分布式文件系統(tǒng)存儲(chǔ)、分布式對(duì)象存儲(chǔ)和分布式表存儲(chǔ)。3.2.1

分布式塊存儲(chǔ)

塊存儲(chǔ)就是服務(wù)器直接通過(guò)讀寫存儲(chǔ)空間中的一個(gè)或一段地址來(lái)存取數(shù)據(jù)。由于采用直接讀寫磁盤空間來(lái)訪問(wèn)數(shù)據(jù)，相對(duì)于其他數(shù)據(jù)讀取方式，塊存儲(chǔ)的讀取效率最高，一些大型數(shù)據(jù)庫(kù)應(yīng)用只能運(yùn)行在塊存儲(chǔ)設(shè)備上。分布式塊存儲(chǔ)系統(tǒng)目前以標(biāo)準(zhǔn)的Intel/Linux

硬件組件作為基本存儲(chǔ)單元，組件之間通過(guò)千兆以太網(wǎng)采用任意點(diǎn)對(duì)點(diǎn)拓?fù)浼夹g(shù)相互連接，共同工作，構(gòu)成大型網(wǎng)格存儲(chǔ)，網(wǎng)格內(nèi)采用分布式算法管理存儲(chǔ)資源。此類技術(shù)比較典型的代表是IBM

XIV

存儲(chǔ)系統(tǒng)，其核心數(shù)據(jù)組件為基于Intel

內(nèi)核的磁盤系統(tǒng)，卷數(shù)據(jù)分布到所有磁盤上，從而具有良好的并行處理能力；放棄RAID技術(shù)，采用冗余數(shù)據(jù)塊方式進(jìn)行數(shù)據(jù)保護(hù)，統(tǒng)一采用SATA盤，從而降低了存儲(chǔ)成本。3.2.2

分布式文件系統(tǒng)存儲(chǔ)

文件存儲(chǔ)系統(tǒng)可提供通用的文件訪問(wèn)接口，如POSIX、NFS、CIFS、FTP等，實(shí)現(xiàn)文件與目錄操作、文件訪問(wèn)、文件訪問(wèn)控制等功能。目前的分布式文件系統(tǒng)存儲(chǔ)的實(shí)現(xiàn)有軟硬件一體和軟硬件分離兩種方式。主要通過(guò)NAS虛擬化，或者基于X86硬件集群和分布式文件系統(tǒng)集成在一起，以實(shí)現(xiàn)海量非結(jié)構(gòu)化數(shù)據(jù)處理能力。

軟硬件一體方式的實(shí)現(xiàn)基于X86硬件，利用專有的、定制設(shè)計(jì)的硬件組件，與分布式文件系統(tǒng)集成在一起，以實(shí)現(xiàn)目標(biāo)設(shè)計(jì)的性能和可靠性目標(biāo)；產(chǎn)品代表Isilon，IBM

SONAS

GPFS。

軟硬件分離方式的實(shí)現(xiàn)基于開源分布式文件系統(tǒng)對(duì)外提供彈性存儲(chǔ)資源，軟硬件分離方式，可采用標(biāo)準(zhǔn)PC服務(wù)器硬件；典型開源分布式文件系統(tǒng)有GFS、HDFS。3.2.3

分布式對(duì)象存儲(chǔ)

對(duì)象存儲(chǔ)是為海量數(shù)據(jù)提供Key-Value這種通過(guò)鍵值查找數(shù)據(jù)文件的存儲(chǔ)模式；對(duì)象存儲(chǔ)引入對(duì)象元數(shù)據(jù)來(lái)描述對(duì)象特征，對(duì)象元數(shù)據(jù)具有豐富的語(yǔ)義；引入容器概念作為存儲(chǔ)對(duì)象的集合。對(duì)象存儲(chǔ)系統(tǒng)底層基于分布式存儲(chǔ)系統(tǒng)來(lái)實(shí)現(xiàn)數(shù)據(jù)的存取，其存儲(chǔ)方式對(duì)外部應(yīng)用透明。這樣的存儲(chǔ)系統(tǒng)架構(gòu)具有高可擴(kuò)展性，支持?jǐn)?shù)據(jù)的并發(fā)讀寫，一般不支持?jǐn)?shù)據(jù)的隨機(jī)寫操作。最典型的應(yīng)用實(shí)例就是亞馬遜的S3（Amazon

Simple

Storage

Service）。對(duì)象存儲(chǔ)技術(shù)相對(duì)成熟，對(duì)底層硬件要求不高，存儲(chǔ)系統(tǒng)可靠性和容錯(cuò)通過(guò)軟件實(shí)現(xiàn)，同時(shí)其訪問(wèn)接口簡(jiǎn)單，適合處理海量、小數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)，如：郵箱、網(wǎng)盤、相冊(cè)、音頻視頻存儲(chǔ)等3.2.4

分布式表存儲(chǔ)

表結(jié)構(gòu)存儲(chǔ)是一種結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，如傳統(tǒng)數(shù)據(jù)庫(kù)相比，它提供的表空間訪問(wèn)功能受限，但更強(qiáng)調(diào)系統(tǒng)的可擴(kuò)展性。提供表存儲(chǔ)的云存儲(chǔ)系統(tǒng)的特征就是同時(shí)提供高并發(fā)的數(shù)據(jù)訪問(wèn)性能和可伸縮的存儲(chǔ)和計(jì)算架構(gòu)。

提供表存儲(chǔ)的云存儲(chǔ)系統(tǒng)有兩類接口訪問(wèn)方式。一類是標(biāo)準(zhǔn)的xDBC、SQL數(shù)據(jù)庫(kù)接口，一類是Map-reduce的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用處理接口。前者目前以開源技術(shù)為主，尚未有成熟的商業(yè)軟件，后者已有商業(yè)軟件和成功的商業(yè)應(yīng)用案例。3.2.5

分布式存儲(chǔ)總結(jié)

如今分布式存儲(chǔ)系統(tǒng)已經(jīng)得到了快速的發(fā)展，其技術(shù)已經(jīng)較為成熟。先進(jìn)的分布式存儲(chǔ)系統(tǒng)必須具備下面幾個(gè)特性：高性能、高可靠性、高可擴(kuò)展性、透明性以及自治性?！锔咝阅埽簩?duì)于分布式系統(tǒng)中的每一個(gè)用戶都要盡量減小網(wǎng)絡(luò)的延遲和因網(wǎng)絡(luò)擁塞、網(wǎng)絡(luò)斷開、節(jié)點(diǎn)

退出等問(wèn)題造成的影響；★高可靠性：高可靠性是大多數(shù)系統(tǒng)設(shè)計(jì)時(shí)重點(diǎn)考慮的問(wèn)題。分布式環(huán)境通常都有高可靠性需求，用戶將文件保存到分布式存儲(chǔ)系統(tǒng)的基本要求是數(shù)據(jù)可靠；★高可擴(kuò)展性：分布式存儲(chǔ)系統(tǒng)需要能夠適應(yīng)節(jié)點(diǎn)規(guī)模和數(shù)據(jù)規(guī)模的擴(kuò)大；★透明性：需要讓用戶在訪問(wèn)網(wǎng)絡(luò)中其他節(jié)點(diǎn)中的數(shù)據(jù)時(shí)能感到像是訪問(wèn)自己本機(jī)的數(shù)據(jù)一樣；★自治性：分布式存儲(chǔ)系統(tǒng)需要擁有一定的自我維護(hù)和恢復(fù)功能。3.3

云存儲(chǔ)中的數(shù)據(jù)備份3.3.1

副本數(shù)據(jù)布局

一種被廣泛采用的副本布局方式是通過(guò)集中式的存儲(chǔ)目錄來(lái)定位數(shù)據(jù)對(duì)象的存儲(chǔ)位置。這種方法可以利用存儲(chǔ)目錄中存放的存儲(chǔ)節(jié)點(diǎn)信息，將數(shù)據(jù)對(duì)象的多個(gè)副本放置在不同機(jī)架上，這樣可大大提高系統(tǒng)的數(shù)據(jù)可靠性。谷歌文件系統(tǒng)(Google

File

System，GFS)、Hadoop

分布式文件系統(tǒng)(

Hadoop

Distributed

File

System，HDFS)等著名的分布式文件系統(tǒng)都采用了這種數(shù)據(jù)布局方式，然而，基于集中式存儲(chǔ)目錄的數(shù)據(jù)放置方式存在以下兩個(gè)缺陷:

1.隨著存儲(chǔ)目錄的增長(zhǎng)，查找數(shù)據(jù)對(duì)象所需的開銷也會(huì)越來(lái)越大;2.為提高數(shù)據(jù)對(duì)象的定位速度，一般情況下都會(huì)將存儲(chǔ)目錄存放在服務(wù)器內(nèi)存中，對(duì)于PB

級(jí)的云存儲(chǔ)系統(tǒng)來(lái)說(shuō)，文件的數(shù)量可能達(dá)到上億級(jí)，這導(dǎo)致存儲(chǔ)目錄將會(huì)占用上百GB的內(nèi)存。因此，當(dāng)數(shù)據(jù)對(duì)象數(shù)量達(dá)到上億級(jí)別時(shí)，基于集中式存儲(chǔ)目錄的數(shù)據(jù)放置方法在存儲(chǔ)開銷和數(shù)據(jù)定位的時(shí)間開銷上都是難以接受的，此外，還會(huì)大大限制系統(tǒng)的擴(kuò)展性。

另一種副本布局方法是基于哈希算法的副本布局方法，它完全摒棄了記錄數(shù)據(jù)對(duì)象映射信息的做法?；诠Ｋ惴ǖ母北静季址椒ㄐ枰獫M足以下要求:

1.均衡性：根據(jù)節(jié)點(diǎn)權(quán)重為存儲(chǔ)節(jié)點(diǎn)分配數(shù)據(jù)對(duì)象。2.動(dòng)態(tài)自適應(yīng)性：當(dāng)系統(tǒng)中的節(jié)點(diǎn)數(shù)量發(fā)生變化時(shí)，需遷移的數(shù)據(jù)量

應(yīng)該盡量少。3.低性能開銷。4.高效性：確定副本位置所需的時(shí)間開銷盡可能小，理想情況下為O(

1)

。3.3.2傳統(tǒng)的備份策略

典型的用戶備份流程是這樣的：每天都要在凌晨進(jìn)行一次增量備份，然后每周末凌晨進(jìn)行全備份。采用這種方法，一旦出現(xiàn)了數(shù)據(jù)災(zāi)難，用戶可以恢復(fù)到某天（注意是以天為單位的）的數(shù)據(jù)，因此在最壞的情況下，可能丟失整整一天的數(shù)據(jù)。那么，能不能縮小備份時(shí)間單位呢？比如，可不可以每半天進(jìn)行一次增量備份呢？答案是非常困難。因?yàn)槊看芜M(jìn)行備份的數(shù)據(jù)量都很大的情況下，備份時(shí)間窗口很大，需要繁忙的業(yè)務(wù)系統(tǒng)停機(jī)很長(zhǎng)時(shí)間才能做到。因此，為了確保數(shù)據(jù)的更高安全性，用戶必須對(duì)在線系統(tǒng)實(shí)行在線實(shí)時(shí)復(fù)制，盡可能多地采用快照等磁盤管理技術(shù)維持?jǐn)?shù)據(jù)的高可用性，這樣勢(shì)必需要增加很大一部分投資。3.3.3

連續(xù)數(shù)據(jù)保護(hù)

連續(xù)數(shù)據(jù)保護(hù)（CDP）是一種連續(xù)捕獲和保存數(shù)據(jù)變化，并將變化后的數(shù)據(jù)獨(dú)立于初始數(shù)據(jù)進(jìn)行保存的方法，而且該方法可以實(shí)現(xiàn)過(guò)去任意一個(gè)時(shí)間點(diǎn)的數(shù)據(jù)恢復(fù)。CDP系統(tǒng)可能基于塊、文件或應(yīng)用，并且為數(shù)量無(wú)限的可變恢復(fù)點(diǎn)提供精細(xì)的可恢復(fù)對(duì)象。因此，所有的CDP解決方案都應(yīng)當(dāng)具備以下幾個(gè)基本的特性：數(shù)據(jù)的改變受到連續(xù)的捕獲和跟蹤；所有的數(shù)據(jù)改變都存儲(chǔ)在一個(gè)與主存儲(chǔ)地點(diǎn)不同的獨(dú)立地點(diǎn)中；恢復(fù)點(diǎn)目標(biāo)是任意的，而且不需要在實(shí)際恢復(fù)之前事先定義。所以，CDP可以提供更快的數(shù)據(jù)檢索、更強(qiáng)的數(shù)據(jù)保護(hù)和更高的業(yè)務(wù)連續(xù)性能力，而與傳統(tǒng)的備份解決方案相比，CDP的總體成本和復(fù)雜性都要低。盡管一些廠商推出了CDP產(chǎn)品，然而從它們的功能上分析，還做不到真正連續(xù)的數(shù)據(jù)保護(hù)，比如有的產(chǎn)品備份時(shí)間間隔為一小時(shí)，那么在這一小時(shí)內(nèi)仍然存在數(shù)據(jù)丟失的風(fēng)險(xiǎn)，因此，嚴(yán)格地講，它們還不是完全意義上的CDP產(chǎn)品，目前我們只能稱之為類似CDP產(chǎn)品。3.4

云存儲(chǔ)中的數(shù)據(jù)縮減技術(shù)

為應(yīng)對(duì)數(shù)據(jù)存儲(chǔ)的急劇膨脹，企業(yè)需要不斷購(gòu)置大量的存儲(chǔ)設(shè)備來(lái)滿足不斷增長(zhǎng)的存儲(chǔ)需求。權(quán)威調(diào)查機(jī)構(gòu)的研究發(fā)現(xiàn)，企業(yè)購(gòu)買了大量的存儲(chǔ)設(shè)備，但是利用率往往不足５０％，存儲(chǔ)投資回報(bào)率水平較低。數(shù)據(jù)量的急劇增長(zhǎng)為存儲(chǔ)技術(shù)提出了新的問(wèn)題和要求，怎樣低成本高效快速地解決無(wú)限增長(zhǎng)的信息的存儲(chǔ)和計(jì)算問(wèn)題擺在科學(xué)家的面前。通過(guò)云存儲(chǔ)技術(shù)不僅解決了存儲(chǔ)中的高安全性、可靠性、可擴(kuò)展、易管理等存儲(chǔ)的基本要求，同時(shí)也利用云存儲(chǔ)中的數(shù)據(jù)縮減技術(shù)，滿足海量信息爆炸式增長(zhǎng)趨勢(shì)，一定程度上節(jié)約企業(yè)存儲(chǔ)成本，提高效率。3.4.1

自動(dòng)精簡(jiǎn)配置

自動(dòng)精簡(jiǎn)配置是一種存儲(chǔ)管理的特性，核心原理是“欺騙”操作系統(tǒng)，讓操作系統(tǒng)認(rèn)為存儲(chǔ)設(shè)備中有很大的存儲(chǔ)空間，而實(shí)際的物理存儲(chǔ)空間則沒(méi)有那么大。傳統(tǒng)配置技術(shù)為了避免重新配置可能造成的業(yè)務(wù)中斷，常常會(huì)過(guò)度配置容量。在這種情況下，一旦存儲(chǔ)分配給某個(gè)應(yīng)用，就不可能重新分配給另一個(gè)應(yīng)用，由此就造成了已分配的容量沒(méi)有得到充分利用，導(dǎo)致了資源的極大浪費(fèi)。而精簡(jiǎn)配置技術(shù)帶給用戶的益處是大大提高了存儲(chǔ)資源的利用率，提高了配置管理效率，實(shí)現(xiàn)高自動(dòng)化的數(shù)據(jù)存儲(chǔ)。

自動(dòng)精簡(jiǎn)配置技術(shù)是利用虛擬化方法減少物理存儲(chǔ)空間的分配，最大限度提升存儲(chǔ)空間利用率。這種技術(shù)節(jié)約的存儲(chǔ)成本可能會(huì)非常巨大，并且使存儲(chǔ)的利用率超９０％。通過(guò)“欺騙”操作系統(tǒng)，造成的好像存儲(chǔ)空間有足夠大，而實(shí)際物理存儲(chǔ)空間并沒(méi)有那么大。自動(dòng)精簡(jiǎn)配置技術(shù)的應(yīng)用會(huì)減少已分配但未使用的存儲(chǔ)容量的浪費(fèi)，在分配存儲(chǔ)空間時(shí)，需要多少存儲(chǔ)空間系統(tǒng)則按需分配。自動(dòng)精簡(jiǎn)配置技術(shù)優(yōu)化了存儲(chǔ)空間的利用率，擴(kuò)展了存儲(chǔ)管理功能，雖然實(shí)際分配的物理容量小，但可以為操作系統(tǒng)提供超大容量的虛擬存儲(chǔ)空間。隨著數(shù)據(jù)存儲(chǔ)的信息量越來(lái)越多，實(shí)際存儲(chǔ)空間也可以及時(shí)擴(kuò)展，無(wú)需用戶手動(dòng)處理。利用自動(dòng)精簡(jiǎn)配置技術(shù)，用戶不需要了解存儲(chǔ)空間分配的細(xì)節(jié)，這種技術(shù)就能幫助用戶在不降低性能的情況下，大幅度提高存儲(chǔ)空間利用效率；需求變化時(shí)，無(wú)需更改存儲(chǔ)容量設(shè)置通過(guò)虛擬化技術(shù)集成存儲(chǔ)，減少超量配置，降低總功耗。自動(dòng)精簡(jiǎn)配置這項(xiàng)技術(shù)最初由3Par公司開發(fā)，目前支持自動(dòng)精簡(jiǎn)配置的廠商正在快速增加。這項(xiàng)技術(shù)已經(jīng)成為選擇存儲(chǔ)系統(tǒng)的關(guān)鍵標(biāo)準(zhǔn)之一。但是并不是所有的自動(dòng)精簡(jiǎn)配置的實(shí)施都是相同的。隨著自動(dòng)精簡(jiǎn)配置的存儲(chǔ)越來(lái)越多，物理存儲(chǔ)的耗盡成為自動(dòng)精簡(jiǎn)配置環(huán)境中經(jīng)常出現(xiàn)的風(fēng)險(xiǎn)。因此，告警、通知和存儲(chǔ)分析成為必要的功能，并且對(duì)比傳統(tǒng)環(huán)境，其在自動(dòng)精簡(jiǎn)配置的環(huán)境中扮演了更主要的角色。3.4.2

自動(dòng)存儲(chǔ)分層

自動(dòng)存儲(chǔ)分層（AST）技術(shù)主要用來(lái)幫助數(shù)據(jù)中心最大程度地降低成本和復(fù)雜性。在過(guò)去，進(jìn)行數(shù)據(jù)移動(dòng)主要依靠手工操作，由管理員來(lái)判斷這個(gè)卷的數(shù)據(jù)訪問(wèn)壓力或大或小，遷移的時(shí)候也只能一個(gè)整卷一起遷移。自動(dòng)存儲(chǔ)分層技術(shù)的特點(diǎn)則是其分層的自動(dòng)化和智能化。傳統(tǒng)配置方式與自動(dòng)存儲(chǔ)分層方式比較是一個(gè)整卷一起遷移。新技術(shù)的特點(diǎn)則是其分層的自動(dòng)化和智能化。自動(dòng)存儲(chǔ)分層是存儲(chǔ)上減少數(shù)據(jù)的另外一種機(jī)制。一個(gè)磁盤陣列能夠把活動(dòng)數(shù)據(jù)保留在快速、昂貴的存儲(chǔ)上，把不活躍的數(shù)據(jù)遷移到廉價(jià)的低速層上，以限制存儲(chǔ)的花費(fèi)總量。自動(dòng)存儲(chǔ)分層的重要性隨著固態(tài)存儲(chǔ)在當(dāng)前磁盤陣列中的采用而提升，并隨著云存儲(chǔ)的來(lái)臨而補(bǔ)充內(nèi)部部署的存儲(chǔ)。自動(dòng)存儲(chǔ)分層使用戶數(shù)據(jù)保留在合適的存儲(chǔ)層級(jí)，因此減少了存儲(chǔ)需求的總量并實(shí)質(zhì)上減少了成本，提升了性能。數(shù)據(jù)從一層遷移到另一層的粒度越精細(xì)，可以使用的昂貴存儲(chǔ)的效率就越高。子卷級(jí)的分層意味著數(shù)據(jù)是按照塊來(lái)分配而不是整個(gè)卷，而字節(jié)級(jí)的分層比文件級(jí)的分層更好。如何控制數(shù)據(jù)在層間移動(dòng)的內(nèi)部工作規(guī)則，決定需要把自動(dòng)分層放在正確的位置的努力程度。一些系統(tǒng)，是根據(jù)預(yù)先定義的什么時(shí)候移動(dòng)數(shù)據(jù)和移動(dòng)到哪一層。相反的，Net

App公司和Oracle公司（在Sun

ZFS

Storage

7000系列中）倡導(dǎo)存儲(chǔ)系統(tǒng)應(yīng)該足夠智能，能重復(fù)數(shù)據(jù)刪除，能自動(dòng)的保留數(shù)據(jù)在其合適的層，而不需要用戶定義的策略。3.4.3

重復(fù)數(shù)據(jù)刪除

物理存儲(chǔ)設(shè)備在使用一段時(shí)間后必然會(huì)出現(xiàn)大量重復(fù)的數(shù)據(jù)?！爸貜?fù)刪除”技術(shù)（De-duplication）作為一種數(shù)據(jù)縮減技術(shù)可對(duì)存儲(chǔ)容量進(jìn)行優(yōu)化。它通過(guò)刪除數(shù)據(jù)集中重復(fù)的數(shù)據(jù)，只保留其中一份，從而消除冗余數(shù)據(jù)。使用De-dupe技術(shù)可以將數(shù)據(jù)縮減到原來(lái)的1/20-1/50。由于大幅度減少了對(duì)物理存儲(chǔ)空間的信息量，進(jìn)而減少傳輸過(guò)程中的網(wǎng)絡(luò)帶寬、節(jié)約設(shè)備成本、降低能耗。重復(fù)數(shù)據(jù)刪除技術(shù)原理De-dupe按照消重的粒度可以分為文件級(jí)和數(shù)據(jù)塊級(jí)?？梢酝瑫r(shí)使用２種以上的hash算法計(jì)算數(shù)據(jù)指紋，以獲得非常小的數(shù)據(jù)碰撞發(fā)生概率。具有相同指紋的數(shù)據(jù)塊即可認(rèn)為是相同的數(shù)據(jù)塊，存儲(chǔ)系統(tǒng)中僅需要保留一份。這樣，一個(gè)物理文件在存儲(chǔ)系統(tǒng)中就只對(duì)應(yīng)一個(gè)邏輯表示。Net

App公司為其所有的系統(tǒng)提供重復(fù)數(shù)據(jù)刪除選項(xiàng)，并且可以針對(duì)每個(gè)卷進(jìn)行激活。Net

App公司的重復(fù)數(shù)據(jù)刪除并不是實(shí)時(shí)執(zhí)行的。相反，它是使用預(yù)先設(shè)置的進(jìn)程執(zhí)行的，一般是在閑暇時(shí)間執(zhí)行，通過(guò)掃描把重復(fù)的4KB數(shù)據(jù)塊替換為相應(yīng)的指針。與Net

App公司相似，Oracle公司在其Sun

ZFS

Storage7000系列系統(tǒng)中也具備塊級(jí)別重復(fù)數(shù)據(jù)刪除的功能。與Net

App公司不同的是，去重是在其寫入磁盤時(shí)實(shí)時(shí)執(zhí)行的。戴爾公司獲得了內(nèi)容感知的去重和壓縮技術(shù)，并企圖把這種技術(shù)整合到其所有的存儲(chǔ)系統(tǒng)中。3.4.4

數(shù)據(jù)壓縮

數(shù)據(jù)壓縮技術(shù)是提高數(shù)據(jù)存儲(chǔ)效率最古老最有效的方法之一。為了節(jié)省信息的存儲(chǔ)空間和提高信息的傳輸效率，必須對(duì)大量的實(shí)際數(shù)據(jù)進(jìn)行有效的壓縮。數(shù)據(jù)壓縮作為對(duì)解決海量信息存儲(chǔ)和傳輸?shù)闹С旨夹g(shù)受到人們極大的重視。數(shù)據(jù)壓縮就是將收到的數(shù)據(jù)通過(guò)存儲(chǔ)算法存儲(chǔ)到更小的空間中去。隨著目前CPU處理能力的大幅提高，應(yīng)用實(shí)時(shí)壓縮技術(shù)來(lái)節(jié)省數(shù)據(jù)占用空間成為現(xiàn)實(shí)。這項(xiàng)新技術(shù)就是最新研發(fā)出的在線壓縮（RACE），它與傳統(tǒng)壓縮技術(shù)不同。對(duì)RACE技術(shù)，當(dāng)數(shù)據(jù)在首次寫入時(shí)即被壓縮，以幫助系統(tǒng)控制大量數(shù)據(jù)在主存中雜亂無(wú)章地存儲(chǔ)的情形，特別是多任務(wù)工作時(shí)更加明顯。該技術(shù)還可以在數(shù)據(jù)寫入到存儲(chǔ)系統(tǒng)前壓縮數(shù)據(jù)，進(jìn)一步提高了存儲(chǔ)系統(tǒng)中的磁盤和緩存的性能和效率。壓縮算法分為無(wú)損壓縮和有損壓縮。相對(duì)于有損壓縮來(lái)說(shuō)，無(wú)損壓縮的占用空間大，壓縮比不高，但是它有效地保存了原始信息，沒(méi)有任何信號(hào)丟失。但是隨著限制無(wú)損格式的種種因素逐漸被消除，使得無(wú)損壓縮格式具有廣闊的應(yīng)用前景。數(shù)據(jù)壓縮中使用的LZS算法基于LZ77實(shí)現(xiàn)，主要由２部分構(gòu)成，滑窗（Sliding

Window）和自適應(yīng)編碼（Adaptive

Coding）。壓縮處理時(shí)，在滑窗中查找與待處理數(shù)據(jù)相同的塊，并用該塊在滑窗中的偏移值及塊長(zhǎng)度替代待處理數(shù)據(jù)，從而實(shí)現(xiàn)壓縮編碼。如果滑窗中沒(méi)有與待處理數(shù)據(jù)塊相同的字段，或偏移值及長(zhǎng)度數(shù)據(jù)超過(guò)被替代數(shù)據(jù)塊的長(zhǎng)度，則不進(jìn)行替代處理。LZS算法的實(shí)現(xiàn)非常簡(jiǎn)潔，處理比較簡(jiǎn)單，能夠適應(yīng)各種高速應(yīng)用。數(shù)據(jù)壓縮的應(yīng)用可以顯著降低待處理和存儲(chǔ)的數(shù)據(jù)量，一般情況下可實(shí)現(xiàn)2:1～3:1的壓縮比。壓縮和去重是互補(bǔ)性的技術(shù)，提供去重的廠商通常也提供壓縮。而對(duì)于虛擬服務(wù)器卷、電子郵件附件、文件和備份環(huán)境來(lái)說(shuō)，去重通常更加有效，壓縮對(duì)于隨機(jī)數(shù)據(jù)效果更好，像數(shù)據(jù)庫(kù)。換句話說(shuō)，在數(shù)據(jù)重復(fù)性比較高的地方，去重比壓縮有效。3.5

云存儲(chǔ)中的內(nèi)容分發(fā)網(wǎng)絡(luò)技術(shù)

云存儲(chǔ)是構(gòu)建于互聯(lián)網(wǎng)之上的，何如降低網(wǎng)絡(luò)延遲、提高數(shù)據(jù)傳輸率是關(guān)系到云存儲(chǔ)性能的關(guān)鍵問(wèn)題。盡管有一些通過(guò)本地高速緩存、廣域網(wǎng)優(yōu)化等技術(shù)來(lái)解決問(wèn)題的研究工作，但離實(shí)際的應(yīng)用需求還有一定的距離。內(nèi)容分發(fā)網(wǎng)絡(luò)是一種新型網(wǎng)絡(luò)構(gòu)建模式，主要是針對(duì)現(xiàn)有的Internet

進(jìn)行改造?；舅枷胧潜M量避開互聯(lián)網(wǎng)上由于網(wǎng)絡(luò)帶寬小、網(wǎng)點(diǎn)分布不均、用戶訪問(wèn)量大等影響數(shù)據(jù)傳輸速度和穩(wěn)定性的弊端，使數(shù)據(jù)傳輸?shù)母?、更穩(wěn)定。通過(guò)在網(wǎng)絡(luò)各處放置節(jié)點(diǎn)服務(wù)器，在現(xiàn)有互聯(lián)網(wǎng)的基礎(chǔ)之上構(gòu)成一層智能虛擬網(wǎng)絡(luò)，實(shí)時(shí)地根據(jù)網(wǎng)絡(luò)流量、各節(jié)點(diǎn)的連接和負(fù)載情況、響應(yīng)時(shí)間、到用戶的距離等信息將用戶的請(qǐng)求重新導(dǎo)向離用戶最近的服務(wù)節(jié)點(diǎn)上。目的是使用戶可就近取得所需內(nèi)容，解決Internet

網(wǎng)絡(luò)擁擠的狀況，提高用戶訪問(wèn)網(wǎng)站的速度。3.6

云存儲(chǔ)中的數(shù)據(jù)遷移

當(dāng)我們從一個(gè)物理環(huán)境和單個(gè)陣列過(guò)渡到完全虛擬化的、高度動(dòng)態(tài)的存儲(chǔ)環(huán)境時(shí)，數(shù)據(jù)的遷移就成了云存儲(chǔ)方案中最為基礎(chǔ)、關(guān)鍵的步驟，它在整個(gè)方案中占有了舉足輕重的作用。把企業(yè)的數(shù)據(jù)轉(zhuǎn)移到云中，針對(duì)不同的實(shí)際情況這里有兩種方法：1.當(dāng)企業(yè)的數(shù)據(jù)吞吐量較大但是數(shù)據(jù)量不是特別多，對(duì)傳輸延遲也沒(méi)過(guò)多要求時(shí)，云供應(yīng)商可以提供從企業(yè)到供應(yīng)商某個(gè)存儲(chǔ)節(jié)點(diǎn)之間的私人鏈接，方便企業(yè)遷移數(shù)據(jù)。企業(yè)可以根據(jù)自己的時(shí)間，在不影響公司正常運(yùn)行的情況下做數(shù)據(jù)的轉(zhuǎn)移安排；2.當(dāng)企業(yè)的數(shù)據(jù)可以提供拷貝，那么我們可以采用sneaker-net

的方式，即人工網(wǎng)絡(luò)模式，將數(shù)據(jù)通過(guò)磁盤、移動(dòng)存儲(chǔ)設(shè)備等從企業(yè)服務(wù)器拷入到云數(shù)據(jù)中心或者從云數(shù)據(jù)中心拷貝出來(lái)。

如果企業(yè)對(duì)當(dāng)前云供應(yīng)商提供的服務(wù)不滿意需要更換服務(wù)商，

如何在兩家服務(wù)商的云之間轉(zhuǎn)移數(shù)據(jù)？

這應(yīng)該是當(dāng)前一個(gè)很棘手的問(wèn)題。由于目前云存儲(chǔ)還處在初級(jí)階段，各個(gè)云供應(yīng)商都采用自己的加密或傳輸機(jī)制，因此沒(méi)有一個(gè)規(guī)范和約束的統(tǒng)一標(biāo)準(zhǔn)。很多云存儲(chǔ)供應(yīng)商無(wú)法直接將客戶數(shù)據(jù)遷移到另一家供應(yīng)商。當(dāng)服務(wù)出現(xiàn)故障時(shí)，數(shù)據(jù)將返還給客戶，然后客戶要再找另一家云供應(yīng)商，或者將數(shù)據(jù)存儲(chǔ)在本地服務(wù)器。所以希望各個(gè)云供應(yīng)商提供一組云數(shù)據(jù)管理的應(yīng)用編程接口API，讓不同云供應(yīng)商之間的數(shù)據(jù)遷移更加便捷。3.7

云存儲(chǔ)中的數(shù)據(jù)容錯(cuò)技術(shù)

數(shù)據(jù)容錯(cuò)技術(shù)是云存儲(chǔ)研究領(lǐng)域的一項(xiàng)關(guān)鍵技術(shù),良好的容錯(cuò)技術(shù)不但能夠提高系統(tǒng)的可用性和可靠性,而且能夠提高數(shù)據(jù)的訪問(wèn)效率。數(shù)據(jù)容錯(cuò)技術(shù)一般都是通過(guò)增加數(shù)據(jù)冗余來(lái)實(shí)現(xiàn)的,以保證即使在部分?jǐn)?shù)據(jù)失效以后也能夠通過(guò)訪問(wèn)冗余數(shù)據(jù)滿足需求。冗余提高了容錯(cuò)性，但是也增加了存儲(chǔ)資源的消耗。因此,在保證系統(tǒng)容錯(cuò)性的同時(shí)，要盡可能地提高存儲(chǔ)資源的利用率，以降低成本。目前,常用的容錯(cuò)技術(shù)主要有基于復(fù)制(replication)的容錯(cuò)技術(shù)和基于糾刪碼(erasure

code)的容錯(cuò)技術(shù)兩種?；趶?fù)制的容錯(cuò)技術(shù)簡(jiǎn)單直觀,易于實(shí)現(xiàn)和部署,但是需要為每個(gè)數(shù)據(jù)對(duì)象創(chuàng)建若干同樣大小的副本存儲(chǔ)空間開銷很大；基于糾刪碼的容錯(cuò)技術(shù)則能夠把多個(gè)數(shù)據(jù)塊的信息融合到較少的冗余信息中，因此能夠有效地節(jié)省存儲(chǔ)空間,但是對(duì)數(shù)據(jù)的讀寫操作要分別進(jìn)行編碼和解碼操作,需要一些計(jì)算開銷。當(dāng)數(shù)據(jù)失效以后,基于復(fù)制的容錯(cuò)技術(shù)只需要從其他副本下載同樣大小的數(shù)據(jù)即可進(jìn)行修復(fù)；基于糾刪碼的技術(shù)則需要下載的數(shù)據(jù)量一般遠(yuǎn)大于失效數(shù)據(jù)大小,修復(fù)成本較高。3.7.1

基于復(fù)制的容錯(cuò)技術(shù)

基于復(fù)制的容錯(cuò)技術(shù)對(duì)一個(gè)數(shù)據(jù)對(duì)象創(chuàng)建多個(gè)相同的數(shù)據(jù)副本,并把得到的多個(gè)副本散布到不同的存儲(chǔ)節(jié)點(diǎn)上。當(dāng)若干數(shù)據(jù)對(duì)象失效以后,可以通過(guò)訪問(wèn)其他有效的副本獲取數(shù)據(jù)?；趶?fù)制的容錯(cuò)技術(shù)主要關(guān)注兩方面的研究:(1)

數(shù)據(jù)組織結(jié)構(gòu)：數(shù)據(jù)組織結(jié)構(gòu)主要研究大量數(shù)據(jù)對(duì)象及其副本的

管理方式;(2)

數(shù)據(jù)復(fù)制策略：數(shù)據(jù)復(fù)制策略主要研究副本的創(chuàng)建時(shí)機(jī)、副本的

數(shù)量、副本的放置等問(wèn)題.3.7.2

基于糾刪碼的容錯(cuò)技術(shù)

基于復(fù)制的容錯(cuò)技術(shù)存儲(chǔ)開銷巨大，要提供冗余度為k

的容錯(cuò)能力,就必須另外創(chuàng)建k個(gè)副本，存儲(chǔ)空間的開銷也增大了k

倍。基于編碼的容錯(cuò)技術(shù)通過(guò)對(duì)多個(gè)數(shù)據(jù)對(duì)象進(jìn)行編碼產(chǎn)生編碼數(shù)據(jù)對(duì)象，進(jìn)而降低完全復(fù)制帶來(lái)的巨大的存儲(chǔ)開銷。RAID技術(shù)中使用最廣泛的RAID5

通過(guò)把數(shù)據(jù)條帶化(stripping)分布到不同的存儲(chǔ)設(shè)備上以提高效率，并采用一個(gè)校驗(yàn)數(shù)據(jù)塊使之能夠容忍一個(gè)數(shù)據(jù)塊的失效。但是隨著節(jié)點(diǎn)規(guī)模和數(shù)據(jù)規(guī)模的不斷擴(kuò)大,只容忍一個(gè)數(shù)據(jù)塊的失效已經(jīng)無(wú)法滿足應(yīng)用的存儲(chǔ)需求。糾刪碼(erasure-coding)技術(shù)是一類源于信道傳輸?shù)木幋a技術(shù)，因?yàn)槟軌蛉萑潭鄠€(gè)數(shù)據(jù)幀的丟失,被引入到分布存儲(chǔ)領(lǐng)域,使得基于糾刪碼的容錯(cuò)技術(shù)成為能夠容忍多個(gè)數(shù)據(jù)塊同時(shí)失效的、最常用的基于編碼的容錯(cuò)技術(shù)。4

云存儲(chǔ)的優(yōu)勢(shì)

云存儲(chǔ)的優(yōu)勢(shì)主要體現(xiàn)在以下幾個(gè)方面：★高可擴(kuò)展性：云存儲(chǔ)架構(gòu)采用的是并行擴(kuò)容方式，當(dāng)容量不夠

時(shí)，只需采購(gòu)新的存儲(chǔ)服務(wù)器，容量即可增加，而且?guī)缀鯖](méi)有上限控制?！镓?fù)載均衡：云存儲(chǔ)能自動(dòng)將工作任務(wù)均勻分配到不同的存儲(chǔ)服務(wù)器上，從而可避免因個(gè)別存儲(chǔ)服務(wù)器工作量過(guò)大而造成性能瓶頸，這樣可使整個(gè)存儲(chǔ)系統(tǒng)發(fā)揮最大的功效。★容易管理：對(duì)云存儲(chǔ)管理者來(lái)說(shuō)，即使再多的存儲(chǔ)服務(wù)器也只是一臺(tái)存儲(chǔ)設(shè)備，管理人員只需在整體硬盤容量快用完時(shí)，增加采購(gòu)存儲(chǔ)服務(wù)器即可。而每臺(tái)存儲(chǔ)服務(wù)器的使用狀況都可以很方便地在一個(gè)管理界面上看到?！锶菀资褂茫喝绻銓?shù)據(jù)存儲(chǔ)在云存儲(chǔ)系統(tǒng),你就可以從任何有互

聯(lián)網(wǎng)接入的地方得到這些數(shù)據(jù)。你根本不需要隨身攜帶一個(gè)物理存儲(chǔ)設(shè)備或使用相同的計(jì)算機(jī)來(lái)保存和檢索你的信息。5

云存