對象存儲介紹

1、 對象存儲介紹對象存儲系統(tǒng)（Object-BasedStorage System）是綜合了NAS和SAN的優(yōu)點，同時具有SAN的高速直接訪問和NAS的數(shù)據(jù)共享等優(yōu)勢，提供了高可用性、跨平臺性及安全性的數(shù)據(jù)共享的存儲體系結構。Object是對象存儲的基本單元。每個Object都是數(shù)據(jù)和數(shù)據(jù)屬性集的綜合體。數(shù)據(jù)屬性可以根據(jù)應用的需求進行設置，包括數(shù)據(jù)分布、服務質(zhì)量等。在傳統(tǒng)的存儲中，塊設備要記錄每個存儲數(shù)據(jù)塊在設備上的位置。Object維護自己的屬性，從而簡化了存儲系統(tǒng)的管理任務，增加了靈活性。Object的大小可以不同，可以包含整個數(shù)據(jù)結構，如文件、數(shù)據(jù)庫表項等。1對象存儲的產(chǎn)生隨著互聯(lián)網(wǎng)、We

2、b 2.0的快速發(fā)展，Web應用創(chuàng)建出數(shù)百億的小文件；人們上傳海量的照片、視頻、音樂，F(xiàn)acebook每天都新增數(shù)十億條內(nèi)容，人們每天發(fā)送數(shù)千億封電子郵件。據(jù)IDC統(tǒng)計，未來10年間，數(shù)據(jù)將增長44倍，到2020年全球數(shù)據(jù)將增加到35ZB，其中80%是非結構化數(shù)據(jù)，且大部分是非活躍數(shù)據(jù)。面對如此龐大的數(shù)據(jù)量，僅具備PB級擴展能力的塊存儲（SAN）和文件存儲（NAS）顯得有些無能為力。單個文件系統(tǒng)在最優(yōu)性能的情況下支持的文件數(shù)量通常只在百萬級別。人們需要一種全新架構的存儲系統(tǒng)，這種存儲系統(tǒng)需要具備極高的可擴展性，能夠滿足人們對存儲容量從TB到EB規(guī)模的擴展需求。2002年，安然、世界通信等事件的

3、接連爆發(fā)導致薩班斯法案推出，對象存儲被用于政府法規(guī)要求數(shù)據(jù)長期保存金融服務、健康醫(yī)療等行業(yè)的數(shù)據(jù)歸檔場景，對象存儲由此具備了備份歸檔的基因。2006年，Amazon發(fā)布AWS，S3服務及其使用的REST、SOAP訪問接口成為對象存儲的事實標準。Amazon S3成功為對象存儲注入云服務基因。2對象存儲的關鍵特性與價值對象存儲是一種基于對象的存儲設備，具備智能、自我管理能力，通過Web服務協(xié)議（如REST、SOAP）實現(xiàn)對象的讀/寫和存儲資源的訪問。對象存儲系統(tǒng)包含兩種數(shù)據(jù)描述：容器（Bucket）和對象（Object）。容器和對象都有一個全局唯一的ID。對象存儲采用扁平化結構管理所有數(shù)據(jù)，用戶

4、/應用通過接入碼（Access Key）認證后，只需根據(jù)ID就可以訪問容器/對象及相關的數(shù)據(jù)（Data）、元數(shù)據(jù)（Metadata）和對象屬性（Attribute）。對象存儲數(shù)據(jù)組織示意圖如圖10.3所示。對象存儲對外提供更抽象的對象接口，而不是SCSI或文件接口。與SAN存儲以邏輯扇區(qū)為單位的較細粒度的固定I/O（512B4KB）不同，對象存儲I/O粒度更有彈性，支持幾個字節(jié)（B）到數(shù)萬億字節(jié)（TB）范圍內(nèi)的任意對象大小，使得業(yè)務可以根據(jù)需要靈活地分割數(shù)據(jù)。對象存儲以對象ID為基礎，扁平化地管理所有對象和桶，根據(jù)對象ID便可直接訪問數(shù)據(jù)，解決了NAS復雜的目錄樹結構在海量數(shù)據(jù)情況下的數(shù)據(jù)查找

5、耗時長的問題。這使得對象存儲具備極強的擴展性，能夠輕松實現(xiàn)單一名字空間（namespace）內(nèi)支持百億級文件的存儲。圖10.3在重復數(shù)據(jù)刪除、綠色節(jié)能等特性的基礎上，為了更好地滿足海量數(shù)據(jù)存儲和公眾云服務的需求，對象存儲系統(tǒng)還包括如下一些關鍵特性：（1）超強的擴展性。扁平化的數(shù)據(jù)結構允許對象存儲容量從TB級擴展到EB級，管理數(shù)十個到百億個存儲對象，支持從數(shù)字節(jié)（Byte）到數(shù)萬億字節(jié)（TB）范圍內(nèi)的任意大小對象，解決了文件系統(tǒng)復雜的iNode機制帶來的擴展性瓶頸，并使得對象存儲無須像SAN存儲那樣管理數(shù)量龐大的邏輯單元號（LUN）。對象存儲系統(tǒng)通常在一個橫向擴展（或網(wǎng)格硬件）架構上構建一個全局

6、的命名空間，這使得對象存儲非常適用在云計算環(huán)境中使用。某些對象存儲系統(tǒng)還可以支持升級、擴容過程中的業(yè)務零中斷。（2）基于策略的自動化管理。由于云環(huán)境中的數(shù)據(jù)往往是動態(tài)、快速增長的，所以基于策略的自動化將變得非常重要。對象存儲支持從應用角度基于業(yè)務需求設置對象/容器的屬性（元數(shù)據(jù)）策略，如數(shù)據(jù)保護級別、保留期限、合規(guī)狀況、遠程復制的份數(shù)等。這使得對象存儲具備云的自服務特征，同時有效地降低運維管理的成本，使得客戶在存儲容量從TB增長到ZB時運維管理成本不會隨之飆升。（3）多租戶。多租戶特性可以使用同一種架構、同一套系統(tǒng)為不同用戶和應用提供存儲服務，并分別為這些用戶和應用設置數(shù)據(jù)保護、數(shù)據(jù)存儲策略，

7、并確保這些數(shù)據(jù)之間相互隔離。（4）數(shù)據(jù)完整性和安全性。對象存儲系統(tǒng)一般通過連續(xù)后臺數(shù)據(jù)掃描、數(shù)據(jù)完整性校驗、自動化對象修復等技術，大大提高數(shù)據(jù)的完整性和安全性。某些對象存儲產(chǎn)品還引入了一些先進的算法（如擦除碼）和技術將數(shù)據(jù)切分為多個分片，然后將這些分片存儲到不同的設備/站點，在確保數(shù)據(jù)完整性的同時獲取最高的存儲利用率。3對象存儲的主要應用場景對象存儲系統(tǒng)的出現(xiàn)主要是為了滿足數(shù)據(jù)歸檔和云服務兩大需求，下面對這兩種場景進行進一步的細化。1）存儲資源池（空間租賃）使用對象存儲構建類似AmazonS3的存儲空間租賃服務，向個人、企業(yè)或應用提供按需擴展的彈性存儲服務。用戶向資源池運營商按需購買存儲資源后

8、，通過基于Web協(xié)議訪問和使用存儲資源，而無須采購和運維存儲設備。多租戶模型將不同用戶的數(shù)據(jù)隔離開來，以確保用戶的數(shù)據(jù)安全。2）網(wǎng)盤應用在海量存儲資源池的基礎上，使用圖形用戶界面（GUI）實現(xiàn)對象存儲資源的封裝，向用戶提供類似DropBox的網(wǎng)盤業(yè)務。用戶可通過PC客戶端、手機客戶端、Web頁面完成數(shù)據(jù)的上傳、下載、管理與分享。在網(wǎng)盤的幫助下，個人和家庭用戶能夠實現(xiàn)數(shù)據(jù)安全、持久地保存和不同終端之間的數(shù)據(jù)同步；企業(yè)客戶可實現(xiàn)更高效的信息分享、協(xié)同辦公和非結構化數(shù)據(jù)管理，同時還可用于實現(xiàn)低成本的Windows遠程備份，確保企業(yè)數(shù)據(jù)安全。3）集中備份在大型企業(yè)或科研機構中，對象存儲通過與CommV

9、ault Simpana、Symantec NBU等主流備份軟件結合，可向用戶提供更具成本效益、更低TCO1的集中備份方案。相對于原有的磁帶庫或虛擬磁帶庫等備份方案，重復數(shù)據(jù)刪除特性能夠幫助用戶用更少的存儲設備存儲更多的數(shù)據(jù)，從而減少低設備采購，智能管理特性使得備份系統(tǒng)無須即時維護，從而降低CAPEX2和OPEX3；分布式并行讀/寫帶來的巨大吞吐量和在線/近線的存儲模式有效降低了RTO4和RPO5。4）歸檔和分級存儲對象存儲通過與歸檔軟件、分級存儲軟件結合，將在線系統(tǒng)中的數(shù)據(jù)無縫歸檔/分級存儲到對象存儲，釋放在線系統(tǒng)存儲資源。對象存儲提供幾乎可無限擴展的容量及智能管理能力，幫助用戶降低海量數(shù)據(jù)

10、歸檔的TCO；對象歸檔采用主動歸檔模式，使得歸檔數(shù)據(jù)能夠被按需訪問，而無須長時間地等待和延遲。4與傳統(tǒng)存儲的比較基于塊的存儲系統(tǒng)，磁盤塊通過底層存儲協(xié)議訪問，像SCSI命令，開銷很小而且沒有其他額外的抽象層。這是訪問磁盤數(shù)據(jù)最快的方式，所有高級別的任務，如多用戶訪問、共享、鎖定和安全等通常由操作系統(tǒng)負責。換句話說，基于塊的存儲關心所有底層的問題，但其他事情都要依靠高層的應用程序實現(xiàn)。而所有的對象存儲擁有基于塊存儲的節(jié)點，利用對象存儲軟件集合提供所有其他的功能?；趬K的存儲系統(tǒng)是對象存儲系統(tǒng)的補充，而基于文件的存儲系統(tǒng)一般被認為是直接的競爭者。橫向擴展的NAS系統(tǒng)的關鍵屬性就是擴展性，對象存儲也

11、是如此，通過增加節(jié)點實現(xiàn)水平擴展。但由于NAS系統(tǒng)是基于分層文件結構的有限的命名空間，它們對于有著接近無限擴展能力的、具有扁平結構的純對象存儲來講，所受的約束更多，而對象存儲僅受到對象ID的位數(shù)限制。盡管限制多多，但橫向擴展的NAS系統(tǒng)仍然具備對象存儲的諸多特性，而其欠缺的功能，如對于表征狀態(tài)轉移（REST）協(xié)議的支持，廠商們正在快速地完善中，這樣他們就可以把橫向擴展的NAS系統(tǒng)劃歸到對象存儲的類別中了。5S3對象存儲最典型的是Amazon S3。Amazon S3將數(shù)據(jù)作為對象存儲在稱為“存儲桶”的資源中。用戶可以在一個存儲桶中盡可能多地存儲對象，并寫入、讀取和刪除存儲桶中的對象。對象大小最

12、多可為5TB。用戶可以控制對存儲桶的訪問權限（例如，控制誰能在存儲桶中創(chuàng)建、刪除和檢索對象）、查看該存儲桶的訪問日志及其對象，并選擇存儲桶存儲所在的AWS區(qū)域以優(yōu)化延遲性，最大限度地降低成本或滿足法規(guī)要求。Amazon S3為任務關鍵型和主要數(shù)據(jù)存儲提供了高度持久的存儲基礎設施。Amazon S3將數(shù)據(jù)冗余存儲在多個設施中，也存儲在每個設施內(nèi)的多個設備上。為了提高耐久性，Amazon S3在確認數(shù)據(jù)已成功存儲之前將數(shù)據(jù)同步存儲在多個設施中。此外，Amazon S3還會在存儲或檢索數(shù)據(jù)時對所有的網(wǎng)絡流量計算校驗和，以檢測數(shù)據(jù)包是否損壞。與傳統(tǒng)系統(tǒng)需要費時耗力的數(shù)據(jù)驗證和手工修復方式不同的是，Amazon S3可以定期執(zhí)行系統(tǒng)的數(shù)據(jù)完整性校驗，并且內(nèi)置了自動的自我修復能力。Amazon S3的標準存儲：以Amazon S3服務等級協(xié)議作為后盾，以實現(xiàn)可用性；設計目的是在指定年度內(nèi)為對象提供99.999999999%的持久性和99.99%的可用性；能夠承受兩個設施中的數(shù)據(jù)同時丟失。1TCO:Total Cost of Ownership 總擁有成本從產(chǎn)品采購到后期使用、維護的總的成本。2 CA