對象存儲技術和方法Object-BasedStorage

1、對象存儲技術和方法Object-Based StorageHistory of Object StorageThe Data Access TaxonomyThe Block ParadigmDAS, SANThe Block ParadigmThe Data Access TaxonomyThe File ParadigmLocal FS, Distributed FS: (NFS, CIFS, WAFS) Shared FS: (Cluster FS, SAN FS) Global, Distributed & Parallel FSNASLocal File SystemsOne mor

2、e levelof indirectionDistributed File Systemse.g. NAS with NFS,CIFS ProtocolNAS Aggregation/Virtualization Global NamespaceNAS Aggregation/Virtualization Global NamespaceNAS ClusterTightly Coupled NASNAS ClusterLoosely Coupled NAS: Global Namespace with NFSv4.1 and pNFSThe Data Access TaxonomyThe Ob

3、ject ParadigmOSDCASOSS The Old Block Paradigm The New Object Paradigm Block ParadigmThe New Object Paradigm WRITE 26,763 BytesQoS= HighDescription = “X-Ray”Retention = 50 yearsAccess Key = *&%#Data Payload.Object Storage Responsibilities: Space Management Access Control (Identity Mgmt) QoS Managemen

4、t Cache, Backup Policy Migration, Retention Self-Contained ObjectsMetadata: creation date/time; ownership, size.Attributes inferred: access patterns, content, indexes.Attributes user supplied: retention, QoSBlock Access - Inodes The inode contains a few block numbers to ensure efficient access to sm

5、all files. Access to larger files is provided via indirect blocks that contain block numbersBlock Access - InodesInodes vs. Objects ANSI T10 OSD SCSI Targets SCSI Standards Architecture Object AutonomyStorage becomes autonomous:capacity planningload balancingbackupQoS, SLAsunderstand data/object gro

6、upingaggressive pre-fetchingthin provisioningsearchcompression/de-duplication/encryptionstrong securitycompliance/retention/secure deleteavailability/replicationaudit . . .Data SharingHomogeneous/HeterogeneousData SharingHomogeneous/HeterogeneousData Migration - ILMHomogeneous/HeterogeneousAdditiona

7、l Layer of Security strong security via external service authentication authorization NIS, LDAP.fine granularity per object Living in a Flat NamespaceVirtual View / Virtual File SystemsThe First Generation of Object StorageObject Decomposition對象存儲系統(tǒng)結構對象存儲系統(tǒng)組成對象(Object)包含了文件數(shù)據以及相關的屬性信息，可以進行自我管理 OSD（O

8、bject-based Storage Device)一個智能設備，是Object的集合 文件系統(tǒng)文件系統(tǒng)運行在客戶端上，將應用程序的文件系統(tǒng)請求傳輸?shù)組DS和OSD上 元數(shù)據服務器(Metadata Server，MDS)系統(tǒng)提供元數(shù)據、Cache一致性等服務 網絡連接1. 對象(Object) 對象存儲的基本單元。每個Object是數(shù)據和數(shù)據屬性集的綜合體。數(shù)據屬性可以根據應用的需求進行設置，包括數(shù)據分布、服務質量等。在傳統(tǒng)的存儲中，塊設備要記錄每個存儲數(shù)據塊在設備上的位置。Object維護自己的屬性，從而簡化了存儲系統(tǒng)的管理任務，增加了靈活性。Object的大小可以不同，可以包含整個數(shù)據

9、結構，如文件、數(shù)據庫表項等。 對象分類2、OSD（Object-based Storage Device) 每個OSD都是一個智能設備，具有自己的存儲介質、處理器、內存以及網絡系統(tǒng)等，負責管理本地的Object，是對象存儲系統(tǒng)的核心。OSD同塊設備的不同不在于存儲介質，而在于兩者提供的訪問接口。 OSD的主要功能數(shù)據存儲和安全訪問 對象放置管理：OSD使用Object對所保存的數(shù)據進行管理。它將數(shù)據存放到磁盤的磁道和扇區(qū)，將若干磁道和扇區(qū)組合起來構成Object，并且通過此Object向外界提供對數(shù)據的訪問。對象操作：每個Object同傳統(tǒng)的文件相似，使用同文件類似的訪問接口，包括Open、R

10、ead、Write等。但是兩者并不相同，每個Object可能包括若干個文件，也可能是某個文件的一部分，且是獨立于操作系統(tǒng)的。除了具體的用戶數(shù)據外，OSD還記錄了每個Object的屬性信息，主要是物理視圖信息。將這些信息放到OSD上，大大減輕了元數(shù)據服務器的負擔，增強了整個存儲系統(tǒng)的并行訪問性能和可擴展性。 3、客戶端文件系統(tǒng) 文件系統(tǒng)對用戶的文件操作進行解釋，并在元數(shù)據服務器和OSD間通信，完成所請求的操作。 現(xiàn)有的應用對數(shù)據的訪問大部分都是通過POSIX文件方式進行的，對象存儲系統(tǒng)提供給用戶的也是標準的POSIX文件訪問接口。 接口具有和通用文件系統(tǒng)相同的訪問方式，同時為了提高性能，也具有對

11、數(shù)據的Cache功能和文件的條帶功能。 同時，文件系統(tǒng)必須維護不同客戶端上Cache的一致性，保證文件系統(tǒng)的數(shù)據一致 文件系統(tǒng)讀訪問實例：客戶端應用發(fā)出讀請求;文件系統(tǒng)向元數(shù)據服務器發(fā)送請求，獲取要讀取的數(shù)據所在的OSD;然后直接向每個OSD發(fā)送數(shù)據讀取請求；OSD得到請求以后，判斷要讀取的Object，并根據此Object要求的認證方式，對客戶端進行認證，如果此客戶端得到授權，則將Object的數(shù)據返回給客戶端；文件系統(tǒng)收到OSD返回的數(shù)據以后，讀操作完成。4.元數(shù)據服務器 (Metadata Server) 為客戶端提供元數(shù)據，主要是文件的邏輯視圖，包括文件與目錄的組織關系、每個文件所對應

12、的OSD等。4.元數(shù)據服務器 (Metadata Server)在傳統(tǒng)的文件系統(tǒng)中，元數(shù)據由本機或者文件服務器負責維護，每次對數(shù)據塊的操作都要獲取元數(shù)據。 在對象存儲系統(tǒng)中，由于每次操作只有一次對元數(shù)據的訪問，具體的數(shù)據傳輸都由OSD和客戶端通過直接連接進行，大大減少了元數(shù)據的操作，降低了元數(shù)據服務器的負擔，從而為系統(tǒng)的擴展提供了可能性。 4.元數(shù)據服務器 (Metadata Server)特點客戶端采用Cache來緩存數(shù)據 當多個客戶端同時訪問某些數(shù)據時，MDS提供分布的鎖機制來確保Cache的一致性。為客戶端提供認證為了增強系統(tǒng)的安全性，MDS為客戶端提供認證方式。OSD將依據MDS的認證

13、來決定是否為客戶端提供服務。 5. 網絡連接 網絡連接是對象存儲系統(tǒng)的重要組成部分。它將客戶端、MDS和OSD連接起來，構成了一個完整的系統(tǒng)。對象存儲與傳統(tǒng)存儲的對比存儲接口存儲系統(tǒng)優(yōu)點缺點塊級存儲塊塊存儲設備如: SAN , 提供高性能的隨機I/O和數(shù)據吞吐率可擴展性和可管理性較差、價格較高、不能滿足成千上萬CPU 規(guī)模的系統(tǒng)文件儲存文件塊存儲設備文件系統(tǒng)如:NAS, 擴展性好、易于管理、價格便宜開銷高、帶寬低、延遲大,不利于高性能集群中應用對象存儲對象塊存儲設備文件系統(tǒng)定位邏輯應用程序支持高并行性、可伸縮的數(shù)據訪問, 管理性好、安全性高、適合高性能集群使用處于發(fā)展階段,相應的硬件、軟件支持

14、有待進一步完善對象存儲的特性（總結）性能優(yōu)勢 存儲設備的智能化 數(shù)據的共享更容易管理更方便 更好的安全性 對象存儲系統(tǒng)實例：LustreA shared file system for HPC clusters Open Source software (GPL) linux clusterVery high metadata and I/O performance5,000 file creations/sec in 1 dir, 1,000 nodesSingle clients up to 290MB/sec.Aggregate up to 11GB/secScalable to 1,0

15、00s of nodesIn production now on such clustersLustre Retrospective1999 Initial ideas CMUSeagate: management aspects, prototypesMuch survives today2000 National LabsCan Lustre be next generation FS?100 GB/sec, trillion files, 10,000s clients, secure, PBs2002 2003Many partners: Dell, HP, Cray, LNXI, D

16、DN othersProduction use, 1.0 releasedA Lustre ClusterLustre SystemsClients1000s now, 10,000s futureObtain access to Lustre file systemTypical role: Linux compute serverOSS100s now, 1000s futureObject storage serversLinux servers handling (stripes of) file dataMDS10s, 100s nodesMetadata request trans

17、action engine.Linux server handling metadata requestsKey Design Issue : ScalabilityI/O throughputHow to avoid bottlenecksMetadata scalabilityHow can 10,000s of clients work on files in same folderCluster RecoveryIf sth fails, how can transparent recovery happenManagementAdding, removing, replacing,

18、systems; data migration & backupReferenceLustre: A SAN File System for LinuxSeveral presentation materials from Dr. Peter J. BraamThe Current Generation of Object StorageCloud Storage, Storage Clouds, Object StorageCloud Storage is the storage used for Compute Cloud infrastructuresCompute Clouds are

19、 very IOPS intensive and usually block storage is used in these applicationsStorage Clouds are “storage in the cloud”, whether public or privateStorage Clouds are simply storage capacity that is made available through the Internet Most of todays storage clouds use object storage technologiesScale ou

20、t object storage with simple REST API REST APIsREST stands for Representational State TransferIt is a software architecture that is used for distributed application environmentsREST APIs have become the predominant interface for cloud applications to connect to the cloudFor storage-centric cloud app

21、lications, a REST API is the interface between the application and the object storage platformPUT GET DELETECurrent Object Storage SummaryData is stored as objects in one large, scalable pool of storageObjects are stored with metadata information about the objectAn Object ID is stored, to locate the

22、 dataREST is the standard interface, simple commands used by applicationsObjects are immutable; edits are saved as a new objectWhy Object Storage?Massive Data GrowthAlways Onlinedata needs to be available anywhere at anytimePower to the ApplicationsApp. to storage with REST API directly, without add

23、itional (file system) layersThe Big Data ExplosionThe Evolution of Data ProcessingMigration of Storage ApplicationThe Evolution of StorageThe Vertical ConsolidationStorage and serverMigration of data processing applicationsNo I/O is best I/O主動對象存儲傳統(tǒng)存儲系統(tǒng)被動響應服務請求對象具有智能性智能的系統(tǒng)能夠提供主動服務存儲組織結構對比應用系統(tǒng)接口主機適配器

24、驅動文件系統(tǒng)用戶部件扇區(qū)接口塊I/O管理器應用系統(tǒng)接口文件系統(tǒng)存儲部件文件系統(tǒng)用戶部件傳統(tǒng)模式 主動對象模式塊I/O管理器OSD接口文件系統(tǒng)用戶部件適配器驅動文件系統(tǒng)存儲部件盤設備驅動總線設備驅動總線驅動硬盤驅動文件系統(tǒng)存儲部件 主機存儲系統(tǒng)只含數(shù)據主機組織和管理被動響應含“數(shù)據、屬性”和“操作”自組織和自管理主動服務性能高管理簡單效率低管理復雜主動對象存儲服務機制負載模型/預測模型根據歷史負載預測未來趨勢存儲主動服務機制存儲節(jié)點主動對象中的概念方法對象：一段可執(zhí)行代碼，用于對用戶對象進行操作過濾型方法服務型方法策略對象：決定方法的執(zhí)行有兩種方式請求觸發(fā)策略觸發(fā)主動對象特點自我學習和策略觸發(fā)機制，實現(xiàn)存儲主動服務自我組織與管理，自我優(yōu)化調節(jié)，使系統(tǒng)整體性能最佳利用對象“封閉”特性，使系統(tǒng)具有安全性提高系統(tǒng)可靠性，在故障出現(xiàn)時實現(xiàn)快速恢復IP硬盤硬