分布式存儲對象存儲概述專題培訓課件

分布式存儲對象存儲概述分布式存儲對象存儲CEPH2分布式存儲系統(tǒng)31.1:分布式存儲歷程.DAS用于操作系統(tǒng)和應用程序的本地存儲。缺點：1對1，單點數(shù)據(jù)無法再服務器之間共享。41.2:分布式存儲歷程.SAN多對1。數(shù)據(jù)大集中在SAN存儲。缺點：性能好橫向擴展性受限。不能共享。成本高51.3:分布式存儲歷程.NAS實現(xiàn)不同服務器之間傳統(tǒng)文件系統(tǒng)數(shù)據(jù)共享。多對1。數(shù)據(jù)集中。缺點：多臺服務器不能同時訪問修改，性能有限橫向擴展性受限。成本高61.4:NAS.SAN網(wǎng)絡存儲方式目前主流的存儲方式71.5:分布式存儲歷程.分布式存儲性能優(yōu)越。擴展性很好。成本低廉。缺點：平臺穩(wěn)定性需要考慮。技術支持的問題。8個人理解分布式存儲就是多臺橫向連接的計算機同時運行，共同處理完成同一件client的應用工作請求任務?？伸`活的增加，或減少節(jié)點，性能優(yōu)越。擴展性很好。成本低廉。1.6:分布式存儲優(yōu)勢9對象存儲Object-BasedStorage102.1對象存儲技術對象存儲是綜合了NAS和SAN的優(yōu)點，同時具備了SAN直接高速訪問和NAS的數(shù)據(jù)共享等優(yōu)勢。提供了具有高性能，高可用性，跨平臺，以及安全的數(shù)據(jù)共享的存儲體系結構。112.2對象存儲解釋優(yōu)勢對象存儲就是分布式系統(tǒng)，也可理解為依托于分布式存儲架構的一個特性，高級功能1）傳統(tǒng)的塊存儲讀寫快而不利于共享，2）文件存儲讀寫慢但利于共享對象存儲則集成二者優(yōu)點，是一個利于共享、讀寫快的“云存儲”技術。作為一種分布式存儲，最重要的一點是能解決對非結構化數(shù)據(jù)快速增長帶來的問題。122.3對象存儲結構13142.4對象存儲組件對象(Object) 包含了文件數(shù)據(jù)以及相關的屬性信息，可以進行自我管理OSD（Object-basedStorageDevice) 一個智能設備，OSD為存儲對象數(shù)據(jù)的設備，它是一個智能設備，包括處理器、RAM內存、網(wǎng)絡接口、存儲介質等以及運行在其中的控制軟件MDS元數(shù)據(jù)服務器(MetadataServer) 系統(tǒng)提供元數(shù)據(jù)、Cache一致性等服務

152.5：傳統(tǒng)存儲數(shù)據(jù)存儲過程傳統(tǒng)文件儲存過程。162.6：對象存儲數(shù)據(jù)儲存過程對象文件儲存過程。172.7：InodesvsObjects182.8：對象存儲模式用于海量數(shù)據(jù)存儲的優(yōu)勢：

高性能數(shù)據(jù)存儲：訪問節(jié)點有獨立的數(shù)據(jù)通路和元數(shù)據(jù)訪問通路，可以對多個OSD進行并行訪問跨平臺數(shù)據(jù)共享：由于在對象存儲系統(tǒng)上部署基于對象的分布式文件系統(tǒng)比較容易，所有能夠實現(xiàn)不同平臺下的設備和數(shù)據(jù)的共享?？缮炜s性：對象存儲模式具有分布式結構的特性。由于OSD是獨立的智能設備，可以通過增加OSD數(shù)量，使存儲系統(tǒng)的聚合I/O帶寬、存儲容量和處理能力得到提高，這種平衡擴展模式使得存儲系統(tǒng)能夠具有良好的可伸縮性。192.9：與傳統(tǒng)存儲的對比：

存儲接口存儲系統(tǒng)優(yōu)點缺點塊級存儲塊塊存儲設備S如:AN,提供高性能的隨機I/O和數(shù)據(jù)吞吐率可擴展性和可管理性較差、價格較高、不能滿足成千上萬CPU規(guī)模的系統(tǒng)文件儲存文件塊存儲設備＋文件系統(tǒng)如:NAS,擴展性好、易于管理、價格便宜開銷高、帶寬低、延遲大,不利于高性能集群中應用對象存儲對象塊存儲設備＋文件系統(tǒng)＋定位邏輯＋應用程序支持高并行性、可伸縮的數(shù)據(jù)訪問,管理性好、安全性高、適合高性能集群使用處于發(fā)展階段,相應的硬件、軟件支持有待進一步完善20CEPH概述21

3.1：ceph簡介

企業(yè)級存儲產(chǎn)品的需求3.2:Ceph可提供：3.3:Ceph架構圖底層Rados--Ceph實現(xiàn)分布式存儲的根本，所有存儲接口都是基于Rados實現(xiàn)的

--Rados本身就是一個對象存儲接口，維護了一個集群狀態(tài)和實現(xiàn)了數(shù)據(jù)分發(fā)的要求24(2)基礎庫librados

--對RADOS進行抽象和封裝，并向上層提供API，以便直接基于RADOS（而不是整個Ceph）進行應用開發(fā)

(3)高層應用接口

--這一層包括了三個部分：RADOSGW（RADOSGateway）、RBD（ReliableBlockDevice）和CephFS（CephFileSystem），其作用是在librados庫的基礎上提供抽象層次更高的上層接口，分別對應對象存儲、塊存儲和文件存儲。（4）應用層這一層就是不同場景下對于Ceph各個應用接口的各種應用方式，例如基于librados直接開發(fā)的對象存儲應用，基于RADOSGW開發(fā)的對象存儲應用，基于RBD實現(xiàn)的云硬盤等等。3.4:傳統(tǒng)VSceph傳統(tǒng)：Ceph:

--Monitor:維護集群的成員和狀態(tài)(clustermap)，提供強一致性的決策--MDS

metdata數(shù)據(jù)服務器--OSD:每一個disk、SSD或者RAIDgroup或者其他一個物理存儲設備都成為一個OSD，主要負責存儲和查找對象，并且負責向該對象的復制節(jié)點分發(fā)和恢復。3.5:Rados組件3.6：Ceph使用場景舉例---RadosGWRadosGW位于Librados之上，它主要提供RESTful接口并且兼容S3、Swfit的接口。3.7：S3使用案例293.8：性能檢測[root@cephclient~]#radosbench-pcephfs_data10write-no-cleanupMaintaining16concurrentwritesof4194304bytestoobjectsofsize4194304forupto10secondsor0objectsObjectprefix:benchmark_data_cephclient_8322secCuropsstartedfinishedavgMB/scurMB/slastlat(s)avglat(s)816247231115.4641080.3579580.53742916274258114.6331080.4491630.5390571016301285113.9681080.5515720.543629Totaltimerun:10.595630Totalwritesmade:302Writesize:4194304Objectsize:4194304Bandwidth(MB/sec):114.009StddevBandwidth:41.2795Maxbandwidth(MB/sec):228303.9：ceph優(yōu)勢：

Ceph是一種為優(yōu)秀的性能、可靠性和可擴展