分布式存儲(chǔ)對象存儲(chǔ)概述-文檔資料

1、1分布式存儲(chǔ)對象存儲(chǔ)分布式存儲(chǔ)對象存儲(chǔ)-CEPH-CEPH概述概述2分布式存儲(chǔ)對象存儲(chǔ)CEPH3分布式存儲(chǔ)系統(tǒng)分布式存儲(chǔ)系統(tǒng)41.1:1.1:分布式存儲(chǔ)歷程分布式存儲(chǔ)歷程.DAS.DAS用于操作系統(tǒng)和應(yīng)用程序的本地存儲(chǔ)。缺點(diǎn)： 1對對1，單點(diǎn)，單點(diǎn) 數(shù)據(jù)無法再服務(wù)器之間共享。51.2:1.2:分布式存儲(chǔ)歷程分布式存儲(chǔ)歷程.SAN.SAN 多對多對1。 數(shù)據(jù)大集中在SAN存儲(chǔ)。缺點(diǎn)： 性能好 橫向擴(kuò)展 性受限。 不能共享。 成本高61.3:1.3:分布式存儲(chǔ)歷程分布式存儲(chǔ)歷程.NAS.NAS 實(shí)現(xiàn)不同服務(wù)器之間傳統(tǒng)文件系統(tǒng)數(shù)據(jù)共享數(shù)據(jù)共享。 多對多對1。 數(shù)據(jù)集中。缺點(diǎn)： 多臺(tái)服務(wù)器不能同時(shí)訪問

2、修改，性能有限 橫向擴(kuò)展 性受限。 成本高71.4: NAS.SAN1.4: NAS.SAN網(wǎng)絡(luò)存儲(chǔ)方網(wǎng)絡(luò)存儲(chǔ)方式式目前主流的存儲(chǔ)方式目前主流的存儲(chǔ)方式81.5:1.5:分布式存儲(chǔ)歷程分布式存儲(chǔ)歷程. .分布式存儲(chǔ)分布式存儲(chǔ) 性能優(yōu)越。 擴(kuò)展性很好。 成本低廉。缺點(diǎn)： 平臺(tái)穩(wěn)定性需要考慮。 技術(shù)支持的問題。9個(gè)人理解分布式存儲(chǔ)就是多臺(tái)橫向連接的計(jì)算機(jī)同時(shí)運(yùn)行，共同處理完成同一件client的應(yīng)用工作請求任務(wù)?？伸`活的增加，或減少節(jié)點(diǎn)， 性能優(yōu)越。 擴(kuò)展性很好。 成本低廉。1.6:1.6:分布式存儲(chǔ)優(yōu)勢分布式存儲(chǔ)優(yōu)勢10對象存儲(chǔ)Object-Based Storage112.1 對象存儲(chǔ)技術(shù) 對

3、象存儲(chǔ)是綜合了NAS和SAN的優(yōu)點(diǎn)，同時(shí)具備了SAN直接高速訪問和NAS的數(shù)據(jù)共享等優(yōu)勢。 提供了具有高性能，高可用性，跨平臺(tái)，以及安全的數(shù)據(jù)共享的存儲(chǔ)體系結(jié)構(gòu)。122.2 2.2 對象存儲(chǔ)解釋優(yōu)對象存儲(chǔ)解釋優(yōu)勢勢對象存儲(chǔ)就是分布式系統(tǒng)，也可理解為依托于分布式存儲(chǔ)架構(gòu)的一個(gè)特性，高級(jí)功能1）傳統(tǒng)的塊存儲(chǔ)讀寫快而不利于共享，塊存儲(chǔ)讀寫快而不利于共享，2 2 ）文件存儲(chǔ)讀寫慢但利于共享文件存儲(chǔ)讀寫慢但利于共享對象存儲(chǔ)則集成二者優(yōu)點(diǎn)，是一個(gè)利于共享、讀寫快的“云存儲(chǔ)”技術(shù)。作為一種分布式存儲(chǔ)，最重要的一點(diǎn)是能解決對非結(jié)構(gòu)化數(shù)據(jù)快速增長帶來的問題。132.3 2.3 對象存儲(chǔ)結(jié)構(gòu)對象存儲(chǔ)結(jié)構(gòu)14152

4、.4 2.4 對象存儲(chǔ)組件對象存儲(chǔ)組件 對象(Object)包含了文件數(shù)據(jù)以及相關(guān)的屬性信息，可以進(jìn)行自我管理 OSDOSD（Object-based Storage Device)一個(gè)智能設(shè)備，OSD 為存儲(chǔ)對象數(shù)據(jù)的設(shè)備， 它是一個(gè)智能設(shè)備，包括處理器、RAM 內(nèi)存、網(wǎng)絡(luò)接口、存儲(chǔ)介質(zhì)等以及運(yùn)行在其中的控制軟件 MDS MDS 元數(shù)據(jù)服務(wù)器(Metadata Server)系統(tǒng)提供元數(shù)據(jù)、Cache一致性等服務(wù) 162.52.5：傳統(tǒng)存儲(chǔ)數(shù)據(jù)存儲(chǔ)過：傳統(tǒng)存儲(chǔ)數(shù)據(jù)存儲(chǔ)過程程傳統(tǒng)文件儲(chǔ)存過程。172.62.6：對象存儲(chǔ)數(shù)據(jù)儲(chǔ)存過：對象存儲(chǔ)數(shù)據(jù)儲(chǔ)存過程程對象文件儲(chǔ)存過程。182.72.7：Ino

5、des vs Inodes vs Objects Objects 192.8：對象存儲(chǔ)模式用于海量數(shù)據(jù)存儲(chǔ)的優(yōu)勢： 高性能數(shù)據(jù)存儲(chǔ)：訪問節(jié)點(diǎn)有獨(dú)立的數(shù)據(jù)通路和元數(shù)據(jù)訪問通路，可以對多個(gè)OSD 進(jìn)行并行訪問 跨平臺(tái)數(shù)據(jù)共享：由于在對象存儲(chǔ)系統(tǒng)上部署基于對象的分布式文件系統(tǒng)比較容易，所有能夠?qū)崿F(xiàn)不同平臺(tái)下的設(shè)備和數(shù)據(jù)的共享。 可伸縮性：對象存儲(chǔ)模式具有分布式結(jié)構(gòu)的特性。由于OSD 是獨(dú)立的智能設(shè)備，可以通過增加OSD 數(shù)量，使存儲(chǔ)系統(tǒng)的聚合I/O 帶寬、存儲(chǔ)容量和處理能力得到提高，這種平衡擴(kuò)展模式使得存儲(chǔ)系統(tǒng)能夠具有良好的可伸縮性。202.9：與傳統(tǒng)存儲(chǔ)的對比：存儲(chǔ)接口存儲(chǔ)系統(tǒng)優(yōu)點(diǎn)缺點(diǎn)塊級(jí)存儲(chǔ)塊塊

6、存儲(chǔ)設(shè)備S如:AN , 提供高性能的隨機(jī)I/O和數(shù)據(jù)吞吐率可擴(kuò)展性和可管理性較差、價(jià)格較高、不能滿足成千上萬CPU 規(guī)模的系統(tǒng)文件儲(chǔ)存文件塊存儲(chǔ)設(shè)備文件系統(tǒng)如:NAS, 擴(kuò)展性好、易于管理、價(jià)格便宜開銷高、帶寬低、延遲大,不利于高性能集群中應(yīng)用對象存儲(chǔ)對象塊存儲(chǔ)設(shè)備文件系統(tǒng)定位邏輯應(yīng)用程序支持高并行性、可伸縮的數(shù)據(jù)訪問, 管理性好、安全性高、適合高性能集群使用處于發(fā)展階段,相應(yīng)的硬件、軟件支持有待進(jìn)一步完善21CEPH概述223.1：ceph簡介企業(yè)級(jí)存儲(chǔ)產(chǎn)品的需求233.2: Ceph可提供：243.3: Ceph架構(gòu)圖底層Rados - Ceph實(shí)現(xiàn)分布式存儲(chǔ)的根本，所有存儲(chǔ)接口都是基于R

7、ados實(shí)現(xiàn)的 - Rados本身就是一個(gè)對象存儲(chǔ)接口，維護(hù)了一個(gè)集群集群狀態(tài)和實(shí)現(xiàn)了數(shù)據(jù)分發(fā)數(shù)據(jù)分發(fā)的要求25l (2)基礎(chǔ)庫librados - 對RADOS進(jìn)行抽象和封裝，并向上層提供API，以便直接基于RADOS（而不是整個(gè)Ceph）進(jìn)行應(yīng)用開發(fā)l (3)高層應(yīng)用接口 - 這一層包括了三個(gè)部分：RADOS GW（RADOS Gateway）、 RBD（Reliable Block Device）和Ceph FS（Ceph File System），其作用是在librados庫的基礎(chǔ)上提供抽象層次更高的上層接口，分別對應(yīng) 對象存儲(chǔ)、塊存對象存儲(chǔ)、塊存儲(chǔ)和文件存儲(chǔ)儲(chǔ)和文件存儲(chǔ)。l（4）應(yīng)用

8、層這一層就是不同場景下對于Ceph各個(gè)應(yīng)用接口的各種應(yīng)用方式，例如基于librados直接開發(fā)的對象存儲(chǔ)應(yīng)用，基于RADOS GW開發(fā)的對象存儲(chǔ)應(yīng)用，基于RBD實(shí)現(xiàn)的云硬盤等等。263.4: 傳統(tǒng) VS ceph傳統(tǒng)：Ceph:27 - Monitor: 維護(hù)集群的成員和狀態(tài)(cluster map) ，提供強(qiáng)一致性的決策 - MDS metdata數(shù)據(jù)服務(wù)器 - OSD: 每一個(gè)disk、SSD或者RAID group或者其他一個(gè)物理存儲(chǔ)設(shè)備都成為一個(gè)OSD，主要負(fù)責(zé)存儲(chǔ)和查找對象，并且負(fù)責(zé)向該對象的復(fù)制節(jié)點(diǎn)分發(fā)和恢復(fù)。3.5: Rados組件283.6：Ceph 使用場景舉例-Rados

9、GWlRadosGW位于Librados之上，它主要提供RESTful接口并且兼容S3、Swfit的接口。293.7：S3 使用案例303.8：性能檢測rootcephclient # rados bench -p cephfs_data 10 write -no-cleanupMaintaining 16 concurrent writes of 4194304 bytes to objects of size 4194304 for up to 10 seconds or 0 objectsObject prefix: benchmark_data_cephclient_8322 sec

10、Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s) 8 16 247 231 115.464 108 0.357958 0.53742 9 16 274 258 114.633 108 0.449163 0.539057 10 16 301 285 113.968 108 0.551572 0.543629Total time run: 10.595630Total writes made: 302Write size: 4194304Object size: 4194304Bandwidth (MB/sec): 114.009Stddev Bandwidth: 41.2795Max bandwidth (MB/sec): 228313.9：ceph 優(yōu)勢： Ceph是一種為優(yōu)秀的性能、可靠性和可擴(kuò)展性而設(shè)計(jì)的統(tǒng)一的、分布式的