分布式軟件定義存儲Ceph介紹

1、Ceph - 分布式軟件定義存儲介紹社區(qū)最佳開源項目紅帽存儲目標(biāo)工作負(fù)載什么是CEPHCeph是一種基于通用硬件設(shè)計的高可靠性、高可擴展統(tǒng)一分布式存儲軟件。統(tǒng)一：提供三種存儲功能文件存儲塊存儲對象存儲分布式：Ceph可以被部署于上千臺服務(wù)器上。Ceph的優(yōu)勢并不是一個新興的開源項目，經(jīng)歷了十多年的發(fā)展，已經(jīng)相當(dāng)成熟；可靠性高，無單點故障；在不同場景下都可以達到高性能（并發(fā)和吞吐量）；可以輕松擴展到PB級的存儲容量；Ceph客戶端早已進入主流內(nèi)核（2.6.34）；Ceph的歷史2003年項目成立；2006年作者將其開源；2009年Inktank公司成立并發(fā)布Ceph的第一個穩(wěn)定版本”Argona

2、ut”；2014年紅帽公司收購了Inktank，豐富了自己的軟件定義存儲的產(chǎn)品線，此次收購使紅帽成為領(lǐng)先的開源存儲產(chǎn)品供應(yīng)商，包括對象存儲、塊存儲和文件存儲。CEPH社區(qū)目前的活躍情況從Ceph項目誕生以來，紅帽公司總共貢獻了86%的代碼CEPH的廣大用戶群Ceph的設(shè)計架構(gòu)RADOS(Reliable,Autonomic,Distributed Object Store)可靠通過復(fù)制來避免數(shù)據(jù)丟失；自動自動檢測失效；自動恢復(fù)失效自動replicate；自動re-balance；分布式無中心結(jié)構(gòu)設(shè)計，理論上無上限；可輕松擴展到上千臺服務(wù)器，PB級容量；對象存儲RADOS就是一個完整的對象存儲系

3、統(tǒng)，所有存儲在Ceph系統(tǒng)中的用戶數(shù)據(jù)事實上最終都是由這一層來存儲的，包括Ceph FS的元數(shù)據(jù)RADOS包含2個組件：mon和osdCRUSH算法APPLICATIONMMMMMRADOS CLUSTEROSD(O)bject (S)torage (D)aemon（Device）系統(tǒng)部分守護進程部分每一個磁盤都會對應(yīng)一個OSD用于與mon和其他osd通訊以及維護更新狀態(tài)與其他osd完成數(shù)據(jù)存儲和維護與client端完成對各種數(shù)據(jù)對象的操作目前主要使用文件系統(tǒng)作為其后端，如XfsBtrfsExt4新版本中將支持更多的后端形式，如直接管理塊設(shè)備在一個集群中支持3-10000+的OSDFSDISK

4、OSDDISKOSDFSDISKOSDFSDISKOSDFSbtrfsxfsext4MMMMONMonitoring daemon維護集群的視圖和狀態(tài)OSD和monitor之間相互傳輸節(jié)點狀態(tài)信息，共同得出系統(tǒng)的總體工作狀態(tài)，并形成一個全局系統(tǒng)狀態(tài)記錄數(shù)據(jù)結(jié)構(gòu)，即所謂的集群視圖（cluster map）Mon1Mon2Mon3如何定位對象RADOS通過CRUSH（Controlled Replication Under Scalable Hashing)算法來定位對象不像其他的分布式文件系統(tǒng)，沒有單獨的元數(shù)據(jù)服務(wù)器用來維護數(shù)據(jù)和存儲對應(yīng)關(guān)系的數(shù)據(jù)結(jié)構(gòu)（延時、單點、性能瓶頸、擴展性）；通過純計算

5、來定位對象；無中央元數(shù)據(jù)服務(wù)器任何一個ceph客戶端只是不定期更新少量本地元數(shù)據(jù)，加以簡單的計算，就可以根據(jù)一個數(shù)據(jù)的ID來定位其存儲位置（無單點、高效、無瓶頸、無限擴展）；如何對對象（Objects）進行尋址RADOS GWRADOS GW是與Amazon S3和Swift兼容的RESTful API的gateway。RADOS GW提供的API抽象層次更高，但功能則不如librados強大通過RADOS來存儲對象通過RADOSGW可以實現(xiàn)對象存儲的異地容災(zāi)RBDRBD(Reliable Block Device)提供了一個標(biāo)準(zhǔn)的塊設(shè)備接口，常用于在虛擬化的場景下為虛擬機創(chuàng)建volume。目

6、前，Red Hat已經(jīng)將RBD驅(qū)動集成在KVM/QEMU中，以提高虛擬機訪問性能RBD的客戶端模塊已經(jīng)包含在RHEL7.1中可直接掛接rbd map foo -pool rbdmkfs.xfs /dev/rbd/rbd/foo與openstack集成支持cinder與glance支持snapshot支持COWCeph FS在RADOS之上構(gòu)建的POSIX兼容的文件系統(tǒng)可以通過linux內(nèi)核native的驅(qū)動cephfs.ko或者fuse來直接掛載Ceph FS需要元數(shù)據(jù)服務(wù)器（MDS）來定位文件，元數(shù)據(jù)記錄目錄層次文件元數(shù)據(jù)（屬組、權(quán)限、時間戳等等）元數(shù)據(jù)存儲在RADOS中只有Ceph FS才

7、使用MDSCeph和Openstack特性總結(jié)-擴展性高度可擴展架構(gòu)通過強大的CRUSH算法可以將集群擴展到上千個節(jié)點自動re-balance自動復(fù)制數(shù)據(jù)，可隨意擴容或者縮小容量在線分階段升級實現(xiàn)零宕機升級特性總結(jié)-API互操作性API兼容亞馬遜S3和Openstack對象存儲（Swift）與Openstack的塊存儲完全整合（Cinder/Glance）多開發(fā)語言支持librados支持各種k開發(fā)語言：PHP、Ruby、JAVA、Python、C&C+完整的管理API通過RESTFUL API管理所有的集群和對象存儲功能特性總結(jié)-安全訪問控制列表高細(xì)膩度的對象存儲用戶和用戶組的安全控制配額支

8、持對Cephfs設(shè)定使用額度特性總結(jié)-可用性在集群節(jié)點之間條帶和復(fù)制數(shù)據(jù)保證數(shù)據(jù)的持久性、高可用和高性能動態(tài)塊設(shè)備大小調(diào)整擴卷縮卷不會導(dǎo)致宕機快速數(shù)據(jù)定位不需要查找-客戶端通過計算就可以快速定位自動失效恢復(fù)可防止影響數(shù)據(jù)一致性和可用性的故障特性總結(jié)-性能支持Copy On Write的克隆可以快速的部署虛擬機的塊設(shè)備（block only）客戶端內(nèi)存的緩存內(nèi)核和Hypervisor（block only）支持大并發(fā)的數(shù)據(jù)IO是client/cluster方式而不是client/server分層緩存可將熱數(shù)據(jù)緩存于SSD設(shè)備以加速訪問Flash Journal以加速寫性能可定制的條帶大小針對諸如

9、視頻類的大文件或者圖片類小文件實現(xiàn)最優(yōu)化存儲多站點的對象存儲WEB APPLICATIONAPP SERVERCEPH OBJECT GATEWAY(RGW)CEPH STORAGE CLUSTER(US-EAST)WEB APPLICATIONAPP SERVERCEPH OBJECT GATEWAY(RGW)CEPH STORAGE CLUSTER(EU-WEST)多站點和災(zāi)難恢復(fù)支持Zone和Region通過全局名字空間來實現(xiàn)和S3類似的部署拓?fù)洌∣bject only）數(shù)據(jù)中心復(fù)制同步可在不同數(shù)據(jù)中心之間實現(xiàn)部分或者完全備份（Object only）讀親和力始終為本地用戶提供本地數(shù)據(jù)副本（Object only）將快照export給其他的數(shù)據(jù)中心異地災(zāi)難恢復(fù)（Block only）支持增量快照export降低網(wǎng)絡(luò)開銷，只同步變化部分（block only）擴展的RADOSRADOS可以橫跨2個異地的數(shù)據(jù)中心并經(jīng)過優(yōu)化設(shè)計（低網(wǎng)絡(luò)延時）歸檔/冷 存儲APPLICATIONCACHE POOL (REPLI