何雨：統(tǒng)一存儲Ceph之RADOS簡介

CephRADOS簡介(Reliable,AutonomicDistributedObjectStore)京東虛擬化總監(jiān)何雨heyu@2021/6/271架構(gòu)簡介兩個部分組成:由數(shù)目可變的大規(guī)模OSDs（ObjectStorageDevices）組成的集群，負責存儲所有的Objects數(shù)據(jù)由少量Monitors組成的強耦合、小規(guī)模集群，負責管理ClusterMap，其中ClusterMap是整個RADOS系統(tǒng)的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)，管理集群中的所有成員、關(guān)系、屬性等信息以及數(shù)據(jù)的分發(fā)。2021/6/2722021/6/273ClusterMap管理cluster的核心數(shù)據(jù)結(jié)構(gòu)指定了OSDs和數(shù)據(jù)分布信息monitor上存有最新副本依靠epoch增加來維護及時更新增量信息2021/6/274ClusterMap1.TheMonitorMapclusterfsid,theposition,nameaddressandportofeachmonitor2.TheOSDMapclusterfsid，alistofpools,replicasizes,PGnumbers,alistofOSDsandtheirstatus3.ThePGMap：PGversion,itstimestamp,thelastOSDmapepoch,thefullratios,anddetailsoneachplacementgroupsuchasthePGID,theUpSet,theActingSet,thestateofthePG(e.g.,active+clean),anddatausagestatisticsforeachpool.4.TheCRUSHMapalistofstoragedevices,thefailuredomainhierarchy(e.g.,device,host,rack,row,room,etc.),andrulesfortraversingthehierarchywhenstoringdata5.TheMDSMapMDSmapepoch，thepoolforstoringmetadata,alistofmetadataservers,andwhichmetadataserversareupandin2021/6/275數(shù)據(jù)存放1．Object到PG的映射。PG(PlacementGroup)是Objects的邏輯集合。相同PG里的Object會被系統(tǒng)分發(fā)到相同的OSDs集合中。由Object的名稱通過Hash算法得到的結(jié)果結(jié)合其他一些修正參數(shù)可以得到Object所對應(yīng)的PG。2．RADOS系統(tǒng)根據(jù)根據(jù)ClusterMap將PGs分配到相應(yīng)的OSDs。這組OSDs正是PG中的Objects數(shù)據(jù)的存儲位置。RADOS采用CRUSH算法實現(xiàn)了一種穩(wěn)定、偽隨機的hash算法。CRUSH實現(xiàn)了平衡的和與容量相關(guān)的數(shù)據(jù)分配策略。CRUSH得到的一組OSDs還不是最終的數(shù)據(jù)存儲目標，需要經(jīng)過初步的filter，因為對于大規(guī)模的分布式機群，宕機等原因使得部分節(jié)點可能失效，filter就是為過濾這些節(jié)點，如果過濾后存儲目標不能滿足使用則阻塞當前操作。2021/6/2762021/6/277關(guān)于pools是一個存儲對象的邏輯分區(qū)概念所有權(quán)/訪問對象對象副本的數(shù)目PG數(shù)目CRUSH規(guī)則集的使用以上后三項決定ceph最后如何存儲數(shù)據(jù)2021/6/278計算PG的ID1.Client輸入poolID和對象ID（如pool=‘liverpool’，object-id=‘john’）2.CRUSH獲得對象ID并對其hash3.CRUSH計算OSD個數(shù)hash取模獲得PG的ID（如0x58）4.CRUSH獲得已命名pool的ID（如liverpool=4）5.CRUSH預(yù)先考慮到poolID相同的PGID（如4.0x58）2021/6/279DeviceState

— in out— — assignedPGs notassignedPGsup online active online&idle &reachabledown unreachable unreachable failed ¬remapped2021/6/2710peer和setpeer屬于同一個PG彼此檢查心跳數(shù)據(jù)同步setActingsetPG內(nèi)所有osd屬于ActingsetUpsetPG內(nèi)up&in的osd2021/6/2711map傳播所有消息傳播都有一個epochclient端：首次進入去找monitor要最新副本存取時找OSD對比epochOSD端：peers之間保持心跳只保證兩個OSD之間同步2021/6/2712數(shù)據(jù)復(fù)制讀文件通過一個OSD主OSD寫文件通過多個OSD復(fù)制Client把對象寫進一個確定的PG組中的主OSD主OSD利用CRUSHmap用來確定二級OSDs，復(fù)制的對象放入其中。對象存儲成功后進行響應(yīng)client。2021/6/2713數(shù)據(jù)復(fù)制2021/6/2714錯誤檢測和恢復(fù)錯誤檢測：利用心跳上報monitor更新map錯誤恢復(fù)主osd主持恢復(fù)工作若主osd掛掉，二級osd選擇一個頂上2021/6/27152021/6/2716數(shù)據(jù)條帶化由于存儲設(shè)備吞吐量的限制，影響性能和可伸縮性?？缍鄠€存儲設(shè)備的連續(xù)塊條帶化存儲信息，以提高吞吐量和性能Ceph條帶化相似于RAID0注意：ceph條帶化屬于client端，不在RADOS范疇2021/6/2717注意：條帶化是獨立于對象副本的。由于CRUSH副本對象跨越OSDs，所以條帶自動的被復(fù)制。2021/6/2718條帶化參數(shù)ObjectSize:足夠大可以容納條帶單元，必須容納一個或者多個條帶單元