華為FusionStorage架構(gòu)分析-文檔資料

1、1華為FusionStorage架構(gòu)分析常濤2基本功能接口： scsi/iscsi數(shù)據(jù)服務(wù)：快照，克隆，精簡配置，分布式cache，備份（全量，增量），復(fù)制（基于volume的異步復(fù)制）存儲基本功能：集群狀態(tài)控制，分布式數(shù)據(jù)分布（DHT），rebuild，reblance過程控制，強(qiáng)一致性協(xié)議3基本組件FusionStorage Manager: 管理模塊，提供告警，監(jiān)控，日志等信息。FustionStorage Agent：代理進(jìn)程，實(shí)現(xiàn)和FusitonStorage Manager的通信。MDC（meta data cluster）：集群管理，負(fù)責(zé)集群狀態(tài)的監(jiān)控，數(shù)據(jù)分布規(guī)則，數(shù)據(jù)rebu

2、ild的過程控制。（使用zookeeper）VBS（virtual block system）客戶端，提供分布式塊存儲集群接入點(diǎn)服務(wù)。OSD：數(shù)據(jù)服務(wù)組件。每個磁盤對應(yīng)一個OSD（類似于Ceph）4關(guān)鍵技術(shù)：數(shù)據(jù)分布（數(shù)據(jù)路由）FusionStorage采用DHT算法 需要全局保存Partition disk 的映射表1）（LUN1，LBA）生產(chǎn)key2）通過key，通過計(jì)算hash值可得到 Partition3）通過查找全局的 partition 到disk 的路由表，可知具體的disk的值優(yōu)點(diǎn)：1）保存partition到disk的映射表，可以實(shí)現(xiàn)負(fù)載均衡 2）保存的元數(shù)據(jù)比較少，可以支持

3、的規(guī)模比較大。缺點(diǎn)：副本控制和分布的粒度是pool級別，volume級別的數(shù)據(jù)分布和副本的控制比較難。5關(guān)鍵技術(shù)：Cache機(jī)制 Write Cache SSD cache，直接寫SSD返回 數(shù)據(jù)定期從SSD批量刷回HDD磁盤 Read Cache： 內(nèi)存 SSD read cache HDD 磁盤Cache沒有啥特別的。關(guān)鍵看cache緩存算法的實(shí)現(xiàn)優(yōu)劣。6關(guān)鍵技術(shù)：讀寫IO流程讀操作： 直接讀Primary OSD寫操作：客戶端VBS發(fā)給Primary OSDPrimary OSD同時發(fā)送給本地磁盤和 Second OSD1) Primary OSD等待 Primary OSD 和 Sec

4、ond OSD的操作都完成，才向客戶端應(yīng)答。沒啥特別設(shè)計(jì)，基本流程都一樣。7關(guān)鍵技術(shù)：快照/克隆FusionStorage 采用 ROW 快照技術(shù) 優(yōu)點(diǎn)是寫操作性能幾乎不受損失 讀操作，特別是順序讀操作，會有影響？如果使用DHT技術(shù)，ROW快照的機(jī)制具體如何實(shí)現(xiàn)？ Ceph的機(jī)制？ 快照的信息記錄在每個對象的屬性上 Sheepdog的機(jī)制？的機(jī)制？ 快照的信息記錄在整個快照的信息記錄在整個volume的屬性上的屬性上Consistent Group 不支持？ 快照的實(shí)現(xiàn)，應(yīng)該是基于sheepdog的原理實(shí)現(xiàn)。ROW機(jī)制的快照還是挺不錯的。8關(guān)鍵技術(shù)：數(shù)據(jù)一致性協(xié)議/掉電保護(hù) 每個IO有編號（通

5、過編號，實(shí)現(xiàn)順序處理） 主OSD和備OSD所接收到的IO編號處理順序完全一致。 ordered request 實(shí)現(xiàn)（類似Ceph的pg log, 性能是瓶頸嗎？） FusitonStorage的保電介質(zhì) NVDIM & PCIe SSD 所有的元數(shù)據(jù) + 數(shù)據(jù)都緩存在 保電介質(zhì)中，系統(tǒng)掉電重啟后replay類似ceph，NVDIM或者PCIe SSD 做日志（包括元數(shù)據(jù)和數(shù)據(jù)）9關(guān)鍵技術(shù)：平滑擴(kuò)容 DHT 技術(shù)比較容易的支持 Reblance/Rebuild 時的所占資源的控制 （沒有提到） 在恢復(fù)速度和不影響前端性能之間平衡10關(guān)鍵技術(shù)：災(zāi)備 基于volume的同步復(fù)制 同城雙活 基于故障域?qū)崿F(xiàn)的雙活。但是難以實(shí)現(xiàn)基于volume的同步復(fù)制 基于volume的異步復(fù)制 異地復(fù)制 基于快照實(shí)現(xiàn)的全量和增量備份 可基于Volume的實(shí)現(xiàn)11其它功能 分布式緩存 有必要嗎？ 如果負(fù)載均衡 針對熱點(diǎn)？讀熱點(diǎn)緩存在cache中，寫熱點(diǎn)也沒法分布式啊？ 支持InifiniBand高速網(wǎng)絡(luò) Data Scrub 定時檢測存儲數(shù)據(jù) 提前預(yù)防數(shù)據(jù)錯誤 硬盤可靠性 壞塊標(biāo)