Ceph BlueStore與FileStore性能對比分析

1、 Ceph BlueStore 與 FileStore 性能對比分析BlueStore是Ceph的新存儲引擎，是社區(qū)版的默認配置。 BlueStore性能參數(shù)不包含在我們當前的Micron Accelerated Ceph存儲解決方案參考架構(gòu)中，因為Red Hat Ceph 3.0目前不支持它。 本文在Ceph參考架構(gòu)硬件上對社區(qū)版Ceph Luminous（12.2.4）進行了性能測試，并將結(jié)果與同樣硬件環(huán)境的RHCS 3.0中實現(xiàn)的FileStore性能進行比較。4KB隨機寫入IOPS性能提高18，平均延遲降低15，尾延遲降低99.99高達80。 使用BlueStore，在較高的隊列深度下

2、，4KB隨機讀取性能更好。該解決方案針對塊性能進行了優(yōu)化。 使用Linux中的Rados Block Driver進行隨機小塊測試，在雙插槽存儲節(jié)點中使鉑金級8168 Intel Purley處理器滿負荷運行。每個存儲節(jié)點有10個驅(qū)動器，該架構(gòu)具有232TB的可用存儲容量，可通過添加額外的1U存儲節(jié)點進行擴展。參考設(shè)計 - 硬件測試結(jié)果和分析Ceph測試方法Red Hat Ceph Storage 3.0（12.2.1）配置了FileStore，每個Micron 9200MAX NVMe SSD有2個OSD。 每個OSD使用20GB日志。Ceph Luminous Community（12.2

3、.4）配置了BlueStore，每個Micron 9200MAX NVMe SSD有2個OSD。 RocksDB和WAL數(shù)據(jù)與數(shù)據(jù)存儲在同一分區(qū)中。在這兩種配置中，每個存儲節(jié)點有10個驅(qū)動器，每個驅(qū)動器有2個OSD，總共80個OSD，可用容量為232TB。測試的Ceph存儲池是使用8192個pg和2副本創(chuàng)建的。 使用100個RBD快文件（每個75GB）測試性能，在2副本存儲池上提供7.5TB數(shù)據(jù)，總數(shù)據(jù)為15TB。使用FIO針對Rados Block Driver測試4KB隨機塊性能。 我們在所有測試中都受CPU限制，即使每個存儲節(jié)點使用2x Intel 8168 CPU也是如此。RBD FIO 4KB隨機寫性能：FileStore與BlueStoreBlueStore的IOPS增加約18，平均延遲減少約15。使用BlueStore，在更高的FIO客戶端數(shù)量下，Ceph的尾延遲也大大減少。 在100個客戶端，尾延遲減少了4.3倍。 在較低的客戶端數(shù)量下，BlueStore的尾延遲高于FileStore，因為BlueStore正在推動更高的性能。RBD FIO 4KB隨機讀取性能：FileStore與BlueStoreFileStore和BlueStore之間的4K