基于SPDK的高性能企業(yè)級(jí)分布式存儲(chǔ)

基于SPDK的高性能企業(yè)級(jí)分布式存儲(chǔ)edStorageEDSwithSPDKEDS背景?基于SPDK的高性能存儲(chǔ)2020SPDK,PMDK&Intel?VTune?ProfilerVirtualForum R聯(lián)網(wǎng)K頻生2020SPDK,PMDK&Intel?VTune?ProfilerVirtualForum全閃存硬盤池?cái)?shù)據(jù)庫(kù)/虛擬機(jī)window共享存儲(chǔ)深信服企業(yè)級(jí)分布式存儲(chǔ)EDS全閃存硬盤池?cái)?shù)據(jù)庫(kù)/虛擬機(jī)window共享存儲(chǔ)BwBFile Docker 共享存儲(chǔ)存儲(chǔ)App儲(chǔ)合硬盤池集群集群2020SPDK,PMDK&Intel?VTune?ProfilerVirtualForumEDS背景?基于SPDK的高性能存儲(chǔ)2020SPDK,PMDK&Intel?VTune?ProfilerVirtualForum發(fā)揮NVMeSSD&RDMA潛能RDMARoCev存拷貝延時(shí)@9-16usTCPIPFC的2分之12020SPDK,PMDK&Intel?VTune?ProfilerVirtualForum應(yīng)用層資源管理層/離線集群檢索分級(jí)存儲(chǔ)：成本和性能兼顧應(yīng)用層資源管理層/離線集群檢索層集群命周期管理(數(shù)據(jù)分級(jí)，數(shù)據(jù)遷移，分布查詢)熱溫冷熱溫冷一套存儲(chǔ)對(duì)接不同應(yīng)用類型HPC/非編大數(shù)據(jù)分析媒資/歸檔數(shù)據(jù)自動(dòng)遷移自定義遷移策略，實(shí)現(xiàn)冷熱數(shù)據(jù)的自動(dòng)遷移統(tǒng)一命名空間數(shù)據(jù)遷移計(jì)算側(cè)無(wú)感知2020SPDK,PMDK&Intel?VTune?ProfilerVirtualForum原有架構(gòu)的問(wèn)題揮設(shè)備的性能需要IO棧上各模塊的協(xié)同優(yōu)化2020SPDK,PMDK&Intel?VTune?ProfilerVirtualForumEDS背景?基于SPDK的高性能存儲(chǔ)2020SPDK,PMDK&Intel?VTune?ProfilerVirtualForumEDS分級(jí)存儲(chǔ)架構(gòu)?基于SPDK線程模型?run-to-complete兼容TCP2020SPDK,PMDK&Intel?VTune?ProfilerVirtualForumrun-to-complete2020SPDK,PMDK&Intel?VTune?ProfilerVirtualForum?使用SPDK內(nèi)存池2020SPDK,PMDK&Intel?VTune?ProfilerVirtualForum系統(tǒng)實(shí)現(xiàn)中遇到的困難?需要異步編程?一個(gè)模塊出錯(cuò)所有模塊受影響?需要精細(xì)的內(nèi)存生命周期管理?大頁(yè)內(nèi)存調(diào)試?yán)щy?需要了解RDMA底層多項(xiàng)參數(shù)設(shè)置?擁塞等異常情況處理2020SPDK,PMDK&Intel?VTune?ProfilerVirtualForumEDS背景?基于SPDK的高性能存儲(chǔ)2020SPDK,PMDK&Intel?VTune?ProfilerVirtualForumPhxrpc性能?測(cè)試兩臺(tái)服務(wù)器之間RPC通信的性能?單核4K單深度延遲11us?單核16深度QPS650k對(duì)比原rpc提升8倍2020SPDK,PMDK&Intel?VTune?ProfilerVirtualForumPhxtier整體性能?三臺(tái)服務(wù)器搭建分級(jí)存儲(chǔ)集群?分別從3個(gè)客戶端接入集群，使用Fio進(jìn)行4k隨機(jī)寫測(cè)試?單客戶端單深度延遲45us?3客戶端32深度IOPS1100k對(duì)比原系統(tǒng)提高5倍2020SPDK,PMDK&Intel?VTune?ProfilerVirtualForum每EDS1210節(jié)點(diǎn)配置：?Skylake4210@2.4GHz*每EDS1210節(jié)點(diǎn)配置：?Skylake4210@2.4GHz*2?64GBDDR4RAM?IntelOptane750GB*2DDTB?前端網(wǎng)絡(luò)：25GbENIC?存儲(chǔ)網(wǎng)絡(luò)：25GbE雙網(wǎng)口聚合高帶寬低延時(shí)使用IntelOptane作為緩存，加速分源池進(jìn)行數(shù)據(jù)分層存儲(chǔ)后端存儲(chǔ)網(wǎng)絡(luò)使用基于以太網(wǎng)的RDMA協(xié)議，實(shí)現(xiàn)分布式節(jié)點(diǎn)之間高效內(nèi)存拷貝，大大降低了IO延時(shí)2020S