基于DPU的高性能存儲網(wǎng)絡(luò)技術(shù)報告 2024

[編號ODCC-2024-03001]開放數(shù)據(jù)中心標(biāo)準(zhǔn)推進(jìn)委員會2024.09發(fā)布C2024-03001版權(quán)聲明轉(zhuǎn)載、摘編或利用其它方式使用ODCC成果中的文字或者觀點(diǎn)的，應(yīng)注明I編寫組 I 1 2 3 4 6 7 8 11 12 C2024-030011存算分離式數(shù)據(jù)中心常用的網(wǎng)絡(luò)協(xié)議為TCP(TransmissionControl程直接內(nèi)存訪問)協(xié)議。TCP協(xié)議作為計算節(jié)點(diǎn)和存儲節(jié)點(diǎn)之間的通性和易用性；RDMA則連接存儲服務(wù)器，包括塊服務(wù)器和塊存儲服到計算機(jī)內(nèi)存中，可旁路CPU控制。為支持更高性能的高速存儲設(shè)存儲介質(zhì)接口)被廣泛采用，旨在解決傳統(tǒng)網(wǎng)絡(luò)存儲協(xié)議在高速存儲和效率。NVMe-oF協(xié)議基于NVMe協(xié)議設(shè)計的高性層以及網(wǎng)絡(luò)層。2C2024-03001NVMe網(wǎng)絡(luò)存儲定義NVMe設(shè)備的結(jié)構(gòu)以及它與主機(jī)的交互方式，包括NVMe的層次結(jié)構(gòu)，即命名空間、控制器、隊(duì)列和數(shù)據(jù)結(jié)構(gòu)等。傳輸層綁定標(biāo)準(zhǔn)將NVMe協(xié)議轉(zhuǎn)換為特定的網(wǎng)絡(luò)傳輸格式。NVMe傳輸層定義NVMe語義基于不同網(wǎng)絡(luò)傳輸層的交互機(jī)制與數(shù)傳輸保證。釋放SSD介質(zhì)的能力，要求更高性能的存儲網(wǎng)絡(luò)支持。相比于傳統(tǒng)的通道，避免將存儲協(xié)議封裝成TCP/IP數(shù)據(jù)包的多次的序列化和反3C2024-03001基于NVMe-oF存儲網(wǎng)絡(luò)協(xié)議，存算分離數(shù)據(jù)云存儲需要的虛擬化等功能[3]。目前急需一種方案將存儲相關(guān)的服務(wù)從主機(jī)側(cè)解耦，從而釋放主機(jī)到用戶服務(wù)，并提升存儲訪問性能。智算中心已經(jīng)普遍使用NVMe-oF技術(shù)，進(jìn)一步實(shí)現(xiàn)存儲的硬件全卸分網(wǎng)絡(luò)和存儲協(xié)議等占用了服務(wù)器主機(jī)約30%的資源，引入高昂的4“數(shù)據(jù)中心稅”[4]。另一方面，隨著CPU性能提升的放緩，通用CPUDPU(DataProcessingUnit)是一種以數(shù)據(jù)為中心構(gòu)造的專用處理絡(luò)存儲遇到的性能瓶頸。基于DPU的存算分離數(shù)據(jù)中心架構(gòu)如圖4與壓縮解壓縮等，能夠進(jìn)一步加快對存儲數(shù)據(jù)的處理。DPU通過硬5iWARP（InternetWideAreaRDMAProtocal）基于TCP/IP協(xié)議的RDMA技術(shù)，由IETF標(biāo)準(zhǔn)定義。iWAR設(shè)施上使用RDMA技術(shù)，但服務(wù)器需要使用支持iWARP的網(wǎng)卡。6C2024-03001RoCE（RDMAoverConvergedEthernet）基于以太網(wǎng)的RDMA而支持在標(biāo)準(zhǔn)以太網(wǎng)基礎(chǔ)設(shè)施上使用RDMA技術(shù)。RoCE包括v1和太網(wǎng)傳輸，因此企業(yè)需要采購支持RDMA流控的交換機(jī)配合RoCERoCE技術(shù)支持在以太網(wǎng)上承載IB協(xié)議，實(shí)現(xiàn)RDMAover僅網(wǎng)絡(luò)層及以太網(wǎng)鏈路層存在差異，RoCE架構(gòu)如圖5所示。7RoCEv1協(xié)議：基于以太網(wǎng)承載RDMA，只能部署于二層網(wǎng)絡(luò)，支持基于源端口號hash，采用ECMP實(shí)現(xiàn)負(fù)載分擔(dān)，提高網(wǎng)絡(luò)利用RDMA的服務(wù)類型，包含連接服務(wù)及數(shù)據(jù)報服務(wù)，按照可靠性8數(shù)據(jù)報服務(wù)與面向連接恰好相反，QP不會跟一個唯一點(diǎn)綁定，而是通過WQE（WorkQueueElement）來指定目的節(jié)點(diǎn)。按照連接和可靠兩個標(biāo)準(zhǔn)，RDMA可以支持四種不同的傳輸模）：QP相連，連接是不可靠的，所以數(shù)據(jù)包可能有丟失。傳輸層出錯的它任意的UP/QP進(jìn)行數(shù)據(jù)傳輸和單包數(shù)據(jù)的接收。不保證按序性和9NVMe-oF是一種基于NVMe協(xié)議提出的網(wǎng)絡(luò)處理能力和數(shù)據(jù)處理效率。NVMe-oFNVMeoverRDMA基于RDMA網(wǎng)絡(luò)協(xié)議，包括RoCE、IB案允許遠(yuǎn)程主機(jī)直接從存儲器中讀寫數(shù)據(jù)，無需CPU的干預(yù)，從而能計算和存儲系統(tǒng)。NVMeoverFC協(xié)議標(biāo)準(zhǔn)為F在本報告的實(shí)現(xiàn)方式中，采用最為廣泛應(yīng)用的NVMeoverDPU(DataProcessUnits，數(shù)據(jù)處理器)是以數(shù)據(jù)處理為核心的強(qiáng)I/O處理器，采用軟件定義技術(shù)路線支撐基礎(chǔ)設(shè)儲、安全服務(wù)質(zhì)量管理等基礎(chǔ)設(shè)施層服務(wù)[5]。網(wǎng)絡(luò)是DPU最基礎(chǔ)的功能之一，通過卸載TCP/IP協(xié)議棧和虛擬交換機(jī)等方式，加速傳統(tǒng)網(wǎng)絡(luò)處理。加速存儲也是DPU一個重要的功能，通過卸載網(wǎng)絡(luò)DPU是一種把數(shù)據(jù)中心的計算、存儲、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施云化并于virtio-blk、NVMe等業(yè)界標(biāo)準(zhǔn)I/O設(shè)備模型，成為了必須。NVMe/virtio-blk設(shè)備虛擬化通過調(diào)度外部存儲資源，基于本地PCIe署本地存儲資源。任何需要產(chǎn)生IO請求或者訪問數(shù)據(jù)的業(yè)務(wù)邏輯，都會通過NVMe/virtio-blk設(shè)備虛擬化框架重定向到基于網(wǎng)絡(luò)的對遠(yuǎn)端存儲。在NVMeoverRDMA協(xié)議的場景，NVMe/virtio-bNon-offload模式C2024-03001所有數(shù)據(jù)都經(jīng)過EmbeddedCPU側(cè)到NIC發(fā)送出去。基于SPDK框架實(shí)現(xiàn)，每個設(shè)備對應(yīng)一個SPDK實(shí)現(xiàn)自己的存儲協(xié)議Zero-copy模式允許應(yīng)用直接從主機(jī)內(nèi)存?zhèn)鬏敂?shù)據(jù)到遠(yuǎn)端存儲，到遠(yuǎn)端存儲，不再需要兩次DMA（Host->EmbeddedCPU,CPU->NIC實(shí)現(xiàn)數(shù)據(jù)面加速。Zero-copyC2024-03001C2024-03001DPU卸載的高性能存儲網(wǎng)絡(luò)在裸金屬和虛擬化兩種應(yīng)用場景下，具遠(yuǎn)程資源本地化是裸金屬場景優(yōu)化的重點(diǎn)，即利用DPU卸載的時，存儲資源對主機(jī)只表現(xiàn)為NVMe設(shè)備，裸金屬服務(wù)器可以直接通過NVMe驅(qū)動訪問遠(yuǎn)端的存儲，而不需要經(jīng)過頻繁的上下文切換與數(shù)據(jù)拷貝（如圖所示），從而利用DPU卸載的高性能存儲網(wǎng)絡(luò)達(dá)虛擬化場景中云服務(wù)提供商通過虛擬化技術(shù)將物理機(jī)變?yōu)槎鄠€展性和可靠性。通常被用于需要靈活性和彈性的應(yīng)用場景，如Web等。這些內(nèi)存拷貝操作會占用大量CPU時間，影響網(wǎng)絡(luò)C2024-03001耗大量CPU時間和資源。在虛擬化環(huán)境中，多個虛擬機(jī)共享壓縮解壓縮等，不僅需要增加CPU時間計算，而且會增加額遠(yuǎn)程資源虛擬化是虛擬機(jī)場景優(yōu)化的重點(diǎn)，即利用DPU卸載的高性能存儲網(wǎng)絡(luò)，在主機(jī)側(cè)模擬遠(yuǎn)端存儲設(shè)備成為本地NVMe存儲C2024-03001基于DPU的新一代存儲卸載方案必將以其更先如圖所示，DPU在智算中心基礎(chǔ)設(shè)施不僅僅承擔(dān)著無損網(wǎng)絡(luò)的產(chǎn)品的發(fā)展提出了新的挑戰(zhàn)，同時也為異構(gòu)計算與DPU指明了新的C2024-03001[1]舒繼武