超融合數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)

超融合數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)01智能時(shí)代促使數(shù)據(jù)中心向算力中心演進(jìn)人類(lèi)社會(huì)正邁入萬(wàn)物感知、萬(wàn)物互聯(lián)、萬(wàn)物智能的智能時(shí)代，物聯(lián)網(wǎng)、大數(shù)據(jù)、5G、AI等新技術(shù)和各類(lèi)創(chuàng)新應(yīng)用層出不窮。我國(guó)在《中華人民共和國(guó)國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要》中再一次明確了“加快數(shù)字化發(fā)展，打造數(shù)字經(jīng)濟(jì)新優(yōu)勢(shì)，協(xié)同推進(jìn)數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型，加快數(shù)字社會(huì)建設(shè)步伐，提高數(shù)字政府建設(shè)水平，營(yíng)造良好數(shù)字生態(tài)，建設(shè)數(shù)字中國(guó)”的戰(zhàn)略方針。作為構(gòu)建數(shù)字化社會(huì)的信息基石——數(shù)據(jù)中心，他承擔(dān)著各類(lèi)應(yīng)用的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析與數(shù)據(jù)計(jì)算的重任。從數(shù)據(jù)中挖掘商業(yè)價(jià)值已成為企業(yè)經(jīng)營(yíng)的核心任務(wù)之一，因此數(shù)據(jù)中心也越來(lái)越聚焦對(duì)數(shù)據(jù)的高效處理，這種處理能力我們通常稱(chēng)為“算力”。算力成為衡量現(xiàn)代數(shù)字生產(chǎn)力的重要指標(biāo)。大家熟知的人臉識(shí)別、無(wú)人駕駛汽車(chē)、智慧工廠(chǎng)等，其背后都是數(shù)據(jù)中心對(duì)數(shù)字基礎(chǔ)設(shè)施的高效整合與使用，并將其轉(zhuǎn)化為某種應(yīng)用維度的算力。從這個(gè)意義上說(shuō)，數(shù)據(jù)中心又可以被稱(chēng)為“算力中心”。圖1-1數(shù)字化社會(huì)的信息基石——數(shù)據(jù)中心

運(yùn)營(yíng)商自動(dòng)駕駛大數(shù)據(jù)政府智造工廠(chǎng)物聯(lián)網(wǎng)金融智慧城市5G互聯(lián)網(wǎng)智慧能源AI智蔥醫(yī)療數(shù)據(jù)中心算力是服務(wù)器對(duì)數(shù)據(jù)進(jìn)行處理后實(shí)現(xiàn)結(jié)果輸出的能力，這是數(shù)據(jù)中心內(nèi)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)三大資源協(xié)同能力的綜合衡量指標(biāo)。根據(jù)ODCC（OpenDataCenterCommittee,開(kāi)放數(shù)據(jù)中心委員會(huì)）的定義，數(shù)據(jù)中心算力指標(biāo)包含4大核心要素，即：通用計(jì)算能力、高性能計(jì)算能力、存儲(chǔ)能力、網(wǎng)絡(luò)能力。在服務(wù)器規(guī)模不變的情

況下，提升網(wǎng)絡(luò)能力可顯著改善數(shù)據(jù)中心單位能耗下的算力水平。02什么是超融合數(shù)據(jù)中心網(wǎng)絡(luò)數(shù)據(jù)中心內(nèi)存在三大資源區(qū)：通用計(jì)算區(qū)、高性能計(jì)算（HPC）區(qū)和存儲(chǔ)區(qū)。圖1-2數(shù)據(jù)中心內(nèi)存在的三大資源區(qū)通用計(jì)算區(qū)fQQ311爾?通用計(jì)算區(qū)fQQ311爾?IE3E3IRBEfflQQ、（-:存儲(chǔ)區(qū) 高性能計(jì)算區(qū)通用計(jì)算區(qū)：與數(shù)據(jù)中心外部的用戶(hù)對(duì)接，提供指定的應(yīng)用服務(wù)。這個(gè)區(qū)域中的服務(wù)器大量使用虛擬化、容器等技術(shù)，形成靈活的資源池來(lái)承載應(yīng)用。本區(qū)域中的網(wǎng)絡(luò)被稱(chēng)為應(yīng)用網(wǎng)絡(luò)、業(yè)務(wù)網(wǎng)絡(luò)或前端網(wǎng)絡(luò)，當(dāng)前部署的是以太網(wǎng)。高性能計(jì)算區(qū)：配備了專(zhuān)用的高性能單元（如CPU、GPU）的服務(wù)器，完成指定的高性能計(jì)算任務(wù)或AI訓(xùn)練。這個(gè)區(qū)域中的服務(wù)器一般很少使用虛擬技術(shù)。本區(qū)域中的網(wǎng)絡(luò)被稱(chēng)為高性能計(jì)算互聯(lián)網(wǎng)絡(luò)當(dāng)前部署的是IB（InfiniBand）網(wǎng)絡(luò)。存儲(chǔ)區(qū)：采用專(zhuān)用的存儲(chǔ)服務(wù)器，對(duì)各類(lèi)數(shù)據(jù)進(jìn)行存儲(chǔ)、讀寫(xiě)和備份。本區(qū)域中的網(wǎng)絡(luò)一般被稱(chēng)為存儲(chǔ)網(wǎng)絡(luò)，通常部署的是FC（Fibre

Channel）網(wǎng)絡(luò)。算力持續(xù)穩(wěn)定的輸出，離不開(kāi)三大資源區(qū)的相互配合。作為聯(lián)接數(shù)據(jù)中心各類(lèi)資源的大動(dòng)脈，數(shù)據(jù)中心網(wǎng)絡(luò)承載著保障數(shù)據(jù)高效流通的職責(zé)。圖1-3三大區(qū)域之間的數(shù)據(jù)流通用計(jì)算區(qū)EZIE3通用計(jì)算

網(wǎng)絡(luò)寫(xiě)入數(shù)據(jù)IEZIOI[C3Q3I|E3E3] |EJE3|寫(xiě)入數(shù)據(jù)算迭應(yīng)用莒?存儲(chǔ)網(wǎng)絡(luò)酉0算法訓(xùn)練"尤化計(jì)算網(wǎng)絡(luò)呂莒?存儲(chǔ)網(wǎng)絡(luò)酉0算法訓(xùn)練"尤化計(jì)算網(wǎng)絡(luò)呂=§—**存儲(chǔ)區(qū) 高性能計(jì)算區(qū)當(dāng)前，通用計(jì)算區(qū)部署的傳統(tǒng)以太網(wǎng)、高性能計(jì)算區(qū)部署的IB網(wǎng)、存儲(chǔ)區(qū)部署的FC網(wǎng)，是三張異構(gòu)網(wǎng)絡(luò)，他們協(xié)議各異、架構(gòu)割裂，帶來(lái)了運(yùn)維困難、專(zhuān)網(wǎng)生態(tài)封閉、成本高、無(wú)法實(shí)現(xiàn)全生命周期管理等問(wèn)題。數(shù)據(jù)中心里這三張網(wǎng)絡(luò)的融合，成為算力提升的必然要求。華為超融合數(shù)據(jù)中心網(wǎng)絡(luò)以全無(wú)損以太網(wǎng)來(lái)構(gòu)建新型的數(shù)據(jù)中心網(wǎng)絡(luò)，使通用計(jì)算、高性能計(jì)算、存儲(chǔ)三大業(yè)務(wù)均能融合部署在同一張以太網(wǎng)上，同時(shí)實(shí)現(xiàn)全生命周期自動(dòng)化和全網(wǎng)智能運(yùn)維。IT架構(gòu)層面：從本地集中式走向云端分布式當(dāng)前一些新興的應(yīng)用，如區(qū)塊鏈、工業(yè)仿真、人工智能、大數(shù)據(jù)等，基本都建立在云計(jì)算的底座中。近些年，企業(yè)各類(lèi)業(yè)務(wù)上云的步伐不斷加速，云可以提供按需自助服務(wù)、快速?gòu)椥陨炜s、多租戶(hù)安全隔離、降低項(xiàng)目前期投資等價(jià)值優(yōu)勢(shì)。另外，在企業(yè)的數(shù)字化轉(zhuǎn)型中，以金融和互聯(lián)網(wǎng)企業(yè)為代表，大量的應(yīng)用系統(tǒng)逐漸遷移到分布式系統(tǒng)上，也就是通過(guò)海量的PC平臺(tái)來(lái)替代傳統(tǒng)的小型機(jī)。這么做帶來(lái)了高性?xún)r(jià)比、易擴(kuò)展、自主可控等好處，但分布式系統(tǒng)架構(gòu)同時(shí)也帶來(lái)了服務(wù)器節(jié)點(diǎn)之間大量的網(wǎng)絡(luò)互通需求。以太網(wǎng)已經(jīng)成為云化分布式場(chǎng)景中的事實(shí)網(wǎng)絡(luò)標(biāo)準(zhǔn)：以太網(wǎng)已具有很高的開(kāi)放性，可以與各種云融合部署、可被云靈活調(diào)用管理。以太網(wǎng)具有很好的擴(kuò)展性、互通性、彈性、敏捷性和多租戶(hù)安全能力。以太網(wǎng)可以滿(mǎn)足新業(yè)務(wù)超大帶寬的需求。以太網(wǎng)從業(yè)人員多，用戶(hù)基礎(chǔ)好。而傳統(tǒng)數(shù)據(jù)中心高性能計(jì)算使用的IB網(wǎng)絡(luò)，以及集中式存儲(chǔ)使用的FC網(wǎng)絡(luò)，生態(tài)封閉，資源割裂，演進(jìn)緩慢，已無(wú)法匹配云化的發(fā)展訴求。根據(jù)IDC數(shù)據(jù)顯示，近年來(lái)FC和IB市場(chǎng)逐步萎縮，數(shù)據(jù)中心的云化趨勢(shì)助長(zhǎng)了對(duì)以太網(wǎng)的需求，以太網(wǎng)是當(dāng)前以及未來(lái)主要的數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)互聯(lián)技術(shù)。計(jì)算層面：CPU/GPU出以太接口提升性能以人工智能為代表的一系列創(chuàng)新應(yīng)用正在快速發(fā)展，而人工智能后臺(tái)算法依賴(lài)海量的樣本數(shù)據(jù)和高性能的計(jì)算能力。為了滿(mǎn)足海量數(shù)據(jù)訓(xùn)練的大算力要求，一方面可以提升CPU單核性能，但是目前單核芯片工藝在3nm左右，且成本較高；另外一方面，可以疊加多核來(lái)提升算力，但隨著核數(shù)的增加，單位算力功耗也會(huì)顯著增長(zhǎng)，且總算力并非線(xiàn)性增長(zhǎng)。據(jù)測(cè)算，當(dāng)128核增至256核時(shí)，總算力水平無(wú)法提升1.2倍。隨著算力需求的不斷增長(zhǎng)，從P級(jí)（PFLOPS,—秒1015次浮點(diǎn)運(yùn)算）向E級(jí)（EFLOPS,—秒1018次浮點(diǎn)運(yùn)算）演進(jìn)，計(jì)算集群的規(guī)模不斷擴(kuò)大，對(duì)集群之間互聯(lián)的網(wǎng)絡(luò)性能要求也越來(lái)越高，這使得計(jì)算和網(wǎng)絡(luò)深度融合成為必然。在計(jì)算處理器上，傳統(tǒng)的PCIe的總線(xiàn)標(biāo)準(zhǔn)由于單通道傳輸帶寬有限，且通道擴(kuò)展數(shù)量也有限，已經(jīng)無(wú)法滿(mǎn)足目前大吞吐高性能計(jì)算場(chǎng)景的要求。當(dāng)前業(yè)界的主流是在計(jì)算處理器內(nèi)集成RoCE（RemoteDirectMemoryAccessoverConvergedEthernet基于融合以太的遠(yuǎn)程內(nèi)存直接訪(fǎng)問(wèn)協(xié)議）以太端口，從而讓數(shù)據(jù)通過(guò)標(biāo)準(zhǔn)以太網(wǎng)在傳輸速度和可擴(kuò)展性上獲得了巨大的提升。這里的RemoteDirectMemoryAccess（RDMA）是相對(duì)于TCP而言的，如下圖所示，在服務(wù)器內(nèi)部，傳統(tǒng)的TCP協(xié)議棧在接收/發(fā)送報(bào)文，以及對(duì)報(bào)文進(jìn)行內(nèi)部處理時(shí)，會(huì)產(chǎn)生數(shù)十微秒的固定時(shí)延，這使得在AI數(shù)據(jù)運(yùn)算這類(lèi)微秒級(jí)系統(tǒng)中，TCP協(xié)議棧時(shí)延成為最明顯的瓶頸。另外，隨著網(wǎng)絡(luò)規(guī)模的擴(kuò)大和帶寬的提高，寶貴的CPU資源越來(lái)越地多被用于傳輸數(shù)據(jù)。卑1RDMA與TCP的對(duì)比RDMA允許應(yīng)用與網(wǎng)卡之間的直接數(shù)據(jù)讀寫(xiě)，將服務(wù)器內(nèi)的數(shù)據(jù)傳輸時(shí)延降低到接近1US。同時(shí)，RDMA允許接收端直接從發(fā)送端的內(nèi)存讀取數(shù)據(jù)，極大地減少了CPU的負(fù)擔(dān)。在高性能計(jì)算場(chǎng)景中，當(dāng)前有兩種主流方案來(lái)承載RDMA:專(zhuān)用IB(InfiniBand)網(wǎng)絡(luò)和以太網(wǎng)絡(luò)。然而，IB網(wǎng)絡(luò)采用私有協(xié)議，架構(gòu)封閉，難以與現(xiàn)網(wǎng)大規(guī)模的IP網(wǎng)絡(luò)實(shí)現(xiàn)很好的兼容互通，同時(shí)IB網(wǎng)絡(luò)運(yùn)維復(fù)雜，OPEX居高不下。用以太網(wǎng)承載RDMA數(shù)據(jù)流，即上文提到的RoCE，已應(yīng)用在越來(lái)越多的高性能計(jì)算場(chǎng)景。存儲(chǔ)層面：升級(jí)為全閃存NVMe接口新業(yè)務(wù)對(duì)海量數(shù)據(jù)的存儲(chǔ)和讀寫(xiě)需求，催生了存儲(chǔ)介質(zhì)的革新，由HDD（HardDiskDrive,機(jī)械硬盤(pán)）快速向SSD（Solid-StateDrive,固態(tài)硬盤(pán)）切換，這帶來(lái)了存儲(chǔ)性能近100倍的提升。在此過(guò)程中，出現(xiàn)了NVMe（Non-VolatileMemoryexpress，非易失性?xún)?nèi)存主機(jī)控制器接口規(guī)范）存儲(chǔ)協(xié)議，NVMe極大提升了存儲(chǔ)系統(tǒng)內(nèi)部的存儲(chǔ)吞吐性能,降低了傳輸時(shí)延。相比而言，原來(lái)承載存儲(chǔ)業(yè)務(wù)的FC網(wǎng)絡(luò)，無(wú)論從帶寬還是時(shí)延上，均已經(jīng)成為當(dāng)前存儲(chǔ)網(wǎng)絡(luò)的瓶頸。完成革新后的全新存儲(chǔ)系統(tǒng)，需要一個(gè)更快、更高質(zhì)量的網(wǎng)絡(luò)。為此，存儲(chǔ)與網(wǎng)絡(luò)從架構(gòu)和協(xié)議層進(jìn)行了深度重構(gòu)，新一代存儲(chǔ)網(wǎng)絡(luò)技術(shù)NVMeoverFabric（簡(jiǎn)稱(chēng)NVMe-oF）應(yīng)運(yùn)而生。NVMe-oF將NVMe協(xié)議應(yīng)用到服務(wù)器主機(jī)前端，作為存儲(chǔ)陣列與前端主機(jī)連接的通道，可端到端取代SAN網(wǎng)絡(luò)中的SCSI（SmallComputerSystemInterface，小型計(jì)算機(jī)系統(tǒng)接口）協(xié)議。㈢MVMe-oF機(jī)棍矗盤(pán)存儲(chǔ)a昌團(tuán)12NVMmF的產(chǎn)主背繪更快的接口更快的介底全閃存存悔塞甌㈢MVMe-oF機(jī)棍矗盤(pán)存儲(chǔ)a昌團(tuán)12NVMmF的產(chǎn)主背繪更快的接口更快的介底全閃存存悔塞甌*NVMe需密蟲(chóng)快的網(wǎng)培.回］眉固態(tài)通蠱存儲(chǔ)苗統(tǒng)存儲(chǔ)塞統(tǒng)NVMeoverFabric中的“Fabric”是NVMe的承載網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)可以是FC、TCP或RMDA。對(duì)于FC，其技術(shù)封閉、產(chǎn)業(yè)生態(tài)不及以太網(wǎng)；產(chǎn)業(yè)規(guī)模有限，技術(shù)發(fā)展相對(duì)遲緩，帶寬不及以太網(wǎng)；從業(yè)人員稀缺、運(yùn)維成本高、故障排除效率低。對(duì)于TCP，在追求應(yīng)用高性能的網(wǎng)絡(luò)大潮中，RDMA替換TCP已成為大勢(shì)所趨。對(duì)于RDMA，主流技術(shù)是RoCE（RDMAoverConvergedEthernet），即NVMeoverRoCE，他是基于融合以太網(wǎng)的RDMA技術(shù)來(lái)承載NVMe。綜上所述，基于以太網(wǎng)的RoCE比FC性能更高（更高的帶寬、更低的時(shí)延），同時(shí)兼具TCP的優(yōu)勢(shì)（全以太化、全I(xiàn)P化），因此NVMeoverRoCE作為新一代存儲(chǔ)網(wǎng)絡(luò)已經(jīng)脫穎而出，成為業(yè)界NVMe-oF的主流技術(shù)。網(wǎng)絡(luò)運(yùn)維層面：部署與運(yùn)維的全方位升級(jí)在數(shù)據(jù)中心網(wǎng)絡(luò)，當(dāng)前存在幾個(gè)較為突出的問(wèn)題與挑戰(zhàn)：管理難：數(shù)據(jù)中心網(wǎng)絡(luò)