在網(wǎng)計(jì)算(NACA)技術(shù)白皮書(shū)

在網(wǎng)計(jì)算（NACA在網(wǎng)計(jì)算（NACA）技術(shù)白皮書(shū)（2023年）PAGEPAGE10目錄TOC\o"1-2"\h\z\u需求 2景 4算算心 4算物聯(lián) 6算構(gòu) 9架構(gòu) 9NACA征 圖 15術(shù)戰(zhàn) 18射 18確障 19序排 19池化 20望 23獻(xiàn) 24列表 25高性能計(jì)算（HPC）和人工智能（AI）等技術(shù)的發(fā)展正不斷推動(dòng)生物醫(yī)藥、模型參數(shù)總量已經(jīng)達(dá)到千億級(jí)別，高性能計(jì)算也已經(jīng)邁向百億億級(jí)計(jì)算時(shí)代。同時(shí)，5G、工業(yè)互聯(lián)算力能力方面，一是HPC二是大規(guī)模分布式系統(tǒng)接收端面臨的incast多打一問(wèn)題，造成任務(wù)完成時(shí)間過(guò)長(zhǎng)；三是現(xiàn)分布式機(jī)器學(xué)習(xí)模型訓(xùn)練加速[4]以及基于Infiniband技術(shù)提出的Sharp技術(shù)[5]可以加速HPC等大規(guī)模計(jì)算密集型任務(wù)。好等挑戰(zhàn)?；谝陨峡剂浚景灼?shū)提出了在網(wǎng)計(jì)算新架構(gòu)NACA（NetworkAssistedComputingAcceleration），系統(tǒng)化推進(jìn)在網(wǎng)計(jì)算設(shè)計(jì)和實(shí)現(xiàn)。在網(wǎng)計(jì)算NACA是一種與應(yīng)用深度融合，實(shí)現(xiàn)網(wǎng)絡(luò)輔助計(jì)算加速的新模式，通過(guò)重塑應(yīng)用處理和開(kāi)發(fā)模式，實(shí)現(xiàn)系統(tǒng)加速，提升算網(wǎng)資源利用率。NACA出倡議，希望聯(lián)合產(chǎn)學(xué)研持續(xù)攻關(guān)，推進(jìn)在網(wǎng)計(jì)算技術(shù)應(yīng)用和發(fā)展。高性能計(jì)算2013以典型的MPI聚合算子AllReduce為例，其通信交互復(fù)雜度為O(logN)（N表示服務(wù)器節(jié)點(diǎn)規(guī)模）。如圖1（a）所示，傳統(tǒng)聚合通信方式，8個(gè)節(jié)點(diǎn)（N=8）進(jìn)行AllReduce計(jì)算總共需要3個(gè)批次的通信，復(fù)雜度為O(logN)；圖1（b）為采用了在網(wǎng)計(jì)算加速的聚合通信方式，8個(gè)節(jié)點(diǎn)進(jìn)行AllReduce計(jì)算，由接入leaf進(jìn)行第一次匯聚，由spine交換機(jī)進(jìn)行第二次匯聚，總的通信批次只與網(wǎng)絡(luò)的層次O(C)，CHPC下的網(wǎng)絡(luò)時(shí)延，提升了計(jì)算效率。圖1(a)端側(cè)實(shí)現(xiàn)AllReduce 1(b)在網(wǎng)計(jì)算實(shí)現(xiàn)AllReduce應(yīng)用處理效率。高性能存儲(chǔ)從而保證所有的服務(wù)器產(chǎn)生一致的結(jié)果。文件內(nèi)容的修改也可以保證全局唯一性。sub-RTT的響應(yīng)時(shí)間，并有效提高端側(cè)的吞吐量。大數(shù)據(jù)流式處理Manager（ShuffleSpark[11]作業(yè)中對(duì)數(shù)據(jù)進(jìn)行重新分區(qū)的過(guò)程，ShuffleManagerSparkShuffle過(guò)程的組件。）MapReduce[12]ReducerMapper中拉取數(shù)據(jù)，進(jìn)行規(guī)WordCount需要對(duì)分散在多機(jī)的單詞計(jì)數(shù)進(jìn)行匯總；SQL應(yīng)用中，先分類(lèi)（groupby）再匯總（sum、count）也是常見(jiàn)的計(jì)算模車(chē)聯(lián)網(wǎng)以協(xié)助壓縮數(shù)據(jù)流量，縮短通信時(shí)延，提高處理的實(shí)時(shí)性。大減少需要回傳云端數(shù)據(jù)量。圖2在網(wǎng)計(jì)算車(chē)聯(lián)網(wǎng)用例文獻(xiàn)[6]XR擴(kuò)展現(xiàn)實(shí)（ExtendedReality，XR）VR、ARMR等多種技術(shù)的統(tǒng)稱(chēng)，XR技術(shù)不斷演化升級(jí)，數(shù)據(jù)流更多源異構(gòu)、確定性時(shí)延和可靠性均提出全新要求。在網(wǎng)計(jì)算技術(shù)通過(guò)網(wǎng)絡(luò)感知業(yè)務(wù)的方式，XR終端設(shè)備提供高性能計(jì)算支撐。XRXR的服務(wù)保障。AR/VR5G并行分布式計(jì)算能力和聚合通信能力，隨路卸載邊緣云的計(jì)算任務(wù)，大幅提升AR/VR渲染能力，提供更實(shí)時(shí)的用戶(hù)體驗(yàn)。圖3基于在網(wǎng)計(jì)算的XR業(yè)務(wù)加速Sharp[5]在網(wǎng)計(jì)算Infiniband編程范式不友好方面，目前應(yīng)用程序開(kāi)發(fā)和網(wǎng)絡(luò)設(shè)備開(kāi)發(fā)模式有差異，對(duì)于應(yīng)用開(kāi)發(fā)者門(mén)檻較高，不利于在網(wǎng)計(jì)算的設(shè)計(jì)和實(shí)現(xiàn)。針對(duì)現(xiàn)有問(wèn)題，本白皮書(shū)提出在網(wǎng)計(jì)算新架構(gòu)NACA（NetworkAssistedComputingAcceleration）。在網(wǎng)計(jì)算NACA以提升在網(wǎng)計(jì)算通用性為目標(biāo)，重構(gòu)應(yīng)用處理模式，構(gòu)建全新的在網(wǎng)計(jì)算通信庫(kù)，圍繞拓?fù)溆成?、編程范式、?jì)算實(shí)現(xiàn)、資源管理形成”四個(gè)統(tǒng)一”，實(shí)現(xiàn)網(wǎng)絡(luò)輔助計(jì)算加速，提升分布式系統(tǒng)算能算效。圖4在網(wǎng)計(jì)算（NACA）技術(shù)架構(gòu)NACA在網(wǎng)計(jì)算通信庫(kù)層向上對(duì)接多種分NACA管理5個(gè)核心功能層。異構(gòu)網(wǎng)元XPUNACA在網(wǎng)計(jì)算性能。高性能互聯(lián)保障，可以基于現(xiàn)有成熟協(xié)議棧實(shí)現(xiàn)，如RoCE、InfiniBand[8]、Omni-Path[9]Slingshot[10]源尋址等功能。在網(wǎng)計(jì)算通信庫(kù)NACA架構(gòu)體系的核心層，為分布式應(yīng)用提供了通用BroadcastReduce、AllReduce等；AllGather、ReduceScatterBarrier）。分布式應(yīng)用NACAHPC、高性能存儲(chǔ)以及分布式機(jī)器學(xué)習(xí)5G/6GSub-RTT的快速響應(yīng)，縮短數(shù)據(jù)傳輸路徑，優(yōu)化分布式應(yīng)用的處理流程。編排管理（如計(jì)算圖真正做到在網(wǎng)計(jì)算即服務(wù)。NACA架構(gòu)為分布式應(yīng)用提供網(wǎng)絡(luò)輔助計(jì)算加速，其核心特征體現(xiàn)在拓?fù)溆成?、?jì)算實(shí)現(xiàn)、編程范式和資源管理四個(gè)方面，形成“四個(gè)統(tǒng)一”。邏輯物理統(tǒng)一：NACA以親和度更高的方式將應(yīng)用邏輯拓?fù)溆成涞綄?shí)際物理資源；通信原語(yǔ)統(tǒng)一：NACA構(gòu)建了統(tǒng)一的在網(wǎng)計(jì)算通信庫(kù)，為多樣化應(yīng)用提供通用在網(wǎng)計(jì)算能力；編程范式統(tǒng)一：NACA提供了統(tǒng)一的應(yīng)用設(shè)計(jì)和部署方案，簡(jiǎn)化開(kāi)發(fā)復(fù)雜度；網(wǎng)內(nèi)資源統(tǒng)一：NACA優(yōu)化了網(wǎng)絡(luò)資源管理，構(gòu)建一體化計(jì)算資源池，提升在網(wǎng)計(jì)算性能。特征一：邏輯物理統(tǒng)一NACAIO器的計(jì)算資源，可以更高效地共同完成計(jì)算任務(wù)。5spine交換機(jī)。這種映射機(jī)制下圖5邏輯拓?fù)渑c物理拓?fù)溟g的映射特征二：通信原語(yǔ)統(tǒng)一NACAHPC、智能計(jì)算以及大數(shù)據(jù)等多樣化應(yīng)用提供一致的在網(wǎng)計(jì)對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu)不同。模型訓(xùn)練數(shù)據(jù)類(lèi)型通常為值流（ValueStream），而大數(shù)據(jù)應(yīng)用則承載鍵值流（Key-ValueStream），兩者在索引機(jī)制、排列方式以及計(jì)算上限等方面存在不同。NACA架構(gòu)下，不同的應(yīng)用可以調(diào)用統(tǒng)一的在網(wǎng)計(jì)算通信庫(kù)實(shí)現(xiàn)計(jì)算加6所示，通信算子層面，NACA為多種分布式應(yīng)用統(tǒng)一定義了幾類(lèi)高需靈活調(diào)用。在網(wǎng)計(jì)算原語(yǔ)層面，NACA規(guī)范了設(shè)備支持的在網(wǎng)計(jì)算原語(yǔ)。在高設(shè)備易用性，降低應(yīng)用開(kāi)發(fā)、運(yùn)維成本。圖6統(tǒng)一的在網(wǎng)計(jì)算原語(yǔ)實(shí)現(xiàn)在網(wǎng)計(jì)算通信庫(kù)特征三：編程范式統(tǒng)一NACA7P4NPLMicro-C不同的網(wǎng)絡(luò)編程語(yǔ)言對(duì)于應(yīng)用開(kāi)發(fā)人員構(gòu)成了較大的使用門(mén)檻。圖7在網(wǎng)計(jì)算編程范式統(tǒng)一示意圖能擴(kuò)展維護(hù)。特征四：網(wǎng)內(nèi)資源統(tǒng)一NACARDMACXL[7]等高性能互聯(lián)協(xié)議實(shí)現(xiàn)跨網(wǎng)絡(luò)設(shè)備資源一致訪(fǎng)RDMAInfinibandRoCE網(wǎng)絡(luò)架構(gòu)下核心的遠(yuǎn)距離內(nèi)存直接訪(fǎng)問(wèn)協(xié)議，CXL（ComputeExpressLink）是一種開(kāi)放的行業(yè)互連標(biāo)準(zhǔn)，為主機(jī)內(nèi)部處理器I/ORDMA、CXLoverEthernet等方式實(shí)現(xiàn)圖8在網(wǎng)計(jì)算網(wǎng)內(nèi)資源統(tǒng)一圖9在網(wǎng)計(jì)算整體功能視圖NACA架構(gòu)的應(yīng)用層。2NACA架構(gòu)的在網(wǎng)計(jì)算性等功能方面主要有以下常用在網(wǎng)計(jì)算引擎：在網(wǎng)計(jì)算引擎在網(wǎng)規(guī)約：AllReduceMPI報(bào)文發(fā)送到葉子交換機(jī)。葉子節(jié)點(diǎn)對(duì)報(bào)文信息進(jìn)行提取后，由內(nèi)通過(guò)MPISUM(求和)算子。在網(wǎng)序列器：事務(wù)管理器是保證分布式事務(wù)一致性的集中式解決方案.然而，作為一個(gè)集列號(hào)。在網(wǎng)序列器可以釋放服務(wù)器的算力來(lái)執(zhí)行其他計(jì)算任務(wù)。在網(wǎng)鎖：分布式系統(tǒng)，通常有一個(gè)專(zhuān)用的鎖管理器，節(jié)點(diǎn)可以聯(lián)系它以獲得資源的讀和/CAS(compare-and-swap,較和交換)FA(fetch-and-Add添加)。鎖管理器通常運(yùn)行在服務(wù)器上，從而導(dǎo)致I/O遲，性能更差。在網(wǎng)鎖可以有效加速系統(tǒng)并發(fā)控制原子粒度通用算子“簡(jiǎn)單”并且“通用”類(lèi)別，比較常見(jiàn)的是聚合通信算子和一致性算子。表1聚合通信算子名稱(chēng)和功能說(shuō)明算子分類(lèi)通用算子OpCode算子說(shuō)明聚合通信算子（通過(guò)函數(shù)將一組數(shù)據(jù)聚合為一個(gè)較小的集合）MAXMaximum，最大值MINMinimum，最小值SUMSum，求和PRODProduct，乘積LANDLogicaland，邏輯與BANDBit-wiseand，按位與LORLogicalor，邏輯或BORBit-wiseor，按位或LXORLogicalxor，邏輯異或BXORBit-wisexor，按位異或表2一致性算子名稱(chēng)和功能說(shuō)明算子分類(lèi)通用算子OpCode算子說(shuō)明一致性算子（通過(guò)增刪改查加速分布式系統(tǒng)端到端性能）WRITE寫(xiě)入READ讀取DELETE刪除CASCompareandswap，比較并替換CAADDCompareandaddCASUBCompareandsubFAAFetchandadd，取原值，并進(jìn)行加法FASUBFetchandsubtractionFAORFetchandorFAANDFetchandandFANANDFetchandnandFAXORFetchandxor10了在網(wǎng)計(jì)算設(shè)備解析消息的過(guò)程。圖10面向消息的在網(wǎng)計(jì)算數(shù)據(jù)處理，定義協(xié)議?？赡芤敫嗟南到y(tǒng)開(kāi)發(fā)和操作的復(fù)雜性；數(shù)據(jù)處理。表3面向消息的在網(wǎng)計(jì)算實(shí)現(xiàn)方式實(shí)現(xiàn)方式顯式連接方式透明連接方式網(wǎng)絡(luò)設(shè)備是否實(shí)現(xiàn)完全協(xié)議棧需要實(shí)現(xiàn)完整或部分協(xié)議棧不需要端側(cè)與網(wǎng)絡(luò)設(shè)備是否建立傳輸層連接需要不需要，但需要感知傳輸層連接RDMA“Go-Back-N”可能的方法包括在網(wǎng)絡(luò)設(shè)備記錄應(yīng)用消息的出現(xiàn)次數(shù)以及是否完成計(jì)算等并依靠端側(cè)重傳機(jī)制從錯(cuò)誤中恢復(fù)。圖11在網(wǎng)計(jì)算程序編譯與部署架構(gòu)11顯示了在網(wǎng)計(jì)算程序統(tǒng)一編譯和部署的架構(gòu)及流程。前端程序需首先最大的可行解，并通過(guò)相應(yīng)求解器尋求最優(yōu)編排方案。源池。12圖12網(wǎng)絡(luò)設(shè)備內(nèi)部多任務(wù)動(dòng)態(tài)搶占共享計(jì)算資源13理器首先根據(jù)網(wǎng)絡(luò)節(jié)點(diǎn)上報(bào)的資源信息將物理網(wǎng)絡(luò)設(shè)備存儲(chǔ)器組織為虛擬存儲(chǔ)服務(wù)器訪(fǎng)問(wèn)網(wǎng)絡(luò)設(shè)備計(jì)算資源的一致性，實(shí)現(xiàn)無(wú)中斷的資源重新分配。圖13在網(wǎng)計(jì)算統(tǒng)一資源管理NACA技術(shù)成熟，繁榮產(chǎn)業(yè)生態(tài)，提出以下幾點(diǎn)倡議：深化在網(wǎng)計(jì)算技術(shù)攻關(guān)用提供高性能、高可靠的網(wǎng)內(nèi)加速。聯(lián)合推動(dòng)在網(wǎng)計(jì)算技術(shù)開(kāi)源及標(biāo)準(zhǔn)化IETF、ITU、CCSAOCP、Apache等開(kāi)源組織布局在網(wǎng)計(jì)算開(kāi)源項(xiàng)目，共同構(gòu)筑開(kāi)放共享的在網(wǎng)計(jì)算生態(tài)格局。開(kāi)展在網(wǎng)計(jì)算聯(lián)合試驗(yàn)驗(yàn)證。中國(guó)移動(dòng)正加快步伐構(gòu)建算力網(wǎng)絡(luò)試驗(yàn)網(wǎng)“1+9+9”CFITI方案，不斷推進(jìn)在網(wǎng)計(jì)算賦能千行百業(yè)，促進(jìn)產(chǎn)業(yè)生態(tài)繁榮。參考文獻(xiàn)算力網(wǎng)絡(luò)白皮書(shū)ComputingForceNetworkWhitepaper.中國(guó)移動(dòng).2021.算力網(wǎng)絡(luò)技術(shù)白皮書(shū)ComputingForceNetworkTechnologyWhitepaper.中國(guó)移動(dòng).2022.算網(wǎng)一體網(wǎng)絡(luò)架構(gòu)及技術(shù)體系展望白皮書(shū)中國(guó)移動(dòng)研究院.2022ChonLamLao,YanfangLe,KshiteejMahajan,YixiChen,WenfeiWu,AdityaAkella,MichaelM.Swift,"ATP:In-networkAggregationforMulti-tenantLearning."NSDI2021:741-761.RichardL.Graham,DevendarBureddy,PakLui,HalRosenstock,GiladShainer,GilBloch,DrorGoldenberg,MikeDubman,SashaKotchubievsky,VladimirKoushnir,LionLevi,AlexMargolin,TamirRonen,AlexanderShpiner,OdedWertheim,EitanZahavi,"ScalableHierarchicalAggregationProtocol(SHArP):AHardwareArchitectureforEfficientDataReduction."COMHPC@SC2016:1-10MingyuanZang,ChanggangZheng,RadostinStoyanov,LarsDittmannandNoaZilberman,"P4Pir:In-NetworkAnalysisforSmartIoTGateways."SIGCOMM'22:ProceedingsoftheSIGCOMM'22PosterandDemoSessions.August2022.Pages46–48./10.1145/3546037.3546060.CXL./.InfiniBand./.Omni-Path./content/www/us/en/products/network-io/high-performance-fabrics.html.Slingshot./en-us/.[11]Spark./oop-mapreduce-client-core/MapReduceTutorial.htmlTop500.https:///縮略語(yǔ)列表縮略語(yǔ)英文全名中文解釋5G5thGenerationMobileCommunicationTechnology第五代移動(dòng)通信技術(shù)AIArtificialIntelligence人工智能ARAugmentedReality增強(qiáng)現(xiàn)實(shí)ASICApplicationSpecificIntegratedCircuit應(yīng)用型專(zhuān)用集成電路CCSAChinaCommunicationsStandardsAssociation中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)CFITICFNInnovativeTestInfrastructure中國(guó)移動(dòng)算力網(wǎng)絡(luò)試驗(yàn)示范網(wǎng)CPUCentralProcessingUnit中央處理器CXLComputeExpressLink計(jì)算快速鏈接DRAMDynamicRandomAccessMemory動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器GTMGlobalTrafficManager全局流量管理HPCHighPerformanceComputing高性能計(jì)算I/OInput/Output輸入/輸出IETFInternetEngineeringTask