2023在網(wǎng)計(jì)算NACA技術(shù)白皮書解讀

在網(wǎng)計(jì)算（NACA）技術(shù)白皮書解讀2023年8月中國(guó)移動(dòng)提出“算力網(wǎng)絡(luò)”新理念中國(guó)移動(dòng)充分發(fā)把握算力時(shí)代發(fā)展脈絡(luò)，以網(wǎng)強(qiáng)算提出“算力網(wǎng)絡(luò)”全新理念，兩年多來(lái)持續(xù)開拓創(chuàng)新，全力推進(jìn)算力網(wǎng)絡(luò)發(fā)展，形成一系列創(chuàng)新成果，在業(yè)界取得了廣泛共識(shí)，引起了巨大反響“算網(wǎng)一體”是中國(guó)移動(dòng)算力網(wǎng)絡(luò)發(fā)展的深化3算力網(wǎng)絡(luò)的發(fā)展經(jīng)過(guò)三個(gè)階段的發(fā)展，逐漸深化2021-20232024-2025十四五階段2025~十五五階段及更長(zhǎng)期起步階段：泛在協(xié)同發(fā)展階段：融合統(tǒng)一跨越階段：一體內(nèi)生網(wǎng)隨算動(dòng)智能編排算網(wǎng)一體一站服務(wù)：一站開通算網(wǎng)服務(wù)協(xié)同運(yùn)營(yíng)：云網(wǎng)運(yùn)營(yíng)雙入口拉通融合服務(wù)：產(chǎn)品融合、確定性服務(wù)統(tǒng)一運(yùn)營(yíng)：統(tǒng)一入口、統(tǒng)一平臺(tái)一體服務(wù)：多層次智簡(jiǎn)無(wú)感服務(wù)模式創(chuàng)新：多方算力可信交易運(yùn)營(yíng)服務(wù)編排管理基礎(chǔ)設(shè)施算網(wǎng)融合智慧內(nèi)生協(xié)同編排算網(wǎng)一體架構(gòu)及總體設(shè)計(jì)4極致互聯(lián)混合控制聯(lián)合感知網(wǎng)絡(luò)信息

算力信息前提支撐作用ISP1ISP2CSP4CSP3CSP2CSP1拓?fù)湫畔砣麪顟B(tài)SLA指標(biāo)CPU利用率異構(gòu)算力算力規(guī)模集中式控制分布式控制任務(wù)分解與調(diào)配節(jié)點(diǎn)1節(jié)點(diǎn)2消費(fèi)側(cè)節(jié)點(diǎn)3節(jié)點(diǎn)4算網(wǎng)一體通過(guò)“聯(lián)合感知”“混合控制”“極致互聯(lián)”構(gòu)建面向智能化時(shí)代的數(shù)字基礎(chǔ)設(shè)施架構(gòu)算力路由在網(wǎng)計(jì)算關(guān)鍵技術(shù)創(chuàng)新互聯(lián)網(wǎng)架構(gòu)協(xié)議，基于算網(wǎng)資源聯(lián)合感知實(shí)現(xiàn)動(dòng)態(tài)融合決策選路網(wǎng)絡(luò)內(nèi)生算力，基于集中式控制，實(shí)現(xiàn)計(jì)算任務(wù)跨云、網(wǎng)、邊、端分布式協(xié)同ISP：網(wǎng)絡(luò)服務(wù)提供者；CSP：算力服務(wù)提供者算網(wǎng)數(shù)字孿生基于網(wǎng)絡(luò)大模型的算網(wǎng)數(shù)字孿生構(gòu)建可視、可管、可控的算網(wǎng)基礎(chǔ)設(shè)施廣域RDMA突破RDMA長(zhǎng)距傳輸瓶頸，實(shí)現(xiàn)廣域高性能互聯(lián)分布式系統(tǒng)面臨通信開銷瓶頸問(wèn)題在網(wǎng)計(jì)算主要面向分布式應(yīng)用，隨著分布式系統(tǒng)規(guī)模不斷擴(kuò)大，計(jì)算節(jié)點(diǎn)間的通信量激增，通信模式更加復(fù)雜，通信開銷已成為AI、大數(shù)據(jù)、HPC等分布式應(yīng)用的性能瓶頸，嚴(yán)重制約系統(tǒng)規(guī)模擴(kuò)展分布式應(yīng)用場(chǎng)景模型訓(xùn)練時(shí)長(zhǎng)分布[1]采用8個(gè)workers和8個(gè)PSs的網(wǎng)絡(luò)訓(xùn)練AlexNet模型，網(wǎng)絡(luò)通信時(shí)間占比可高達(dá)80%以上面向AI場(chǎng)景的網(wǎng)絡(luò)優(yōu)化需要更細(xì)粒度的通信算子優(yōu)化方案需要盡可能壓縮通信的時(shí)延占比，同時(shí)結(jié)合不同類型的通信過(guò)程優(yōu)化分布式系統(tǒng)通信性能[1]ParameterHub:aRack-ScaleParameterServerforDistributedDeepNeuralNetworkTraining，/doi/10.1145/3267809.32678405計(jì)算時(shí)間每輪迭代總時(shí)間分布式訓(xùn)練管道中模型訓(xùn)練時(shí)間分解[1]不同模型在進(jìn)行分布式訓(xùn)練時(shí)，各階段的時(shí)間分布不同ResNet

269的通信時(shí)間最長(zhǎng)，且還有較長(zhǎng)的Aggregator，AlexNet還具有較長(zhǎng)的Synchronization，等等問(wèn)題主要來(lái)源6衡量分布式應(yīng)用通信性能的重要指標(biāo)是任務(wù)完成時(shí)間，負(fù)載均衡策略、計(jì)算節(jié)點(diǎn)多打一現(xiàn)象以及物理與邏輯通信模式不匹配等因素引發(fā)通信瓶頸問(wèn)題，導(dǎo)致任務(wù)完成時(shí)間過(guò)長(zhǎng)發(fā)送發(fā)送接收接收交換機(jī)①②接收③接收100%0%接收發(fā)送發(fā)送網(wǎng)絡(luò)側(cè)ECMP實(shí)現(xiàn)AI訓(xùn)練流量調(diào)度，AI訓(xùn)練以巨型流為主，HPC業(yè)務(wù)以高并發(fā)小流為主，傳統(tǒng)網(wǎng)絡(luò)調(diào)度方式難以滿足AI、HPC等計(jì)算密集型業(yè)務(wù)場(chǎng)景流量調(diào)優(yōu)目標(biāo)。多對(duì)多邏輯通信需求與點(diǎn)對(duì)點(diǎn)物理通信實(shí)現(xiàn)：進(jìn)程間MPI接口設(shè)計(jì)包含多對(duì)一、一對(duì)多及多對(duì)多的通信需求，計(jì)算節(jié)點(diǎn)間目前以單播實(shí)現(xiàn)MPI接口，物理網(wǎng)絡(luò)存在大量冗余信息網(wǎng)絡(luò)負(fù)載嚴(yán)重不均衡 通信模式不匹配大數(shù)據(jù)流式計(jì)算多對(duì)一的數(shù)據(jù)處理模式：訓(xùn)練最后一級(jí)交換機(jī)和接收方之間Incast擁塞，造成計(jì)算流長(zhǎng)尾時(shí)延，計(jì)算任務(wù)完成時(shí)間過(guò)長(zhǎng)。Incast交換機(jī)發(fā)送發(fā)送發(fā)送發(fā)送接收流量需求不對(duì)等通過(guò)網(wǎng)絡(luò)與分布式應(yīng)用各通信階段緊耦合的設(shè)計(jì)方式優(yōu)化分布式處理是重要發(fā)展方向在網(wǎng)計(jì)算有望攻克分布式系統(tǒng)通信瓶頸問(wèn)題7在網(wǎng)計(jì)算突破現(xiàn)有計(jì)算模式，重構(gòu)應(yīng)用處理邏輯，為系統(tǒng)算效提升帶來(lái)質(zhì)變流量壓縮在網(wǎng)聚合，數(shù)據(jù)消冗與求和網(wǎng)內(nèi)處理，實(shí)現(xiàn)Sub-RTT通信縮短傳輸路徑交換機(jī)Tbps處理能力線速處理處理模式在網(wǎng)計(jì)算設(shè)備在網(wǎng)計(jì)算將計(jì)算卸載至網(wǎng)絡(luò)，實(shí)現(xiàn)數(shù)據(jù)隨轉(zhuǎn)隨算，實(shí)現(xiàn)系統(tǒng)加速，提升算網(wǎng)資源利用率。主要優(yōu)勢(shì) 性能躍升與傳統(tǒng)軟件實(shí)現(xiàn)消息同步相比，IB

SHARP方案性能提升近9倍與傳統(tǒng)軟件實(shí)現(xiàn)聚合操作相比，IB

SHARP方案性能提升近5倍單次聚合時(shí)延單次同步時(shí)延在網(wǎng)計(jì)算發(fā)展現(xiàn)狀在網(wǎng)計(jì)算方向已有一定共識(shí)，但仍面臨多方面發(fā)展挑戰(zhàn)，需要產(chǎn)學(xué)研協(xié)同攻關(guān)產(chǎn)業(yè)已逐步布局在網(wǎng)計(jì)算的研究和實(shí)踐，中國(guó)移動(dòng)積極推進(jìn)試驗(yàn)驗(yàn)證和標(biāo)準(zhǔn)制定產(chǎn)業(yè)與學(xué)術(shù)進(jìn)展 中國(guó)移動(dòng)CFITI試驗(yàn)網(wǎng)創(chuàng)新驗(yàn)證架構(gòu)AlexNetVGG19VGG16VGG11ResNet152ResNet101ResNet50BytePS330110120130110155250Horovod500130150210100148235在網(wǎng)計(jì)算540155175215115165265測(cè)試基準(zhǔn)：GPU型號(hào)：2080 單位：圖片數(shù)/秒訓(xùn)練提速：相比參數(shù)服務(wù)器架構(gòu)BytePS，通信密集型任務(wù)最高可提升60%以上帶寬優(yōu)化：相比RAR架構(gòu)Horovod，降低智算集群網(wǎng)絡(luò)帶寬占用約1倍左右標(biāo)準(zhǔn)推進(jìn)：在CCSA

TC3WG3牽頭完成業(yè)界首個(gè)在網(wǎng)計(jì)算行標(biāo)立項(xiàng)在網(wǎng)聚合SHARP基于IB傳輸層QP，實(shí)現(xiàn)參數(shù)聚合基于IB智能網(wǎng) 基于IB交換卡和IB交換機(jī)，

機(jī)的硬件組播能力，實(shí)現(xiàn)MPI廣播在網(wǎng)組播在網(wǎng)聚合IBbasedMPI-BcastIPDPS04COMHPC16ATPNSDI

21TrioSIGCOMM22NetReduceASPLOS23基于多級(jí)可編基于NP交換基于FPGA和程交換機(jī)參與機(jī)實(shí)現(xiàn)參數(shù)商用交換機(jī)參數(shù)聚合，基聚合，基于實(shí)現(xiàn)傳輸層于IP協(xié)議設(shè)計(jì)UDP協(xié)議設(shè)透明的參數(shù)ATP

報(bào)文頭計(jì)Trio-ML報(bào)文頭聚合在網(wǎng)計(jì)算發(fā)展挑戰(zhàn)在網(wǎng)計(jì)算發(fā)展面臨應(yīng)用場(chǎng)景豎井式、協(xié)議實(shí)現(xiàn)封閉化、以及編程范式不友好等挑戰(zhàn)基于IB協(xié)議棧及專用硬件的在網(wǎng)計(jì)算，性能優(yōu)勢(shì)明顯，但成本高，協(xié)議棧封閉不兼容現(xiàn)有在網(wǎng)計(jì)算方案面向單一場(chǎng)景豎井式設(shè)計(jì)，在協(xié)議設(shè)計(jì)和硬件實(shí)現(xiàn)等方面缺乏通用性開發(fā)模式有差異：應(yīng)用程序開發(fā)模式和網(wǎng)絡(luò)開發(fā)模式不匹配，開發(fā)者學(xué)習(xí)門檻高運(yùn)行框架不支持：Tensorflow、Spark等分布式開發(fā)框架不支持在網(wǎng)計(jì)算能力調(diào)用需要從產(chǎn)業(yè)、生態(tài)等方面破除技術(shù)壁壘，構(gòu)建統(tǒng)一通用的在網(wǎng)計(jì)算能力訓(xùn)練專用網(wǎng)元大數(shù)據(jù)處理專用網(wǎng)元InfiniBand服務(wù)器應(yīng)用程序編程網(wǎng)絡(luò)設(shè)備在網(wǎng)計(jì)算程序編程訓(xùn)練HPC參數(shù)向量計(jì)算消息數(shù)據(jù)類型多元應(yīng)用大數(shù)據(jù)鍵值流高性能計(jì)算專用網(wǎng)元應(yīng)用RDMA軟件棧IB傳輸層IB網(wǎng)絡(luò)層IB鏈路層IB物理設(shè)備封閉化豎井式編程不友好在網(wǎng)計(jì)算NACA10在網(wǎng)計(jì)算NACANetworkAssistedComputing

Acceleration邏輯物理統(tǒng)一 通信原語(yǔ)統(tǒng)一NACA以提升在網(wǎng)計(jì)算通用性為目標(biāo)，重構(gòu)應(yīng)用處理模式，構(gòu)建全新的在網(wǎng)計(jì)算通信庫(kù)，圍繞拓?fù)溆成?、編程范式、?jì)算實(shí)現(xiàn)、資源管理形成”四個(gè)統(tǒng)一”，實(shí)現(xiàn)網(wǎng)絡(luò)輔助計(jì)算加速，提升分布式系統(tǒng)算能算效編程范式統(tǒng)一 網(wǎng)內(nèi)資源統(tǒng)一異構(gòu)網(wǎng)元高性能互聯(lián)分布式應(yīng)用DC交換機(jī)端側(cè)適配器交換機(jī)園區(qū)網(wǎng)關(guān)資源管理拓?fù)涔芾砣蝿?wù)管理跨架構(gòu)統(tǒng)一編譯管理編排運(yùn)行時(shí)管理管理在網(wǎng)計(jì)算通信庫(kù)InfinibandOmni-PathSlingshot同步/異步控制多對(duì)一通信一對(duì)多通信多對(duì)多通信MVAPICHAI訓(xùn)練/推理 大數(shù)據(jù)

HPC標(biāo)識(shí)轉(zhuǎn)發(fā)拓?fù)涓兄煽總鬏擱oCE在網(wǎng)計(jì)算NACA技術(shù)架構(gòu)編排管理NACA架構(gòu)核心在“一橫一縱”，橫向在網(wǎng)計(jì)算通信庫(kù)承上啟下，以異構(gòu)網(wǎng)內(nèi)算力實(shí)現(xiàn)統(tǒng)一在網(wǎng)計(jì)算服務(wù)，縱向編排管理全棧貫通，優(yōu)化應(yīng)用開發(fā)模式、協(xié)同端網(wǎng)任務(wù)部署、統(tǒng)籌網(wǎng)內(nèi)資源管理編程范式統(tǒng)一網(wǎng)內(nèi)資源統(tǒng)一邊緣匯聚通信原語(yǔ)統(tǒng)一邏輯物理統(tǒng)一核心特征1：邏輯物理統(tǒng)一交換機(jī)/路由器物理鏈路主機(jī)計(jì)算節(jié)點(diǎn)邏輯鏈路參數(shù)服務(wù)器NACA在網(wǎng)計(jì)算物理實(shí)現(xiàn)比傳統(tǒng)計(jì)算實(shí)現(xiàn)方式更加親和業(yè)務(wù)邏輯拓?fù)洌W(wǎng)絡(luò)與業(yè)務(wù)緊密耦合邏輯拓?fù)湓诰W(wǎng)計(jì)算相較傳統(tǒng)計(jì)算與邏輯拓?fù)溆成涓H和統(tǒng)一傳統(tǒng)計(jì)算

在網(wǎng)計(jì)算物理拓?fù)浜诵奶卣?：通信算子統(tǒng)一579123456{a:1}{b:2}{a:3}{a:2}{c:4}{a:6}{b:2}{c:4}NACA面向差異化應(yīng)用定義統(tǒng)一在網(wǎng)計(jì)算通信庫(kù)，以統(tǒng)一的設(shè)備原語(yǔ)實(shí)現(xiàn)通信庫(kù)，提升在網(wǎng)計(jì)算的通用性類型數(shù)據(jù)結(jié)構(gòu)統(tǒng)一原語(yǔ)數(shù)值聚合ArrayMap.get,Map.add,

Map.clear鍵值對(duì)聚合MapMap.get,

Map.add廣播同步聚合散播……AI應(yīng)用參數(shù)向量聚合

（數(shù)據(jù)類型：數(shù)值）大數(shù)據(jù)處理鍵值聚合（數(shù)據(jù)類型：鍵值對(duì)）在網(wǎng)計(jì)算通信庫(kù)聚合算子物理實(shí)現(xiàn)統(tǒng)一調(diào)用相同的聚合算子核心特征3：編程范式統(tǒng)一NACA面向不同應(yīng)用程序設(shè)計(jì)，提供統(tǒng)一編程語(yǔ)言及通用開發(fā)模式，簡(jiǎn)化異構(gòu)設(shè)備開發(fā)入口AI訓(xùn)練/推理大數(shù)據(jù)HPC軟件 TensorFlowPyTorchSparkFlink

MVAPICH框架應(yīng)用開發(fā)網(wǎng)絡(luò)運(yùn)維語(yǔ)言LyraP4all領(lǐng)域?qū)Ｓ谜Z(yǔ)言P4NPLMicro-C網(wǎng)絡(luò)設(shè)備開發(fā)統(tǒng)一在網(wǎng)計(jì)算編程框架分布式應(yīng)用前端編譯中間轉(zhuǎn)譯及程序綜合網(wǎng)絡(luò)設(shè)備1多種在網(wǎng)計(jì)算程序統(tǒng)一編譯應(yīng)用1應(yīng)用2網(wǎng)絡(luò)設(shè)備2轉(zhuǎn)譯至異構(gòu)在網(wǎng)計(jì)算網(wǎng)元核心特征4：網(wǎng)內(nèi)資源統(tǒng)一NACA基于RDMA、CXL等高性能互聯(lián)協(xié)議構(gòu)建統(tǒng)一在網(wǎng)計(jì)算資源池，優(yōu)化網(wǎng)絡(luò)資源管理，提升網(wǎng)內(nèi)資源利用率高性能互聯(lián)協(xié)議CPU在網(wǎng)計(jì)算節(jié)點(diǎn)GPUDDRDDRNIC，交換芯片RDMA加速CPU在網(wǎng)計(jì)算節(jié)點(diǎn)GPUDDRDDRNIC，交換芯片CXL加速CPU在網(wǎng)計(jì)算節(jié)點(diǎn)GPUDDRDDRNIC，交換芯片其他...關(guān)鍵技術(shù)1：計(jì)算語(yǔ)義映射16消息是分布式應(yīng)用進(jìn)程間通信的傳遞內(nèi)容。傳統(tǒng)網(wǎng)絡(luò)設(shè)備基于數(shù)據(jù)包轉(zhuǎn)發(fā)，在網(wǎng)計(jì)算設(shè)備基于消息處理，因此需要把消息和數(shù)據(jù)包的語(yǔ)義映射起來(lái)。① 自定義協(xié)議棧優(yōu)勢(shì)：設(shè)計(jì)靈活、高效劣勢(shì)：開發(fā)復(fù)雜度高，技術(shù)封閉② 基于現(xiàn)有協(xié)議棧（如RDMA）優(yōu)勢(shì)：兼容性高，可復(fù)用現(xiàn)有成熟加速技術(shù)劣勢(shì)：方案不靈活，傳輸效率相對(duì)較低鏈路層協(xié)議頭路由層協(xié)議頭自定義頭負(fù)載鏈路層協(xié)議頭路由層協(xié)議頭傳輸層協(xié)議頭攜帶消息相關(guān)信息負(fù)載兩種封裝機(jī)制PacketMessage數(shù)據(jù)包轉(zhuǎn)發(fā)消息處理主機(jī)數(shù)據(jù)包轉(zhuǎn)發(fā)應(yīng)用傳輸層網(wǎng)絡(luò)層IB、TCP/IP鏈路層IB

Link、Eth傳統(tǒng)網(wǎng)絡(luò)設(shè)備

在網(wǎng)計(jì)算設(shè)備

主機(jī)應(yīng)用傳輸層網(wǎng)絡(luò)層IB、TCP/IP鏈路層IB

Link、Eth關(guān)鍵技術(shù)2：計(jì)算正確性保障17在網(wǎng)計(jì)算要保證與端側(cè)計(jì)算的結(jié)果等價(jià)，即保證計(jì)算正確性。計(jì)算正確性還受丟包影響，網(wǎng)絡(luò)擁塞和亂序則會(huì)加劇丟包，因此網(wǎng)絡(luò)擁塞控制、可靠性傳輸是在網(wǎng)計(jì)算正確性和計(jì)算效率的保障。a1a2a3？a1+a2+？發(fā)送端接收端問(wèn)題：丟包、重復(fù)包影響計(jì)算正確性聚合時(shí)發(fā)生丟包方案：依靠擁塞控制和可靠性傳輸降低丟包利用bitmap高效記錄已收到和已處理包的序號(hào)；基于現(xiàn)有可靠性傳輸協(xié)議如Go-Back-N、選擇性重傳等，針對(duì)在網(wǎng)計(jì)算進(jìn)行改進(jìn)。優(yōu)化網(wǎng)絡(luò)負(fù)載均衡方案，避免負(fù)載不均導(dǎo)致的擁堵；基于現(xiàn)有PFC、ECN、DCQCN等流量控制機(jī)制針對(duì)在網(wǎng)計(jì)算進(jìn)行改進(jìn)發(fā)送端接收端接收數(shù)據(jù)包（MID=1，

PSN=2）

PSN范圍0-2已經(jīng)接收的

PSN第一次接收聚合重復(fù)數(shù)據(jù)包

丟棄所有數(shù)據(jù)包聚合完畢后轉(zhuǎn)發(fā)01a1a2？a1+a2+a3+a3發(fā)送端接收端聚合時(shí)收到重復(fù)數(shù)據(jù)包a3 a3構(gòu)造IR塊，解耦硬件、拓?fù)浜椭噶钜蕾噭?dòng)態(tài)規(guī)劃算法，實(shí)現(xiàn)程序段高效放置程序段DAG表示法，合并DAG指令除冗異構(gòu)適配程序段連接和加載關(guān)鍵技術(shù)3：計(jì)算程序網(wǎng)內(nèi)編排18在網(wǎng)計(jì)算多級(jí)編譯編排部署架構(gòu)實(shí)現(xiàn)程序、元素、執(zhí)行一致性保證INC

程序1......INC

設(shè)備

1INC

程序2INC

程序

MINC

設(shè)備

2INC

設(shè)備

N......硬件、拓?fù)?、指令、能力多?jí)依賴多任務(wù)共享設(shè)備，程序段集成困難分布式分段部署，編譯加載難異構(gòu)設(shè)備多、組合多、指令冗余多級(jí)編譯編排部署在網(wǎng)計(jì)算程序1在網(wǎng)計(jì)算程序2前端編譯器IR程序1IR程序2指令塊1指令塊2程序分割與編排指令塊3指令塊4轉(zhuǎn)發(fā)程轉(zhuǎn)序發(fā)程序程序綜合可執(zhí)行文件1可執(zhí)行文件2可編程交換機(jī)可編程交換機(jī)FPGA智能網(wǎng)卡關(guān)鍵技術(shù)4：網(wǎng)內(nèi)資源池化虛擬化和池化管理技術(shù)，統(tǒng)一北向接口，屏蔽異構(gòu)硬件差異計(jì)算、傳輸周期交替，內(nèi)存利用率待提高設(shè)備內(nèi)存虛擬化多租戶、多實(shí)例、細(xì)粒度、動(dòng)態(tài)分配作業(yè)1作業(yè)2網(wǎng)絡(luò)設(shè)備計(jì)算資源分區(qū)服務(wù)器

1......作業(yè)1服務(wù)器

n.........服務(wù)器

1......作業(yè)2服務(wù)器

n異構(gòu)網(wǎng)絡(luò)設(shè)備對(duì)接，端網(wǎng)資源一致性