打造算網(wǎng)一體創(chuàng)新高地推動算力網(wǎng)絡(luò)縱深發(fā)展

打造算網(wǎng)一體創(chuàng)新高地推動算力網(wǎng)絡(luò)縱深發(fā)展1中國移動

段曉東2023

年5

月算力網(wǎng)絡(luò)的發(fā)展回顧22021-20232024-20252025~十四五階段十五五階段及更長期起步階段：泛在協(xié)同發(fā)展階段：融合統(tǒng)一跨越階段：一體內(nèi)生網(wǎng)隨算動智能編排算網(wǎng)一體一站服務(wù)：一站開通算網(wǎng)服務(wù)協(xié)同運營：云網(wǎng)運營雙入口拉通融合服務(wù)：產(chǎn)品融合、確定性服務(wù)統(tǒng)一運營：統(tǒng)一入口、統(tǒng)一平臺一體服務(wù)：多層次智簡無感服務(wù)模式創(chuàng)新：多方算力可信交易運營服務(wù)編排管理基礎(chǔ)設(shè)施算網(wǎng)融合智慧內(nèi)生協(xié)同編排算力網(wǎng)絡(luò)發(fā)展路徑3中國移動從算網(wǎng)基礎(chǔ)設(shè)施構(gòu)建、業(yè)務(wù)融合創(chuàng)新、創(chuàng)新技術(shù)引領(lǐng)等多方面系統(tǒng)化推進(jìn)算力網(wǎng)絡(luò)建設(shè)和發(fā)展主線三面向創(chuàng)新技術(shù)引領(lǐng)主線一面向算網(wǎng)基礎(chǔ)設(shè)施構(gòu)建主線二面向業(yè)務(wù)融合創(chuàng)新物理空間、邏輯空間、異構(gòu)空間、多主體算力融通“4+N+31+X”布局，1000邊緣節(jié)點打造20ms、5ms、1ms三級時延圈SRv6/G-SRv6打造統(tǒng)一算網(wǎng)底座實現(xiàn)算網(wǎng)高效協(xié)同，支持CHBN業(yè)務(wù)融合發(fā)展，打造算網(wǎng)全新生態(tài)產(chǎn)品算力化和算力產(chǎn)品化發(fā)布算網(wǎng)服務(wù)1.0構(gòu)筑算網(wǎng)大腦實現(xiàn)創(chuàng)新技術(shù)引領(lǐng)，打造原創(chuàng)技術(shù)策源地三橫兩縱體系架構(gòu)提出十大技術(shù)發(fā)展方向三十二個核心技術(shù)體系推動算力網(wǎng)絡(luò)體系化發(fā)展4算力網(wǎng)絡(luò)的發(fā)展是一個既往開來的重大工程，要持續(xù)提升發(fā)展的高度、廣度和深度提升高度打造新型智算中心拓展廣度創(chuàng)新廣域算網(wǎng)一體挖掘深度開創(chuàng)多形態(tài)服務(wù)新型智算為重點，構(gòu)筑“通智超”多維、云邊端多級、社會多元的泛在化算力多樣化接入網(wǎng)絡(luò)和算網(wǎng)聯(lián)合優(yōu)化調(diào)度，使算力服務(wù)觸手可及推動技術(shù)要素、能力要素和資源要素從孤立向融合一體化發(fā)展推動算網(wǎng)一體原創(chuàng)技術(shù)5存算一體全以太調(diào)度打造新型智算中心算力原生高任務(wù)式服務(wù) 數(shù)據(jù)快遞 算力并網(wǎng)數(shù)字孿生網(wǎng)絡(luò)攻關(guān)算網(wǎng)一體原創(chuàng)技術(shù)，推動實現(xiàn)算力無所不在，網(wǎng)絡(luò)無所不達(dá)，智能無所不及深開創(chuàng)多形態(tài)服務(wù)廣創(chuàng)新廣域算網(wǎng)一體算力路由400G/800G廣域RDMA在網(wǎng)計算算網(wǎng)一體主要創(chuàng)新技術(shù)6傳統(tǒng)云數(shù)據(jù)中心新型智算中心存：多元融合存儲算：GPU集群算力網(wǎng)：高速無損網(wǎng)絡(luò)效：高效節(jié)能控制管：異構(gòu)算力池化智能算力將成為未來算力主流，中國移動加快發(fā)展智能算力，以新型智算中心為發(fā)力點，打造算力高峰，推動算力網(wǎng)絡(luò)實現(xiàn)智能躍遷新型智算中心NICC（一、打造新型智算中心，發(fā)展算力新高峰以GPU、AI加速卡等智能集群算力為核心集約化建設(shè)的E級超大規(guī)模新型算力基礎(chǔ)設(shè)施，軟硬件全棧環(huán)境，支撐AI大模型的高效訓(xùn)練，支撐行業(yè)數(shù)智化轉(zhuǎn)型升級7傳統(tǒng)云數(shù)據(jù)中心算力以CPU為主，單機雙路冷板或浸沒液冷，單機柜40KW普通以太網(wǎng)絡(luò)，

10G/25GNFS、Posix、S3多協(xié)議融合，海量非結(jié)構(gòu)化數(shù)據(jù)RoCE高速無損網(wǎng)絡(luò)，200G/400GGPU池化，算力原生跨架構(gòu)遷移單一存儲協(xié)議，結(jié)構(gòu)化數(shù)據(jù)為主CPU虛擬化、容器化傳統(tǒng)風(fēng)冷，單機柜7KW新型智算中心GPU為主，單機8卡，扣卡互聯(lián)，最高帶寬600G算存網(wǎng)管效面向大模型孵化，五大核心技術(shù)全面升級，構(gòu)建標(biāo)準(zhǔn)統(tǒng)一、技術(shù)領(lǐng)先、兼容開放的智算底座1、新型智算中心五大核心技術(shù)升級89中國移動原創(chuàng)提出算力原生技術(shù)，著力打造“芯合”算力原生跨架構(gòu)平臺，目標(biāo)打破“框架+工具鏈+硬件”緊耦合的智算生態(tài)，屏蔽底層硬件差異，實現(xiàn)智算應(yīng)用的跨架構(gòu)遷移部署。一次開發(fā)、一次封裝、跨芯遷移③

打造“芯合”算力原生原型平臺beta版，進(jìn)行技術(shù)理念驗證實現(xiàn)視頻分析、圖像識別兩類智算應(yīng)用在GPU

T4

、MLU

370間的跨架構(gòu)部署遷移②

OIF成立開源工作組，牽頭國內(nèi)外多項標(biāo)準(zhǔn)立項牽頭在OIF成立算力原生子工作組牽頭在ITU、CCSA進(jìn)行標(biāo)準(zhǔn)立項三階段發(fā)展路徑：異構(gòu)算力資源池化-

應(yīng)用跨架構(gòu)遷移-全局泛在融通硬件層應(yīng)用層……PytorchCANN oneAPI CUDA ROCm NeuWare繁冗開發(fā)、復(fù)雜適配、各自為棧①發(fā)布《面向智算的算力原生白皮書》原創(chuàng)提出

“兩層架構(gòu)”和“三大核心技術(shù)”無法互識跨架構(gòu)流轉(zhuǎn)框架層工具鏈……X XX X算力原生層跨架構(gòu)流轉(zhuǎn)的原生程序原生運行時編程模型轉(zhuǎn)換、編譯、優(yōu)化程序加載動態(tài)鏈接oneAPICUDANeuWareROCm……CANN硬件層應(yīng)用層框架層工具鏈Pytorch……統(tǒng)一編程模型及源源轉(zhuǎn)換基于SYCL的單源編程模型范式

?跨架構(gòu)綜合編譯機制多級IR互轉(zhuǎn)，圖算數(shù)融合編譯優(yōu)化原生程序格式規(guī)范Host側(cè)、Device側(cè)指令元語及執(zhí)行策略的一體承載

?原生運行時算力抽象跨廠商運行時接口/指令集的可變粒度映射機制2、算力原生馮·諾依曼架構(gòu)傳統(tǒng)馮·諾依曼架構(gòu)存算分離，存在“存儲墻”瓶頸，存算一體將存算單元深度融合，為計算架構(gòu)提供更高能效，極具潛力廣義存算一體近存計算PNM 存內(nèi)處理PIM 存內(nèi)計算CIM（ProcessingNearMemory）（ProcessingInMemory）（ComputingIn

Memory）存算存算存&算存&算存&算存&算發(fā)布業(yè)界首個《存算一體白皮書》，開展計算電路、芯片架構(gòu)、軟件工具、算法/模型等關(guān)鍵技術(shù)攻關(guān)存算一體生態(tài)構(gòu)建①行業(yè)呼吁：白皮書②產(chǎn)業(yè)合作計算電路關(guān)鍵技術(shù)攻關(guān)芯片架構(gòu)軟件工具算法/模型聯(lián)合產(chǎn)學(xué)研3、存算一體10全調(diào)度以太網(wǎng)突破智算中心網(wǎng)絡(luò)性能瓶頸，打造無阻塞、高帶寬及超低時延的新型智算中心網(wǎng)絡(luò)，構(gòu)建標(biāo)準(zhǔn)開放技術(shù)體系，助力產(chǎn)業(yè)發(fā)展與傳統(tǒng)以太網(wǎng)相比，全調(diào)度以太網(wǎng)主要有分發(fā)粒度、發(fā)流模式及管控模式三大機制變化，實現(xiàn)高效、精確和可靠的網(wǎng)絡(luò)從“推”流到“拉”流VOQ調(diào)度，最大限度避免擁塞精細(xì)反壓機制，避免HOL等問題從分布式管控到集中式管理集中式全局網(wǎng)絡(luò)信息維護及調(diào)度分布式管理面、控制面及數(shù)據(jù)面從“流”分發(fā)到“容器”分發(fā)基于虛擬容器的邏輯轉(zhuǎn)發(fā)單元逐“容器”的動態(tài)負(fù)載均衡機制發(fā)布業(yè)界首個《全調(diào)度以太網(wǎng)技術(shù)架構(gòu)白皮書》，展開芯片、協(xié)議、設(shè)備、管控及架構(gòu)等關(guān)鍵技術(shù)攻關(guān)中國移動攜手中國信通院、騰訊、鵬城實驗室、清華大學(xué)、華為、中興、銳捷、新華三、中信科、思博倫、

Ine、Marvel、盛科等十余家合作伙伴，聯(lián)合發(fā)布《全調(diào)度以太網(wǎng)技術(shù)架構(gòu)白皮書》llt4、全調(diào)度以太網(wǎng)11算力多地域聯(lián)動、多主體供給需要網(wǎng)絡(luò)高效協(xié)同，面向東數(shù)西算、智算互聯(lián)等關(guān)鍵場景極致互聯(lián)需求，構(gòu)建算網(wǎng)一體高性能互聯(lián)底座，實現(xiàn)算網(wǎng)資源聯(lián)合感知與融合調(diào)度二、創(chuàng)新廣域算網(wǎng)一體，開拓發(fā)展新廣度算力負(fù)載聯(lián)合感知網(wǎng)絡(luò)狀態(tài)前提支撐作用QPSK新調(diào)制極致互聯(lián)新型擁塞控制從單技術(shù)域向算網(wǎng)雙域相互感知信息融合選路調(diào)度成本、系統(tǒng)能效資源利用率...從單一目標(biāo)選路向多目標(biāo)綜合求解優(yōu)化從盡力而為向低時延無損、高通量可靠演進(jìn)數(shù)據(jù)加密簡化網(wǎng)絡(luò)轉(zhuǎn)發(fā)，以光纖為基礎(chǔ)構(gòu)成大吞吐通信網(wǎng)絡(luò)在網(wǎng)計算打破算網(wǎng)邊界，網(wǎng)絡(luò)內(nèi)生算力，計算任務(wù)跨網(wǎng)絡(luò)節(jié)點分布式協(xié)同算力路由全光網(wǎng)絡(luò)廣域RDMA突破廣域傳輸性能瓶頸，實現(xiàn)RDMA高效傳輸拉遠(yuǎn)突破互聯(lián)網(wǎng)架構(gòu)協(xié)議，距離向量疊加算力向量，整體優(yōu)化算網(wǎng)資源12創(chuàng)新提出算力路由體系，將算力信息引入路由域，通過統(tǒng)一控制和調(diào)度實現(xiàn)算網(wǎng)資源的全局優(yōu)化，提供極致體驗算力路由協(xié)議簇①CA-BGP：采集算力信息，通過擴展BGP協(xié)議進(jìn)行通告②CA-BGP-LS:出口節(jié)點向算力控制節(jié)點通告算力狀態(tài)信息③CA-OSPF：在域內(nèi)泛洪算力信息為路由提供參考④CA-Netconf/yang：通過Netconf協(xié)議下發(fā)Yang模型算力配置⑤CA-Restful/json：通過restful協(xié)議接口收集Json消息算力信息算力路由組網(wǎng)架構(gòu)2019~2022年5次研討會歷時4年推動IETF成立算力路由工作組CATS，中國移動擔(dān)任主席2023年3月

CATS

WG成立暨首次會議，是路由域最受歡迎的工作組之一算力路由的提出①發(fā)現(xiàn)問題云邊以及邊邊調(diào)度之間出現(xiàn)“性能反轉(zhuǎn)”②問題本質(zhì)計算和網(wǎng)絡(luò)是獨立系統(tǒng)算的負(fù)載和網(wǎng)的擁塞信息沒有產(chǎn)生關(guān)聯(lián)③解決思路在路由中引入計算信息，進(jìn)行聯(lián)合調(diào)度工作組范疇和計劃1、算力路由(CATS)13面向“東數(shù)西算”，發(fā)布世界最長距離無電中繼400G光傳輸現(xiàn)網(wǎng)技術(shù)試驗網(wǎng)絡(luò)，實現(xiàn)跨浙、贛、湘、黔四省的骨干網(wǎng)400GQPSK信號5616km實時現(xiàn)網(wǎng)傳輸，為構(gòu)建算力網(wǎng)絡(luò)的大帶寬、低時延全光底座打下堅實基礎(chǔ)1明確了400G

QPSK是長距離骨干技術(shù)方案2采用C6T﹢L6T波段實現(xiàn)80波大容量系統(tǒng)3沿用現(xiàn)有光層基礎(chǔ)設(shè)施滿足長距離傳輸需求5616km寧波-貴安-寧波現(xiàn)網(wǎng)試點拓?fù)浣Y(jié)構(gòu)全新記錄2021：當(dāng)時單載波800G實時傳輸距離世界紀(jì)錄（1122km，ECOC

2021,

We3C1.5）2022：多子載波800G實時傳輸距離世界紀(jì)錄（2018km，ECOC

2022，Tu1A.1，Top-scored）2023：400G

QPSK實時現(xiàn)網(wǎng)傳輸距離世界紀(jì)錄（5616km）2023：400G

QPSK

C6T+L6T

滿波加載傳輸距離世界紀(jì)錄（7000km，投稿ECOC

2023）新器件新調(diào)制 新波段器件帶寬提升近3倍OSNR容限劣化6dB波段范圍增加200%全新挑戰(zhàn)2、400G/800G14提出廣域RDMA技術(shù)（WTSN），面向東數(shù)西算、數(shù)據(jù)異地上云等海量數(shù)據(jù)廣域高質(zhì)量傳輸需求，實現(xiàn)高吞吐、高可靠、低時延、低算力損耗2高2低特性的算網(wǎng)高性能互聯(lián)網(wǎng)絡(luò)3、廣域RDMA（WTSN）15廣域網(wǎng)TCP傳輸吞吐受限標(biāo)準(zhǔn)引領(lǐng)原型驗證牽頭CCSA

TC3行標(biāo)《承載RMDA的廣域網(wǎng)技術(shù)要求》基于中國移動算力網(wǎng)絡(luò)試驗網(wǎng)開展WTSN-Beta版原型驗證產(chǎn)學(xué)研協(xié)同合作原生RDMA丟包敏感，難以直接用于廣域網(wǎng)時延由1ms增加到10ms時，吞吐下降10倍丟包率達(dá)到0.5%時，吞吐下降為0Ethernet

LinkInternet

ProtocolApplicationRoCE

TransportProtocolWANCongest

ControlPacketPreciseRetransmitSecureData

TransmissionUserDatagram

ProtocolRDMAAPI

(Verbs)HardwarSoftwareLossPacket

RecovereTCP/IP

StackIBTAStack4個關(guān)鍵技術(shù)，實現(xiàn)長距高吞吐傳輸①

新型擁塞控制算法，提升吞吐，降低丟包②

丟包快速恢復(fù)算法，減少重傳，降低時延③

丟包精確重傳機制，實現(xiàn)RDMA有損部署④

數(shù)據(jù)安全加密協(xié)議，實現(xiàn)數(shù)據(jù)高安全傳輸廣域RDMA技術(shù)（WTSN）三、開創(chuàng)多形態(tài)服務(wù)，探索要素融合新深度16算網(wǎng)數(shù)字孿生：構(gòu)建算網(wǎng)孿生體，實現(xiàn)虛實映射，全生命周期調(diào)配優(yōu)化算力并網(wǎng)：匯聚超算、智算、三方公有云，小型三方算力，社會閑散算力數(shù)智化轉(zhuǎn)型需要豐富多樣、多元靈活、智慧高效的計算服務(wù)，中國移動從服務(wù)模式、服務(wù)業(yè)態(tài)、服務(wù)中樞三個方面持續(xù)探索要素融合新深度，推動算力“即取即用”目標(biāo)愿景達(dá)成任務(wù)式服務(wù)（TaaS）：業(yè)務(wù)需求自動解析，多要素融合一體化供給好以智能極簡任務(wù)式服務(wù)實現(xiàn)數(shù)據(jù)快遞，使能海量數(shù)據(jù)長距傳輸即送即達(dá)，滿足數(shù)據(jù)高效低成本搬運和安全遷移的需求小時達(dá)超高帶寬實時傳輸數(shù)十TB/小時當(dāng)日達(dá)聚合空閑帶寬實時傳輸數(shù)百G~數(shù)TB/小時次日達(dá)夜間空閑帶寬錯峰傳輸數(shù)十TB/小時廣域互聯(lián)云PE云PE智算/超算中心數(shù)據(jù)源數(shù)據(jù)快遞站（存儲卡/磁盤） （機房/營業(yè)廳）數(shù)據(jù)源（私有云/公有云）運營平臺算網(wǎng)大腦任務(wù)下發(fā)資源自動分配彈性帶寬負(fù)載均衡安全加密普算中心多省數(shù)據(jù)量大TB~PB/次快 專線傳輸小時達(dá)數(shù)據(jù)可靠安全加密綜合成本低一站式服務(wù)1、任務(wù)式服務(wù)（TaaS）17運營層平臺對接調(diào)用第三方運營系統(tǒng)業(yè)務(wù)引流實現(xiàn)最佳匹配弱管理，適用于智算/超算中心等并網(wǎng)模式3：管理編排層對接管理編排層（大腦）對接第三方云管系統(tǒng)能力編排實現(xiàn)產(chǎn)品重塑強管理，適用于三方公有云、小型三方算力模式4：云原生算力納管云原生方案向算力集群植入插件或代理深度管控賦能閑置算力增強管理，適用于小型三方算力、社會閑散服務(wù)器等模式1：轉(zhuǎn)售運營平臺嵌入第三方公有云鏈接實現(xiàn)服務(wù)轉(zhuǎn)售友情合作實現(xiàn)多方共贏不管理，適用于大型三方公有云①算力并網(wǎng)原型平臺：完成算力并網(wǎng)接入、關(guān)鍵技術(shù)驗證和CIFIT構(gòu)建③標(biāo)準(zhǔn)制定共識：牽頭CCSA算力并網(wǎng)、算力度量等行標(biāo)及企標(biāo)制定，推動形成行業(yè)共識②算力并網(wǎng)創(chuàng)新試驗孵化：依托CFITI算力網(wǎng)絡(luò)試驗網(wǎng)完成與“烏鎮(zhèn)之光”、“太湖之光”、中原人工智能中心、山東超算完成并網(wǎng)驗證和創(chuàng)新業(yè)務(wù)試驗2、算力并網(wǎng)18面向網(wǎng)絡(luò)運維挑戰(zhàn)和網(wǎng)絡(luò)自智需求，提出虛實映射的數(shù)字孿生網(wǎng)絡(luò)（DTN）概念和系統(tǒng)架構(gòu)，構(gòu)建創(chuàng)新技術(shù)體系，助力實現(xiàn)算網(wǎng)資源的智能編排和調(diào)配3、算網(wǎng)數(shù)字孿生（DTN）物理網(wǎng)絡(luò)層孿生網(wǎng)絡(luò)層數(shù)據(jù)采集控制下發(fā)質(zhì)量保障網(wǎng)絡(luò)創(chuàng)新技術(shù)驗證網(wǎng)絡(luò)維護和優(yōu)化意圖驗證網(wǎng)絡(luò)管理網(wǎng)絡(luò)可視化安全建模故障診斷 調(diào)度優(yōu)化 …網(wǎng)絡(luò)應(yīng)用層網(wǎng)管理絡(luò)

模型管理孿生

安全體

管理拓?fù)涔芾砭W(wǎng)元模型拓?fù)淠Ｐ头?wù)映射模型運營規(guī)劃

建設(shè)

維護

優(yōu)化網(wǎng)絡(luò)規(guī)劃 流量建模數(shù)據(jù)共享倉庫數(shù)據(jù)存儲數(shù)據(jù)服務(wù)數(shù)據(jù)管理用戶業(yè)務(wù)運行狀態(tài)網(wǎng)絡(luò)配置數(shù)據(jù)采集仿真驗證功能模型迭代優(yōu)化基礎(chǔ)模型能力調(diào)用意圖翻譯架構(gòu)及關(guān)鍵技術(shù)攻關(guān)標(biāo)準(zhǔn)化引領(lǐng)ITU-T：完成全球首個DTN標(biāo)準(zhǔn)Y.3090：推進(jìn)多個項目IETF：完成IETF首個DTN立項：DTN概念和架構(gòu)CCSA、IMT-2030：主導(dǎo)成立“數(shù)字孿生網(wǎng)絡(luò)”子工作組，布局多項立項學(xué)術(shù)及產(chǎn)業(yè)推進(jìn)發(fā)布業(yè)界首篇數(shù)字孿生網(wǎng)絡(luò)白皮書TMF完成“數(shù)字孿生網(wǎng)絡(luò)的服務(wù)提供”催化劑項目，獲得“未來探索獎”在IEEE

DTPI、NOMS等學(xué)術(shù)會議上舉辦多次DTN

Work