算網(wǎng)一體定義算力網(wǎng)絡(luò)未來

段曉東中國移動算網(wǎng)一體定義算力網(wǎng)絡(luò)未來通信網(wǎng)絡(luò)正加速向新型信息通信網(wǎng)絡(luò)演變技術(shù)范式產(chǎn)業(yè)范式資源范式通信網(wǎng)絡(luò)新型信息通信網(wǎng)絡(luò)架構(gòu)范式算力為核心的信息數(shù)據(jù)處理提供計算、感知、智能、安全等一體化的新一代信息通信服務(wù)網(wǎng)絡(luò)為核心的信息交換提供語音、短信、移動寬帶等通信服務(wù)2中國移動算力網(wǎng)絡(luò)發(fā)展歷程——中國移動《算力網(wǎng)絡(luò)白皮書》算力網(wǎng)絡(luò)是以算為中心、網(wǎng)為根基

，網(wǎng)、云、數(shù)、智

、

安

、

邊

、

端

、

鏈（ABCDNETS）等深度融合、提供一體化服務(wù)的新型信息基礎(chǔ)設(shè)施。楊杰董事長提出“

算力網(wǎng)絡(luò)”

概念與愿景成為“5G+算力網(wǎng)絡(luò)+能力中臺”新型信息基礎(chǔ)設(shè)施的關(guān)鍵一環(huán)發(fā)布《算力網(wǎng)絡(luò)技術(shù)白皮書》，提出十大技術(shù)方向提出新概念發(fā)布中國移動《算力網(wǎng)絡(luò)白皮書》和發(fā)展倡議發(fā)布新理念融入新戰(zhàn)略開創(chuàng)新方向算力網(wǎng)絡(luò)子鏈組建14支攻關(guān)戰(zhàn)隊聯(lián)合攻關(guān)產(chǎn)業(yè)問題組建新戰(zhàn)隊5G智慧中臺算力網(wǎng)絡(luò)構(gòu)建新裝置發(fā)布《算力網(wǎng)絡(luò)科技創(chuàng)新成果》，CFITI試驗網(wǎng)與中國算力網(wǎng)、中科院信息高鐵聯(lián)合打造科學(xué)裝置中國移動深刻把握算力時代發(fā)展脈搏，發(fā)揮運營商網(wǎng)絡(luò)領(lǐng)先優(yōu)勢，以網(wǎng)強算提出“算力網(wǎng)絡(luò)”全新理念。兩年來，繼往開來、開拓創(chuàng)新，全力推進(jìn)算力網(wǎng)絡(luò)發(fā)展啟動算力網(wǎng)絡(luò)試驗網(wǎng)CFITI

1.0，發(fā)布算網(wǎng)服務(wù)體系1.0打造新平臺3算力與網(wǎng)絡(luò)跨學(xué)科交叉融合創(chuàng)新網(wǎng)絡(luò)演進(jìn)需求算力發(fā)展需求從通信服務(wù)向新型信息通信服務(wù)轉(zhuǎn)變性能代際提升對算力提出更高要求單一速率范式制約網(wǎng)絡(luò)規(guī)模發(fā)展摩爾定律下單點算力面臨性能瓶頸多樣性算力需要異構(gòu)融通、互補協(xié)同泛在算力閑散分布，需要高效集約利用研判：算和網(wǎng)已經(jīng)呈現(xiàn)雙向驅(qū)動趨勢，為了進(jìn)一步呈現(xiàn)整體的能效、性能和利用率優(yōu)勢，需要算網(wǎng)一體化的系統(tǒng)思維和多學(xué)科交叉創(chuàng)新算網(wǎng)一體=F(Computing,Network)必要條件：Network,

Computing互相影響充分條件：F(Computing,Network)

>=F(Computing)+F(Network)限制條件:

有限的Computing資源，和有限的Network資源優(yōu)化目標(biāo):

=G(能效、性能、利用率)算為核心，網(wǎng)為根基，算力與網(wǎng)絡(luò)的融合體現(xiàn)在“以算促網(wǎng)”和“以網(wǎng)強算”兩個方面，二者“雙向驅(qū)動”，算網(wǎng)交叉融合創(chuàng)新成為發(fā)展新范式算力4網(wǎng)絡(luò)能效性能利用率算網(wǎng)一體是算力網(wǎng)絡(luò)的發(fā)展目標(biāo)走過算力網(wǎng)絡(luò)“泛在協(xié)同”的重要階段，邁入

“融合統(tǒng)一”的發(fā)展新階段起步：泛在協(xié)同發(fā)展：融合統(tǒng)一一站服務(wù)、協(xié)同運營協(xié)同編排網(wǎng)隨算動融合服務(wù)、統(tǒng)一運營算網(wǎng)融合智能編排跨越：一體內(nèi)生一體服務(wù)，模式創(chuàng)新智慧內(nèi)生算網(wǎng)一體5算網(wǎng)一體主要特征設(shè)備一體以外掛或內(nèi)嵌/內(nèi)生的方式，形成“算力感知”、“網(wǎng)絡(luò)感知”或“轉(zhuǎn)發(fā)即計算”的計算形態(tài)，構(gòu)建異構(gòu)融合的設(shè)備硬件協(xié)議一體支持算力、網(wǎng)絡(luò)、應(yīng)用等多維資源感知和調(diào)度的新協(xié)議，可通過網(wǎng)絡(luò)協(xié)議擴展并攜帶計算信息，或者定義新型協(xié)議架構(gòu)一體構(gòu)建統(tǒng)一編程范式和異構(gòu)算力抽象機制，形成一體編譯鏈接、跨架構(gòu)動態(tài)運行的基礎(chǔ)軟件架構(gòu)，實現(xiàn)應(yīng)用跨架構(gòu)無感遷移服務(wù)一體網(wǎng)絡(luò)和計算服務(wù)統(tǒng)一入口，通過能力的相互補充和調(diào)用，面向用戶提供無感知的網(wǎng)絡(luò)和計算服務(wù)算網(wǎng)一體原創(chuàng)技術(shù)深度賦能算網(wǎng)基礎(chǔ)設(shè)施、編排管理、運營服務(wù)多層次一體化發(fā)展6算網(wǎng)一體發(fā)展需要原創(chuàng)技術(shù)創(chuàng)新算力網(wǎng)絡(luò)是算網(wǎng)交叉學(xué)科創(chuàng)新的重大契機。為構(gòu)筑算力網(wǎng)絡(luò)發(fā)展源動力，開創(chuàng)算網(wǎng)一體原創(chuàng)技術(shù)體系，已形成一批標(biāo)志性的原創(chuàng)技術(shù)數(shù)據(jù)快遞突破廣域傳輸性能瓶頸空芯光纖新型光纖介質(zhì)與系統(tǒng)在網(wǎng)計算打破算網(wǎng)邊界全調(diào)度以太突破無損以太性能瓶頸算力度量打破單維算力指標(biāo)移動算力5G、6G新增計算面算力路由突破互聯(lián)網(wǎng)架構(gòu)協(xié)議存算一體突破馮氏架構(gòu)算力原生實現(xiàn)應(yīng)用跨架構(gòu)遷移400G/800G超高速大容量全光網(wǎng)絡(luò)G-SRv6統(tǒng)一IP承載協(xié)議算力卸載多算力形態(tài)統(tǒng)一底座算力并網(wǎng)實現(xiàn)算力供給側(cè)改革新一代SD-WANUnder與Overlay協(xié)同算力解構(gòu)應(yīng)用模塊化解構(gòu)部署算力智能內(nèi)生計算要素創(chuàng)智能服務(wù)空天地一體突破異構(gòu)算網(wǎng)融合隱私計算安全數(shù)據(jù)分析計算應(yīng)用感知應(yīng)用類型識別OTN光電聯(lián)動新型全光網(wǎng)架構(gòu)全光接入新型接入網(wǎng)架構(gòu)云原生敏捷高效體系總線互聯(lián)卡間高速通信50G

PON+FTTR新型接入網(wǎng)架構(gòu)7算網(wǎng)一體“5顆珍珠”：算力原生、全調(diào)度以太、算力路由、在網(wǎng)計算、數(shù)據(jù)快遞算網(wǎng)一體需要解決的核心技術(shù)問題1構(gòu)筑新型智算中心的問題傳統(tǒng)無損以太存在性能天花板，網(wǎng)絡(luò)技術(shù)成為AI算力瓶頸，通過創(chuàng)新以太網(wǎng)轉(zhuǎn)發(fā)機制，以網(wǎng)強算構(gòu)建無阻塞、高帶寬、低時延的新型智算中心網(wǎng)絡(luò)。23大規(guī)模數(shù)據(jù)廣域高效傳輸?shù)膯栴}針對傳統(tǒng)協(xié)議吞吐隨著傳輸距離、丟包率增加而急劇下降問題，設(shè)計新型可靠傳輸協(xié)議，實現(xiàn)長肥網(wǎng)絡(luò)下超高吞吐數(shù)據(jù)傳輸。面向網(wǎng)絡(luò)和計算的聯(lián)合優(yōu)化問題基于互聯(lián)網(wǎng)協(xié)議體系，在路由中引入算力因子，開創(chuàng)算力路由協(xié)議，實現(xiàn)距離向量和計算向量在路由技術(shù)的疊加，滿足新型業(yè)務(wù)網(wǎng)絡(luò)和計算的時延需求。①算力路由CATS突破互聯(lián)網(wǎng)架構(gòu)協(xié)議②全調(diào)度以太GSE突破無損以太性能瓶頸③數(shù)據(jù)快遞GSN突破廣域傳輸性能瓶頸81、算力路由CATS（1/3）AR/VR時延需要低于20ms保障用戶體驗，包括：傳感器采樣延遲：＜1.5ms（客戶端）顯示刷新延遲：≈7.9ms（客戶端）GPU的幀渲染計算延遲≈5.5ms（服務(wù)器）網(wǎng)絡(luò)延遲（預(yù)算）=20-1.5-7.9-5.5=5.1ms（網(wǎng)絡(luò)）結(jié)論：需要同時考慮網(wǎng)絡(luò)和計算資源狀態(tài)，進(jìn)行路由協(xié)議層面的聯(lián)合優(yōu)化典型場景1：Computing-Aware

AR/VR典型場景2：Computing-Aware

V2X通過算力路由在本地優(yōu)先處理低時延業(yè)務(wù)（如輔助駕駛業(yè)務(wù)），保證其用戶體驗和可用性將時延不敏感業(yè)務(wù)（如車載娛樂業(yè)務(wù)）從本地調(diào)度到遠(yuǎn)端9算力路由將算力因子引入路由域，實現(xiàn)網(wǎng)絡(luò)和計算的聯(lián)合優(yōu)化，克服面向邊緣計算的“性能反轉(zhuǎn)”問題，滿足時延和計算敏感新型業(yè)務(wù)需求觀察1：計算延遲和網(wǎng)絡(luò)時延在同量級觀察2：僅根據(jù)網(wǎng)絡(luò)或計算負(fù)載選擇服務(wù)節(jié)點，總時延無法滿足觀察3：根據(jù)兩者選擇邊緣站點3，總延遲≈19.4ms1、算力路由CATS（2/3）技術(shù)方向：新型算網(wǎng)多因子算路算法構(gòu)建算力路由信息表（CA-RIB），考慮距離因子、算力因子以及權(quán)重，生成算網(wǎng)cost=w1*網(wǎng)絡(luò)cost+w2*算力cost提出分域通告、分類通告，約束算力信息更新的范圍，減少算力信息的無效通告。通過仿真建模量化分析算力信息通告信令開銷的影響技術(shù)方向：自適應(yīng)的算力通告問題3：路由求解，多維因子路由優(yōu)化問題在距離矢量上疊加算力向量，改變選路方法，影響路由決策。簡單疊加將導(dǎo)致路由不收斂問題2：合理的算力信息通告問題通告頻率越高，算力信息越實時，但開銷越大，如何找到通告信令開銷與信息實時性的平衡點問題1：算力度量問題算力信息維度較多，需要定義面向路由調(diào)度的高可用性計算信息，兼顧報文封裝成本以及可用性技術(shù)方向：簡單高效的算力信息封裝統(tǒng)一量綱，使用與網(wǎng)絡(luò)和業(yè)務(wù)相同的度量維度信息，應(yīng)用于路由調(diào)度，例如通過BGP

PathAttribution擴展封裝計算時延信息ABCEBCE連接算力

A的網(wǎng)絡(luò)節(jié)點網(wǎng)絡(luò)拓?fù)渚W(wǎng)絡(luò)節(jié)點算力網(wǎng)絡(luò)節(jié)點拓?fù)渚W(wǎng)絡(luò)節(jié)點算力網(wǎng)絡(luò)狀態(tài)拓?fù)?01ABCE連接算力的網(wǎng)絡(luò)節(jié)點算力節(jié)點能力通告算力節(jié)點狀態(tài)通告網(wǎng)絡(luò)節(jié)點算力路由需要解決算力擴展、算力信息通告、多因子路由求解等多方面的問題，實現(xiàn)基于網(wǎng)絡(luò)因子和計算因子的聯(lián)合路由1、算力路由CATS（3/3）2019~2022年5次研討會2023年3月CATSWG成立暨首次會議，是路由域最受歡迎的工作組之一完成場景和需求立項推動面向AI大模型的算力路由場景寫入CATSWG標(biāo)準(zhǔn)基于CATS的分布式推理基于CATS+AI的內(nèi)容獲取AI-basedMediaDistributionandTraffic

Steering完成實驗系統(tǒng)，驗證全局時延優(yōu)化上約30

的性能提升合力攻關(guān)算力路由技術(shù)，圍繞IETF

CATS構(gòu)建標(biāo)準(zhǔn)體系，推動產(chǎn)業(yè)生態(tài)加速構(gòu)筑領(lǐng)先優(yōu)勢歷經(jīng)4年，中國移動在IETF發(fā)起成立算力路由工作組(CATS,

Computing-Aware

Traffic

Steering)，中國移動擔(dān)任主席，是IETF路由域近20年由中國高校/公司牽頭成立的兩個工作組之一112、全調(diào)度以太GSE（1/3）2

的丟包就會使RDMA吞吐率下降為0芯片容量提升2倍，組網(wǎng)規(guī)模提高4倍隨著GPU單卡算力受限，獲得同等算力的難度持續(xù)增加，以網(wǎng)強算成為提升大模型訓(xùn)練效率的關(guān)鍵GPU集群性能

≠

單GPU性能*NAI大模型以GPU集群分布式訓(xùn)練為基礎(chǔ)，帶來大量節(jié)點間通信消耗，網(wǎng)絡(luò)成為AI算力“瓶頸”

智算中心建設(shè)進(jìn)入快車道，網(wǎng)絡(luò)技術(shù)發(fā)展已滯后于AI模型演進(jìn)，新型AI網(wǎng)絡(luò)方案成為業(yè)界創(chuàng)新焦點集群有效算力∝｛GPU單卡算力*總卡數(shù)*線性加速比*有效運行時｝網(wǎng)絡(luò)設(shè)備能力決定GPU集群組網(wǎng)規(guī)模

網(wǎng)絡(luò)性能決定GPU集群算力加速比

網(wǎng)絡(luò)可用性決定GPU集群穩(wěn)定性1212、全調(diào)度以太GSE（2/3）從“局部”決策到“全局”調(diào)度從“流”分發(fā)到“報文”分發(fā)從盲發(fā)+被動控制到感知+主動控制將業(yè)務(wù)流拆分到不同“報文容器”轉(zhuǎn)發(fā)，提供逐“報文容器”負(fù)載均衡機制，提升帶寬利用率從被動擁塞控制，到基于“授權(quán)請求和響應(yīng)機制”的主動流控，最大限度避免網(wǎng)絡(luò)擁塞產(chǎn)生全局視野的轉(zhuǎn)發(fā)調(diào)度機制，實現(xiàn)集中式管理運維、分布式控制轉(zhuǎn)發(fā)，提高網(wǎng)絡(luò)可用性當(dāng)前：逐流負(fù)載，鏈路利用率低、發(fā)生擁塞被動降速未來：逐報文容器轉(zhuǎn)發(fā)，鏈路負(fù)載均衡，全局調(diào)度，避免擁塞SpineSpineSpine目的leaf32

1321321源leaf321321321擁塞3 2 13 2 12 1丟包中國移動提出全調(diào)度以太網(wǎng)（GSE）技術(shù)架構(gòu)，最大限度兼容以太網(wǎng)生態(tài)，創(chuàng)新基于報文容器（PKTC）的轉(zhuǎn)發(fā)及調(diào)度機制，構(gòu)建無阻塞、高帶寬、低時延的新型智算中心網(wǎng)絡(luò)，形成標(biāo)準(zhǔn)開放的技術(shù)體系，助力AI產(chǎn)業(yè)發(fā)展創(chuàng)新以太網(wǎng)轉(zhuǎn)發(fā)機制，實現(xiàn)三大核心機制轉(zhuǎn)變1312、全調(diào)度以太GSE（3/3）全調(diào)度以太網(wǎng)（GSE）特設(shè)組研究范疇2023.11云網(wǎng)智聯(lián)大會發(fā)布《全調(diào)度以太網(wǎng)技術(shù)架構(gòu)》白皮書中國算力大會正式啟動全調(diào)度以太網(wǎng)（GSE）推進(jìn)計劃中國網(wǎng)絡(luò)大會發(fā)布業(yè)界首款GSE原型系統(tǒng)CCSA成功立項《全調(diào)度以太網(wǎng)總體技術(shù)要求》2023.8

2023.92023.5 2023.6ODCC冬季全會GSE工作組成立及第一次工作組會議低延遲FEC、光交換、故障快速檢測、400G/800G以及更高速率接口物理層擴展等改進(jìn)的PFC、GSE高級調(diào)度技術(shù)、鏈路級安全、鏈路級容錯等新型網(wǎng)絡(luò)拓?fù)洹⑿滦吐酚蓞f(xié)議、新型組播協(xié)議等改進(jìn)的RDMA、新型擁塞控制協(xié)議、網(wǎng)絡(luò)多路徑能力、亂序重排、選擇性重傳等運維和管理體系端到端網(wǎng)絡(luò)可視化、可調(diào)試能力、部署/運維/變更/故障恢復(fù)等多維自動化能力物理層數(shù)據(jù)鏈路層網(wǎng)絡(luò)層傳輸協(xié)議層中國移動，中國信息通信研究院，中國廣電、華為、盛科、中興、銳捷、新華三、浪潮信息、Intel、Broadcom、清華大學(xué)、上海交通大學(xué)、鵬城實驗室、紫金山實驗室、北京郵電大學(xué)、中科院計算機網(wǎng)絡(luò)信息中心、中信科、Spirent、是德科技、云合智網(wǎng)、楠菲微電子、燧原科技、昆侖芯、邁普，星云智聯(lián)、云脈芯聯(lián)、中科馭數(shù)、云豹智能、大禹智芯、中盈優(yōu)創(chuàng)等四十余家產(chǎn)學(xué)研機構(gòu)及廠商全調(diào)度以太網(wǎng)（GSE）合作伙伴141中國移動攜手中國信通院，聯(lián)合國內(nèi)外三十余家主流互聯(lián)網(wǎng)，設(shè)備商、芯片商、高校院所聯(lián)合發(fā)起GSE推進(jìn)計劃，推動智算中心網(wǎng)絡(luò)技術(shù)創(chuàng)新、標(biāo)準(zhǔn)完善和產(chǎn)業(yè)應(yīng)用，打造高速無損、開放兼容的新型智算中心網(wǎng)絡(luò)技術(shù)體系3、數(shù)據(jù)快遞GSN(1/2)數(shù)據(jù)量大單次傳輸在TB級別天文觀測：幾十TB/次基因測序：TB~100TB/次影視渲染：10TB~100TB/節(jié)目傳輸距離遠(yuǎn)屬于長肥網(wǎng)絡(luò)（LFN）帶寬時延積（BDP）大網(wǎng)絡(luò)傳輸帶寬：>10Gbps傳輸時延：20ms~50ms網(wǎng)絡(luò)復(fù)雜多樣設(shè)備異構(gòu)、拓?fù)鋸?fù)雜，難以無損鏈路層誤碼率不可避免大象流負(fù)載不均，存在擁塞丟包多流競爭，存在微突發(fā)丟包傳統(tǒng)TCP協(xié)議在數(shù)據(jù)快遞中吞吐受限，有效吞吐與鏈路時延、丟包率成反比，使用多流傳輸會使單流吞吐下降，且受主機CPU性能限制，同樣存在吞吐瓶頸單流傳輸時，時延由1ms增加到10ms時吞吐下降約10倍1.22*MSSTCP網(wǎng)絡(luò)吞吐

=

——————RTT*

Sqrt(L)RFC

3649:HighSpeed

TCP

for

Large

Congestion

Windows8條流并發(fā)傳輸，單流吞吐下降7算力分布的不均衡以及智算、超算業(yè)務(wù)的蓬勃發(fā)展對廣域數(shù)據(jù)傳輸提出更高要求，中國移動提出“數(shù)據(jù)快遞”技術(shù)體系，充分利用高帶寬網(wǎng)絡(luò)實現(xiàn)高吞吐數(shù)據(jù)傳輸153、數(shù)據(jù)快遞GSN(2/2)貴州FAST北京國家天文臺傳輸距離遠(yuǎn)2200km廣域長肥網(wǎng)絡(luò)測試結(jié)果：新型傳輸協(xié)議是傳統(tǒng)TCP協(xié)議吞吐的18倍（單流吞吐：7.94Gbps

vs

424Mbps）5 ①新型傳輸協(xié)議設(shè)計，消除端側(cè)吞吐瓶頸大

②新型擁塞控制算法，提升網(wǎng)絡(luò)有效利用率核

③丟包快速恢復(fù)算法，降低數(shù)據(jù)傳輸尾時延心技 ④丟包精確重傳機制，降低丟包對吞吐影響術(shù) ⑤端到端多路徑傳輸，實現(xiàn)帶寬聚合與均衡基于新型傳輸協(xié)議，構(gòu)建