算網(wǎng)一體技術(shù)研究及發(fā)展探討

算網(wǎng)一體技術(shù)研究及發(fā)展探討孫滔1122332一年多來持續(xù)開拓創(chuàng)新，全力推進(jìn)算力網(wǎng)絡(luò)發(fā)展，形成一系列創(chuàng)新成果，在業(yè)界取得了廣泛共識算力網(wǎng)絡(luò)是以算為中發(fā)布新理念提出新概念發(fā)布中國移動《算力網(wǎng)絡(luò)白皮書》和發(fā)展楊杰董事長提出“算力網(wǎng)絡(luò)”概念與愿景端、發(fā)布新理念提出新概念發(fā)布中國移動《算力網(wǎng)絡(luò)白皮書》和發(fā)展楊杰董事長提出“算力網(wǎng)絡(luò)”概念與愿景——中國移動《算力網(wǎng)絡(luò)融入新戰(zhàn)略絡(luò)+能力中臺”新型信息基礎(chǔ)設(shè)施的關(guān)鍵一環(huán)開創(chuàng)新方向技術(shù)白皮書》，提出十大技術(shù)方向開啟新征程發(fā)布《算力網(wǎng)絡(luò)創(chuàng)新成國算力網(wǎng)、信息高鐵三邁向新階段完成CFITI試驗(yàn)網(wǎng)一期總結(jié)驗(yàn)收，形成案例集；發(fā)布世界最長距離400G光傳輸試驗(yàn)網(wǎng)絡(luò)；成立算力網(wǎng)絡(luò)子鏈專家委員會2023.3算力網(wǎng)絡(luò)的發(fā)展經(jīng)過三個階段的發(fā)展，逐漸深化起步階段：泛在協(xié)同發(fā)展階段：融合統(tǒng)一跨越階段：一體內(nèi)生一站服務(wù)：一站開通算網(wǎng)服務(wù)協(xié)同運(yùn)營：云網(wǎng)運(yùn)營雙入口拉通協(xié)同編排網(wǎng)隨算動一體服務(wù)：多層次智簡無感服務(wù)模式創(chuàng)新：多方算力可信交易一站服務(wù)：一站開通算網(wǎng)服務(wù)協(xié)同運(yùn)營：云網(wǎng)運(yùn)營雙入口拉通協(xié)同編排網(wǎng)隨算動一體服務(wù)：多層次智簡無感服務(wù)模式創(chuàng)新：多方算力可信交易智慧內(nèi)生算網(wǎng)一體算網(wǎng)融合2025~2024-20252021-20232025~2024-2025 4算網(wǎng)一體通過“聯(lián)合感知”“混合控制”“極致互聯(lián)”構(gòu)建面向智能化時代的數(shù)字基礎(chǔ)設(shè)施聯(lián)合感知聯(lián)合感知前提混合控制混合控制拓?fù)湫畔砣麪顟B(tài)SLA指標(biāo)CPU利用率異構(gòu)算力算力規(guī)模拓?fù)湫畔砣麪顟B(tài)SLA指標(biāo)CPU利用率異構(gòu)算力算力規(guī)模網(wǎng)絡(luò)信息算力信息節(jié)點(diǎn)2集中式控制節(jié)點(diǎn)2任務(wù)分解與任務(wù)分解與調(diào)配節(jié)點(diǎn)1節(jié)點(diǎn)1分布式控制.'節(jié)點(diǎn)3 消費(fèi)側(cè)節(jié)點(diǎn)4節(jié)點(diǎn)4支撐作用 CSP3CSP4極致互聯(lián)極致互聯(lián)ISP1ISP2 ISP1ISP2 CSP1CSP2廣域吞吐敏感網(wǎng)絡(luò)算力路由在網(wǎng)計算突破RDMA長距傳輸瓶頸，創(chuàng)新互聯(lián)網(wǎng)架構(gòu)協(xié)議，基于算網(wǎng)資源聯(lián)合感知實(shí)現(xiàn)動態(tài)融合決策選路511223362018年開始研究算網(wǎng)融合技術(shù)，面向云邊協(xié)同和邊邊協(xié)同的“性能反轉(zhuǎn)”等問題，提出在路由域引入2018年開始研究算網(wǎng)融合技術(shù)，面向云邊協(xié)同和邊邊協(xié)同的“性能反轉(zhuǎn)”等問題，提出在路由域引入云邊以及邊邊調(diào)度之間出現(xiàn)“性能反轉(zhuǎn)”中心云邊緣節(jié)點(diǎn)深的條件下，邊緣響應(yīng)平均時延及尾時延遠(yuǎn)大中心云邊緣節(jié)點(diǎn)擁塞情況均是問題來源邊緣節(jié)點(diǎn)塞信息沒有產(chǎn)生關(guān)聯(lián)算：降低負(fù)載、計算資源預(yù)留...問題:造成大量計算資源的閑置問題:增加網(wǎng)絡(luò)建設(shè)、運(yùn)維成本通過仿真發(fā)現(xiàn)在路由中引入算力信息在低、中、重載情況下均有一定并擔(dān)任主席，是IETF7大領(lǐng)域133個工作組中近10年由中國高校/公司牽頭成立的兩個工作組之一★★獲取關(guān)注，凝聚初步共識場景和需求達(dá)成共識討論技術(shù)路線，工作組章程當(dāng)前，許多服務(wù)會創(chuàng)建多個服務(wù)實(shí)例，這些實(shí)例通常在地理上分布在多個站點(diǎn)。CATS工作組主要考慮網(wǎng)絡(luò)邊緣節(jié)點(diǎn)如何引導(dǎo)服務(wù)的客戶端和提供服務(wù)的站點(diǎn)之間的流量的問題。——CATSWGCharter范圍范圍定義、基于現(xiàn)有協(xié)議的實(shí)現(xiàn)、潛在新協(xié)議需求的分析88IngressCATS-Router：IngressCATS-Router：EgressCATS-Router：?CATSServiceMetriCATS-controlCATS-controlcenter：?draft-ddcb-cats-sfc-bgp-applicability-00?draft-jaehwoon-cats-mobility-00(cats支持?draft-wang-cats-green-challenges-00（cats綠色低碳考慮）?draft-shi-cats-ipv6-based-con-00（cats與IPv6的應(yīng)用）99算力路由系統(tǒng)的實(shí)現(xiàn)根據(jù)網(wǎng)絡(luò)部署情況，支持集中式、分布式、混合式等多種組網(wǎng)方案。從集中式方案開始，分階段逐步推進(jìn)算力路由實(shí)驗(yàn)驗(yàn)證41算網(wǎng)控制器分布式算力感知Restful2分布式網(wǎng)絡(luò)感知BGP-LSTelemetryBGPSRv63集中式算網(wǎng)一體感知云管理平臺3算網(wǎng)一體感知協(xié)議CA-BGP-LS4PolicyBGP-FS41算網(wǎng)控制器分布式算力感知Restful2分布式網(wǎng)絡(luò)感知BGP-LSTelemetryBGPSRv63集中式算網(wǎng)一體感知云管理平臺3算網(wǎng)一體感知協(xié)議CA-BGP-LS4PolicyBGP-FSNetconf集中式多策略調(diào)度5算力路由轉(zhuǎn)發(fā)251算網(wǎng)控制器?完成算網(wǎng)控制器和算力路由網(wǎng)關(guān)原型樣機(jī)開發(fā)，構(gòu)建業(yè)內(nèi)首個集中式算力路由驗(yàn)證系統(tǒng)算網(wǎng)控制器?推進(jìn)廣東珠?，F(xiàn)網(wǎng)試點(diǎn)驗(yàn)證，驗(yàn)證業(yè)務(wù)承載量提升30%以上，算網(wǎng)綜合資源利用率提升32%以上算力路由網(wǎng)關(guān)分布式：集中式：分布式：集中式：CA-BGP算力路由網(wǎng)關(guān)CA-BGP算力路由網(wǎng)關(guān)算力路由網(wǎng)關(guān)算力路由CA-BGP應(yīng)用APP534CA-BGP應(yīng)用APP534算力路由算力路由網(wǎng)關(guān)52CA-BGP云資源池1應(yīng)用APP用戶《算網(wǎng)一體技術(shù)體系關(guān)鍵技術(shù)創(chuàng)新案例》榮獲CCSATC6102022年度“最佳實(shí)踐案例”云資源池網(wǎng)關(guān)52CA-BGP云資源池1應(yīng)用APP用戶《算網(wǎng)一體技術(shù)體系關(guān)鍵技術(shù)創(chuàng)新案例》榮獲CCSATC6102022年度“最佳實(shí)踐案例”云資源池網(wǎng)關(guān)?開展規(guī)模性部署的CATS技術(shù)方案驗(yàn)證?開展CA-BGP等新型協(xié)議的驗(yàn)證測試?分布式算力路由樣機(jī)已進(jìn)入平臺測試階段分布式算力路由樣機(jī)《算力感知和算力路由構(gòu)建算網(wǎng)一體化調(diào)度》榮獲工信部《算力感知和算力路由構(gòu)建算網(wǎng)一體化調(diào)度》榮獲工信部2022年ICT優(yōu)秀案例“卓越科技創(chuàng)新獎”世界全媒體“2023年度算力應(yīng)用案例十大標(biāo)桿”海量數(shù)據(jù)跨廣域網(wǎng)傳輸?shù)膱鼍霸絹碓蕉啵瑪?shù)據(jù)異地上云、云遷移等場景的數(shù)據(jù)規(guī)模越來越大自動駕駛訓(xùn)練數(shù)據(jù)上云綜藝原始素材上云基因測序數(shù)據(jù)上云FAST觀測數(shù)據(jù)上云單車日產(chǎn)數(shù)據(jù)幾TB至十幾TB，完成L3訓(xùn)練預(yù)計產(chǎn)生8EB數(shù)據(jù)，L4訓(xùn)練預(yù)計產(chǎn)生20EB數(shù)據(jù)綜藝原始素材總量一年達(dá)500PB，10TB~100TB量級/日/節(jié)目國內(nèi)某基因企業(yè)基因測序數(shù)據(jù)年數(shù)據(jù)100PB，TB~100TB量級/次FAST每年200+以上觀測項目，產(chǎn)生數(shù)據(jù)15PB左右，TB~PB量級/次2025年中國數(shù)據(jù)量將達(dá)到48.6ZB，其中適合東數(shù)西算的溫、冷數(shù)據(jù)占比95%為保證數(shù)據(jù)的安全存儲以及有效管理，云災(zāi)備市場規(guī)模不斷擴(kuò)大，2019年達(dá)到了32億元，2023年達(dá)到了51億元，年復(fù)合增長率約為12.4%實(shí)現(xiàn)高吞吐、高可靠、低時延、低算力損耗“兩高兩低”特性的算網(wǎng)高性能互聯(lián)網(wǎng)絡(luò)時延由1ms增時延由1ms增加到10ms時，吞吐下降10倍4個關(guān)鍵技術(shù)，實(shí)現(xiàn)長距高吞吐傳輸4個關(guān)鍵技術(shù)，實(shí)現(xiàn)長距高吞吐傳輸原生RDMA丟包敏感，難以直接用于廣域網(wǎng)原生RDMA丟包敏感，難以直接用于廣域網(wǎng)丟包率達(dá)到0.5%，有效吞吐接近為0①人工硬盤快遞：操作復(fù)雜、流程繁瑣、占用人工多，且快遞過程中存在硬盤損壞、丟失等風(fēng)險多數(shù)據(jù)量大TB~PB/次多數(shù)據(jù)量大TB~PB/次快專線傳輸小時達(dá)數(shù)據(jù)可靠安全加密綜合成本低一站式服務(wù)好智算/超算中心（私有云/公有云）廣域互聯(lián)資源自動分配好智算/超算中心（私有云/公有云）廣域互聯(lián)資源自動分配省省------>負(fù)載均衡數(shù)據(jù)快遞站（機(jī)房/營業(yè)廳）負(fù)載均衡超高帶寬實(shí)時傳輸數(shù)十TB/小時超高帶寬實(shí)時傳輸數(shù)十TB/小時夜間空閑帶寬錯峰傳輸數(shù)十TB/小時聚合空閑帶寬實(shí)時傳輸數(shù)百G~數(shù)TB/小時及創(chuàng)新優(yōu)化策略的低風(fēng)險、高效率部署，是面向算網(wǎng)一體的關(guān)鍵技術(shù)之一分布式流量工程l數(shù)字孿生網(wǎng)絡(luò)感知真實(shí)網(wǎng)絡(luò)流量狀態(tài)l為模型訓(xùn)練提供充分空間，可提升路由決策的有效性l策略下發(fā)前的孿生預(yù)驗(yàn)證，可降低對物理網(wǎng)絡(luò)的影響數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維l網(wǎng)絡(luò)的高保真呈現(xiàn)、狀態(tài)的實(shí)時監(jiān)控l網(wǎng)絡(luò)流量均衡調(diào)度，異常流量識別和處理等場景l(fā)網(wǎng)絡(luò)配置預(yù)驗(yàn)證，網(wǎng)絡(luò)策略的雙閉環(huán)驗(yàn)證數(shù)據(jù)中心網(wǎng)絡(luò)預(yù)期2023年底推進(jìn)發(fā)布InformationalRFC數(shù)字孿生網(wǎng)絡(luò)標(biāo)準(zhǔn)體系構(gòu)建準(zhǔn)則技術(shù)需求測試規(guī)范評價指標(biāo)評價方法應(yīng)用場景信息安全功能安全服務(wù)規(guī)范服務(wù)管理分級體系隱私保護(hù)定義術(shù)語系統(tǒng)架構(gòu)孿生體管理數(shù)據(jù)服務(wù)網(wǎng)元建?？梢暬尸F(xiàn)接口規(guī)范數(shù)據(jù)采集數(shù)據(jù)存儲場景建模數(shù)字孿生網(wǎng)絡(luò)標(biāo)準(zhǔn)體系構(gòu)建準(zhǔn)則技術(shù)需求測試規(guī)范評價指標(biāo)評價方法應(yīng)用場景信息安全功能安全服務(wù)規(guī)范服務(wù)管理分級體系隱私保護(hù)定義術(shù)語系統(tǒng)架構(gòu)孿生體管理數(shù)據(jù)服務(wù)網(wǎng)元建?？梢暬尸F(xiàn)接口規(guī)范數(shù)據(jù)采集數(shù)據(jù)存儲場景建模…拓?fù)浣?shù)字線程虛實(shí)映射工作子組研究進(jìn)展 ,中興，信通院、中信科等多家單位參與術(shù)要求，數(shù)據(jù)服務(wù)，網(wǎng)絡(luò)建模和數(shù)字地圖參與5個項目在研??問題設(shè)置：基于某DTNAI模型（如RouteNet-Fermi模型），基于小規(guī)模網(wǎng)絡(luò)生成高質(zhì)量訓(xùn)練數(shù)據(jù)，能夠擴(kuò)展到大規(guī)模網(wǎng)絡(luò)?評價指標(biāo)：路徑平均時延的預(yù)測平均絕對百分誤差?真實(shí)數(shù)據(jù)缺失：生產(chǎn)網(wǎng)絡(luò)數(shù)據(jù)具有較高價值，但較難獲取，且數(shù)量、類型和精度有限?多源數(shù)據(jù)：網(wǎng)絡(luò)數(shù)據(jù)來源多樣，質(zhì)量不一，難以直接用于DTNAI模型面向DTNAI模型構(gòu)建，提出AutoOPT方案，通過數(shù)據(jù)生成和優(yōu)化，得到高質(zhì)量數(shù)據(jù)數(shù)據(jù)生成（階段1）?基于歷史流量數(shù)據(jù)及多樣化配置，生成?生成網(wǎng)絡(luò)配置：盡可能覆蓋更多場景，包含拓?fù)淞烤仃嚕ǘ鄻踊髁棵芏龋?shù)據(jù)優(yōu)化（階段2）?從多源數(shù)據(jù)中自動篩選出高精度、多樣化、??種子樣本選擇：訓(xùn)練特征提取器&特征提?。ㄦ溌窢顟B(tài)/隊列狀態(tài)/流狀態(tài)）->聚類->選擇類中心&最近鄰->領(lǐng)域知識驗(yàn)證?增量優(yōu)化：篩選器對剩余候選數(shù)據(jù)進(jìn)行篩選（簡單樣本選擇->困難樣本挖掘->分布外(OOD)檢測識驗(yàn)證），得到高質(zhì)量數(shù)據(jù)階段1階段2實(shí)驗(yàn)結(jié)果表明通過AutoOPT可得到高質(zhì)量數(shù)據(jù)，效果測試與已有方法相比結(jié)果接近，但開銷更低?大規(guī)模候選數(shù)據(jù)（例如，GhostDucks生成270,000個候選樣本）?粗粒度驗(yàn)證集分析?較小規(guī)模候選數(shù)據(jù)（階段1生成約500個候選樣本）MeiLi,ChengZhou,LuLu,