面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書 2024

面向面向面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書1參與單位排序不分先后）主要編寫人員排序不分先后）面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書2告，2023年，我國(guó)數(shù)據(jù)生產(chǎn)總量達(dá)32.85ZB（澤字節(jié)），同比增長(zhǎng)算中心/智算中心、大型數(shù)據(jù)中心，以及有數(shù)據(jù)遷移需求的各科研機(jī)面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書34 6 6 7 8 8 13 14 16 18 18 18 19 20 21 21 21 22 23 235 24 25 26 26 27 27 28 30 30 30 31 32 33 34 35 38 面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書6濟(jì)的新主角。提升算力水平、做強(qiáng)算力產(chǎn)業(yè)，已經(jīng)成為全球40多個(gè)隨著數(shù)字經(jīng)濟(jì)的發(fā)展，國(guó)內(nèi)算力布局也在不斷優(yōu)化。2021年3系，強(qiáng)化算力統(tǒng)籌智能調(diào)度”；2023年2月，中共中央、國(guó)務(wù)院引國(guó)家級(jí)算力樞紐節(jié)點(diǎn)和10個(gè)數(shù)據(jù)中心集群，已建成十多個(gè)國(guó)家超級(jí)為推進(jìn)全網(wǎng)一體化算力網(wǎng)建設(shè)，2020年9月，我國(guó)成立“東數(shù)西算”聯(lián)盟；2022年，全面啟動(dòng)了“東數(shù)西算”工程，在國(guó)家“東面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書7算”工程，加快構(gòu)建全國(guó)一體化算力網(wǎng)的實(shí)施意見》中提出：“到2025年底，用戶使用各類算力的易用性明顯提高、成本明顯降低；因測(cè)序、視頻渲染等行業(yè)每年產(chǎn)生的數(shù)據(jù)量都近PB。傳統(tǒng)計(jì)網(wǎng)絡(luò)需提供高效傳輸?shù)哪芰?，滿足用戶不斷增面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書8AI技術(shù)蓬勃發(fā)展，大模型應(yīng)用迎來(lái)爆發(fā)期，算力需求指數(shù)級(jí)增長(zhǎng)。英偉達(dá)表示“在未來(lái)的10年里，會(huì)把深度學(xué)習(xí)的計(jì)算能力再提面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書9要耗費(fèi)時(shí)間；同時(shí)為了減少快遞/運(yùn)輸次數(shù)，一般將數(shù)據(jù)積累幾天之聯(lián)場(chǎng)景，但其接入成本高、獲取周期長(zhǎng)。IPVPN網(wǎng)絡(luò)統(tǒng)計(jì)復(fù)用特性當(dāng)前仍屬于OTT業(yè)務(wù)，基于無(wú)線、傳輸和承載等物理網(wǎng)絡(luò)上利用隧面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書業(yè)務(wù)承載時(shí)用戶按需、靈活、跨域、安全可如何將算力應(yīng)用所需海量數(shù)據(jù)從客戶側(cè)傳輸?shù)剿懔Y源提供方是目前網(wǎng)絡(luò)亟需解決的痛點(diǎn)。以基因測(cè)序?yàn)槔?的overlay業(yè)務(wù)連接，按需提供underlay物理資源保障，實(shí)現(xiàn)業(yè)（2）按需隨建隨拆、靈活組網(wǎng)：傳統(tǒng)專線資源長(zhǎng)連接，但并非面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書（4）彈性大帶寬：傳統(tǒng)傳輸專線無(wú)法提供彈性服務(wù)能力，必須（5）泛在接入：為提供用戶使用算力資源的便捷性，網(wǎng)絡(luò)需具（6）可信可靠：網(wǎng)絡(luò)需具備可信可靠的能力，以嚴(yán)格保障用戶（7）跨域協(xié)同：對(duì)于用戶跨域甚至跨運(yùn)營(yíng)商的數(shù)據(jù)傳輸需求，介質(zhì)。這有效降低了IP網(wǎng)絡(luò)的復(fù)雜度，為業(yè)務(wù)應(yīng)用、承載介質(zhì)提供面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書與網(wǎng)絡(luò)內(nèi)部無(wú)關(guān)，進(jìn)一步降低了IP網(wǎng)絡(luò)的復(fù)雜性，提高了網(wǎng)絡(luò)的抗但不同于傳統(tǒng)消費(fèi)者業(yè)務(wù)的盡力而為轉(zhuǎn)發(fā)，超智算業(yè)務(wù)對(duì)IP網(wǎng)感知網(wǎng)絡(luò)的狀況。因此需要對(duì)現(xiàn)有IP網(wǎng)絡(luò)架構(gòu)進(jìn)行創(chuàng)新，根據(jù)不同面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書圖1超算快線網(wǎng)絡(luò)架構(gòu)），面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書架構(gòu)充分考慮了IP網(wǎng)絡(luò)功能的可擴(kuò)展性，根據(jù)各種業(yè)務(wù)需求，可按面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書圖2業(yè)務(wù)核心層（1）終端接入控制功能：通過線路認(rèn)證、獨(dú)立硬件標(biāo)識(shí)或者接入終端ID等方式對(duì)終端進(jìn)行合法性認(rèn)證并納管終端，維護(hù)終端的附號(hào)+驗(yàn)證碼等方式實(shí)現(xiàn)用戶的接入認(rèn)證，實(shí)現(xiàn)合法用戶可正常附著于（3）資源保障功能：通過與超級(jí)業(yè)務(wù)網(wǎng)關(guān)的交互，網(wǎng)絡(luò)連接控制已經(jīng)成功建立業(yè)務(wù)連接進(jìn)行QoS策略和業(yè)務(wù)分流，確保業(yè)務(wù)連接面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書（4）計(jì)費(fèi)功能：根據(jù)服務(wù)使能層接受的用戶計(jì)費(fèi)策略以及從業(yè)源上，用于提供帶寬、QoS、切片、源路由/SRv6等業(yè)圖3業(yè)務(wù)承載層面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書多種方式的泛在接入能力，同一終端也可以同時(shí)提供兩種接入方式，費(fèi)、業(yè)務(wù)連接老化/拆除等功能；基于業(yè)務(wù)的確定性/差異化承載的服面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書專線連接包括用戶線上或線下申請(qǐng)、運(yùn)營(yíng)商IT系統(tǒng)受理、工單下發(fā)靈活組網(wǎng)技術(shù)支持用戶通過線上服務(wù)平臺(tái)或者API接口下發(fā)網(wǎng)面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書間的靈活互聯(lián)互通需求，可通過在全國(guó)部署一套IP業(yè)務(wù)核心層，通隨著業(yè)務(wù)連接數(shù)量的不斷增加或者各運(yùn)營(yíng)主體間希望通過分域營(yíng)主體可以獨(dú)自部署接入終端、超級(jí)業(yè)務(wù)網(wǎng)關(guān)以及IP業(yè)務(wù)核心層，立請(qǐng)求、SLA需求和資源需求等參數(shù)，由發(fā)起方傳遞至響應(yīng)方的IP面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書圖4跨域協(xié)同面對(duì)用戶對(duì)不同帶寬、不同時(shí)延和不同SLA的差異化網(wǎng)絡(luò)承載訴求，需要按需實(shí)時(shí)為通訊終端之間分配和映射Underlay網(wǎng)絡(luò)能力面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書增的shim層，實(shí)現(xiàn)數(shù)據(jù)鏈路層速率和物理層速率的解耦，對(duì)FlexE的SLA承諾，有必要通過業(yè)務(wù)隨流檢測(cè)技術(shù)實(shí)時(shí)感知業(yè)務(wù)的時(shí)延、進(jìn)行特征標(biāo)記，將時(shí)延、丟包、抖動(dòng)等性能指標(biāo)通過Telemetr數(shù)據(jù)傳輸業(yè)務(wù)中，網(wǎng)元設(shè)備主要包括了IP業(yè)務(wù)承載層的接入終端、超級(jí)業(yè)務(wù)網(wǎng)關(guān)以及IP業(yè)務(wù)核心層的各網(wǎng)絡(luò)功能服務(wù)實(shí)體，當(dāng)這通過IOAM、Telemetry技術(shù)實(shí)時(shí)監(jiān)測(cè)采集各端口狀態(tài)以及業(yè)務(wù)流量面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書能實(shí)體可部署在物理機(jī)或云化部署，通過配置防火墻、ACL策略、VPN策略等方式實(shí)現(xiàn)對(duì)接入終端與超級(jí)業(yè)務(wù)網(wǎng)關(guān)的納管，減少設(shè)備為了確保數(shù)據(jù)傳輸業(yè)務(wù)流量可以按照預(yù)期規(guī)劃的可信任的路徑分為IGP路由（包括ISIS和OSPF）和BGP路由兩大類。在建立此外，對(duì)于BGP路由可能存在的劫持泄露問題，可通過RPKI可信源部署進(jìn)行認(rèn)證，防止將非法偽造或篡改的BGP路由路徑安全可使用基于IPv6+體系的SRv6Policy隧道技術(shù)，實(shí)現(xiàn)傳輸路徑。通過對(duì)SRv6配置安全域隔離，邊界過濾實(shí)現(xiàn)防仿冒，互通的雙方或者多方進(jìn)入同一VPN實(shí)現(xiàn)路由控制面的隔離。當(dāng)業(yè)務(wù)面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書數(shù)據(jù)中心內(nèi)部已廣泛采用RDMA技術(shù)解決收發(fā)端服務(wù)器的瓶頸NP/FPGA芯片對(duì)存儲(chǔ)的直接訪問，提升網(wǎng)絡(luò)的傳輸帶寬。傳、擁塞提前降速/停止發(fā)送等機(jī)制，使廣域網(wǎng)處于無(wú)損傳輸狀態(tài)，存在較大差異，同時(shí)也呈現(xiàn)大小流兩極分化的特點(diǎn)。超算快線的underlay承載層包括了有線、無(wú)線，IP、OTN、裸光纖絡(luò)+通道/切片+QOS的層次化差異化選路調(diào)度，實(shí)現(xiàn)應(yīng)面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書SRv6技術(shù)通過源路由機(jī)制在IPv6報(bào)文中新增SRH（Segment根據(jù)用戶業(yè)務(wù)需求，對(duì)SegmentList進(jìn)行靈活編排，規(guī)劃出最優(yōu)的轉(zhuǎn)對(duì)于傳統(tǒng)通過流Hash負(fù)載分擔(dān)方式造成的多條大s超算快線業(yè)務(wù)模式l用戶對(duì)業(yè)務(wù)傳輸需求非長(zhǎng)期連續(xù)；面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書l支持隨建隨拆，用戶可實(shí)時(shí)或預(yù)約夜間閑時(shí)業(yè)務(wù)傳輸，彈性業(yè)務(wù)模式面向有基礎(chǔ)帶寬及彈性業(yè)務(wù)需求的算力資源需求l用戶對(duì)業(yè)務(wù)傳輸需求定向、長(zhǎng)期、連續(xù)；l提供100M基礎(chǔ)帶寬定向算力中心連接，為用戶提供連續(xù)的業(yè)面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書超算快線業(yè)務(wù)本質(zhì)是基于任務(wù)式的隨接隨用彈性大帶寬連接服寬傳輸備份數(shù)據(jù)/云災(zāi)備數(shù)據(jù)，實(shí)現(xiàn)可靠的冗余離站存儲(chǔ)，在有效控我國(guó)算力基礎(chǔ)設(shè)施分散，算力資源利用率不均衡，“東數(shù)西算”面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書圖5算力互聯(lián)應(yīng)用場(chǎng)景利用超算中心/智算中心算力資源進(jìn)行科學(xué)計(jì)算同樣涉及海量數(shù)制作公司所在地。一部大型綜藝或影視節(jié)目的原始素材數(shù)據(jù)量可達(dá)圖6影視制作應(yīng)用場(chǎng)景面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書海拔宇宙線觀測(cè)站等眾多國(guó)家大科學(xué)裝置數(shù)據(jù)，每年產(chǎn)生100PB數(shù)據(jù)，且預(yù)計(jì)至2027數(shù)據(jù)將會(huì)增加到900PB，更是入選了2023年度的中國(guó)科學(xué)十大進(jìn)展。其每年產(chǎn)生約11PB數(shù)面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書圖7高能所到成都超算中心總體實(shí)現(xiàn)方案CPE以PPPoEoIPv6撥號(hào)的overlay方式接入骨干網(wǎng)SGW，骨干網(wǎng)面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書業(yè)務(wù)實(shí)現(xiàn)方面，高能所算力調(diào)度平臺(tái)通過內(nèi)嵌調(diào)用IP業(yè)務(wù)核心資源按需匹配，通過對(duì)業(yè)務(wù)的session級(jí)管理實(shí)現(xiàn)業(yè)務(wù)的秒級(jí)開通、提升了LHASSO利用超級(jí)計(jì)算機(jī)探索宇宙線起源的能力，最大程度恢復(fù)原有30M帶寬，實(shí)現(xiàn)任務(wù)式服務(wù)。如圖9所示，試驗(yàn)完成后，面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書圖8測(cè)試結(jié)果圖圖9超算快線獲得多單位認(rèn)可尚處于業(yè)務(wù)推廣階段。在此，中國(guó)電信倡議全國(guó)各超算中心/智算中面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書面向數(shù)據(jù)遷移的超算快線技術(shù)白皮書附錄A：術(shù)語(yǔ)與縮略語(yǔ)ACLAccessControlLists訪問控制列表AIArtificialIntelligence人工智能APIApplicationProgrammingInterface應(yīng)用程序編程接口DOHDestinationOptionsHeader目的選項(xiàng)頭ECMPEqual-costmulti-pathrouting等價(jià)多路徑路由ECNExplicitCongestionNotification顯式擁塞通知算法FlexEFlexibleEthernet靈活以太網(wǎng)FPGAFieldProgrammableGateArray現(xiàn)場(chǎng)可編程邏輯門陣列IOAMIn-situOperationsAdministrationandMaintenance隨流檢測(cè)IPSecInternetProtocolSecurity互聯(lián)網(wǎng)安全協(xié)議NPNetworkProcessor網(wǎng)絡(luò)處理器OTNopticaltransportnetwork光傳送網(wǎng)PFCPriorityFlowControl基于優(yōu)先級(jí)的流量控制PONPassiveOpticalNetwork無(wú)源光纖網(wǎng)絡(luò)PPPoEPoint-to-PointProtocolOverEthernet以太網(wǎng)上的點(diǎn)對(duì)點(diǎn)協(xié)議QoSQualityofService服務(wù)質(zhì)量QUICQuickUDPInternetConnections快速UDP網(wǎng)絡(luò)連接RDMARemoteDirectMemoryAccess遠(yuǎn)程直接數(shù)據(jù)存取Service-Aware業(yè)務(wù)感知SDKSoftwareDevelopmentKit軟件開發(fā)工具包SDNSoftwareDefined