2024下一代以太網(wǎng)絡(luò)技術(shù)需求

II下一代以太網(wǎng)絡(luò)技術(shù)需求 PAGE\*ROMANPAGE\*ROMANIV目錄一、新型數(shù)據(jù)中心給以太網(wǎng)絡(luò)發(fā)展帶來新機(jī)遇 1（一）數(shù)據(jù)成為新戰(zhàn)略性基礎(chǔ)資源 1（二）數(shù)據(jù)中心發(fā)展趨 4（三）以太網(wǎng)絡(luò)需支持?jǐn)?shù)據(jù)向新型化邁進(jìn)中心 6二、以太網(wǎng)絡(luò)發(fā)展現(xiàn)狀 6（一）以太技術(shù)發(fā)展迅速應(yīng)用廣泛 7（二）以太標(biāo)準(zhǔn)構(gòu)建開放生態(tài) 8三、以太網(wǎng)絡(luò)迎接全新挑戰(zhàn) 8（一）AI大模型演進(jìn)需要超大帶寬 8（二）大規(guī)模計(jì)算以及存儲介質(zhì)升級需要極低時(shí)延 10（三）一體化大數(shù)據(jù)中心需要高通量 11（四）業(yè)務(wù)體驗(yàn)保障需要無丟包高可靠 12四、下一代以太網(wǎng)絡(luò)應(yīng)運(yùn)而生 13（一）下一代以太網(wǎng)絡(luò)技術(shù)愿景 13超大帶寬 14極低時(shí)延 14絕對可靠 15高網(wǎng)絡(luò)通量 15超大規(guī)模 15（二）下一代以太網(wǎng)絡(luò)技術(shù)體系 15物理層接口 16鏈路層/網(wǎng)絡(luò)層流控 17網(wǎng)絡(luò)層/傳輸層負(fù)載均衡 17直連拓?fù)浼軜?gòu) 18五、總結(jié)和展望 18PAGEPAGE10一、新型數(shù)據(jù)中心給以太網(wǎng)絡(luò)發(fā)展帶來新機(jī)遇（一）數(shù)據(jù)成為新戰(zhàn)略性基礎(chǔ)資源隨著數(shù)字化轉(zhuǎn)型的持續(xù)推進(jìn)，以及互聯(lián)網(wǎng)應(yīng)用的廣泛深入，個(gè)人、企業(yè)和社會都發(fā)生著深刻的變化。在這個(gè)過程中，每天大量的數(shù)據(jù)被產(chǎn)生。圖靈獎(jiǎng)獲JimGray18IDC202120102ZB，2025180ZB，1圖1IDC統(tǒng)計(jì)和預(yù)測全球數(shù)據(jù)增長量為了充分發(fā)揮數(shù)據(jù)價(jià)值，以中國、美國、歐洲為代表的國家和區(qū)域紛紛出臺數(shù)據(jù)強(qiáng)國的戰(zhàn)略規(guī)劃。1998現(xiàn)中的數(shù)字經(jīng)濟(jì)》系列報(bào)告后，2021119GrandStrategyfortheGlobalDigitalEconomy）技術(shù)和數(shù)字技術(shù)的重要性，將發(fā)展數(shù)字經(jīng)濟(jì)作為實(shí)現(xiàn)國家繁榮和保持競爭力的關(guān)鍵。2016（GDPR，GeneralDataProtectionRegulation），20182030盟數(shù)字十年戰(zhàn)略》，提出高速、可靠和強(qiáng)大的數(shù)字基礎(chǔ)設(shè)施成為數(shù)字化關(guān)鍵基2030署高性能計(jì)算能力和綜合的數(shù)據(jù)基礎(chǔ)設(shè)施，加速促進(jìn)安全、高性能且可持續(xù)的數(shù)字基礎(chǔ)設(shè)施建設(shè)與全民利用。我國也在《“十四五”國家信息化規(guī)劃》中提出要加快數(shù)字化發(fā)展、進(jìn)入建設(shè)數(shù)字中國的新階段，這包括“推進(jìn)“新網(wǎng)絡(luò)”部署，建設(shè)泛在智能的網(wǎng)絡(luò)連接設(shè)施”，“加快“新感知”推廣，建設(shè)物聯(lián)數(shù)通的新型感知基礎(chǔ)設(shè)施”，“強(qiáng)化“新算力”支撐，構(gòu)建云網(wǎng)融合的新型算力設(shè)施”，以及“加強(qiáng)“新技術(shù)”引領(lǐng)，探索建設(shè)前沿信息基礎(chǔ)設(shè)施”。除了產(chǎn)業(yè)政策的支持，圍繞計(jì)算、存儲和網(wǎng)絡(luò)的技術(shù)變革也在持續(xù)的積累和突破。AITOP50019902500GE10EAI2018OpenAI1.1GPTFacebook2020OpenAI1750GPT-3，大模型的參數(shù)規(guī)模逐漸增加。圖2TOP500超算性能發(fā)展，圖片來源：硬盤（HDD，HardDiskDriver）廣泛應(yīng)用于各種計(jì)算機(jī)和服務(wù)器中，自二十世紀(jì)五十年代既已存在。作為傳統(tǒng)的存儲單元，HDD成本低廉，容量大，但運(yùn)行速HDD，之后出現(xiàn)的固態(tài)硬盤（SSD，SolidStateDrive）則采用完全不同的技術(shù)，沒有磁頭，馬達(dá)，磁盤等一系列的零件，存儲100IDC全球數(shù)據(jù)統(tǒng)計(jì)，2018SSD發(fā)貨量超越HDD，且發(fā)貨量差距逐年攀升。而近幾年隨著數(shù)據(jù)量的爆發(fā)以及企業(yè)、消費(fèi)者對傳輸性能、時(shí)延等要求增加，出現(xiàn)了儲存級存儲器(SCM，Storage-ClassMemory)，又稱為持久型存儲器(PM，PersistentMemory)，SSDDRAM圖3存儲介質(zhì)類型從網(wǎng)絡(luò)領(lǐng)域看，不管是無線網(wǎng)絡(luò)還是有線網(wǎng)絡(luò)都在快速迭代。無線蜂窩網(wǎng)3GPP202073Release16，5G3Release174G-LTEWi-FiIEEE802WFAWi-Fi69.6Gbps。有線以太網(wǎng)絡(luò)延續(xù)著大帶寬的400G800GT全球范圍內(nèi)以新一代信息技術(shù)為代表的科技革命正加速進(jìn)行著，圍繞著數(shù)據(jù)構(gòu)建的下一代數(shù)字基礎(chǔ)設(shè)施也正在加快發(fā)展。數(shù)據(jù)中心作為數(shù)據(jù)集中計(jì)算和存儲的地方，是下一代數(shù)字基礎(chǔ)設(shè)施的重要組成，是算力生態(tài)系統(tǒng)的核心。（二）數(shù)據(jù)中心發(fā)展趨數(shù)據(jù)中心的發(fā)展是伴隨著信息化水平不斷提升的過程。信息化初期，一個(gè)傳統(tǒng)機(jī)房方式難以應(yīng)對，于是誕生了數(shù)據(jù)中心的概念。2010機(jī)資源龐大的集合體，有大量的服務(wù)器、網(wǎng)絡(luò)設(shè)備和存儲設(shè)備，實(shí)現(xiàn)數(shù)據(jù)的集中。通過虛擬化技術(shù)，數(shù)據(jù)中心實(shí)現(xiàn)了計(jì)算、存儲資源的池化，不再以單個(gè)物理設(shè)備的形態(tài)對外呈現(xiàn)，還是以統(tǒng)一資源調(diào)度的形式進(jìn)行規(guī)劃和使用，從而做到資源利用最大化，達(dá)到最大的投入產(chǎn)出比。這一時(shí)期，數(shù)據(jù)中心主要支撐如ERP/OA/Mail/Web這樣的電子化業(yè)務(wù)。10隨著云原生理念的推進(jìn)，要求數(shù)據(jù)中心以應(yīng)用為中心，以更高效方式為應(yīng)用輸送基礎(chǔ)設(shè)施能力，使得應(yīng)用能夠以可擴(kuò)展、可復(fù)制的方式最大化地利用云的能力，而避免陷入具體基礎(chǔ)設(shè)施能力細(xì)節(jié)，如資源管理、調(diào)度等。該時(shí)期的數(shù)據(jù)中心能更好的為企業(yè)提供數(shù)字化生產(chǎn)業(yè)務(wù)，如金融系統(tǒng)的網(wǎng)上銀行，政府部門的政務(wù)云化等。2021的刺激影響下，全球數(shù)字化進(jìn)程加速，算力需求急劇爆發(fā)。數(shù)據(jù)中心進(jìn)一步成為了算力中心。一方面，AI、HPC，Tractica預(yù)測看到，HPC+AI2025HPC40%4Gartner202550%的組織向以異構(gòu)計(jì)算為中心，分布式多云的新架構(gòu)，為智能化的創(chuàng)新業(yè)務(wù)提供泛在算5G智慧工廠等。圖4HPC和AI融合加速，圖片來源：Tractica（三）以太網(wǎng)絡(luò)需支持?jǐn)?shù)據(jù)向新型化邁進(jìn)中心數(shù)據(jù)中心發(fā)展進(jìn)入到了全新的階段，新型數(shù)據(jù)中心將具有高技術(shù)、高算力、高能效、高安全等特征。而數(shù)據(jù)中心網(wǎng)絡(luò)正向全以太化演進(jìn)。2021指出，四大變革驅(qū)動數(shù)據(jù)中心網(wǎng)絡(luò)走向全以太化。首先，數(shù)據(jù)中心云化加速，開放的以太網(wǎng)可以很好地滿足云業(yè)務(wù)按需自助服務(wù)和快速彈性的訴求，可天然被云調(diào)用和管理，并具備良好的互通性、彈性、敏捷性以及多租戶安全能力；其次，存儲全閃存化趨勢明顯，NVMeoverFabricoverFC，NVMeoverRoCESDNPCIePCIeFC、IBIPv6面向新型數(shù)據(jù)中心，以太網(wǎng)絡(luò)將連接更多算力，承載更大數(shù)據(jù)量，完成更快數(shù)據(jù)傳輸，從而滿足人們?nèi)粘９ぷ魃畹幕具B接走向應(yīng)對科技前沿、國計(jì)民生領(lǐng)域的高品質(zhì)連接，全面支撐算力系統(tǒng)互聯(lián)實(shí)現(xiàn)數(shù)據(jù)價(jià)值。工信部新型數(shù)據(jù)中心發(fā)展三年行動計(jì)劃（2021-2023）中提到，算力規(guī)模方面，總算力規(guī)200EFLOPS，10%；網(wǎng)絡(luò)時(shí)延方面，國家樞紐節(jié)點(diǎn)20臺的《行動計(jì)劃》也提出了“網(wǎng)絡(luò)質(zhì)量升級行動”，要求支持國家樞紐節(jié)點(diǎn)內(nèi)的新型數(shù)據(jù)中心集群間網(wǎng)絡(luò)直連，促進(jìn)跨網(wǎng)、跨地區(qū)、跨企業(yè)數(shù)據(jù)交互。這都對以太網(wǎng)絡(luò)提出了新的要求。二、以太網(wǎng)絡(luò)發(fā)展現(xiàn)狀4040極大的提升，并通過開放的標(biāo)準(zhǔn)制定，以太產(chǎn)業(yè)鏈形成了良好的生態(tài)，被應(yīng)用于不同的市場領(lǐng)域。以太網(wǎng)絡(luò)逐漸成為世界上應(yīng)用最廣泛的網(wǎng)絡(luò)技術(shù)。（一）以太技術(shù)發(fā)展迅速應(yīng)用廣泛1973Metcalfe）在備忘錄里描述了他新發(fā)明的網(wǎng)絡(luò)系統(tǒng)，這個(gè)系A(chǔ)lohaAloha35圖5：梅特卡夫手繪的以太網(wǎng)架構(gòu)，圖片來源：https://\h/3/ethernet_diag.html隨后，為了能夠盡可能多的接入不同的設(shè)備，最大化局域以太網(wǎng)的價(jià)值，DEC10MbpsDIXIEEE802IEEE10BASE510Mbps速率基帶信號，5004010Mbps400Gbps入而廣泛的影響著人們?nèi)粘Ｉ?。IEEE802IEEE19802月，IEEE議”。IEEE802OSI12（LLC）。IEEE802IEEE802.1IEEE802.3IEEE802.1IEEE802.3通過積極的技術(shù)討論，達(dá)成技術(shù)共識，形成標(biāo)準(zhǔn)規(guī)范。40，IEEE8026圖6IEEE802以太標(biāo)準(zhǔn)發(fā)展歷史三、以太網(wǎng)絡(luò)迎接全新挑戰(zhàn)（一）AI大模型演進(jìn)需要超大帶寬隨著應(yīng)用需求的爆發(fā)，AI，AI7自然語言處理（NLP）模型演進(jìn)趨勢看到，模型規(guī)模逐年翻倍。2020，OpenAIGPT-3175Billion45TB，2021AIMegatron-Turing530Billion，依照此趨勢，預(yù)計(jì)很快將會有100Trillion參數(shù)的模型推出。圖7NLP模型規(guī)模演進(jìn)趨勢，圖片來源\h8架構(gòu)下均可不同程度的減少訓(xùn)練完成時(shí)間。圖8網(wǎng)絡(luò)帶寬對訓(xùn)練完成時(shí)間的影響，圖片來源論文“SiP-ML:High-BandwidthOpticalNetworkInterconnectsforMachineLearningTraining”400G200G400G800G~1.6T（二）大規(guī)模計(jì)算以及存儲介質(zhì)升級需要極低時(shí)延對于計(jì)算系統(tǒng)，2021EE10ETFLOPS，要達(dá)到E/10E100KCLOS644CLOSCLOSHPL91us，3%左右。通過降低網(wǎng)絡(luò)時(shí)延、提升線性度，可以使計(jì)算集群有效算力逼近理論峰值算力。圖9HPL與時(shí)延/帶寬之間的關(guān)系HDDIOSSDSCM（StorageClassMemory）IOHDD50%10圖10網(wǎng)絡(luò)時(shí)延成為端到端訪問時(shí)延的瓶頸存儲介質(zhì)的變化也驅(qū)動著存儲架構(gòu)發(fā)生變化，從有存儲網(wǎng)絡(luò)（SAN）HDDCentricSSDCentricSCMMemoryCentricMemoryCentricAI等應(yīng)用需求。因此，降低網(wǎng)絡(luò)時(shí)延逼近內(nèi)存級的訪問時(shí)延，以匹配高吞吐存儲系統(tǒng)。在計(jì)算、存儲系統(tǒng)的變化下，需要全新的百納秒量級的極低時(shí)延網(wǎng)絡(luò)提供有效的支撐。（三）一體化大數(shù)據(jù)中心需要高通量國家建設(shè)一體化大數(shù)據(jù)中心協(xié)同系統(tǒng)需要一體化的算力網(wǎng)絡(luò)。而網(wǎng)絡(luò)的一DC、多云間的協(xié)同，東數(shù)西算/東數(shù)西存場景下均需要高通量的HASHDCIDCN交換機(jī)緩存溢出產(chǎn)生丟包，不但造成業(yè)務(wù)性能受損，而且也嚴(yán)重浪費(fèi)了長距路徑資源。AI海量參數(shù)的同步通過網(wǎng)絡(luò)在參與計(jì)算的各個(gè)服務(wù)器之間高效的傳遞，其典型特100MBGBHASHAIGoogleHASH‘ToRfanindrops’，11。圖11哈希不均帶來擁塞問題，圖片來源論文“JupiterRising:ADecadeofClosTopologiesandCentralizedControlinGoogle’sDatacenterNetwork”因此，有效利用網(wǎng)絡(luò)帶寬，提高網(wǎng)絡(luò)通量，是實(shí)現(xiàn)一體化大數(shù)據(jù)中心的必要條件。而當(dāng)前業(yè)界主流的負(fù)載分擔(dān)算法均存在一定的性能問題，例如，ECMP算法適用于流數(shù)量較多的場景，當(dāng)流數(shù)量較少時(shí)易出現(xiàn)負(fù)載分擔(dān)不均的情況；FlowletSwitching；Packet-basedECMP法對接收端緩存壓力大，流重組時(shí)延大。需要全新的網(wǎng)絡(luò)均衡技術(shù)，全面提升網(wǎng)絡(luò)通量。（四）業(yè)務(wù)體驗(yàn)保障需要無丟包高可靠“無損”是數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展的主要方向，新型數(shù)據(jù)中心中高性能應(yīng)用對時(shí)延、吞吐有更高要求，更加需要無丟包高可靠的網(wǎng)絡(luò)保障業(yè)務(wù)體驗(yàn)。流控技術(shù)是實(shí)現(xiàn)無丟包的主要技術(shù)手段。然而隨著以太網(wǎng)絡(luò)帶寬需求的增12104PFC兼顧無丟包可靠性和端到端低時(shí)延，影響業(yè)務(wù)性能。因此，要求流控技術(shù)能夠有更快的響應(yīng)速度，避免緩存不足引起丟包，同時(shí)，兼顧控制粒度，精準(zhǔn)識別擁塞，做到既快且準(zhǔn)的流量控制，從而提升業(yè)務(wù)體驗(yàn)。圖12交換芯片發(fā)展趨勢四、下一代以太網(wǎng)絡(luò)應(yīng)運(yùn)而生當(dāng)前的以太網(wǎng)主要聚焦于不同距離不同速率下的互聯(lián)互通，依托帶寬的升EthernetAlliance2022510M5G、10G10M10G、100G100M~100G200G、400G10G~400G800G、1.6T10G~400G13800G、1.6T圖13以太網(wǎng)演進(jìn)路線，圖片來源：EthernetAlliance然而，其網(wǎng)絡(luò)本質(zhì)仍然是提供“盡力而為”的連接，面向如新型數(shù)據(jù)中心這樣的高性能應(yīng)用場景顯得捉襟見肘。下一代以太網(wǎng)絡(luò)應(yīng)從“盡力而為”轉(zhuǎn)向“質(zhì)量有保證”，從單維度帶寬優(yōu)14圖14下一代以太網(wǎng)絡(luò)多維度能力提升下一代以太網(wǎng)絡(luò)具有如下技術(shù)能力：a)超大帶寬匹配以太網(wǎng)聯(lián)盟給出的帶寬演進(jìn)路線，從當(dāng)前單端口400G，走向單端口800G~1.6T。單通道速率從100G/lane朝著200G/lane演進(jìn)。以太網(wǎng)絡(luò)當(dāng)前400Gbit/s帶寬單端口已經(jīng)商用。單端口800Gbit/s20252030100Gbit/s，200Gbit/sb)極低時(shí)延端到端時(shí)延從毫秒級走向微秒級，單跳轉(zhuǎn)發(fā)時(shí)延達(dá)到百納秒級。總線級以太網(wǎng)絡(luò)通過極簡轉(zhuǎn)發(fā)，無阻塞流控、新網(wǎng)絡(luò)拓?fù)浼軜?gòu)等技術(shù)在靜態(tài)時(shí)延、動態(tài)時(shí)延、網(wǎng)絡(luò)跳數(shù)等方面做了系統(tǒng)性優(yōu)化，極大提升了時(shí)延性能（參見“總線級數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)白皮書”）。在此基礎(chǔ)上，進(jìn)一步降低接口轉(zhuǎn)發(fā)時(shí)延，提升高性能計(jì)算等場景下競爭力。c)絕對可靠大帶寬大規(guī)模網(wǎng)絡(luò)場景網(wǎng)絡(luò)無損不丟包。提供可靠流控機(jī)制保證網(wǎng)絡(luò)傳輸無丟包，對擁塞狀態(tài)能快速響應(yīng)精準(zhǔn)調(diào)控，減小buffer壓力，避免頭阻死鎖等問題對業(yè)務(wù)性能造成傷害。高網(wǎng)絡(luò)通量大規(guī)模/超長距傳輸下網(wǎng)絡(luò)利用率提升到75%+。hash題，實(shí)現(xiàn)網(wǎng)絡(luò)級負(fù)載均衡。超大規(guī)模組網(wǎng)規(guī)模提升10倍，支持100K節(jié)點(diǎn)的大規(guī)模組網(wǎng)。E/10E（二）下一代以太網(wǎng)絡(luò)技術(shù)體系下一代以太網(wǎng)絡(luò)無法依賴單點(diǎn)技術(shù)的突破而實(shí)現(xiàn)多維度性能的提升，它需要物理層、鏈路層、網(wǎng)絡(luò)層、傳輸層全棧體系、多網(wǎng)絡(luò)層次間的協(xié)同配合，同時(shí)采用優(yōu)化的網(wǎng)絡(luò)架構(gòu)，共同達(dá)成整體技術(shù)能力要求。圖15下一代以太網(wǎng)絡(luò)全棧體系物理層接口物理層根技術(shù)的突破是達(dá)到極致性能的基石。下一代以太物理層技術(shù)兼容以太網(wǎng)的軟硬件應(yīng)用，在大帶寬和低時(shí)延上實(shí)現(xiàn)突破。DSPFEC、更高質(zhì)量的封裝/板材/200G，800G/1.6T。FEC16FEC子層的時(shí)延占總時(shí)延的60200GbE，PCS/FEC時(shí)延占比達(dá)到67.9400GbE69FECFEC圖16IEEE802.3定義的接口時(shí)延鏈路層/網(wǎng)絡(luò)層流控鏈路層流控是保障網(wǎng)絡(luò)無損不丟包的關(guān)鍵。其本質(zhì)是在識別到擁塞狀態(tài)后，通過對擁塞點(diǎn)上游或者源端流量控速的方式（包括停止流量發(fā)送）緩解擁塞，避免交換機(jī)緩存溢出產(chǎn)生丟包。PBFC（PreciseBackpressureFlowControl）是一種精準(zhǔn)反壓的機(jī)制，相比于傳統(tǒng)PFC，具有更細(xì)粒度的控制；相