技術(shù)解構(gòu)英偉達(dá)H100體系800G光模塊需求幾何

2整體結(jié)論H100最新架構(gòu)試算：8個(gè)節(jié)點(diǎn)（單服務(wù)器），NVLink下需要18對(duì)、36個(gè)osfp，也就是36個(gè)800G

->

一個(gè)POD集群需要36x32=1152個(gè)800G光模塊。若需要InfiniBand網(wǎng)絡(luò)，則是傳統(tǒng)葉脊雙層架構(gòu)，需要800G或2x400G（NDR），數(shù)量關(guān)系與普通集群差異不大，依據(jù)不同規(guī)模可另外計(jì)算。

資料來(lái)源：英偉達(dá)技術(shù)文檔，申萬(wàn)宏源研究3投資案件結(jié)論在英偉達(dá)DGX

H100

SuperPOD最新的NVLink

Switch架構(gòu)算力架構(gòu)下，GPU+NVLink+NVSwitch+NVLink交換機(jī)的架構(gòu)需要大量800G通信連接方案，

NVLink系統(tǒng)大致可對(duì)應(yīng)GPU與800光模塊1:4-1:5的數(shù)量關(guān)系，IB

NDR網(wǎng)絡(luò)則需要更多。原因及邏輯英偉達(dá)占訓(xùn)練推理環(huán)節(jié)GPU幾乎90%以上份額，在DGXH100

SuperPOD架構(gòu)引入更高速NVLink方案，且用NVLink和InfiniBand的PCIe兩套體系解決通信問(wèn)題。盡管目前InfiniBand

NDR網(wǎng)絡(luò)是主流，但新的NVLink

Switch的架構(gòu)在H100硬件基礎(chǔ)上，在某些AI場(chǎng)景下可以貢獻(xiàn)比IB網(wǎng)絡(luò)接近翻倍的性能。AI發(fā)展的基礎(chǔ)是算力提升，預(yù)計(jì)極致性能和極致功耗是未來(lái)硬件架構(gòu)發(fā)展的主要驅(qū)動(dòng)，預(yù)計(jì)400G/800G以上速率的網(wǎng)絡(luò)方案將加速放量。在H100最新的NVLink

Switch架構(gòu)下試算，單服務(wù)器NVLink下需要18對(duì)、36個(gè)osfp，也就是36個(gè)800G；一個(gè)POD集群的32臺(tái)服務(wù)器則需要36x32=1152個(gè)800G光模塊。若不采用NVLink

Switch架構(gòu)或者需要多集群擴(kuò)容，需要使用InfiniBandNDR網(wǎng)絡(luò)，則采用傳統(tǒng)葉脊雙層架構(gòu)，需要800G+2x400G（NDR）的方案，數(shù)量關(guān)系可參考普通集群，核心是系統(tǒng)內(nèi)帶寬激增，依據(jù)不同規(guī)?？闪硗庥?jì)算。有別于大眾的認(rèn)識(shí)鑒于H100

GPU的供貨范圍限制，市場(chǎng)對(duì)其實(shí)際的架構(gòu)理解有一定信息差，我們借助英偉達(dá)技術(shù)文檔試圖拆解H100超算系統(tǒng)的通信架構(gòu)；市場(chǎng)擔(dān)心800G在AI算力環(huán)節(jié)并非剛需，但高速率光模塊、CPO/LPO/MPO等技術(shù)本身預(yù)示了未來(lái)硬件架構(gòu)發(fā)展的主要方向是追求極低功耗下的極高性能，且系統(tǒng)整體算力效率有木桶效應(yīng)，網(wǎng)絡(luò)環(huán)節(jié)較容易產(chǎn)生瓶頸，影響各類(lèi)訓(xùn)練推理考慮，因此高速光網(wǎng)絡(luò)的迭代是AI剛需。風(fēng)險(xiǎn)提示

? NVLink

Switch方案滲透不達(dá)預(yù)期；技術(shù)迭代產(chǎn)生新的通信方案。 主要內(nèi)容DGX

H100

SuperPOD架構(gòu)引入更高速NVLink方案用NVLink和PCIe兩套體系解決架構(gòu)問(wèn)題組網(wǎng)架構(gòu)與光模塊需求預(yù)測(cè)結(jié)論與相關(guān)標(biāo)的451.

DGX

H100

SuperPOD架構(gòu)引入更高速NVLink方案以全球算力領(lǐng)軍和標(biāo)桿NVIDIA為案例，在最新的DGX

H100

SuperPOD方案下，做一個(gè)嘗試性的定量測(cè)算，解釋為何400G/800G以上光網(wǎng)絡(luò)在AI框架下是必然選擇：（一）NVLink迭代至gen4，每通道帶寬達(dá)100

Gbps：NVLink是專(zhuān)門(mén)設(shè)計(jì)用于高速點(diǎn)對(duì)點(diǎn)鏈路互連GPU（GPU

to

GPU）的網(wǎng)絡(luò)方案，開(kāi)銷(xiāo)比傳統(tǒng)網(wǎng)絡(luò)更低，傳統(tǒng)網(wǎng)絡(luò)中復(fù)雜網(wǎng)絡(luò)功能（例如端到端重試、自適應(yīng)路由、數(shù)據(jù)包重新排序等）可以在增加端口數(shù)的情況下進(jìn)行權(quán)衡。此外，基于NVLink的網(wǎng)絡(luò)接口更加簡(jiǎn)單，允許將應(yīng)用程序?qū)?、表示層和?huì)話(huà)層功能直接嵌入到CUDA本身中，從而進(jìn)一步減少通信開(kāi)銷(xiāo)。NVIDIA

在

2016-2022

年

迭

代

4

代

的NVLink

滿(mǎn)足了其算力方案的兩大需求（專(zhuān)用連接方案解決專(zhuān)業(yè)問(wèn)題），使GPU具有盡可能高的性能、使用專(zhuān)用協(xié)議和系統(tǒng)設(shè)計(jì)以實(shí)現(xiàn)更高的性能。傳統(tǒng)的PCIe

Gen5每通道僅為32Gbps，而NVLink每通道高達(dá)100Gbps、多個(gè)通道連接其GPU系統(tǒng)。最新的NVLink

4相比上代從12

Links升級(jí)至18

Links，每個(gè)GPU提供900GB/s

（

7200Gbs）

的雙向帶寬（bidirectional

bandwidth）。資料來(lái)源：英偉達(dá)技術(shù)文檔，申萬(wàn)宏源研究61.

DGX

H100

SuperPOD架構(gòu)引入更高速NVLink方案與英偉達(dá)H100

GPU結(jié)合：1）在DGX

H100服務(wù)器內(nèi)部，搭載了8個(gè)H100

GPU；2）每一個(gè)H100

GPU通過(guò)18個(gè)NVLink4連接到內(nèi)部NVSwitch3芯片（每臺(tái)服務(wù)器搭配4個(gè)NVSwitch3芯片）；3

）

每一個(gè)

NVLink4

擁有

2

條通道（

lane

）

，

每條通道參數(shù)為

100Gbps-per-lane（x2@50Gbaud-PAM4），即一個(gè)NVLink4單向200Gbps,

或換算為25GB/s單向帶寬、50GB/s雙向帶寬。在18個(gè)NVLink4時(shí)，H100搭配N(xiāo)VLink4可以實(shí)現(xiàn)900GB/s雙向帶寬。英偉達(dá)NVLink迭代至gen4資料來(lái)源：英偉達(dá)技術(shù)文檔，申萬(wàn)宏源研究71.

DGX

H100

SuperPOD架構(gòu)引入更高速NVLink方案（二）NVSwitch芯片迭代至gen3，每個(gè)芯片64個(gè)NVLink

4接口：此外NVIDIA發(fā)布適用于超算服務(wù)器內(nèi)部的NVSwitch芯片（類(lèi)似于交換機(jī)ASIC），進(jìn)一步通過(guò)上述NVLink協(xié)議接口將多個(gè)GPU高速互聯(lián)到一起。在H100芯片+NVLink

4協(xié)議這一代，應(yīng)為配套了NVSwitch

3芯片方案，采用臺(tái)積電4N工藝，滿(mǎn)足GPU間的點(diǎn)對(duì)點(diǎn)連接，內(nèi)嵌ALU使NVSwitch提供FP32的400GFLOPS計(jì)算吞吐，每個(gè)芯片64個(gè)NVLink

4接口。資料來(lái)源：英偉達(dá)技術(shù)文檔，申萬(wàn)宏源研究81.

DGX

H100

SuperPOD架構(gòu)引入更高速NVLink方案資料來(lái)源：英偉達(dá)技術(shù)文檔，申萬(wàn)宏源研究依據(jù)技術(shù)文檔，NVSwitch3芯片大小50mm*50mm，包括一個(gè)

SHARP

控制器，可并行管理多達(dá)

128

個(gè)

SHARP

組；內(nèi)嵌ALU可幫助NVSwitch提供FP32的400GFLOPS計(jì)算吞吐，并且支持FP16、FP32、FP64和BF16等精度計(jì)算。另外PHY

接口可以兼容400Gbps

以太網(wǎng)或者NDR

InfiniBand

連接，

每個(gè)cage

4

個(gè)NVLink4的OSFP接口，同時(shí)支持FEC校驗(yàn)。NVSwitch3芯片提供64個(gè)NVLink4接口，每個(gè)NVLink4通道x2即200Gbps單向帶寬，單個(gè)芯片可提供64

x200Gbps=12.8Tbps（1.6TB/s）單向帶寬、或3.2TB/s雙工帶寬。NVSwitch3芯片架構(gòu)主要內(nèi)容DGX

H100

SuperPOD架構(gòu)引入更高速NVLink方案用NVLink和PCIe兩套體系解決架構(gòu)問(wèn)題組網(wǎng)架構(gòu)與光模塊需求預(yù)測(cè)結(jié)論與相關(guān)標(biāo)的9102.

DGX

H100用NVLink和PCIe兩套體系解決架構(gòu)問(wèn)題基本原則：GPU卡的通信以NVLink為基礎(chǔ)，CPU/存儲(chǔ)的通信+跨集群通信以PCIe為基礎(chǔ)。NVIDIA的DGX

H100服務(wù)器，每臺(tái)服務(wù)器擁有8個(gè)H100

GPU、4個(gè)NVSwitch

3，且相互連接。在服務(wù)器發(fā)布的同時(shí)，NVIDIA還發(fā)布了搭載2個(gè)NVSwitch

3芯片的NVLink交換機(jī)，連同GPU服務(wù)器和NVLink

4協(xié)議組成NVLink網(wǎng)絡(luò)。（一）H100

GPU發(fā)布后，服務(wù)器架構(gòu)變化較大：資料來(lái)源：英偉達(dá)技術(shù)文檔，申萬(wàn)宏源研究112.

DGX

H100用NVLink和PCIe兩套體系解決架構(gòu)問(wèn)題資料來(lái)源：英偉達(dá)技術(shù)文檔，g-dep

jp，申萬(wàn)宏源研究DGX

H100服務(wù)器架構(gòu)：GPU

Tray和Motherboard分離，是NVLink和PCIe分離的基礎(chǔ)如左圖，DGX

H100服務(wù)器機(jī)柜內(nèi)大致包括了GPU

Tray、Motherboard

Tray、Power系統(tǒng)、Front

Cage等部分。如右圖，DGX

H100服務(wù)器背面接口以Motherboard

Tray為主。122.

DGX

H100用NVLink和PCIe兩套體系解決架構(gòu)問(wèn)題DGX

H100服務(wù)器架構(gòu)：Motherboard

Tray中，ConnectX-7網(wǎng)卡是主要的網(wǎng)絡(luò)組成部分，而CX-7網(wǎng)卡基于PCIe方案。按照公開(kāi)參數(shù)，每臺(tái)服務(wù)器擁有8個(gè)ConnectX-7

InfiniBand/

Ethernet適配器

(400Gb/s）。技術(shù)文檔描述：4xOSFPportsserving8xsingle-portNVIDIAConnectX-7400Gb/s

InfiniBand/Ethernet資料來(lái)源：英偉達(dá)技術(shù)文檔，g-dep

jp，申萬(wàn)宏源研究132.

DGX

H100用NVLink和PCIe兩套體系解決架構(gòu)問(wèn)題DGX

H100服務(wù)器架構(gòu)：GPU

Tray中，擁有8x

H100

GPU

+

4x

NVSwitch芯片，芯片端4-5-5-4共18組OSFP接口負(fù)責(zé)不同DGX

H100節(jié)點(diǎn)（服務(wù)器）之間的連接。（理想情況）資料來(lái)源：英偉達(dá)技術(shù)文檔，g-dep

jp，申萬(wàn)宏源研究142.

DGX

H100用NVLink和PCIe兩套體系解決架構(gòu)問(wèn)題資料來(lái)源：英偉達(dá)技術(shù)文檔，HC34，申萬(wàn)宏源研究（二）NVLink交換機(jī)是H100體系的創(chuàng)新，也是800G光通信方案應(yīng)用的亮點(diǎn)。英偉達(dá)發(fā)布新的NVLink交換機(jī)，1U尺寸設(shè)計(jì)，32個(gè)OSFP接口的設(shè)計(jì)；和普通交換機(jī)不同，每臺(tái)NVLink交換機(jī)搭載2個(gè)NVSwitch3芯片，提供128個(gè)NVLink4接口（

單個(gè)NVSwitch3

提供64

個(gè)NVLink4

）

，

雙工帶寬6.4TB/s

（

單個(gè)NVLink4

單向200Gbps，128x

200Gbps=25.6Tb/s單向帶寬)。NVLink交換機(jī)搭載了OSFP等接口152.

DGX

H100用NVLink和PCIe兩套體系解決架構(gòu)問(wèn)題NVLink交換機(jī)推出背景是搭建H100

SuperPOD的計(jì)算集群。據(jù)英偉達(dá)設(shè)計(jì)，每套SuperPOD系統(tǒng)32臺(tái)服務(wù)器折合256個(gè)H100

GPU，AI性能高達(dá)1EFlops；每套系統(tǒng)配18臺(tái)NVLink交換機(jī)，系統(tǒng)雙向帶寬57.6TB/s；同時(shí)每套系統(tǒng)的32臺(tái)DGX

H100服務(wù)器中的400Gb/s

ConnectX-7網(wǎng)卡對(duì)外與IB交換機(jī)連接，用于連接多套SuperPOD系統(tǒng)。兩層NVSwitch芯片設(shè)計(jì)：一層交換芯片位于服務(wù)器內(nèi)，二層交換芯片位于交換機(jī)內(nèi)。?128個(gè)L1層芯片（32臺(tái)服務(wù)器，每臺(tái)4個(gè)）+36個(gè)L2層芯片（18臺(tái)NVLink交換機(jī)，每臺(tái)2個(gè)）。一個(gè)SuperPOD內(nèi)所有256個(gè)GPU的互聯(lián)，都通過(guò)NVLink協(xié)議和NVLink交換機(jī)單獨(dú)完成，不經(jīng)過(guò)CX-7

PCIe網(wǎng)絡(luò)。因此，從通信網(wǎng)絡(luò)角度看，

DGXH100

SuperPOD高算力、高吞吐升級(jí)的精髓，在于：將過(guò)去A100及之前用于服務(wù)器內(nèi)部GPU高效連接的NVLink，外化到整個(gè)集群，借助新的NVLink交換機(jī)，搭建L1、L2兩層網(wǎng)絡(luò)，實(shí)現(xiàn)跨服務(wù)器、跨機(jī)柜的GPU

to

GPU連接。162.

DGX

H100用NVLink和PCIe兩套體系解決架構(gòu)問(wèn)題若不使用新的NVLink交換機(jī)體系，DGX

H100

SuperPOD也可以使用，但仍然用和A100類(lèi)似的體系，

使用CX-7

InfiniBand實(shí)現(xiàn)跨服務(wù)器的連接，

則預(yù)計(jì)需要方案直接連接MotherBoard

Tray進(jìn)而外接交換機(jī)。（但該IB網(wǎng)絡(luò)的H100方案訓(xùn)練效率明顯遜于NVLink交換機(jī)系統(tǒng)。資料來(lái)源：英偉達(dá)技術(shù)文檔，申萬(wàn)宏源研究172.

DGX

H100用NVLink和PCIe兩套體系解決架構(gòu)問(wèn)題如下圖所示，H100架構(gòu)中可能的OSFP存在于兩處：若傳統(tǒng)IB網(wǎng)絡(luò)方案，兩張CX-7網(wǎng)卡各提供400Gb帶寬，形成4個(gè)2x400G

NDR

OSFP需求；若新的NVLink交換機(jī)系統(tǒng)方案，則需要4個(gè)NVSwitch芯片對(duì)應(yīng)了18個(gè)800G

OSFP需求。資料來(lái)源：英偉達(dá)技術(shù)文檔，HC34，申萬(wàn)宏源研究182.

DGX

H100用NVLink和PCIe兩套體系解決架構(gòu)問(wèn)題上述是從服務(wù)器角度；

而如果從

NVLink

交換機(jī)的角度，

NVLink

交換機(jī)中

2

個(gè)NVSwitch3芯片合計(jì)128個(gè)NVLink接口，雙工帶寬6.4TB/s，也必然需要使用高速率的400G/800G光通信方案。上一代DGX

A100

256

SuperPOD架構(gòu)和目前最新DGX

H100

256

SuperPOD架構(gòu)對(duì)比，NVLink的作用方式差異明顯。總結(jié)來(lái)看，A100架構(gòu)下NVLink主要用于單個(gè)服務(wù)器內(nèi)部GPU和NVSwitch的“板載”連接；而H100架構(gòu)下，除了“板載”連接外，GPU到新的NVLink交換機(jī)之間的連接并非板載，optical

OSFP等連接方式是新增需求，在極致性能的要求下，也就帶動(dòng)了光通信市場(chǎng)的必然需求。資料來(lái)源：英偉達(dá)技術(shù)文檔，HC34，申萬(wàn)宏源研究192.

DGX

H100用NVLink和PCIe兩套體系解決架構(gòu)問(wèn)題如果在256個(gè)節(jié)點(diǎn)的基礎(chǔ)上，需要進(jìn)一步擴(kuò)容至1024個(gè)節(jié)點(diǎn)，則需要借助NDR

InfiniBandLinks連接4個(gè)DGX

H100

256

SuperPOD集群。這種方案搭配英偉達(dá)的ConnectX-7

NDR

NIC網(wǎng)絡(luò)適配器和Quantum2

NDR交換機(jī)，性能強(qiáng)于A100體系的HDR

IB網(wǎng)絡(luò)。下圖以Quantum-2

QM9700交換機(jī)為例，擁有32個(gè)OSFP接口承載64x400Gb/s的容量。資料來(lái)源：英偉達(dá)技術(shù)文檔，申萬(wàn)宏源研究主要內(nèi)容DGX

H100

SuperPOD架構(gòu)引入更高速NVLink方案用NVLink和PCIe兩套體系解決架構(gòu)問(wèn)題組網(wǎng)架構(gòu)與光模塊需求預(yù)測(cè)結(jié)論與相關(guān)標(biāo)的20213.

組網(wǎng)架構(gòu)與光模塊需求預(yù)測(cè)擴(kuò)充至32臺(tái)服務(wù)器的一個(gè)SuperPOD集群，架構(gòu)預(yù)計(jì)如下所示。資料來(lái)源：申萬(wàn)宏源研究223.

組網(wǎng)架構(gòu)與光模塊需求預(yù)測(cè)H100最新架構(gòu)試算：8個(gè)節(jié)點(diǎn)（單服務(wù)器），NVLink下需要18對(duì)、36個(gè)osfp，也就是36個(gè)800G->

一個(gè)POD集群需要36x32=1152個(gè)800G光模塊。若需要InfiniBand網(wǎng)絡(luò)，則是傳統(tǒng)葉脊雙層架構(gòu)，需要800G或2x400G（NDR），數(shù)量關(guān)系與普通集群差異不大，依據(jù)不同規(guī)?？闪硗庥?jì)算。

資料來(lái)源：英偉達(dá)技術(shù)文檔，申萬(wàn)宏源研究主要內(nèi)容DGX

H100

SuperPOD架構(gòu)引入更高速NVLink方案用NVLink和PCIe兩套體系解決架構(gòu)問(wèn)題組網(wǎng)架構(gòu)與光模塊需求預(yù)測(cè)結(jié)論與相關(guān)標(biāo)的23244.

結(jié)論與相關(guān)標(biāo)的我們的結(jié)論在于：

在英偉達(dá)DGX

H100

SuperPOD

最新的NVLink

Switch

架構(gòu)算力架構(gòu)下，GPU+NVLink+NVSwitch+NVLink交換機(jī)的架構(gòu)需要大量800G通信連接方案，

NVLink系統(tǒng)大致可對(duì)應(yīng)GPU與800光模塊1:4-1:5的數(shù)量關(guān)系，IB

NDR網(wǎng)絡(luò)則需要更多。具體而言，英偉達(dá)占訓(xùn)練推理環(huán)節(jié)GPU幾乎90%以上份額，在DGX

H100

SuperPOD架構(gòu)引入更高速NVLink方案，且用NVLink和InfiniBand的PCIe兩套體系解決通信問(wèn)題。盡管目前InfiniBandNDR網(wǎng)絡(luò)是主流，但新的NVLink

Switch的架構(gòu)在H100硬件基礎(chǔ)上，在某些AI場(chǎng)景下可以貢獻(xiàn)比IB網(wǎng)絡(luò)接近翻倍的性能。AI發(fā)展的基礎(chǔ)是算力提升，預(yù)計(jì)極致性能和極致功耗是未來(lái)硬件架構(gòu)發(fā)展的主要驅(qū)動(dòng)，預(yù)計(jì)400G/800G以上速率的網(wǎng)絡(luò)方案將加速放量。在H100最新的NVLink

Switch架構(gòu)下試算，單服務(wù)器NVLink下需要18對(duì)、36個(gè)osfp，也就是36個(gè)800G；一個(gè)POD集群的32

臺(tái)服務(wù)器則需要36x32=1152

個(gè)800G光模