AI算力“賣水人”系列（3）：NVIDIA GB200：重塑服務(wù)器銅纜液冷HBM價(jià)值-國(guó)海證券

2024年10月18日NVIDIAGB200：重塑服務(wù)器/銅纜/液冷/HBM價(jià)值評(píng)級(jí)：推薦(維持)劉熹(證券分析師)S0350523040001liux10@相關(guān)報(bào)告《計(jì)算機(jī)行業(yè)動(dòng)態(tài)研究：鴻蒙原生：生態(tài)應(yīng)用“裂變”生長(zhǎng)，萬(wàn)物互聯(lián)時(shí)代已來(lái)（推薦）*計(jì)算機(jī)*劉熹》——2024-09-24《AI算力行業(yè)月度跟蹤（202409）：OpenAIo1開(kāi)創(chuàng)AI算力新紀(jì)元，Blackwell產(chǎn)能持續(xù)擴(kuò)大（推薦）*計(jì)算機(jī)*劉熹》——2024-09-18《計(jì)算機(jī)行業(yè)2024年中報(bào)總結(jié)：行業(yè)整體加速?gòu)?fù)蘇，關(guān)注：算力、出海、華為鏈（推薦）*計(jì)算機(jī)*劉熹》——2024-09-11表現(xiàn)計(jì)算機(jī)滬深30044.1%19.9%35.5%8.2%-5.5%4.1%最近一年走勢(shì)20% 8% -3%-14%-25%-37%計(jì)算機(jī)滬深300I最近一年走勢(shì)20% 8% -3%-14%-25%-37%計(jì)算機(jī)滬深300I請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明2核心提要u核心要點(diǎn)：NVBlackwell系列或于2024Q4推出，有望帶來(lái)機(jī)柜、銅纜、液冷、HBM四個(gè)市場(chǎng)的價(jià)值量提升。u一、Blackwell系列：GB200計(jì)算能力遠(yuǎn)超H100，CSP廠商資本開(kāi)支提升B200集成2080億個(gè)晶體管，采用臺(tái)積電N4P制程，為雙芯片架構(gòu)，192GBHBM3E，AI算力達(dá)20petaFLOPS（FP4)，是Hopper的5倍。GB200機(jī)架提供4種不同主要外形尺寸，每種尺寸均可定制。與H100相比，GB200NVL72將訓(xùn)練速度(如1.8T參數(shù)GPT-MoE)提高了30倍?；ヂ?lián)網(wǎng)資本開(kāi)支方面，Meta、Alphabet（谷歌）、微軟、亞馬遜等廠商均增加2024年資本開(kāi)支指引。微軟預(yù)計(jì)FY25Q1資本支出將環(huán)比增加，及2025財(cái)年資本支出將高于24財(cái)年；谷歌表示2024年季度資本開(kāi)支將等于或高于一季度水平；Meta將2024年資本支出預(yù)測(cè)提高至370-400億美元，亞馬遜表示2024年下半年的資本投資將更高。u二、服務(wù)器細(xì)節(jié)拆分：主板從HGX到MGX，GB200NVL72價(jià)值量提升GB200主板從HGX模式變?yōu)镸GX，HGX是NVIDIA推出的高性能服務(wù)器，通常包含8個(gè)或4個(gè)GPU，MGX是一個(gè)開(kāi)放模塊化服務(wù)器設(shè)計(jì)規(guī)范和加速計(jì)算的設(shè)計(jì)，在Blackwell系列大范圍使用。MGX模式下，GB200Switchtray主要為工業(yè)富聯(lián)生產(chǎn)，ComputeTray為緯創(chuàng)與工業(yè)富聯(lián)共同生產(chǎn)，交付給英偉達(dá)。據(jù)Semianalysis，有望帶來(lái)機(jī)柜集成、HBM、銅連接、液冷等四個(gè)市場(chǎng)價(jià)值量2-10倍提升。u三、銅連接：DACs市場(chǎng)較快增長(zhǎng)，GB200NVL72需求較大高速線纜中，有源光纜適合遠(yuǎn)距離傳輸，直連電纜高速低功耗。據(jù)LightCounting，高速線纜規(guī)模預(yù)期28年達(dá)28億美元，DACs保持較快增長(zhǎng)，Nvidia的策略是盡可能多地部署DACs。據(jù)QYResearch，2022年，全球前十強(qiáng)廠商大約占據(jù)了69.0%的市場(chǎng)份額，其中安費(fèi)諾的市場(chǎng)份額位居全球第一，國(guó)內(nèi)廠商包括立訊精密、兆龍互聯(lián)、金信諾、電聯(lián)技術(shù)等，但全球市占率較低。u四、HBM：HBM3E將于下半年出貨，英偉達(dá)為主要買家HBM目前已經(jīng)量產(chǎn)的共有HBM、HBM2、HBM2E、HBM3、HBM3E五個(gè)子代標(biāo)準(zhǔn)。其中HBM3E將于下半年出貨，HBM4或于2026年上市。預(yù)期2024年底HBMTSV產(chǎn)能約250K/m，三星與海力士擴(kuò)產(chǎn)積極，三星HBM總產(chǎn)能至年底將達(dá)約130K（含TSVSK海力士約120K。英偉達(dá)目前是HBM最大買家，海力士與三星完成HBM3E驗(yàn)證。u五、冷板式液冷較為成熟，GB200NVL72采用液冷方案AI大模型訓(xùn)推對(duì)芯片算力提出更高要求，提升單芯片功耗，英偉達(dá)B200功耗超1000W、接近風(fēng)冷散熱上限。液冷技術(shù)具備更高散熱效率，包括冷板式與浸沒(méi)式兩類，其中冷板式為間接冷卻，初始投資中等，運(yùn)維成本較低，相對(duì)成熟，英偉達(dá)GB200NVL72采用冷板式液冷解決方案。請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明3核心提要2）服務(wù)器整機(jī)：工業(yè)富聯(lián)、浪潮信息、中科曙光、華勤技術(shù)3）服務(wù)器組件：①散熱：飛榮達(dá)、曙光數(shù)創(chuàng)、英維克、同方股份、申菱環(huán)境、高瀾股份、奇鋐科技、雙鴻、VERTIV；②主板：滬電股份、深南電路、勝宏科技、技嘉、華擎；③HBM：SK海力士、三星、美光、賽騰股份、聯(lián)瑞新材；④銅連接：安費(fèi)諾、沃爾核材、華豐科技。全可比性，對(duì)標(biāo)的相關(guān)資料和數(shù)據(jù)僅供參考。請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明4英偉達(dá)GB200英偉達(dá)GB200?☆分歧管（液冷：支持130KW的制冷能力）?海外：VERTIV?☆GPU??☆CPU?☆主板?☆主板?內(nèi)地：滬電股份、勝宏科技、深南電路、生益科技?中國(guó)臺(tái)灣：泰安電腦（神達(dá)）、技嘉、華擎、華碩、英業(yè)達(dá)、緯創(chuàng)、研華?美國(guó)：Intel、Supermicro??☆線纜（銅連接：5000+根NVLink線纜）?內(nèi)地：沃爾核材、華豐科技、兆龍互連、鼎通?☆組裝測(cè)試?☆組裝測(cè)試注注：藍(lán)字為零部件。上圖展示以英偉達(dá)GB200NV資料來(lái)源資料來(lái)源：英偉達(dá)官網(wǎng)，OpenComputeProject，hansenfluid，各公司官網(wǎng)，Semianalysis，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明5第一章Blackwell系列請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明61.1NVIDIA每一代GPU的計(jì)算能力、NVLink、內(nèi)存持續(xù)擴(kuò)大HGXHGXH1008-GPUHGXB1008-GPUHGXAHGXB1008-GPUHGXA1008-GPUFP161P->1.75PNVLink0.9TB/s->1.8TB/sFP160.3P->1PHGXH2008-GPUHGXB2008-GPUFP160.3P->1PHGXH2008-GPUHGXB2008-GPU25%FP161P->2.25PAdaVRAM141GB->192GBNVLink0.9TB/s->1.8TB/sAda架構(gòu)Arm+GB2002-GPUGHGB2002-GPUGH2001-GPUVRAM141GB->384GBNVLink0.9TB/s->3.6TB/sGB200NVL72GHGB200NVL72GH200NVL32GB200SuperpodGH200Superpod256GPUGB200SuperpodGH200SuperpodVRAM24.5TB->110TBNVLink230TB/s->1PB/s資料來(lái)源：資料來(lái)源：fibermall，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明71.1NVIDIA每一代GPU的計(jì)算能力、NVLink、內(nèi)存持續(xù)擴(kuò)大●英偉達(dá)BlackwellGPU支持FP4精度，GB200的FP4計(jì)算能力可以達(dá)到20P，其計(jì)算能力是FP8的兩倍，NVlink為3.6TB/s，顯存容量為384GB，顯存帶寬為16TB/s?！馎100->H100:FP16密集計(jì)算能力增加了3倍以上，功耗從400W增加到700W?！馠200->B200:FP16密集計(jì)算能力增加了2倍以上，功耗從700W增加到1000W?！馚200的FP16密集計(jì)算能力約為A100的7倍，但功耗只增加了2.5倍。表：英偉達(dá)GPU迭代情況ArchitectureAmpereXXXXXXXXXDie*1Die*1Die*1GraceCPU*1資料來(lái)源：資料來(lái)源：fibermall，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明81.1B200：Blackwell為TSMC4N工藝，B200采用雙芯片封裝lB200GPU：l工藝：BlackwellGPU采用TSMC的N4P技術(shù)，H100GPU采用N4工藝。H100是一個(gè)單芯片（單個(gè)完整的半導(dǎo)體單元）封裝，BlackwellGPU是一個(gè)多芯片封裝，有2個(gè)芯片。l計(jì)算能力：每個(gè)BlackwellGPU芯片的FP8計(jì)算能力大約是H100的2.5倍。l通信能力：B200為為雙芯片架構(gòu)，兩個(gè)芯片之間的通信帶寬為10TB/s。連接8個(gè)8層堆疊的HBM3E，容量達(dá)到了192GB。表：英偉達(dá)B200GPU資料來(lái)源：資料來(lái)源：電子工程專輯請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明91.1GB200：計(jì)算性能可達(dá)H10030倍，NVLink-C2C互聯(lián)900GB/s●GB200性能：相較于H100，GB200的算力提升了6倍，在處理多模態(tài)特定領(lǐng)域任務(wù)時(shí)，其算力更是能達(dá)到H100的30倍。GB200集成了諸多先進(jìn)技術(shù)，包括第二代Transformer引擎、第五代NVLink高速互聯(lián)技術(shù)等?！馟B200組成：是將2個(gè)B200芯片和1個(gè)GraceCPU整合到一起，相應(yīng)的GPU算力和顯存都加倍。CPU和GPU之間依然通過(guò)900GB/s的NVLink-C2C實(shí)現(xiàn)高速互聯(lián)，對(duì)應(yīng)的功耗為2700W。資料來(lái)源資料來(lái)源：36Kr，10lun，Semianalysis請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明101.2Rubin將于2026年推出，GPU產(chǎn)品迭代加速2024大會(huì)召開(kāi)，英偉達(dá)CEO黃仁NVLink等方面技術(shù)路線圖。代Rubin于2026年上市：將集成8顆HBM4；2027年推出RubinUltraGPU，將集成12顆HBM4。CPU平臺(tái)VeraCPU將于2026年推出?！?）NVLink：第五代NVIDIANVLink互連可擴(kuò)展至576個(gè)GPU。3600GB/sec?！?）NVIDIASpectrum?-X以太造的以太網(wǎng)網(wǎng)絡(luò)平臺(tái)，計(jì)劃每年都推出新的Spectrum-X產(chǎn)品。資料來(lái)源：資料來(lái)源：IT之家，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明112024Q2資本開(kāi)支為190億美元。資本開(kāi)支預(yù)期大約一半用于基礎(chǔ)設(shè)施需求，建設(shè)和租賃數(shù)據(jù)中心，其余相關(guān)支出主要用于服務(wù)器，包括CPU和GPU。未來(lái)繼續(xù)擴(kuò)大基礎(chǔ)設(shè)施投資，預(yù)計(jì)2024Q3資本支出將環(huán)比增加。2024Q2公司資本開(kāi)支達(dá)到130億美元。公司預(yù)計(jì)全年每季度資本支出將大致維持第一季度120億美元或略高。2024Q2公司資本開(kāi)支為85億美元。公司上調(diào)全年資本支出下限至370億-400億美元（此前預(yù)期為350億-400億美元并預(yù)計(jì)2024Q2資本開(kāi)支為164億美元。公司預(yù)計(jì)下半年的資本投資將更高，大部分支出將用于支持對(duì)AWS基礎(chǔ)設(shè)施日益增長(zhǎng)的需求2008060400（億美元）2022Q12022Q22022Q32022Q42023Q12023Q22023Q32023Q42024Q12024Q2圖：2023-2024年全球CSP對(duì)高階AI服務(wù)器需求占比.Microsoft.Microsoft資料來(lái)源：資料來(lái)源：Wind，MicrosoftStart，澎湃新聞，搜狐，財(cái)聯(lián)社，財(cái)經(jīng)涂鴉官網(wǎng)，Trendforce，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明12●CSP資本開(kāi)支持續(xù)投向AI服務(wù)器采購(gòu)。據(jù)TrendForce預(yù)估，全球AI服務(wù)器2024年第2季出貨量將季增近20%，全年出貨量上修至167萬(wàn)臺(tái)，年增率達(dá)41.5%。2024年大型CSPs及品牌客戶等對(duì)于高階AI服務(wù)器的需求較好，來(lái)自北美CSPs業(yè)者（如AWS、Meta等）持續(xù)擴(kuò)大自研ASIC（專用集成電路以及中國(guó)本土業(yè)者如：阿里巴巴、百度、華為等積極擴(kuò)大自主ASIC方案，促ASIC服務(wù)器占整體AI服務(wù)器的比重在2024年將提升至26%，而主流搭載GPU的AI服務(wù)器占比則約71%。表1：2024年搭載ASIC芯片AI服務(wù)器出貨占比將逾2.5成2024E67.6%65.5%63.6%5.7%7.3%8.1%3.1%3.0%2.9%23.6%24.1%25.3%100%100%100%資料來(lái)源：資料來(lái)源：Trendforce，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明131.3OpenAI模型加速迭代，o1推理能力提升算力需求OpenAI發(fā)布“草莓”模型的部分預(yù)覽版——OpenAI-o1，這是OpenAI計(jì)劃推出的一系列“推理”模型中的第一個(gè)。OpenAI-o1可以進(jìn)行通用復(fù)雜推理，擅長(zhǎng)解決復(fù)雜問(wèn)題，尤其是編碼、數(shù)學(xué)、科學(xué)遠(yuǎn)超OpenAI-4o。●OpenAI-o1和o1-mini模型已經(jīng)在ChatGPT中上線，Plus和Team訂閱用戶可以直接體驗(yàn)。開(kāi)發(fā)者對(duì)o1的訪問(wèn)非常昂貴，在API中，o1-preview的價(jià)格是每100萬(wàn)個(gè)輸入tokens15美元，每100萬(wàn)個(gè)輸出tokens60美元。相比之下，GPT-4o的價(jià)格是每100萬(wàn)個(gè)輸入tokens5美元，每100萬(wàn)個(gè)輸出tokens15美元。但目前的請(qǐng)求頻率有限制，o1-preview的每周速率限制為30條消息，o1-mini的每周速率限制為50條?！裎覀冋J(rèn)為，OpenAI-o1及o1mini模型在編碼、數(shù)學(xué)、科學(xué)等復(fù)雜推理任務(wù)方面的能力提升，將促進(jìn)其提升應(yīng)用效果、擴(kuò)大應(yīng)用范圍，促進(jìn)算力需求持續(xù)增長(zhǎng)。同時(shí)，OpenAI-o1在算法上的優(yōu)化，以及在思維鏈推理、多步推理等能力的提升，或?qū)?dǎo)致OpenAI-o1對(duì)比上一代模型在同一任務(wù)下消耗更大的算力，更高的定價(jià)亦或反應(yīng)了該趨勢(shì)。因此，OpenAI-o1的推廣有望全面擴(kuò)大AI算力需求。圖：GPT-4o與o1的多方面基準(zhǔn)測(cè)試對(duì)比資料來(lái)源資料來(lái)源：OpenAI請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明14第二章服務(wù)器細(xì)節(jié)拆分請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明152.1英偉達(dá)整機(jī)：HGX到MGX計(jì)算平臺(tái)，服務(wù)器整機(jī)到系統(tǒng)形態(tài)Level1為零部件制造，Level6為主板集成，通常為ODM發(fā)貨“服務(wù)器準(zhǔn)系統(tǒng)”時(shí)提供的。組裝和測(cè)試，能夠達(dá)到10級(jí)制造水平的制造商將提供有效的服務(wù)器解決方案。Level11-12級(jí)可將多臺(tái)服務(wù)器聯(lián)網(wǎng)作為機(jī)架級(jí)甚至多機(jī)架級(jí)解決方案。資料來(lái)源：資料來(lái)源：AMAX請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明162.1英偉達(dá)整機(jī)：HGX版本由ODM出貨，DGX版本由英偉達(dá)交付●HGX：模組主要為SXM版本，隨后8個(gè)GPUSXM模組構(gòu)建成一個(gè)HGXUBB基板，基本交付給英偉達(dá)后，分配給品牌級(jí)服務(wù)器廠商，包括鴻海、廣達(dá)、緯創(chuàng)、英業(yè)達(dá)等廠商?！馜GX：SXM模組生產(chǎn)后，交給下游服務(wù)器廠商進(jìn)行組裝，整機(jī)交付給英偉達(dá)，流向下游CSP廠商與企業(yè)客戶等。品牌級(jí)品牌級(jí)終端企業(yè)CSP終端企業(yè)CSP終端企業(yè)CSP資料來(lái)源資料來(lái)源：芯智訊，英偉達(dá)官網(wǎng)，opencompute，研華官網(wǎng)，HCDT，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明172.1英偉達(dá)整機(jī)：MDX開(kāi)放模塊化設(shè)計(jì)，NVL72或采用此結(jié)構(gòu)●MGX（ModuleGPUAccelerator是一個(gè)開(kāi)放模塊化服務(wù)器設(shè)計(jì)HPC和NVIDIAOmniverse應(yīng)用程序構(gòu)建100多種服務(wù)器變體。GB200NVL72整個(gè)系統(tǒng)由18個(gè)ComputeTrays計(jì)算節(jié)點(diǎn)和9個(gè)SwitchTrays交換節(jié)點(diǎn)組成。GB200SUPERCHIPCOMPUTETRAY2xGB20080PETAFLOPSFP4AIINFERENCE40PETAFLOPSFP8AITRAINING1728GBFASTMEMORY1ULiquidcooled18PerRackNVLINKSWITCHTRAY2xNVLINKSWITCH14.4TB/sTotalBandwidthSHARPv4FP64/32/16/81ULiquidcooled9PerRack資料來(lái)源：資料來(lái)源：fibermall，英偉達(dá)官網(wǎng)，opencompute，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明182.1英偉達(dá)整機(jī)：Hopper到Blackwell，服務(wù)器系統(tǒng)多元變化●從Hopper平臺(tái)升級(jí)到Blackwell平臺(tái)，英偉達(dá)系統(tǒng)級(jí)解決方案存在變化：GPU，向外擴(kuò)展18個(gè)NVLink，總共900GB/s雙向帶寬；還包括CPU主板、系統(tǒng)內(nèi)存、網(wǎng)卡、PCIe交換機(jī)等組件。GB200NVL72機(jī)架：NVL72包含18GPU，機(jī)柜內(nèi)部通信主要采用NVLink網(wǎng)絡(luò)架構(gòu)，使用高速銅纜通信互連，提供水冷散熱。資料來(lái)源資料來(lái)源：英偉達(dá)官網(wǎng)，元宇宙產(chǎn)業(yè)聯(lián)盟，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明192.1英偉達(dá)整機(jī)：GB200NVL72訓(xùn)練與推理能力倍數(shù)提升●AI訓(xùn)練：GB200包含速度更快的第二代Transformer引擎。與相同數(shù)量的NVIDIAH100GPU相比，GB200NVL72可為GPT-MoE-1.8T等大型語(yǔ)言模型提供4倍的訓(xùn)練性能?！馎I推理：GB200引入了先進(jìn)的功能和第二代Transformer密集型應(yīng)用程序(例如1.8T參數(shù)GPT-MoE)的速度提高了30倍。新一代TensorCore引入了FP4精度和第五代NVLink帶來(lái)的諸多優(yōu)勢(shì)，使這一進(jìn)步成為可能?！窦涌鞌?shù)據(jù)庫(kù)查詢速度：GB200利用NVIDIABlackwell架構(gòu)中具有高頻寬記憶體效能的NVLink-C2C和專用解壓縮引擎，將關(guān)鍵資料庫(kù)查詢的速度提升為CPU的18倍，總擁有成本降低5倍。資料來(lái)源資料來(lái)源：英偉達(dá)官網(wǎng)請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明202.2GB200NVL系統(tǒng)：發(fā)展NVL72為代表的四種不同外形尺寸SemiAnalysis，在BlackwellUltra之前很少部署此版本，因?yàn)榧词故褂弥苯拥叫酒囊后w冷卻（DLC）也是如此，大多數(shù)數(shù)據(jù)中心基礎(chǔ)設(shè)施也無(wú)法支持如此高的機(jī)架密度。?NVL72：18個(gè)1U計(jì)算托盤和9個(gè)NVSwitch1個(gè)GraceCPU和2個(gè)BlackwellGPU。NVSwitch5ASIC。120kW功率。資料來(lái)源資料來(lái)源：英偉達(dá)官網(wǎng)，Semianalysis請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明212.2GB200NVL系統(tǒng)：NVL36x2增加交換托盤與功耗●②GB200NVL36x2：每個(gè)機(jī)架18個(gè)GraceCPU和36個(gè)BlackwellGPU●計(jì)算托盤：每個(gè)計(jì)算托盤高2U，包括2個(gè)Bianca板●NVSwitch托盤：兩個(gè)28.8Tb/sNVSwitch5ASIC芯片。每芯片背板后方14.4Tb/s，前板14.4Tb/s。每個(gè)NVswitchNVL36機(jī)架。共將有36個(gè)NVSwitch5ASIC，而NVL72上只有18個(gè)NVSwitch5ASIC。GB200NVL36x2資料來(lái)源資料來(lái)源：Semianalysis請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明222.2GB200NVL系統(tǒng)：推出NVL36x2（Ariel）與x86B200版本SemiAnalysis，主要由Meta使用。Meta大GenAI工作負(fù)載，Ariel版本將僅用于最大的核和更多的每GPU內(nèi)存比率。SemiAnalysis，在2025年第二季度，將推們將使用x86CPU，而不是Nvidia的內(nèi)部graceCPU。這種外形規(guī)格稱為Miranda。據(jù)GPU將保持不變，每個(gè)計(jì)算托盤2個(gè)CPU和4個(gè)GPU。NVL36x2（ArielBlackwellGPUBlackwellGPUOSFP籠，水平連接一對(duì)NVL36機(jī)架資料來(lái)源資料來(lái)源：Semianalysis請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明232.2NVL72組裝模式：MGX-->整機(jī)柜-->集群資料來(lái)源：各公司官網(wǎng)，資料來(lái)源：各公司官網(wǎng)，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明242.2NVL72組裝模式：GPU數(shù)量、計(jì)算能力、網(wǎng)絡(luò)性能實(shí)現(xiàn)提升●NVL系統(tǒng)NVL32->NVL72：GPU數(shù)量從32增加到72，F(xiàn)P16密集計(jì)算能力從32P增加到180P，幾乎增加了6倍，而功耗也從40kW（估計(jì)數(shù)據(jù)）增加到120kW，近3倍。GH200SuperPod->GB200SuperPod：GPU數(shù)量從256增加到576，F(xiàn)P16密集計(jì)算能力從256P增加到1440P，幾乎增加了6倍。在NVL72和GB200SuperPod中使用最新的800Gb/s帶寬ConnectX-8IB網(wǎng)絡(luò)卡，而HGXB100和HGXB200仍然使用400Gb/s帶寬ConnectX-7IB網(wǎng)絡(luò)卡。需要注意的是：NVIDIA介紹說(shuō)GB200SuperPod由8個(gè)NVL72組成，而GH200SuperPod不是由8個(gè)NVL32組成。ArchitectureXXXX資料來(lái)源：資料來(lái)源：fibermall，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明252.3NVBlackwell重塑價(jià)值鏈，機(jī)柜/銅纜/液冷/HBM占比提升價(jià)值量占比提升。整機(jī)柜：機(jī)柜采用MGX架構(gòu)，由計(jì)算托盤與交換托盤組成，提升組裝復(fù)雜度，帶來(lái)ODM整機(jī)廠的加工價(jià)值量提升。HBM：H100采用5顆HBM3，BlackwellUltra預(yù)期采用8顆HBM3e，單顆GPU采用HBM數(shù)量與單價(jià)均實(shí)現(xiàn)提升。NVLink銅纜鏈接。風(fēng)冷上線，有望推動(dòng)液冷組件價(jià)值量提升。GB200H100每GPU每GPU每GPU每GPUBOM資料來(lái)源資料來(lái)源：Semianalysis，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明26第三章銅連接請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明27●交換網(wǎng)絡(luò)中有多種連接解決方案，包括光模塊+光纖、有源光纜（AOC）和直連電纜（DAC）?！裼性垂饫|AOC：AOC是由集成光電器件組成的，用于數(shù)據(jù)中心、高性能計(jì)算機(jī)、大容量存儲(chǔ)器等設(shè)備間進(jìn)行高速數(shù)據(jù)的傳輸。●直連電纜DAC：在數(shù)據(jù)中心，銅纜一般用來(lái)連接服務(wù)器和存儲(chǔ)區(qū)域網(wǎng)絡(luò)，最常用的以直連銅纜（DAC，DirectAttachCopperCable）為主，而其中又以無(wú)源銅纜用得尤盛。由于無(wú)源銅纜價(jià)格便宜、傳輸速度快，因而成了實(shí)現(xiàn)短距離傳輸?shù)淖罴呀鉀Q方案。圖：AOC有源光纜資料來(lái)源資料來(lái)源：易天光通信請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明283.1高速線纜：規(guī)模預(yù)期28年達(dá)28億美元，DACs保持較快增長(zhǎng)●據(jù)LightCounting，受益于服務(wù)器連接以及分解式交換機(jī)和路由器中的互連需求提升，預(yù)期高速線纜的銷售額預(yù)計(jì)在2023-2028年將增加一倍以上，到2028年將達(dá)到28億美元。有源電纜(AECs)將逐步搶占有源光纜(AOCs)和無(wú)源銅線(DACs)的市場(chǎng)份額。AECs的傳輸距離更長(zhǎng)，而且比DACs輕得多?！馜ACs將保持較快增長(zhǎng)，NVIDIA需求較高。新的100GSerDes使100G/lane設(shè)計(jì)的無(wú)源銅纜的覆蓋范圍比預(yù)期的要長(zhǎng)，包括400G、800G和1.6TDACs。據(jù)LightCounting，預(yù)計(jì)2024年底開(kāi)始發(fā)貨的200GSerDes表現(xiàn)出色，這將使DACs擴(kuò)展到每通道最關(guān)鍵的。Nvidia的策略是盡可能多地部署DACs，只有在必要的情況下才使用光模塊。圖：AOCs與銅纜的銷售量預(yù)期圖：AOCs與銅纜的銷售量預(yù)期資料來(lái)源：資料來(lái)源：LightCounting請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明293.1高速線纜：安費(fèi)諾為DAC市占率第一，集中度相對(duì)較高●根據(jù)QYResearch、北京瑞云智信等數(shù)據(jù)，的主要生產(chǎn)商有安費(fèi)諾（Amphenol（TEConnectivity）、瞻博網(wǎng)絡(luò)（JuniperNetworks）、豪利士（Volex）、泛達(dá)公司（Panduit）等。額位居全球第一。資料來(lái)源：北京瑞云智信資料來(lái)源：北京瑞云智信，QYResearch請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明303.2英偉達(dá)NVL72：采用NVLink全連接，銅纜數(shù)量達(dá)5000+根●據(jù)GTC大會(huì)，英偉達(dá)GB200NVLinkSwitch和Spine由72個(gè)BlackwellGPU采用NVLink全互連，有5000根NVLink銅纜（合計(jì)長(zhǎng)度超2英里）。●GB200NVL72SwitchTray：內(nèi)部有一對(duì)Nvidia的NVLink7.2TASIC，總共提供144個(gè)100GBps鏈路。每個(gè)機(jī)架有9個(gè)NVLink交換機(jī)，相當(dāng)于為機(jī)架中的72個(gè)GPU中的每一個(gè)提供1.8TBps（18個(gè)鏈路）的雙向帶寬。資料來(lái)源資料來(lái)源：Semianalysis，聯(lián)想，英偉達(dá)官網(wǎng)，新智元，中國(guó)線纜網(wǎng)請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明313.2英偉達(dá)NVL72：overpass高速跳線與UltrapassPaladin背板●Nvidia選擇使用Amphenol的UltrapassPaladin背個(gè)BlackwellGPU都連接到AmphenolPaladinHD連接器連接到背板Paladin連接器。從NVSwitchOverPass跨接電纜。資料來(lái)源資料來(lái)源：Semianalysis請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明32請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明334.1HBM市場(chǎng)：HBM3E將于下半年出貨，HBM4或于2026年上市●HBM（HighBandwidthMemory是一款新型的CPU/GPU內(nèi)存芯片（即“RAM”是將很多個(gè)DDR芯片堆疊在一起后和GPU封裝在一起，實(shí)現(xiàn)大容量，高位寬的DDR組合陣列。GPU/CPU，左右2邊4個(gè)小die是DDR顆TVS方式連接，現(xiàn)在一般只有資料來(lái)源：海力士公開(kāi)路演資料來(lái)源：海力士公開(kāi)路演PPT，艾邦半導(dǎo)體網(wǎng)，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明344.1HBM市場(chǎng)：HBM3E將于下半年出貨，HBM4或于2026年上市●HBM3e將是今年市場(chǎng)主流，集中在今年下半年出貨。集邦咨詢指出，HBM3e將在今年成為市場(chǎng)主流，出貨量集中在下半年。目前，SK海力士仍然是主要供應(yīng)商，與美光一起，都使用1betanm制程，并且都已開(kāi)始向英偉達(dá)供貨。三星使用1alphanm制程，預(yù)計(jì)將在第二季度完成認(rèn)證，于年中開(kāi)始交付。TrendForce集邦，HBM4預(yù)計(jì)規(guī)算效能要求的提升，在堆棧的層數(shù)上，HBM4除了現(xiàn)有的12hi外，也將再往16hi發(fā)展。HBM412hi受到規(guī)格更往高速發(fā)展帶動(dòng)，將首次看到HBM最底層的Logicdie采用12nm制程wafer，該部分將由晶圓代工廠提供，使得單顆存儲(chǔ)器廠的合作。表：HBM發(fā)展時(shí)間軸資料來(lái)源：資料來(lái)源：Trendforce請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明354.1HBM：2024年底TSV產(chǎn)能約250K/m，三星與海力士擴(kuò)產(chǎn)積極●據(jù)TrendForce預(yù)估，截至2024年底，整體DRAM產(chǎn)業(yè)規(guī)劃生產(chǎn)HBMTSV的產(chǎn)能約為250K/m，占總DRAM產(chǎn)能（約1,800K/m）約14%，供給位元年成長(zhǎng)約260%。此外，2023年HBM產(chǎn)值占比之于DRAM整體產(chǎn)業(yè)約8.4%，至2024年底將擴(kuò)大至20.1%?！褚訦BM產(chǎn)能來(lái)看，三星、SK海力士（SKhynix）至今年底的HBM產(chǎn)能規(guī)劃最積極，三星HBM總產(chǎn)能至年底將達(dá)約130K（含TSVSK海力士約120K，但產(chǎn)能會(huì)依據(jù)驗(yàn)證進(jìn)度與客戶訂單持續(xù)而有變化。另以現(xiàn)階段主流產(chǎn)品HBM3產(chǎn)品市占率來(lái)看，目前SK海力士于HBM3市場(chǎng)比重逾9成，而三星將隨著后續(xù)數(shù)個(gè)季度AMDMI300逐季放量持續(xù)緊追。資料來(lái)源：資料來(lái)源：Trendforce，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明364.2英偉達(dá)目前是HBM最大買家，海力士與三星完成HBM3E驗(yàn)證●英偉達(dá)目前是HBM市場(chǎng)的最大買家。英偉達(dá)H100搭載的HBM容量為80GB，而2024年放量的H200則躍升到144GB。據(jù)TrendForce，預(yù)期2025年，受到Blackwell平臺(tái)全面搭載HBM3e、產(chǎn)品層數(shù)增加，及單芯片HBM容量的上升，NVIDIA在HBM市場(chǎng)的采購(gòu)比重將突破70%，對(duì)HBM3e市場(chǎng)整體的消耗量或推升至85%以上。BlackwellUltra或?qū)⒉捎?顆HBM3e12hi，GB200也有升級(jí)可能，再加上B200A的規(guī)劃，預(yù)估2025年12hi產(chǎn)品在HBM3e當(dāng)中的比重將提升至40%?！窈Ａκ颗c三星完成HBM3E驗(yàn)證。據(jù)TrendForce，SKhynix（SK海力士）、Micron（美光科技）在2024年第二季開(kāi)始量產(chǎn)續(xù)驗(yàn)證階段。其中SK海力士與美光進(jìn)度較快，有望于今年底完成驗(yàn)證。據(jù)財(cái)聯(lián)社9/4訊，SK海力士正在將利川廠的M10F產(chǎn)線轉(zhuǎn)向生產(chǎn)HBM，計(jì)劃明年四季度實(shí)現(xiàn)量產(chǎn)。投產(chǎn)后，SK海力士的HBM產(chǎn)能可達(dá)每月15萬(wàn)據(jù)財(cái)聯(lián)社8/20訊，SK海力士副總裁RyuSeong-su表示，海力士HBM正受到全球企業(yè)的高度關(guān)注，蘋果、微軟、谷和特斯拉美股科技股七巨頭都向SK海力士提出了定制HBM解決方案的要求。據(jù)財(cái)聯(lián)社9/4訊，TrendForce集邦咨詢表示，三星電子的HBM3E內(nèi)存產(chǎn)品已完成驗(yàn)證，并開(kāi)始正式出貨HBM3E8Hi，主要用于H200，同時(shí)Blackwell系列的驗(yàn)證工作也在穩(wěn)步推進(jìn)。據(jù)財(cái)聯(lián)社9/9訊，美光表示，目前正在將可供制造的（production-capable）12層第五代HBM（HBM3E）送交給AI產(chǎn)業(yè)鏈重要合作伙伴，以進(jìn)資料來(lái)源資料來(lái)源：財(cái)聯(lián)社，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明37請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明38種功能信號(hào)，實(shí)現(xiàn)數(shù)據(jù)處理、存儲(chǔ)和傳輸?shù)裙δ?。而芯片在完成這些功能的過(guò)程中，會(huì)產(chǎn)生大量熱量，這是因?yàn)殡娮有盘?hào)的傳輸會(huì)伴隨電阻、電容、電感等能量損耗，這些損耗會(huì)被轉(zhuǎn)化為熱能。工作的電子芯片，最高溫度不能超過(guò)85℃,溫度過(guò)高會(huì)導(dǎo)致芯片損壞?！裆峒夹g(shù)需要持續(xù)升級(jí)，來(lái)控制電子設(shè)備的運(yùn)行溫度。芯片性能持續(xù)發(fā)展，這提升了芯片功耗，也對(duì)散熱技術(shù)提出了更高的要求。此外，AI大模型的訓(xùn)練與推理需求，要求AI芯片的單卡算力提升，有望進(jìn)一步打開(kāi)先進(jìn)散熱技術(shù)的成長(zhǎng)空間。GPU型號(hào)發(fā)布時(shí)間TDPNVIDIAA1002020250W-400WH100SXMH100PCIe2023GPU型號(hào)發(fā)布時(shí)間TDPNVIDIAA1002020250W-400WH100SXMH100PCIe2023300W-350Wupto700WAMDMI1002020upto300WMI2002021300WMI3002023600WCPU型號(hào)發(fā)布時(shí)間TDPIntelIceLake2021Q2105W-270WSapphireRapids2023115W-350WEmeraldRapids2023150W-385WGraniteRapids2024500WAMDRome2019120W-280WMilan2021120W-280WGenoa2022200W-360W資料來(lái)源資料來(lái)源：CSDN，各公司官網(wǎng)，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明39資料來(lái)源資料來(lái)源：uanalyze，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明40●根據(jù)ODCC《冷板液冷服務(wù)器設(shè)計(jì)白皮書》，綜合考量初始投資成本、可維護(hù)性、PUE效果以及產(chǎn)業(yè)成熟度等因素，冷板式和單相浸沒(méi)式相較其他液冷技術(shù)更有優(yōu)勢(shì)，是當(dāng)前業(yè)界的主流解決方案。非接觸式液冷接觸式液冷浸沒(méi)式液冷相變浸沒(méi)式PUE1.1-1.2應(yīng)用案例多初始投資中等，運(yùn)維成本較低，PUE收益中初始投資最高，PUE收益最高，使初始投資較高，PUE收益較高，部資料來(lái)源：《冷板液冷服務(wù)器設(shè)計(jì)白皮書》，資料來(lái)源：《冷板液冷服務(wù)器設(shè)計(jì)白皮書》，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明41GB200NVL72液冷服務(wù)器設(shè)備，選取冷板液冷進(jìn)行散熱?！聒櫤＃赫钩鯥ngrasys鴻佰科技開(kāi)發(fā)的GB200NVL72液冷機(jī)架系統(tǒng)，采用冷板式結(jié)構(gòu)，機(jī)架具備風(fēng)液混合、液冷等結(jié)構(gòu)。圖：鴻海采用液體冷卻的GB200計(jì)算托盤圖：英偉達(dá)NV72液冷機(jī)柜設(shè)計(jì)圖：鴻海的3種液冷機(jī)架解決方案圖：鴻海LA0452系統(tǒng)為液冷-風(fēng)冷混合散熱圖：鴻海LL1000系統(tǒng)為液冷與CDU等設(shè)備混合散熱資料來(lái)源：鴻海官網(wǎng)資料來(lái)源：鴻海官網(wǎng)，ingrasys，英偉達(dá)官網(wǎng)，國(guó)海證券研究所請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明42投資建議與風(fēng)險(xiǎn)提示請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明43服務(wù)器整機(jī)、銅連接、HBM、液冷、光模塊、IDC等環(huán)節(jié)有望持續(xù)受益。維持對(duì)計(jì)算機(jī)行業(yè)“推薦”評(píng)級(jí)?！裣嚓P(guān)公司1）AI芯片：海光信息、寒武紀(jì)、龍芯中科、景嘉微、英偉達(dá)、AMD、Intel2）服務(wù)器整機(jī)：工業(yè)富聯(lián)、浪潮信息、中科曙光、華勤技術(shù)、中國(guó)長(zhǎng)城、高新發(fā)展、神州數(shù)碼、烽火通信、拓維信息、緯創(chuàng)、廣達(dá)、英業(yè)達(dá)、緯穎、超微電腦。3）服務(wù)器組件：①散熱：飛榮達(dá)、曙光數(shù)創(chuàng)、英維克、同方股份、申菱環(huán)境、高瀾股份、奇鋐科技、雙鴻、VERTIV；②主板：滬電股份、深南電路、勝宏科技、技嘉、華擎；③HBM：SK海力士、三星、美光、賽騰股份、聯(lián)瑞新材；④銅連接：安費(fèi)諾、沃爾核材、華豐科技。4）光模塊：天孚通信、中際旭創(chuàng)、新易盛、光迅科技、華工科技。5）數(shù)據(jù)中心：奧飛數(shù)據(jù)、光環(huán)新網(wǎng)、寶信軟件、數(shù)據(jù)港、電科數(shù)字。請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明請(qǐng)務(wù)必閱讀報(bào)告附注中的風(fēng)險(xiǎn)提示和免責(zé)聲明44英偉達(dá)GB200英偉達(dá)GB200?☆分歧管（液冷：支持130KW的制冷能力）?海外：VERTIV?☆GPU??☆CPU?☆主板?☆主板?內(nèi)地：滬電股份、勝宏科技、深南電路、生益科技?中國(guó)臺(tái)灣：泰安電腦（神達(dá)）、技嘉、華擎、華碩、英業(yè)達(dá)、緯創(chuàng)、研華?美國(guó)：Intel、Supermicro??☆線纜（銅連接：5000+根NVLink線纜）?內(nèi)地：沃爾核材、華豐科技、兆龍互連、鼎通?☆組裝測(cè)試?☆組裝測(cè)試