海外TMT行業(yè)2025年度AI需求持續(xù)高景氣算力

AI仍是科技產(chǎn)業(yè)主旋律，當(dāng)前正步入AI

Agent階段早期2023年ChatGPT開啟AI的“iPhone”時(shí)刻，AI行業(yè)經(jīng)歷2年左右時(shí)間發(fā)展，2H24以來步入AI

Agent階段的早期：AI

大模型階段：

2023

年

ChatGPT

開啟 AI

的“iPhone

時(shí)刻”，拉開AI大模型時(shí)代的序幕。Open

AI、谷歌、百度、阿里巴巴、騰訊、字節(jié)跳動(dòng)、商湯科技等大型互聯(lián)網(wǎng)廠商&科技公司紛紛發(fā)布旗下AI大模型、并持續(xù)加大AI大模型的研發(fā)投入，“百模大戰(zhàn)”一觸即發(fā)。AIAgent階段：2024年9月，Open

AI發(fā)布o(jì)1模型，基于RL（強(qiáng)化學(xué)習(xí)）+CoT（思維鏈）

，為具備自主規(guī)劃能力的AI

Agent奠定基礎(chǔ)。當(dāng)前隨著AI應(yīng)用商業(yè)化落地進(jìn)程加快，

生成式AI對各種使用場景、應(yīng)用領(lǐng)域、終端的滲透率提升，當(dāng)前產(chǎn)業(yè)正步入AI

Agent階段的早期：1）AI算力需求從訓(xùn)練逐步向推理過渡，產(chǎn)業(yè)鏈延續(xù)高景氣；2）AI大模型逐步滲透至手機(jī)、PC、汽車、機(jī)器人等終端，端側(cè)生態(tài)蓬勃發(fā)展；3）AI應(yīng)用與具體業(yè)務(wù)場景的融合不斷強(qiáng)化，具備爆款潛質(zhì)的應(yīng)用開始萌芽。AGI通用人工智能階段：長遠(yuǎn)來看，隨著AI算力基建擴(kuò)容和大模型技術(shù)的不斷迭代，

人工智能的“涌現(xiàn)”將帶領(lǐng)人類社會步入AGI時(shí)代。圖表1：AI應(yīng)用發(fā)展可分成AI大模型、AI

Agent和AGI三階段請務(wù)必參閱正文之后的重要聲明1資料來源：光大證券研究所繪制把握AI算力-終端-應(yīng)用全產(chǎn)業(yè)鏈投資機(jī)會主線請務(wù)必參閱正文之后的重要聲明2我們認(rèn)為AI仍是2025年全球科技的核心主題，AI大模型的迭代、新應(yīng)用的落地持續(xù)帶來算力基礎(chǔ)設(shè)施增量需求，亦將助力終端生態(tài)和交互的新變革，賦能千行百業(yè)迎來新奇點(diǎn)。本篇報(bào)告系統(tǒng)化梳理AI科技行業(yè)變化、技術(shù)趨勢，詳細(xì)拆解產(chǎn)業(yè)鏈各環(huán)節(jié)競爭格局，圍繞算力-終端-應(yīng)用三大主線，深度分析投資邏輯、及重點(diǎn)標(biāo)的，對應(yīng)投資機(jī)會的分析和把握：算力為基：多模態(tài)+AI推理+多元客戶驅(qū)動(dòng)需求持續(xù)高漲，供給改善強(qiáng)化業(yè)績增長確定性，持續(xù)看好25年英偉達(dá)及算力集群產(chǎn)業(yè)鏈投資機(jī)會。24Q2以來，半導(dǎo)體復(fù)蘇節(jié)奏呈現(xiàn)整體表現(xiàn)偏弱、不同領(lǐng)域分化的特點(diǎn)，美股市場對AI算力產(chǎn)業(yè)鏈公司的投資整體趨于理性，核心聚焦業(yè)績兌現(xiàn)度、行業(yè)格局變化、技術(shù)演進(jìn)趨勢，綜合：1）短期高業(yè)績支撐性及兌現(xiàn)度，2）具備強(qiáng)邏輯的長期行業(yè)成長性，3）高AI敞口，我們梳理四條核心投資主線：AI算力“賣鏟人”：AI大模型Scaling

Law構(gòu)建算力增長底層邏輯，英偉達(dá)憑借單卡性能+軟件生態(tài)+通信組網(wǎng)的綜合優(yōu)勢，

手握大量確定性訂單，23Q1至24Q3業(yè)績持續(xù)高增。CoWoS-L供給情況改善后，看好2025年英偉達(dá)業(yè)績在Blackwell出貨推動(dòng)下持續(xù)高速增長。推薦：英偉達(dá)。英偉達(dá)產(chǎn)業(yè)鏈：1）CoWoS：先進(jìn)封裝CoWoS產(chǎn)能成AI算力供應(yīng)瓶頸，關(guān)注：臺積電、Amkor科技。2）存儲：行業(yè)開啟漲價(jià)周期，AI手機(jī)/AIPC提升容量需求，云端算力帶動(dòng)HBM供不應(yīng)求、市場規(guī)模高速增長。關(guān)注：美光科技；3）服務(wù)器：AI算力需求強(qiáng)勁帶動(dòng)AI服務(wù)器出貨量攀升、在手訂單高漲，關(guān)注：戴爾科技、惠普、慧與、IBM、超微電腦；受益于AI算力大規(guī)模集群化：

2024年英偉達(dá)發(fā)布基于Blackwell

GPU的NVL機(jī)架系統(tǒng)，大規(guī)模AI算力集群成為趨勢，

AI算力產(chǎn)業(yè)紅利進(jìn)一步外溢，1）網(wǎng)絡(luò)：萬卡算力集群化趨勢驅(qū)動(dòng)通信互聯(lián)需求，且更多供應(yīng)商獲得英偉達(dá)認(rèn)證，利好網(wǎng)絡(luò)通信相關(guān)中小盤標(biāo)的。關(guān)注：①交換機(jī)相關(guān):

Arista網(wǎng)絡(luò)、Juniper網(wǎng)絡(luò)、Marvell科技、博通；②DSP芯片：Credo科技、Marvell科技、博通；③光模塊：Coherent、應(yīng)用光電、先科電子；④線纜：安費(fèi)諾、Credo科技、Lumen科技。2）液冷：AI芯片性能增強(qiáng)，風(fēng)冷散熱能力達(dá)到極限，未來大型算力集群中液冷將成為必選項(xiàng)，關(guān)注：Vertiv。ASIC定制化芯片設(shè)計(jì)：

Meta、Google、微軟、亞馬遜為主的互聯(lián)網(wǎng)大廠布局芯片自研，AI算力需求由通用芯片向配合行業(yè)和公司特性的專用定制AI芯片轉(zhuǎn)型。關(guān)注：博通、Marvell科技。把握AI算力-終端-應(yīng)用全產(chǎn)業(yè)鏈投資機(jī)會主線請務(wù)必參閱正文之后的重要聲明3終端為繼：AI大模型發(fā)展有望驅(qū)動(dòng)PC、手機(jī)、智能汽車、機(jī)器人等終端的軟硬件生態(tài)持續(xù)迭代，看好AI趨勢對產(chǎn)業(yè)升級+下游需求的催化作用。AI

手機(jī)&PC：AI升級帶動(dòng)智能手機(jī)、PC更加高效智能+個(gè)性化，

Apple、微軟、安卓、聯(lián)想等操作系統(tǒng)&終端陣營相繼布局完善生態(tài)，硬件創(chuàng)新與換機(jī)周期有望迎來共振。持續(xù)推薦蘋果、小米集團(tuán)，關(guān)注聯(lián)想集團(tuán)、戴爾科技、惠普?？春枚嗄B(tài)背景下影像光學(xué)+聲學(xué)產(chǎn)業(yè)鏈，關(guān)注高偉電子、瑞聲科技、舜宇光學(xué)科技。智能駕駛：車企智能化的迭代節(jié)奏進(jìn)入加速階段，搭載多融合傳感器+智能駕駛AI算法優(yōu)化的智能汽車或?qū)⒊蔀樾袠I(yè)未來發(fā)展方向，建議關(guān)注智駕能力領(lǐng)先廠商特斯拉，關(guān)注智駕芯片廠商地平線；關(guān)注激光雷達(dá)廠商禾賽科技、速騰聚創(chuàng)；關(guān)注智能車載屏顯廠商京東方精電。機(jī)器人：多模態(tài)規(guī)劃大模型+端到端神經(jīng)網(wǎng)絡(luò)有望持續(xù)賦能具身智能機(jī)器人，人形機(jī)器人商業(yè)化進(jìn)展持續(xù)推進(jìn)，建議關(guān)注技術(shù)+落地領(lǐng)先廠商特斯拉、優(yōu)必選。把握AI算力-終端-應(yīng)用全產(chǎn)業(yè)鏈投資機(jī)會主線請務(wù)必參閱正文之后的重要聲明4應(yīng)用為核：AI算力開支的變現(xiàn)依賴于下游應(yīng)用場景的增長。美股AI應(yīng)用公司24Q3業(yè)績基本面轉(zhuǎn)暖，底層大模型迭代、特朗普勝選疊加降息對美國經(jīng)濟(jì)預(yù)期更加樂觀?？春肁I應(yīng)用將驅(qū)動(dòng)美股AI應(yīng)用在25-26年迎來大周期：短期：關(guān)注生成式AI的低代碼、可視化能力對核心體驗(yàn)提升較直觀的領(lǐng)域，以及受益于決策式AI的領(lǐng)域，關(guān)注：1）IT運(yùn)維：ServiceNow、Datadog、Gitlab、Dynatrace；2）廣告營銷：AppLovin、Meta、谷歌、Zeta；3）數(shù)據(jù)治理：Palantir、C3.AI；4）網(wǎng)絡(luò)安全：CrowdStrike、Palo

Alto網(wǎng)絡(luò)、Cloudflare。中期：從底層改變企業(yè)運(yùn)營治理，利用AI打通數(shù)據(jù)孤島，融入企業(yè)工作流。幫助行業(yè)客戶簡化AI探索、優(yōu)化企業(yè)運(yùn)營效率的平臺將具備巨大的潛在需求，推薦微軟，關(guān)注：1）大型企業(yè)服務(wù)平臺：ServiceNow、Salesforce、SAP、Oracle。2）特定業(yè)務(wù)流：Workday、Atlassian、Zoom、Twilio、Asana。長期：隨著各行業(yè)AI與具體業(yè)務(wù)場景的融合效果得到驗(yàn)證，AI應(yīng)用相對傳統(tǒng)應(yīng)用的比例將不斷提升，對應(yīng)的上游需求將水漲船高，關(guān)注：1）NoSQL數(shù)據(jù)庫/數(shù)據(jù)倉庫：Snowflake、MongoDB；2）可觀測性：Datadog、Confluent；3）訓(xùn)練數(shù)據(jù)版權(quán)：Reddit、Shutterstock。4、行業(yè)垂類：隨著LLM推理成本的持續(xù)降低，以及多模態(tài)、Agent等技術(shù)的迭代，AI+行業(yè)垂類將打開廣闊的市場空間，建議關(guān)注：1）AI+多媒體：Adobe、SoundHound。2）AI+教育：Duolingo、Coursera；3）AI+金融：Intuit、FICO、Lemonade、CCC智能，Guidewire。4）AI+電商：亞馬遜、Shopify。風(fēng)險(xiǎn)提示：AI產(chǎn)業(yè)鏈產(chǎn)能擴(kuò)產(chǎn)可能存在瓶頸；AI行業(yè)競爭加劇的風(fēng)險(xiǎn)；AI大模型迭代及下游應(yīng)用進(jìn)展不及預(yù)期，大模型訓(xùn)練和推理的算力需求的下行風(fēng)險(xiǎn)；下游需求不及預(yù)期風(fēng)險(xiǎn)；市場競爭加劇風(fēng)險(xiǎn)；市場拓展不及預(yù)期；商業(yè)化進(jìn)展不及預(yù)期風(fēng)險(xiǎn)；國內(nèi)外政策風(fēng)險(xiǎn)。算力為基：AI

Agent+多模態(tài)+推理支撐新需求，算力集群趨勢帶動(dòng)產(chǎn)業(yè)紅利終端為繼：AI

+終端百花齊放，邊緣SoC+生態(tài)系統(tǒng)+硬件迭代構(gòu)筑端側(cè)智能體應(yīng)用為核：海外AI應(yīng)用大周期拉開帷幕，各細(xì)分領(lǐng)域行情分階段演繹風(fēng)險(xiǎn)提示請務(wù)必參閱正文之后的重要聲明5AI

Agent+多模態(tài)+推理支撐新需求，算力集群趨勢帶動(dòng)產(chǎn)業(yè)紅利請務(wù)必參閱正文之后的重要聲明6供需：未到“思科時(shí)刻”，AI

Agent+推理+供給改善助力持續(xù)高景氣芯片：英偉達(dá)龍頭引領(lǐng)，產(chǎn)業(yè)鏈迎來ASIC和組網(wǎng)集群新紅利機(jī)遇服務(wù)器：未交付訂單金額持續(xù)增長，但短期盈利能力有所承壓供需：未到“思科時(shí)刻”，AI

Agent+推理+供給改善助力持續(xù)高景氣產(chǎn)業(yè)鏈?zhǔn)崂恚篈I算力高景氣，單卡到組網(wǎng)集群各環(huán)節(jié)均受益AI

Agent新階段，預(yù)訓(xùn)練、后訓(xùn)練和測試時(shí)間三類Scaling

Law齊頭并進(jìn)需求：英偉達(dá)未到“思科時(shí)刻”，客戶后續(xù)資本開支投入可見度高技術(shù)供給：AI芯片迭代助推算力成本下降，為推理側(cè)和應(yīng)用發(fā)展蓄力產(chǎn)能供給：CoWoS預(yù)計(jì)2025年翻倍擴(kuò)產(chǎn)，12層HBM3E已實(shí)現(xiàn)量產(chǎn)請務(wù)必參閱正文之后的重要聲明7生成式AI浪潮推動(dòng)AI大模型研發(fā)和相關(guān)應(yīng)用開發(fā)需求，算力硬件公司作為“賣鏟人”持續(xù)受益。芯片側(cè)，GPU

直接受益，英偉達(dá)Blackwell需求強(qiáng)勁、供不應(yīng)求。ASIC定制化積極配合云廠商等大客戶。芯片制造和CoWoS封裝產(chǎn)業(yè)鏈因旺盛需求積極擴(kuò)產(chǎn)。服務(wù)器側(cè)，AI芯片積極出貨進(jìn)而帶動(dòng)服務(wù)器訂單高增，同英偉達(dá)密切合作的公司受益程度更高。AI服務(wù)器同時(shí)

帶動(dòng)HBM和SSD等存儲需求。數(shù)據(jù)中心側(cè)，算力集群化趨勢帶動(dòng)網(wǎng)絡(luò)互聯(lián)需求，利好光模塊、交換機(jī)、線纜等。數(shù)據(jù)中心的電力需求激增，推高清潔能源和液冷需求。產(chǎn)業(yè)鏈?zhǔn)崂恚篈I算力高景氣，單卡到組網(wǎng)集群各環(huán)節(jié)均受益圖表2：AI算力硬件產(chǎn)業(yè)鏈?zhǔn)崂碣Y料來源：應(yīng)用光電官網(wǎng)，先科電子官網(wǎng)，C114通信網(wǎng)，36氪，網(wǎng)易，搜狐，華爾街見聞，光大證券研究所整理繪制請務(wù)必參閱正文之后的重要聲明8需求：AI大模型積極迭代，Scaling

Law構(gòu)建算力增長底層邏輯模型Lab發(fā)布時(shí)間參數(shù)量ChatGPT

o1-previewOpenAI2024年9月12日ChatGPT

4oOpenAI2024年5月13日Qwen2.5阿里云2024年5月9日Claude

3.5

SonnetAnthropic2024年6月21日DeepSeek

-V2.5深度求索2024年9月6日236BGLM-4-Plus智譜AI2024年8月29日405BStable

LM

2Stability

AI2024年1月19日1.6BGemini

1.5Google2024年2月15日Llama

3.2Meta

AI2024年9月25日lightweighttext-only：1B&3B；larger：11B&90BMixtral

8x22BMistral

AI2024年4月10日141BSoraOpenAI2024年2月15日PalM2Google2023年5月10日Claude

2Anthropic2023年7月11日ChatGPT

4OpenAI2023年3月14日ChatGPT3.5OpenAI2022年11月30日生成式AI競賽中，各公司加快訓(xùn)練大模型，模型發(fā)布時(shí)間縮短，帶動(dòng)所需算力增長。單以O(shè)penAI為例，2024年已推出文生視頻大模型Sora、多模態(tài)大模型GPT-4o和擅長解決數(shù)學(xué)、代碼等復(fù)雜推理問題的o1。AI大模型仍在積極迭代、向更強(qiáng)性能和更多功能沖刺。Scaling

Law：OpenAI于2020年的一篇論文提出，大模型最終性能主要與計(jì)算量、模型參數(shù)量和訓(xùn)練數(shù)據(jù)量三者的大小相關(guān)，而與模型具體結(jié)構(gòu)（層數(shù)/深度/寬度）基本無關(guān)；而且AI大模型規(guī)模（參數(shù)量和數(shù)據(jù)集）擴(kuò)大，除了提升原有性能表現(xiàn)外，還會“涌現(xiàn)”原來不具有的能力。Scaling

Law奠定了客戶提升大模型性能必須購買堆疊AI算力的底層邏輯。圖表3：近兩年已發(fā)布的重點(diǎn)AI大模型情況匯總 圖表4：大模型表現(xiàn)隨著模型計(jì)算量提升而變佳請務(wù)必參閱正文之后的重要聲明9資料來源：Epoch

AI資料來源：OpenAI官網(wǎng)，

Stability

AI官網(wǎng)，

Anthropic官網(wǎng)，Google官網(wǎng)，Meta

AI官網(wǎng)，53AI網(wǎng)，華爾街見聞，新華網(wǎng)，網(wǎng)易新聞，新浪財(cái)經(jīng)，光大證券研究所整理需求：AI大模型積極迭代，Scaling

Law構(gòu)建算力增長底層邏輯資料來源：Life

Architect，騰訊云，36氪，Lambda，Medium，光大證券研究所整理計(jì)算量的增長驅(qū)動(dòng)AI大模型開發(fā)廠商構(gòu)建更大的AI芯片算力集群。OpenAI訓(xùn)練GPT-4時(shí)，在大約2.5萬個(gè)A100上訓(xùn)練了90到100天；而OpenAI訓(xùn)練GPT-3時(shí)，在大約1萬個(gè)V100上訓(xùn)練了15天。68倍計(jì)算量增長驅(qū)動(dòng)OpenAI采用性能增強(qiáng)的AI芯片、更多芯片數(shù)量的算力集群、增長訓(xùn)練時(shí)間。各大模型廠商紛紛囤積AI芯片用于模型訓(xùn)練。Meta

CEO扎克伯格表示2024年底Meta將擁有35萬塊H100，擁有近60萬個(gè)GPU等效算力；根據(jù)The

information預(yù)測，截至2024Q1，OpenAI用于模型訓(xùn)練的服務(wù)器集群約包括12萬個(gè)英偉達(dá)A100，而2024年全年的訓(xùn)練成本（包括支付數(shù)據(jù)的費(fèi)用）可能由原先最早計(jì)劃的8億美元增至30億美元。圖表5：OpenAI

GPT-4的訓(xùn)練算力需求相較GPT-3大幅增加參數(shù)量Tokens數(shù)據(jù)規(guī)模FLOPS訓(xùn)練芯片型號芯片數(shù)量訓(xùn)練時(shí)長(B)(B)(GB)（天）GPT-417601300050002.15

e25A1002500095GPT-31753005703.14

e23V1001000015請務(wù)必參閱正文之后的重要聲明10需求：RL+CoT推動(dòng)AI

Agent，疊加多模態(tài)推動(dòng)推理算力大幅提升RL+CoT

對于實(shí)現(xiàn)能自主規(guī)劃的

AI

Agent

至關(guān)重要。

AI

Agent應(yīng)當(dāng)擁有自主理解、規(guī)劃和執(zhí)行復(fù)雜任務(wù)的能力，是打破AI應(yīng)用發(fā)展瓶頸的關(guān)鍵，可以將簡單的指令自主拆分成多個(gè)步驟并精細(xì)化執(zhí)行，將上一環(huán)節(jié)的輸出作為下一環(huán)節(jié)的輸入。強(qiáng)化學(xué)習(xí)（RL）具備自主探索和連續(xù)決策的能力。其中包括self-play和蒙特卡洛樹搜索（MCTS）。思維鏈（CoT）通過分步推理，要求模型在生成最終答案前生成一系列中間推理步驟，實(shí)現(xiàn)“內(nèi)部思維”的推理過程。強(qiáng)化學(xué)習(xí)推理推出測試維度Scaling

Law，提升推理算力需求。強(qiáng)化學(xué)習(xí)范式使得推理過程包含多次推理迭代、更加復(fù)雜的搜索算法或模型的深度思考，因此推理中的思考時(shí)間（即測試時(shí)間）產(chǎn)生的數(shù)據(jù)量需要投入更多計(jì)算資源。圖表6：o1在AIEM測試中的準(zhǔn)確率與“訓(xùn)練時(shí)間計(jì)算”和“測試時(shí)間計(jì)算”呈正比資料來源：華爾街見聞，光大證券研究所請務(wù)必參閱正文之后的重要聲明11資料來源：論文《

The

Illustrated

Transformer

》（作者Jay

Alammar），《Enhancing

Jujube

Forest

Growth

Estimation

andDisease

Detection

Using

a

Novel

Diffusion-Transformer

Architecture》（作者Xiangyi

Hu），Creative

Commons，21經(jīng)濟(jì)，光大證券研究所整理繪制圖表7：各模態(tài)切片匯總，音頻、圖片、視頻切片后對應(yīng)的Tokens數(shù)相較文字大幅增加多模態(tài)大模型輸入輸出Tokens規(guī)模較純文本數(shù)據(jù)大幅提升。圖片和視頻形式需要矩陣級分割成Tokens。RL+COT帶來測試維度Scaling

Law，多模態(tài)要求推理階段更多Tokens輸入輸出，均驅(qū)動(dòng)推理算力需求大幅上升，但不代表訓(xùn)練算力需求會停止增長。1）AI

Agent和多模態(tài)要求新模型持續(xù)研發(fā)；2）預(yù)訓(xùn)練階段同樣需要消耗大量的算力；3）強(qiáng)化學(xué)習(xí)推理和多模態(tài)大模型均并不意味著模型參數(shù)停止擴(kuò)張，因?yàn)橹髂Ｐ蛥?shù)提升可能會產(chǎn)生更好的推理路徑和表現(xiàn)。需求：RL+CoT推動(dòng)AI

Agent，疊加多模態(tài)推動(dòng)推理算力大幅提升請務(wù)必參閱正文之后的重要聲明12需求：英偉達(dá)未到“思科時(shí)刻”，跟蹤客戶訂單和資本開支計(jì)劃資料來源：鳳凰網(wǎng)，英偉達(dá)官網(wǎng)，投資界，光大證券研究所整理宏觀背景①突發(fā)事件的宏觀擾動(dòng)（2020年的新冠/2022年2月的俄烏戰(zhàn)爭

vs

1990年的海灣戰(zhàn)爭/1997年的亞洲金融危機(jī)）②新政府的財(cái)政刺激（2022年拜登政府的“芯片法案”

vs

1993年克林頓政府的“信息高速公路計(jì)劃”）③降息周期的寬松環(huán)境（2024年底開啟的降息周期

vs

1990年至1999年的階梯式降息長周期）④經(jīng)濟(jì)軟著陸后的需求回歸（2024年的經(jīng)濟(jì)軟著陸

vs

1994年的經(jīng)濟(jì)軟著陸）中觀背景①新技術(shù)迭代（大模型

vs

萬維網(wǎng)）②“賣鏟”公司壟斷（2023年英偉達(dá)的GPU

vs

1993年思科的路由器/交換機(jī)

）③標(biāo)志應(yīng)用的推出（2023年ChatGPT

vs

1995年Netscape

）行業(yè)需求英偉達(dá)下游AI初創(chuàng)公司及云廠商的大量資本開支明確用于AI基礎(chǔ)設(shè)施建設(shè)，AI芯片獲取直接決定下游公司產(chǎn)品迭代速度，行業(yè)實(shí)際需求強(qiáng)勁。大量互聯(lián)網(wǎng)公司資金大量投入廣告和推廣而非產(chǎn)品和技術(shù)投入，需求泡沫堆積，缺乏更新?lián)Q代動(dòng)力，基礎(chǔ)設(shè)施建設(shè)完成后需求迅速下降?？蛻舴植糀I初創(chuàng)及云服務(wù)大客戶資本充裕穩(wěn)定，下游客戶領(lǐng)域仍在多元擴(kuò)展：主權(quán)AI、垂直大模型、跨行業(yè)應(yīng)用方興未艾。 客戶集中于有線電視和電信行業(yè)，存在資本支出周期。行業(yè)競爭壁壘AI芯片技術(shù)、資金壁壘高，創(chuàng)新難度大，龍頭企業(yè)先發(fā)優(yōu)勢和經(jīng)驗(yàn)積累優(yōu)勢明顯，不易受挑戰(zhàn)者沖擊。交換機(jī)和路由器技術(shù)壁壘相對較低，思科受到華為等后發(fā)競爭對手在價(jià)格和性能上的威脅，迅速失去市場份額。短期需求各主要客戶陸續(xù)披露資本開支計(jì)劃和芯片需求，短期需求可見度高，強(qiáng)勁需求趨勢延

2000年前思科戰(zhàn)略決策已經(jīng)呈現(xiàn)過度擴(kuò)張趨勢，大量囤積庫存、瘋狂收購、擴(kuò)續(xù)。 張產(chǎn)品線等策略埋下隱患。AI算力產(chǎn)業(yè)鏈相較互聯(lián)網(wǎng)時(shí)期的“思科泡沫”

，存在客戶積極研發(fā)投入、行業(yè)競爭壁壘高等優(yōu)勢。1）AI算力客戶群體（云廠商、AI初創(chuàng)公司）投入大量資本開支用于AI基礎(chǔ)設(shè)施建設(shè)，思科對應(yīng)的互聯(lián)網(wǎng)公司資金除產(chǎn)品技術(shù)投入外更多投入廣告宣傳；2）AI芯片技術(shù)和資金壁壘高，思科的路由器、網(wǎng)絡(luò)技術(shù)壁壘低，后期市場競爭激烈?！八伎婆菽本褢?yīng)緊密跟蹤AI算力需求和訂單變化，當(dāng)前英偉達(dá)Blackwell芯片訂單可見度高?；ヂ?lián)網(wǎng)泡沫破滅時(shí)，思科存在22億美元過剩庫存，因此應(yīng)短期監(jiān)控客戶訂單、中長期跟蹤下游客戶需求和資本開支計(jì)劃。圖表8：當(dāng)前英偉達(dá)和思科崩盤前的背景、行業(yè)和公司表現(xiàn)對比英偉達(dá) 思科請務(wù)必參閱正文之后的重要聲明13需求：北美科技巨頭資本支出持續(xù)增加，短期算力需求仍有支撐圖表10：科技公司資本支出占營運(yùn)現(xiàn)金流的比例變化趨勢資料來源：彭博，光大證券研究所整理，已排除自由現(xiàn)金流為負(fù)的年份和極端值，24E數(shù)據(jù)為彭博一致預(yù)期80%60%40%20%0%100%

140%120%2015 2016 2017 2018 2019 2020 2021微軟 亞馬遜

谷歌

Meta

特斯拉2022 2023 2024EOracle

100%圖表9：北美科技巨頭23Q1-24Q2資本支出與同比增速（單位：億美元）資料來源：各公司公告，光大證券研究所整理23Q123Q223Q323Q424Q124Q2微軟78.0107112115109.5190YoY23.8%23.0%69.7%69.1%40.4%77.57%谷歌62.968.980.6110120131YoY-35.7%0.9%10.7%45.1%90.8%90.13%Meta70.963.567.6796785YoY27.7%-18.0%-28.9%-14.4%-5.5%33.86%亞馬遜131104113133139169YoY-4.4%-26.2%-24.7%-14.2%6.1%62.50%北美科技公司陸續(xù)進(jìn)入新一輪AI投資周期，資本支出大幅增加，短期內(nèi)對高端AI芯片的需求仍較為強(qiáng)勁根據(jù)Omdia，23年微軟、Meta共計(jì)購買15萬張H100

GPU，谷歌、亞馬遜共計(jì)購買5萬張H100

GPU。由于谷歌、亞馬遜擁有自研AI芯片的儲備，對第三方芯片供應(yīng)商的依賴較弱，但隨著LLM性能迭代和用戶對AI服務(wù)的要求提升，當(dāng)前階段訓(xùn)練和推理均需要高性能GPU和大規(guī)模集群算力的支撐，幫助科技巨頭培養(yǎng)早期口碑、搶占市場先機(jī)。雖然科技巨頭仍有充足的營運(yùn)現(xiàn)金流支持資本開支持續(xù)增加，但仍面臨一定的成本壓力，長期AI投資策略可能發(fā)生變化從資本支出占營運(yùn)現(xiàn)金流的比例來看，利潤壓力較大的亞馬遜、Meta、Oracle大幅削減了資本支出的占比，谷歌資本支出占比無明顯變化，微軟、特斯拉資本支出占比均呈上升趨勢。而根據(jù)公司指引，2024年和2025年科技巨頭有望繼續(xù)增加資本支出，Meta則明確指出持續(xù)增加的投資會使2025年的折舊成本大幅提升。根據(jù)彭博一致預(yù)期，2024年科技巨頭資本支出占營運(yùn)現(xiàn)金流的比例將普遍達(dá)到40%以上。因此，在AI的投資回報(bào)率尚不明顯的現(xiàn)狀下，科技巨頭會更加重視AI戰(zhàn)略的性價(jià)比。請務(wù)必參閱正文之后的重要聲明14需求：云廠商注重AI產(chǎn)品創(chuàng)新，AI算力公司對長期增速表態(tài)樂觀資料來源：新浪財(cái)經(jīng)，南方財(cái)經(jīng)，BiaNews，華盛通，騰訊，智通財(cái)經(jīng)，芯智訊，光大證券研究所整理云廠商和OpenAI積極研發(fā)投入，產(chǎn)品創(chuàng)新和模型推理運(yùn)作將為主要工作負(fù)載。OpenAI表示2030年前預(yù)計(jì)累計(jì)投入2000億美元；云廠商方面更注重針對不同行業(yè)和客戶需要開發(fā)具備實(shí)用性、創(chuàng)新性的功能，激發(fā)客戶的購買和復(fù)用意愿。AI芯片廠商預(yù)計(jì)AI芯片市場規(guī)模長期維持較快復(fù)合增速。AMD預(yù)計(jì)2028年數(shù)據(jù)中心人工智能加速器市場規(guī)模將達(dá)到5000億美元（2023年~2028年期間的年均復(fù)合增速60%+）；英偉達(dá)和Dell科技預(yù)計(jì)數(shù)據(jù)中心由通用計(jì)算向加速計(jì)算轉(zhuǎn)型，帶來萬億級別數(shù)據(jù)中心市場空間。圖表11：各公司對AI算力產(chǎn)業(yè)鏈相關(guān)需求的表述與預(yù)期匯總請務(wù)必參閱正文之后的重要聲明15行業(yè)公司對于未來長期AI算力需求的表述AI大模型OpenAI預(yù)計(jì)2030年前累計(jì)花費(fèi)2000億美元，其中60%-80%將用于訓(xùn)練和運(yùn)行模型；2026年的大模型訓(xùn)練成本或提高至95億美元。云廠商MetaAI模型會針對不同行業(yè)和用戶進(jìn)行大量產(chǎn)品和應(yīng)用創(chuàng)新，具備更多實(shí)用性功能。新一代

Llama

模型的訓(xùn)練需求，資本支出將在2025年顯著增長，投入注重大模型訓(xùn)練、推理和業(yè)務(wù)支持。GoogleAI大模型正在整合基礎(chǔ)功能，未來的重點(diǎn)是基于這些功能構(gòu)建解決方案。Microsoft公司將在未來幾個(gè)季度繼續(xù)加大資本支出，以擴(kuò)展基礎(chǔ)設(shè)施建設(shè)。當(dāng)前大部分AI工作負(fù)載來自推理運(yùn)行工作。Amazon生成式AI仍處非常早期階段，公司已在AI領(lǐng)域?qū)崿F(xiàn)數(shù)十億美元收入，而需求增長仍非常顯著，看好AI未來持續(xù)發(fā)展。AI芯片英偉達(dá)未來幾年內(nèi)，總值達(dá)1萬億美元的數(shù)據(jù)中心將全部實(shí)現(xiàn)加速計(jì)算。當(dāng)前客戶對于Blackwell需求旺盛，供不應(yīng)求使得客戶關(guān)系緊張。AMD預(yù)計(jì)2023年~2028年數(shù)據(jù)中心人工智能加速器市場將以每年60%+的速度增長，2028年市場將增長至5000億美元。此前曾預(yù)計(jì)2027年市場規(guī)模達(dá)4000億美元。Marvell科技Marvell對應(yīng)的數(shù)據(jù)中心TAM將從2023年的210億美元增長至2028年的750億美元，年復(fù)合增長率29%。其中，預(yù)計(jì)ASIC加速計(jì)算芯片業(yè)務(wù)2028年市場規(guī)模將達(dá)429億美元。服務(wù)器Dell科技未來數(shù)據(jù)中心將更多轉(zhuǎn)向采用GPU和AI加速器以滿足對復(fù)雜AI工作負(fù)載的支持。請務(wù)必參閱正文之后的重要聲明16供給：AI芯片迭代助推算力成本下降，為推理側(cè)和應(yīng)用發(fā)展蓄力圖表12：已發(fā)布重點(diǎn)AI芯片情況匯總資料來源：英偉達(dá)官網(wǎng)，谷歌云官網(wǎng)，新浪財(cái)經(jīng)，芯智訊，IT之家，搜狐，TOP

CPU，新浪科技，36氪，信息化觀察網(wǎng)，hpcwire，icsmart，光大證券研究所整理圖表13：AI芯片算力成本出現(xiàn)下降趨勢資料來源：騰訊網(wǎng)，新浪財(cái)經(jīng)，光大證券研究所整理底層邏輯提升芯片性能以降低算力單位成本，進(jìn)而幫助AI為“推理”運(yùn)行服務(wù)。單芯片改善提升單顆芯片峰值算力。機(jī)架級改善基于芯片和網(wǎng)絡(luò)互聯(lián)的性能提升，GB200

NVL72相較等數(shù)量的

H100Tensor

Core

GPU，可為LLM推理工作負(fù)載提供30倍性能，同時(shí)將成本和能耗降低25倍，大幅降低單位算力成本。AI芯片廠商產(chǎn)品迭代加速，英偉達(dá)性能優(yōu)勢明顯。自2023年以來，英偉達(dá)、AMD和博通等AI芯片廠商均積極進(jìn)行產(chǎn)品迭代。性能提升幫助算力成本下降，降低AI應(yīng)用推理運(yùn)行門檻，幫助硬件和應(yīng)用形成正向循環(huán)。單芯片性能提升、算力集群整體運(yùn)行效率增強(qiáng)均幫助單位算力成本下降，有望促進(jìn)AI應(yīng)用和產(chǎn)品研發(fā)和使用，豐富的AI應(yīng)用則將為AI算力帶來持續(xù)需求。供給：產(chǎn)能瓶頸CoWoS和HBM的供給情況均在積極改善資料來源：TrendForce，光大證券研究所資料來源：格隆匯，新浪財(cái)經(jīng)，IT之家，TheElec，光大證券研究所整理公司CoWoS產(chǎn)能情況臺積電2024年底CoWoS月產(chǎn)能4萬片；2025年底CoWoS月產(chǎn)能預(yù)計(jì)爬升至8萬片。聯(lián)華電子2023年8月消息，英偉達(dá)打造非臺積電CoWoS供應(yīng)鏈，其中聯(lián)華電子將擴(kuò)充旗下硅中介層（silicon

interposer）產(chǎn)能，把月產(chǎn)能由3千片擴(kuò)增至1萬片。三星電子2024年4月消息，三星電子已經(jīng)成功拿下英偉達(dá)2.5D封裝訂單，提供Interposer（硅中介層和I-Cube先進(jìn)封裝產(chǎn)能，以補(bǔ)充臺積電CoWoS產(chǎn)能缺口。CoWoS：AI芯片擴(kuò)產(chǎn)瓶頸之一是CoWoS先進(jìn)封裝中的硅中介層(interposer)產(chǎn)能。1）臺積電克服土地和廠房等擴(kuò)產(chǎn)限制，2025年底CoWoS月產(chǎn)能預(yù)計(jì)由2024年底4萬片翻倍擴(kuò)至8萬片；2）英偉達(dá)積極擴(kuò)展非臺積電的CoWoS供應(yīng)鏈，吸納聯(lián)華電子和三星電子實(shí)現(xiàn)對臺積電的產(chǎn)能補(bǔ)充。HBM：根據(jù)TrendForce，英偉達(dá)和AMD的AI芯片積極提升搭載HBM規(guī)格，由HBM3向HBM3E更迭，由8層堆疊向12層堆疊更迭，并不斷提升HBM容量和內(nèi)存帶寬。圖表14：CoWoS供應(yīng)鏈的擴(kuò)產(chǎn)情況匯總 圖表15：英偉達(dá)和AMD

AI芯片采用HBM產(chǎn)品的規(guī)格情況預(yù)測請務(wù)必參閱正文之后的重要聲明17供給：12層HBM3E于2024H2量產(chǎn)，HBM42025年蓄勢待發(fā)圖表16：三大存儲廠商的HBM3E研發(fā)和供應(yīng)進(jìn)展資料來源：

TrendForce，光大證券研究所公司最新財(cái)報(bào)AI業(yè)務(wù)表述HBM擴(kuò)產(chǎn)計(jì)劃HBM產(chǎn)品迭代SK海力士1）24Q3

，

HBM營收環(huán)比增長70%，同比增長330%；

Q3中HBM銷售額占DRAM

的30%

，

預(yù)計(jì)Q4將實(shí)現(xiàn)40%。2）24Q3，eSSD營收環(huán)比增長20%，同比增長430%。）

2024

年

SK

海力士HBM產(chǎn)能預(yù)計(jì)翻倍；）

2024

年

SK

海力士HBM產(chǎn)能售罄，且2025年也基本售罄。1）

據(jù)Q3業(yè)績會，

12層HBM3E產(chǎn)品將于

2024Q4

出貨，

預(yù)計(jì)2025H1HBM3E12H將

占HBM3E總出貨量的50%；2

）

據(jù)

Q2

業(yè)績會

，

2024

年HBM3E將占HBM出貨量的50%3）

據(jù)Q2業(yè)績會，

2025年12層HBM3E將成為旗艦產(chǎn)品；4）

據(jù)Q2業(yè)績會，

2025H2推出12層堆疊HBM4。三星電子1）24Q2

，

HBM營收環(huán)比增長50%+；2

）

24Q2

，

服務(wù)器SSD營收環(huán)比增長約40%；3）

24Q3，

HBM3E營收占HBM總收入比重略高于10%，預(yù)計(jì)Q4將增至50%。HBM3E全面增產(chǎn)1）24Q1向客戶發(fā)送8層HBM3E樣品，24Q3正在量產(chǎn)8層和12層HBM3E產(chǎn)品；2）12層HBM3E已完成開發(fā)，目前已發(fā)送樣品并完成增產(chǎn)準(zhǔn)備，預(yù)計(jì)24H2根據(jù)客戶需求情況擴(kuò)大供應(yīng)；3

）

HBM4

按計(jì)劃研發(fā)，

預(yù)計(jì)

2025H2發(fā)布。美光科技2024年和2025年的HBM產(chǎn)品均已售罄，

且定價(jià)已確定-2024年3月，12層HBM3E產(chǎn)品送樣，并預(yù)計(jì)2025年大批量生產(chǎn)。請務(wù)必參閱正文之后的重要聲明18圖表17：三大存儲廠商的HBM產(chǎn)品的業(yè)績、產(chǎn)能和技術(shù)情況匯總資料來源：三星電子官網(wǎng)，美光科技官網(wǎng)，新浪財(cái)經(jīng)，新浪科技，理財(cái)網(wǎng)，華爾街見聞，光大證券研究所整理HBM供不應(yīng)求，三大存儲廠商積極擴(kuò)產(chǎn)，驅(qū)動(dòng)相關(guān)收入高增。美光表示其HBM產(chǎn)品2024年和2025年產(chǎn)能均已售罄，三大廠商均加大產(chǎn)能供給，2025年預(yù)計(jì)HBM出貨量持續(xù)高增以驅(qū)動(dòng)收入增長。存儲廠商競相推出新款HBM技術(shù)，并加速量產(chǎn)出貨。2024年HBM芯片將向HBM3E產(chǎn)品迭代，其中三大存儲廠商均發(fā)布8層HBM3E；三星和SK海力士于24Q3量產(chǎn)出貨12層HBM3E，美光科技將于2025年大批量出貨12層HBM3E；SK海力士和三星電子預(yù)計(jì)于2025H2推出HBM4。芯片：英偉達(dá)龍頭引領(lǐng)，產(chǎn)業(yè)鏈迎來ASIC和組網(wǎng)集群新紅利機(jī)遇英偉達(dá)：Blackwell交付順利，系統(tǒng)級機(jī)架出貨支撐2025年業(yè)績高增速AMD：MI325x注重推理，仍需關(guān)注集群算力產(chǎn)品和客戶拓展博通：大廠自研趨勢助推ASIC芯片業(yè)務(wù)，算力集群化利好通信業(yè)務(wù)臺積電：掌握先進(jìn)制程和先進(jìn)封裝優(yōu)勢，AI時(shí)代下“強(qiáng)者恒強(qiáng)”請務(wù)必參閱正文之后的重要聲明1920英偉達(dá)：股價(jià)歷史復(fù)盤，多輪業(yè)績超預(yù)期驅(qū)動(dòng)股價(jià)快速抬升請務(wù)必參閱正文之后的重要聲明資料來源：彭博，光大證券研究所繪制。注：股價(jià)截止日期為2024年12月11日英偉達(dá)股價(jià)可分成邏輯推演期和業(yè)績兌現(xiàn)期：1）邏輯推演期（23M1~23M5）：英偉達(dá)收割生成式AI算力紅利“鏟子”邏輯突出，市場預(yù)期AI算力需求強(qiáng)勁、英偉達(dá)手握大量確定性訂單；2）業(yè)績兌現(xiàn)期（23M5~至今）：

亮眼業(yè)績不斷推高盈利預(yù)測，進(jìn)而帶動(dòng)股價(jià)提升。業(yè)績驅(qū)動(dòng)股價(jià)：英偉達(dá)憑借其技術(shù)優(yōu)勢，奪得絕大部分AI

GPU市場份額，成為收獲AI算力紅利的主要受益公司。AI算力需求幫助英偉達(dá)數(shù)據(jù)中心業(yè)務(wù)營收高速增長，同時(shí)高價(jià)值量的AI

GPU幫助英偉達(dá)盈利能力爬升。根據(jù)股價(jià)拆分圖，盈利預(yù)期提升成為英偉達(dá)市值持續(xù)增長的主要原因。圖表18：英偉達(dá)強(qiáng)勁業(yè)績驅(qū)動(dòng)股價(jià)大幅抬升請務(wù)必參閱正文之后的重要聲明英偉達(dá)：發(fā)布超級芯片GB200，機(jī)架系統(tǒng)級性能和能效大幅提升圖表19：GB200超級芯片由2個(gè)B200

GPU和1個(gè)Grace

CPU組成B200

SXMH200

SXMH100

SXMA100(80GB)

SXMGPU

SubsystemHBM3eHBM3eHBM3HBM2eMemory

Bandwidth8TB/s4.8TB/s3.35TB/s2TB/sVRAM192GB(2*96GB)141GB80GB80GBFP8

Tensor

Core9000

TFLOPS3958

TFLOPS3958TFLOPS624TOPSFP16

Tensor

Core4500

TFLOPS1979TFLOPS1979TFLOPS312TFLOPSTF32

Tensor

Core2250

TFLOPS989TFLOPS989TFLOPS156TFLOPS(tensore

float)FP64

Tensor

Core40

TFLOPS67TFLOPS67TFLOPS19.5TFLOPSInterconnectNVLink

5:1800GB/sNVLink

4:

900GB/sNVLink

4:

900GB/sNVLink

3:

600

GB/sPCIe

Gen5:

256GB/sPCIe

Gen5:

128GB/sPCIe

Gen5:

128GB/sPCIe

Gen4:

64

GB/sTDP1000W700W700W400W資料來源：英偉達(dá)官網(wǎng)，光大證券研究所整理21圖表20：Blackwell平臺產(chǎn)品涉及GPU、CPU、網(wǎng)絡(luò)等多類產(chǎn)品資料來源：英偉達(dá)官網(wǎng) 資料來源：英偉達(dá)官方材料圖表21：英偉達(dá)AI芯片性能匯總，B200(SXM)單卡峰值算力提升至H200(SXM)的兩倍以上（除FP64精度）Blackwell全新架構(gòu)實(shí)現(xiàn)單卡芯片算力密度及峰值算力較上代

Hopper

躍升。Blackwell

GPU實(shí)現(xiàn)兩個(gè)GPU

die雙芯片堆疊，

晶體管數(shù)量較Hopper

GPU提升160%

，

B200

同精度的峰值算力也較H200均提升至少一倍（除FP64精度外）。弱化單獨(dú)GPU芯片，英偉達(dá)推出當(dāng)前最強(qiáng)AI

芯片GB200

。GB200

通過NVLink-C2C接口連接兩個(gè)

Blackwell GPU

和一個(gè)

Grace

CPU，GB200推理速度為H100的7倍，訓(xùn)練速度為H100的4倍（基于GPT-3模型）?；ヂ?lián)技術(shù)幫助GB200機(jī)架系統(tǒng)實(shí)現(xiàn)通信速度和整體性能的大幅提升。GB200還可擴(kuò)充

至機(jī)

架系

統(tǒng)

級

產(chǎn)

品

，

DGX

GB200NVL72機(jī)架通過18個(gè)NVLink

Switch芯片連接36個(gè)GB200，幫助Blackwell機(jī)架級系統(tǒng)推理性能較Hopper算力集群提升至30倍（基于GPT-MoE模型）。請務(wù)必參閱正文之后的重要聲明22英偉達(dá)自研通信芯片，實(shí)現(xiàn)通信能力持續(xù)增強(qiáng)。1）NVLink

5.0在B200上實(shí)現(xiàn)1.8TB/s的數(shù)據(jù)傳輸，較4.0提升一倍；2）NVLink

Switch是第一款機(jī)架級交換機(jī)芯片，能夠在無阻塞計(jì)算結(jié)構(gòu)中支持多達(dá)

576

個(gè)完全連接的

GPU。圖表22：英偉達(dá)、AMD和博通的芯片通信產(chǎn)品發(fā)布時(shí)間表資料來源：英偉達(dá)官網(wǎng)，騰訊云，搜狐，36氪，智東西，IThome，光大證券研究所整理繪制英偉達(dá)：自研通信芯片成為組建大規(guī)模算力集群系統(tǒng)的關(guān)鍵資料來源：英偉達(dá)官網(wǎng)，光大證券研究所整理NVLink和NVLink

Switch是英偉達(dá)創(chuàng)建無縫、高帶寬、多節(jié)點(diǎn)GPU集群的關(guān)鍵。NVLink

Switch互連技術(shù)幫助已連接的GPU共享計(jì)算結(jié)果，提高通信速度，降低集群損耗。NVLink

Switch可組建連接GB200

NVL72的GPU實(shí)現(xiàn)全通信連接，并可進(jìn)一步擴(kuò)展、最多連接576個(gè)GPU，從而形成高效的數(shù)據(jù)中心大小的GPU算力集群。圖表23：英偉達(dá)NVLink通信芯片歷次迭代產(chǎn)品性能匯總表請務(wù)必參閱正文之后的重要聲明232nd

Generation3rd

Generation4th

Generation5th

GenerationNVLink

bandwidth

per

GPU300GB/s600GB/s900GB/s1,800GB/sMaximum

Number

of

Links

per

GPU6121818Supported

NVIDIA

ArchitecturesNVIDIA

Volta?

architectureNVIDIA

Ampere

architectureNVIDIA

Hopper?

architectureNVIDIA

Blackwell

architectureFirst

GenerationSecond

GenerationThird

GenerationNVLink

SwitchNumberofGPUswithdirectconnection

within

a

NVLink

domainUp

to

8Up

to

8Up

to

8Up

to

576NVSwitch

GPU-to-GPU

bandwidth300GB/s600GB/s900GB/s1,800GB/sTotal

aggregate

bandwidth2.4TB/s4.8TB/s7.2TB/s1PB/sSupported

NVIDIA

architecturesNVIDIA

Volta?

architectureNVIDIA

Ampere

architectureNVIDIA

Hopper?

architectureNVIDIA

Blackwell

architecture資料來源：英偉達(dá)官網(wǎng)，光大證券研究所整理圖表24：英偉達(dá)NVLink

Switch通信芯片歷次迭代產(chǎn)品性能匯總表英偉達(dá)：自研通信芯片成為組建大規(guī)模算力集群系統(tǒng)的關(guān)鍵英偉達(dá)：GB200

NVL72等機(jī)架系統(tǒng)大幅強(qiáng)化新一代AI計(jì)算能力HGX

B200HGX

B100GPU組成8

x

B200

SXM8

x

B100

SXMFP4

Tensor

Core144

PFLOPS112

PFLOPSFP8/FP6

Tensor

Core72

PFLOPS56

PFLOPSINT8

Tensor

Core72

POPS56

POPSFP16/BF16

Tensor

Core36

PFLOPS28

PFLOPSTF32

Tensor

Core18

PFLOPS14

PFLOPSFP64

Tensor

Core320

TFLOPS240

TFLOPS存儲高達(dá)1.5TBNVIDIA

NVLinkNVLink

5.0NVIDIA

NVSwitchNVSwitch

4.0GPU間帶寬1.8

TB/s總聚合帶寬14.4

TB/s資料來源：英偉達(dá)官方，光大證券研究所資料來源：英偉達(dá)官網(wǎng)，光大證券研究所圖表26：英偉達(dá)GB200

NVL72和GB200

NVL36的機(jī)架內(nèi)部構(gòu)成和結(jié)構(gòu)圖表25：英偉達(dá)Blackwell系列服務(wù)器規(guī)格英偉達(dá)產(chǎn)品形態(tài)包括芯片、服務(wù)器和機(jī)架系統(tǒng)三個(gè)層級，存在依次組成構(gòu)建的關(guān)系。芯片級：英偉達(dá)官方當(dāng)前公布的芯片款式包括B100、B200和GB200三類，其中GB200由2個(gè)B200和1個(gè)CPU構(gòu)成；服務(wù)器級：8個(gè)B100或B200芯片組成對應(yīng)8卡服務(wù)器，GB200超級芯片服務(wù)器則配備兩個(gè)GB200超級芯片；機(jī)架系統(tǒng)：服務(wù)器通過機(jī)架式設(shè)計(jì)，可實(shí)現(xiàn)多個(gè)服務(wù)器連接形成更多GPU互連，例如72個(gè)GPU連接的GB200

NVL72。機(jī)架系統(tǒng)組成：1）GB200

NVL72：計(jì)算部分由18個(gè)GB200

服務(wù)器構(gòu)成（36個(gè)GB200超級芯片，即36個(gè)Grace

CPU+72個(gè)BlackwellGPU），中間通過9個(gè)NVLink

Switch

Tray實(shí)現(xiàn)通信共享；機(jī)架還可橫向拓展，如8個(gè)GB200

NVL

72機(jī)架可組成一個(gè)SuperPOD，創(chuàng)建一個(gè)576個(gè)GPU互連的大型算力集群。2）GB200

NVL36：單機(jī)柜形式，計(jì)算部分由9個(gè)GB200服務(wù)器構(gòu)成，其中機(jī)架上方放置5個(gè)、機(jī)架下方放置4個(gè)，中間通過9個(gè)NVLink

Switch

Tray連接。請務(wù)必參閱正文之后的重要聲明24圖表27：英偉達(dá)和AMD的AI軟件生態(tài)系統(tǒng)結(jié)構(gòu)圖英偉達(dá)：CUDA成為生態(tài)護(hù)城河，積極打造軟件配套服務(wù)圖表28：英偉達(dá)、AMD和Intel的AI軟件生態(tài)布局對比資料來源：AMD官網(wǎng)，HPCwire，騰訊云，光大證券研究所整理繪制資料來源：英偉達(dá)官網(wǎng)，AMD官網(wǎng)，光大證券研究所整理繪制請務(wù)必參閱正文之后的重要聲明25CUDA成英偉達(dá)生態(tài)護(hù)城河，AMD依賴遷移+開源追趕。英偉達(dá)CUDA具備豐富訓(xùn)練框架和強(qiáng)大算子庫，開發(fā)者使用粘性強(qiáng)。CUDA支持JAX、PaddlePaddle、MXNet、PyTorch

Geometric、DGL等深度學(xué)習(xí)框架，且CUDA-XAI軟件加速庫具備豐富的數(shù)學(xué)、數(shù)據(jù)處理、圖像視頻、通訊等庫，以及TensorRT、cuDNN兩個(gè)專門綁定英偉達(dá)GPU的深度學(xué)習(xí)核心庫。英偉達(dá)打造軟硬一體解決方案。1）DGX平臺，打造從硬件到軟件的企業(yè)級AI平臺；2）AI

Enterprise軟件套件，幫助客戶靈活部署、加速降本，提供包括NeMo、Riva、NIM容器式微服務(wù)等應(yīng)用。26請務(wù)必參閱正文之后的重要聲明資料來源：英偉達(dá)官網(wǎng)，AMD官網(wǎng)，光大證券研究所整理繪制；英偉達(dá)選取“Tensor

Core”，AMD選取“with

Structured

Sparsity”資料來源：新浪財(cái)經(jīng)，光大證券研究所整理AMD：MI325x注重推理，仍需關(guān)注集群算力產(chǎn)品和客戶拓展NVIDIA

B200NVIDIAH200

SXMAMD

MI325XAMD

MI300XMemory

Clock8Gbps

HBM3eHBM3e6

GHz

HBM3E5.2

GHz

HBM3MemoryBandwidth8TB/s4.8TB/s6

TB/s5.3

TB/sVRAM192GB(2*96GB)141GB256GB192GBFP8稀疏4500TFLOPS3958

TFLOPS5.22

PFLOPs5.22

PFLOPsFP16稀疏2250TFLOPS1979TFLOPS2.61

PFLOPs2.61

PFLOPsTF32稀疏1100TFLOPS989TFLOPS1.3

PFLOPs1.3

PFLOPsFP64稀疏40TFLOPS67TFLOPS81.7

TFLOPs81.7

TFLOPsInterconnectNVLink

5：1800G/sNVLin

4：900GB/sInfinity

Fabric：128GB/sInfinity

Fabric：128GB/sAMD

MI325x發(fā)布，公司注重提升內(nèi)存和推理性能。MI325x芯片采用MI300X相同的基本設(shè)計(jì)和CDNA

3

GPU架構(gòu)，但配備256GB

HBM3e內(nèi)存；注重推理性能，單顆MI325x在執(zhí)行Llama

3.1

70B等大模型的推理性能比英偉達(dá)H200快20%~40%，MI325X服務(wù)器在運(yùn)行Llama

3.1405B時(shí)，較英偉達(dá)HGX

H200推理性能可提高40%。而AMD指引2024年AI芯片收入由原先40億美元上調(diào)至45億美元，主要系MI300貢獻(xiàn)。AMD積極彌補(bǔ)通信和軟件生態(tài)短板。1）通信：使用Infinity

Fabric，并推出業(yè)界首款支持UEC超以太網(wǎng)聯(lián)盟的AI網(wǎng)卡Pensando

Pollara

400和性能翻倍提升的Pensando

Salina

400

DPU。2023年7月，微軟、Meta、AMD、博通等公司組建UEC，致力于建立AI時(shí)代下的超大型網(wǎng)絡(luò)標(biāo)準(zhǔn)。2）生態(tài)系統(tǒng)：AMD推出ROCm

6.2生態(tài)系統(tǒng)，平均推理/訓(xùn)練性能提高2.4倍。后續(xù)關(guān)注AMD的集群系統(tǒng)、軟件生態(tài)和客戶進(jìn)展。AI工作負(fù)載由訓(xùn)練向推理轉(zhuǎn)變，算力性能和軟件生態(tài)面臨的壁壘降低，但AMD仍較英偉達(dá)存在差距，我們建議關(guān)注后續(xù)進(jìn)展突破。1）英偉達(dá)已推出機(jī)架級系統(tǒng)，市場期待AMD的超大規(guī)模算力產(chǎn)品的推出；2）AMD積極推出通信產(chǎn)品，但實(shí)際可能較英偉達(dá)仍有差距，例如單顆MI325x訓(xùn)練Llama

2

7B的速度超過單顆英偉達(dá)H200，但8張MI325X訓(xùn)練Llama

2

70B的性能同英偉達(dá)HGX

H200相當(dāng)；3）客戶當(dāng)前以微軟為主，OpenAI、Meta、Cohere、xAI為其戰(zhàn)略合作伙伴，關(guān)注后續(xù)下單潛力。圖表29：英偉達(dá)和AMD新款A(yù)I芯片單芯片性能對比 圖表30：AMD公布后續(xù)AI芯片產(chǎn)品迭代路線圖資料來源：博通Hot

Chips

2024

PPT資料來源：博通投資者日PPT博通：大廠自研趨勢助推ASIC芯片業(yè)務(wù)，算力集群化利好通信業(yè)務(wù)定制芯片趨勢已來。相較英偉達(dá)等通用芯片，定制AI芯片ASIC具備低成本同時(shí)實(shí)現(xiàn)最大限度提高客戶關(guān)心性能的優(yōu)勢。博通當(dāng)前已具備四家重要ASIC客戶，分別為Google、Meta、字節(jié)跳動(dòng)和OpenAI，其中博通已幫助Google研發(fā)五代TPU芯片。通信成為組建大型算力集群的關(guān)鍵，博通以太網(wǎng)成為重要技術(shù)。GPU、網(wǎng)卡、內(nèi)存之間需要高速傳輸數(shù)據(jù)，業(yè)界發(fā)明RDMA技術(shù)，使網(wǎng)卡接管數(shù)據(jù)，在發(fā)送方和接收方的內(nèi)存間直接傳輸數(shù)據(jù)，從而繞過緩存和操作系統(tǒng)。英偉達(dá)主導(dǎo)的infiniband和以太網(wǎng)都支持RDMA，而博通以太網(wǎng)具備成本和開放生態(tài)優(yōu)勢，可供客戶組建大型算力系統(tǒng)時(shí)自由選擇軟硬組件。博通推出共同封裝光學(xué)器件（CPO）集成至ASIC芯片。共同封裝光學(xué)器件（CPO）這一新技術(shù)可提供功耗和成本領(lǐng)先優(yōu)勢，且顯著減少了系統(tǒng)延遲，并提高了數(shù)據(jù)傳輸速度、能效和頻寬。CPO技術(shù)已被使用在博通新一代的Tomahawk

5

Bailly交換機(jī)，目前博通在致力于開發(fā)硅光子學(xué)與共封裝光學(xué)器件的結(jié)合，以實(shí)現(xiàn)AI加速器ASIC芯片的進(jìn)一步升級。圖表31：博通發(fā)布集成在ASIC的硅光子學(xué)和共封裝光學(xué)器件（CPO）技術(shù) 圖表32：AI數(shù)據(jù)中心算力集群需網(wǎng)絡(luò)通信產(chǎn)品連接，博通通信產(chǎn)品覆蓋較為全面27請務(wù)必參閱正文之后的重要聲明圖表33：CoWoS-S和CoWoS-L的區(qū)別對比資料來源：老虎說芯，華爾街見聞，光大證券研究所整理資料來源：華爾街見聞臺積電：掌握先進(jìn)制程和先進(jìn)封裝優(yōu)勢，AI時(shí)代下“強(qiáng)者恒強(qiáng)”圖表34：臺積電公布代工制程工藝的技術(shù)演進(jìn)路線CoWoS-SCoWoS-L中介層硅中介層RDL中介層和LSI芯片尺寸和布線密度硅中介層尺寸受限，布線密度較低滿足更大尺寸需求，布線密度較高性能需求能夠支持更高的帶寬和更低的延遲滿足了性能和成本之間的平衡應(yīng)用場景主要用于需要極高性能和高密度互連的應(yīng)用，如HPC、AI加速器和高端服務(wù)器適用于兼顧性能和成本的應(yīng)用，如網(wǎng)絡(luò)設(shè)備、通信基站和某些高端消費(fèi)電子產(chǎn)品制造復(fù)雜性制造工藝復(fù)雜且對精度要求高，通常只在對性能要求極高且能夠承受較高制造成本的應(yīng)用中使用制造復(fù)雜度高于CoWoS-S，能夠?qū)崿F(xiàn)復(fù)雜系統(tǒng)集成的需求技術(shù)成熟度良率較高，目前高達(dá)99%良率偏低，目前約為90%AI芯片廠商為保證性能領(lǐng)先，均采取臺積電的先進(jìn)制程和先進(jìn)封裝工藝用于芯片生產(chǎn)，臺積電享受AI發(fā)展紅利。臺積電負(fù)責(zé)為英偉達(dá)、AMD和博通等AI芯片公司代工制造數(shù)據(jù)中心服務(wù)器端AI芯片，當(dāng)前其CoWoS先進(jìn)封裝產(chǎn)能已成AI芯片產(chǎn)能瓶頸。CoWoS-L成為英偉達(dá)Blackwell生產(chǎn)的關(guān)鍵。臺積電CoWoS-L較此前CoWoS-S技術(shù)，能夠幫助AI芯片實(shí)現(xiàn)更高布線密度和更大尺寸。3nm進(jìn)入量產(chǎn)階段，2nm工藝預(yù)計(jì)于2026年量產(chǎn)。臺積電先進(jìn)制程向2nm和3nm轉(zhuǎn)移，當(dāng)前服務(wù)器端AI芯片、手機(jī)芯片、PC芯片等下游客戶向3nm過渡，支撐起臺積電未來強(qiáng)勁業(yè)績表現(xiàn)。28請務(wù)必參閱正文之后的重要聲明服務(wù)器：未交付訂單金額持續(xù)增長，但短期盈利能力有所承壓全球AI服務(wù)器市場規(guī)模有望持續(xù)高增，市場競爭格局較為分散三大服務(wù)器廠商AI服務(wù)器營收&未交付訂單金額增長，印證行業(yè)高景氣AI服務(wù)器賽道競爭激烈，三大品牌服務(wù)器廠商短期盈利能力承壓請務(wù)必參閱正文之后的重要聲明29資料來源：Counterpoint，光大證券研究所整理資料來源：

Statista

，光大證券研究所整理314052678811520040608010012014020232024E2025E2026E2027E2028E（十億美元）AI服務(wù)器市場規(guī)模全球AI服務(wù)器市場規(guī)模有望持續(xù)高增，市場競爭格局較為分散受益于生成式AI的數(shù)據(jù)分析、訓(xùn)練、推理等多方面需求，AI服務(wù)器行業(yè)有望維持高景氣度。Statista研究數(shù)據(jù)顯示，2023年全球AI服務(wù)器市場規(guī)模為310億美元，預(yù)計(jì)2024年達(dá)到400億美元、2028年將達(dá)到1150億美元左右，2024-2028年間CAGR約30%。除云廠商委托ODM定制的AI服務(wù)器外，品牌服務(wù)器廠商DELL