電子行業(yè)深度研究報(bào)告：Scaling+law依然有效自研AI芯片后勁十足

證券研究報(bào)告電子2024年09月28日Scalinglaw依然有效，自研AI芯片后勁十足ooScalinglaw依然有效，AI自研應(yīng)需而生。ChatGPT掀起新一輪AI產(chǎn)業(yè)浪潮，預(yù)訓(xùn)練測(cè)Scalinglaw仍然有效，推理側(cè)Scalinglaw剛嶄露頭角，AI算力有望維持高增長(zhǎng)。全球科技龍頭紛紛想抓住此輪AI浪潮的發(fā)展機(jī)遇，資本開支快速增長(zhǎng)，但AI投入尚未得到明顯回報(bào)，置身于是否加碼AI投資的兩難境地，自研AI芯片具備降本增效、提高自身競(jìng)爭(zhēng)力等優(yōu)勢(shì)，AI自研應(yīng)需而生。o英偉達(dá)深耕AI產(chǎn)業(yè)十多載，在GPU/網(wǎng)絡(luò)/軟件三方面筑建深厚壁壘。英偉達(dá)抓住以深度學(xué)習(xí)、大模型為核心技術(shù)的AI技術(shù)變革機(jī)遇，針對(duì)AI模型的大規(guī)模并行計(jì)算需求，在GPU、高速互連領(lǐng)域深度布局。其中，單GPU節(jié)點(diǎn)算力憑借著在結(jié)構(gòu)、核心數(shù)等方面進(jìn)行能力提升，過往8年內(nèi)算力增長(zhǎng)超千倍；在高速互連領(lǐng)域，英偉達(dá)在片間、ScaleUp和ScaleOut網(wǎng)絡(luò)域均提出相應(yīng)解決方案。這些努力最終促使英偉達(dá)在AI系統(tǒng)領(lǐng)域構(gòu)建了深厚的護(hù)城河。若想取代甚至超越英偉達(dá)需要在AI加速器、高速互連等多方面取得突破。oAI產(chǎn)業(yè)群雄并起，自研AI有望提速。面對(duì)英偉達(dá)在AI算力領(lǐng)域的領(lǐng)導(dǎo)地位，以北美云廠商為首的科技企業(yè)，在算力芯片、高速互連等領(lǐng)域進(jìn)行前瞻布局。其中，在AI自研芯片領(lǐng)域，亞馬遜、微軟、Meta等超大規(guī)模AI客戶聯(lián)合Broadcom、Marvell等芯片廠商，加快AI芯片推出速度；在ScaleUp網(wǎng)絡(luò)，以AMD、博通為首的科技玩家，構(gòu)建UALink高速互連開放標(biāo)準(zhǔn)，提供了復(fù)制NVlink高速互連的路徑，聚合全產(chǎn)業(yè)資源，加速追趕NVlink。在ScaleOut網(wǎng)絡(luò)，以太網(wǎng)憑借著生態(tài)優(yōu)勢(shì)、齊備的產(chǎn)業(yè)鏈和較高的性價(jià)比，得到了亞馬遜、Meta、字節(jié)跳動(dòng)等科技巨頭們的青睞，超以太網(wǎng)聯(lián)盟和英偉達(dá)Spectrum-X平臺(tái)兩大陣營(yíng)均在該領(lǐng)域發(fā)力，推動(dòng)以太網(wǎng)AI網(wǎng)絡(luò)快速發(fā)展。未來基于以太網(wǎng)的AI網(wǎng)絡(luò)有望成為主流解決方案。隨著非英偉達(dá)陣營(yíng)在AI加速器、高速互連等領(lǐng)域不斷取得突破，AI自研方案有望加速落地。o投資建議：AI算力需求推動(dòng)AI服務(wù)器、高速交換機(jī)用PCB需求維持高增長(zhǎng)，相關(guān)公司有望深度受益。具體如下1）滬電股份：公司深耕北美客戶，AI業(yè)務(wù)加速放量，800G交換機(jī)有望與AI服務(wù)器共振向上。（2）生益電子：公司深耕數(shù)通板行業(yè)十多載，成功開發(fā)了包括亞馬遜在內(nèi)的多家服務(wù)器客戶，AI配套的主板及加速卡項(xiàng)目均已經(jīng)進(jìn)入量產(chǎn)階段；800G交換機(jī)產(chǎn)品已經(jīng)小批量交付，有望開始放量。（3）勝宏科技：公司前瞻布局HDI領(lǐng)域，AI多業(yè)務(wù)條線進(jìn)展順利，有望深度受益于AI服務(wù)器用HDI需求提升。證券分析師：證券分析師：熊翊宇證券分析師：耿琛證券分析師：岳陽聯(lián)系人：董邦宜行業(yè)基本數(shù)據(jù)行業(yè)基本數(shù)據(jù)相對(duì)指數(shù)表現(xiàn)5.5%5.5%-0.4%2023-09-27~2024-09-2711%-1%2023-09-27~2024-09-2711%-1%o風(fēng)險(xiǎn)提示：o風(fēng)險(xiǎn)提示：AI產(chǎn)業(yè)發(fā)展不及預(yù)期、行業(yè)競(jìng)爭(zhēng)格局加劇、產(chǎn)品導(dǎo)入不及預(yù)期、新技術(shù)迭代風(fēng)險(xiǎn)、原材料價(jià)格大幅上漲。-12%23/0923/1224/0224/0524/0724/09-24%-24%——電子——滬深300重點(diǎn)公司盈利預(yù)測(cè)、估值及投資評(píng)級(jí)重點(diǎn)公司盈利預(yù)測(cè)、估值及投資評(píng)級(jí)《消費(fèi)電子行業(yè)重大事項(xiàng)點(diǎn)評(píng)：國(guó)內(nèi)外大廠加速資料來源：Wind，華創(chuàng)證券預(yù)測(cè)注：股價(jià)為2024年9月27資料來源：Wind，華創(chuàng)證券預(yù)測(cè)注：股價(jià)為2024年9月27日收盤價(jià)《消費(fèi)電子行業(yè)深度研究報(bào)告：潛望式鏡頭引領(lǐng)證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)AI技術(shù)底層原理解構(gòu)，揭開AI算力基礎(chǔ)設(shè)施面紗。本文梳理了AI技術(shù)的演進(jìn)趨勢(shì)，揭示了AI算力本質(zhì)上是一種大規(guī)模并行計(jì)算，并通過對(duì)英偉達(dá)在GPU/高速互連領(lǐng)域的布局進(jìn)行解構(gòu)，指出了AI算力硬件產(chǎn)品的升級(jí)迭代的方向。AI產(chǎn)業(yè)群雄并起，AI自研有望提速。本文指出了頭部科技企業(yè)面臨是否加碼AI基礎(chǔ)設(shè)施的兩難境遇，AI自研應(yīng)需而生。通過AI頭部玩家在AI加速器、高速互連領(lǐng)域布局的分析，與前文AI算力需求、英偉達(dá)AI產(chǎn)業(yè)布局遙相呼應(yīng)，可以看出AI自研逐步走上正軌，有望迎來快速發(fā)展期。AI產(chǎn)業(yè)快速發(fā)展，有望推動(dòng)數(shù)通板行業(yè)迎來量?jī)r(jià)齊升。本文從AI技術(shù)底層原理出發(fā)，對(duì)AI產(chǎn)業(yè)頭部玩家英偉達(dá)進(jìn)行解構(gòu)，分析非英偉達(dá)陣營(yíng)在AI產(chǎn)業(yè)的進(jìn)展，結(jié)合當(dāng)前科技企業(yè)的境遇，推斷出AI自研芯片有望迎來快速增長(zhǎng)黃金期，數(shù)通板行業(yè)有望迎來量?jī)r(jià)齊升，相關(guān)PCB企業(yè)有望深度受益。證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)3 7 7（二）AI大模型掀起新一輪AI技術(shù)變 9 （一）GPU算力提升之路：微結(jié)構(gòu)提升或有望成為 （二）高速互連：構(gòu)建全系列高速互連系統(tǒng)，打 （三）以太網(wǎng)：以太網(wǎng)優(yōu)勢(shì)日益凸顯，加速?gòu)V泛部署于AI （一）滬電股份：AI業(yè)務(wù)加速放量，800G交換機(jī)有望與AI服務(wù)器共振向上 （二）生益電子：AI服務(wù)器大批量交付，800G交換 （三）勝宏科技：前瞻布局HDI領(lǐng)域，深度受益于AI服務(wù)器用HDI需求提升 證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào) 7 7 8 8 9圖表6芯片架構(gòu)設(shè)計(jì)三大目標(biāo)：帶寬（Bandwidth）、延時(shí)（Latency）和吞吐量（Throughput） 9 證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)5 證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)6 證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)提出了深度神經(jīng)網(wǎng)絡(luò)，掀起了基于深度學(xué)習(xí)的新一輪AI浪潮，奠定了大模型發(fā)展的基礎(chǔ)。深度學(xué)習(xí)興起的背景是計(jì)算能力的提高和大數(shù)據(jù)時(shí)代的到臨，能夠讓機(jī)器自動(dòng)地從原始數(shù)據(jù)中學(xué)習(xí)。從原始數(shù)據(jù)中提取高層次、抽象的特征是非常困難的。深度學(xué)習(xí)另辟蹊徑，讓計(jì)算機(jī)通過比較簡(jiǎn)單概念來構(gòu)建復(fù)雜的概念，能夠讓計(jì)算機(jī)從經(jīng)驗(yàn)和數(shù)據(jù)中得到提高的技術(shù)，在計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域取得了一定的成果。深度學(xué)習(xí)早期主要用于解決機(jī)器學(xué)習(xí)中的表示學(xué)習(xí)的問題，但是由于其強(qiáng)大的能力，逐漸被用于解決一些通用人工智能的問題，如推理、決策等，當(dāng)前主流的大模型技術(shù)本質(zhì)上是由深度學(xué)習(xí)的延伸發(fā)展而來的。資料來源：IanGoodfellowd等《DeepLearning》資料來源：IanGoodfellowd等《DeepLearning》深度學(xué)習(xí)訓(xùn)練、推理過程需要大量并行運(yùn)算。深度學(xué)習(xí)廣泛應(yīng)用的模型要是因?yàn)樯窠?jīng)網(wǎng)絡(luò)能夠使用反向誤差傳播算法，可以很好地解決貢獻(xiàn)度問題。深度學(xué)習(xí)狹義上就是很多層神經(jīng)網(wǎng)絡(luò)。深度神經(jīng)網(wǎng)絡(luò)通過訓(xùn)練以后用于推理任務(wù)，其中訓(xùn)練過程主要是讓模型通過輸入的數(shù)據(jù)不斷學(xué)習(xí)，即調(diào)整模型的參數(shù)，包含前向傳播和反向傳播2個(gè)過程；推理過程主要是指訓(xùn)練好的模型對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)測(cè)，僅包含前向傳播過程。證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)8資料來源：魯蔚征＆秦續(xù)業(yè)《Python數(shù)據(jù)科學(xué)加速》資料來源：魯蔚征＆秦續(xù)業(yè)《Python數(shù)據(jù)科學(xué)加速》GPU采用高度并行架構(gòu)，適用于深度學(xué)習(xí)大規(guī)模并應(yīng)用程序運(yùn)行中各類計(jì)算任務(wù)，需要很強(qiáng)的通用性；GPU可以更高效地處理務(wù)。從架構(gòu)上看，CPU與GPU主要存在幾大區(qū)別：（1）并行處理能力：CPU擁有較少的計(jì)算單元（ALU但是具有復(fù)雜的控制單元（Control擅長(zhǎng)邏輯控制和串行計(jì)算。GPU擁有大量的計(jì)算單元（ALU）和線程（Thread大量ALU可以實(shí)現(xiàn)大的計(jì)算吞吐量，超配線程可以同時(shí)處理（2）內(nèi)存架構(gòu)：CPU擁有較大的Cache，可以緩存大量后續(xù)可能需要訪問的數(shù)據(jù)，多的線程服務(wù)的，如果有很多線程需要訪問一個(gè)相同的數(shù)據(jù)，緩存會(huì)合并訪問特性，其功耗通常相對(duì)較高，需要更好的散熱系統(tǒng)來保證穩(wěn)定運(yùn)證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)同的目標(biāo)。GPU的設(shè)計(jì)目標(biāo)是最大化吞吐量，相比單個(gè)任務(wù)執(zhí)行的速度，其更務(wù)。CPU以序列化地方式處理任務(wù)，其目標(biāo)任務(wù)之間快速切換的能力。起新一輪AI浪潮，算法、算力和數(shù)據(jù)三大要素協(xié)同迭代，推動(dòng)AI模型能力不斷提在過去十多年時(shí)間里，受限于摩爾定律，CPU/GPU/TPU等處理器的算力增長(zhǎng)速度遠(yuǎn)不及AI算力需求增長(zhǎng)速度。面對(duì)迅速增長(zhǎng)的AI算力需求，大規(guī)模分布式計(jì)算能夠的任務(wù)分解到單個(gè)處理器上，用以解決單芯片性能不足的問題。未來隨著大模型的廣泛證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)資料來源：麥絡(luò)等《機(jī)器學(xué)習(xí)系統(tǒng)：設(shè)計(jì)與實(shí)現(xiàn)》資料來源：麥洛等《機(jī)器學(xué)習(xí)系統(tǒng)：設(shè)計(jì)和實(shí)現(xiàn)》（1）數(shù)據(jù)并行：數(shù)據(jù)并行可以解決單節(jié)點(diǎn)算力不足的問題。該并行方式使用多個(gè)并行設(shè)備來加速訓(xùn)練，每個(gè)設(shè)備上部署相同的模型，將訓(xùn)練數(shù)據(jù)劃分到不同設(shè)備上。各設(shè)備利用本地訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，完成前向傳播和反向傳播。在反向傳播過程中，不同設(shè)備上的模型會(huì)生成局部梯度，需要對(duì)不同設(shè)備上相對(duì)應(yīng)的局部梯度進(jìn)行聚合，計(jì)算平均梯度，然后利用平均梯度更新模型參數(shù)，從而確保各設(shè)備上模型的參數(shù)是一致的。該聚合過程往往由集合通信AllReduce操作完成，通信的數(shù)據(jù)量規(guī)模和模型參數(shù)規(guī)模成正比，（2）流水線并行：深度神經(jīng)網(wǎng)絡(luò)由多層神經(jīng)網(wǎng)絡(luò)組成，大模型廣泛采用模型架構(gòu)也是如此。流水線并行是將多層神經(jīng)網(wǎng)絡(luò)切分成多個(gè)階段，再把不同階段映射到不同設(shè)備上，使得不同設(shè)備去計(jì)算神經(jīng)網(wǎng)絡(luò)的不同部分。正向傳播時(shí)，每個(gè)階段的計(jì)算節(jié)點(diǎn)完成計(jì)算之后將結(jié)果傳送到下一階段的計(jì)算節(jié)點(diǎn)，同時(shí)，下一階段的計(jì)算節(jié)點(diǎn)接收上一階段計(jì)算節(jié)點(diǎn)的結(jié)果并開始計(jì)算；反向傳播時(shí)，當(dāng)最后一個(gè)計(jì)算節(jié)點(diǎn)的梯度算完以后，將結(jié)果發(fā)送給上一階段計(jì)算節(jié)點(diǎn)，同時(shí)，上一階段計(jì)算節(jié)點(diǎn)接收最后一個(gè)階段計(jì)證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)算節(jié)點(diǎn)梯度的結(jié)果，并進(jìn)行本階段的梯度計(jì)算，然后繼續(xù)往前傳播。該并行策略讓每個(gè)設(shè)備只需計(jì)算模型的一部分，可以解決單計(jì)算節(jié)點(diǎn)內(nèi)存不足的問題，不過其需要不同計(jì)算節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)傳輸，傳輸?shù)膬?nèi)容包括正向計(jì)算的激活值和反向計(jì)算的梯度值。這種通信在一個(gè)迭代里至少會(huì)發(fā)生幾十次，但通信量一般不大，對(duì)網(wǎng)絡(luò)的性能要求相對(duì)較（3）張量并行：該并行方式是聯(lián)合多個(gè)計(jì)算節(jié)點(diǎn)同時(shí)做一個(gè)張量運(yùn)算，如：矩陣乘法。單個(gè)計(jì)算節(jié)點(diǎn)對(duì)局部的張量進(jìn)行計(jì)算，然后對(duì)多個(gè)計(jì)算節(jié)點(diǎn)做全局的張量計(jì)算結(jié)果的大小不僅和模型參數(shù)規(guī)模有關(guān)，還和訓(xùn)練使用的數(shù)據(jù)b常都非常大，并且在一次迭代里會(huì)發(fā)生很多AllReduce。因此，張量并行對(duì)網(wǎng)絡(luò)帶寬的資料來源：百度智能云開發(fā)者中心考慮三大并行策略的特點(diǎn)，在訓(xùn)練大模型時(shí)通?；旌喜捎萌N并行策略。首先，單節(jié)點(diǎn)寬通信能力。其次，當(dāng)模型過大時(shí)，超出了單節(jié)點(diǎn)的內(nèi)存空間，因此在多節(jié)點(diǎn)之間使用流水線并行策略。最后，為了進(jìn)一步加快模型訓(xùn)練速度資料來源：WenxueLi等《UnderstandingCommunicationcharacteristicsofdistributedtraining》證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)資料來源：百度智能云開發(fā)者中心證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)臺(tái)服務(wù)器通常包含多個(gè)加速器。為了方便管理，多臺(tái)服務(wù)器組成一個(gè)機(jī)柜，并通過架頂交換機(jī)進(jìn)行互連。在架頂交換機(jī)滿載的情況下，可以通過在架頂交換機(jī)間增加骨干交換機(jī)（SpineSwitch）進(jìn)一步接入新的機(jī)柜。最終，完成對(duì)成千上萬個(gè)加速器互連，利用上文所述的三種并行策略：張量并行、流水線并行和數(shù)據(jù)并行來提供大規(guī)模分布式AI算力，容納更大的模型和數(shù)據(jù)，加快訓(xùn)練和推理速度。在AI大模型訓(xùn)練過程中，前向計(jì)算、反向計(jì)算和通信占據(jù)了主要時(shí)間，因此為了加快訓(xùn)練速度需要在算力、運(yùn)力上同步進(jìn)行提升。資料來源：麥洛等《機(jī)器學(xué)習(xí)系統(tǒng)：設(shè)計(jì)和實(shí)現(xiàn)》資料來源：段曉東等《面向智算中心的新型以太網(wǎng)需求與關(guān)鍵技術(shù)》構(gòu)建了兩種類型的網(wǎng)絡(luò)：一種是NVLink總線域網(wǎng)絡(luò)，用于算力Sca是InfiniBand和Ethernet網(wǎng)絡(luò)，用于算力ScaleOut擴(kuò)展，其中基于InfiniBand的英偉達(dá)開發(fā)了以CUDA為核心的軟件架構(gòu)，與其硬件進(jìn)行配套使用，從而更好地發(fā)揮硬件的性能。英偉達(dá)憑借其在系統(tǒng)和網(wǎng)絡(luò)、硬件和軟件的全方位布局，使其在AI生態(tài)證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)進(jìn)和調(diào)整，引入了新的設(shè)計(jì)特性如：更好的調(diào)度和管理機(jī)制、更高效內(nèi)存訪問以及更多并行計(jì)算，理論上CUDACore越多，算力也就越強(qiáng)，因此在隨后的Kepler、Maxwell架方向發(fā)展；2017年，推出Volta架構(gòu)，新引入了TensorCore模塊，該模塊可實(shí)現(xiàn)混合精度計(jì)算，動(dòng)態(tài)調(diào)整算力，從而在保持準(zhǔn)確性和提供更強(qiáng)安全性的同時(shí)提高吞吐量。在隨Transformer引擎，可以顯著加快AI算力，用于應(yīng)對(duì)日益增加的模型參數(shù)。H100的NeMo框架創(chuàng)新相結(jié)合，可以加速大語言模型和專家混合模型的推理證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)個(gè)SM，SM支持ECCNVLink第一NVLink2.0，NVLink4.0，資料來源：Github，華創(chuàng)證券資料來源：英偉達(dá)官網(wǎng)資料來源：英偉達(dá)官網(wǎng)通過對(duì)英偉達(dá)歷代GPU發(fā)展歷程分析，我們可以知道其性能主要提升來自以下幾個(gè)方能提升2倍4）H100的時(shí)鐘頻率將性能提升1.3倍。究其背后的原因，我們認(rèn)為是隨證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)著深度學(xué)習(xí)成為AI的主流技術(shù)，Tran的基礎(chǔ)范式日漸趨于穩(wěn)定，從而可以在硬件層面上針對(duì)廣泛使用的算法進(jìn)行微架構(gòu)設(shè)推動(dòng)算力不斷提升。未來隨著AI技術(shù)逐步趨于成熟，相關(guān)架構(gòu)可能會(huì)趨于統(tǒng)一，屆時(shí)硬件層面上針對(duì)算法定制化設(shè)計(jì)或許是AI芯片算力提升的資料來源：英偉達(dá)官網(wǎng)資料來源：英偉達(dá)官網(wǎng)資料來源：英偉達(dá)官網(wǎng)單芯片算力和內(nèi)存有限，無法承載大模型，通過多種互連技術(shù)將多顆算力芯片互連在一業(yè)務(wù)網(wǎng)絡(luò)互連：承載的是諸如需要計(jì)算的輸入數(shù)據(jù)，輸出結(jié)果，以及在各類存儲(chǔ)系統(tǒng)中證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)的模型參數(shù)、checkpoint等。需要進(jìn)行極大范圍的互連，并且和云上的存儲(chǔ)、業(yè)務(wù)接口行（MoE）流量為主，有在網(wǎng)計(jì)算的需求（可以對(duì)Allreduce在Switch節(jié)點(diǎn)上進(jìn)行加速）。在一定規(guī)模內(nèi)互連，由于其對(duì)于性能的超高要求，采用專門設(shè)計(jì)的協(xié)議，比如NVIDIA的NVlink及NVSwitch技術(shù)，另外一個(gè)近期成立的協(xié)議Microsoft共同發(fā)起，目前在行業(yè)內(nèi)得到了資料來源：半導(dǎo)體行業(yè)觀察公眾號(hào)資料來源：半導(dǎo)體行業(yè)觀察公眾號(hào)，華創(chuàng)證券證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)作。然而，傳統(tǒng)的PCIe總線由于帶寬限制和延需求。2018年，英偉達(dá)推出了NVLink用于解決該資料來源：遠(yuǎn)川科技評(píng)論，轉(zhuǎn)引自與非網(wǎng)資料來源：遠(yuǎn)川科技評(píng)論，轉(zhuǎn)引自與非網(wǎng)NVLinkbandwidthMaximumNumberof46VoltaHopper資料來源：英偉達(dá)官網(wǎng)，華創(chuàng)證券（2）NVSwitch芯片：提高通信速度第一代NVSwitch與英偉達(dá)V100GPU和第二代NVLink一起推出，可以連接多個(gè)快計(jì)算過程。證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)圖表26H200八卡服務(wù)器配置4顆NVSwitch芯片資料來源：英偉達(dá)官網(wǎng)資料來源：英偉達(dá)《THENVLINK-NETWORKSWITCH:NVIDIA’SSWITCHCHIPFORHIGHCOMMUNICATION-BANDWIDTHSUPERPODS》，轉(zhuǎn)引自Hotchips官網(wǎng)NumberofGPUswithdirectconnectionwithinaNVLinkdomainUpto8Upto8Upto8NVSwitchGPU-TO-GPUbandwidthVoltaHopper資料來源：英偉達(dá)官網(wǎng)，華創(chuàng)證券以H200八卡服務(wù)器為例，如果不使用NVSwtich芯片，成本會(huì)降低一些，但是每個(gè)服務(wù)器中的每個(gè)GPU都能以900GB/s的速度與其他任何GPU同時(shí)進(jìn)行通信。NVSwitch是無阻塞的，使得GPU之間通信的峰值速率與通信的GPU數(shù)量無關(guān)。資料來源：英偉達(dá)官網(wǎng)資料來源：英偉達(dá)官網(wǎng)證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)248資料來源：英偉達(dá)官網(wǎng)，華創(chuàng)證券新，從而減少網(wǎng)絡(luò)數(shù)據(jù)包并提高計(jì)算性能。資料來源：英偉達(dá)《THENVLINK-NETWORKSWITCH:NVIDIA’SSWITCHCHIPFORHIGHCOMMUNICATION-BANDWIDTHSUPERPODS》，轉(zhuǎn)引自Hot資料來源：英偉達(dá)《THENVLINK-NETWORKSWITCH:NVIDIA’SSWITCHCHIPFORHIGHCOMMUNICATION-BANDWIDTHSUPERPODS》，轉(zhuǎn)引自Hot證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)架內(nèi)和多個(gè)機(jī)架間連接成NVLink網(wǎng)絡(luò)，可以解決GPU之間的高速通信帶寬過程中更改地址。資料來源：英偉達(dá)《THENVLINK-NETWORKSWITCH:NVIDIA’SSWITCHCHIPFORHIGHCOMMUNICATION-BANDWIDTHSUPERPODS》，轉(zhuǎn)引自Hotchip資料來源：英偉達(dá)《THENVLINK-NETWORKSWITCH:NVIDIA’SSWITCHCHIPFORHIGHCOMMUNICATION-BANDWIDTHSUPERPODS》，轉(zhuǎn)引自HotInfiniBand網(wǎng)絡(luò)和NVLink網(wǎng)絡(luò)是在高性能計(jì)算和數(shù)據(jù)中心應(yīng)用中使用的兩種不同的網(wǎng)架構(gòu)和設(shè)計(jì)：InfiniBand網(wǎng)絡(luò)是一種采用多通道、高速串行連接的開放標(biāo)準(zhǔn)網(wǎng)絡(luò)技術(shù)，應(yīng)用場(chǎng)景：InfiniBand網(wǎng)絡(luò)廣泛應(yīng)用于高性能計(jì)算集群和大規(guī)模數(shù)據(jù)中心，主要用于證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)帶寬和延遲：InfiniBand網(wǎng)絡(luò)提供高帶寬和低延遲的通信，提供更高的吞吐量和更短的NVLink網(wǎng)絡(luò)在訓(xùn)練大型語言模型或具有大型嵌入表的推薦系統(tǒng)時(shí)也能提供顯著的性能資料來源：英偉達(dá)《THENVLINK-NETWORKSWITCH:NVIDIA’SSWITCHCHIPFORHIGHCOMMUNICATION-BANDWIDTHSUPERPODS》，轉(zhuǎn)引自Hotc資料來源：英偉達(dá)《THENVLINK-NETWORKSWITCH:NVIDIA’SSWITCHCHIPFORHIGHCOMMUNICATION-BANDWIDTHSUPERPODS》，轉(zhuǎn)引自Hotc證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)資料來源：英偉達(dá)《THENVLINK-NETWORKSWITCH:NVIDIA’SSWITCHCHIPFORHIGHCOMMUNICATION-BANDWIDTHSUPERPODS》，轉(zhuǎn)引自Hotc（4）NVLinkC2C：CPU與GPU互連，大幅增加了GPU可用內(nèi)存容量2022年，推出NVIDIA?NVLink?-C2C，這是一種超快速的芯片到芯片、裸片到裸片致的互連，助力數(shù)據(jù)中心打造新一代的系統(tǒng)級(jí)集成。借助先進(jìn)的封裝技術(shù)，NVIDIA資料來源：英偉達(dá)官網(wǎng)內(nèi)存資源，包括LPDDR5X和HBM3。推理大型語言模型（LL長(zhǎng)的需求，內(nèi)存需求也隨之增加。為了解決內(nèi)存需求，可以擴(kuò)展到多個(gè)GPU或使用能會(huì)受到PCIe的瓶頸限制。NVIDIA的NVLink-C2C為HopperGPU提供了對(duì)證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)LPDDR5X內(nèi)存的高帶寬訪問，這顯著減少了張量卸載執(zhí)行時(shí)間，使得LLM的推理能夠以GPU的吞吐量進(jìn)行。根據(jù)性能模擬結(jié)果，當(dāng)批量大小為1時(shí)，配備HBM3的H100PCIeGPU。隨著批量大小的增加，推理所需的內(nèi)存量也在增加。在批量大小時(shí)，基于PCIe的推理解決方案性能下降，因?yàn)镻CIe成為主要瓶頸，而GH200的的吞吐量。資料來源：英偉達(dá)官網(wǎng)資料來源：英偉達(dá)官網(wǎng)資料來源：英偉達(dá)，轉(zhuǎn)引自hardwarezone證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)資料來源：英偉達(dá)官網(wǎng)資料來源：英偉達(dá)官網(wǎng)TB的快速內(nèi)存，應(yīng)用程序可以一致地訪問統(tǒng)一內(nèi)存空間。這簡(jiǎn)化了編程并滿足萬億參數(shù)LLM、多模態(tài)模型等大容量?jī)?nèi)存的需求。速內(nèi)存為240TB，能夠?qū)崿F(xiàn)更高性能的證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)資料來源：英偉達(dá)，轉(zhuǎn)引自hardwarezone資料來源：英偉達(dá)，轉(zhuǎn)引自hardwarezone量與傳統(tǒng)數(shù)據(jù)中心流量迥然不同，其具有超大流量、超低時(shí)延、零容忍丟包和嚴(yán)格時(shí)間同步等特點(diǎn)。傳統(tǒng)的傳輸控制協(xié)議/互聯(lián)網(wǎng)協(xié)議需要靠?jī)?nèi)核發(fā)送消息進(jìn)行網(wǎng)絡(luò)通信，在數(shù)據(jù)傳輸過程中存在較高的數(shù)據(jù)移動(dòng)和復(fù)制開銷，降低了數(shù)據(jù)傳輸效率。與之形成對(duì)比的RDMA協(xié)議能夠通過網(wǎng)絡(luò)接口訪問內(nèi)存數(shù)據(jù)，不經(jīng)過內(nèi)核，具有高吞吐、低延遲、資料來源：英偉達(dá)《NVIDIASpectrum-XNetworkPlatformArchitecture》資料來源：英偉達(dá)官網(wǎng)資料來源：華為官網(wǎng)資料來源：英偉達(dá)官網(wǎng)證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)RDMA主要包含3種協(xié)議：InfiniIB：專為高性能計(jì)算從鏈路層到傳輸層定制了全新的架構(gòu)，具備高帶寬、低延遲和無損以在數(shù)據(jù)中心中使用。RoCEv2是Ro制。RoCE在性能上較IB有所降低，但是其性價(jià)比更高，在一部署。不過，RoCEv2標(biāo)準(zhǔn)是UDP協(xié)議，雖然其效率比較高，但不具備類似TCP協(xié)議的重傳機(jī)制等來保障可靠傳輸，一旦出現(xiàn)丟包，必須依靠上層應(yīng)用發(fā)現(xiàn)后再做重傳，這性，但是大量TCP連接會(huì)耗費(fèi)很多的內(nèi)資料來源：唐宏等《生成式大模型承載網(wǎng)絡(luò)架構(gòu)與關(guān)鍵技術(shù)探索》總之，IB可以提供卓越的性能、低延遲高中低好差資料來源：華為官網(wǎng)，華創(chuàng)證券證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)英偉達(dá)一家獨(dú)大，產(chǎn)業(yè)巨頭并起而抗之。AI本質(zhì)上是一個(gè)并行計(jì)算的問題，提升單個(gè)節(jié)點(diǎn)的算力及構(gòu)建高速的互連系統(tǒng)是尤為關(guān)鍵。英偉達(dá)由于其早期布局GPU，及時(shí)地抓住了此輪以深度學(xué)習(xí)為技術(shù)代表的AI技術(shù)發(fā)展浪潮，其單個(gè)GP資料來源：FabricatedKnowledge中獲取更大的利益，促使英偉達(dá)AI算力卡呈現(xiàn)供不應(yīng)求的局面。面對(duì)緊缺的AI算品供應(yīng)、高昂的資本開支以及尚未見頂?shù)腁I算力需求，云廠商未雨綢繆、紛紛想把握住AI算力的主動(dòng)權(quán)，進(jìn)而在AI浪潮中取得更大的優(yōu)勢(shì)。以谷歌、博通、亞馬遜、AMD、微軟、Meta、Marvell等為首的北美科技巨頭企業(yè)，試圖在AI芯片、高速互連領(lǐng)域逐個(gè)對(duì)英偉達(dá)體系進(jìn)行突破，非英偉達(dá)體系的AI算力產(chǎn)業(yè)正在崛起，未來有望取得一定的市場(chǎng)份額。型的性能遵守Scalinglaw法則即證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)AmazonMicrosoftGoogleMetaYoY資料來源：Bloomberg，華創(chuàng)證券造自己的核心競(jìng)爭(zhēng)力，從而提高其在AI領(lǐng)域的話語權(quán)和影響力。在規(guī)模及成本等多種因素考量下，北美云廠商Google、AWS、Microsoft、Meta等有逐年擴(kuò)大采用自研高中高高高低資料來源：Trendforce，華創(chuàng)證券November,2023—————證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)———————————— AndesTechnology資料來源：Trendforce，華創(chuàng)證券資料來源：Broadcom《EnablingAIInfrastructure》業(yè)績(jī)說明會(huì)上表示，F(xiàn)Y2024Q3其定制AI加速器業(yè)務(wù)同比FY2025AI業(yè)務(wù)將保持強(qiáng)勁增長(zhǎng)；長(zhǎng)期來看，公司認(rèn)為其超大規(guī)?？蛻粲懈嗟腁I算上表示，AI定制芯片進(jìn)展順利，2顆芯片已經(jīng)進(jìn)入量產(chǎn)；鑒于公司AI業(yè)務(wù)在FY2025H1增長(zhǎng)強(qiáng)勁，F(xiàn)Y2025H2有望加速增長(zhǎng)，預(yù)計(jì)FY2025年AI業(yè)務(wù)收入將超過公證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)資料來源：Marvell《AcceleratedInfrastructurefortheAIEra》云廠商亞馬遜、Meta等持續(xù)擴(kuò)大自研ASIC，中國(guó)本土企業(yè)阿里巴極布局自主ASIC方案，促使ASIC服務(wù)器占整體AI服務(wù)器的占比在2024年預(yù)計(jì)提升100%80%60%40%20%0%120%100%80%60%40%20%0%23.6%23.6%24.1%24.1%25.3%25.3%3.1% 5.7%3.1%3.0%3.0%7.3%2.9%2.9%8.1%67.6%67.6%65.5%65.5%63.6%63.6%202220232024FNvidiaAMD（含Xilinx）Intel(含Altela)Others資料來源：Trendforce公眾號(hào)，華創(chuàng)證券科、Google、惠普、英特爾、Meta和微軟宣技術(shù)UALink（UltraAcceleratorLink建立AI加速器間高速低延遲的開放以打破英偉達(dá)NVlink的壟斷。UALink將通過以下方式提證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)l開放性和兼容性：UALink聯(lián)盟旨在創(chuàng)建一個(gè)開放的行業(yè)標(biāo)準(zhǔn)，允許多家公司為整資料來源：nextplatform官網(wǎng)對(duì)英偉達(dá)的依賴，已經(jīng)陸續(xù)推出AI自研芯片。UALink提供了一條復(fù)制NVLink和NVSwitch功能的途徑，可以促進(jìn)彼此之間芯片的進(jìn)度，逐步降低對(duì)英偉達(dá)的依賴程度。營(yíng)初步形成。以太網(wǎng)是IP網(wǎng)絡(luò)最成熟和主流的技術(shù)，被廣泛應(yīng)用于園區(qū)網(wǎng)絡(luò)、數(shù)據(jù)中心和云計(jì)算環(huán)境以及廣域網(wǎng)等場(chǎng)景，具備開放的生態(tài)系統(tǒng)，使用標(biāo)準(zhǔn)的以太網(wǎng)設(shè)備、線纜和接口卡等，具備性價(jià)比高，后期維護(hù)成本低等優(yōu)勢(shì)，然而其在延時(shí)、帶寬等方面遜求，并且能夠支持更大的域，頭部玩家正在使用以太網(wǎng)來構(gòu)建AI基礎(chǔ)設(shè)施，如：AWS將以太網(wǎng)用于其生成式AI基礎(chǔ)設(shè)施，為配證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)資料來源：Broadcom《EnablingAIInfrastructure》資料來源：Broadcom《EnablingAIInfrastructure》新一代AI以太網(wǎng)技術(shù)不僅保留了成本優(yōu)勢(shì)，還具備靈活性和開放性，并利用強(qiáng)大的以調(diào)度和高級(jí)擁塞控制等創(chuàng)新，滿足了AI應(yīng)用對(duì)高帶寬、低延遲和高可靠性的嚴(yán)苛要求，重塑了其在現(xiàn)代數(shù)據(jù)中心中的價(jià)值。隨著網(wǎng)絡(luò)設(shè)備商、AI芯片制造商以及互聯(lián)網(wǎng)企業(yè)證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)資料來源：IDC超以太網(wǎng)聯(lián)盟由AMD、Arista、博通、思科等硬件廠商以及微軟、Meta等云廠商牽頭絡(luò)吞吐量、降低延遲，增強(qiáng)網(wǎng)絡(luò)的可靠性和穩(wěn)定性，為人工智能和高性能計(jì)算等領(lǐng)域的發(fā)展提供更加堅(jiān)實(shí)的網(wǎng)絡(luò)基礎(chǔ)，同時(shí)保留以太網(wǎng)/IP生態(tài)系統(tǒng)的優(yōu)勢(shì)。UEC的目標(biāo)是提供一個(gè)完整的通信協(xié)議棧，解決跨越多個(gè)協(xié)議層的技術(shù)問題，并提供易于配置和管理的一個(gè)全面且令人信服的解決方案。資料來源：Broadcom、轉(zhuǎn)引自gaitpu機(jī)協(xié)同工作，并特別增強(qiáng)了數(shù)據(jù)中心環(huán)境中的GPU到GPU通信（也稱為東西量在擁塞控制、無損網(wǎng)絡(luò)和負(fù)載均衡方面進(jìn)行了優(yōu)化，使得其能支持加速計(jì)算的嚴(yán)基于遙測(cè)的擁塞控制：通過將高頻遙測(cè)探針與流量測(cè)量相結(jié)合，Spectrum-X擁塞控確保工作負(fù)載得到保護(hù)，并確保網(wǎng)絡(luò)提供性能隔離。這意味著各種類型的AI工作負(fù)載證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)可以同時(shí)在共享基礎(chǔ)設(shè)施上運(yùn)行，而不會(huì)對(duì)彼此性能產(chǎn)生負(fù)面無損網(wǎng)絡(luò)：Spectrum-X將配置網(wǎng)絡(luò)實(shí)現(xiàn)無損，從而尾延遲。尾延遲是指一組并行任務(wù)中速度最慢的任務(wù)所經(jīng)歷的延遲，這將決定操作的整體完成時(shí)間。動(dòng)態(tài)負(fù)載均衡：Spectrum-X使用細(xì)粒度動(dòng)態(tài)路由來最大限度地提高網(wǎng)絡(luò)利用以太網(wǎng)的最高有效帶寬。動(dòng)態(tài)路由通過在整個(gè)網(wǎng)絡(luò)中實(shí)現(xiàn)逐包負(fù)載均衡，避免了傳統(tǒng)以太網(wǎng)中靜態(tài)路由（等價(jià)多路徑，即ECMP）或flowlet路由的陷阱，而無需深度緩沖區(qū)或突發(fā)吸收。由于負(fù)載均衡意味著數(shù)據(jù)包可以亂序地到達(dá)目的地，NVIDIABlueField-3SuperNIC則確保重新排序數(shù)據(jù)包，并將其資料來源：英偉達(dá)官網(wǎng)證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)高性能、高可控以及低成本等特性，傳統(tǒng)品牌交換機(jī)不同設(shè)備廠商互通性偏低，網(wǎng)絡(luò)運(yùn)維難度大，管控不能統(tǒng)一，一旦發(fā)生錯(cuò)誤也很難實(shí)現(xiàn)快速定位，并且不利于未來的設(shè)備升級(jí)和功能擴(kuò)展。白盒交換機(jī)、裸機(jī)交換機(jī)以更低成本、更高開放性等優(yōu)勢(shì)，受到眾多大型云廠商的青睞，未來數(shù)據(jù)中心交換機(jī)有望進(jìn)一步白盒化、裸機(jī)化。其中，裸機(jī)交換機(jī)僅提供裸機(jī)交換機(jī)，白盒交換機(jī)提供裸機(jī)交換機(jī)和操作系統(tǒng)。裸機(jī)交換機(jī)相比白盒交換機(jī)更有成本優(yōu)勢(shì)，這一優(yōu)勢(shì)根本上是由售后服務(wù)剝離所帶來的，適用于海外數(shù)據(jù)中心高中低硬件組成統(tǒng)無否是是表資料來源：華經(jīng)情報(bào)網(wǎng)，億渡數(shù)據(jù)《2022年中國(guó)交換機(jī)行業(yè)短報(bào)告》，華創(chuàng)證券白盒交換機(jī)、ODM直銷交換機(jī)銷售額快速增長(zhǎng)，份額仍在提升。IDC數(shù)據(jù)顯示2024Q2年全球以太網(wǎng)交換機(jī)市場(chǎng)規(guī)模達(dá)到102億美元，同比-1中，數(shù)據(jù)中心部分市場(chǎng)收入同比+7.6%，環(huán)比+15.8%。白盒交換機(jī)代表廠商Ari網(wǎng)交換機(jī)2024Q2收入（其中90.2%來自數(shù)據(jù)中心）同比+12.4%，環(huán)比+7.0%，使該公機(jī)的市場(chǎng)份額逐步提高，后續(xù)或有望超過傳統(tǒng)交換機(jī)龍頭Cisco。ODM直銷交換機(jī)2024Q2收入同比+66.9%，占數(shù)據(jù)中心細(xì)分市場(chǎng)收入的19.1%，較2023年全年份額資料來源：IDC證監(jiān)會(huì)審核華創(chuàng)證券投資咨詢業(yè)務(wù)資格批文號(hào)：證監(jiān)許可（2009）1210號(hào)90.0%80.0%70.0%60.0%50.0%40.0%30.0%20.0%10.0%0.0%201220132014201520162017201820192020202120222023AristaCisco資料來源：CrehanResearch華創(chuàng)證券80.0%70.0%60.0%50.0%40.0%30.0%20.0%10.0%0.0%201220132014