科技前瞻專題：AI ASIC：算力芯片的下一篇章

SOUTHWESTSECURITIESSOUTHWESTSECURITIES科技前瞻專題西南證券研究發(fā)展中心海外研究團(tuán)隊投資邏輯耗，更低的成本；3）為AI工作負(fù)載定制的內(nèi)存和I/O架構(gòu)。隨著AI應(yīng)用的發(fā)展和生態(tài)逐步完善，AI算力集群特別并開始切入到部分訓(xùn)練環(huán)節(jié)。對照北美四大CSP的自研產(chǎn)品路線：Google的TPU出貨目前以v5產(chǎn)品為主，2025年將量產(chǎn)TPUv6；亞馬遜的ASIC產(chǎn)品包括Trainium和Inferentia，分別用于訓(xùn)練和推理環(huán)節(jié)求。泛的IP儲備可為其XPU產(chǎn)品線賦能。2）Marvell：全球一線ASIC廠商，其定制計算產(chǎn)品包括AI加速芯片，針對安全、NIC/DPU、風(fēng)險提示：AI產(chǎn)業(yè)發(fā)展不及預(yù)期的風(fēng)險；大型12ASIC與GPU的對比3北美四大CSP自研AIASIC4相關(guān)標(biāo)的21.1大型CSP加速資本支出北美四大北美四大CSP資本支出規(guī)模（億美元）1.2ASIC可適應(yīng)不同的業(yè)務(wù)場景和商業(yè)模式的需求大型CSP的業(yè)務(wù)模型、應(yīng)用場景等很多通過自身的云來承載，每個云承載了獨特的應(yīng)用和商業(yè)模型，包括內(nèi)部應(yīng)用（比如搜索引擎、社交媒體等）、SaaS服務(wù)（比如AI聊天機(jī)器人、CoASIC需要滿足不同業(yè)務(wù)/應(yīng)用的加速計算需求ASIC需要滿足不同業(yè)務(wù)/應(yīng)用的加速計算需求1.3訓(xùn)練和推理集群對加速計算芯片的需求算芯片的需求已提升到萬卡級別。隨萬卡級別指日可待。理集群的部署數(shù)量要遠(yuǎn)多于訓(xùn)練集群 ,推理集群的數(shù)量預(yù)計會達(dá)到百萬級別。AI算力集群特別是推理集群對加速計算芯片的龐大需求，是ASIC快速成長的核心驅(qū)動力。551.4ASIC市場規(guī)模預(yù)測據(jù)Marvell預(yù)測，2023年ASIC占數(shù)據(jù)中心加速計算芯片的16%，規(guī)模約為66億美元；隨著AI計算需求的增長，ASIC占比有望提升至25%，預(yù)計2028年數(shù)據(jù)中心ASIC市場規(guī)模將提升至429億美元，CAGR為45.4%。數(shù)據(jù)中心定制加速計算市場規(guī)模數(shù)據(jù)中心定制加速計算市場規(guī)模2ASIC與GPU的對比3北美四大CSP自研AIASIC4相關(guān)標(biāo)的72.1ASIC硬件性能：針對特定算法和應(yīng)用優(yōu)化設(shè)計，具有較高能效比ASIC針對特定算法和應(yīng)用進(jìn)行優(yōu)化設(shè)計，在特定任務(wù)上的計算能力強(qiáng)大，例如在某些AI深度學(xué)習(xí)算法中實現(xiàn)高效的矩陣運算和數(shù)據(jù)ASIC通常具有較高的能效比，因其硬件結(jié)構(gòu)是為特定任務(wù)定制的，能最大限度減少不必要的功耗。GPU由于其通用的設(shè)計架構(gòu)，在執(zhí)行特定任務(wù)時可能存在一些功耗浪費；但隨著技術(shù)的進(jìn)步，新一代GPU也在不斷提高能效比。ASIC在處理特定任務(wù)時，能實現(xiàn)高吞吐量，數(shù)據(jù)處理速度快，可快速完成大量的數(shù)據(jù)處理工作。GPU具有較高的帶寬和并行處理能ASIC在絕對算力和片間互聯(lián)方面普遍低于AIGPU，但ASIC的服務(wù)器間互聯(lián)由于采用以太網(wǎng)為主，具有通用性強(qiáng)、生態(tài)開放、低成本等優(yōu)勢。2.2ASIC的單位算力成本更低，滿足一定的降本需求ASIC的單位算力成本更低，滿足一定的降本需求。ASIC因其硬件結(jié)構(gòu)是為特定任務(wù)定制的，減少了很多針對通用加速計算的不必要的硬件設(shè)計，其單位算力成本相比GPU或更低。谷歌TPUv5、亞馬遜Trainium2的單位算力成本分別為英偉達(dá)H100的70%、60%2.3ASIC與GPU軟件生態(tài)對比得GPU在各種應(yīng)用場景中都能快速地進(jìn)行開發(fā)和部署。GPU軟件生態(tài)的劣勢：軟件生態(tài)在特定任務(wù)上的優(yōu)化程度可能不如ASIC。在一些對性能和功耗要求極高的特定場景中，需要進(jìn)行大量的優(yōu)化工作才能發(fā)揮出GPU的最佳性能。2.4ASIC以推理場景為主，并開始切入到部分訓(xùn)練環(huán)節(jié)ASIC也有開發(fā)周期長且靈活性差的劣勢，由于ASIC的設(shè)計和制造是針對特定算法和應(yīng)用場景進(jìn)行的，一旦設(shè)計完成其功能就固化下數(shù)據(jù)來源：西南證券整理2ASIC與GPU的對比3北美四大CSP自研AIASIC4相關(guān)標(biāo)的適合各種使用場景，例如聊天機(jī)器人、代碼生成、媒體內(nèi)容生成、合成現(xiàn)5萬卡線性加速。最新一代TPUv6Trillium預(yù)計2024H2推出，TPUv6FP16/BF16精度非稀疏算力可達(dá)926TFLOPS，約為H100、B100的93%、53%。相比TPUv5e，TPUv6能效高出67%，峰值性能高出3.7倍。谷歌TPU歷代產(chǎn)品性能谷歌TPU歷代產(chǎn)品性能3.1.1谷歌TPU算力集群能力,每64顆TPUv4芯片組成4x4x4的立方體，每個CPU配備4顆TPUv4，64顆TPUv4和16顆CPU放入一個機(jī)架，形成一個模塊。一個模塊有6個面的光路鏈接，每個面有16個鏈接，單模塊共有96個光路連接到OCS。為了提供3D環(huán)面的環(huán)繞鏈接，對面的鏈接必須連接到同一個OCS。每個模塊連接48個OCS（6×16÷2最終實現(xiàn)所需的4096個TPUv4芯片互聯(lián)。4x4x4的3D模塊結(jié)構(gòu)。64個機(jī)柜共同組成4096顆芯片規(guī)模的算力集群。TPU立方體與3個OCS的連接TPUv4封裝和算力集群數(shù)據(jù)來源：谷歌，《TPUv4:AnOpticallyReconfigurableSupercomputerforMachineLearningwithHardwareSupportforEmbeddings》，14西南證券整理3.1.2谷歌TPU基準(zhǔn)測試性能對比v4分別比A100和IPU快1.67倍和約4.5倍；運行MLPerf基準(zhǔn)測試時，A100的平均功耗比谷歌TPUv4數(shù)據(jù)來源：谷歌，《TPUv4:AnOpticallyReconfigurableSupercomputerforMachineLearningwithHardwareSupportforEmbeddings》，15西南證券整理3.1.3谷歌TPU迭代推動大模型訓(xùn)練效率顯著提升TPU的算力成本隨著產(chǎn)品更新迭代也在持續(xù)優(yōu)化。TPUv5e的相對性價比（TFLOPs/$）是TPUv4的2.3倍，參考谷歌披露的TPULLM的速度比TPUv4快2.8倍，利用第二代SparseCores，TPUv5p訓(xùn)練嵌入密集模型的速度比TPUv4快1.9倍。谷歌TPU迭代推動大模型訓(xùn)練效率的顯著提升谷歌TPU迭代推動大模型訓(xùn)練效率的顯著提升3.2.1亞馬遜自研AI芯片TrainiumAWSTrainium是AWS專門為超過1000億個參數(shù)模型的深度學(xué)習(xí)訓(xùn)練打造的機(jī)器學(xué)習(xí)芯片。自2020年以來，亞馬遜發(fā)布了兩代可節(jié)省高達(dá)50%的訓(xùn)練成本。Trainiu碼生成、問題解答、圖像和視頻生成、推薦和欺詐檢測等各種應(yīng)用程序。3.2.2亞馬遜自研AI芯片InferentiaAWSInferentia加速器由AWS設(shè)計，在AmazonEC2中以低成本為深度學(xué)習(xí)和生成式AI推理應(yīng)用程序提供高性能。第一代AWS總內(nèi)存增加了4倍，內(nèi)存帶寬增加了10倍；每個EC2Inf2實例最多有12個In3.2.3亞馬遜AWSNeuronAmazonEC2Trn1實例上進(jìn)行高性能訓(xùn)練。對于模型部署，它支持在基于AWSInferentia的AmazonEC2Inf可將基于GPU的實例遷移到AWSTranium中，客戶只要修改少量代碼即可實現(xiàn)海量數(shù)據(jù)訓(xùn)練，降低了訓(xùn)練成3.3微軟自研芯片Maia100片具有12倍400GbE的網(wǎng)絡(luò)帶寬，設(shè)計最大功耗700WTDP。超過英偉達(dá)A10028%，是英偉達(dá)H100的40%。3.3微軟自研芯片Maia100Maia100基于自定義的RoCE類協(xié)議和以太網(wǎng)互連，內(nèi)置AES-GCM加密引擎以保護(hù)用戶數(shù)據(jù)，網(wǎng)絡(luò)連接帶寬達(dá)到600GB/s。Maia3.3微軟自研芯片Maia100集成。該軟件棧提供了豐富而全面的庫、編譯器和工具，使數(shù)據(jù)科學(xué)家和開發(fā)人員能在Maia100上成功運行模型。微軟集成了會犧牲效率和針對AI工作負(fù)載的能力。Maia的SDK允許用戶將用PyTorch和Triton編寫3.4Meta自研芯片MTIA芯片架構(gòu)方面，MTIAv2內(nèi)部包含加速器、片上和片外存儲以及互聯(lián)結(jié)構(gòu)。AI加速器由8x8的處理單元網(wǎng)格（PE，processing 3.4Meta自研芯片MTIA3.4Meta自研芯片MTIA2ASIC與GPU的對比3北美四大CSP自研AIASIC4相關(guān)標(biāo)的4.1.1博通AI芯片業(yè)務(wù)目標(biāo)博通AI業(yè)務(wù)占比從2019年的低于5%提升至2023年的15%左右。根據(jù)公司的規(guī)劃，預(yù)計2024年實現(xiàn)超過100億美元的收入體量，占公司整體收入比例增長至35%。4.1.2博通廣泛的IP儲備為ASIC產(chǎn)品線賦能NICs、高端封裝、交換機(jī)、CPO、內(nèi)存等IP處于行業(yè)領(lǐng)先水平。博通在相關(guān)領(lǐng)域投入了30億美元研發(fā)費用。博通廣泛的IP儲備為XPU賦能博通廣泛的IP儲備為XPU賦能4.1.3博通利用XPU平臺和與客戶的深度戰(zhàn)略合作實現(xiàn)產(chǎn)品快速落地博通充分利用已經(jīng)布局完成的XPU平臺工程，實現(xiàn)了業(yè)界最快的ASIC產(chǎn)品落地時間。XPU平臺涵蓋了經(jīng)過10年XPU經(jīng)驗優(yōu)化的AI設(shè)計流程、AIIP、SoC封裝等一體化解決方案。ASIC產(chǎn)品設(shè)計階段耗費7-9個月的聯(lián)合開發(fā)時間，再用3個月左右的時間完成產(chǎn)品的生產(chǎn)和產(chǎn)能爬坡。博通與客戶在架構(gòu)階段就展開了深度的戰(zhàn)略合作。在XPU設(shè)計啟動的前幾年，完成了關(guān)鍵組件的早期IP投資；并且為后兩代XPU同時進(jìn)行技術(shù)、IP和封裝投資。4.1.4博通與客戶聯(lián)合開發(fā)多款不同復(fù)雜度的XPU隨著算力性能增長、網(wǎng)絡(luò)和內(nèi)存帶寬提升、對電力輸送、熱完整度、機(jī)械可靠性等要求了客戶對更復(fù)雜的XPU的需求。博通與多家大客戶一起聯(lián)合開發(fā)了十幾款XPU產(chǎn)品。博通與大客戶聯(lián)合開發(fā)了多款XPU博通與大客戶聯(lián)合開發(fā)了多款XPU4.1.5博通收入穩(wěn)步增長，利潤率顯著提升博通Non-GAAP凈利率從2019財年的41.8%提升至2023財年的51.3%。得益于利潤率的提升，博通2019-202潤年復(fù)合增速達(dá)14.4%。2024財年Non-GAAP凈利博通凈利潤（億美元）博通凈利潤（億美元）博通收入（億美元）博通收入（億美元）4.1.6半導(dǎo)體是博通最大業(yè)務(wù)，盈利能力逐年提升半導(dǎo)體解決方案是公司的最大業(yè)務(wù)，2023財年占據(jù)公司整體收入的78.7%；利潤率從2019財年的50%提升至2023年的58.5%。公司的基礎(chǔ)設(shè)施軟件業(yè)務(wù)占比不低于20%。其中，Vmware在2024年并表后顯著推高了該業(yè)博通基礎(chǔ)設(shè)施軟件收入（億美元）博通基礎(chǔ)設(shè)施軟件收入（億美元）博通半導(dǎo)體業(yè)務(wù)收入（億美元）博通半導(dǎo)體業(yè)務(wù)收入（億美元）4.2.2MarvellAI業(yè)務(wù)目標(biāo)Marvell的AI業(yè)務(wù)2023財年為2億美元左右。公司預(yù)計24-26財年加速AI業(yè)務(wù)（連接+定制化計算）收入從5.5億提升至25億美元。Marvell的數(shù)據(jù)中心業(yè)務(wù)TAM：根據(jù)Marvell預(yù)測，2023-2028年其數(shù)據(jù)中心業(yè)務(wù)TAM從210億美元增長至750億美元，CAGR為29%；其中，定制化加速計算TAM從66億美元增長至429億美元，CAGR為45%；交換機(jī)TAM從61億美元增長至120億美元，4.2.3Marvell的加速計算基礎(chǔ)設(shè)施平臺布局Marvell的加速計算基礎(chǔ)設(shè)施平臺涵蓋了“工藝制程-IP-封裝-專家”的布局。Marvell經(jīng)過多年對完整定制平臺的收購和重大投資，儲備了一大批世界級的IP，覆蓋模擬、數(shù)字、封裝等多個層面的知識產(chǎn)權(quán)。其中，Cavium擅長網(wǎng)絡(luò)加速計算，AveraSemi（原格芯子公司）擅長為各種應(yīng)用提供定制芯片解決方案和2.5D/3D封裝技術(shù)，Aquantia擅長網(wǎng)絡(luò)傳輸，Inphi擅長模擬、硅光和DSP技術(shù)，Innovium擅長數(shù)據(jù)中心交換機(jī)芯片技術(shù)（競品為博通的Trident和Tomahawk芯片）。4.2.4Marvell的定制計算產(chǎn)品線和主要客戶情況Marvell的定制計算產(chǎn)品包括AI加速芯片，針對安全、NIC/DPU、ARM計算、存儲、Marvell的客戶涵蓋美國3/4的大型CSP。Marvell為亞馬能爬坡階段。新介入的C客戶其AI加速器將于2026年產(chǎn)能爬坡。4.2.5Marvell業(yè)績彈性大，2025財年盈利逐季改善Marvell2021-2024財年Non-GAAP凈利潤年復(fù)合增速達(dá)31%。2025前三財季Non-GAAP凈利潤為8.5億美元，Non-GAAP凈利率從17.8%提升至24.6%。MarvellMarvell凈利潤（億美元）Marvell收入（億美元）Marvell收入（億美元）4.2.6受益于AI需求推動，數(shù)據(jù)中心業(yè)務(wù)比重超40%數(shù)據(jù)中心業(yè)務(wù)占據(jù)整體收入比重超40%。其他業(yè)務(wù)中，企業(yè)網(wǎng)絡(luò)收入2021-2024財年復(fù)合增速21.2%，2024財年占收入比重22%左右；基礎(chǔ)設(shè)施收入2021-2024財年復(fù)合增速23.2%，2024財年占收入比重19%左右；消費業(yè)務(wù)2024財年占收入比重11%左右；工業(yè)和汽車業(yè)務(wù)2021-2024財年占收入比重7%左右。Marvell分業(yè)務(wù)收入（億美元）Marvell分業(yè)務(wù)收入（億美元）風(fēng)險提示AI產(chǎn)業(yè)發(fā)展不及預(yù)期的風(fēng)險；互聯(lián)網(wǎng)科技企業(yè)資本支出不及預(yù)期的風(fēng)險；GPU競爭的風(fēng)險。執(zhí)業(yè)證號：S1250521120002電話箱：wxj@分析師：楊鎮(zhèn)宇執(zhí)業(yè)證號：S1250517090003電話,SOUTHWESTSECURITIES西南證券研究發(fā)展中心西南證券研究發(fā)展中心西南證券投資評級說明報告中投資建議所涉及的評級分為公司評級和行業(yè)評級（另有說明的除外）。評級標(biāo)準(zhǔn)為報告發(fā)布日后6個月內(nèi)的相對市場表現(xiàn)，即：以報告發(fā)布日后6個月內(nèi)公司股價（或行業(yè)指數(shù)）相對同期相關(guān)證券市場代表性指數(shù)的漲跌幅作為基準(zhǔn)。其中：A股市場以滬深300指數(shù)為基準(zhǔn)，新三板市場以三板成指（針對協(xié)議轉(zhuǎn)讓標(biāo)的）或三板做市指數(shù)（針對做市轉(zhuǎn)讓標(biāo)的）為基準(zhǔn)；香港市場以恒生指數(shù)為基準(zhǔn)；美國市場以納斯達(dá)克綜合指數(shù)或標(biāo)普500指數(shù)為基準(zhǔn)。公司評級買入：未來6個月內(nèi)，個股相對同期相關(guān)證券市場代表性指數(shù)漲幅在20%以上持有：未來6個月內(nèi)，個股相對同期相關(guān)證券市場代表性指數(shù)漲幅介于10%與20%之間中性：未來6個月內(nèi)，個股相對同期相關(guān)證券市場代表性指數(shù)漲幅介于-10%與10%之間回避：未來6個月內(nèi)，個股相對同期相關(guān)證券市場代表性指數(shù)漲幅介于-20%與-10%之間賣出：未來6個月內(nèi)，個股相對同期相關(guān)證券市場代表性指數(shù)漲幅在-20%以下行業(yè)評級強(qiáng)于大市：未來6個月內(nèi)，行業(yè)整體回報高于同期相關(guān)證券市場代表性指數(shù)5%以上跟隨大市：未來6個月內(nèi)，行業(yè)整體回報介于同期相關(guān)證券市場代表性指數(shù)-5%與5%之間弱于大市：未來6個月內(nèi)，行業(yè)整體回報低于同期相關(guān)證券市場代表性指數(shù)-5%以下分析師承諾報告署名分析師具有中國證券業(yè)協(xié)會授予的證券投資咨詢執(zhí)業(yè)資格并注冊為證券分析師，報告所采用的數(shù)據(jù)均來自合法合規(guī)渠道，分析邏輯基于分析師的職業(yè)理解，通過合理判斷得出結(jié)論獨立、客觀地出具本報告。分析師承諾不曾因，不因，也將不會因本報告中的具體推薦意見或觀點而直接或間接獲取任何形式的補(bǔ)償。重要聲明西南證券股份有限公司（以下簡稱“本公司”）具有中國證券監(jiān)督管理委員會核準(zhǔn)的證券投資咨詢業(yè)務(wù)資格。本公司與作者在自身所知情范圍內(nèi)，與本報告中所評價或推薦的證券不存在法律法規(guī)要求披露或采取限制、靜默措施的利益沖突。《證券期貨投資者適當(dāng)性管理辦法》于2017年7月1日起正式實施，本報告僅供本公司簽約客戶使用，若您并非本公司簽約客戶，為控制投資風(fēng)險，請取消接收、訂閱或使用本報告中的任何信息。本公司也不會因接收人收到、閱讀或關(guān)注自媒體推送本報告中的內(nèi)容而視其為客戶。本公司或關(guān)聯(lián)機(jī)構(gòu)可能會持有報告中提到的公司所發(fā)行的證券并進(jìn)行交易，還可能為這些公司提供或爭取提供投資銀行或財務(wù)顧問服務(wù)。本報告中的信息均來源于公開資料，本公司對這些信息的準(zhǔn)確性、完整性或可靠性不作任何保證。本報告所載的資料、意見及推測僅反映本公司于發(fā)布本報告當(dāng)日的判斷，本報告所指的證券或投資標(biāo)的的價格、價值及投資收入可升可跌，過往表現(xiàn)不應(yīng)作為日后的表現(xiàn)依據(jù)。在不同時期，本公司可發(fā)出與本報告所載資料、意見及推測不一致的報告，本公司不保證本報告所含信息保持在最新狀態(tài)。同時，本公司對本報告所含信息可在不發(fā)出通知的情形下做出修改，投資者應(yīng)當(dāng)自行關(guān)注相應(yīng)的更新或修改。本報告僅供參考之用，不構(gòu)成出售或購買證券或其他投資標(biāo)的要約或邀請。在任何情況下，本報告中的信息和意見均不構(gòu)成對任何個人的投資建議。投資者應(yīng)結(jié)合自己的投資目標(biāo)和財務(wù)狀況自行判斷是否采用本報告所載內(nèi)容和信息并自行承擔(dān)風(fēng)險，本公司及雇員對投資者使用本報告及其內(nèi)容而造成的一切后果不承擔(dān)任何法律責(zé)任。本報告刪節(jié)和修改。未經(jīng)授權(quán)刊載或者轉(zhuǎn)發(fā)本報告及附錄的，本公司將保留向其追究法律責(zé)任的權(quán)利。SOUTHWESTSECURITIES西南證券研究發(fā)展中心西南證券研究發(fā)展中心西南證券研究發(fā)展中心上海深圳地址：上海市浦東新區(qū)陸家嘴21世紀(jì)大廈10樓