ChatGPT芯片算力研究框架

價芯片需求算力需求爆發(fā)拉動芯片量價齊升光模塊和光芯片AI芯片（加速器）ChatGPT完美運行模型迭代Transformer技術(shù)算力需求增加量AI訓(xùn)練計算需求預(yù)計每3.5個月翻一番模型算法 訓(xùn)練數(shù)據(jù) 算力模型訓(xùn)練成本＞1200萬美元英偉達(dá)GPU

A100＞1萬顆芯片需求快速增加芯片均價大幅提升通過AI服務(wù)器實現(xiàn)GPUCPUFPGAAI光模塊資料來源：浙商證券研究所2摘要3ChatGPT熱潮席卷全球。ChatGPT（Chat

Generative

Pre-trained

Transformer）是由OpenAI于2022年12月推出的對話AI模型，一經(jīng)面世便受到廣泛關(guān)注，其2023年1月月活躍用戶達(dá)到1億，是史上月活用戶增長最快的消費者應(yīng)用。在問答模式的基礎(chǔ)上ChatGPT可以進(jìn)行推理、編寫代碼、文本創(chuàng)作等等，這樣的特殊優(yōu)勢和用戶體驗使得應(yīng)用場景流量大幅增加。1、▲芯片需求=量↑

x

價↑

，

AIGC拉動芯片產(chǎn)業(yè)量價齊升量：AIGC帶來的全新場景+原場景流量大幅提高。①

技術(shù)原理角度：ChatGPT基于Transformer技術(shù)，隨著模型不斷迭代，層數(shù)也越來越多，對算力的需求也就越來越大；②

運行條件角度：ChatGPT完美運行的三個條件：訓(xùn)練數(shù)據(jù)+模型算法+算力，需要在基礎(chǔ)模型上進(jìn)行大規(guī)模預(yù)訓(xùn)練，存儲知識的能力來源于1750億參數(shù)，需要大量算力。價：對高端芯片的需求將拉動芯片均價。采購一片英偉達(dá)頂級GPU成本為8萬元，GPU服務(wù)器成本通常超過40萬元。支撐ChatGPT的算力基礎(chǔ)設(shè)施至少需要上萬顆英偉達(dá)GPU

A100，高端芯片需求的快速增加會進(jìn)一步拉高芯片均價。2、ChatGPT的“背后英雄”：芯片，看好國內(nèi)GPU、CPU、FPGA、AI芯片及光模塊產(chǎn)業(yè)鏈GPU：支撐強大算力需求。由于具備并行計算能力，可兼容訓(xùn)練和推理，目前GPU被廣泛應(yīng)用于加速芯片?？春煤９庑畔?、景嘉微；CPU：可用于推理/預(yù)測。AI服務(wù)器利用CPU與加速芯片的組合可以滿足高吞吐量互聯(lián)的需求。看好龍芯中科、中國長城；FPGA：可通過深度學(xué)習(xí)+分布集群數(shù)據(jù)傳輸賦能大模型。FPGA具備靈活性高、開發(fā)周期短、低延時、并行計算等優(yōu)勢?？春冒猜房萍?、復(fù)旦微電、紫光國微；ASIC：極致性能和功耗表現(xiàn)。AI

ASIC芯片通常針對AI應(yīng)用專門設(shè)計了特定架構(gòu)，在功耗、可靠性和集成度上具有優(yōu)勢?？春煤浼o(jì)、瀾起科技；光模塊：容易被忽略的算力瓶頸。伴隨數(shù)據(jù)傳輸量的增長，光模塊作為數(shù)據(jù)中心內(nèi)設(shè)備互聯(lián)的載體，需求量隨之增長?？春玫驴屏?、天孚通信、中際旭創(chuàng)。風(fēng)險提示41、AI技術(shù)發(fā)展不及預(yù)期2、版權(quán)、倫理和監(jiān)管風(fēng)險3、半導(dǎo)體下游需求不及預(yù)期目錄C

O

N

T

E

N

T

SChatGPT帶動算力芯片量價齊升010203CPU、GPU、FPGA、AI芯片提供底層算力支持光模塊支撐數(shù)據(jù)傳輸5算力需求爆發(fā)拉動芯片量價齊升01AI計算需要各類芯片支撐算力需求爆發(fā)，芯片量價齊升AI服務(wù)器為算力載體CPU、GPU、FPGA、ASIC、光模塊各司其職6人工智能四層架構(gòu)，芯片為底層支撐7底層芯片深度學(xué)習(xí)框架大模型CPUGPUFPGA

ASIC百度：PaddlePaddleMeta：PyTorch谷歌：TensorFlow華為：MindSporeOpenAI：GPT3.5華為：盤古大模型AIGC上層應(yīng)用AI音樂：DeepMusicAI繪畫：盜夢師AI寫作：弈寫ChatGPT百度：文心大模型谷歌：PaLM01資料來源：瀾舟科技，IDC，量子位，電子發(fā)燒友等，浙商證券研究所人工智能不同計算任務(wù)需要各類芯片實現(xiàn)01資料來源：Huawei

forum，浙商證券研究所CPUGPUFPGAAI用ASIC通用性強，應(yīng)用方便性能更優(yōu)，能效更高強大的調(diào)度、管理、協(xié)調(diào)能力；應(yīng)用范圍廣開發(fā)方便靈活邏輯判斷任務(wù)調(diào)度與控制并行架構(gòu)計算單元多適合大量邏輯確定的重復(fù)計算模型訓(xùn)練成本低能耗低性能強針對AI設(shè)定特定架構(gòu)成熟量產(chǎn)階段研發(fā)階段數(shù)據(jù)中心AI推理低延時開發(fā)周期短硬件可根據(jù)需求調(diào)整成本和壁壘高8ChatGPT流量激增，為AI服務(wù)器帶來重要發(fā)展機遇019資料來源：Sensor

Tower，WorldofEngineering，頭豹研究院，華經(jīng)產(chǎn)業(yè)研究院，浙商證券研究所服務(wù)器算力要求提升AI服務(wù)器需求增加原場景流量提升+新應(yīng)用場景達(dá)成1億月活躍用戶耗時2個月9個月30個月54個月 60個月78個月史上用戶增速最快消費級應(yīng)用原場景流量提升創(chuàng)造新應(yīng)用場景ChatGPT在問答模式的基礎(chǔ)上進(jìn)行推理、編寫代碼、文本創(chuàng)作等，用戶人數(shù)及使用次數(shù)均提升。智能客服智能音箱陪伴型機器人游戲NPC內(nèi)容生產(chǎn)……傳統(tǒng)CPU服務(wù)器通用性較強，專用性較弱數(shù)據(jù)的質(zhì)和量發(fā)生變化,應(yīng)用

非結(jié)構(gòu)化數(shù)據(jù)占比激增算力無法滿足終端用戶使用頻率提高，數(shù)據(jù)流量暴漲，對服務(wù)器的數(shù)據(jù)處理能力、可靠性及安全性等要求相應(yīng)提升CAGR=18.8%122億美元AI服務(wù)器需求288億美元20202025全球AI服務(wù)器市場規(guī)模ASICAI服務(wù)器快速增長，大力拉動芯片需求0110資料來源：IDC，《2022-2023中國人工智能計算力發(fā)展評估報告》，芯八哥，wind，浙商證券研究所整理100%90%80%70%60%50%40%30%20%10%0%2020

2021

2022

2023

2024

2025

2026ASIC,

1.0%NPU,9.6%FPGA,

0.4%新華三/HPE,15.6%戴爾,

15.4%浪潮,

8.9%聯(lián)想,

6.4%ODM,35.5%其他,

17.1%浪潮,

30.7%新華三/HPE,17.5%華為,

1.1% 戴爾,

7.5%華為,

7.4%聯(lián)想,

6.6%ODM,

8.5%其他,

21.8%中國人工智能服務(wù)器工作負(fù)載預(yù)測訓(xùn)練 推理2021年全球服務(wù)器市場格局GPU,89.0%2021年中國服務(wù)器市場格局中國人工智能芯片市場規(guī)模占比AI服務(wù)器=？CPU+異構(gòu)形式GPUFPGA或或AI服務(wù)器芯片構(gòu)成——CPU+加速芯片11自然語言處理計算機視覺訓(xùn)練（算力

>30TOPS）推理（算力

>30TOPS）計算（5~30TOPS）芯片種類優(yōu)點缺點GPU提供了多核并行計算的基礎(chǔ)結(jié)構(gòu)，核心數(shù)多，可支撐大量數(shù)據(jù)的并行計算，擁有更高浮點運算能力管理控制能力弱，功耗高FPGA可以無限次編程，延時性較低，擁有流水線并行（GPU只有數(shù)據(jù)并行），實時性最強，靈活性最高開發(fā)難度大，只適合定點運算，價格比較昂貴ASIC與通用集成電路相比體積更小，重量更輕，功耗更低，可靠性提高，性能提高，保密性增強，成本降低靈活性不夠，價格高于FPGAAI服務(wù)器CPU+加速芯片：通常搭載GPU、FPGA、ASIC等加速芯片，利用CPU與加速芯片的組合可以滿足高吞吐量互聯(lián)的需求應(yīng)用領(lǐng)域應(yīng)用場景機器學(xué)習(xí)高度適配資料來源：華經(jīng)產(chǎn)業(yè)研究院，億歐智庫，浙商證券研究所0112控制單元存儲單元運算單元控制指令數(shù)據(jù)CPU擅長邏輯控制，可用于推理/預(yù)測整個CPU的指揮控制中心，由指令寄存器IR、指令譯碼器ID和操作控制器OC等組成。暫時存放數(shù)據(jù)的區(qū)域，保存等待處理或已經(jīng)處理過的數(shù)據(jù)。執(zhí)行部件，運算器的核心?？梢詧?zhí)行算術(shù)運算和邏輯運算。運算單元所進(jìn)行的全部操作都是由控制單元發(fā)出的控制信號來指揮。資料來源：CSDN，浙商證券研究所整理優(yōu)勢劣勢作為計算機系統(tǒng)的運算和控制核心，是信息處理、程序運行的最終執(zhí)行單元?？刂浦噶頒PU有大量的緩存和復(fù)雜的邏輯控制單元，擅長邏輯控制、串行的運算。計算量較小，且不擅長復(fù)雜算法運算和處理并行重復(fù)的操作。在深度學(xué)習(xí)中可用于推理/預(yù)測修改指令計數(shù)器CPU運行原理取指令 指令譯碼 執(zhí)行指令服務(wù)器CPU向多核心發(fā)展，滿足處理能力和速度提升需要0113資料來源：芯論語，半導(dǎo)體產(chǎn)業(yè)縱橫，AMD官網(wǎng)，浙商證券研究所英特爾從單核到多核AMD從雙核到96核20052010奔騰D系列酷睿i7-980X酷睿i9Lakefield首款6核處理器18核處理器史上第一個雙核處理器200520072018Athlon64X2Phenom9500第二代銳龍Threadripper首款采用混合架構(gòu)的x86

5核處理器2020銳龍Threadripper3990X同一塊芯片內(nèi)整合兩個K8核心首款原生4核處理器最大核心數(shù)量已達(dá)到32核擁有64核單核心CPU串行單任務(wù)處理“一心一用”分時多任務(wù)處理“一心多用”多核心CPU“多心多用”2017

2020處理的任務(wù)更多、處理速度更快分時多任務(wù)處理系統(tǒng)性能優(yōu)劣不能只考慮CPU核心數(shù)量，還要考慮操作系統(tǒng)、調(diào)度算法、應(yīng)用和驅(qū)動程序等。2023SapphireRapids擁有56個核心2023霄龍9004核心數(shù)量最多可達(dá)96個GPU高度適配AI模型構(gòu)建0114AI模型構(gòu)建（以英偉達(dá)A100為例）訓(xùn)練過程推理過程資料來源：英偉達(dá)官網(wǎng)，鎂客網(wǎng)，騰訊網(wǎng)，浙商證券研究所多實例

GPU

(MIG)

技術(shù)允許多個網(wǎng)絡(luò)同時基于單個A100

運行，從而優(yōu)化計算資源的利用率。在

A100

其他推理性能增益的基礎(chǔ)之上，僅結(jié)構(gòu)稀疏支持一項就能帶來高達(dá)兩倍的性能提升。在

BERT

等先進(jìn)的對話式

AI

模型上，A100可將推理吞吐量提升到高達(dá)

CPU的

249

倍；ChatGPT引發(fā)GPU熱潮百度：即將推出文心一言（ERNIEBot）蘋果：引入AI加速器設(shè)計的M2系列芯片（M2

pro和M2max）將被搭載于新款電腦OpenAI：隨著ChatGPT的使用量激增，OpenAI需要更強的計算能力來響應(yīng)百萬級別的用戶需求，因此增加了對英偉達(dá)GPU的需求AMD：計劃推出與蘋果M2系列芯片競爭的臺積電4nm工藝"Phoenix"系列芯片，以及使用Chiplet工藝設(shè)計的"Alveo

V70"AI芯片。這兩款芯片均計劃在今年推向市場，分別面向消費電子市場以及AI推理領(lǐng)域GPU的并行計算高度適配神經(jīng)網(wǎng)絡(luò)GPU幫助高速解決問題：2048

個

A100GPU

可在一分鐘內(nèi)成規(guī)模地處理

BERT之類的訓(xùn)練工作負(fù)載；0.7X3XV100FP161XA10040GBFP16A100

80GBFP161X249XCPU

Only245XA100

40GBA100

80GBFPGA：可通過深度學(xué)習(xí)+分布集群數(shù)據(jù)傳輸賦能大模型01資料來源：ofweek，摩爾星球，C114，知識產(chǎn)權(quán)課堂，億歐智庫，浙商證券研究所FPGA可編程靈活性高：半定制電路，理論上可以實現(xiàn)任意ASIC和DSP的邏輯功能開發(fā)周期短：可通過設(shè)計軟件處理布線、

布局及時序等問題?，F(xiàn)場可重編功能：可以遠(yuǎn)程通過軟件實現(xiàn)自定義硬件功能。低延時：邏輯門通過硬件線連接，不需要時鐘信號方便并行計算：集成了大量基本門電路，一次可執(zhí)行多個指令算法深度學(xué)習(xí) 異構(gòu)計算、并行計算通信接口 數(shù)據(jù)高速收發(fā)、交換Intel，AMD

(Xilinx)，亞馬遜，微軟，百度，阿里，騰訊AMD

(Xilinx)Intel，AMD

(Xilinx)/推理訓(xùn)練數(shù)據(jù)中心邊緣端15ASIC可進(jìn)一步優(yōu)化性能與功耗，全球巨頭紛紛布局0116隨著機器學(xué)習(xí)、邊緣計算、自動駕駛的發(fā)展，大量數(shù)據(jù)處理任務(wù)的產(chǎn)生，對于芯片計算效率、計算能力和計能耗比的要求也越來越高，ASIC通過與CPU結(jié)合的方式被廣泛關(guān)注，國內(nèi)外龍頭廠商紛紛布局迎戰(zhàn)AI時代的到來。國內(nèi)外ASIC芯片龍頭布局國外谷歌：張量處理器——TPU國內(nèi)最新的TPU

v4集群被稱為Pod，包含4096個v4芯片，可提供超過1

exaflops的浮點性能英偉達(dá)：GPU+CUDA阿里巴巴：含光800AI芯片硬件：自研芯片架構(gòu)；軟件：集成達(dá)摩院先進(jìn)算法，可實現(xiàn)大網(wǎng)絡(luò)模型在一顆NPU上完成計算。百度：昆侖2代AI芯片采用全球領(lǐng)先的7nm

制程，搭載自研的第二代

XPU

架構(gòu)，相比一代性能提升2-3倍；昆侖芯3代將于2024年初量產(chǎn)。華為：昇騰910業(yè)界算力最強的AI處理器，基于自研華為達(dá)芬奇架構(gòu)3D

Cube技術(shù)；主要面向大型數(shù)據(jù)密集型

HPC

和

AI

應(yīng)用；基于

Grace

的系統(tǒng)與

NVIDIA

GPU

緊密結(jié)合，性能比NVIDIA

DGX

系統(tǒng)高出

10

倍；Habana（Intel收購）已推出云端

AI訓(xùn)練芯片

Gaudi和云端

AI推理芯片

Goya；資料來源：

機器之心，華為官網(wǎng)，半導(dǎo)體產(chǎn)業(yè)縱橫，公開資料整理，浙商證券研究所數(shù)據(jù)傳輸速率：容易被忽略的算力瓶頸01資料來源：Google

Scholar，并行處理中節(jié)點間通信對加速比的影響，浙商證券研究所算力需求：超摩爾發(fā)展算力供給：芯片提升+并行計算并行瓶頸：數(shù)據(jù)傳輸速率模型發(fā)布時間算力（FLPOs）深度

大學(xué)

模習(xí)

型代

代深度學(xué)習(xí)之

20個月翻倍（近似摩爾定律）

時

時前5-6個月翻倍（遠(yuǎn)超摩爾定律）AI時代模型算力需求以超過摩爾定律增長數(shù)據(jù)中心通過交換機網(wǎng)絡(luò)實現(xiàn)設(shè)備互聯(lián)17理論加速比實際加速比通信延時導(dǎo)致加速放緩并行計算節(jié)點數(shù)加速比數(shù)據(jù)傳輸核心器件：光模塊01資料來源：中際旭創(chuàng)年報，光纖在線，電子發(fā)燒友，華經(jīng)情報網(wǎng)，浙商證券研究所電信數(shù)通數(shù)據(jù)中心內(nèi)部數(shù)據(jù)中心互聯(lián)骨干城域接入數(shù)據(jù)中心占光模塊一半以上市場

(2021Q4)32.6%光模塊67.4%電信號驅(qū)動電路激光器（內(nèi)含光芯片）探測器（內(nèi)含光芯片）放大器光纖傳輸電信號電信號光信號電信號光模塊包含發(fā)射器件和接收器件，光纖通信時的光電轉(zhuǎn)換發(fā)射器件 接收器件光模塊向高速傳輸發(fā)展，以順應(yīng)數(shù)據(jù)傳輸量增長趨勢181x9、GBIC1995-20002000-20102010-2020SFP、XFPQSFP、CFP、COBO2020之后QSFP-DD、OSFP-XD10G40G400G800、1.6T…硅光技術(shù)相干技術(shù)光電共封裝技術(shù)（CPO）技術(shù)創(chuàng)新引領(lǐng)本土產(chǎn)業(yè)鏈彎道突圍0219國產(chǎn)服務(wù)器CPU發(fā)展之路通過CHIPLET布局先進(jìn)制程，服務(wù)器芯片廣泛應(yīng)用存算一體打破“存儲墻”限制，實現(xiàn)降本增效服務(wù)器CPU需求增長，國化產(chǎn)三條發(fā)展路線0220資料來源：IDC，wind，浙商證券研究所整理CISCX86架構(gòu)RISCARM架構(gòu)MIPS架構(gòu)MIPS架構(gòu)IP內(nèi)核授權(quán)指令集架構(gòu)授權(quán)授權(quán)+自主研制指令集龍芯中科申威科技上海兆芯海光信息華為鯤鵬天津飛騰自主化程度：低，未來擴充指令集難度較大，但生態(tài)遷移成本小、性能高缺點：安全基礎(chǔ)不牢靠自主化程度：較高，

安全基礎(chǔ)相對牢靠，擁有自主發(fā)展權(quán)缺點：生態(tài)構(gòu)建較為困難自主化程度：極高，

申威科技已基本實現(xiàn)完全自主可控缺點：生態(tài)構(gòu)建極其困難120001000080006000400020000中國服務(wù)器市場規(guī)模 國產(chǎn)服務(wù)器CPU發(fā)展之路中國加速計算服務(wù)器市場預(yù)測（百萬美元）英特爾,90.20%2022 2023 2024 2025 2026服務(wù)器CPU市場格局服務(wù)器CPU

X86架構(gòu)廠商份額AMD,9.80%未來算力升級路徑：CHIPLET、存算一體0221近期CHATGPT的興起推動著人工智能在應(yīng)用端的蓬勃發(fā)展，這也對計算設(shè)備的運算能力提出了前所未有的需求。雖然AI芯片、GPU、CPU+FPGA等芯片已經(jīng)對現(xiàn)有模型構(gòu)成底層算力支撐，但面對未來潛在的算力指數(shù)增長，短期使用CHIPLET異構(gòu)技術(shù)加速各類應(yīng)用算法落地，長期來看打造存算一體芯片（減少芯片內(nèi)外的數(shù)據(jù)搬運），或?qū)⒊蔀槲磥硭懔ι壍臐撛诜绞健?016AlphaGo(DeepMind)2019AlphaStar(DeepMind)2018BERT(Google

AI)2020GPT-3

(OpenAI)2021AlphaFold2(DeepMind)2022Gato

(DeepMind)CPU GPU資料來源：知乎《先進(jìn)存算一體芯片設(shè)計》（陳巍等），浙商證券研究所未來：存算一體？2023游戲蛋白質(zhì)結(jié)構(gòu)ChatGPT

(OpenAI)大模型 通用AI大算力未來：Chiplet？CHIPLET是布局先進(jìn)制程、加速算力升級的關(guān)鍵技術(shù)0222資料來源：芯智訊，浙商證券研究所夠用好用13590nm6545nm28nm14nm7nm5nm3/2nm=++==123芯粒芯粒美國芯片法案Chiplet芯粒能用+Chiplet=功率模擬數(shù)字4G基站服務(wù)器L2++CPUGPUFPGAAI演算基帶5GAI智能座艙L4+智駕智能電車、無人駕駛智能座艙、VRARMR人工智能、5/6G手機+Chiplet異構(gòu)技術(shù)不僅可以突破先進(jìn)制程的封鎖，并且可以大幅提升大型芯片的良率、降低設(shè)計的復(fù)雜程度和設(shè)計成本、降低芯片制造成本。Chiplet技術(shù)加速了算力升級，但需要犧牲一定的體積和功耗，因此將率先在基站、服務(wù)器、智能電車等領(lǐng)域廣泛使用。CHIPLET已廣泛應(yīng)用于服務(wù)器芯片0223資料來源：各公司官網(wǎng)，浙商證券研究所Chiplet服務(wù)器芯片AMD：EPYC

第1代至第4代英特爾：第14代酷睿

MeteorLake華為海思：鯤鵬920寒武紀(jì)：云端AI芯片思元370Chiplet服務(wù)器芯片的引領(lǐng)者，4代產(chǎn)品采用5nm基于chiplet

的第一代AMD

EPYC

處理器中，裝載8

個“Zen

”CPU

核，2

個DDR4

內(nèi)存通道和32

個PCIe通道，以滿足性能目標(biāo)。2022年AMD正式發(fā)布第四代EPYC處理器，擁有高達(dá)96顆5nm的Zen

4核心，并使用新一代的Chiplet工藝，結(jié)合5nm和6nm工藝來降低成本。首次采用

intel

4工藝，首次引入chiplet小芯片設(shè)計，預(yù)計將于23年下半年推出至少性能功耗比的目標(biāo)要達(dá)到

13

代

Raptor

Lake的

1.5

倍水平?；?nm制程工藝，是寒武紀(jì)首款采用chiplet（芯粒）技術(shù)的AI芯片集成了390億個晶體管，最大算力高達(dá)256TOPS(INT8)，是寒武紀(jì)第二代產(chǎn)品思元270算力的2倍。內(nèi)存帶寬是上一代產(chǎn)品的3倍，訪存能效達(dá)GDDR6的1.5倍。采用7nm制造工藝，基于ARM架構(gòu)授權(quán)由華為公司自主設(shè)計完成。典型主頻下，SPECintBenchmark評分超過930。龍芯中科：龍芯3D5000（試驗）面向服務(wù)器市場的

32

核

CPU

產(chǎn)品，通過Chiplet技術(shù)把兩個

3C5000

硅片封裝在一起，

集成了32

個

LA464

處理器核和

64MB

片上共享緩存，22年末初樣試驗成功存算一體：打破“存儲墻”限制，技術(shù)迭代演進(jìn)0224資料來源：知乎《先進(jìn)存算一體芯片設(shè)計》（陳巍等），浙商證券研究所“存儲墻”成為了數(shù)據(jù)計算應(yīng)用的一大障礙面對計算中心的數(shù)據(jù)洪流，數(shù)據(jù)搬運慢、搬運能耗大等問題成為了計算的關(guān)鍵瓶頸。從處理單元外的存儲器提取數(shù)據(jù)，搬運時間往往是運算時間的成百上千倍，整個過程的無用能耗大概在60%-90%之間，能效非常低。算力發(fā)展速度存儲墻限制存儲發(fā)展速度存算技術(shù)演進(jìn)路線查存計算（Processing

With

Memory）近存計算（Computing

Near