從訓(xùn)練到推理：算力芯片需求的華麗轉(zhuǎn)身2024

從訓(xùn)練到推理：算力芯片需求的華麗轉(zhuǎn)身——算力專題研究二推理算力：算力芯片行業(yè)的第二重驅(qū)動(dòng)力強(qiáng)于大市（維持評(píng)級(jí)）一年內(nèi)行業(yè)相對(duì)大盤走勢團(tuán)隊(duì)成員chj30590@xx30511@lyw30508@相關(guān)報(bào)告我們?cè)诖饲巴獍l(fā)報(bào)告《如何測算文本大模型AI 從訓(xùn)練到推理：算力芯片需求的華麗轉(zhuǎn)身——算力專題研究二推理算力：算力芯片行業(yè)的第二重驅(qū)動(dòng)力強(qiáng)于大市（維持評(píng)級(jí)）一年內(nèi)行業(yè)相對(duì)大盤走勢團(tuán)隊(duì)成員chj30590@xx30511@lyw30508@相關(guān)報(bào)告1、AMD宣布收購服務(wù)器供應(yīng)商，英偉達(dá)強(qiáng)力加持“黑神話”游戲體驗(yàn)1、AMD宣布收購服務(wù)器供應(yīng)商，英偉達(dá)強(qiáng)力加持“黑神話”游戲體驗(yàn)-算力周跟蹤——2024.08.222、蘋果領(lǐng)軍AI端側(cè)創(chuàng)新，消費(fèi)電子長期量價(jià)上行空間打開——2024.08.213、20240818周報(bào)：關(guān)注折疊屏手機(jī)形態(tài)演進(jìn)及新機(jī)發(fā)布——2024.08.19根據(jù)OpenAI《ScalingLawsforNeuralLanguageModels》，并結(jié)合我們對(duì)于推理算力的理解，我們拆解出云端AI推理算力需求≈2×模型參數(shù)量×數(shù)據(jù)規(guī)?！练逯当稊?shù)。由ScalingLaws驅(qū)動(dòng)的參數(shù)量爆發(fā)是訓(xùn)練&推理算力需求共同的影響因素；而對(duì)于推理需求，更為復(fù)雜的是對(duì)數(shù)據(jù)規(guī)模的量化。我們將數(shù)據(jù)規(guī)模（tokens）拆解為一段時(shí)間內(nèi)用戶對(duì)于大模型的訪問量與單次訪問產(chǎn)生的數(shù)據(jù)規(guī)模（tokens）的乘積，其中，單次訪問產(chǎn)生的數(shù)據(jù)規(guī)模（tokens）可以進(jìn)一步拆解為單次提問的問題與答案所包含的token數(shù)總和乘以單次訪問提出的問題數(shù)。通過層層拆解，我們發(fā)現(xiàn)單次問答所包含的token數(shù)是模型中的重要影響因素，其或多或少會(huì)受到大模型上下文窗口（ContextWindow）的限制。而隨著上下文窗口瓶頸的快速突破，長文本趨勢成為主流，有望驅(qū)動(dòng)推理算力需求再上新臺(tái)階。結(jié)論：證券研究報(bào)告我們首先根據(jù)前述邏輯測算得到AI大模型推理所需要的計(jì)算量，隨后通過單GPU算力供給能力、算力利用率等數(shù)值的假設(shè)，逐步倒推得到GPU需求數(shù)量。若以英偉達(dá)當(dāng)代&前代GPU卡供給各占50%計(jì)算，我們認(rèn)為2024-2026年OpenAI云端AI推理GPU合計(jì)需求量為148/559/1341萬張。證券研究報(bào)告建議關(guān)注-算力芯片：寒武紀(jì)海光信息龍芯中科-服務(wù)器產(chǎn)業(yè)鏈：工業(yè)富聯(lián)滬電股份深南電路勝宏科技風(fēng)險(xiǎn)提示AI需求不及預(yù)期風(fēng)險(xiǎn)、ScalingLaw失效風(fēng)險(xiǎn)、長文本趨勢發(fā)展不及預(yù)期風(fēng)險(xiǎn)、GPU技術(shù)升級(jí)不及預(yù)期的風(fēng)險(xiǎn)、測算模型假設(shè)存在偏差風(fēng)險(xiǎn)。誠信專業(yè)發(fā)現(xiàn)價(jià)值1誠信專業(yè)發(fā)現(xiàn)價(jià)值2請(qǐng)務(wù)必閱讀報(bào)告末頁的 1如何測算文本大模型AI推理端算力需求？ 32ScalingLaws&長文本趨勢：推理需求的核心驅(qū)動(dòng)力 42.1關(guān)于模型參數(shù)量：ScalingLaws仍為核心 42.2關(guān)于數(shù)據(jù)規(guī)模（tokens長文本趨勢已確立 53文本大模型云端AI推理對(duì)GPU的需求量如何求解？ 84風(fēng)險(xiǎn)提示 圖表1：英偉達(dá)FY2024數(shù)據(jù)中心推理與訓(xùn)練占比 3圖表2：中國人工智能服務(wù)器負(fù)載及預(yù)測 3圖表3：文本大模型云端AI推理算力供給需求公式 3圖表4：云端AI推理需求公式拆解 4圖表5：大模型訓(xùn)練的ScalingLaw 4圖表6：海外主流AI大模型訓(xùn)練側(cè)算力供給需求情況 5圖表7：國內(nèi)主流AI大模型訓(xùn)練側(cè)算力供給需求情況 5圖表8：云端AI推理需求公式進(jìn)一步拆解 5圖表9：文本大模型網(wǎng)站訪問量周度數(shù)據(jù)（單位：萬次） 6圖表10：文本大模型網(wǎng)站訪問量周度數(shù)據(jù)（單位：萬次） 6圖表11：圖片大模型網(wǎng)站訪問量周度數(shù)據(jù)（單位：萬次） 6圖表12：視頻大模型網(wǎng)站訪問量周度數(shù)據(jù)（單位：萬次） 6圖表13：OpenAIPlatformTokenizer 7圖表14：OpenAI云端AI推理算力需求-供給測算 9 我們?cè)诖饲巴獍l(fā)報(bào)告《如何測算文本大模型AI訓(xùn)練端算力需求？》中，對(duì)未來三年AI訓(xùn)練卡需求持樂觀態(tài)度，經(jīng)過測算，以英偉達(dá)Hopper/Blackwell/下一代GPU卡FP16算力衡量，我們認(rèn)為2024-2026年全球文本大模型AI訓(xùn)練側(cè)GPU需求量為271/592/1244萬張。由此我們認(rèn)為，推理側(cè)算力對(duì)訓(xùn)練側(cè)算力需求的承接不意味著訓(xùn)練需求的趨緩，而是為算力芯片行業(yè)貢獻(xiàn)第二重驅(qū)動(dòng)力。推理算力市場已然興起，24年AI推理需求成為焦點(diǎn)。據(jù)Wind轉(zhuǎn)引英偉達(dá)FY24Q4業(yè)績會(huì)紀(jì)要，公司2024財(cái)年數(shù)據(jù)中心有40%的收入來自推理業(yè)務(wù)。放眼國內(nèi)，IDC數(shù)據(jù)顯示，我國23H1訓(xùn)練工作負(fù)載的服務(wù)器占比達(dá)到49.4%，預(yù)計(jì)全年的占比將達(dá)到58.7%。隨著訓(xùn)練模型的完善與成熟，模型和應(yīng)用產(chǎn)品逐步投入生產(chǎn)，推理端的人工智能服務(wù)器占比將隨之攀升，預(yù)計(jì)到2027年，用于推理的工作負(fù)載將達(dá)到72.6%。圖表1：英偉達(dá)FY2024數(shù)據(jù)中心推理與訓(xùn)練占比來源：英偉達(dá)財(cái)報(bào)電話會(huì)議紀(jì)要，Wind，華福證券研究所注：按銷售收入口徑圖表2：中國人工智能服務(wù)器負(fù)載及預(yù)測來源：IDC，《2023-2024中國人工智能計(jì)算力發(fā)展評(píng)估報(bào)告》，華福證券研究所如何量化推理算力需求？與訓(xùn)練算力相比，推理側(cè)是否具備更大的發(fā)展?jié)摿?？我們整理出AI推理側(cè)算力供給需求公式，并分類討論公式中的核心參數(shù)變化趨勢，以此給出我們的判斷。需要說明的是，本文將視角聚焦于云端AI推理算力，端側(cè)AI算力主要由本地設(shè)備自帶的算力芯片承載?；诔醪椒治觯覀冋J(rèn)為核心需要解決的問題聚焦于需求側(cè)——推理消耗的數(shù)據(jù)規(guī)模如何測算？而供給側(cè)，GPU性能提升速度、算力利用率等，我們認(rèn)為與AI訓(xùn)練大致無異。圖表3：文本大模型云端AI推理算力供給需求公式來源：OpenAI《ScalingLawsforNeuralLanguageModels》，NVIDIA&StanfordUniversity&MicrosoftResearch《EfficientLarge-ScaleLanguageModelTraining onGPUClustersUsingMegatron-LM》，新智元，CIBA新經(jīng)濟(jì)，思瀚產(chǎn)業(yè)研究院，極市平臺(tái)，華福證券研究所 誠信專業(yè)發(fā)現(xiàn)價(jià)值3請(qǐng)務(wù)必閱讀報(bào)告末頁的誠信專業(yè)發(fā)現(xiàn)價(jià)值4請(qǐng)務(wù)必閱讀報(bào)告末頁的 2Scaling根據(jù)OpenAI《ScalingLawsforNeuralLanguageModels》，并結(jié)合我們對(duì)于推理算力的理解，我們拆解出云端AI推理算力需求≈2×模型參數(shù)量×數(shù)據(jù)規(guī)模×峰值倍數(shù)。圖表4：云端AI推理需求公式拆解來源：OpenAI《ScalingLawsforNeuralLanguageModels》，思瀚產(chǎn)業(yè)研究院，極市平臺(tái)，華福證券研究所2.1關(guān)于模型參數(shù)量：ScalingLaws仍為核心我們?cè)诖饲巴獍l(fā)報(bào)告《如何測算文本大模型AI訓(xùn)練端算力需求？》中已詳細(xì)介紹過ScalingLaw的基本原理及其對(duì)大模型參數(shù)量的影響，主要觀點(diǎn)為：模型的最終性能主要與計(jì)算量、模型參數(shù)量和數(shù)據(jù)大小三者相關(guān)，而與模型的具體結(jié)構(gòu)（層數(shù)/深度/寬度）基本無關(guān)。如下圖所示，對(duì)于計(jì)算量、模型參數(shù)量和數(shù)據(jù)規(guī)模1）當(dāng)不受其他兩個(gè)因素制約時(shí)，模型性能與每個(gè)因素都呈現(xiàn)冪律關(guān)系。（2）如模型的參數(shù)固定，無限堆數(shù)據(jù)并不能無限提升模型的性能，模型最終性能會(huì)慢慢趨向一個(gè)固仍然是當(dāng)下驅(qū)動(dòng)行業(yè)發(fā)展的重要標(biāo)準(zhǔn)。圖表5：大模型訓(xùn)練的ScalingLaw來源：OpenAI《ScalingLawsforNeuralLanguageModels》，PaperWeekly，ExparaAcademy，華福證券研究所我們也詳細(xì)統(tǒng)計(jì)了海內(nèi)外主流AI大模型訓(xùn)練情況，過去幾年來AI大模型參數(shù)量呈現(xiàn)快速增長。以O(shè)penAI為例，GPT-3到GPT-4歷時(shí)三年從175B參數(shù)快速提升到1.8T參數(shù)（提升9倍）。目前國內(nèi)主流AI大模型也逐步突破了千億參數(shù)大關(guān)，乃至采用萬億參數(shù)進(jìn)行預(yù)訓(xùn)練。圖表6：海外主流AI大模型訓(xùn)練側(cè)算力供給需求情況來源：OpenAI《LanguageModelsareFew-ShotLearners》，Google《PaLM:ScalingLanguageModelingwithPathways》，英偉達(dá)，谷歌研究院，騰訊科技，機(jī)器之心，中關(guān)村在線，河北省科學(xué)技術(shù)廳，華福證券研究所注1：由于各公司對(duì)于大模型的訓(xùn)練數(shù)據(jù)披露口徑不一，以上為本文非完全統(tǒng)計(jì)注2：GPT4算力利用率在32-36%區(qū)間，本文取中值粗略計(jì)算注3：英偉達(dá)V100理論峰值為官網(wǎng)所示“深度學(xué)習(xí)|NVLink版本”性能圖表7：國內(nèi)主流AI大模型訓(xùn)練側(cè)算力供給需求情況來源：騰訊云，通義千問公眾號(hào)&GitHub網(wǎng)頁，新聞晨報(bào)，市界，IT之家，華爾街見聞，新浪科技，鈦媒體，華福證券研究所注1：由于各公司對(duì)于大模型的訓(xùn)練數(shù)據(jù)披露口徑不一，以上為本文非完全統(tǒng)計(jì)注2：騰訊混元參數(shù)量披露口徑較為模糊，分別為超千億參數(shù)/萬億參數(shù)，在本圖中不涉及左側(cè)第二列單位2.2關(guān)于數(shù)據(jù)規(guī)模（tokens長文本趨勢已確立根據(jù)公式，云端AI推理需求公式中的數(shù)據(jù)規(guī)模（tokens可以拆解為一段時(shí)間內(nèi)用戶對(duì)于大模型的訪問量與單次訪問產(chǎn)生的數(shù)據(jù)規(guī)模（tokens）的乘積。圖表8：云端AI推理需求公式進(jìn)一步拆解來源：OpenAI《ScalingLawsforNeuralLanguageModels》，思瀚產(chǎn)業(yè)研究院，極市平臺(tái)，華福證券研究所誠信專業(yè)發(fā)現(xiàn)價(jià)值5請(qǐng)務(wù)必閱讀報(bào)告末頁的 1、從大模型訪問量來看，我們認(rèn)為需要覆蓋到不同流量入口的訪問量之和，包括（1）桌面端2）移動(dòng)端。由于Similarweb數(shù)據(jù)統(tǒng)計(jì)了桌面端+移動(dòng)端所有流量之和，我們以此為基礎(chǔ)測算推理應(yīng)用產(chǎn)生的token數(shù)據(jù)規(guī)模。圖表9：文本大模型網(wǎng)站訪問量周度數(shù)據(jù)（單位：萬次）來源：Similarweb，華福證券研究所注：受網(wǎng)頁改版影響，OpenAI統(tǒng)計(jì)口徑為和之和圖表11：圖片大模型網(wǎng)站訪問量周度數(shù)據(jù)（單位：萬來源：Similarweb，華福證券研究所圖表10：文本大模型網(wǎng)站訪問量周度數(shù)據(jù)（單位：萬來源：Similarweb，華福證券研究所圖表12：視頻大模型網(wǎng)站訪問量周度數(shù)據(jù)（單位：萬來源：Similarweb，華福證券研究所2、從單次訪問產(chǎn)生的數(shù)據(jù)規(guī)模來看，運(yùn)算公式可以拆解為單次提問的問題與答案所包含的token數(shù)總和乘以單次訪問提出的問題數(shù)，其中單次問答所包含的token數(shù)取決于字?jǐn)?shù)&每個(gè)字對(duì)應(yīng)的token數(shù)。（1）字?jǐn)?shù)：單次問答所包含的字?jǐn)?shù)或多或少會(huì)受到大模型上下文窗口（ContextWindow）的限制。隨著上下文窗口瓶頸的快速突破，長文本趨勢成為主流。以O(shè)為例，從GPT-3.5升級(jí)至GPT-3.5-Turbo，上下文窗口從4k升級(jí)為16k；而GPT-4版本時(shí)隔一年后升級(jí)為GPT-4-Turbo，也將上下文窗口從32k提升至128k。而以長文本能力成為“頂流”的Kimi，2023年10月上線時(shí)支持無損上下文長度最多為20萬漢字，24年3月已支持200萬字超長無損上下文，長文本能力提高10倍。按照AI領(lǐng)域的計(jì)算標(biāo)準(zhǔn)，200萬漢字的長度大約為400萬token，在全球范圍內(nèi)也屬于領(lǐng)先的標(biāo)準(zhǔn)。（2）每個(gè)字對(duì)應(yīng)的token數(shù)：不同的大模型均有各自的分詞器設(shè)計(jì)，以O(shè)penAI為例，1000個(gè)token通常代表750個(gè)英文單詞或500個(gè)漢字。以其官網(wǎng)Tokenizer計(jì)算工具結(jié)果來看，基本與此結(jié)論相契合。誠信專業(yè)發(fā)現(xiàn)價(jià)值6請(qǐng)務(wù)必閱讀報(bào)告末頁的 圖表13：OpenAIPlatformTokenizer來源：OpenAIPlatform，華福證券研究所注：以上文字為測試語句，來自該網(wǎng)頁下方原文誠信專業(yè)發(fā)現(xiàn)價(jià)值7請(qǐng)務(wù)必閱讀報(bào)告末頁的 本文按第一章所示“文本大模型云端AI推理算力供給需求公式”，逐步拆解計(jì)算過程。首先，測算AI大模型推理所需計(jì)算量，隨后通過對(duì)單GPU算力供給能力的假設(shè)，逐步倒推得到GPU需求數(shù)量。需要說明的是，根據(jù)圖9-12中Similarweb統(tǒng)計(jì)數(shù)據(jù)，我們發(fā)現(xiàn)當(dāng)前OpenAI在全球范圍內(nèi)的訪問量仍然斷層領(lǐng)先，由此我們推斷OpenAI在全球推理算力需求中占據(jù)較大比重，因此本文測算以O(shè)penAI為例。一、云端AI推理算力需求1、每參數(shù)每token所需計(jì)算量：根據(jù)OpenAI《ScalingLawsforNeuralLanguageModels》，并結(jié)合我們對(duì)于推理算力的理解，我們拆解出云端AI推理算力需求≈2×模型參數(shù)量×數(shù)據(jù)規(guī)?！练逯当稊?shù)，即每參數(shù)每token推理所需計(jì)算量為2Flops。2、大模型參數(shù)量：根據(jù)我們此前外發(fā)報(bào)告《如何測算文本大模型AI訓(xùn)練端算力需求？》，我們認(rèn)為ScalingLaw仍將持續(xù)存在，大模型或?qū)⒊掷m(xù)通過提升參數(shù)量、預(yù)訓(xùn)練數(shù)據(jù)規(guī)模（token數(shù)）帶動(dòng)計(jì)算量提升，進(jìn)而提升大模型性能，我們按過往提升速度大致推斷未來增長情況。3、數(shù)據(jù)規(guī)模（tokens從大模型訪問量來看，我們以Similarweb統(tǒng)計(jì)的訪問量數(shù)據(jù)為測算基礎(chǔ)，通過趨勢的判斷，以及對(duì)AI推理能力提升帶動(dòng)AI應(yīng)用滲透趨勢的信心，我們預(yù)計(jì)24-26年OpenAI訪問量有望同比增長60%/50%/30%。需要說明的是，由于OpenAI在Similarweb統(tǒng)計(jì)的訪問量數(shù)據(jù)中以斷層優(yōu)勢處于領(lǐng)先地位，我們認(rèn)為OpenAI在全球AI推理需求中占據(jù)相當(dāng)大的比重。從單次訪問產(chǎn)生的數(shù)據(jù)規(guī)模來看，運(yùn)算公式可以拆解為單次提問的問題與答案所包含的token數(shù)總和乘以單次訪問提出的問題數(shù)，其中單次問答所包含的token數(shù)取決于字?jǐn)?shù)&每個(gè)字對(duì)應(yīng)的token數(shù)。（1）首先，我們假設(shè)23年大模型單次訪問的問答次數(shù)為5次，隨著大模型的使用頻率提高，用戶粘性增強(qiáng)，該次數(shù)有望穩(wěn)步提升。（2）我們假設(shè)單次提問一般對(duì)應(yīng)30tokens左右，另外我們?nèi)?3年一次問答實(shí)驗(yàn)中12次回答的平均字?jǐn)?shù)（523個(gè)漢字）作為假設(shè)，基于1:2的換算比例，得到23年單次問答產(chǎn)生的token數(shù)為1077字節(jié)。我們假設(shè)24-26年單次問答產(chǎn)生的token數(shù)有望跟隨大模型上下文窗口的長文本化趨勢，而呈現(xiàn)爆發(fā)式增長。4、峰值倍數(shù)：我們假設(shè)1）推理需求在一日之內(nèi)存在峰谷，算力儲(chǔ)備比實(shí)際需求高，2）隨算力應(yīng)用的進(jìn)一步泛化，峰值倍數(shù)有望逐漸下降。二、云端AI推理算力供給1、GPU計(jì)算性能：根據(jù)我們此前外發(fā)報(bào)告《如何測算文本大模型AI訓(xùn)練端算力需求？》，我們假設(shè)未來英偉達(dá)新產(chǎn)品的FP16算力在Blackwell架構(gòu)的基礎(chǔ)上延續(xù)過往倍增趨勢。此外，我們假設(shè)訓(xùn)練卡供不應(yīng)求，由此推斷推理需求的實(shí)現(xiàn)相較于訓(xùn)練需求的實(shí)現(xiàn)或延遲半代，AI推理側(cè)或以英偉達(dá)新一代及次新一代GPU為主，我誠信專業(yè)發(fā)現(xiàn)價(jià)值8請(qǐng)務(wù)必閱讀報(bào)告末頁的 們假設(shè)二者各占50%，以其平均FP16算力作為計(jì)算基準(zhǔn)。2、訓(xùn)練時(shí)間&算力利用率：我們假設(shè)推理應(yīng)用需求在全年365天是持續(xù)存在的，由此假設(shè)全年推理時(shí)間為365天。根據(jù)我們此前外發(fā)報(bào)告《如何測算文本大模型AI訓(xùn)練端算力需求？》，我們假設(shè)算力利用率在30-42%區(qū)間，逐年提升。三、結(jié)論：若以英偉達(dá)當(dāng)代&前代GPU卡供給各年OpenAI云端AI推理GPU合計(jì)需求量為148/559/1341萬張。圖表14：OpenAI云端AI推理算力需求-供給測算來源：英偉達(dá)，Similarweb，OpenAIPlatform，OpenAI《LanguageModelsareFew-ShotLearners》，OpenAI《ScalingLawsforNeuralLangu