2024年中國ai算力行業(yè)發(fā)展報告-甲子光年-202412

智庫院長：宋濤報告撰寫：劉瑤、郭瑤琴、王藝霖發(fā)布時間：2024.12智庫院長：宋濤報告撰寫：劉瑤、郭瑤琴、王藝霖發(fā)布時間：2024.12 2縱觀AI發(fā)展，算法的技術(shù)突破拉動了算力的需求2015-2016年左右開啟了大模型時代，整體的訓(xùn)練計算量較之前的這些大模型的訓(xùn)練需要千億、甚至萬億級參數(shù)，2012-2023年算力需求翻了數(shù)十萬倍，AI算力需求遠(yuǎn)超摩爾定律，大模型對算力的需求模型規(guī)模指數(shù)級增長推動算力需求爆發(fā)●GPT-4模型規(guī)模指數(shù)級增長推動算力需求爆發(fā)●GPT-4●ChatGPT1e+4AlphaGoZero1e+3NeuralMachineTranslation1e+1TI7Dota1v1Xception1e+0DeepSpeech2●ResNetsSeq2SeqGoogleNet1e-31e-4201520162017201820192020202120222023●GPT-3●GPT-3AlphaZero1e-1VGGVisualizingandUnderstandingConvNets1e-2AlexNet20121e+220132014訓(xùn)練算力需求FLOPSAlphaZero1e-1VGGVisualizingandUnderstandingConvNets1e-2AlexNet20121e+220132014訓(xùn)練算力需求FLOPS33無論是訓(xùn)練還是推理，大模型的爆發(fā)引發(fā)全球算力需求的指數(shù)級增長技術(shù)層面上，基礎(chǔ)模型通過遷移學(xué)習(xí)（TransferLearning）和規(guī)模（scale）得以實現(xiàn)；Transformer的應(yīng)用標(biāo)志著基礎(chǔ)模型時代的Sora等視頻生成類模型相較于大語言模型消耗的算力提升20倍。隨著海量數(shù)據(jù)的積累，大模型需要處理的數(shù)據(jù)量也在不斷增長，進一步加劇了對算力的102510231021101910171015Transformer結(jié)構(gòu)對于基礎(chǔ)模型訓(xùn)練算力需求的推動102510231021101910171015SoraSora(1minideo)GPT4(10000texttokens)DiT-XL/2IGeneratioximages)0.00.20.40.60.81.0基于Transformer結(jié)構(gòu)算法與時間44AI產(chǎn)業(yè)快速發(fā)展為AI算力市場帶來新機遇從產(chǎn)業(yè)規(guī)?？?，全球人工智能快速增長。2023年全球人工智能市場收入從投融資看，2024年Q1全球AI領(lǐng)域完成從企業(yè)發(fā)展看，全球人工智能呈現(xiàn)“中美主導(dǎo)”格局。截至2023年三季度，全球人工智能企業(yè)有29542家。美國有9914家，占比為34%；中國有4469家為15%；中美人工智能企業(yè)數(shù)占全球總數(shù)約49%。圖1：2022-2026年全球AI市場規(guī)模（單位：億美元）圖2：全球AI領(lǐng)域投融資情況（單位：億美元）圖3：全球AI企業(yè)數(shù)量國家分布00加拿大0加拿大052024.125資源“三劍客”中，算力承接算法及數(shù)據(jù)，成為AI產(chǎn)業(yè)發(fā)展基石在現(xiàn)代人工智能領(lǐng)域，算力扮演著推動創(chuàng)新、實現(xiàn)突破的核心驅(qū)動力。算力算法跨模態(tài)融合算法跨模態(tài)融合算力內(nèi)容創(chuàng)造力大數(shù)據(jù)語料庫計算任務(wù)數(shù)據(jù)層面高精度訓(xùn)練集算力層面硬件算力智能交互算力內(nèi)容創(chuàng)造力大數(shù)據(jù)語料庫計算任務(wù)數(shù)據(jù)層面高精度訓(xùn)練集算力層面硬件算力智能交互實時算力數(shù)據(jù)數(shù)據(jù)巨量化算法層面核心技術(shù)突破多模態(tài)認(rèn)知計算數(shù)字孿生數(shù)字孿生虛擬現(xiàn)實虛擬現(xiàn)實全息立體應(yīng)全息立體應(yīng)用場景2023.082023.08千行百業(yè)ALLInAI，算力成為智能化升級的核心支撐AI快速發(fā)展正在推動各行業(yè)的數(shù)智化轉(zhuǎn)型，大模型為千行百業(yè)提供了創(chuàng)新解決方案。通用大模型側(cè)重發(fā)展通識能力，行算力支撐成為了AI產(chǎn)業(yè)發(fā)展的關(guān)鍵，也是實現(xiàn)AI技術(shù)在各行業(yè)廣泛應(yīng)用的基礎(chǔ)。目前大模型在廣告、傳媒、教育、金融等領(lǐng)域快速落地應(yīng)用，AI算力與各行業(yè)深能行業(yè)有效的提升了效率、降低成本及優(yōu)化決策過程。算力支撐成為了AI產(chǎn)業(yè)發(fā)展的關(guān)鍵，也是實現(xiàn)AI技術(shù)在各行業(yè)廣泛應(yīng)用的基礎(chǔ)。目前大模型在廣告、傳媒、教育、金融等領(lǐng)域快速落地應(yīng)用，AI算力與各行業(yè)深圖1：大模型賦能各行各業(yè)圖2：主要行業(yè)大模型應(yīng)用階段示意圖目標(biāo)市場滲透率目標(biāo)市場滲透率場景模型及應(yīng)用智能客服代碼生成場景模型及應(yīng)用智能客服代碼生成 自動駕駛智能監(jiān)控 智能醫(yī)學(xué)影像智能藥物研發(fā)數(shù)據(jù)推薦搜索智能風(fēng)控數(shù)據(jù)推薦搜索智能風(fēng)控自動定價智能調(diào)度自動定價智能調(diào)度100%教學(xué)和評分助手100%教學(xué)和評分助手…………數(shù)據(jù)廣告●軟件廣告政務(wù)行業(yè)模型金融數(shù)據(jù)廣告●軟件廣告政務(wù)行業(yè)模型金融醫(yī)療教育零售傳媒交通工業(yè)……數(shù)據(jù)教育數(shù)據(jù)傳媒。傳媒。金融多模態(tài)CV預(yù)測……。游戲出行科學(xué)計算多模態(tài)CV預(yù)測……。游戲出行科學(xué)計算NLP。醫(yī)療農(nóng)業(yè)。醫(yī)療農(nóng)業(yè)能源建筑oo電商0%制造智算一體機……算力基礎(chǔ)設(shè)施制造智算一體機……發(fā)展階段落地成熟期采納成長期試驗加速期探索孵化期發(fā)展階段落地成熟期采納成長期試驗加速期探索孵化期AI芯片AI服務(wù)器智算中心云服務(wù)72024.127數(shù)字基礎(chǔ)設(shè)施加快建設(shè)，智能算力增長勢頭強勁數(shù)字經(jīng)濟成為全球經(jīng)濟增長的活力所在。2022年，全球51個主要經(jīng)濟體數(shù)字經(jīng)濟同比名義增長7.4%，高于同期GDP名義增速3.2%，持續(xù)為全球經(jīng)濟平穩(wěn)全球算力主要由通用算力、智能算力和超算算力組成。通用算力作為基礎(chǔ)，滿足廣泛的日常計算需求；智能算力則在新興技術(shù)領(lǐng)域發(fā)揮關(guān)鍵作用；超算特定高端需求提供強大計算能力。數(shù)據(jù)顯示，2023年底全球算力總規(guī)模約910EFLOPS，其中，智能算力從2021年的113EFLOPS增長至2023年的335EF圖1：2021-2023年全球算力規(guī)模（單位：EFLOPS）圖2：不同算力的重點應(yīng)用領(lǐng)域通用算力通用算力超算算力技術(shù)特點一般主要由CPU芯片提供計算能力，適合計算通用算力通用算力超算算力技術(shù)特點一般主要由CPU芯片提供計算能力，適合計算一般由GPU為代表、FPGA、ASIC等AI芯片的加速計算平臺提供的算力，側(cè)重于處性能計算集群所提供的算力，注重雙追求精確的數(shù)值計應(yīng)用場景應(yīng)用范圍廣泛，如科學(xué)研究、工程設(shè)計、商業(yè)主要用于人工智能如語音、圖像和視主要用于尖端科學(xué)領(lǐng)域的計算，如行星模擬、藥物分子0082024.128國家層面統(tǒng)籌布局，陸續(xù)出臺多項政策大力支持算力發(fā)展國內(nèi)重要的算力政策文件內(nèi)容2024.10國家發(fā)展改革委員會《國家數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè)指南》要強化基礎(chǔ)設(shè)施互聯(lián)互通、算力保障和流通利用標(biāo)準(zhǔn)建設(shè)，為數(shù)據(jù)資源、數(shù)據(jù)技術(shù)、數(shù)據(jù)流通、融合應(yīng)用提供2024.09國務(wù)院辦公廳《國務(wù)院辦公廳關(guān)于加快公共數(shù)據(jù)資源開發(fā)利用的意見》繁榮數(shù)據(jù)產(chǎn)業(yè)發(fā)展生態(tài)。將數(shù)據(jù)產(chǎn)業(yè)作為鼓勵發(fā)展類納入產(chǎn)業(yè)結(jié)構(gòu)調(diào)整指導(dǎo)目錄，支持?jǐn)?shù)據(jù)采集標(biāo)注、分析挖掘、流通使用、數(shù)據(jù)安全等技術(shù)創(chuàng)新應(yīng)用，鼓勵開發(fā)數(shù)據(jù)模型、數(shù)據(jù)核驗、評價指數(shù)等多形式數(shù)據(jù)產(chǎn)品。圍繞數(shù)據(jù)采存算管用，培育高水平數(shù)據(jù)要素型企業(yè)。聚焦算力網(wǎng)絡(luò)和可信流通，支持?jǐn)?shù)據(jù)基礎(chǔ)設(shè)施企業(yè)發(fā)展。落實研發(fā)費用加計扣除、高新技術(shù)企業(yè)稅收優(yōu)惠等政策。支持?jǐn)?shù)據(jù)行業(yè)協(xié)會、學(xué)會等社會團體和產(chǎn)業(yè)聯(lián)盟發(fā)展，凝聚行業(yè)共識，加強行業(yè)自律，推動行業(yè)發(fā)展。2024.03中央人民政府《政府工作報告》適度超前建設(shè)數(shù)字基礎(chǔ)設(shè)施，加快形成全國一體化算力體系，培育算力產(chǎn)業(yè)生態(tài)。2023.12國家發(fā)展改革委員會《關(guān)于深入實施“東數(shù)西算”工程加快構(gòu)建全國一體化算力網(wǎng)的實施意見(發(fā)改數(shù)據(jù)〔2023〕1779號)》到2025年底，普惠易用、綠色安全的綜合算力基礎(chǔ)設(shè)施體系初步成型，東西部算力協(xié)同調(diào)度機制逐步完善，通用算力、智能算力、超級算力等多元算力加速集聚，國家樞紐節(jié)點地區(qū)各類新增算力占全國新增算力的60%以上，國家樞紐節(jié)點算力資源使用率顯著超過全國平均水平。1ms時延城市算力網(wǎng)、5ms時延區(qū)域算力網(wǎng)、20ms時延跨國家樞紐節(jié)點算力網(wǎng)在示范區(qū)域內(nèi)初步實現(xiàn)。算力電力雙向協(xié)同機制初步形成，國家樞紐節(jié)點新建數(shù)據(jù)中心綠電占比超過80%。用戶使用各類算力的易用性明顯提高、成本明顯降低，國家樞紐節(jié)點間網(wǎng)絡(luò)傳輸費用大幅降低。算力網(wǎng)關(guān)鍵核心技術(shù)基本實現(xiàn)安全可靠，以網(wǎng)絡(luò)化、普惠化、綠色化為特征的算力網(wǎng)高質(zhì)量發(fā)展格局逐步形成。2023.102023.10工業(yè)和信息化部《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動計劃》推動算力結(jié)構(gòu)多元配置。結(jié)合人工智能產(chǎn)業(yè)發(fā)展和業(yè)務(wù)需求，重點在西部算力樞紐及人工智能發(fā)展基礎(chǔ)較好地區(qū)集約化開展智算中心建設(shè)，逐步合理提升智能算力占比。推動不同計算架構(gòu)的智能算力與通用算力協(xié)同發(fā)展，滿足均衡型、計算和存儲密集型等各類業(yè)務(wù)算力需求。2023.3科技部《關(guān)于開展國家新一代人工智能公共算力開放創(chuàng)新平臺申報工作的通知》為貫徹落實《國家新一代人工智能發(fā)展規(guī)劃》(國發(fā)〔2017〕35號),做好“國家新一代人工智能公共算力開放創(chuàng)新平臺”(簡稱“公共算力平臺”)啟動建設(shè)工作,根據(jù)《國家新一代人工智能公共算力開放創(chuàng)新平臺建設(shè)指引(試行)》(國科辦高〔2022〕89號,簡稱《建設(shè)指引》),結(jié)合我國人工智能技術(shù)發(fā)展和算力基礎(chǔ)設(shè)施建設(shè)的需求，現(xiàn)啟動“公共算力平臺”建設(shè)申報工作。2022.8科技部財政部《企業(yè)技術(shù)創(chuàng)新能力提升行動方案（2022-2023年）》推動國家超算中心、智能計算中心等面向企業(yè)提供低成本算力服務(wù)。支持建設(shè)一批重大示范應(yīng)用場景，鼓勵創(chuàng)新型城市、國家自創(chuàng)區(qū)、國家高新區(qū)、國家農(nóng)高區(qū)、國家新一代人工智能創(chuàng)新發(fā)展試驗區(qū)等發(fā)布一批應(yīng)用場景清單，向企業(yè)釋放更多場景合作機會。數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結(jié)整理,2024.12各省市積極響應(yīng)，通過政策引導(dǎo)和支持推動地方算力發(fā)展各省市通過政策引導(dǎo)和支持，推動地方算力資源的開放共享、數(shù)據(jù)中心的集約化發(fā)展、算力網(wǎng)絡(luò)的一體化建設(shè)，以及算力與實體經(jīng)濟的深度融合，從而加速AI應(yīng)用的落地和數(shù)字經(jīng)濟的發(fā)展。山東2024.06山東省算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動方案強化多元算力協(xié)同部署。引導(dǎo)通用算力、智能算力、高性能算力中心等合理梯次布局，支持重點企業(yè)建設(shè)智算中心，適度超前提高智能算力占比。推進通用算力中心規(guī)范有序、規(guī)模集約發(fā)展。重點在人工智能發(fā)展基礎(chǔ)較好、產(chǎn)業(yè)需求旺盛的地區(qū)集約化開展智建設(shè)，支持濟南、青島等市用好人工智能創(chuàng)新應(yīng)用先導(dǎo)區(qū)、創(chuàng)新發(fā)展試驗區(qū)，構(gòu)建多元異構(gòu)的千卡級別、萬卡級別智能算力集導(dǎo)濟南、青島國家級超算中心深度融入國家分布式超算互聯(lián)網(wǎng)系統(tǒng)，爭取河北2024.05關(guān)于進一步優(yōu)化算力布局推動人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展的意見到2025年,全省算力規(guī)模達(dá)到35百億億次/秒(EFLOPS)以上,智能算力占比達(dá)到35%左右,新增算力基礎(chǔ)軟硬件設(shè)施自上。在智能制造、醫(yī)療局指動人工智能產(chǎn)業(yè)創(chuàng)新健康等優(yōu)勢領(lǐng)域孵化一批行業(yè)應(yīng)用大模型,培育典型應(yīng)用場景30個。智能產(chǎn)北京2024.04北京市算力基礎(chǔ)設(shè)施建設(shè)實施方案（2024-2027）到2025年,基本建成智算資源供嶺集群化、有算設(shè)施建設(shè)自主化、有算能力賦能精準(zhǔn)化、街算中心運營綠色格局。到2027年,優(yōu)化京津冀象算力供給質(zhì)量和規(guī)模,力命自主可控江蘇2024.04江蘇省算力基礎(chǔ)設(shè)施發(fā)展專項規(guī)劃全市“613”產(chǎn)業(yè)體系重點企業(yè)和在揚從事人工智能研發(fā)應(yīng)用的科研統(tǒng)所,在運河城市算力平臺積用非關(guān)聯(lián)方的智能算力資源,憑的算力服務(wù)合同獲取算力券。算力寫求方通過平臺購買使用智能算力資源服務(wù)的,按服實際支付智能算力費用30%給予支持,給予黑龍江2024.03黑龍江省支持智算中心和超算中心建設(shè)獎勵政策實施細(xì)則省工信廳負(fù)責(zé)對照績效目標(biāo)做好事后績效評價工作，聚焦注重投入產(chǎn)出效益，對政策實施效果和資金使用情況開展“雙評價績效評價質(zhì)量和實效。健全評價指標(biāo)體系，將包括但不限于新增智算、超算規(guī)模，新增算力服務(wù)營收等個性化指標(biāo)作為產(chǎn)出效益重點。加強績效評價結(jié)果應(yīng)用，將評價結(jié)果作為政策調(diào)整、預(yù)算安排和資金分配的重要依據(jù)，對于產(chǎn)出效益未達(dá)預(yù)期的，對政上海2024.03上海市智能算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展“算力浦江”智算行動實施方案（2024-2025年）力爭到2024年,信息通信行業(yè)基本形成布局合理、算網(wǎng)協(xié)同、軟硬協(xié)同、低破高效、數(shù)字化特型帶動能力突出、產(chǎn)業(yè)鏈更數(shù)據(jù)中心發(fā)展體系,初步建成全圖一體化算力網(wǎng)絡(luò)上海樞組節(jié)點,形成與本市數(shù)字經(jīng)濟發(fā)展方貳相運應(yīng),長三南地區(qū)協(xié)同發(fā)展的算力廣東2024.03廣東省算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動暨“粵算”行動計劃2025年，在計算方面，算力規(guī)模達(dá)到38EFLOPS，智能算力占比達(dá)到50浙江2024.03關(guān)于發(fā)展計算產(chǎn)業(yè)打造算力強區(qū)的若干政策（征求意見稿）力爭到2025年,全區(qū)集成電路產(chǎn)業(yè)規(guī)模達(dá)400億元,網(wǎng)絡(luò)通信產(chǎn)業(yè)規(guī)模達(dá)850億元。報進機州人工智能計算中心建術(shù)路絨的公共算力規(guī)模達(dá)到500P,培育等化5個具有行業(yè)影響力的專用模型,人工智能賦能標(biāo)南京2024.03南京市推進算力產(chǎn)業(yè)發(fā)展行動方案2025年,全市數(shù)據(jù)中心總規(guī)模達(dá)到25萬標(biāo)準(zhǔn)機架,總算力超8.5EFL0PS(FP32),可統(tǒng)籌智能算力超6000PFL0PS(F貴州2024.02貴州省算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動計劃（2024-2025）推動算力結(jié)構(gòu)多元配置。結(jié)合人工智能產(chǎn)業(yè)發(fā)展和業(yè)務(wù)需求，重點在西部算力樞紐及人工智能發(fā)展基礎(chǔ)較好地區(qū)集約化開展智建設(shè)，逐步合理提升智能算力占比。推動不同計算架構(gòu)的智能算力與通用算力協(xié)同發(fā)展，滿足均衡型、計算和存儲密集型等各數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結(jié)整理,2024.12 滿足大模型需求的算力是一項復(fù)雜的系統(tǒng)工程滿足大模型需求的算力是一項涉及多層面復(fù)雜系統(tǒng)工程，因為它不僅需要在計算能力上實現(xiàn)指數(shù)級增長，以應(yīng)對大模型的龐大慘數(shù)量，還要在數(shù)據(jù)傳輸、算力系統(tǒng)的設(shè)計遠(yuǎn)非簡單的算力資源堆砌，而是需要解決低時延數(shù)據(jù)交換、節(jié)點間計算負(fù)載的均衡分配、消彌算力堵點，預(yù)防硬件故障等一系列技術(shù)難算力系統(tǒng)的設(shè)計遠(yuǎn)非簡單的算力資源堆砌，而是需要解決低時延數(shù)據(jù)交換、節(jié)點間計算負(fù)載的均衡分配、消彌算力堵點，預(yù)防硬件故障等一系列技術(shù)難同應(yīng)用場景對算力效率、調(diào)度靈活性、擴展性、安全穩(wěn)定、成本效益等方面有著各自獨特的需求。這些需求的多樣性和復(fù)雜單卡1卡起步集算力需求大規(guī)模數(shù)百卡高數(shù)十卡靈快輕易超大規(guī)模極致性能訓(xùn)練預(yù)訓(xùn)練二次訓(xùn)練全參微調(diào)局部微調(diào)推理大模型在不同場景的算力需求及工程難度超大規(guī)模大規(guī)模較小規(guī)模千卡～萬卡數(shù)百卡～千卡單卡8卡起步很高高較高TP/DP/PP并基模選擇，高十萬～百萬條行，海量數(shù)據(jù)質(zhì)量數(shù)據(jù)指令集算力需求模型微調(diào)模型預(yù)訓(xùn)練代碼同應(yīng)用場景對算力效率、調(diào)度靈活性、擴展性、安全穩(wěn)定、成本效益等方面有著各自獨特的需求。這些需求的多樣性和復(fù)雜單卡1卡起步集算力需求大規(guī)模數(shù)百卡高數(shù)十卡靈快輕易超大規(guī)模極致性能訓(xùn)練預(yù)訓(xùn)練二次訓(xùn)練全參微調(diào)局部微調(diào)推理大模型在不同場景的算力需求及工程難度超大規(guī)模大規(guī)模較小規(guī)模千卡～萬卡數(shù)百卡～千卡單卡8卡起步很高高較高TP/DP/PP并基模選擇，高十萬～百萬條行，海量數(shù)據(jù)質(zhì)量數(shù)據(jù)指令集算力需求模型微調(diào)模型預(yù)訓(xùn)練代碼調(diào)試模型訓(xùn)練下游任務(wù)微調(diào)代碼調(diào)試公共開放數(shù)據(jù)處理行業(yè)私有數(shù)據(jù)處理指令微調(diào)數(shù)據(jù)處理計算平臺系統(tǒng)設(shè)計AI集群平臺建設(shè)系統(tǒng)調(diào)試與上線蒸餾轉(zhuǎn)換剪枝量化在線推理在離推理模型架構(gòu)設(shè)計行業(yè)特征工程模型層/優(yōu)化器設(shè)計模型微調(diào)設(shè)計模型設(shè)計超參定義和范圍標(biāo)定防攻擊/故障隔離API開放大模型的研發(fā)、部署及集成是一項復(fù)雜的系統(tǒng)工程數(shù)據(jù)&模型準(zhǔn)備數(shù)據(jù)&模型準(zhǔn)備 算力準(zhǔn)備&模型訓(xùn)練推理部署&集成數(shù)據(jù)處理數(shù)據(jù)處理大規(guī)模訓(xùn)練&微調(diào)大規(guī)模訓(xùn)練&微調(diào)算力準(zhǔn)備&系統(tǒng)調(diào)優(yōu)壓縮/轉(zhuǎn)換優(yōu)化/部署 壓縮/轉(zhuǎn)換優(yōu)化/部署集成集成2024.12AI算力具備軟硬件的復(fù)雜性，并且以不同產(chǎn)品/服務(wù)/方案為應(yīng)用賦能閉源模型應(yīng)用邊緣或端側(cè)應(yīng)用提供基于本地邊緣或端側(cè)交互的應(yīng)用基于AIGC的技術(shù)棧，算力層作為上層模型及應(yīng)用的重要支撐閉源模型應(yīng)用邊緣或端側(cè)應(yīng)用提供基于本地邊緣或端側(cè)交互的應(yīng)用應(yīng)用層應(yīng)用層），數(shù)據(jù)中心與模型APIPrompt優(yōu)化與模型微調(diào)網(wǎng)絡(luò)平臺應(yīng)用率模型Hub率模型Hub開源模型模型層深度學(xué)習(xí)框架與中間件等非開源預(yù)訓(xùn)練模型非開源預(yù)訓(xùn)練模型框架層算力層數(shù)據(jù)層用于訓(xùn)練或云部署的深度學(xué)習(xí)框架和中間件等，包括PyTorch、TensorFl框架層算力層數(shù)據(jù)層用于訓(xùn)練或云部署的深度學(xué)習(xí)框架和中間件等，包括PyTorch、TensorFl云服務(wù)（智算云服務(wù)）層智算服務(wù)平臺云服務(wù)（智算云服務(wù)）層智算服務(wù)平臺PaaSPaaS、MaaS，邊緣計算等 通用算力中心、智算中心、超算中心通過軟硬件結(jié)合方式實現(xiàn)算力資源使用效率提升服務(wù)器層服務(wù)器層服務(wù)器、路由器、交換機、光模塊等IT設(shè)備及機架其他非IT設(shè)備服務(wù)器管理軟件等單芯片、多卡互聯(lián)、存儲、網(wǎng)卡、PCB、BMC、電源等 芯片軟件棧，解決卡內(nèi)、卡間的互聯(lián)及加速 數(shù)據(jù)資源（數(shù)據(jù)采集、清洗、標(biāo)注等）數(shù)據(jù)資源（數(shù)據(jù)采集、清洗、標(biāo)注等）2024.12生成式AI的突破依賴于算力的“暴力美學(xué)”，應(yīng)用依賴于算力在場景中的釋放），訓(xùn)練是指通過數(shù)據(jù)開發(fā)出AI模型，使其能夠滿足推理是指利用訓(xùn)練好的模型進行計算，利用輸入的數(shù)據(jù)獲得正確結(jié)論的過程，一模型參數(shù)數(shù)值基本確定，隨著應(yīng)用場景、適用人群數(shù)量增加，導(dǎo)致推模型參數(shù)數(shù)值基本確定，隨著應(yīng)用場景、適用人群數(shù)量增加，導(dǎo)致推理數(shù)據(jù)量及模型數(shù)量增多，進而使推理算力需求井噴發(fā)展微調(diào)階段訓(xùn)練階段微調(diào)階段訓(xùn)練階段算力算力訓(xùn)練完的模型參數(shù)量也會影訓(xùn)練完的模型參數(shù)量也會影當(dāng)下模型參數(shù)量大規(guī)模提升，同時影響訓(xùn)練數(shù)據(jù)量及訓(xùn)練次數(shù)，推動訓(xùn)練階段算力及對應(yīng)的微調(diào)階段算力提升當(dāng)下模型參數(shù)量大規(guī)模提升，同時影響訓(xùn)練數(shù)據(jù)量及訓(xùn)練次數(shù)，推動訓(xùn)練階段算力及對應(yīng)的微調(diào)階段算力提升2023.082023.08復(fù)雜工程的算力落地理念：需要基于目標(biāo)與資源的分配去達(dá)成工程學(xué)平衡應(yīng)用落地的算力選擇，更應(yīng)該強調(diào)最優(yōu)解，而非最大解。在實現(xiàn)AIGC的技術(shù)落地過程中，模型的參數(shù)量及涌現(xiàn)結(jié)果固然重要，但模型在運行過程中所需的算力核心目標(biāo)：基于行業(yè)Know-How需要實現(xiàn)的行業(yè)Know-How不僅僅表現(xiàn)在豐富的行業(yè)實踐經(jīng)歷，而是深入理解客戶的業(yè)務(wù)需求，并且通過管理項目開Why（用戶分析）?基于用戶的細(xì)分行業(yè)屬性，熟悉細(xì)分行業(yè)的需求價值?基于用戶的業(yè)務(wù)流程細(xì)節(jié)，對用戶的需求矛盾分析?基于用戶的資源能力，明確用戶的負(fù)擔(dān)上限?核心目標(biāo)：基于行業(yè)Know-How需要實現(xiàn)的行業(yè)Know-How不僅僅表現(xiàn)在豐富的行業(yè)實踐經(jīng)歷，而是深入理解客戶的業(yè)務(wù)需求，并且通過管理項目開Why（用戶分析）?基于用戶的細(xì)分行業(yè)屬性，熟悉細(xì)分行業(yè)的需求價值?基于用戶的業(yè)務(wù)流程細(xì)節(jié)，對用戶的需求矛盾分析?基于用戶的資源能力，明確用戶的負(fù)擔(dān)上限?……能耗成本How（項目執(zhí)行）?在不同階段和層面對項目的工作內(nèi)容從主項、分項、子項甚至單體的各個部分進行拆分（例如采用WBS），實現(xiàn)項目關(guān)鍵節(jié)點的管理，?完成項目人員的協(xié)同、管理、分工及時間資源調(diào)配?對風(fēng)險的預(yù)知、判斷及合理控制?……資源分配：通過選擇合適的技術(shù)路徑實現(xiàn)算力的成本優(yōu)化資源分配：通過選擇合適的技術(shù)路徑實現(xiàn)算力的成本優(yōu)化考慮到模型訓(xùn)練“黑盒”機制與多次調(diào)優(yōu)，所需算力與開發(fā)過程強相關(guān)模型推理階段的算力主要為運行模型和數(shù)據(jù)處理，并且需要考慮產(chǎn)品的使用體驗技術(shù)實現(xiàn)路徑算法結(jié)構(gòu)訓(xùn)練數(shù)據(jù)量參數(shù)量規(guī)?；谛枨筮M行模型規(guī)模模型種類考慮到模型訓(xùn)練“黑盒”機制與多次調(diào)優(yōu)，所需算力與開發(fā)過程強相關(guān)模型推理階段的算力主要為運行模型和數(shù)據(jù)處理，并且需要考慮產(chǎn)品的使用體驗技術(shù)實現(xiàn)路徑算法結(jié)構(gòu)訓(xùn)練數(shù)據(jù)量參數(shù)量規(guī)模基于需求進行模型規(guī)模模型種類數(shù)據(jù)吞吐量安全性與穩(wěn)定性推理需求推理需求訓(xùn)練需求其他成本制約因素其他成本制約因素人員成本2023.082023.08根據(jù)英偉達(dá)財報，其數(shù)據(jù)中心的推理占比已經(jīng)達(dá)到英偉達(dá)FY2024數(shù)據(jù)中心推理與訓(xùn)練占比推理端根據(jù)英偉達(dá)財報，其數(shù)據(jù)中心的推理占比已經(jīng)達(dá)到英偉達(dá)FY2024數(shù)據(jù)中心推理與訓(xùn)練占比推理端訓(xùn)練端AIGC模型在處理輸入和輸出時，其計算問成本降低了99%。具體來看，GPT-推理成本從2021年的每千Token0.06美元降至GPT-3.5Turbo的API推理成本與202GPT-4的價格變化2023年3月2023年11月2022-2027年中國AI服務(wù)器工作負(fù)載隨著推理成本的降低，推理端算力需求將持續(xù)擴大（2/2）未來AI應(yīng)用推理的成本可能會遠(yuǎn)超訓(xùn)練。大模型訓(xùn)練是階段性的需求，訓(xùn)練數(shù)據(jù)通常是固定的，比如幾萬億、幾十萬億token的量級，且客戶集中度高。但模型推理成本下降是超級應(yīng)用爆發(fā)的前提條件推理成本推理成本==xxPromptPrompt數(shù)量/生成Token成本成本/FLOP÷ModelModelFLOPsUtilizationChatGPT推理生成超1TTokens/天x訓(xùn)練成本訓(xùn)練成本訓(xùn)練Tokens數(shù)量GPT3.5~2TTokensGPT4~10TTokens推理成本遠(yuǎn)超訓(xùn)練成本推理所需推理所需Token數(shù)遠(yuǎn)超訓(xùn)練所需Token數(shù)提高MFU，推理場景比訓(xùn)練場景面臨更多技術(shù)挑戰(zhàn)推理算力未來可能爆發(fā)的示意圖算力消耗推理算力爆發(fā)訓(xùn)練算力爆發(fā)AI推理成本推理算力未來可能爆發(fā)的示意圖算力消耗推理算力爆發(fā)訓(xùn)練算力爆發(fā)AI推理成本當(dāng)前AI應(yīng)用需求正在發(fā)生變遷，大模型AI的算力資源選擇，需要結(jié)合自身部署能力及應(yīng)用需求綜合考量?算力資源的維度不僅包括算力規(guī)模大小，要考慮算力部署及運營過程中可以利用的程度。算力是工程化結(jié)果，是從芯片到資源服務(wù)的多層次構(gòu)造，需要算?不同需求程度的用戶不能唯算力的?芯片的選擇及適配??芯片的選擇及適配?智算硬件的選擇及適配?智算中心的選擇及適配?接入方式、算力調(diào)度、需求分配、彈性擴展、高效穩(wěn)定、算法優(yōu)化、通訊傳輸、第三方生態(tài)、故障排查、大模型相關(guān)數(shù)據(jù)及訓(xùn)練工具包（生態(tài)）、模型的納管及生態(tài)合作、云邊端協(xié)同可按需適配資源及彈性適配，部署時間更快，可以選擇適配AIGC產(chǎn)品/服務(wù)的算力資源，減少對于AI算力環(huán)境優(yōu)化的時間及人力成本云服務(wù)?芯片的選擇及適配?智算硬件的選擇及適配?租戶管理、配額管理、運維管理、資源及作業(yè)調(diào)度管理、系統(tǒng)監(jiān)控、安全及穩(wěn)定★按需取用、靈活擴展、無需各IT系統(tǒng)的復(fù)雜運維，直接在完成優(yōu)化的環(huán)境下進行開發(fā)智算中心?芯片的選擇及適配?硬件選型及適配（如內(nèi)存）、異構(gòu)算力的調(diào)度及配合、網(wǎng)絡(luò)傳輸、軟件優(yōu)化、集群架構(gòu)、環(huán)境優(yōu)化通過服務(wù)器等硬件完成自有算力的部署，環(huán)境調(diào)試，完成大量不同硬件設(shè)備的選型、優(yōu)化及穩(wěn)定性保障，需要具備成熟的項目案例經(jīng)驗智算硬件需要從芯片層面解決工程問題，包括芯片互聯(lián)、構(gòu)建網(wǎng)絡(luò)、適配從應(yīng)用到硬件的環(huán)境，工作量大且繁雜，需要具備從0到1的經(jīng)驗豐富的技術(shù)團隊支持云服務(wù)?芯片的選擇及適配?智算硬件的選擇及適配?租戶管理、配額管理、運維管理、資源及作業(yè)調(diào)度管理、系統(tǒng)監(jiān)控、安全及穩(wěn)定★按需取用、靈活擴展、無需各IT系統(tǒng)的復(fù)雜運維，直接在完成優(yōu)化的環(huán)境下進行開發(fā)智算中心?芯片的選擇及適配?硬件選型及適配（如內(nèi)存）、異構(gòu)算力的調(diào)度及配合、網(wǎng)絡(luò)傳輸、軟件優(yōu)化、集群架構(gòu)、環(huán)境優(yōu)化通過服務(wù)器等硬件完成自有算力的部署，環(huán)境調(diào)試，完成大量不同硬件設(shè)備的選型、優(yōu)化及穩(wěn)定性保障，需要具備成熟的項目案例經(jīng)驗智算硬件需要從芯片層面解決工程問題，包括芯片互聯(lián)、構(gòu)建網(wǎng)絡(luò)、適配從應(yīng)用到硬件的環(huán)境，工作量大且繁雜，需要具備從0到1的經(jīng)驗豐富的技術(shù)團隊支持?內(nèi)存/顯存、片內(nèi)互聯(lián)及片間互聯(lián)、AI適配生態(tài)工具（包括適配算法及其他硬件）、物理環(huán)境支撐、折舊速率芯片?核心計算單元的算力參數(shù)?對應(yīng)的運算精度?單元數(shù)量2023.12AI芯片是智算產(chǎn)業(yè)的核心環(huán)節(jié)，AI芯片未來發(fā)展空間巨大芯片作為算力產(chǎn)業(yè)的基石，為智能算法和應(yīng)用提供了不可或缺的計算能力。在服務(wù)器成本中，核心芯片如GPU占據(jù)了超過80%的比重。掌握自主可控的AI芯片技術(shù)，對于智算產(chǎn)業(yè)的持續(xù)發(fā)展至關(guān)重要。隨著人工智能應(yīng)用場景的不斷拓展，市場對高性能AI芯片的需求日益增長。同時，存算一體、光通信等前沿技術(shù)的突破，為AI芯片產(chǎn)業(yè)注入了強勁的增長動力。數(shù)據(jù)顯示，2023年中國AI芯片市場規(guī)模已達(dá)到約652億人民幣。預(yù)計到2026年，市場規(guī)模將顯著增長至1611億人民幣，AI芯片市場正迎來快速發(fā)展的黃金時期。圖1：服務(wù)器主要成本構(gòu)成圖2：2020-2026年中國AI芯片市場規(guī)模（單位：億人民幣）0基礎(chǔ)服務(wù)器推理服務(wù)器機器學(xué)習(xí)服務(wù)器高性能服務(wù)器基礎(chǔ)服務(wù)器推理服務(wù)器機器學(xué)習(xí)服務(wù)器2023.12AI芯片成為中美科技博弈的焦點之一，AI芯片國產(chǎn)化刻不容緩在中美科技博弈的背景下，AI芯片的國產(chǎn)化既是技術(shù)發(fā)展的需求，也是國家戰(zhàn)略的一部分，對于提升國家的科技實力和產(chǎn)業(yè)競爭力具有重要作用。壁仞科技及其附屬關(guān)聯(lián)公司摩爾線程及其附屬關(guān)聯(lián)公司龍芯中科技術(shù)股份有限公司浪潮集團長江存儲科技有限責(zé)任公司寒武紀(jì)及其附屬關(guān)聯(lián)公司合肥兆芯電子有限公司長沙景嘉微電子股份有限公司新華三半導(dǎo)體技術(shù)有限公司杭州華瀾微電子股份有限公司深圳云天勵飛技術(shù)有限公司曙光信息產(chǎn)業(yè)股份有限公司華為及其附屬關(guān)聯(lián)公司圖1：近年美國對華半導(dǎo)體管制措施壁仞科技及其附屬關(guān)聯(lián)公司摩爾線程及其附屬關(guān)聯(lián)公司龍芯中科技術(shù)股份有限公司浪潮集團長江存儲科技有限責(zé)任公司寒武紀(jì)及其附屬關(guān)聯(lián)公司合肥兆芯電子有限公司長沙景嘉微電子股份有限公司新華三半導(dǎo)體技術(shù)有限公司杭州華瀾微電子股份有限公司深圳云天勵飛技術(shù)有限公司曙光信息產(chǎn)業(yè)股份有限公司華為及其附屬關(guān)聯(lián)公司2023.10美國商務(wù)部將壁仞科技、摩爾線程等公司列入實體名單。2023.03美國商務(wù)部將浪潮信息、龍芯中科等公司列入實體名單。2022.10BIS對中國實體超級計算機計算芯片和包含此類芯片的計算機商品的禁令，對收到許可證要求限制的外國生產(chǎn)項目的范圍擴大到實體名單上中國境內(nèi)的28家現(xiàn)有實體；針對<=18nm的DRAM>=128層的NAND存儲芯片增加了新的許可證要求；限制美國人員在沒有許可證的情況下支持中國某些半導(dǎo)體制造設(shè)施的研發(fā)和集成電路的制造；將包括長江存儲、中國科學(xué)院大學(xué)等科研院校在內(nèi)的31家實體列入未經(jīng)核實名單（UVL)。2022.08美國通知英偉達(dá)向中國和俄羅斯出口A100和H100芯片需新的許可證要求。2022.08BIS公告美國準(zhǔn)備對EDA等四項技術(shù)實行出口管制。2022.07美國半導(dǎo)體廠商收到美國商務(wù)部規(guī)定，要求不得向中國供應(yīng)用于制造<=14nm芯片的設(shè)2022.07美國眾議院通過《芯片與科學(xué)法案》，主要內(nèi)容包括：分5年提供527億美元用于半導(dǎo)體制造激勵計劃、研發(fā)投資、稅收抵免，其中美國芯片基金共500億美元，390億美元用于鼓勵半導(dǎo)體制造企業(yè)，110億美元補貼芯片研發(fā)；法案要求獲得補貼的半導(dǎo)體企業(yè)未來10年內(nèi)不得在中國大陸新建或擴建先進制程的半導(dǎo)體工廠。2020.12中芯國際被納入實體名單，對用于<=10nm技術(shù)節(jié)點的產(chǎn)品或技術(shù)，美國商務(wù)部采取“推定拒絕”的審批政策進行審核。2019-20202019年5月，華為及69家附屬關(guān)聯(lián)公司被美國列入“實體名單”，2020年5月，BIS限制華為購買使用美國技術(shù)、軟件設(shè)計制造的半導(dǎo)體；2020年8月，BIS在實體清單中新增38家華為附屬公司，并修訂外國制造直接產(chǎn)品規(guī)則，進一步限制華為使用基于美國軟件/技術(shù)生產(chǎn)的半導(dǎo)體。2018.04美國商務(wù)部發(fā)布公告，在未來7年內(nèi)禁止中興通訊向美國企業(yè)購買敏感產(chǎn)品。2023.12美國的限制措施為國產(chǎn)替代提供機遇，國產(chǎn)化進程迎來加速期在AI技術(shù)快速發(fā)展的背景下，AI芯片已成為美國政府卡中國脖子的新武器。自2018年以來，被美國列入“實體清單”的中國AI芯片企業(yè)持續(xù)增加。同時，美國聚焦于高算力芯片，限制英偉達(dá)、AMD等企業(yè)的GPU出口，試圖全面遏制我國AI產(chǎn)業(yè)發(fā)展。美國的限制措施激發(fā)了中國AI芯片產(chǎn)業(yè)的自主創(chuàng)新和研發(fā)，加速了國產(chǎn)替代的進程。中國企業(yè)面對外部壓力。加大研發(fā)投入，努力構(gòu)建自主可控的產(chǎn)業(yè)鏈。被列入“實體清單”的AI芯片企業(yè)數(shù)量美國商務(wù)部工業(yè)和安全局對華高算力芯片出口限制通用半導(dǎo)體通信AIECCN3A090a:對包括中國在內(nèi)的“D：5”國家（地區(qū)）“推定拒絕”∞ECCN3A090b:出口商必須在簽訂合同簽25天通知BIS，由BIS斟酌審查98776664向“實體清單”以通用半導(dǎo)體通信AIECCN3A090a:對包括中國在內(nèi)的“D：5”國家（地區(qū)）“推定拒絕”∞ECCN3A090b:出口商必須在簽訂合同簽25天通知BIS，由BIS斟酌審查98776664向“實體清單”以外的企業(yè)出口無需提前申請531英特爾GPU英特爾GPU000222023.1222GPU占據(jù)AI芯片主導(dǎo)地位，推理需求加速CPU的使用2023年上半年，中國加速芯片的市場規(guī)模超過50萬張，GPU卡占有90%市場份額，非GPU卡占據(jù)10%市場份額。中國本土AI芯片品牌出貨量近5萬張，占整個市場的10%。2024年上半年，中國加速芯片市場規(guī)模超過90萬張。GPU卡占據(jù)80%市場份額，非GPU卡占據(jù)20%市場份額。中國本土AI芯片品牌出貨量近20萬張，約占整個市場的20%。圖2：國產(chǎn)芯片與NVIDIA性能差距正在縮小A100PCleAmpere達(dá)芬奇--達(dá)芬奇2023年H12023年H1-2024年H1中國AI芯片市場份額-達(dá)芬奇-壁立仞架構(gòu)壁立仞架構(gòu)- 數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結(jié)整理,2023.1223TPU具有更低功耗和專用特性，成為AI芯片的重要發(fā)展趨勢之一（1/2）GPU擁有高并行計算能力，適用于多種任務(wù)，但功耗和成本較高，在特定應(yīng)用的優(yōu)化上不如FPGA和ASIC靈活。FPGA可以針對特定應(yīng)用進行編程，以實現(xiàn)硬件級別的優(yōu)化，提供極高靈活性。但FPGA需要硬件描述語言（HDL）編程，比GPU編程更復(fù)雜和困難，開發(fā)周期較長。高性能FPGA的成本通常高于GPU，尤其是在大規(guī)模部署時。ASIC為特定應(yīng)用定制，可以實現(xiàn)極高的性能和效率，且功耗通常低于GPU和FPGA。但ASIC一旦制造完成，就很難更改，這限制了其適應(yīng)新算法或任務(wù)的能力。設(shè)計和制造周期較長。能效王者，TPU算力利用率較高發(fā)布機構(gòu)算力產(chǎn)品能效王者，TPU算力利用率較高發(fā)布機構(gòu)算力產(chǎn)品算力利用率（%）芯片類型定制化程度通用型定制化定制化靈活性好好不好高低編程語言/架構(gòu)等Verilog/VHDL等//平均性能較高、功平均性能很強、功產(chǎn)品成熟耗較低、靈活性強耗很低、體積小主要缺點主要缺點功率不高、不可編輯、功耗高量產(chǎn)單價高、峰值計算能力較低、編程語言難度大前期投入成本高、不可編輯、研發(fā)時間長、技術(shù)風(fēng)險大主要應(yīng)用場景云端訓(xùn)練、云端推理云端推理、終端推理云端推理、推斷推理、終端推理242023.1224TPU具有更低功耗和專用特性，成為AI芯片的重要發(fā)展趨勢之一（2/2）Trainingtimespeedup21.5-NVIDAA100(Availableon-prem)GoogleTPUv4(AvailableClaud)GoogleTPUv4(Research)1.37x10.50BERTTrainingtimespeedup21.5-NVIDAA100(Availableon-prem)GoogleTPUv4(AvailableClaud)GoogleTPUv4(Research)1.37x10.50BERTResNetDLRMRetinaNetMaskRCNN 1.82x1.67x1.15x提供具有成本效益的大規(guī)模提供具有成本效益的大規(guī)模支持AI模型的訓(xùn)練支持大規(guī)模AI模型的訓(xùn)練和推理GoogleTPU發(fā)展史TPUv1在內(nèi)部上線推出Trillium，可靈活匹配不同AI模TPUv1在內(nèi)部上線推出Trillium，可靈活匹配不同AI模型的訓(xùn)練和推理需求推出支持服務(wù)器端AI訓(xùn)練的TPU開始研發(fā)TPU開始研發(fā)TPUModeledcosttotrainon4096A10·Costtotrainon4096TPUv4chipsonGo0 數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結(jié)整理,2023.1225AI算力需求增長推動數(shù)據(jù)中心走向智算中心AI快速發(fā)展推動智能時代的到來，對算力的需求爆發(fā)式增長。傳統(tǒng)數(shù)據(jù)中心以CPU為核心，主要負(fù)責(zé)數(shù)據(jù)處理及應(yīng)用承載，已無法滿足當(dāng)前大規(guī)模并行計算的需求。因此，智算中心應(yīng)運而生，專注于提供AI模型訓(xùn)練和推理所需的高性能計算能力。智算中心以xPU為核心，單機柜功率密度達(dá)到20～100kW，耗電量大，在建設(shè)規(guī)劃時需重點考量地理位置、能源條件、算力規(guī)模、網(wǎng)絡(luò)能力、能耗問題等關(guān)鍵因素。圖1：傳統(tǒng)數(shù)據(jù)中心VS智算中心圖2：不同時期數(shù)據(jù)中心機柜的典型功率（單位：kW每機柜)得益于個人數(shù)字化的高速發(fā)展，互聯(lián)網(wǎng)行業(yè)的公有云及應(yīng)用需求是拉得益于個人數(shù)字化的高速發(fā)展，互聯(lián)網(wǎng)行業(yè)的公有云及應(yīng)用需求是拉采用馮·諾依曼的主從架構(gòu)，面對大單機柜的功率密度通常在3～8千瓦之間，可裝載的服務(wù)器設(shè)備數(shù)量有限，算力密度相對較低，一般次啊主要承載企業(yè)級應(yīng)用和數(shù)據(jù)存儲，如Web服務(wù)、數(shù)據(jù)庫管理和文件存AI降低編程門檻，迭代速度快，讓懂業(yè)務(wù)與懂編程的融合，開發(fā)出更AI模型訓(xùn)練所需的大量矩陣運算。采用多元算力融合架構(gòu)，利用異構(gòu)計算與分布式系統(tǒng)，提供彈性、可伸縮擴展的算力聚合能力。單機柜功率密度通常在20～100千瓦之間，主要采用液冷或風(fēng)液混合智能時代大數(shù)據(jù)時代主要承載AI模型的訓(xùn)練與推理，高效提供算力資源，并支持大數(shù)據(jù)的智能時代大數(shù)據(jù)時代計算機時代2023.12智算中心能效水平日益提高，機架規(guī)模穩(wěn)步增長，算力集群上架率顯著提升我國大力推動智算中心建設(shè)，截至2024年6月，我國數(shù)據(jù)中心超過830萬標(biāo)準(zhǔn)機架，算力規(guī)模達(dá)246EFLOPS（FP32），智算同比增速超過65%。2022年，我國數(shù)據(jù)中心平均上架率為58%，華東、華北、華南地區(qū)上架率超過65%，西北、西南地區(qū)分別約為30%和40%?！皷|數(shù)西算”工程實施以來，算力集群的整體上架率快速提升，西部地區(qū)的算力規(guī)模增長顯著。在用算力中心平均PUE為1.48，與2022年的1.52相比有所改善。圖1：2023年中國數(shù)據(jù)中心機架規(guī)模（單位：萬個）圖2：中國在用算力中心圖1：2023年中國數(shù)據(jù)中心機架規(guī)模（單位：萬個）圖2：中國在用算力中心PUE值和林格爾和集寧集群和林格爾和集寧集群55%～60%00 數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結(jié)整理,2023.1227智能算力市場空間廣闊，全國加快智算中心建設(shè)2022年中國智能算力規(guī)模為259.9EFLOPS（基于FP16計算），預(yù)計2027年達(dá)到1117.4EFLOPS，五年復(fù)合增長率達(dá)33.9%。智算中心建設(shè)提速，數(shù)據(jù)顯示，2024年上半年，全國已經(jīng)建設(shè)和正在建設(shè)的智算中心超過250個，招投標(biāo)事件791起，已有超20個城市建設(shè)了智圖2：中國智算中心項目建設(shè)現(xiàn)狀圖1：2022-2027年中國智能算力規(guī)模及預(yù)測圖2：中國智算中心項目建設(shè)現(xiàn)狀（基于FP16計算，單位：EFLOPS)00項目數(shù)量占比項目投資規(guī)模項目地區(qū)分布主要應(yīng)用領(lǐng)域大型智算百億元及以上京津冀、長三角、珠三角AI大模型、自動駕駛、空間地理等人工智能技術(shù)領(lǐng)域一線、新一線及二線城市人工智能產(chǎn)業(yè)鏈或細(xì)分行業(yè)智能化集群小型智算二線及以下城市企業(yè)智能化建設(shè)或小型人工智能產(chǎn)業(yè)集群282023.1228多種智算中心建設(shè)及運營模式并行，適配不同算力需求擁有全國布局的網(wǎng)絡(luò)基礎(chǔ)資源、數(shù)據(jù)中心資源和具備高標(biāo)準(zhǔn)等級的算力硬件和運維能力，為高性能算力和節(jié)能方案政府投資+企業(yè)運營運營運營投資政府或通過平臺公司投資建設(shè)智算中心。運營上由平臺公司運營，或引入第三方企業(yè)參與運營。該模式多適用于發(fā)達(dá)地區(qū)，本地有強算力需政策補貼自投自運政策補貼政府提供電力、土地等優(yōu)惠政策，如每年購買不少于2000萬算力補貼，連續(xù)購買5年投資聯(lián)合運營合資公司合資公司智算中心平臺公司投資建設(shè)智算中心企業(yè)與平臺公司或地方性國資企業(yè)成立合資公司，負(fù)責(zé)公司人、財、物管理，其他部門可采用外包等方式2023.12AI服務(wù)器需求激增，帶動市場規(guī)?？焖僭鲩LAI服務(wù)器是智能算力的重要載體，在全球范圍內(nèi)迅速擴張。2023年，全球AI服務(wù)器市場規(guī)模突破500億美元，增幅高達(dá)95.8%，預(yù)計到2018年，市場規(guī)模有望突破1000億美元，五年的年復(fù)合增長率預(yù)計為14.5%。中國AI服務(wù)器在AI及智算產(chǎn)業(yè)的高速發(fā)展下持續(xù)攀升，從2020年的149億人民幣增長至2023年的692億人民幣。隨著AI應(yīng)用的成熟和普及，市場對于AI服務(wù)器的需求預(yù)計繼續(xù)增長。預(yù)計到2028年，中國AI服務(wù)器的市場規(guī)模達(dá)到1433億人民幣。圖1：2020-2028年全球AI服務(wù)器的市場規(guī)模（單位：億美元）圖2：2020-2028年中國AI圖1：2020-2028年全球AI服務(wù)器的市場規(guī)模（單位：億美元）（單位：億人民幣）0 .0.0數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結(jié)整理,2023.12AI服務(wù)器出貨量快速增長響應(yīng)下游應(yīng)用需求AI服務(wù)器的出貨量從2020年的15萬臺激增至2023年的36萬臺，實現(xiàn)了顯著的增長。其中，訓(xùn)練型服務(wù)器占據(jù)市場主體地位，但隨著生成式AI應(yīng)用的發(fā)展，推理型服務(wù)器預(yù)計將逐漸成為市場主流互聯(lián)網(wǎng)行業(yè)在大模型訓(xùn)練和推理方面處于領(lǐng)先地位，占據(jù)了AI服務(wù)器年出貨量的半壁江山。隨著垂直領(lǐng)域大模型在金融、能源、交通、教育、政務(wù)以及智能制造等行業(yè)的廣泛應(yīng)用，對AI服務(wù)器等智能計算資源的需求預(yù)計將持續(xù)穩(wěn)步上升。圖1：2020-2028年中國AI服務(wù)器出貨量圖2：2020-2028年中國AI圖1：2020-2028年中國AI服務(wù)器出貨量（單位：萬臺）2023.12“云+AI”雙輪驅(qū)動，成為云廠商擴大AI算力投入與產(chǎn)出的新動力從投入端來看，2005-2023年，Amazon、Micosoft、Google及Meta四大云廠商資本開支整體呈現(xiàn)擴大趨勢。2005-2022年，海外云廠商資本開支的增長驅(qū)動是云計算業(yè)務(wù)（IaaS+PaaS+SaaS）的持續(xù)增長；進入2023年，云計算+AI成為新的雙輪引擎，云廠商通過加強AI算力建設(shè)來滿足大模型訓(xùn)練及推理需求。從收入端來看，得益于MaaS服務(wù)帶動，Micosoft、Google、Amazon云收入增速自2023Q3逐步企穩(wěn)，2024Q1三家公司的云收入同比增速分別為31%、28%、17%。MaaS成為云廠商新的增長動力。圖1：AI成為推動海外云廠商資本開支增長的驅(qū)動力（單位：億美元）線上辦公需求增長云服務(wù)成熟企業(yè)上云加速MicrosoftGoogle正式推出云服務(wù)云服務(wù)初期AWS率先布局0生成式AI快速發(fā)展線上辦公需求增長云服務(wù)成熟企業(yè)上云加速MicrosoftGoogle正式推出云服務(wù)云服務(wù)初期AWS率先布局0生成式AI快速發(fā)展IaaSPaaSMaaSSaaSIaaSPaaSMaaSSaaS322023.1232AI驅(qū)動云計算市場迎來新一輪增長，加速產(chǎn)業(yè)格局重構(gòu)縱觀整個行業(yè)，我國云計算市場展現(xiàn)出強勁的增長勢頭。2023年，我國云計算市場規(guī)模達(dá)6165億元，同比增長35.5%。隨著AI原生帶來的云計算技術(shù)革新和大模型規(guī)?；瘧?yīng)用逐步落地，云計算產(chǎn)業(yè)預(yù)計將開啟新一輪增長周期。到2027年，市場規(guī)模有望達(dá)到21404億元，增長潛力巨大。在市場格局方面，阿里云、天翼云、移動云、華為云、騰訊云和聯(lián)通云六大云服務(wù)商共占據(jù)了我國公有云71.5%的市場份額。隨著AI應(yīng)用的落地，中腰部廠商憑借創(chuàng)新技術(shù)與行業(yè)經(jīng)驗在推動產(chǎn)業(yè)升級方面將發(fā)揮重要作用，云廠商競爭格局或?qū)a(chǎn)生新變化。圖1：2021-2017年中國云計算市場規(guī)模及增速（單位：億人民幣，%）圖2：2023年中國公有云IaaS廠商占比天翼云移動云 華為云華為云a騰訊云a聯(lián)通云其他a聯(lián)通云其他00332023.1233云服務(wù)模式轉(zhuǎn)變，形成涵蓋基礎(chǔ)設(shè)施、模型平臺、應(yīng)用生態(tài)的MaaS服務(wù)架構(gòu)全球云廠商正在圍繞生成式AI重新布局MaaS服務(wù)架構(gòu)，構(gòu)建大模型端到端服務(wù)體系。以AI芯片為核心構(gòu)建基礎(chǔ)設(shè)施，提供大模型訓(xùn)練、推理所需的算力；利用模型平臺集成自研、第三方或開源大模型，支持應(yīng)用開發(fā)；直面業(yè)務(wù)，將大模型深度賦能行業(yè)/場景，構(gòu)建“AI+”創(chuàng)新生態(tài)。海內(nèi)外云廠商在過往的基礎(chǔ)架構(gòu)上圍繞AI構(gòu)建新的創(chuàng)新生態(tài)MaaSMaaS模式基于傳統(tǒng)云服務(wù)的升級：基于傳統(tǒng)模式的IaaS及PaaS支撐的AI能力釋放用戶AI應(yīng)用SaaSAzureAI文檔/視覺/語音用戶AI應(yīng)用SaaSAzureAI文檔/視覺/語音CopilotRecommendationsAI商品推薦、TranslationAI翻譯、VedioAI視頻分類CodeWhispere編程助手SsupplyChain供應(yīng)鏈助手、Connec聯(lián)絡(luò)中心、QuickSight報表從模型到應(yīng)用從模型到應(yīng)用基于公共網(wǎng)絡(luò)平臺的應(yīng)用，單一平臺應(yīng)用AI應(yīng)用開發(fā)平臺BedrockAzureAIStudioAzureOpenAI服務(wù)AI應(yīng)用開發(fā)平臺BedrockAzureAIStudioAzureOpenAI服務(wù)VertexAIAgentBuilder數(shù)據(jù)中心與模型API數(shù)據(jù)中心工具與模型部署和調(diào)用API 邊緣或端側(cè)應(yīng)用提供基于本地邊緣或端側(cè)交互的應(yīng)用接提供基服務(wù)方案其他模型MaaS接提供基服務(wù)方案其他模型MaaS商業(yè)化的預(yù)訓(xùn)練模型，通過API調(diào)用開源模型共享平臺其他第三方開源模型基于預(yù)訓(xùn)練模型的場景/產(chǎn)品適配GPT+Sora系列Claude3系列投資模型Claude3系列自研模型TitanGPT+Sora系列Claude3系列投資模型Claude3系列自研模型Titan系列Gemini系列WizardLM系列一般可免費試用PaaSBedrockAzureAI平臺模型平臺云服務(wù)算力層X86CPU+NVIDIAPaaSBedrockAzureAI平臺模型平臺云服務(wù)算力層X86CPU+NVIDIAGPUX86CPU+NVIDIAGPU芯片IaaS用于訓(xùn)練或云部署的深度學(xué)習(xí)框架和中間件等，包括PyTorch、TensorFlowVertexAIPlatformX86CPU+NVIDIAGPUArmX86CPU+NVIDIAGPUArm架構(gòu)CPUCobaltArm架構(gòu)CPUGravitonArm架構(gòu)CPUAxion訓(xùn)練/推理芯片TPU訓(xùn)練芯片Trainium訓(xùn)練推理/芯片Maia訓(xùn)練/推理芯片TPU訓(xùn)練芯片Trainium訓(xùn)練推理/芯片Maia}硬件推理芯片Inferentia硬件推理芯片Inferentia服務(wù)器、存儲、網(wǎng)絡(luò)等其他服務(wù)器、存儲、網(wǎng)絡(luò)等其他2023.12342023.1234云服務(wù)多重優(yōu)勢助力AI應(yīng)用調(diào)研數(shù)據(jù)顯示，企業(yè)的大模型部署中72%的企業(yè)選擇的使用模型API服務(wù)，其中52%來自云廠商托管。由此可見，云服務(wù)商在模型購買中具有較大的影響力，企業(yè)出于安全考慮等因素會通過現(xiàn)有云服務(wù)商購買模型。Azure用戶更喜歡OpenAI，而Amazon用戶更喜歡Anthropic或Cohere。此外，使用AI云服務(wù)有諸多優(yōu)勢：按需付費，靈活調(diào)用資源，實現(xiàn)成本控制；推理服務(wù)可就近接入，實現(xiàn)低時延；滿足云、邊、端多樣化算力部署；提供了豐富的API和開發(fā)工具，使得開發(fā)者可以快速開發(fā)和部署新應(yīng)用等。云服務(wù)商（如Amazon） 圖1：云在模型購買決定中具有較大影響力圖2：云服務(wù)的優(yōu)勢云服務(wù)商（如Amazon） 按需付費，即刻按需付費，即刻交付自建數(shù)據(jù)中心總耗時3個月以上1.5月左右招標(biāo)1月左右硬件安裝軟件調(diào)試1.5月左右招標(biāo)1月左右硬件安裝軟件調(diào)試0.5月0.25月業(yè)務(wù)割接驗收交付流程零0.5月0.25月1.5月左右零0.5月0.25月云服務(wù)云服務(wù)分鐘級資源開通上線就就近接入，超低時延352023.1235針對生成式AI的算力解決方案可提升企業(yè)及產(chǎn)業(yè)AI落地效率從而降低企業(yè)在硬件設(shè)備上的投入成本。同時，智算集群的從而降低企業(yè)在硬件設(shè)備上的投入成本。同時，智算集群的自動化管理和維護功能，可以減少企業(yè)在IT設(shè)備維護方面的人通過資源整合技術(shù)，將分散算力池化管理，依據(jù)不同應(yīng)用需求靈活調(diào)度，極大提高了資源利用率。這種管理方式使得無論是深度學(xué)習(xí)模型智算中心都能展現(xiàn)出其不可或缺的作用。通過高效計算和分析能力，企業(yè)可以更快地利用通過高效計算和分析能力，企業(yè)可以更快地利用AI響應(yīng)市場需求變化，搶占市場先機。降低初始門檻，加速產(chǎn)品的研發(fā)對于優(yōu)勢型產(chǎn)業(yè)集群，AI集群管理通過構(gòu)建區(qū)域行業(yè)云的價值分析數(shù)字化底座，提供行業(yè)特定能力的平臺和應(yīng)用，服務(wù)區(qū)域價值分析通過優(yōu)化調(diào)度算法和資源管理系統(tǒng)，實現(xiàn)了智能與通用算力資源的高效協(xié)同，實現(xiàn)了綠色算力的區(qū)域發(fā)展，協(xié)同賦能產(chǎn)業(yè)綠通過優(yōu)化調(diào)度算法和資源管理系統(tǒng)，實現(xiàn)了智能與通用算力資源的高效協(xié)同，實現(xiàn)了綠色算力的區(qū)域發(fā)展，協(xié)同賦能產(chǎn)業(yè)綠色低碳轉(zhuǎn)型幫助企業(yè)探索新的商業(yè)模式，通過生成式AI技術(shù)，挖掘出更多的商業(yè)機會和市場空間。此外，高效的智算集群為企業(yè)提供了強大的創(chuàng)新平彩訊股份AI原生云計算解決方案AICloud，集合了下一代AI原生云計算網(wǎng)絡(luò)架構(gòu)、超大規(guī)模算力集群管理平臺、高性能大模型訓(xùn)推平臺三層架快速構(gòu)建大規(guī)模算力集群、部署運營專屬大模型。基于此方案，GPU集群峰值 37AI算力服務(wù)商市場變化：產(chǎn)品及服務(wù)復(fù)雜性提升，推動市場多樣性發(fā)展各省市智算中心trixFusioNsu智算服務(wù)平臺纂ongsysx各省市智算中心trixFusioNsu智算服務(wù)平臺纂ongsysx…說明：文中的智算服務(wù)平臺一般指為解決算力調(diào)度、管理、資源匹配及性能優(yōu)化的一類型解決方案提供商，可根據(jù)用戶需求提供多類型、不同交付模式的解決方案。*分類及企業(yè)數(shù)據(jù)截至2024年12月，隨著AI在多場景、多領(lǐng)域的不斷應(yīng)用，將不斷推38數(shù)據(jù)來源:公開資料、專家訪談、甲子光年智庫總結(jié)整理,2023.12重點廠商產(chǎn)品及服務(wù)能力分析——博大數(shù)據(jù)競爭優(yōu)勢2競爭優(yōu)勢2打造最佳TCO 》 算力基礎(chǔ)設(shè)施及服務(wù)算力及運維服務(wù)：基于自建的智算中心，為客戶設(shè)計和建造智算中心、銷售和租賃算力設(shè)備、提供算力租賃服務(wù)、優(yōu)化算力網(wǎng)絡(luò)。同時通過AI賦能針對所有數(shù)據(jù)中心客戶提供監(jiān)控、巡檢、IT運維和 機房改造服務(wù)。自有資源量身定制工程化交付+預(yù)制化交付提質(zhì)增效核心能力公司簡介：博大數(shù)據(jù)作為領(lǐng)先的融合算力基礎(chǔ)設(shè)施服務(wù)商，核心團隊擁有超過20年的行業(yè)運營管理經(jīng)驗，積累了豐富的通用能算力及邊緣算力資源，并具有強大的算力建設(shè)能力、平臺服務(wù)能力以及算力運營能力，致力于打造一體化數(shù)據(jù)與算力融合的數(shù)博大數(shù)據(jù)已在全國范圍內(nèi)部署了以北京、上海、廣州、深圳、成都、武漢為核心的環(huán)首都、長江經(jīng)濟帶、粵港澳大灣區(qū)及成超大規(guī)模算力基礎(chǔ)設(shè)施集群，其總面積超過30萬平方米，擁力企業(yè)核心與邊緣形態(tài)共存的算力集群演變。此外，博大數(shù)據(jù)積極進行國際化布局，不斷通過資源整合打造全球數(shù)字生態(tài)，》一是擁有傳統(tǒng)數(shù)據(jù)中心、大型智算中心和邊緣智算中心，可以滿足客戶通用算力、智能算力和邊緣算力的需求；二是國內(nèi)業(yè)務(wù)與國際業(yè)務(wù)的融合，擁有全球化經(jīng)驗；三是生態(tài)合作的融合，能夠同時支持多種GPU服務(wù)器。博大數(shù)據(jù)通過搭建智算算力平臺、進行技術(shù)創(chuàng)新，依托高彈性、高管理、高可靠、高算力、高能效、高安全的六大智算理念，為客戶降低TCO?！肪C合采用液冷、蒸發(fā)冷熱管系統(tǒng)、電力模塊、光伏、余熱回收等技術(shù)，降低PUE，提升效能，提升算力供應(yīng)能力?！窊碛?00余名專業(yè)運維人員，核心團隊經(jīng)驗豐富，熟知行業(yè)規(guī)范。依托全國15個數(shù)據(jù)中心，形成互補互備網(wǎng)絡(luò)，應(yīng)急響應(yīng)迅速。博大數(shù)據(jù)已服務(wù)超過2000家優(yōu)質(zhì)客戶，》一是擁有傳統(tǒng)數(shù)據(jù)中心、大型智算中心和邊緣智算中心，可以滿足客戶通用算力、智能算力和邊緣算力的需求；二是國內(nèi)業(yè)務(wù)與國際業(yè)務(wù)的融合，擁有全球化經(jīng)驗；三是生態(tài)合作的融合，能夠同時支持多種GPU服務(wù)器。博大數(shù)據(jù)通過搭建智算算力平臺、進行技術(shù)創(chuàng)新，依托高彈性、高管理、高可靠、高算力、高能效、高安全的六大智算理念，為客戶降低TCO?！肪C合采用液冷、蒸發(fā)冷熱管系統(tǒng)、電力模塊、光伏、余熱回收等技術(shù)，降低PUE，提升效能，提升算力供應(yīng)能力?！窊碛?00余名專業(yè)運維人員，核心團隊經(jīng)驗豐富，熟知行業(yè)規(guī)范。依托全國15個數(shù)據(jù)中心，形成互補互備網(wǎng)絡(luò)，應(yīng)急響應(yīng)迅速。博大數(shù)據(jù)已服務(wù)超過2000家優(yōu)質(zhì)客戶，涵蓋金融、互聯(lián)網(wǎng)、云廠家、游戲等多個行業(yè)。基礎(chǔ)服務(wù)：遵循模塊化設(shè)計理念設(shè)計并建造超大規(guī)模算力中心，展現(xiàn)出極高的靈活性和可擴展性，配備有定制化的機電和制冷設(shè)備，為客戶提供安全可靠且具備容錯能力的數(shù)據(jù)中心環(huán)境。連接類服務(wù)：算力中心通過全光網(wǎng)絡(luò)連接所有主流運營商，并與領(lǐng)先的云計算公司和互聯(lián)網(wǎng)公司互聯(lián)互通，幫助客戶快速建設(shè)算力中心、云和客戶辦公室之間的高速互聯(lián)網(wǎng)絡(luò)。增值服務(wù)及解決方案：為客戶提供災(zāi)備、云遷移、安全等增值服務(wù)，構(gòu)建服務(wù)生態(tài)，推動產(chǎn)業(yè)數(shù)字化；根據(jù)各行業(yè)客戶需求為其量身定制上云下云、數(shù)字韌性、數(shù)據(jù)安全等解決方案。>>共有資源客戶資源心臺樹立智算中心產(chǎn)業(yè)標(biāo)桿，讓澎湃算力觸手可及，助力產(chǎn)業(yè)轉(zhuǎn)型升級項目背景：博大數(shù)據(jù)與恒為科技合作，在前海智算中心建立了“恒為智云·前海智算中心”，旨在為粵算中心”是廣東省第一個由民企投資、民企運營的華為昇騰集群，也是第一個支持深圳上海兩地實現(xiàn)大帶寬低延時專網(wǎng)打通計算資源的華為昇騰集群。該算力集群面向大灣區(qū)用戶，輻射全國，為各行各業(yè)的數(shù)智升級博大數(shù)據(jù)深圳前海智算中心基礎(chǔ)設(shè)施投資20億元，總面積超過5萬平方米，并支持高功率深度定制，整體按照國家A級標(biāo)準(zhǔn)建設(shè)，一期可支持算力規(guī)