智算基礎(chǔ)設(shè)施發(fā)展研究報(bào)告（2024年）

1 4 4 6 8 10 12 12 14 16 18 19 20 20 21 22 22 23 23 241一、智算基礎(chǔ)設(shè)施發(fā)展概述計(jì)算的良好支撐。在單服務(wù)器節(jié)點(diǎn)級(jí)，以“CPU+XPU”異構(gòu)計(jì)算范源需要以集群模式部署以提供并行計(jì)算能力，高性能無(wú)損網(wǎng)絡(luò)+高性能存儲(chǔ)為單服務(wù)器節(jié)點(diǎn)級(jí)和多服務(wù)器集群級(jí)的算力突破提供了重要23區(qū)域?qū)用娴漠a(chǎn)業(yè)創(chuàng)新與科研創(chuàng)新。據(jù)團(tuán)隊(duì)不完4二、智算基礎(chǔ)設(shè)施的供需布局（一）基礎(chǔ)大模型訓(xùn)練推動(dòng)大規(guī)模智算集群強(qiáng)增長(zhǎng)模型名稱模型參數(shù)規(guī)模（個(gè)）訓(xùn)練集（Token數(shù)）訓(xùn)練完成所需算力估算（PFLOPS）1000P智算中心耗時(shí)4100P智算中心耗時(shí)5（天）9961TPU或其他專用AI加速芯片）組成的高性能計(jì)算系統(tǒng)，用以訓(xùn)練基56H100集群，支持下一代生成式Al模型的訓(xùn)練6。搭建了一個(gè)12288卡Ampere架構(gòu)訓(xùn)練集統(tǒng)用于訓(xùn)練大語(yǔ)言模型7。大型AI研發(fā)（二）模型推理應(yīng)用將構(gòu)成智算基建第二條增長(zhǎng)曲線隨著AI大模型的應(yīng)用落地，推理智算需求正迎來(lái)爆發(fā)。隨著/yaowen/20240514/lfZA1rtFgLoX3R8yM1axamaw7案例來(lái)源：字節(jié)跳動(dòng)論文《MegaScale:SGPUs》.8案例來(lái)源：國(guó)資委官網(wǎng).78（三）區(qū)域智算基建布局綜合考慮訓(xùn)練與推理需求練及高并發(fā)推理應(yīng)用。人工智能發(fā)展基礎(chǔ)較好的城市，布局300至復(fù)雜計(jì)算的需求。與此同時(shí)，各地市、區(qū)也在積極發(fā)展40至300PFLOPS規(guī)模的小規(guī)模算力中心，以適應(yīng)本地不同行業(yè)和場(chǎng)景下9從重點(diǎn)城市來(lái)看，我國(guó)已初步形成三級(jí)智能算力基建布城市布局智算中心綜合考慮區(qū)域內(nèi)AI訓(xùn)練與推理需求。截至（四）跨區(qū)域調(diào)度協(xié)同強(qiáng)力支撐智算基建供需對(duì)接群調(diào)度性能每秒超過(guò)2000+實(shí)例，打造通智超一體化智算加速平臺(tái)長(zhǎng)三角算力調(diào)度中心承載了中國(guó)電信天翼云4.0算力分發(fā)網(wǎng)絡(luò)平臺(tái)-建(十)萬(wàn)卡集群技術(shù)難度高、投入成本極構(gòu)建跨區(qū)域跨主體互聯(lián)的智算基礎(chǔ)設(shè)施，共同協(xié)作支撐大模型訓(xùn)練。點(diǎn)高速互聯(lián)時(shí)延在微秒級(jí)（服務(wù)器內(nèi)部是納秒級(jí)但互聯(lián)網(wǎng)骨干網(wǎng)三、智算基礎(chǔ)設(shè)施的能力要求（一）算力有效性是核心智算基礎(chǔ)設(shè)施最終的有效算力供給能力。模型計(jì)算利用率（MFU，率。高M(jìn)FU表明加速器在模型訓(xùn)練中被充分互聯(lián)網(wǎng)絡(luò)，國(guó)內(nèi)廠商在構(gòu)建智算集群方面正縮小與英偉達(dá)Nvli向擴(kuò)展（ScaleUp）系統(tǒng)提供了靈活高效的方法。浪潮SuperPod集群BandwidthMemory，高帶寬內(nèi)存)突破了內(nèi)存容量與帶寬瓶頸，被視（二）集群穩(wěn)定性是保障天。浪潮信息推出大模型智算軟件棧OGAI，軟件棧調(diào)度平臺(tái)層（三）綠色低碳性是前提測(cè)算，使用英偉達(dá)GPU集群組成的微軟超算數(shù)據(jù)中心中訓(xùn)練一次節(jié)約。液冷總線方面，高集成性智算液冷整機(jī)柜可實(shí)現(xiàn)數(shù)字化控制、機(jī)柜內(nèi)互聯(lián)成本降低90%，整柜功耗降低3%，網(wǎng)絡(luò)部署時(shí)間縮短（四）服務(wù)易用性是亮點(diǎn)普惠泛在的智算服務(wù)是智算基礎(chǔ)設(shè)施服務(wù)發(fā)展趨勢(shì)。AI大模型以“大規(guī)模預(yù)訓(xùn)練+微調(diào)”為主，前期預(yù)訓(xùn)練工作量大，且需要高性計(jì)算能力要求相對(duì)較低。智算中心的算法模型、AI架構(gòu)定制化程度四、智算基礎(chǔ)設(shè)施的賦能模式（一）產(chǎn)研合作行業(yè)大模型的快速檢索及化工流程工藝的自主設(shè)計(jì)和優(yōu)化，實(shí)現(xiàn)甲醇制丙烯(DMTP)等工藝過(guò)程的反應(yīng)動(dòng)力學(xué)自動(dòng)生成，縮短化工工藝流程的研大學(xué)軟件學(xué)院算法資源進(jìn)行模型訓(xùn)練調(diào)優(yōu)處理，提升模型訓(xùn)練效率，西安人工智能計(jì)算中心已共同推出西安電子科技大學(xué)“秦嶺·西電遙（二）龍頭引領(lǐng)聯(lián)合創(chuàng)新校以及產(chǎn)業(yè)鏈上下游企業(yè)等共同發(fā)起成立人工智能全要素創(chuàng)新聯(lián)合AI應(yīng)用落地。武漢人工智能計(jì)算中心依托中科院“紫東太初”大模（三）央國(guó)企示范應(yīng)用發(fā)展積極響應(yīng)國(guó)資委“人工智能+”專項(xiàng)行動(dòng)要求，依托智能計(jì)算基礎(chǔ)軟科工集團(tuán)機(jī)器人科技有限公司借助國(guó)產(chǎn)化機(jī)器人軟硬件平臺(tái)，打造（四）超智融合算力生態(tài)五、