2024算力工廠建設(shè)指南白皮書(shū)

目 次前 言 Ⅲ概述 1背景 1力展勢(shì)挑戰(zhàn) 1制數(shù)中發(fā)展 4算工概述 5力廠式義 5力廠態(tài)類 6力廠心念 6力廠式勢(shì) 7力廠用景 7力廠益析 8算工建模式 8設(shè)式類 8設(shè)式薦 9算工規(guī)建議 10力式 10力模 力用 算工建思路 14設(shè)則 14設(shè)程 15力廠術(shù)架 16算工運(yùn)模式 25力營(yíng) 25力售 27常維 27參考文獻(xiàn) 29IIOCTCAB01—2024前 言本文件由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院提出。本文件由開(kāi)放計(jì)算標(biāo)準(zhǔn)工作委員會(huì)歸口。IIIOCTCAB01—2024算力工廠建設(shè)指南概述202323050%設(shè)“”TCO（TCOIT背景（2022年FLOPS1OCTCAB01—2024GDP1GDP隨著工信部數(shù)據(jù)顯示，截至2023年底，我國(guó)在用數(shù)據(jù)中心機(jī)架總規(guī)模超過(guò)810萬(wàn)標(biāo)準(zhǔn)機(jī)架，算力總規(guī)模達(dá)到了230EFLOPS，算力總規(guī)模居全球第二位。20232023-202420271117.4EFLOPS2027117.3EFLOPS2022-202733.9%，同期通用算力規(guī)模年復(fù)合增長(zhǎng)率為16.6%。這些數(shù)據(jù)充分表2OCTCAB01—2024AIGC（2023年74%25%邊“”和”AIGC1～22022PUE為PUE1.25隨著GPU40kW7kWITIT3OCTCAB01—2024DC//算力基礎(chǔ)設(shè)施屬于重資產(chǎn)和資本密集型行業(yè)，具有前期投入大、技術(shù)迭代快、建設(shè)門檻高等特點(diǎn)，其建設(shè)運(yùn)營(yíng)需要消耗巨大的時(shí)間成本和資金成本，遠(yuǎn)遠(yuǎn)超出了中小微企業(yè)的承受范圍。2016201671號(hào)”2022年4。7.4202024.5%“2025圖12017-2025年中國(guó)新建裝配式建筑面積及占新建建筑比例預(yù)測(cè)趨勢(shì)4OCTCAB01—2024同時(shí)多個(gè)地區(qū)對(duì)于數(shù)據(jù)中心采用裝配式建筑出臺(tái)了相應(yīng)的政策要求，其中東部地區(qū)應(yīng)用較為突出。北京要求數(shù)據(jù)中心建筑面積大于5000㎡需按照裝配式建筑實(shí)施；上海要求數(shù)據(jù)中心項(xiàng)目各幢建筑面積總和大于10000㎡，需按照裝配式建筑實(shí)施；海南要求數(shù)據(jù)中心需按照裝配式建筑實(shí)施；浙江雖未對(duì)新建（數(shù)據(jù)中心）項(xiàng)目強(qiáng)制性采用裝配式建筑，但處于逐步推廣期。AllInOne（AllInOneInOne”ITTCO5OCTCAB01—2024圖2算力工廠架構(gòu)圖按照搭載算力規(guī)模的不同，算力工廠可分為以下三大建設(shè)形態(tài)：AllInOne以40/20英尺集裝箱為載體，在單個(gè)箱體內(nèi)集成機(jī)柜、配電、空調(diào)、監(jiān)控、消防于一體，一體化快速交付部署。以40/20英尺或其他非標(biāo)準(zhǔn)尺寸集裝箱為載體，采用拼箱的方式，多個(gè)不同功能的集裝箱拼接而成的單層臨時(shí)建筑結(jié)構(gòu)的集裝箱數(shù)據(jù)中心。以40/20英尺或其他非標(biāo)準(zhǔn)尺寸集裝箱為載體，40采用拼箱和疊箱的方式，將多個(gè)不同功能的集裝箱搭建而成的單層或多層具有產(chǎn)權(quán)的建筑結(jié)構(gòu)的集裝箱數(shù)據(jù)中心。算力工廠打造創(chuàng)新的算力全生命周期服務(wù)模式，讓算力以更合適的方式更快發(fā)生在更亟需的地方。算力工廠以預(yù)制化集裝箱數(shù)據(jù)中心為基礎(chǔ)底座，相比傳統(tǒng)的土建模式，打造極致快速交付的單箱、拼箱、疊箱多形態(tài)算力工廠基座。算力工廠提供算力中心的的代建代維服務(wù)，面向用戶輕重資產(chǎn)的算力需求，提供新建或租賃模式，靈活適配多種需求的業(yè)務(wù)場(chǎng)景。6userid:529794,docid:169606,date:2024-07-25,OCTCAB01—202450%光伏+儲(chǔ)能+液冷+自然冷源多種綠色技術(shù)有機(jī)結(jié)合統(tǒng)一，PUE可低至1.15以下，降低碳排放25%。90%40kW65kW搭建融合動(dòng)環(huán)監(jiān)控系統(tǒng)與AIIT支持同層水平和多層垂直擴(kuò)容方式，初期根據(jù)資金水平和算力需求按需部署，后期根據(jù)算力設(shè)備，匹配新型數(shù)據(jù)中心模式在線柔性升級(jí)擴(kuò)容。根據(jù)算力規(guī)模，可提供AllInOne、臨建級(jí)和建筑級(jí)算力工廠三種模式，滿足云計(jì)算、邊緣計(jì)算等多場(chǎng)景需求。PUE7OCTCAB01—202450%500ITN+10.75元/kWh表1預(yù)制化集裝箱數(shù)據(jù)中心與傳統(tǒng)土建模塊化數(shù)據(jù)中心收益對(duì)比分析對(duì)比項(xiàng)預(yù)制化集裝箱數(shù)據(jù)中心傳統(tǒng)土建模塊化數(shù)據(jù)中心備注機(jī)柜數(shù)量（個(gè)）500500功率密度（kW/柜）2020建設(shè)周期（月）不含論證及報(bào)規(guī)報(bào)建923預(yù)制模塊化快14個(gè)月建設(shè)總投資總費(fèi)用1.00xAA端到端投資基本持平IT設(shè)備BB基礎(chǔ)設(shè)施1.0xCC3年收入租金2EE預(yù)制模塊化早上線14個(gè)月投資回報(bào)期（年）1.93.1預(yù)制模塊化快1.2年注1：1.00x及1.0x表示倍數(shù)，x取值區(qū)間為1～9。注2：“3年收入”和“投資回報(bào)期”均已啟動(dòng)建設(shè)時(shí)間為起點(diǎn)計(jì)算。注3：以上為某特定應(yīng)用場(chǎng)景需求明確的前提下收益的測(cè)算，僅供參考。預(yù)制化集裝箱數(shù)據(jù)中心由于采用全鋼結(jié)構(gòu)，相對(duì)傳統(tǒng)土建數(shù)據(jù)中心在數(shù)據(jù)中心基礎(chǔ)設(shè)施的造價(jià)要IT年。EPCEPC8OCTCAB01—2024在EPCEPCEPC（EngineeringProcurementConstruction）EPCEPCEPCEPCEPC業(yè)主將項(xiàng)目建設(shè)風(fēng)險(xiǎn)轉(zhuǎn)移給EPCEPCEPCEPCEPCEPC9OCTCAB01—2024AllInOneAllInOne4020EPC在算力工廠規(guī)劃階段，需首先明確采用哪種算力形式。CPUGPUCPUGPU、FPGA、AlCPUGPU、FPGA、Al超算算力以超級(jí)計(jì)算機(jī)輸出的計(jì)算能力為主，利用并行工作的多臺(tái)計(jì)算機(jī)系統(tǒng)的集中式計(jì)算資源，通過(guò)專用的操作系統(tǒng)并行計(jì)算提高運(yùn)算速度，解決大規(guī)?？萍加?jì)算和海量并發(fā)的數(shù)據(jù)處理問(wèn)題。0OCTCAB01—2024AlnOne402010kW的IT10P50kW的IT設(shè)備供電和制冷能力，滿足5P左右智能算力設(shè)備的部署。液冷場(chǎng)景下，40英尺集裝箱最大提供300kW的30P20100kW的IT10P5P20AllInOne5P～10P40AllInOne10P20AllInOne10P～30P40AllInOne表2AllInOne級(jí)算力工廠形式應(yīng)用場(chǎng)景風(fēng)冷液冷集裝箱尺寸20英尺40英尺20英尺40英尺IT設(shè)備供電和制冷能力50kW100kW100kW300kW智能算力5P10P10P30P臨建級(jí)算力工廠通常以10個(gè)以內(nèi)的40/20IT150P10P～200PEPC建筑級(jí)算力工廠通常幾十至上百個(gè)40/20英尺集裝箱多層疊箱而成，典型風(fēng)冷及液冷場(chǎng)景下，可提供10MW左右的IT設(shè)備供電和制冷能力，滿足1500P左右智能算力設(shè)備的部署。因此對(duì)于200P以上的智能算力需求，建議采用建筑級(jí)形式，宜采用EPC建設(shè)模式。11OCTCAB01—2024在算力工廠規(guī)劃階段，還需明確算力應(yīng)用場(chǎng)景。年10“+”302OCTCAB01—2024（RPA）——EMI人工智能正在改變制造業(yè)，為其帶來(lái)工業(yè)4.0和工業(yè)互聯(lián)網(wǎng)時(shí)代的技術(shù)變革。通過(guò)結(jié)合大數(shù)據(jù)、物隨著科技創(chuàng)新的不斷涌現(xiàn)，算力的新應(yīng)用場(chǎng)景也日益豐富，需求量將持續(xù)激增。13OCTCAB01—20245CPU、GPU4OCTCAB01—2024AllInOneEPCEPCEPCPUE圖3建設(shè)流程15OCTCAB01—2024EPCEPC預(yù)制化數(shù)據(jù)中心以預(yù)制化、模塊化、標(biāo)準(zhǔn)化為建設(shè)理念，融合數(shù)據(jù)中心土建工程（L0）及機(jī)電工預(yù)制化數(shù)據(jù)中心規(guī)劃建設(shè)應(yīng)參考以下標(biāo)準(zhǔn)及規(guī)范（當(dāng)依據(jù)的標(biāo)準(zhǔn)規(guī)范修訂或有新的標(biāo)準(zhǔn)規(guī)范出版時(shí)，應(yīng)對(duì)相關(guān)內(nèi)容進(jìn)行復(fù)核。）GB50174-201750015-2009GB50016-2014GB50140-200550013-2018GB50014-2006GB50370-2005《氣體滅火系統(tǒng)設(shè)計(jì)規(guī)范》GB50057-2010《建筑物防雷設(shè)計(jì)規(guī)范》GB50736-2012《民用建筑供暖通風(fēng)與空氣調(diào)節(jié)設(shè)計(jì)規(guī)范》GB50034-2013《建筑照明設(shè)計(jì)標(biāo)準(zhǔn)》GB50116-2013《火災(zāi)自動(dòng)報(bào)警系統(tǒng)設(shè)計(jì)規(guī)范》GB50343-2012《建筑物電子信息系統(tǒng)防雷技術(shù)規(guī)范》GB50348-2018《安全防范工程技術(shù)規(guī)范》GB50395-2007《視頻安防監(jiān)控系統(tǒng)工程設(shè)計(jì)規(guī)范》GB50243-2016《通風(fēng)與空調(diào)工程施工及驗(yàn)收規(guī)范》GB50222-2017《建筑內(nèi)部裝修設(shè)計(jì)防火規(guī)范》GB50050-2017《工業(yè)循環(huán)冷卻水設(shè)計(jì)規(guī)范》GB/T36448-2018《集裝箱式數(shù)據(jù)中心機(jī)房通用規(guī)范》GB/T2887-2011《電子計(jì)算機(jī)場(chǎng)地通用規(guī)范》GB/T50311-2016《綜合布線系統(tǒng)工程設(shè)計(jì)規(guī)范》YD5098-2005《通信局（站）防雷與接地工程設(shè)計(jì)規(guī)范》YD5059-2005《電信設(shè)備安裝抗震設(shè)計(jì)規(guī)范》YD/T585-2010《通信用配電設(shè)備》YD/T2063-2009《通信設(shè)備用電源分配單元(PDU》YD/T1173-2016《通信電源用阻燃耐火軟電纜》其他現(xiàn)行各種相關(guān)的國(guó)頒、部頒、通信管理局頒發(fā)的規(guī)程、規(guī)范、技術(shù)標(biāo)準(zhǔn)等。6OCTCAB01—2024IT按照搭載算力規(guī)模的不同，算力工廠可分為以下三大建設(shè)形態(tài)。AllInOneAllInOneIT40/2040100kW10P2050kW5P40300kW30P20100kW10P圖420AllInOne/圖540AllInOne/臨建級(jí)算力工廠以40/20英尺或其他非標(biāo)準(zhǔn)尺寸集裝箱為載體，采用拼箱的方式，多個(gè)不同功能的17OCTCAB01—2024左右算力設(shè)備的供電制冷能力，滿足150P智能算力設(shè)備的部署要求。作為臨時(shí)建筑不需要數(shù)據(jù)中心建設(shè)的報(bào)批報(bào)建流程。但存在無(wú)法通過(guò)等級(jí)保護(hù)測(cè)評(píng)的風(fēng)險(xiǎn)。圖6臨建級(jí)算力工廠外觀圖建筑級(jí)算力工廠以40/201500P）圖7建筑級(jí)算力工廠外觀圖IT模塊采用40/20英尺集裝箱，高度集機(jī)柜、配電柜（小母線）、空調(diào)、消防、監(jiān)控、綜合布線于一體，充分利用集裝箱空間并進(jìn)行功能分區(qū)。支持部署雙排封閉冷/65+kWIT8OCTCAB01—2024環(huán)境長(zhǎng)期穩(wěn)定可靠運(yùn)行，箱體應(yīng)通過(guò)防火、防水、防風(fēng)、防霉菌、耐煙霧、9級(jí)抗震等嚴(yán)苛認(rèn)證，保證最高使用年限可達(dá)50年。圖8IT模塊50%UPS1%。圖9電力模塊60%19OCTCAB01—2024圖1060%圖11集成冷源模塊+15dB。20圖12

OCTCAB01—20241）供配電系統(tǒng)供配電架構(gòu)A（N+1）UPS2N/2（N+1）UPSBC圖13A級(jí)數(shù)據(jù)中心2N供配電系統(tǒng)架構(gòu)圖ABCAB500h21OCTCAB01—2024對(duì)于C級(jí)數(shù)據(jù)中心，采用一路電源供電，不需要設(shè)置油機(jī)模塊。UPSITITUPSUPSUPSUPS1.2IT蓄電池

圖14UPS2）制冷系統(tǒng)PUE1.190%48KWCPUGPUNVSwitch等主要發(fā)熱部件的散熱，占服務(wù)器整體散熱量的70%～85%，主要通過(guò)CDU實(shí)現(xiàn)二次側(cè)冷卻液的換熱，2OCTCAB01—2024+氟冷室外機(jī)或水冷列間空調(diào)+散熱架構(gòu)示意圖如下：圖15圖16350023OCTCAB01—2024AI訓(xùn)練服務(wù)器的標(biāo)準(zhǔn)架構(gòu)。服務(wù)器集AI集群的構(gòu)建需要配置面向AI優(yōu)化的高速存儲(chǔ)。通過(guò)配置高性能、高擴(kuò)展、多層級(jí)的智能存儲(chǔ)，為各種數(shù)據(jù)訪問(wèn)需求提供優(yōu)化性能。智能存儲(chǔ)具備隨需擴(kuò)展功能，實(shí)現(xiàn)高IOPS處理能力，支持RDMA技術(shù)，同時(shí)算力工廠的算力設(shè)備采用融合架構(gòu)進(jìn)行整體設(shè)計(jì)，在硬件層面，基于最新一代強(qiáng)勁高擴(kuò)展AI平臺(tái)和多元高彈性AI算力平臺(tái)，融合多元算力，將不同類型的AI芯片進(jìn)行統(tǒng)一管理和調(diào)度，結(jié)合新型GPU顯存直接存取，為AI計(jì)算提供高帶寬、低延遲、高擴(kuò)RDMAAI算整個(gè)AI訓(xùn)練算力系統(tǒng)采用模塊化、高性能、高擴(kuò)展、最佳實(shí)踐的設(shè)計(jì)理念，以實(shí)現(xiàn)不同規(guī)模的算力靈活擴(kuò)展。每臺(tái)服務(wù)器配置4或8張計(jì)算網(wǎng)卡，并分別連接到4個(gè)或8個(gè)InfiniBand交換機(jī)，使每個(gè)服務(wù)器上同一位置的IB網(wǎng)卡連接到同一個(gè)交換機(jī)，可以減少延遲跳數(shù)，降低通信延遲，提升通信效率。4臺(tái)或8臺(tái)IB交換機(jī)下的服務(wù)器組成一個(gè)可擴(kuò)展單元。由可擴(kuò)展單元構(gòu)成的集群支持橫向擴(kuò)展，以滿足千億級(jí)參數(shù)大模型并行訓(xùn)練的算力和通信帶寬需求。AI訓(xùn)練過(guò)程中會(huì)頻繁的進(jìn)行AllReduce操作，甚至有All2All操作。結(jié)合這些計(jì)算模式，尤其是針對(duì)Transformer大模型并行訓(xùn)練過(guò)程常用的AllReduce，采用該組網(wǎng)模式，以最小的跨網(wǎng)絡(luò)跳步數(shù)為優(yōu)化目標(biāo)。除了高速計(jì)算網(wǎng)絡(luò)以外，部署帶內(nèi)管理網(wǎng)絡(luò)和IPMI基于TCP/IPGPU+AIGPU算力，助力大多市場(chǎng)化AI應(yīng)用，并配置適量的國(guó)產(chǎn)AI算力，作為國(guó)產(chǎn)AI應(yīng)用的創(chuàng)新試驗(yàn)平臺(tái)。在提供4OCTCAB01—2024生產(chǎn)算力：基于領(lǐng)先的AI服務(wù)器為算力機(jī)組，支持先進(jìn)多樣的AI芯片，支持成熟豐富的軟件生態(tài)，形成高性能、高吞吐的計(jì)算系統(tǒng)，為AI訓(xùn)練和AI推理生產(chǎn)輸出強(qiáng)大、高效、易用的計(jì)算力。聚合算力：基于智能網(wǎng)絡(luò)和智能存儲(chǔ)技術(shù)，針對(duì)多任務(wù)、大規(guī)模、高并發(fā)、高吞吐的AI應(yīng)用特點(diǎn)為算力機(jī)組集群構(gòu)建高帶寬、低延遲的通信系統(tǒng)和數(shù)據(jù)平臺(tái)，提供彈性、可伸縮擴(kuò)展的算力聚合能力。AI開(kāi)發(fā)和AICPUGPUFPGAASICAIAIGC95%/RDMA，25OCTCAB01—2024圖17政府/企業(yè)：）：AI“”26OCTCAB01—2024公共算力服務(wù)：洞察本地人工智能產(chǎn)業(yè)發(fā)展現(xiàn)狀，調(diào)研算力需求，制定算力普惠政策?？苿?chuàng)人才培養(yǎng)服務(wù)：構(gòu)建多層次、可持續(xù)發(fā)展的人才生態(tài)系