數(shù)據(jù)中心算力白皮書(shū)

[編號(hào)ODCC-2020- 1Ope Dat Cente Committe1 研究背 研究現(xiàn) TOP Green SPEC SPEC 小 存儲(chǔ)能 網(wǎng)絡(luò)能 方 模 I CPU服務(wù) GPU服務(wù) 算力分 算效分 發(fā)展趨 總 202034確指出“加快5G網(wǎng)絡(luò)、數(shù)據(jù)中心等新型基礎(chǔ)設(shè)施建設(shè)進(jìn)度，將數(shù)據(jù)中心納入“新基建”范疇。420日，國(guó)家發(fā)改委明確新型I 1 數(shù)據(jù)中心算力白皮2020年3月4日，中共中央政治局常務(wù)委員會(huì)召開(kāi)會(huì)議，明確指出“加快5G網(wǎng)絡(luò)、數(shù)據(jù)中心等新型基礎(chǔ)設(shè)施建設(shè)進(jìn)度”，將數(shù)據(jù)中心納入“新基建”范疇。4月20日，國(guó)家發(fā)改委明確新型基礎(chǔ)設(shè)施的范展新一代信息網(wǎng)絡(luò)，拓展5G應(yīng)用，建設(shè)數(shù)據(jù)中心”。1海外巨頭在算力方面動(dòng)作不斷：Intel167FPGA生Altera。Intel2020年，30%CPU芯片將配AMD1 商轉(zhuǎn)型為Fabless設(shè)計(jì)商，目前已經(jīng)在Rome系列使用7nm工藝；20204月，NVIDIA69Mellanox（邁絡(luò)思推出網(wǎng)卡新品NVIDIAMellanox。SA2，該云服務(wù)器實(shí)例已經(jīng)被應(yīng)用于騰訊內(nèi)部包括騰訊會(huì)議、騰訊教育、春節(jié)QQ紅包、微信、視頻轉(zhuǎn)碼、廣告檢索等產(chǎn)品和業(yè)務(wù)中，表現(xiàn)出亮眼的性能和可靠的穩(wěn)定性2。阿里巴巴在ODCC牽頭發(fā)起的方升服務(wù)器開(kāi)源項(xiàng)目,旨在打造云基礎(chǔ)設(shè)施行業(yè)的COCI(ChinaOpenCloudInfrastructure)技術(shù)標(biāo)準(zhǔn),引領(lǐng)行業(yè)發(fā)展,共建中國(guó)云數(shù)據(jù)中心硬件生態(tài)，目前已經(jīng)部署超過(guò)10萬(wàn)節(jié)點(diǎn)。百度推出的FPGA版本百度大腦，運(yùn)用到于包括語(yǔ)音識(shí)別、廣告點(diǎn)擊率預(yù)估模型、DNA序列檢測(cè)以及無(wú)人車等業(yè)務(wù)中，性能提升3倍以上。22 TOP500根據(jù)超算執(zhí)行Linpack程是針對(duì)單機(jī)或芯片開(kāi)展的，SPECCPU套件能夠?qū)PU整點(diǎn)運(yùn)算及3 個(gè)國(guó)家先進(jìn)計(jì)算水平的代表性設(shè)施。人們普遍用浮點(diǎn)運(yùn)算速度LINAC（基準(zhǔn)測(cè)試所能達(dá)到的最高性能Rmax（單位：TFLOPS）500個(gè)超算TOP5006111202011TOP500排行表1202011月TOP500排行榜超算系統(tǒng)前十排名12橡樹(shù)嶺國(guó)家實(shí)驗(yàn)室（美國(guó)3勞倫斯利弗莫爾國(guó)家4（中國(guó)Sunway5英偉達(dá)公司（美國(guó)6廣州國(guó)家超算中心（中國(guó)34數(shù)值為雙精度浮點(diǎn)運(yùn)算次數(shù)4 選取的測(cè)試標(biāo)準(zhǔn)產(chǎn)生質(zhì)疑，TOP500并沒(méi)有對(duì)超算通信子系統(tǒng)運(yùn)算性TOP500測(cè)評(píng)如Graph500。Graph500對(duì)超算每秒遍歷邊緣的數(shù)量進(jìn)行了評(píng)估，其單位為Gteps（每秒10億遍歷邊緣數(shù)Graph500榜單的發(fā)布表明了Green到了廣泛的關(guān)注。2007年，Green500（GFLOPS/W）5002202011月發(fā)布的排行榜超算系統(tǒng)前十榜單，從該Green500和TOP500在超算系統(tǒng)排名上存在很大的TOP500Green500榜單上排名NVIDIADGXSuperPODMN-3TOP500170330Green500上排名靠TOP500上排名靠前的超算并沒(méi)有出現(xiàn)在Green5005從TOP500到Green500，超算算力評(píng)價(jià)指標(biāo)逐漸從以運(yùn)算速度為Green500提出的浮點(diǎn)運(yùn)算能力及浮點(diǎn)運(yùn)算用電效率指標(biāo)為其他行業(yè)表 2020年11月Green500排行榜超算系統(tǒng)前十）1（美國(guó)D237 (FZJ)（德國(guó)455Corporation（美6 Plant（日本7 56數(shù)值為雙精度浮點(diǎn)運(yùn)算次數(shù)7數(shù)值為雙精度浮點(diǎn)運(yùn)算次數(shù)688Eni（意大利9Holyoke,（美國(guó)1 SPECSPECCPU是由全球權(quán)威性能評(píng)估機(jī)構(gòu)SPEC（StandardPerformanceEvaluationCorporation）推出的一款行業(yè)標(biāo)準(zhǔn)的CPU測(cè)SPECCPU2017SPECspeed2017Integer、SPECspeed2017FloatingPoint、SPECrate2017Integer、SPECrate2017FloatingPoint這四個(gè)套件的43個(gè)測(cè)試項(xiàng)目，對(duì)CPU試。SPECCPU套件將會(huì)根據(jù)測(cè)試結(jié)果為CPU整數(shù)運(yùn)算及浮點(diǎn)運(yùn)算能力進(jìn)行打分，用戶能夠通過(guò)打分結(jié)果直觀地看出不同CPU的性能差異，并且根據(jù)業(yè)務(wù)需要選擇合適的CPU。SPECSPEC2006SPECpower72007power委員會(huì)推出了一款里程碑式的能效基準(zhǔn)測(cè)試套件——評(píng)級(jí)工具worklet分別對(duì)服務(wù)器的CPU、內(nèi)存、存儲(chǔ)組件進(jìn)行測(cè)試。SERT對(duì)SPECpower_ssj2008中的SPECPTDaemon進(jìn)行了復(fù)用。MLPerf2018（raining（Inference20204月，MLPerf已經(jīng)發(fā)布了兩8 MLPerf圖1MLPerfTrainingv0.7ODCC（開(kāi)放數(shù)據(jù)中心委員會(huì)）于2019年發(fā)布了《服務(wù)器能效評(píng)試規(guī)范將服務(wù)器性能測(cè)試劃分為CPU、內(nèi)存及存儲(chǔ)三個(gè)部分，利用BenchmarkEffserver=exp[????????×ln(????????????)+??????????????ln(??????????????????)+????????????????×ln(????????????????????)] 9 PUE（PowerUsageEffectiveness，電能利用效率）是TGG（TheGreenGrid，綠色網(wǎng)格）發(fā)布的一項(xiàng)用于評(píng)價(jià)數(shù)據(jù)中心能效的指標(biāo)，PUEIT數(shù)據(jù)中心中，IT設(shè)備是對(duì)外提供服務(wù)的主體設(shè)備，是產(chǎn)生算力的源泉。PUEIT設(shè)備能耗占比越大，有更多電能算力能效除了與電能供給有關(guān)，還與IT設(shè)備的硬件性能、虛擬化技術(shù)的應(yīng)用等因素有關(guān)，例如，對(duì)于不同性能的CPU芯片，消耗相同 足要求而引發(fā)的“木桶效應(yīng)”可能會(huì)拉低整個(gè)數(shù)據(jù)中心的實(shí)際算力水在數(shù)據(jù)中心算力水平測(cè)試方面，對(duì)于正在運(yùn)行的數(shù)據(jù)中心，讓其單獨(dú)運(yùn)行某一測(cè)試程序從而判斷其算力水平不僅會(huì)帶來(lái)大量的測(cè)試 P00和ren50運(yùn)算速度和浮點(diǎn)運(yùn)算用電效率兩個(gè)角度為超算算力評(píng)價(jià)提供了統(tǒng)一CCP對(duì)UCoer算力測(cè)試及評(píng)估指標(biāo)為超算及常規(guī)服務(wù)器算力性能評(píng)價(jià)提供了一套 質(zhì)上說(shuō)，數(shù)據(jù)中心為應(yīng)對(duì)5G、人工智能、工業(yè)互聯(lián)網(wǎng)的大數(shù)據(jù)需求圖2 數(shù)據(jù)中心算力是數(shù)據(jù)中心的服務(wù)器通過(guò)對(duì)數(shù)據(jù)進(jìn)行處理后實(shí)現(xiàn)、代表的新一代數(shù)字化技術(shù)產(chǎn)業(yè)趨勢(shì)過(guò)程中，又可以區(qū)分為以CPU為代表的通用計(jì)算能力，和以GPU為代表的加速計(jì)算能力。前者主要4CPU（CentralProcessingUnit，中央處理器）作為通用處理器，更偏重支持控制流數(shù)據(jù)。CPU每個(gè)物理核中大部分的硬件資源被做（ALU8JohnNickollsandWilliamJDally.Thegpucomputingera.IEEEmicro,30(2):56–69, CPUx86ARMx86Intel和AMDx86CPUIntelx86指令A(yù)I技術(shù)的發(fā)展，往往通過(guò)深度學(xué)習(xí)作為切入點(diǎn)來(lái)分析各個(gè)芯片的性能。例如Intel的向AI應(yīng)用提供了更為全面的硬件加速能力。X86架構(gòu)CPU芯片計(jì)算能力與對(duì)應(yīng)的核數(shù)、主頻和對(duì)應(yīng)的微架構(gòu)計(jì)算能力息息相關(guān)，作為當(dāng)今世界生產(chǎn)CPU的最大廠商Intel和系列芯片，AMD主要是霄龍系列芯片。IntelAMD的服務(wù)器所用的部分芯片的參數(shù)詳見(jiàn)表3。 表 X86架構(gòu)典型芯片處理器參數(shù)122.0032.3045AMDEPYC?2.206AMDEPYC?3.20x86架構(gòu)CPU計(jì)算能力與對(duì)應(yīng)的微架構(gòu)和指令集息息相關(guān)，以Intel的Haswell微架構(gòu)為例進(jìn)行分析，Haswell架構(gòu)上計(jì)算單元有2個(gè)FMA，每個(gè)FMA可以對(duì)256bit數(shù)據(jù)在一個(gè)時(shí)鐘周期中做一次乘SPECCPU2017SPECspeed2017Integer、SPECspeed2017FloatingPoint以及測(cè)試整型并發(fā)速率和浮點(diǎn)并發(fā)速率SPECrate2017Integer和SPECrate2017FloatingPointSPECspeedCPU完成單個(gè)任務(wù)SPECrateCPUSPECCPU20174CPU測(cè)試結(jié)果，詳見(jiàn)表4。9數(shù)據(jù)來(lái)源：intel、AMD 表4SPEC測(cè)試結(jié)果峰1288H(IntelXeonGold2.10SPECspeed211288H(IntelXeonGold2.20212288H(IntelSPECrate22—2488H(IntelGold421288H(IntelXeonGold2.10SPECspeed211288H(IntelGold2.20212488H(IntelGoldSPECrate2017Integer4210 ARMCPU穿戴設(shè)備、IoT等領(lǐng)域。隨著ARM技術(shù)不斷進(jìn)步，多核性能大幅提高，尤其是開(kāi)放的生態(tài)，ARM也從端和邊緣計(jì)算走向服務(wù)器和數(shù)據(jù)中心。當(dāng)下，ARM架構(gòu)發(fā)揮在多核、低功耗等方面的優(yōu)勢(shì)，在面向大數(shù)據(jù)、分布式存儲(chǔ)和ARM原生應(yīng)用等場(chǎng)景，為企業(yè)構(gòu)建高性能、由于ARM架構(gòu)CPU采用RISC精簡(jiǎn)指令集，內(nèi)核結(jié)構(gòu)簡(jiǎn)單小1632位、64位多種指令集，能很好的兼容從IOT、終端到云端的各類應(yīng)用場(chǎng)ARMCPUARM的Cortex-A57微架構(gòu)為例進(jìn)行分析，Cortex-A57架構(gòu)上計(jì)算單元有1個(gè)FMA，每個(gè)FMA可以對(duì)128bit數(shù)據(jù)在一個(gè)時(shí)鐘周期中做一次乘運(yùn)算和一次加運(yùn)算，所以對(duì)應(yīng)32bit單精度浮點(diǎn)計(jì)算能力為8 ARM架構(gòu)CPU構(gòu)計(jì)算能力息息相關(guān)。因?yàn)锳RMCPU，開(kāi)始于低功耗、計(jì)算量小的場(chǎng)景，如智能手機(jī)、穿戴設(shè)備、IoTARM架隨著服務(wù)器的發(fā)展，華為公司聚焦于發(fā)展基于ARM架構(gòu)的鯤鵬處理ARM架構(gòu)的CPU芯片情況詳見(jiàn)表5。表5ARM架構(gòu)典型芯片（高通、華為、飛騰1驍龍8243鯤鵬4411數(shù)據(jù)來(lái)源：https:/// AI等復(fù)雜應(yīng)用的必然選GPU（GraphicsProcessingUnit，圖形處理器）具有強(qiáng)大而高效的并行計(jì)算能力，對(duì)于海量訓(xùn)練數(shù)據(jù)，用GPU來(lái)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，中心基礎(chǔ)設(shè)施也更少。此外GPU還被廣泛用于云端進(jìn)行分類、預(yù)測(cè)CPU的做法相比，GPU具有數(shù)以千計(jì)的計(jì)算核心，可實(shí)現(xiàn)10-100倍應(yīng)用吞吐量。GPUCPUGPU每個(gè)運(yùn)算核心的工作頻率不及CPU，但GPU計(jì)算單元的算力要遠(yuǎn)遠(yuǎn)強(qiáng)于CPU，且GPU的GPU線程之間的切換相對(duì)廉價(jià)，能夠通過(guò)大量并行線程之間的交織 NVIDIA是最早將GPU用于人工智能領(lǐng)域的公司，創(chuàng)造性的推出了CUDA通用并行計(jì)算架構(gòu)。作為一項(xiàng)同時(shí)支持硬件和軟件的技CUDA計(jì)算性能可獲得顯著提升。從軟件生態(tài)上，CUDA不僅支持自身的API，也支持其他通用計(jì)算API比如OpenCL/DXCompute等。為適應(yīng)近些年來(lái)AI的發(fā)展，CUDA也增加了一系列的標(biāo)準(zhǔn)庫(kù)函數(shù)來(lái)支持CUDA架構(gòu)及生態(tài)只支持NVIDIA公司的GPU產(chǎn)品，不開(kāi)源，所以在有國(guó)產(chǎn)化要求的AI應(yīng)用中有一定的安全隱患。AMDAMDAMDCDNAGPU架構(gòu)，專為數(shù)MatrixCore技術(shù)、搭載百億億級(jí)計(jì)算核心，可提供卓越的性能和能HPCAIMatrixCore技術(shù)，為單精度和混合精度矩陣運(yùn)算(FP32、FP16、bFloat15、Int8Int4）提供超強(qiáng)性能，促進(jìn)HPC和AI的融合。CDNA架構(gòu)還包含AMDInfinity架構(gòu)，為緊密連接的GPU系統(tǒng)提供了一個(gè)先進(jìn)的運(yùn)行平臺(tái)，讓工作負(fù)載可以AMD也正式發(fā)布了首款基于全新CDNA架構(gòu)的InstinctMI100加速顯卡，率先超越10TFFP64大關(guān)的數(shù)據(jù)中心GPU，為行業(yè)提供 的算法設(shè)計(jì)。FPGA不采用指令和軟件，是軟硬件合一的器件。對(duì)FPGACPUGPUASIC之ASICASICFPGA的CPU、GPU等處理器，F(xiàn)PGA高度可定制。開(kāi)發(fā)者可以使用Verilog或VHDL硬件描述語(yǔ)FPGA前FPGA常被用作ASIC芯片流片前的硬件驗(yàn)證方法。FPGAFPGA計(jì)算的絕對(duì)性能并不如GPU，但是企業(yè)級(jí)GPU的功率通常高FPGA20瓦以下。低功耗帶來(lái)的直接 FPGAFPGAASIC芯片與FPGA相比較，單純的ASIC芯片無(wú)法完全替代FPGAAI領(lǐng)域，F(xiàn)PGA與ASIC會(huì)分而治之。而在智慧工業(yè)機(jī)器人、智慧通信、智慧醫(yī)療、智慧裝備等領(lǐng)域，除FPGA以外其他AI全球最大的FPGA芯片生產(chǎn)廠商賽靈思和Intel，都確立了相似元件集成在芯片上，滿足AI等應(yīng)用對(duì)強(qiáng)大計(jì)算能力的需求。掘FPGA使用范圍，充分發(fā)揮FPGA的優(yōu)勢(shì)。微軟將FPGA作為核AIFPGA的專用服務(wù)器集群，到用專用網(wǎng)絡(luò)連接的FPGA加速卡集群，再到將共享數(shù)據(jù)中心網(wǎng)絡(luò)的大規(guī)模 FPGAFPGAIntel針對(duì)FPGA開(kāi)發(fā)了一種經(jīng)濟(jì)高效的可重復(fù)編程平臺(tái)，具有ASIC（ApplicationSpecificIntegratedCircuit，特殊應(yīng)用專用集成電路）是為了某種特定的需求而專門(mén)定制的芯片。ASIC芯片的計(jì)算片可分為全定制ASIC芯片、半定制ASIC芯片及可編程ASIC芯片特別是在AI芯片布局方面，已經(jīng)成為了眾多行業(yè)巨頭的重心，因?yàn)锳I應(yīng)用如雨后春筍般出現(xiàn)，而針對(duì)不同應(yīng)用打造的特殊應(yīng)用芯片ASIC的 TPU（TensorProcessingUnit，張量處理器）是Google為機(jī)器學(xué)（ASIC而設(shè)計(jì)。TPU在算法架構(gòu)上介于CPU和全定制化ASIC之間，兼具TPUCPUTPU算法架構(gòu)的ASIC芯片可完成更高運(yùn)算量。相對(duì)同級(jí)別CPU、GPU，該類ASIC芯片可提高運(yùn)算性能15倍至30倍，并提高能耗效率30倍至80倍。Google針對(duì)AI很早就設(shè)計(jì)了自己的TPU芯片，之前的AlphaGo就有采用。此外，Google自己的手機(jī)Pixel2也首次采用了自研芯片PixelVisualCore以提升拍照性能。eASICASICASICFPGA靜態(tài)泄漏和高功NPU等（AI芯片AI應(yīng) 的類腦芯片。當(dāng)前技術(shù)條件下的AI芯片主要是針對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練各國(guó)都在積極摸索研究AI芯片的發(fā)展方向，在我國(guó)也涌現(xiàn)出了一批AI芯片企業(yè)。AINPU。20161A處理器具有完全自主知識(shí)產(chǎn)權(quán)，可用于計(jì)算機(jī)視AI芯片的研發(fā)。2018年華為正式910310AI910是目前單芯AIAI310是目前面向SoCAI芯片，非常適合邊緣計(jì)算的低功耗要求場(chǎng)燧原科技在2019年發(fā)布了首款面向云端數(shù)據(jù)中心的AI訓(xùn)練芯 2019AICSK400XAI算法，可以有效通過(guò)深度神經(jīng)網(wǎng)絡(luò)對(duì)于ICP和吞吐率是IDC數(shù)據(jù)中心存儲(chǔ)系統(tǒng)應(yīng)該密切關(guān)注的問(wèn)題。從歷史上看,計(jì)算機(jī)速度的瓶頸已逐漸從20世紀(jì)80年代的CPU和90年代的網(wǎng)絡(luò)帶寬轉(zhuǎn)移到IOIDC數(shù)據(jù)中心存儲(chǔ)系統(tǒng)的 保證應(yīng)用系統(tǒng)永不停機(jī)（7×24小時(shí)不間斷工作AI時(shí)代模型訓(xùn)練的算力需求，AIGPU的算力AIAI集群系統(tǒng)成為了滿足AI應(yīng)用算力需求的首選。IsNetworktheBotleneckofDistributedTraining,JohnsHopkinsUniversity& InfiniBand（IB）RoCEAI領(lǐng)域網(wǎng)絡(luò)技術(shù)的重要網(wǎng)IBLawrenceLivermore國(guó)家實(shí)驗(yàn)室和IBM公司公布的均通信效率只有50%到60%，利用動(dòng)態(tài)路由，他們達(dá)到了平均96%MPIGraph14All2All500nsIB從靜態(tài)時(shí)延角度看，以太相比IB存在劣勢(shì)，這種劣勢(shì)通過(guò)網(wǎng)絡(luò)與計(jì)《TheDesign，Deployment，andEvaluationoftheCORALPre-ExascaleSystemsSudharshanS.Vazhkudai?BronisR.deSupinski?ArthurS.BlandAlGeist?JamesSextonJimKahleChristopherJ.Zimmer?ScottAtchleySarpOral?DonE.MaxwellVeronicaGVergaraLarreaAdamBertschRobinGoldstone?,WayneJoubert?,ChrisChambreau?,DavidAppelhans,RobertBlackmoretc.SC18,November11-16,2018,Dallas,Texas,USAMPIGraphAll2AllMPI《CharacterizationofMPIUsageonaProductionSupercomputer ODCC8TAISHAN（920芯片NVIDIA100GE網(wǎng)OSU傳統(tǒng)RoCE網(wǎng)絡(luò)，網(wǎng)算一體技術(shù)大幅度降低了HPC計(jì)算的任務(wù)完成時(shí)間，平均降幅超20%。圖3768核allreduce通信ODCC 目前數(shù)據(jù)中心內(nèi)部的服務(wù)器芯片類型以CPU和GPU這兩個(gè)類 pointoperationspersecond）為每秒執(zhí)行的浮點(diǎn)運(yùn)算次數(shù)，是對(duì)計(jì)算機(jī)FLOPS的概念最早由FrankH.McMahon17在其YifanSun18等使用FLOPS作為度量標(biāo)準(zhǔn)，以評(píng)估CPU和GPU的單精度和雙精度計(jì)算能力。（FP64（FP32半精度浮點(diǎn)數(shù)（FP16：采用16位二進(jìn)制來(lái)表達(dá)一個(gè)數(shù)字，NVIDIA2002CUDA7.516位浮點(diǎn)數(shù)的存儲(chǔ)16JohnNickollsandWilliamJDally.Thegpucomputingera.IEEEmicro,30(2):56–69,17McMahon,FH.TheLivermoreFortranKernels:Acomputertestofthenumericalperformancerange.UnitedStates:N.p.,1986.Web.18YifanSunet，al.SummarizingCPUandGPUDesignTrendswithProduct 與Linpack僅關(guān)心雙精度的浮點(diǎn)計(jì)算（FP64）能力不同，我們將給出（FP32除了FP64和FP32之外，其他的計(jì)算精度也越來(lái)越廣泛被用于計(jì)算領(lǐng)域。對(duì)于人工智能來(lái)說(shuō)，F(xiàn)P16大有后來(lái)居上的趨勢(shì)。主流的AI芯片和AI軟件都已經(jīng)支持FP16精度用于深度學(xué)習(xí)訓(xùn)練。同時(shí)INT8也越來(lái)越多用于深度學(xué)習(xí)推理領(lǐng)域。在本白皮書(shū)中，我們目前僅采用FP64和FP32兩種精度衡量數(shù)據(jù)中心算力和算效，未來(lái)考慮數(shù)據(jù)中心算力（CP，ComputationalPower）????=f(通用算力，高性能算力，存儲(chǔ)能力，網(wǎng)絡(luò)能力) 通用算力=∑(CPU服務(wù)器存數(shù)×CPU算力 CPU6表 主流CPU服務(wù)器算力1Intel?Xeon?ProcessorE7921.62Intel?Xeon?ProcessorE5774.43Intel?Xeon?Scalable1.64AMDEPYC?7002Series2.6 高性能算力=∑(某型號(hào)GPU服務(wù)器存數(shù)×該型號(hào)服務(wù)器GPU算力 以NVIDIA主流GPU7表7NVIDIAGPU型號(hào)算力1526.839.3415.7514619.5SSD硬盤(pán)由于使用了高速的閃存顆粒做為物理存儲(chǔ)資源，并且使用PCIe等高速傳輸協(xié)議/接口做為主流數(shù)據(jù)交換的物理通道，其在IOPS和帶寬方面遠(yuǎn)優(yōu)于傳統(tǒng)的HDD硬盤(pán)。1920數(shù)據(jù)來(lái)源：NVIDIA PCIeSSDSASHDD硬盤(pán)來(lái)比較，PCIeSSD卡的4KIOPS1M以上，而SASHDDIOPS為PCIeSSD的測(cè)試結(jié)果均為SASHDD的1000倍以上。圖4HDD&SSDODCCAIAI AI集群節(jié)點(diǎn)之間的通信代價(jià)的增加，當(dāng)前存儲(chǔ)介質(zhì)SSD的訪問(wèn)性能相比傳統(tǒng)分布式存儲(chǔ)HDD已提升了100倍，對(duì)于采用NVMe接口協(xié)議的SSD（簡(jiǎn)稱NVM介質(zhì)）時(shí)，訪問(wèn)性能相比HDD甚至可以提升10000倍。在存儲(chǔ)介質(zhì)的時(shí)延5%65%中心的耗電規(guī)模為205TWh，占全世界耗電規(guī)模的1% IT設(shè)備功耗的比值，即“IT設(shè)備每瓦功耗單位：FLOPS/W

???? ∑????設(shè)備

數(shù)據(jù)中心算力能效測(cè)算方面，數(shù)據(jù)中心IT設(shè)備能耗之和可以用機(jī)架功耗之和近似替代，在得到IT圖5近五年我國(guó)數(shù)據(jù)中心機(jī)架規(guī)模及預(yù)測(cè)圖530%圖62016-2018年各省份機(jī)架規(guī)模詳情（單位，萬(wàn)架620162018年我國(guó)各省份數(shù)據(jù)中心機(jī)架PUE我國(guó)數(shù)據(jù)中心機(jī)架規(guī)模區(qū)域分布不均衡的根本原因在于我國(guó)不同數(shù)據(jù)在遠(yuǎn)距離傳輸過(guò)程中的網(wǎng)絡(luò)延時(shí)可能會(huì)對(duì)服務(wù)質(zhì)量產(chǎn)生一定的 2018年年底，國(guó)內(nèi)數(shù)據(jù)中心總體平均上架率為47.9%23。部69.9%72.3%53.6%、52.4%28.2%，大型54.3%59.8%?？侰PU根據(jù)Gartner的數(shù)據(jù)來(lái)看，中國(guó)（不包括港澳臺(tái)地區(qū)）CPU架2015-2019年基本呈現(xiàn)上升趨勢(shì)，5年復(fù)合增長(zhǎng)率近8%，2019年的出貨量為340萬(wàn)臺(tái)左右，其中x86架構(gòu)在CPU99%圖72015-2019CPU架構(gòu)服務(wù)器出貨量在廠商市場(chǎng)份額方面，IntelCPU市場(chǎng)市占率95%2019Q4IDC數(shù)據(jù)顯示，IntelCPU93.6%，其次為AMD為4.9%。24圖82019Q4CPU微處理器市場(chǎng)份額GPU根據(jù)IDC的數(shù)據(jù)顯示，全球GPU2019840萬(wàn)Unit圖92016-2019年全球GPU出貨量（25數(shù)據(jù)來(lái)源：IDC《DatacenterProcessing4Q19ServerCPUGPUFPGAAIASICs,andASSPs26數(shù)據(jù)來(lái)源：IDC《DatacenterProcessing4Q19ServerCPUGPUFPGAAIASICs,andASSPs市場(chǎng)份額方面，NVIDIA2019Q4為例，根據(jù)IDC數(shù)據(jù)顯示，NVIDIA在全球數(shù)據(jù)中心GPU服務(wù)器市場(chǎng)份額的占比為94.4%，其余為AMD，占比5.6%。圖102019Q4GPU服務(wù)器市場(chǎng)份額2127數(shù)據(jù)來(lái)源：IDC《DatacenterProcessing4Q19ServerCPUGPUFPGAAIASICs,andASSPs2014年全球數(shù)據(jù)中心能耗達(dá)到世界能源使用總量的1.62%左右28。IT測(cè)算是基礎(chǔ)。數(shù)據(jù)中心總功耗主要由供配電系統(tǒng)、制冷系統(tǒng)及IT設(shè)數(shù)據(jù)中心能效水平的提升，數(shù)據(jù)中心PUE居高不下，近年來(lái)，隨著數(shù)據(jù)中心整體能效水平有所提升。截至2018年年底，全國(guó)超大型數(shù)據(jù)中心平均PUE為1.40，大型數(shù)據(jù)中心平均PUE為1.54，與前兩年比有所提升。全國(guó)規(guī)劃在建數(shù)據(jù)中心平均設(shè)計(jì)PUE為1.35左右，超大型、大型數(shù)據(jù)中心平均設(shè)計(jì)PUE分別為1.32、1