高性能計算系統(tǒng)性能評價白皮書-中國計算機學會

公共大數(shù)據(jù)國家重點實驗室(貴州大學)上海交通大學清華大學北京大學中國科學技術(shù)大學中科院科白皮書以高性能計算系統(tǒng)綜合評價指標作為評估系統(tǒng)性能的新方法，牽引建設(shè)存算平衡、以數(shù)據(jù)為中心的系統(tǒng)，以達到三個主要目標：以實際需求牽引系統(tǒng)設(shè)計，以行業(yè)經(jīng)驗為指導(dǎo)系統(tǒng)選型，以提高系統(tǒng)實際使用能效為首要目標。白皮書將以綜合評價指標為載體，介紹高性能計算系統(tǒng)設(shè)計方法，提升高性能計算系統(tǒng)設(shè)計選型的平衡性。白皮書從算力(包括科學計算與AI計算性能)、存力(存儲性能)、運力(網(wǎng)絡(luò)性能)和效率(系統(tǒng)能效與平衡性)六個維度選取指標，給出了綜合性能的評測方法，和高性能計算系統(tǒng)的典型應(yīng)用場景、典型系統(tǒng)配置，最后提出了建立評測社區(qū)推廣評測體系的愿景，展望了標準演進的規(guī)劃。白皮書內(nèi)容將隨著技術(shù)演化與社區(qū)成員反饋而逐步迭代，這是系統(tǒng)性能評價指標發(fā)布的首個版本。1高性能計算的發(fā)展趨勢021高性能計算的發(fā)展趨勢02CONTENTS2集群綜合性能評價方法的演進051.1.存儲系統(tǒng)的重要性愈發(fā)凸顯031.2.系統(tǒng)綜合性能更突出1.1.存儲系統(tǒng)的重要性愈發(fā)凸顯031.2.系統(tǒng)綜合性能更突出042.2.以性能評價牽引建設(shè)存算比合理的計算系統(tǒng)052.3.以性能評價牽引使用多協(xié)議互通的存儲系統(tǒng)0634.1.六個維度度量高性能計算系統(tǒng)124.1.1.科學計算性能維度4.1.六個維度度量高性能計算系統(tǒng)124.1.1.科學計算性能維度123.2.性能評價的標準規(guī)范104.1.2.AI計算性能維度124.1.3.存儲性能維度124.1.4.網(wǎng)絡(luò)性能維度134.1.5.系統(tǒng)能效維度134.1.6.系統(tǒng)平衡性維度134.2.綜合評價計算方法164.3.指標權(quán)重與平衡性范圍的設(shè)計初稿165性能評價方法的應(yīng)用195.1.典型算力下的集群設(shè)計示例195.1.1超大型集群設(shè)計示例205.1.2大型集群設(shè)計示例215.1.3中型集群設(shè)計示例225.2.典型場景下的集群特性分析235.2.1.“IO密集型”超算系統(tǒng)：以面向基因測序的集群為例235.2.2.“IO密集+計算密集型”超算系統(tǒng)：以面向氣象預(yù)報的集群為例245.2.3.“AI密集型”超算系統(tǒng)：以面向自動駕駛的集群為例256高性能計算系統(tǒng)性能評價規(guī)范的展望2711高性能計算的發(fā)展趨勢黨的十九屆四中全會首次將數(shù)據(jù)作為生產(chǎn)要素參與分配，數(shù)據(jù)的作用受到國家高度重視，2022年1月，國務(wù)院《“十四五”數(shù)字經(jīng)濟發(fā)展規(guī)劃》中要求“以數(shù)據(jù)為關(guān)鍵要素，加強數(shù)字基礎(chǔ)設(shè)施建設(shè)”，數(shù)據(jù)資源匯聚、共享、流通、應(yīng)用的需求快速增加，對存儲、計算、網(wǎng)絡(luò)、安全等的要求也越來越高，以數(shù)據(jù)為中心的新型數(shù)字基礎(chǔ)設(shè)施將有力支撐經(jīng)濟社會數(shù)字化發(fā)展。2021年5月，國家發(fā)展改革委會同中央網(wǎng)信辦、工業(yè)和信息化部、國家能源局聯(lián)合發(fā)布《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實施方案》，提出構(gòu)建數(shù)據(jù)中心、云計算、大數(shù)據(jù)一體化的新型算力網(wǎng)絡(luò)體系，布局建設(shè)全國一體化算力網(wǎng)絡(luò)國家樞紐節(jié)點，以滿足數(shù)據(jù)資源存儲、計算和應(yīng)用需求的大幅提升。在需求和政策雙重牽引下，全國各地區(qū)大力推進數(shù)字基礎(chǔ)設(shè)施建設(shè)的發(fā)展，包括計算、存儲和網(wǎng)絡(luò)在內(nèi)的基礎(chǔ)設(shè)施和技術(shù)均被高度重視，2022年7月，工業(yè)和信息化部主辦的中國算力大會上發(fā)布了中國綜合算力指數(shù)，從算力、存力、運力、環(huán)境四個維度綜合評價新型基礎(chǔ)設(shè)施和新型數(shù)據(jù)中心的發(fā)展水平。高性能計算是重要的數(shù)字基礎(chǔ)設(shè)施、國之重器，是高算力、高存力、高運力的代表。2020年以來，十四五信息化規(guī)劃和新基建驅(qū)動我國高性能計算建設(shè)進入高速增長期，多地地方政府和企事業(yè)單位都在積極建設(shè)高性能計算中心和部署新一代高性能計算系統(tǒng)，將其作為推動經(jīng)濟社會快速發(fā)展的關(guān)鍵措施。隨著數(shù)據(jù)價值的不斷提升以及大數(shù)據(jù)、人工智能等新興數(shù)字產(chǎn)業(yè)的興起，高性能計算正在由“大計算”的HPC加速邁向“大計算”+“大數(shù)據(jù)”的HPDA(高性能數(shù)據(jù)分析)，并呈現(xiàn)5大趨勢特點。多元應(yīng)用驅(qū)動多元算力。CPU處理器和GPU、FPGA、xPU等專用處理器相結(jié)合構(gòu)建高性能計算的異構(gòu)算AI計算發(fā)展迅猛。AI計算成為高性能計算算力發(fā)展最為迅猛的類型之一，且逐步呈現(xiàn)計算芯片DSA化、計算網(wǎng)絡(luò)多平面化等特征。成為與傳統(tǒng)高性能計算越來越有區(qū)分的領(lǐng)域，這種變化與特征在大模型時代表現(xiàn)的更異構(gòu)多態(tài)復(fù)合歸一，資源集約推動架構(gòu)融合化。一方面，根據(jù)應(yīng)用的需求，構(gòu)建不同性能和功能的計算和存儲環(huán)境，通過靈活組織異構(gòu)計算體系結(jié)構(gòu)，實現(xiàn)計算、存儲資源比例的靈活調(diào)整和性能功耗的平衡。另一方面，圍繞應(yīng)用負載特征開展體系結(jié)構(gòu)軟硬件協(xié)同設(shè)計，提升資源的使用效率與性能。高速互聯(lián)，更寬更快推動全光化。當前高性能計算互聯(lián)網(wǎng)絡(luò)主要有Infiniband、Slingshot和RoCE等，隨著技術(shù)積累和產(chǎn)業(yè)需求升溫，光子集成技術(shù)已從功能器件研究向規(guī)模化集成芯片演進，光交換技術(shù)趨于成熟，全光交換成為發(fā)展趨勢。按需彈性極簡運維，加速應(yīng)用容器化。容器可以為高性能計算工作負載提供動力，并為大規(guī)模計算工作負載啟用若干功能框架，能夠提前封裝高性能計算運行環(huán)境，易獲取、易操作、易利用，在科研人員中普及化使用高性能計算。以數(shù)據(jù)為中心，數(shù)據(jù)密集型超算快速發(fā)展。進入大數(shù)據(jù)時代后，數(shù)據(jù)的規(guī)模不斷增長。隨著HPDA的發(fā)展，高性能計算系統(tǒng)的業(yè)務(wù)負載需考慮HPC、大數(shù)據(jù)和AI的混合疊加，對于數(shù)據(jù)的存儲和處理能力提出了更高要求。高性能計算系統(tǒng)需要從數(shù)據(jù)密集型角度進行設(shè)計，支持應(yīng)用驅(qū)動的科學計算工作流，推動負載從計算科學發(fā)現(xiàn)向數(shù)據(jù)科學發(fā)現(xiàn)轉(zhuǎn)變。總結(jié)以上趨勢，不難看出，當前計算性能已不再是評價高性能計算集群的唯一標準，集群的綜合性能日益受到重視，尤其是與數(shù)據(jù)息息相關(guān)的存儲系統(tǒng)。021.1.存儲系統(tǒng)的重要性愈發(fā)凸顯傳統(tǒng)的高性能計算行業(yè)以算力作為核心生產(chǎn)力，如今，業(yè)界普遍意識到，當數(shù)據(jù)存力不足或者效率低下時，數(shù)據(jù)就無法高效流動、按需使用，也就無法充分挖掘其價值，小則影響算力作用的充分發(fā)揮，大則關(guān)乎整個高性能計算產(chǎn)業(yè)的發(fā)展。存儲性能是繼計算性能之后，各行各業(yè)數(shù)字化能力建設(shè)的一種進階，在數(shù)字經(jīng)濟發(fā)展中至關(guān)重要。存儲與計算性能高度融合，方能真正形成新的核心生產(chǎn)力，能夠在各種業(yè)務(wù)場景中讓效率指數(shù)級增加，讓生產(chǎn)力獲得前所未有的解放。平衡存算比是當前超算集群融合存儲與計算性能的主要方法之一。目前，芯片不斷朝著高性能、低成本、高集成的方向發(fā)展，但隨著單芯片集成的晶體管數(shù)量增多，高耗能等問題隨之出現(xiàn)，導(dǎo)致芯片性能難以持續(xù)提升，無法大規(guī)模提升算力。多芯片堆疊封裝為芯片突破性能瓶頸提供了可能，平衡存算比可有效縮短數(shù)據(jù)搬運路徑，降低搬運功耗，實現(xiàn)芯片級算力與IO的平衡。從設(shè)備內(nèi)視角來看，CPU、總線速度、主內(nèi)存帶寬及容量的發(fā)展速度不一，尤其是在處理海量數(shù)據(jù)過程中，內(nèi)存與存儲的空間和帶寬成為制約性能增長的主要瓶頸，如果存儲設(shè)備能平衡CPU和IO性能，將在很大程度上釋放算力潛力。此外，隨著數(shù)據(jù)量的增加，數(shù)據(jù)處理和存儲的效率也需要及時跟進。在多樣化的HPC場景中，日均產(chǎn)生的數(shù)據(jù)量可達PB級，需要超大的容量方能完成歸檔。除此之外，在海量數(shù)據(jù)處理過程中，數(shù)據(jù)可能需要經(jīng)過多種格式的轉(zhuǎn)換，比如自動駕駛和石油勘探這兩個高性能計算應(yīng)用較為普遍的領(lǐng)域，只有將NFS格式的數(shù)據(jù)轉(zhuǎn)換成HDFS格式后，系統(tǒng)才能進行有效處理。海量的數(shù)據(jù)轉(zhuǎn)換需要耗費大量的時間，其中還會損壞部分數(shù)據(jù)，而且產(chǎn)生的數(shù)據(jù)冗余也占用了寶貴的存儲空間。因此，存儲設(shè)備實現(xiàn)多協(xié)議互訪可有效提升數(shù)據(jù)結(jié)構(gòu)多樣化的處理效率。03系統(tǒng)綜合性能更突出慮的重要因素，綠色節(jié)能也成為衡量高性能計算平臺綜合性能的重要尺度，TOP500和Green500排名榜單均加E不超過20MW。誠然，硬件工藝的更新?lián)Q代對能040522集群綜合性能評價方法的演進設(shè)計高效工作的高性能計算集群系統(tǒng)，需要在目標場景指引下，平衡處理器、網(wǎng)絡(luò)和存儲等組件的選型，合理搭配。高性能計算集群的綜合性能評測方法能夠發(fā)揮“標尺”作用，對衡量設(shè)計的有效性產(chǎn)生著重。2.1.性能評價方法的演進趨勢現(xiàn)有的性能評價規(guī)范專注細分領(lǐng)域，存在重計算、輕存儲、評測指標分散、缺少應(yīng)用場景和缺少綜合的性能評價規(guī)范等缺點。這些評測規(guī)范通常過分強調(diào)被測系統(tǒng)某一個方面的能力，容易造成偏科。例如，在設(shè)計系統(tǒng)時若以浮點計算能力為唯一考量目標，以此為指導(dǎo)設(shè)計出的高性能計算系統(tǒng)，難以全面滿足高算力、高存力、高運力、高能效的新型基礎(chǔ)設(shè)施要求。此外，現(xiàn)有評價方法對新場景的關(guān)注還不夠。隨著NVMe全閃存儲介質(zhì)、基于糾刪碼的存儲冗余機制、多協(xié)議互通存儲系統(tǒng)、新一代異構(gòu)加速處理器的面市，誕生了諸如BurstBuffer閃存緩沖文件系統(tǒng)、超高密度存儲系統(tǒng)、多功能一體化存儲系統(tǒng)、面向超大模型訓練的人工智能專用系統(tǒng)等新的集群應(yīng)用場景。如何為這些場景分類，如何評價設(shè)計系統(tǒng)與這些場景的適用程度，是新的性能評價方法需要解決的問題。06NFSCIFSMPIPOSIXSNFSCIFSMPIPOSIXS3容易被忽視的問題。論文《Ananalysisofsystembalanceandarchitecturaltrendsbasedontop500supercomputers》總結(jié)今年Top500超算集bHDFHDFSIndexLayerPersistenceLayer評測領(lǐng)域基礎(chǔ)計算性能圖計算性能評測領(lǐng)域基礎(chǔ)計算性能圖計算性能33高性能計算性能評價現(xiàn)狀3.1.性能評價基準測試程序當前，業(yè)內(nèi)研究人員發(fā)布了數(shù)十個具有不同側(cè)重面的高性能計算集群性能基準測試程序，按照評價的領(lǐng)域，可以分為基礎(chǔ)計算性能、圖計算性能、AI計算性能、存儲網(wǎng)絡(luò)性能、設(shè)備能效等等。各個主要領(lǐng)域中相對知名的基準測試程序如下表所示：知名基準測試程知名基準測試程序TOPTOP500、HPCG、PARSEC、SPECCPU、SPECHPC、SPECACCELGraphGraph50007評測領(lǐng)域評測領(lǐng)域AI計算性能存儲與網(wǎng)絡(luò)性能設(shè)備能效知名基準測試程知名基準測試程序HPCAI500、MLPerf、AIPerf、AISBenchIO500、OSUMicrobenchmarksHPCChallengeGreen500其中，被廣泛使用的包括Linpack(求解線性方程組性能)、HPCG(求解共軛梯度性能)、IO500(存儲性能)、Graph500(圖計算性能)、AI500(AI計算性能)等，但是均專注于各個細分的評測領(lǐng)域，缺少對集群的綜合性能評測，且多數(shù)沒有形成系統(tǒng)性的評價規(guī)范。始于1993年的TOP500榜單是目前最為熟知的高性能計算性能評價規(guī)范，由國際組織“TOP500”編制，每半年發(fā)布一次，TOP500排名基于Linpack基準測試衡量線性方程計算的速度和效率，最新版HPL2.0規(guī)范從2008年一直用到現(xiàn)在，不過隨著越來越多的應(yīng)用程序采用微分方程等復(fù)雜計算方式，Linpack性能與實際計算效率間的差距將越來越大。因此田納西大學教授JackDongarra提出了HPCG (高度共軛梯度基準測試)標準，與Linpack關(guān)注線性方程的計算性能不同，HPCG使用更復(fù)雜的微分方程計算方式。Linpack更考驗超算的處理器理論性能，而HPCG更看重實際性能，對內(nèi)存系統(tǒng)、網(wǎng)絡(luò)延遲要求也更高。除了TOP500以外，多個評測榜單試圖從不同方向?qū)Τ慵旱男阅苷归_評價：面向圖計算性能的Graph500標準于2010年發(fā)布，采用GTEPS基準測試評價，更加適用于在數(shù)據(jù)密集型應(yīng)用場景中的評測；BenchCouncil的AI500測試標準，基于增量迭代的方法學和智能科學計算應(yīng)用場景，目前包含3個典型科學數(shù)據(jù)集，14個負載的不同軟件棧實現(xiàn)；IO500是衡量高性能計算存儲性能的常用評價標準，于2017年11月發(fā)布，該標準涵蓋帶寬和元數(shù)據(jù)兩項基準測試。同時，業(yè)界還存在多個商用或非商用的評測基準套件，例如側(cè)重計算性能的SPEC系列和PERSEC、側(cè)重AI應(yīng)用性能的MLPerf、側(cè)重存儲與網(wǎng)絡(luò)性能的OSUMicrobenchmarks和HPCChallenge等。以下是SPECHPC與HPCChallenge兩個被廣泛應(yīng)用的基準測試套件的測試內(nèi)容：SPECHPC包含9個測試，涵蓋了宇宙學、天氣學、高能物理學等多個方向的科學計算問題，側(cè)重于科學計算性能的測試。SPECHPC的評分規(guī)則相對簡單，使用了基準集群的運行時間與被測集群的運行時間的比值作為集群的評分。08評測領(lǐng)域科學計算性能基準測評測領(lǐng)域科學計算性能基準測試HPL：測量求解線性方程組的浮點執(zhí)行率DGEMM：測量雙精度實矩陣-矩陣乘法的浮點執(zhí)行率FFT：測量雙精度復(fù)數(shù)一維離散傅里葉變換(DFT)的浮點執(zhí)行率PTRANS(并行矩陣轉(zhuǎn)置)：來自多處理器內(nèi)存的大型數(shù)據(jù)數(shù)組的傳輸速率，測試網(wǎng)絡(luò)總通信容量RandomAccess：測量內(nèi)存的整數(shù)隨機更新率STREAM：測量可持續(xù)內(nèi)存帶寬和簡單矢量內(nèi)核的相應(yīng)計算速率通信延遲：測量將8字節(jié)消息從一個節(jié)點發(fā)送到另一個節(jié)點所需的時間通信帶寬：測量傳輸大小為2,000,000字節(jié)消息所需的時間基準測基準測試LBMD2Q37：計算流體動力學SOMAOffersMonte-CarloAcceleration：物理/聚合物系統(tǒng)Tealeaf：物理學/高能物理學Cloverleaf：物理學/高能物理學Minisweep：核工程-輻射傳輸POT3D：太陽物理學SPH-EXA：天體物理學和宇宙學HPGMG-FV：宇宙學、天體物理學、燃燒miniWeather：天氣HPCChallenge包含了8個測試，分別屬于科學計算性能、存儲性能與網(wǎng)絡(luò)性能三個評測領(lǐng)域。然而，該，僅對于各個測試分別輸出了性能的數(shù)值。評測評測領(lǐng)域計算性能存儲性能093.2.性能評價的標準規(guī)范現(xiàn)有的高性能計算性能評價規(guī)范非常碎片化。國內(nèi)外標準化組織尚未發(fā)布針對高性能計算集群綜合性能評價的國家或行業(yè)標準，現(xiàn)有標準集中于數(shù)據(jù)中心和存儲，缺少集群性能相關(guān)的國標、行標、ISO標。相關(guān)要有如下幾項：發(fā)布時發(fā)布時間數(shù)據(jù)中心存儲能效測評規(guī)范分布式塊存儲總體技術(shù)要求計算存儲分離架構(gòu)的分布式存儲測試方法服務(wù)器應(yīng)用場景性能測試方法高性能計算通用計算CPU性能測試評價技術(shù)要求分布式塊存儲總體技術(shù)要求計算存儲分離架構(gòu)的分布式存儲測試方法信息技術(shù)人工智能服務(wù)器系統(tǒng)性能測試規(guī)范PerformanceBenchmarkingforArtificialIntelligenceServerSystemsT/CESA1214-2022T/CESA1215-2022T/CESA1213-2022T/CESA1169-2021T/CCSA263-2019T/CCSA325-2021YD/T4030-2022GCC7003-2020標準名稱IEEEP29372020/11/26019/12/23標準號2022/4/82022/92022/72022/72022/7型2021/9地標地標地標標其中，《數(shù)據(jù)中心存儲能效測評規(guī)范》規(guī)定了數(shù)據(jù)中心存儲設(shè)備的能效測試方法與能效等級評價方法，對測試環(huán)境、測試方法、能效指標、加分項均做出了規(guī)范；《分布式塊存儲總體技術(shù)要求》針對分布式塊存儲解決方案提出功能、性能、可靠性等方面的要求；《計算存儲分離架構(gòu)的分布式存儲測試方法》規(guī)定了計算存儲分離架構(gòu)的分布式存儲方案的功能、性能、兼容性、擴展性、可靠性、安全性、運維、硬件和網(wǎng)絡(luò)測試方法；《服務(wù)器應(yīng)用場景性能測試方法高性能計算》通過制定標準化的評估方法，對比評估綠色計算產(chǎn)品與傳統(tǒng)架構(gòu)產(chǎn)品在該場景所關(guān)注指標、特性上的差異化優(yōu)勢，展示了以ARM架構(gòu)為代表的綠色計算服務(wù)器在高性能計算應(yīng)用場景的性能表現(xiàn)。44高性能計算性能指標和評價規(guī)范標具有科學性和可解釋性，我們充分調(diào)研了Top500各大超級計算集群的性能指標，相應(yīng)數(shù)據(jù)集的鏈接為214+提升建議214+提升建議浮點計算性能存儲帶寬浮點計算性能(Flops)存儲帶寬(GB/s)網(wǎng)絡(luò)延遲(微秒)......19項基礎(chǔ)指標19項指標權(quán)重分析集群特點，給出特定場景下的提升建議分析集群特點，給出特定場景下的提升建議度共19項基礎(chǔ)指標為19項指標設(shè)計維度內(nèi)權(quán)重維度的性能評分334.1.六個維度度量高性能計算系統(tǒng)4.1.1.科學計算性能維度2個指標，用于衡量高性能計算集群以雙精度浮點處理典型科學計算內(nèi)核的性能。HPL雙精度浮點計算性能：系統(tǒng)按雙精度使用高斯消元法求解稠密線性方程組時的計算速度，單位：FLOPS。HPCG雙精度浮點計算性能：系統(tǒng)使用雙精度共軛梯度法求解稀疏線性方程組時的浮點運算速度，單位：FLOPS。4.1.2.AI計算性能維度本維度共包含以下2個指標，用于衡量AI計算集群以典型業(yè)務(wù)負載表現(xiàn)為衡量方式的性能,2個指標使用的模型分別為MLPerf基準程序中的ResNet-50和MaskR-CNN模型。圖像推理任務(wù)的計算性能：系統(tǒng)使用ResNet-50模型在圖像推理任務(wù)的性能，單位：VFLOPS。測試數(shù)據(jù)集使用ImageNet，遍歷周期(Epochs)設(shè)定為90，性能度量單位VFLOPS計算方法如下：FLOPS*(實測準確度/目標準確度)^5，其中，F(xiàn)LOPS是推理過程中的浮點運算速度，實測準確度是測試過程實際達到的Top1準確度；目標準確度是測試標準預(yù)定義的最佳模型質(zhì)量Top1，設(shè)定為0.763。圖像訓練任務(wù)的計算性能：系統(tǒng)使用MaskR-CNN模型在COCO數(shù)據(jù)集上的圖像訓練任務(wù)中的訓練速度，單位：圖片/秒。質(zhì)量要求為每AP0.377Box和0.339Mask，性能度量單位為完成質(zhì)量要求的訓練所花費4.1.3.存儲性能維度本維度共包含以下5個指標，參考了在IO500等榜單中被廣泛使用的測試基準，同時擴展了存儲新能力 (多協(xié)議互通)的測試，衡量高性能計算集群存儲系統(tǒng)的性能特征。文件系統(tǒng)單客戶端單流帶寬：文件系統(tǒng)在單客戶端單流測試條件下能達到的帶寬，單位GB/s。文件系統(tǒng)單客戶端多流帶寬：文件系統(tǒng)在單客戶端多流測試條件下能達到的帶寬，單位GB/s。文件系統(tǒng)聚合帶寬：文件系統(tǒng)在多客戶端多流測試條件下能達到的聚合帶寬，單位GB/s，按照文件系統(tǒng)可文件系統(tǒng)聚合IO操作速率：文件系統(tǒng)在多客戶端多流測試條件下能達到的IO操作速率，單位：IOPS，按多協(xié)議平均訪問效率：分別以HDFS、對象、NFS三種協(xié)議訪問文件系統(tǒng)上的同一份數(shù)據(jù)時，與使用POSIX標準文件訪問協(xié)議的速率比值，取三項比值的平均數(shù)，不支持的協(xié)議比值為0，單位為百分比。4.1.4.網(wǎng)絡(luò)性能維度本維度共包含以下3個指標，以描述高性能計算集群的網(wǎng)絡(luò)性能。隨著集群規(guī)模的擴大、精度要求的提高、模型趨于復(fù)雜,以及數(shù)據(jù)中心、云計算、異地超算等分布式基礎(chǔ)設(shè)施的概念提出，集群對IO通信性能的需集群性能的一個不可或缺的維度，與存力一同保障了算力的高效率運行。點對點通信帶寬：系統(tǒng)中任意兩個節(jié)點間的雙向通信帶寬，單位Gbps。點對點通信延遲：系統(tǒng)中任意兩個節(jié)點間的通信往返延遲，單位微秒。寬與所有節(jié)點注入帶寬的比值，單位為比值。4.1.5.系統(tǒng)能效維度本維度包含2個指標，用于評價高性能計算集群的能源利用效率。隨著高性能計算集群算力突破E級大關(guān)，核心挑戰(zhàn)。提升算力與存力的能源利用效率勢在必行。單位功耗支持浮點計算能力：系統(tǒng)的HPL浮點計算性能計算子系統(tǒng)能耗的比值，計算單位功耗下的浮點計算能力，單位FLOPS/W。單位功耗的可得存儲容量：系統(tǒng)的可得存儲容量與存儲子系統(tǒng)額定功率的比值，計算單位功耗下的可得存儲容量，單位TB/W。4.1.6.系統(tǒng)平衡性維度5個指標，用于評價高性能計算系統(tǒng)的容量層級。。BurstBuffer與內(nèi)容容量比：BurstBuffer容量與內(nèi)存容量的比值，單位為比值。長久存儲與BurstBuffer容量比：并行文件系統(tǒng)容量與BurstBuffer容量的比值，單位為比值。內(nèi)存與BurstBuffer的帶寬比：內(nèi)存帶寬與BurstBurffer帶寬的比值，單位為比值。BurstBuffer與文件系統(tǒng)的帶寬比：BurstBuffer帶寬與并行文件系統(tǒng)帶寬的比值，單位為比值。匹配度=(1)V上匹配度=(1)上限下限VV+VV上限下限表高性能計算性能指標匯總表度位備注系統(tǒng)使用雙精度高斯消度位備注系統(tǒng)使用雙精度高斯消元法求解稠密線性方程組時的浮點運算速度。標能PFLOPS科學計算性能HPCG雙精度浮點計算HPCG雙精度浮點計算實際測試值TFLOPS度法求解稀疏線性方程組時的浮點運算速度。圖像推理任務(wù)的計算性能VFLOPS圖像推理任務(wù)的計算性能VFLOPSAI計算性能模型在圖像推理任務(wù)的性能。測試數(shù)據(jù)集使用ImageNet，遍歷周期 (Epochs)設(shè)定為VFLOPS計算方法如下：FLOPS*(實測準圖像訓練任務(wù)的計算性能圖像訓練任務(wù)的計算性能模型在COCO數(shù)據(jù)集上的圖像訓練任務(wù)中的訓文件系統(tǒng)單客戶端單流文件系統(tǒng)單客戶端單流GB/s流測試條件下能達到的文件系統(tǒng)單客戶端多流文件系統(tǒng)單客戶端多流GB/s流測試條件下能達到的存儲性能GB/GB/s流測試條件下能達到的文件系統(tǒng)聚合IO操作文件系統(tǒng)聚合IO操作速率IOPS流測試條件下能達到的度存儲性能系統(tǒng)平系統(tǒng)平衡性數(shù)值說數(shù)值說明單位功耗的浮點計算性能單位功耗的可得存儲容量內(nèi)存容量(GB)與處理器標備注備注時，與使用POSIX標準系系統(tǒng)中任意兩個節(jié)點間的MPI消息通信雙向?qū)捪迪到y(tǒng)中任意兩個節(jié)點間的MPI消息通信往返延遲。計算網(wǎng)絡(luò)性能時，該指標取延遲數(shù)值數(shù)。系系統(tǒng)網(wǎng)絡(luò)的對分帶寬與所有節(jié)點注入帶寬的比值。系系統(tǒng)的浮點計算實測性能與計算子系統(tǒng)能耗的系系統(tǒng)的可得存儲容量與存儲子系統(tǒng)額定功耗的比值。評評分時如下公式轉(zhuǎn)換為“匹配度”再代入綜合位GbpsGFLOPS/W數(shù)值說數(shù)值說明評分時如下公式轉(zhuǎn)換為“匹配度”再代入綜合系統(tǒng)平衡性備注度位標4.2.綜合評價計算方法本評價規(guī)范使用幾何平均數(shù)計算每個維度的性能評分，為每個被測集群評出科學計算性能、AI計算性能、存儲性能、網(wǎng)絡(luò)性能、系統(tǒng)能效和系統(tǒng)平衡性六個維度的評分。維度的性能評分按照公式(2)計算。系數(shù)，建議該常數(shù)值為100。考慮到不同計算集群的算力規(guī)模，使用公式(2)對各個維度進行評分之前，需要參考表2中的HPL實測性能對集群進行劃檔分類，然后再進行評分。對高性能計算集群的評價，最終會輸出兩個結(jié)果：(1)評測數(shù)據(jù)詳表：該表詳細記錄各指標性能的數(shù)值；(2)性能雷達圖：以多維度雷達圖來顯示集群系統(tǒng)在不同維度的性能評分。4.3.指標權(quán)重與平衡性范圍的設(shè)計初稿我們根據(jù)經(jīng)驗初步設(shè)計了如下的指標權(quán)重，主要考慮是：在計算性能維度，以HPL為代表的稠密矩陣計算方法應(yīng)用最廣泛，權(quán)重最高。存儲性能維度的五個指標重要性相當，均分1.0權(quán)重。網(wǎng)絡(luò)性能維度中，點對點帶寬最重要因此權(quán)重最高。系統(tǒng)能效方面，單位功耗浮點性能比可用存儲容量重要，因此權(quán)重更高。系統(tǒng)平衡性方面，五個指標重要性相當，均分1.0權(quán)重。綜合評價方法的使用者可以針對具體測試場景，按需設(shè)置權(quán)重。度科學計算性能科學計算性能AI計算性能存儲性能系統(tǒng)能效系統(tǒng)平衡性表指標權(quán)重標HPLHPL精度浮點計算性能HPCG雙精度浮點計算性能GB值BurstBuffer存容量的比值存儲容量與BurstBuffer容量的比值BurstBuffer的比值rstBuffer重0.20.2我們調(diào)研了歷年Top500超算集群，在現(xiàn)有集群建設(shè)經(jīng)驗基礎(chǔ)上，初步整理了各層級存儲系統(tǒng)容量、帶寬的配比范圍。按照集群實測峰值計算能力，我們將集群劃分為三檔規(guī)模，分別是：性能大于30PFLOPS的超大型集群，性能10-30PFLOPS的大型集群，和1-10PFLOPS的小型集群。不同規(guī)模的集群具有不同的設(shè)計考量，因此在平衡性上有范圍差異。后續(xù)將補充其他評估方法，不斷完善建議值范圍。標內(nèi)存容量(GB)與處理器核心數(shù)的比值BurstBuffer容量與內(nèi)存容量的比值并行文件系統(tǒng)存儲容量與BurstBuffer容量的比值內(nèi)存帶寬與BurstBuffer帶寬的比值BurstBuffer帶寬與并行文件系統(tǒng)帶寬的比值按按實測峰值計算能力分類>30>30PFLOPS10-30PFLOPS1-10PFLOPS>30PFLOPS10-30PFLOPS1-10PFLOPS>30PFLOPS10-30PFLOPS1-10PFLOPS>30PFLOPS10-30PFLOPS1-10PFLOPS>30PFLOPS10-30PFLOPS1-10PFLOPS建建議值范圍2~84~62~520~4010~302~201500~50001000~3000800~20004~82~655性能評價方法的應(yīng)用擇其他組件的性能。2)分析典型場景下的集群特性，將集群劃分為“計算密集”、“IO密集”、“計算+IO密5.1.典型算力下的集群設(shè)計示例我們調(diào)研TOP500超算集群的相關(guān)性能，基于集群實測性能，將集群劃分為三檔：30PFLOPS以上、10-30PFLOPS、1-10PFLOPS，分別對應(yīng)超大型計算集群、大型計算集群和中型計算集群。在2022年Top500值分標值分標HPL雙精度浮點計算性能(單位:PFLOPS)HPCG雙精度浮點計算性能(單位：TFLOPS)圖像推理任務(wù)的計算性能(單位：VFLOPS)圖像訓練任務(wù)的計算性能(單位：圖片/秒)位：GB/s)位：GB/s)件系統(tǒng)聚合帶寬(單位：GB/s)148.647578475782725.75AI計算性能AI計算性能307000000035942400(*)825003571825003571826000000文件系統(tǒng)聚合IO操作速率(單位：IOPS260000000.860.86200點對點網(wǎng)絡(luò)帶寬(單位：Gbps)2000.567040.567041.0221.02214.719單位功耗的浮點計算性能(單位：GFLOPS/W14.719系0.02480.02481(+)0.68(+)0.89(+)0.95(+1(+)0.68(+)0.89(+)0.95(+)1(+)BurstBuffer存容量的比值系統(tǒng)平衡性90系統(tǒng)平衡性90存與BurstBuffer的帶寬比值BurstBuffer統(tǒng)帶寬的比值注：(+)表示匹配后的值，(*)表示該項指標結(jié)果為估計值20型集群設(shè)計示例“Hawk”超級計算機坐落于德國斯圖加特大學，該型超級計算機主要服務(wù)于在能源、氣候、尖端學術(shù)、工業(yè)和健康等領(lǐng)域的研究，在發(fā)電廠的優(yōu)化、區(qū)域和全球氣候模型的相互作用、流行病和遷徙的探索、車輛和飛機的空氣動力學改進以及噪音排放的測定等領(lǐng)域均發(fā)揮著重要的作用。使用上文所述的評分方法，“Hawk”超級計算各維度的指標和各維度的評分結(jié)果如下所示，不同維度內(nèi)的各指標所占權(quán)重見附錄表格。部分性能指標結(jié)果難以獲得，我們通過推測得出。度科學計算性能AI計算性能存儲性能系統(tǒng)能效系統(tǒng)平衡性標HPL雙精度浮點計算性能(單位:PFLOPS)HPCG雙精度浮點計算性能(單位：TFLOPS)圖像推理任務(wù)的計算性能(單位：VFLOPS)圖像訓練任務(wù)的計算性能(單位：圖片/秒)位：GB/s)位：GB/s)件系統(tǒng)聚合帶寬(單位：GB/s)文件系統(tǒng)聚合IO操作速率(單位：IOPS)點對點網(wǎng)絡(luò)帶寬(單位：Gbps)單位功耗的浮點計算性能(單位：GFLOPS/W)GB值BurstBuffer存容量的比值存儲容量與BurstBuffer容量的比值存與BurstBuffer的帶寬比值BurstBuffer統(tǒng)帶寬的比值值19.336047334.65240329(*)26743581297600(*)9(*)11(*)1760(*)18190000(*)0.82(*)2006710.81(*)4.95350.00641(+)0.53(+)1(+)1(+)(*)0.9(+)(*)分304060.680注：(+)表示匹配后的值，(*)表示該項指標結(jié)果為估計值中型集群設(shè)計示例“Wilkes-3”坐落于英國劍橋大學，是世界上第一臺云原生超級計算機，該超算中心為英國的科學研究提供了主要的計算資源,在天體物理學、材料模擬、核聚變發(fā)電和臨床醫(yī)學研究具有重要的應(yīng)用。使用上文所述的評分方法，“Wilkes-3”超級計算各維度的指標和各維度的評分結(jié)果如下所示，不同維度內(nèi)的各指標所占權(quán)重見附錄表格。部分性能指標結(jié)果難以獲得，我們通過推測得出。值分標值分標HPL雙精度浮點計算性能(單位:PFLOPS)HPCG雙精度浮點計算性能(單位：TFLOPS)圖像推理任務(wù)的計算性能(單位：VFLOPS)圖像訓練任務(wù)的計算性能(單位：圖片/秒)位：GB/s)位：GB/s)件系統(tǒng)聚合帶寬(單位：GB/s)文件系統(tǒng)聚合IO操作速率(單位：IOPS)點對點網(wǎng)絡(luò)帶寬(單位：Gbps)2.29728科學計算性能72841.22(*)408981(*)45039380AI計算性45039380496000(*)10(*)15(*)存儲性能30389存儲性能3038913240000(*)0.87(*)2006910.59(*)6910.91(*)0.91(*)29.7單位功耗的浮點計算性能(單位：GFLOPS/W29.7146系1460.016(*)1(+0.016(*)1(+)1(+)(*)1(+)(*)0.93(+)(*)1(+)(*)GB值BurstBuffer存容量的比值系統(tǒng)平衡性99系統(tǒng)平衡性99存與BurstBuffer的帶寬比值BurstBuffer統(tǒng)帶寬的比值注：(+)表示匹配后的值，(*)表示該項指標結(jié)果為估計值221-數(shù)據(jù)收集6-數(shù)據(jù)分發(fā)/歸檔1-數(shù)據(jù)收集6-數(shù)據(jù)分發(fā)/歸檔5.2.典型場景下的集群特性分析為探索可有效評估高性能計算集群系統(tǒng)的性能指標，本文充分調(diào)研了幾個典型的高性能計算應(yīng)用場景，其中包括基因測序、氣象預(yù)報、油氣勘探、自動駕駛和新材料設(shè)計領(lǐng)域，研究不同場景下的應(yīng)用特性和典型，分析不同應(yīng)用場景下的超算集群需要擁有的性能特點。主控主機 (部署SGE/PBS主控主機2-基因轉(zhuǎn)換3-基因拼接4-基因比對52-基因轉(zhuǎn)換3-基因拼接4-基因比對5-基因注釋主機1執(zhí)行主機N (集群部署)BAMBAM/SAM文件FASTQ文件FASTQ文件XXX格式VCF文件圖:基因測序業(yè)務(wù)流基因測序的業(yè)務(wù)流程主要包括：文庫制備(樣本上機+數(shù)據(jù)下機)、生信分析(測序分析+報告解讀)、分析后解讀(報告交付+歸檔分發(fā))。其中生信分析階段包含文件格式轉(zhuǎn)換、解壓縮、基因拼接、比對、排序、去重、變對環(huán)節(jié)CPU行量為6TB/40h，滿負荷下一年能產(chǎn)生1PB左右數(shù)據(jù)，加之生物信息分析過程一般會產(chǎn)生原始數(shù)據(jù)量5倍左右的中足1PFLOPS，但每核心配備的內(nèi)存數(shù)超過10GB，且采用了低延遲Infiniband網(wǎng)絡(luò)，文件系統(tǒng)聚合吞吐能力達到23表某基因測序集群對對應(yīng)評測方法的關(guān)鍵指標HPL性能：0.58PFLOPS每核心內(nèi)存數(shù)：10.6GB節(jié)點間網(wǎng)絡(luò)延遲：0.64微秒聚合吞吐能力：324GB/s量8748核心93312GB100GHDRInfiniband100PBCPU儲硬件數(shù)值氣象預(yù)報通過采集各種觀測手段獲得的數(shù)據(jù)作為初始場，在一定的初值和邊值條件下，利用高性能集群的算力，求解描述天氣演變過程的流體力學和熱力學的方程組，從而預(yù)測未來一定時段的大氣運動狀態(tài)和天氣現(xiàn)象。主要包括氣象觀測數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、模式計算以及后處理。其中，模式計算對高性能集群系統(tǒng)的計算、網(wǎng)絡(luò)和IO都有很高的要求，屬于典型的“IO密集+計算密集型”HPC應(yīng)用。數(shù)值氣象預(yù)報應(yīng)用軟件的運行時長通常和預(yù)報區(qū)域大小，網(wǎng)格數(shù)量、分辨率大小、設(shè)計算法及HPC集群性能等因素有關(guān)。通常而言，預(yù)報區(qū)域越大，網(wǎng)格數(shù)越多、分辨率越精細以及設(shè)計算法越復(fù)雜對HPC的性能和規(guī)模有著更高的要求。一方面，現(xiàn)有的數(shù)值氣象模式都采用MPI方式實現(xiàn)并行計算，適合在多個高性能服務(wù)器上并行執(zhí)行；另一方面，數(shù)值氣象預(yù)報模式本質(zhì)上是基于流體力學和熱力學等設(shè)計的，網(wǎng)格數(shù)量的多少一定程度上決定著模式執(zhí)行的并行度，所以數(shù)值氣象模式是計算密集型的應(yīng)用。因此，跟計算集群的浮點計算能力