高性能計(jì)算系統(tǒng)性能評(píng)價(jià)白皮書-中國計(jì)算機(jī)學(xué)會(huì)

公共大數(shù)據(jù)國家重點(diǎn)實(shí)驗(yàn)室(貴州大學(xué))上海交通大學(xué)清華大學(xué)北京大學(xué)中國科學(xué)技術(shù)大學(xué)中科院科白皮書以高性能計(jì)算系統(tǒng)綜合評(píng)價(jià)指標(biāo)作為評(píng)估系統(tǒng)性能的新方法，牽引建設(shè)存算平衡、以數(shù)據(jù)為中心的系統(tǒng)，以達(dá)到三個(gè)主要目標(biāo)：以實(shí)際需求牽引系統(tǒng)設(shè)計(jì)，以行業(yè)經(jīng)驗(yàn)為指導(dǎo)系統(tǒng)選型，以提高系統(tǒng)實(shí)際使用能效為首要目標(biāo)。白皮書將以綜合評(píng)價(jià)指標(biāo)為載體，介紹高性能計(jì)算系統(tǒng)設(shè)計(jì)方法，提升高性能計(jì)算系統(tǒng)設(shè)計(jì)選型的平衡性。白皮書從算力(包括科學(xué)計(jì)算與AI計(jì)算性能)、存力(存儲(chǔ)性能)、運(yùn)力(網(wǎng)絡(luò)性能)和效率(系統(tǒng)能效與平衡性)六個(gè)維度選取指標(biāo)，給出了綜合性能的評(píng)測方法，和高性能計(jì)算系統(tǒng)的典型應(yīng)用場景、典型系統(tǒng)配置，最后提出了建立評(píng)測社區(qū)推廣評(píng)測體系的愿景，展望了標(biāo)準(zhǔn)演進(jìn)的規(guī)劃。白皮書內(nèi)容將隨著技術(shù)演化與社區(qū)成員反饋而逐步迭代，這是系統(tǒng)性能評(píng)價(jià)指標(biāo)發(fā)布的首個(gè)版本。1高性能計(jì)算的發(fā)展趨勢021高性能計(jì)算的發(fā)展趨勢02CONTENTS2集群綜合性能評(píng)價(jià)方法的演進(jìn)051.1.存儲(chǔ)系統(tǒng)的重要性愈發(fā)凸顯031.2.系統(tǒng)綜合性能更突出1.1.存儲(chǔ)系統(tǒng)的重要性愈發(fā)凸顯031.2.系統(tǒng)綜合性能更突出042.2.以性能評(píng)價(jià)牽引建設(shè)存算比合理的計(jì)算系統(tǒng)052.3.以性能評(píng)價(jià)牽引使用多協(xié)議互通的存儲(chǔ)系統(tǒng)0634.1.六個(gè)維度度量高性能計(jì)算系統(tǒng)124.1.1.科學(xué)計(jì)算性能維度4.1.六個(gè)維度度量高性能計(jì)算系統(tǒng)124.1.1.科學(xué)計(jì)算性能維度123.2.性能評(píng)價(jià)的標(biāo)準(zhǔn)規(guī)范104.1.2.AI計(jì)算性能維度124.1.3.存儲(chǔ)性能維度124.1.4.網(wǎng)絡(luò)性能維度134.1.5.系統(tǒng)能效維度134.1.6.系統(tǒng)平衡性維度134.2.綜合評(píng)價(jià)計(jì)算方法164.3.指標(biāo)權(quán)重與平衡性范圍的設(shè)計(jì)初稿165性能評(píng)價(jià)方法的應(yīng)用195.1.典型算力下的集群設(shè)計(jì)示例195.1.1超大型集群設(shè)計(jì)示例205.1.2大型集群設(shè)計(jì)示例215.1.3中型集群設(shè)計(jì)示例225.2.典型場景下的集群特性分析235.2.1.“IO密集型”超算系統(tǒng)：以面向基因測序的集群為例235.2.2.“IO密集+計(jì)算密集型”超算系統(tǒng)：以面向氣象預(yù)報(bào)的集群為例245.2.3.“AI密集型”超算系統(tǒng)：以面向自動(dòng)駕駛的集群為例256高性能計(jì)算系統(tǒng)性能評(píng)價(jià)規(guī)范的展望2711高性能計(jì)算的發(fā)展趨勢黨的十九屆四中全會(huì)首次將數(shù)據(jù)作為生產(chǎn)要素參與分配，數(shù)據(jù)的作用受到國家高度重視，2022年1月，國務(wù)院《“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃》中要求“以數(shù)據(jù)為關(guān)鍵要素，加強(qiáng)數(shù)字基礎(chǔ)設(shè)施建設(shè)”，數(shù)據(jù)資源匯聚、共享、流通、應(yīng)用的需求快速增加，對(duì)存儲(chǔ)、計(jì)算、網(wǎng)絡(luò)、安全等的要求也越來越高，以數(shù)據(jù)為中心的新型數(shù)字基礎(chǔ)設(shè)施將有力支撐經(jīng)濟(jì)社會(huì)數(shù)字化發(fā)展。2021年5月，國家發(fā)展改革委會(huì)同中央網(wǎng)信辦、工業(yè)和信息化部、國家能源局聯(lián)合發(fā)布《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實(shí)施方案》，提出構(gòu)建數(shù)據(jù)中心、云計(jì)算、大數(shù)據(jù)一體化的新型算力網(wǎng)絡(luò)體系，布局建設(shè)全國一體化算力網(wǎng)絡(luò)國家樞紐節(jié)點(diǎn)，以滿足數(shù)據(jù)資源存儲(chǔ)、計(jì)算和應(yīng)用需求的大幅提升。在需求和政策雙重牽引下，全國各地區(qū)大力推進(jìn)數(shù)字基礎(chǔ)設(shè)施建設(shè)的發(fā)展，包括計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)在內(nèi)的基礎(chǔ)設(shè)施和技術(shù)均被高度重視，2022年7月，工業(yè)和信息化部主辦的中國算力大會(huì)上發(fā)布了中國綜合算力指數(shù)，從算力、存力、運(yùn)力、環(huán)境四個(gè)維度綜合評(píng)價(jià)新型基礎(chǔ)設(shè)施和新型數(shù)據(jù)中心的發(fā)展水平。高性能計(jì)算是重要的數(shù)字基礎(chǔ)設(shè)施、國之重器，是高算力、高存力、高運(yùn)力的代表。2020年以來，十四五信息化規(guī)劃和新基建驅(qū)動(dòng)我國高性能計(jì)算建設(shè)進(jìn)入高速增長期，多地地方政府和企事業(yè)單位都在積極建設(shè)高性能計(jì)算中心和部署新一代高性能計(jì)算系統(tǒng)，將其作為推動(dòng)經(jīng)濟(jì)社會(huì)快速發(fā)展的關(guān)鍵措施。隨著數(shù)據(jù)價(jià)值的不斷提升以及大數(shù)據(jù)、人工智能等新興數(shù)字產(chǎn)業(yè)的興起，高性能計(jì)算正在由“大計(jì)算”的HPC加速邁向“大計(jì)算”+“大數(shù)據(jù)”的HPDA(高性能數(shù)據(jù)分析)，并呈現(xiàn)5大趨勢特點(diǎn)。多元應(yīng)用驅(qū)動(dòng)多元算力。CPU處理器和GPU、FPGA、xPU等專用處理器相結(jié)合構(gòu)建高性能計(jì)算的異構(gòu)算AI計(jì)算發(fā)展迅猛。AI計(jì)算成為高性能計(jì)算算力發(fā)展最為迅猛的類型之一，且逐步呈現(xiàn)計(jì)算芯片DSA化、計(jì)算網(wǎng)絡(luò)多平面化等特征。成為與傳統(tǒng)高性能計(jì)算越來越有區(qū)分的領(lǐng)域，這種變化與特征在大模型時(shí)代表現(xiàn)的更異構(gòu)多態(tài)復(fù)合歸一，資源集約推動(dòng)架構(gòu)融合化。一方面，根據(jù)應(yīng)用的需求，構(gòu)建不同性能和功能的計(jì)算和存儲(chǔ)環(huán)境，通過靈活組織異構(gòu)計(jì)算體系結(jié)構(gòu)，實(shí)現(xiàn)計(jì)算、存儲(chǔ)資源比例的靈活調(diào)整和性能功耗的平衡。另一方面，圍繞應(yīng)用負(fù)載特征開展體系結(jié)構(gòu)軟硬件協(xié)同設(shè)計(jì)，提升資源的使用效率與性能。高速互聯(lián)，更寬更快推動(dòng)全光化。當(dāng)前高性能計(jì)算互聯(lián)網(wǎng)絡(luò)主要有Infiniband、Slingshot和RoCE等，隨著技術(shù)積累和產(chǎn)業(yè)需求升溫，光子集成技術(shù)已從功能器件研究向規(guī)?；尚酒葸M(jìn)，光交換技術(shù)趨于成熟，全光交換成為發(fā)展趨勢。按需彈性極簡運(yùn)維，加速應(yīng)用容器化。容器可以為高性能計(jì)算工作負(fù)載提供動(dòng)力，并為大規(guī)模計(jì)算工作負(fù)載啟用若干功能框架，能夠提前封裝高性能計(jì)算運(yùn)行環(huán)境，易獲取、易操作、易利用，在科研人員中普及化使用高性能計(jì)算。以數(shù)據(jù)為中心，數(shù)據(jù)密集型超算快速發(fā)展。進(jìn)入大數(shù)據(jù)時(shí)代后，數(shù)據(jù)的規(guī)模不斷增長。隨著HPDA的發(fā)展，高性能計(jì)算系統(tǒng)的業(yè)務(wù)負(fù)載需考慮HPC、大數(shù)據(jù)和AI的混合疊加，對(duì)于數(shù)據(jù)的存儲(chǔ)和處理能力提出了更高要求。高性能計(jì)算系統(tǒng)需要從數(shù)據(jù)密集型角度進(jìn)行設(shè)計(jì)，支持應(yīng)用驅(qū)動(dòng)的科學(xué)計(jì)算工作流，推動(dòng)負(fù)載從計(jì)算科學(xué)發(fā)現(xiàn)向數(shù)據(jù)科學(xué)發(fā)現(xiàn)轉(zhuǎn)變?？偨Y(jié)以上趨勢，不難看出，當(dāng)前計(jì)算性能已不再是評(píng)價(jià)高性能計(jì)算集群的唯一標(biāo)準(zhǔn)，集群的綜合性能日益受到重視，尤其是與數(shù)據(jù)息息相關(guān)的存儲(chǔ)系統(tǒng)。021.1.存儲(chǔ)系統(tǒng)的重要性愈發(fā)凸顯傳統(tǒng)的高性能計(jì)算行業(yè)以算力作為核心生產(chǎn)力，如今，業(yè)界普遍意識(shí)到，當(dāng)數(shù)據(jù)存力不足或者效率低下時(shí)，數(shù)據(jù)就無法高效流動(dòng)、按需使用，也就無法充分挖掘其價(jià)值，小則影響算力作用的充分發(fā)揮，大則關(guān)乎整個(gè)高性能計(jì)算產(chǎn)業(yè)的發(fā)展。存儲(chǔ)性能是繼計(jì)算性能之后，各行各業(yè)數(shù)字化能力建設(shè)的一種進(jìn)階，在數(shù)字經(jīng)濟(jì)發(fā)展中至關(guān)重要。存儲(chǔ)與計(jì)算性能高度融合，方能真正形成新的核心生產(chǎn)力，能夠在各種業(yè)務(wù)場景中讓效率指數(shù)級(jí)增加，讓生產(chǎn)力獲得前所未有的解放。平衡存算比是當(dāng)前超算集群融合存儲(chǔ)與計(jì)算性能的主要方法之一。目前，芯片不斷朝著高性能、低成本、高集成的方向發(fā)展，但隨著單芯片集成的晶體管數(shù)量增多，高耗能等問題隨之出現(xiàn)，導(dǎo)致芯片性能難以持續(xù)提升，無法大規(guī)模提升算力。多芯片堆疊封裝為芯片突破性能瓶頸提供了可能，平衡存算比可有效縮短數(shù)據(jù)搬運(yùn)路徑，降低搬運(yùn)功耗，實(shí)現(xiàn)芯片級(jí)算力與IO的平衡。從設(shè)備內(nèi)視角來看，CPU、總線速度、主內(nèi)存帶寬及容量的發(fā)展速度不一，尤其是在處理海量數(shù)據(jù)過程中，內(nèi)存與存儲(chǔ)的空間和帶寬成為制約性能增長的主要瓶頸，如果存儲(chǔ)設(shè)備能平衡CPU和IO性能，將在很大程度上釋放算力潛力。此外，隨著數(shù)據(jù)量的增加，數(shù)據(jù)處理和存儲(chǔ)的效率也需要及時(shí)跟進(jìn)。在多樣化的HPC場景中，日均產(chǎn)生的數(shù)據(jù)量可達(dá)PB級(jí)，需要超大的容量方能完成歸檔。除此之外，在海量數(shù)據(jù)處理過程中，數(shù)據(jù)可能需要經(jīng)過多種格式的轉(zhuǎn)換，比如自動(dòng)駕駛和石油勘探這兩個(gè)高性能計(jì)算應(yīng)用較為普遍的領(lǐng)域，只有將NFS格式的數(shù)據(jù)轉(zhuǎn)換成HDFS格式后，系統(tǒng)才能進(jìn)行有效處理。海量的數(shù)據(jù)轉(zhuǎn)換需要耗費(fèi)大量的時(shí)間，其中還會(huì)損壞部分?jǐn)?shù)據(jù)，而且產(chǎn)生的數(shù)據(jù)冗余也占用了寶貴的存儲(chǔ)空間。因此，存儲(chǔ)設(shè)備實(shí)現(xiàn)多協(xié)議互訪可有效提升數(shù)據(jù)結(jié)構(gòu)多樣化的處理效率。03系統(tǒng)綜合性能更突出慮的重要因素，綠色節(jié)能也成為衡量高性能計(jì)算平臺(tái)綜合性能的重要尺度，TOP500和Green500排名榜單均加E不超過20MW。誠然，硬件工藝的更新?lián)Q代對(duì)能040522集群綜合性能評(píng)價(jià)方法的演進(jìn)設(shè)計(jì)高效工作的高性能計(jì)算集群系統(tǒng)，需要在目標(biāo)場景指引下，平衡處理器、網(wǎng)絡(luò)和存儲(chǔ)等組件的選型，合理搭配。高性能計(jì)算集群的綜合性能評(píng)測方法能夠發(fā)揮“標(biāo)尺”作用，對(duì)衡量設(shè)計(jì)的有效性產(chǎn)生著重。2.1.性能評(píng)價(jià)方法的演進(jìn)趨勢現(xiàn)有的性能評(píng)價(jià)規(guī)范專注細(xì)分領(lǐng)域，存在重計(jì)算、輕存儲(chǔ)、評(píng)測指標(biāo)分散、缺少應(yīng)用場景和缺少綜合的性能評(píng)價(jià)規(guī)范等缺點(diǎn)。這些評(píng)測規(guī)范通常過分強(qiáng)調(diào)被測系統(tǒng)某一個(gè)方面的能力，容易造成偏科。例如，在設(shè)計(jì)系統(tǒng)時(shí)若以浮點(diǎn)計(jì)算能力為唯一考量目標(biāo)，以此為指導(dǎo)設(shè)計(jì)出的高性能計(jì)算系統(tǒng)，難以全面滿足高算力、高存力、高運(yùn)力、高能效的新型基礎(chǔ)設(shè)施要求。此外，現(xiàn)有評(píng)價(jià)方法對(duì)新場景的關(guān)注還不夠。隨著NVMe全閃存儲(chǔ)介質(zhì)、基于糾刪碼的存儲(chǔ)冗余機(jī)制、多協(xié)議互通存儲(chǔ)系統(tǒng)、新一代異構(gòu)加速處理器的面市，誕生了諸如BurstBuffer閃存緩沖文件系統(tǒng)、超高密度存儲(chǔ)系統(tǒng)、多功能一體化存儲(chǔ)系統(tǒng)、面向超大模型訓(xùn)練的人工智能專用系統(tǒng)等新的集群應(yīng)用場景。如何為這些場景分類，如何評(píng)價(jià)設(shè)計(jì)系統(tǒng)與這些場景的適用程度，是新的性能評(píng)價(jià)方法需要解決的問題。06NFSCIFSMPIPOSIXSNFSCIFSMPIPOSIXS3容易被忽視的問題。論文《Ananalysisofsystembalanceandarchitecturaltrendsbasedontop500supercomputers》總結(jié)今年Top500超算集bHDFHDFSIndexLayerPersistenceLayer評(píng)測領(lǐng)域基礎(chǔ)計(jì)算性能圖計(jì)算性能評(píng)測領(lǐng)域基礎(chǔ)計(jì)算性能圖計(jì)算性能33高性能計(jì)算性能評(píng)價(jià)現(xiàn)狀3.1.性能評(píng)價(jià)基準(zhǔn)測試程序當(dāng)前，業(yè)內(nèi)研究人員發(fā)布了數(shù)十個(gè)具有不同側(cè)重面的高性能計(jì)算集群性能基準(zhǔn)測試程序，按照評(píng)價(jià)的領(lǐng)域，可以分為基礎(chǔ)計(jì)算性能、圖計(jì)算性能、AI計(jì)算性能、存儲(chǔ)網(wǎng)絡(luò)性能、設(shè)備能效等等。各個(gè)主要領(lǐng)域中相對(duì)知名的基準(zhǔn)測試程序如下表所示：知名基準(zhǔn)測試程知名基準(zhǔn)測試程序TOPTOP500、HPCG、PARSEC、SPECCPU、SPECHPC、SPECACCELGraphGraph50007評(píng)測領(lǐng)域評(píng)測領(lǐng)域AI計(jì)算性能存儲(chǔ)與網(wǎng)絡(luò)性能設(shè)備能效知名基準(zhǔn)測試程知名基準(zhǔn)測試程序HPCAI500、MLPerf、AIPerf、AISBenchIO500、OSUMicrobenchmarksHPCChallengeGreen500其中，被廣泛使用的包括Linpack(求解線性方程組性能)、HPCG(求解共軛梯度性能)、IO500(存儲(chǔ)性能)、Graph500(圖計(jì)算性能)、AI500(AI計(jì)算性能)等，但是均專注于各個(gè)細(xì)分的評(píng)測領(lǐng)域，缺少對(duì)集群的綜合性能評(píng)測，且多數(shù)沒有形成系統(tǒng)性的評(píng)價(jià)規(guī)范。始于1993年的TOP500榜單是目前最為熟知的高性能計(jì)算性能評(píng)價(jià)規(guī)范，由國際組織“TOP500”編制，每半年發(fā)布一次，TOP500排名基于Linpack基準(zhǔn)測試衡量線性方程計(jì)算的速度和效率，最新版HPL2.0規(guī)范從2008年一直用到現(xiàn)在，不過隨著越來越多的應(yīng)用程序采用微分方程等復(fù)雜計(jì)算方式，Linpack性能與實(shí)際計(jì)算效率間的差距將越來越大。因此田納西大學(xué)教授JackDongarra提出了HPCG (高度共軛梯度基準(zhǔn)測試)標(biāo)準(zhǔn)，與Linpack關(guān)注線性方程的計(jì)算性能不同，HPCG使用更復(fù)雜的微分方程計(jì)算方式。Linpack更考驗(yàn)超算的處理器理論性能，而HPCG更看重實(shí)際性能，對(duì)內(nèi)存系統(tǒng)、網(wǎng)絡(luò)延遲要求也更高。除了TOP500以外，多個(gè)評(píng)測榜單試圖從不同方向?qū)Τ慵旱男阅苷归_評(píng)價(jià)：面向圖計(jì)算性能的Graph500標(biāo)準(zhǔn)于2010年發(fā)布，采用GTEPS基準(zhǔn)測試評(píng)價(jià)，更加適用于在數(shù)據(jù)密集型應(yīng)用場景中的評(píng)測；BenchCouncil的AI500測試標(biāo)準(zhǔn)，基于增量迭代的方法學(xué)和智能科學(xué)計(jì)算應(yīng)用場景，目前包含3個(gè)典型科學(xué)數(shù)據(jù)集，14個(gè)負(fù)載的不同軟件棧實(shí)現(xiàn)；IO500是衡量高性能計(jì)算存儲(chǔ)性能的常用評(píng)價(jià)標(biāo)準(zhǔn)，于2017年11月發(fā)布，該標(biāo)準(zhǔn)涵蓋帶寬和元數(shù)據(jù)兩項(xiàng)基準(zhǔn)測試。同時(shí)，業(yè)界還存在多個(gè)商用或非商用的評(píng)測基準(zhǔn)套件，例如側(cè)重計(jì)算性能的SPEC系列和PERSEC、側(cè)重AI應(yīng)用性能的MLPerf、側(cè)重存儲(chǔ)與網(wǎng)絡(luò)性能的OSUMicrobenchmarks和HPCChallenge等。以下是SPECHPC與HPCChallenge兩個(gè)被廣泛應(yīng)用的基準(zhǔn)測試套件的測試內(nèi)容：SPECHPC包含9個(gè)測試，涵蓋了宇宙學(xué)、天氣學(xué)、高能物理學(xué)等多個(gè)方向的科學(xué)計(jì)算問題，側(cè)重于科學(xué)計(jì)算性能的測試。SPECHPC的評(píng)分規(guī)則相對(duì)簡單，使用了基準(zhǔn)集群的運(yùn)行時(shí)間與被測集群的運(yùn)行時(shí)間的比值作為集群的評(píng)分。08評(píng)測領(lǐng)域科學(xué)計(jì)算性能基準(zhǔn)測評(píng)測領(lǐng)域科學(xué)計(jì)算性能基準(zhǔn)測試HPL：測量求解線性方程組的浮點(diǎn)執(zhí)行率DGEMM：測量雙精度實(shí)矩陣-矩陣乘法的浮點(diǎn)執(zhí)行率FFT：測量雙精度復(fù)數(shù)一維離散傅里葉變換(DFT)的浮點(diǎn)執(zhí)行率PTRANS(并行矩陣轉(zhuǎn)置)：來自多處理器內(nèi)存的大型數(shù)據(jù)數(shù)組的傳輸速率，測試網(wǎng)絡(luò)總通信容量RandomAccess：測量內(nèi)存的整數(shù)隨機(jī)更新率STREAM：測量可持續(xù)內(nèi)存帶寬和簡單矢量內(nèi)核的相應(yīng)計(jì)算速率通信延遲：測量將8字節(jié)消息從一個(gè)節(jié)點(diǎn)發(fā)送到另一個(gè)節(jié)點(diǎn)所需的時(shí)間通信帶寬：測量傳輸大小為2,000,000字節(jié)消息所需的時(shí)間基準(zhǔn)測基準(zhǔn)測試LBMD2Q37：計(jì)算流體動(dòng)力學(xué)SOMAOffersMonte-CarloAcceleration：物理/聚合物系統(tǒng)Tealeaf：物理學(xué)/高能物理學(xué)Cloverleaf：物理學(xué)/高能物理學(xué)Minisweep：核工程-輻射傳輸POT3D：太陽物理學(xué)SPH-EXA：天體物理學(xué)和宇宙學(xué)HPGMG-FV：宇宙學(xué)、天體物理學(xué)、燃燒miniWeather：天氣HPCChallenge包含了8個(gè)測試，分別屬于科學(xué)計(jì)算性能、存儲(chǔ)性能與網(wǎng)絡(luò)性能三個(gè)評(píng)測領(lǐng)域。然而，該，僅對(duì)于各個(gè)測試分別輸出了性能的數(shù)值。評(píng)測評(píng)測領(lǐng)域計(jì)算性能存儲(chǔ)性能093.2.性能評(píng)價(jià)的標(biāo)準(zhǔn)規(guī)范現(xiàn)有的高性能計(jì)算性能評(píng)價(jià)規(guī)范非常碎片化。國內(nèi)外標(biāo)準(zhǔn)化組織尚未發(fā)布針對(duì)高性能計(jì)算集群綜合性能評(píng)價(jià)的國家或行業(yè)標(biāo)準(zhǔn)，現(xiàn)有標(biāo)準(zhǔn)集中于數(shù)據(jù)中心和存儲(chǔ)，缺少集群性能相關(guān)的國標(biāo)、行標(biāo)、ISO標(biāo)。相關(guān)要有如下幾項(xiàng)：發(fā)布時(shí)發(fā)布時(shí)間數(shù)據(jù)中心存儲(chǔ)能效測評(píng)規(guī)范分布式塊存儲(chǔ)總體技術(shù)要求計(jì)算存儲(chǔ)分離架構(gòu)的分布式存儲(chǔ)測試方法服務(wù)器應(yīng)用場景性能測試方法高性能計(jì)算通用計(jì)算CPU性能測試評(píng)價(jià)技術(shù)要求分布式塊存儲(chǔ)總體技術(shù)要求計(jì)算存儲(chǔ)分離架構(gòu)的分布式存儲(chǔ)測試方法信息技術(shù)人工智能服務(wù)器系統(tǒng)性能測試規(guī)范PerformanceBenchmarkingforArtificialIntelligenceServerSystemsT/CESA1214-2022T/CESA1215-2022T/CESA1213-2022T/CESA1169-2021T/CCSA263-2019T/CCSA325-2021YD/T4030-2022GCC7003-2020標(biāo)準(zhǔn)名稱IEEEP29372020/11/26019/12/23標(biāo)準(zhǔn)號(hào)2022/4/82022/92022/72022/72022/7型2021/9地標(biāo)地標(biāo)地標(biāo)標(biāo)其中，《數(shù)據(jù)中心存儲(chǔ)能效測評(píng)規(guī)范》規(guī)定了數(shù)據(jù)中心存儲(chǔ)設(shè)備的能效測試方法與能效等級(jí)評(píng)價(jià)方法，對(duì)測試環(huán)境、測試方法、能效指標(biāo)、加分項(xiàng)均做出了規(guī)范；《分布式塊存儲(chǔ)總體技術(shù)要求》針對(duì)分布式塊存儲(chǔ)解決方案提出功能、性能、可靠性等方面的要求；《計(jì)算存儲(chǔ)分離架構(gòu)的分布式存儲(chǔ)測試方法》規(guī)定了計(jì)算存儲(chǔ)分離架構(gòu)的分布式存儲(chǔ)方案的功能、性能、兼容性、擴(kuò)展性、可靠性、安全性、運(yùn)維、硬件和網(wǎng)絡(luò)測試方法；《服務(wù)器應(yīng)用場景性能測試方法高性能計(jì)算》通過制定標(biāo)準(zhǔn)化的評(píng)估方法，對(duì)比評(píng)估綠色計(jì)算產(chǎn)品與傳統(tǒng)架構(gòu)產(chǎn)品在該場景所關(guān)注指標(biāo)、特性上的差異化優(yōu)勢，展示了以ARM架構(gòu)為代表的綠色計(jì)算服務(wù)器在高性能計(jì)算應(yīng)用場景的性能表現(xiàn)。44高性能計(jì)算性能指標(biāo)和評(píng)價(jià)規(guī)范標(biāo)具有科學(xué)性和可解釋性，我們充分調(diào)研了Top500各大超級(jí)計(jì)算集群的性能指標(biāo)，相應(yīng)數(shù)據(jù)集的鏈接為214+提升建議214+提升建議浮點(diǎn)計(jì)算性能存儲(chǔ)帶寬浮點(diǎn)計(jì)算性能(Flops)存儲(chǔ)帶寬(GB/s)網(wǎng)絡(luò)延遲(微秒)......19項(xiàng)基礎(chǔ)指標(biāo)19項(xiàng)指標(biāo)權(quán)重分析集群特點(diǎn)，給出特定場景下的提升建議分析集群特點(diǎn)，給出特定場景下的提升建議度共19項(xiàng)基礎(chǔ)指標(biāo)為19項(xiàng)指標(biāo)設(shè)計(jì)維度內(nèi)權(quán)重維度的性能評(píng)分334.1.六個(gè)維度度量高性能計(jì)算系統(tǒng)4.1.1.科學(xué)計(jì)算性能維度2個(gè)指標(biāo)，用于衡量高性能計(jì)算集群以雙精度浮點(diǎn)處理典型科學(xué)計(jì)算內(nèi)核的性能。HPL雙精度浮點(diǎn)計(jì)算性能：系統(tǒng)按雙精度使用高斯消元法求解稠密線性方程組時(shí)的計(jì)算速度，單位：FLOPS。HPCG雙精度浮點(diǎn)計(jì)算性能：系統(tǒng)使用雙精度共軛梯度法求解稀疏線性方程組時(shí)的浮點(diǎn)運(yùn)算速度，單位：FLOPS。4.1.2.AI計(jì)算性能維度本維度共包含以下2個(gè)指標(biāo)，用于衡量AI計(jì)算集群以典型業(yè)務(wù)負(fù)載表現(xiàn)為衡量方式的性能,2個(gè)指標(biāo)使用的模型分別為MLPerf基準(zhǔn)程序中的ResNet-50和MaskR-CNN模型。圖像推理任務(wù)的計(jì)算性能：系統(tǒng)使用ResNet-50模型在圖像推理任務(wù)的性能，單位：VFLOPS。測試數(shù)據(jù)集使用ImageNet，遍歷周期(Epochs)設(shè)定為90，性能度量單位VFLOPS計(jì)算方法如下：FLOPS*(實(shí)測準(zhǔn)確度/目標(biāo)準(zhǔn)確度)^5，其中，F(xiàn)LOPS是推理過程中的浮點(diǎn)運(yùn)算速度，實(shí)測準(zhǔn)確度是測試過程實(shí)際達(dá)到的Top1準(zhǔn)確度；目標(biāo)準(zhǔn)確度是測試標(biāo)準(zhǔn)預(yù)定義的最佳模型質(zhì)量Top1，設(shè)定為0.763。圖像訓(xùn)練任務(wù)的計(jì)算性能：系統(tǒng)使用MaskR-CNN模型在COCO數(shù)據(jù)集上的圖像訓(xùn)練任務(wù)中的訓(xùn)練速度，單位：圖片/秒。質(zhì)量要求為每AP0.377Box和0.339Mask，性能度量單位為完成質(zhì)量要求的訓(xùn)練所花費(fèi)4.1.3.存儲(chǔ)性能維度本維度共包含以下5個(gè)指標(biāo)，參考了在IO500等榜單中被廣泛使用的測試基準(zhǔn)，同時(shí)擴(kuò)展了存儲(chǔ)新能力 (多協(xié)議互通)的測試，衡量高性能計(jì)算集群存儲(chǔ)系統(tǒng)的性能特征。文件系統(tǒng)單客戶端單流帶寬：文件系統(tǒng)在單客戶端單流測試條件下能達(dá)到的帶寬，單位GB/s。文件系統(tǒng)單客戶端多流帶寬：文件系統(tǒng)在單客戶端多流測試條件下能達(dá)到的帶寬，單位GB/s。文件系統(tǒng)聚合帶寬：文件系統(tǒng)在多客戶端多流測試條件下能達(dá)到的聚合帶寬，單位GB/s，按照文件系統(tǒng)可文件系統(tǒng)聚合IO操作速率：文件系統(tǒng)在多客戶端多流測試條件下能達(dá)到的IO操作速率，單位：IOPS，按多協(xié)議平均訪問效率：分別以HDFS、對(duì)象、NFS三種協(xié)議訪問文件系統(tǒng)上的同一份數(shù)據(jù)時(shí)，與使用POSIX標(biāo)準(zhǔn)文件訪問協(xié)議的速率比值，取三項(xiàng)比值的平均數(shù)，不支持的協(xié)議比值為0，單位為百分比。4.1.4.網(wǎng)絡(luò)性能維度本維度共包含以下3個(gè)指標(biāo)，以描述高性能計(jì)算集群的網(wǎng)絡(luò)性能。隨著集群規(guī)模的擴(kuò)大、精度要求的提高、模型趨于復(fù)雜,以及數(shù)據(jù)中心、云計(jì)算、異地超算等分布式基礎(chǔ)設(shè)施的概念提出，集群對(duì)IO通信性能的需集群性能的一個(gè)不可或缺的維度，與存力一同保障了算力的高效率運(yùn)行。點(diǎn)對(duì)點(diǎn)通信帶寬：系統(tǒng)中任意兩個(gè)節(jié)點(diǎn)間的雙向通信帶寬，單位Gbps。點(diǎn)對(duì)點(diǎn)通信延遲：系統(tǒng)中任意兩個(gè)節(jié)點(diǎn)間的通信往返延遲，單位微秒。寬與所有節(jié)點(diǎn)注入帶寬的比值，單位為比值。4.1.5.系統(tǒng)能效維度本維度包含2個(gè)指標(biāo)，用于評(píng)價(jià)高性能計(jì)算集群的能源利用效率。隨著高性能計(jì)算集群算力突破E級(jí)大關(guān)，核心挑戰(zhàn)。提升算力與存力的能源利用效率勢在必行。單位功耗支持浮點(diǎn)計(jì)算能力：系統(tǒng)的HPL浮點(diǎn)計(jì)算性能計(jì)算子系統(tǒng)能耗的比值，計(jì)算單位功耗下的浮點(diǎn)計(jì)算能力，單位FLOPS/W。單位功耗的可得存儲(chǔ)容量：系統(tǒng)的可得存儲(chǔ)容量與存儲(chǔ)子系統(tǒng)額定功率的比值，計(jì)算單位功耗下的可得存儲(chǔ)容量，單位TB/W。4.1.6.系統(tǒng)平衡性維度5個(gè)指標(biāo)，用于評(píng)價(jià)高性能計(jì)算系統(tǒng)的容量層級(jí)。。BurstBuffer與內(nèi)容容量比：BurstBuffer容量與內(nèi)存容量的比值，單位為比值。長久存儲(chǔ)與BurstBuffer容量比：并行文件系統(tǒng)容量與BurstBuffer容量的比值，單位為比值。內(nèi)存與BurstBuffer的帶寬比：內(nèi)存帶寬與BurstBurffer帶寬的比值，單位為比值。BurstBuffer與文件系統(tǒng)的帶寬比：BurstBuffer帶寬與并行文件系統(tǒng)帶寬的比值，單位為比值。匹配度=(1)V上匹配度=(1)上限下限VV+VV上限下限表高性能計(jì)算性能指標(biāo)匯總表度位備注系統(tǒng)使用雙精度高斯消度位備注系統(tǒng)使用雙精度高斯消元法求解稠密線性方程組時(shí)的浮點(diǎn)運(yùn)算速度。標(biāo)能PFLOPS科學(xué)計(jì)算性能HPCG雙精度浮點(diǎn)計(jì)算HPCG雙精度浮點(diǎn)計(jì)算實(shí)際測試值TFLOPS度法求解稀疏線性方程組時(shí)的浮點(diǎn)運(yùn)算速度。圖像推理任務(wù)的計(jì)算性能VFLOPS圖像推理任務(wù)的計(jì)算性能VFLOPSAI計(jì)算性能模型在圖像推理任務(wù)的性能。測試數(shù)據(jù)集使用ImageNet，遍歷周期 (Epochs)設(shè)定為VFLOPS計(jì)算方法如下：FLOPS*(實(shí)測準(zhǔn)圖像訓(xùn)練任務(wù)的計(jì)算性能圖像訓(xùn)練任務(wù)的計(jì)算性能模型在COCO數(shù)據(jù)集上的圖像訓(xùn)練任務(wù)中的訓(xùn)文件系統(tǒng)單客戶端單流文件系統(tǒng)單客戶端單流GB/s流測試條件下能達(dá)到的文件系統(tǒng)單客戶端多流文件系統(tǒng)單客戶端多流GB/s流測試條件下能達(dá)到的存儲(chǔ)性能GB/GB/s流測試條件下能達(dá)到的文件系統(tǒng)聚合IO操作文件系統(tǒng)聚合IO操作速率IOPS流測試條件下能達(dá)到的度存儲(chǔ)性能系統(tǒng)平系統(tǒng)平衡性數(shù)值說數(shù)值說明單位功耗的浮點(diǎn)計(jì)算性能單位功耗的可得存儲(chǔ)容量內(nèi)存容量(GB)與處理器標(biāo)備注備注時(shí)，與使用POSIX標(biāo)準(zhǔn)系系統(tǒng)中任意兩個(gè)節(jié)點(diǎn)間的MPI消息通信雙向?qū)捪迪到y(tǒng)中任意兩個(gè)節(jié)點(diǎn)間的MPI消息通信往返延遲。計(jì)算網(wǎng)絡(luò)性能時(shí)，該指標(biāo)取延遲數(shù)值數(shù)。系系統(tǒng)網(wǎng)絡(luò)的對(duì)分帶寬與所有節(jié)點(diǎn)注入帶寬的比值。系系統(tǒng)的浮點(diǎn)計(jì)算實(shí)測性能與計(jì)算子系統(tǒng)能耗的系系統(tǒng)的可得存儲(chǔ)容量與存儲(chǔ)子系統(tǒng)額定功耗的比值。評(píng)評(píng)分時(shí)如下公式轉(zhuǎn)換為“匹配度”再代入綜合位GbpsGFLOPS/W數(shù)值說數(shù)值說明評(píng)分時(shí)如下公式轉(zhuǎn)換為“匹配度”再代入綜合系統(tǒng)平衡性備注度位標(biāo)4.2.綜合評(píng)價(jià)計(jì)算方法本評(píng)價(jià)規(guī)范使用幾何平均數(shù)計(jì)算每個(gè)維度的性能評(píng)分，為每個(gè)被測集群評(píng)出科學(xué)計(jì)算性能、AI計(jì)算性能、存儲(chǔ)性能、網(wǎng)絡(luò)性能、系統(tǒng)能效和系統(tǒng)平衡性六個(gè)維度的評(píng)分。維度的性能評(píng)分按照公式(2)計(jì)算。系數(shù)，建議該常數(shù)值為100。考慮到不同計(jì)算集群的算力規(guī)模，使用公式(2)對(duì)各個(gè)維度進(jìn)行評(píng)分之前，需要參考表2中的HPL實(shí)測性能對(duì)集群進(jìn)行劃檔分類，然后再進(jìn)行評(píng)分。對(duì)高性能計(jì)算集群的評(píng)價(jià)，最終會(huì)輸出兩個(gè)結(jié)果：(1)評(píng)測數(shù)據(jù)詳表：該表詳細(xì)記錄各指標(biāo)性能的數(shù)值；(2)性能雷達(dá)圖：以多維度雷達(dá)圖來顯示集群系統(tǒng)在不同維度的性能評(píng)分。4.3.指標(biāo)權(quán)重與平衡性范圍的設(shè)計(jì)初稿我們根據(jù)經(jīng)驗(yàn)初步設(shè)計(jì)了如下的指標(biāo)權(quán)重，主要考慮是：在計(jì)算性能維度，以HPL為代表的稠密矩陣計(jì)算方法應(yīng)用最廣泛，權(quán)重最高。存儲(chǔ)性能維度的五個(gè)指標(biāo)重要性相當(dāng)，均分1.0權(quán)重。網(wǎng)絡(luò)性能維度中，點(diǎn)對(duì)點(diǎn)帶寬最重要因此權(quán)重最高。系統(tǒng)能效方面，單位功耗浮點(diǎn)性能比可用存儲(chǔ)容量重要，因此權(quán)重更高。系統(tǒng)平衡性方面，五個(gè)指標(biāo)重要性相當(dāng)，均分1.0權(quán)重。綜合評(píng)價(jià)方法的使用者可以針對(duì)具體測試場景，按需設(shè)置權(quán)重。度科學(xué)計(jì)算性能科學(xué)計(jì)算性能AI計(jì)算性能存儲(chǔ)性能系統(tǒng)能效系統(tǒng)平衡性表指標(biāo)權(quán)重標(biāo)HPLHPL精度浮點(diǎn)計(jì)算性能HPCG雙精度浮點(diǎn)計(jì)算性能GB值BurstBuffer存容量的比值存儲(chǔ)容量與BurstBuffer容量的比值BurstBuffer的比值rstBuffer重0.20.2我們調(diào)研了歷年Top500超算集群，在現(xiàn)有集群建設(shè)經(jīng)驗(yàn)基礎(chǔ)上，初步整理了各層級(jí)存儲(chǔ)系統(tǒng)容量、帶寬的配比范圍。按照集群實(shí)測峰值計(jì)算能力，我們將集群劃分為三檔規(guī)模，分別是：性能大于30PFLOPS的超大型集群，性能10-30PFLOPS的大型集群，和1-10PFLOPS的小型集群。不同規(guī)模的集群具有不同的設(shè)計(jì)考量，因此在平衡性上有范圍差異。后續(xù)將補(bǔ)充其他評(píng)估方法，不斷完善建議值范圍。標(biāo)內(nèi)存容量(GB)與處理器核心數(shù)的比值BurstBuffer容量與內(nèi)存容量的比值并行文件系統(tǒng)存儲(chǔ)容量與BurstBuffer容量的比值內(nèi)存帶寬與BurstBuffer帶寬的比值BurstBuffer帶寬與并行文件系統(tǒng)帶寬的比值按按實(shí)測峰值計(jì)算能力分類>30>30PFLOPS10-30PFLOPS1-10PFLOPS>30PFLOPS10-30PFLOPS1-10PFLOPS>30PFLOPS10-30PFLOPS1-10PFLOPS>30PFLOPS10-30PFLOPS1-10PFLOPS>30PFLOPS10-30PFLOPS1-10PFLOPS建建議值范圍2~84~62~520~4010~302~201500~50001000~3000800~20004~82~655性能評(píng)價(jià)方法的應(yīng)用擇其他組件的性能。2)分析典型場景下的集群特性，將集群劃分為“計(jì)算密集”、“IO密集”、“計(jì)算+IO密5.1.典型算力下的集群設(shè)計(jì)示例我們調(diào)研TOP500超算集群的相關(guān)性能，基于集群實(shí)測性能，將集群劃分為三檔：30PFLOPS以上、10-30PFLOPS、1-10PFLOPS，分別對(duì)應(yīng)超大型計(jì)算集群、大型計(jì)算集群和中型計(jì)算集群。在2022年Top500值分標(biāo)值分標(biāo)HPL雙精度浮點(diǎn)計(jì)算性能(單位:PFLOPS)HPCG雙精度浮點(diǎn)計(jì)算性能(單位：TFLOPS)圖像推理任務(wù)的計(jì)算性能(單位：VFLOPS)圖像訓(xùn)練任務(wù)的計(jì)算性能(單位：圖片/秒)位：GB/s)位：GB/s)件系統(tǒng)聚合帶寬(單位：GB/s)148.647578475782725.75AI計(jì)算性能AI計(jì)算性能307000000035942400(*)825003571825003571826000000文件系統(tǒng)聚合IO操作速率(單位：IOPS260000000.860.86200點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)帶寬(單位：Gbps)2000.567040.567041.0221.02214.719單位功耗的浮點(diǎn)計(jì)算性能(單位：GFLOPS/W14.719系0.02480.02481(+)0.68(+)0.89(+)0.95(+1(+)0.68(+)0.89(+)0.95(+)1(+)BurstBuffer存容量的比值系統(tǒng)平衡性90系統(tǒng)平衡性90存與BurstBuffer的帶寬比值BurstBuffer統(tǒng)帶寬的比值注：(+)表示匹配后的值，(*)表示該項(xiàng)指標(biāo)結(jié)果為估計(jì)值20型集群設(shè)計(jì)示例“Hawk”超級(jí)計(jì)算機(jī)坐落于德國斯圖加特大學(xué)，該型超級(jí)計(jì)算機(jī)主要服務(wù)于在能源、氣候、尖端學(xué)術(shù)、工業(yè)和健康等領(lǐng)域的研究，在發(fā)電廠的優(yōu)化、區(qū)域和全球氣候模型的相互作用、流行病和遷徙的探索、車輛和飛機(jī)的空氣動(dòng)力學(xué)改進(jìn)以及噪音排放的測定等領(lǐng)域均發(fā)揮著重要的作用。使用上文所述的評(píng)分方法，“Hawk”超級(jí)計(jì)算各維度的指標(biāo)和各維度的評(píng)分結(jié)果如下所示，不同維度內(nèi)的各指標(biāo)所占權(quán)重見附錄表格。部分性能指標(biāo)結(jié)果難以獲得，我們通過推測得出。度科學(xué)計(jì)算性能AI計(jì)算性能存儲(chǔ)性能系統(tǒng)能效系統(tǒng)平衡性標(biāo)HPL雙精度浮點(diǎn)計(jì)算性能(單位:PFLOPS)HPCG雙精度浮點(diǎn)計(jì)算性能(單位：TFLOPS)圖像推理任務(wù)的計(jì)算性能(單位：VFLOPS)圖像訓(xùn)練任務(wù)的計(jì)算性能(單位：圖片/秒)位：GB/s)位：GB/s)件系統(tǒng)聚合帶寬(單位：GB/s)文件系統(tǒng)聚合IO操作速率(單位：IOPS)點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)帶寬(單位：Gbps)單位功耗的浮點(diǎn)計(jì)算性能(單位：GFLOPS/W)GB值BurstBuffer存容量的比值存儲(chǔ)容量與BurstBuffer容量的比值存與BurstBuffer的帶寬比值BurstBuffer統(tǒng)帶寬的比值值19.336047334.65240329(*)26743581297600(*)9(*)11(*)1760(*)18190000(*)0.82(*)2006710.81(*)4.95350.00641(+)0.53(+)1(+)1(+)(*)0.9(+)(*)分304060.680注：(+)表示匹配后的值，(*)表示該項(xiàng)指標(biāo)結(jié)果為估計(jì)值中型集群設(shè)計(jì)示例“Wilkes-3”坐落于英國劍橋大學(xué)，是世界上第一臺(tái)云原生超級(jí)計(jì)算機(jī)，該超算中心為英國的科學(xué)研究提供了主要的計(jì)算資源,在天體物理學(xué)、材料模擬、核聚變發(fā)電和臨床醫(yī)學(xué)研究具有重要的應(yīng)用。使用上文所述的評(píng)分方法，“Wilkes-3”超級(jí)計(jì)算各維度的指標(biāo)和各維度的評(píng)分結(jié)果如下所示，不同維度內(nèi)的各指標(biāo)所占權(quán)重見附錄表格。部分性能指標(biāo)結(jié)果難以獲得，我們通過推測得出。值分標(biāo)值分標(biāo)HPL雙精度浮點(diǎn)計(jì)算性能(單位:PFLOPS)HPCG雙精度浮點(diǎn)計(jì)算性能(單位：TFLOPS)圖像推理任務(wù)的計(jì)算性能(單位：VFLOPS)圖像訓(xùn)練任務(wù)的計(jì)算性能(單位：圖片/秒)位：GB/s)位：GB/s)件系統(tǒng)聚合帶寬(單位：GB/s)文件系統(tǒng)聚合IO操作速率(單位：IOPS)點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)帶寬(單位：Gbps)2.29728科學(xué)計(jì)算性能72841.22(*)408981(*)45039380AI計(jì)算性45039380496000(*)10(*)15(*)存儲(chǔ)性能30389存儲(chǔ)性能3038913240000(*)0.87(*)2006910.59(*)6910.91(*)0.91(*)29.7單位功耗的浮點(diǎn)計(jì)算性能(單位：GFLOPS/W29.7146系1460.016(*)1(+0.016(*)1(+)1(+)(*)1(+)(*)0.93(+)(*)1(+)(*)GB值BurstBuffer存容量的比值系統(tǒng)平衡性99系統(tǒng)平衡性99存與BurstBuffer的帶寬比值BurstBuffer統(tǒng)帶寬的比值注：(+)表示匹配后的值，(*)表示該項(xiàng)指標(biāo)結(jié)果為估計(jì)值221-數(shù)據(jù)收集6-數(shù)據(jù)分發(fā)/歸檔1-數(shù)據(jù)收集6-數(shù)據(jù)分發(fā)/歸檔5.2.典型場景下的集群特性分析為探索可有效評(píng)估高性能計(jì)算集群系統(tǒng)的性能指標(biāo)，本文充分調(diào)研了幾個(gè)典型的高性能計(jì)算應(yīng)用場景，其中包括基因測序、氣象預(yù)報(bào)、油氣勘探、自動(dòng)駕駛和新材料設(shè)計(jì)領(lǐng)域，研究不同場景下的應(yīng)用特性和典型，分析不同應(yīng)用場景下的超算集群需要擁有的性能特點(diǎn)。主控主機(jī) (部署SGE/PBS主控主機(jī)2-基因轉(zhuǎn)換3-基因拼接4-基因比對(duì)52-基因轉(zhuǎn)換3-基因拼接4-基因比對(duì)5-基因注釋主機(jī)1執(zhí)行主機(jī)N (集群部署)BAMBAM/SAM文件FASTQ文件FASTQ文件XXX格式VCF文件圖:基因測序業(yè)務(wù)流基因測序的業(yè)務(wù)流程主要包括：文庫制備(樣本上機(jī)+數(shù)據(jù)下機(jī))、生信分析(測序分析+報(bào)告解讀)、分析后解讀(報(bào)告交付+歸檔分發(fā))。其中生信分析階段包含文件格式轉(zhuǎn)換、解壓縮、基因拼接、比對(duì)、排序、去重、變對(duì)環(huán)節(jié)CPU行量為6TB/40h，滿負(fù)荷下一年能產(chǎn)生1PB左右數(shù)據(jù)，加之生物信息分析過程一般會(huì)產(chǎn)生原始數(shù)據(jù)量5倍左右的中足1PFLOPS，但每核心配備的內(nèi)存數(shù)超過10GB，且采用了低延遲Infiniband網(wǎng)絡(luò)，文件系統(tǒng)聚合吞吐能力達(dá)到23表某基因測序集群對(duì)對(duì)應(yīng)評(píng)測方法的關(guān)鍵指標(biāo)HPL性能：0.58PFLOPS每核心內(nèi)存數(shù)：10.6GB節(jié)點(diǎn)間網(wǎng)絡(luò)延遲：0.64微秒聚合吞吐能力：324GB/s量8748核心93312GB100GHDRInfiniband100PBCPU儲(chǔ)硬件數(shù)值氣象預(yù)報(bào)通過采集各種觀測手段獲得的數(shù)據(jù)作為初始場，在一定的初值和邊值條件下，利用高性能集群的算力，求解描述天氣演變過程的流體力學(xué)和熱力學(xué)的方程組，從而預(yù)測未來一定時(shí)段的大氣運(yùn)動(dòng)狀態(tài)和天氣現(xiàn)象。主要包括氣象觀測數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、模式計(jì)算以及后處理。其中，模式計(jì)算對(duì)高性能集群系統(tǒng)的計(jì)算、網(wǎng)絡(luò)和IO都有很高的要求，屬于典型的“IO密集+計(jì)算密集型”HPC應(yīng)用。數(shù)值氣象預(yù)報(bào)應(yīng)用軟件的運(yùn)行時(shí)長通常和預(yù)報(bào)區(qū)域大小，網(wǎng)格數(shù)量、分辨率大小、設(shè)計(jì)算法及HPC集群性能等因素有關(guān)。通常而言，預(yù)報(bào)區(qū)域越大，網(wǎng)格數(shù)越多、分辨率越精細(xì)以及設(shè)計(jì)算法越復(fù)雜對(duì)HPC的性能和規(guī)模有著更高的要求。一方面，現(xiàn)有的數(shù)值氣象模式都采用MPI方式實(shí)現(xiàn)并行計(jì)算，適合在多個(gè)高性能服務(wù)器上并行執(zhí)行；另一方面，數(shù)值氣象預(yù)報(bào)模式本質(zhì)上是基于流體力學(xué)和熱力學(xué)等設(shè)計(jì)的，網(wǎng)格數(shù)量的多少一定程度上決定著模式執(zhí)行的并行度，所以數(shù)值氣象模式是計(jì)算密集型的應(yīng)用。因此，跟計(jì)算集群的浮點(diǎn)計(jì)算能力