(高清版)GBT 41779-2022 高性能計算機系統(tǒng)能效測試方法

高性能計算機系統(tǒng)能效測試方法2022-10-12發(fā)布IGB/T41779—2022本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(SAC/TC28)提出并歸口。本文件起草單位：曙光信息產(chǎn)業(yè)(北京)有限公司、曙光數(shù)據(jù)基礎(chǔ)設(shè)施創(chuàng)新技術(shù)(北京)股份有限公司、中國計量科學(xué)研究院、蘭州理工大學(xué)、中國電子技術(shù)標(biāo)準(zhǔn)化研究院、北京工翔科技有限公司、國家節(jié)能中心、北京亦莊智能城市協(xié)同創(chuàng)新研究院有限公司、國家電網(wǎng)公司信息通信分公司、阿里云計算有限公司、清華大學(xué)、中通服建設(shè)有限公司、山東省計算中心、北京大學(xué)、杭州萬泰認(rèn)證有限公司、國家發(fā)展和改革委員會能源研究所、中國石油天然氣股份有限公司勘探開發(fā)研究院、中科賽能(北京)科技有限公司、北京節(jié)能環(huán)保中心、中國科學(xué)院電工研究所、中國科學(xué)院計算機網(wǎng)絡(luò)信息中心、北京金茂綠建科技有限公司、北京科計通電子工程有限公司、北京領(lǐng)智信通節(jié)能技術(shù)研究院、潤和世聯(lián)數(shù)據(jù)科技有限公司、中國石油天然氣股份有限公司吉林石化數(shù)據(jù)中心分公司、中國建設(shè)銀行股份有限公司、北京納源豐科技發(fā)展有限公司、聯(lián)想(北京)信息技術(shù)有限公司、曙光數(shù)創(chuàng)電子設(shè)備科技發(fā)展(青島)有限公司、北京通和實益電信科學(xué)技術(shù)研究所有限公司、建信金融科技公司、山東正云信息科技有限公司、北京林業(yè)大學(xué)。1高性能計算機系統(tǒng)能效測試方法本文件給出了高性能計算機系統(tǒng)能效的計算公式，描述了高性能計算機系統(tǒng)能效測試的方法。本文件適用于高性能計算機系統(tǒng)能效測試，可用于分析高性能計算機系統(tǒng)的能效狀況，供高性能計算機系統(tǒng)的研發(fā)、測試、生產(chǎn)等參考使用。本文件提出的高性能計算機系統(tǒng)能效值可作為評價高性能計算機系統(tǒng)能效水平的參數(shù)。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T32910.3—2016數(shù)據(jù)中心資源利用第3部分：電能能效要求和測量方法3術(shù)語和定義下列術(shù)語和定義適用于本文件。同時使用多個計算節(jié)點，用于處理大量數(shù)據(jù)或解決大規(guī)模數(shù)值計算問題的計算機系統(tǒng)。注：高性能計算系統(tǒng)由計算子系統(tǒng)、存儲子系統(tǒng)、網(wǎng)絡(luò)子系統(tǒng)以及冷卻子系統(tǒng)等組成。計算子系統(tǒng)computingsubsystem高性能計算機系統(tǒng)(3.1)中由若干管理節(jié)點(3.3)、計算節(jié)點(3.4)組成負(fù)責(zé)數(shù)值運算的子系統(tǒng)。管理節(jié)點managementnode負(fù)責(zé)管理軟件運算的基礎(chǔ)計算單元。計算節(jié)點computingnode負(fù)責(zé)浮點數(shù)值運算的基礎(chǔ)計算單元。網(wǎng)絡(luò)子系統(tǒng)networksubsystem高性能計算機系統(tǒng)(3.1)中負(fù)責(zé)通信的子系統(tǒng)。存儲子系統(tǒng)storagesubsystem高性能計算機系統(tǒng)(3.1)中負(fù)責(zé)數(shù)據(jù)存儲的子系統(tǒng)。冷卻子系統(tǒng)coolingsubsystem高性能計算機系統(tǒng)(3.1)中負(fù)責(zé)提供計算機工作環(huán)境制冷的子系統(tǒng)。2FLOPS每秒所執(zhí)行的浮點運算次數(shù)。注：用于評價高性能計算機系統(tǒng)計算能力。tion維持高性能計算機系統(tǒng)(3.1)正常運行所消耗的所有電能總和。高性能計算機系統(tǒng)能源使用效率highperformancecomputersystemenergyefficiency高性能計算機系統(tǒng)能效HPCEE高性能計算機系統(tǒng)(3.1)的實測每秒浮點運算次數(shù)(3.8)與同一時段內(nèi)系統(tǒng)相應(yīng)總電能消耗量之比。LU分解LUfactorization在線性代數(shù)中矩陣分解的一種，將一個矩陣A分解為一個單位下三角矩陣L和一個上三角矩陣U下列縮略語適用于本文件。GPU:圖形處理器(GraphicsProcessingUnit)MIC:多重整合核心架構(gòu)(ManyIntegratedCore)5HPCEE高性能計算機系統(tǒng)一般由計算子系統(tǒng)、存儲子系統(tǒng)、網(wǎng)絡(luò)子系統(tǒng)以及冷卻子系統(tǒng)等組成。計算子系統(tǒng)一般由管理節(jié)點、計算節(jié)點組成。計算節(jié)點包括普通計算節(jié)點(如刀片式服務(wù)器)和加速計算節(jié)點(如含GPU、MIC等的服務(wù)器)。高性能計算機節(jié)點數(shù)應(yīng)大于或等于10個節(jié)點，宜在50個節(jié)點以上，節(jié)點總數(shù)無上限。高性能計算機系統(tǒng)能效測試應(yīng)包括該系統(tǒng)的計算能力測試和相應(yīng)系統(tǒng)耗電量測試兩部分。高性能計算機系統(tǒng)計算能力通過FLOPS來衡量。計算能力應(yīng)選取適當(dāng)?shù)能浖y試程序?qū)Ω咝阅苡嬎銠C系統(tǒng)的整體浮點運算性能進行測試。高性能計算機系統(tǒng)能效通過HPCEE來衡量，HPCEE為系統(tǒng)計算能力與相應(yīng)耗電量之比，其計算公式見公式(1):HPCEE=R/P……(1)R——實測每秒浮點運算次數(shù)的值；P——平均功率，單位為瓦特(W);HPCEE——高性能計算機系統(tǒng)能效。在測量高性能計算機系統(tǒng)能效時，耗電量的測量應(yīng)包括測試同期內(nèi)所有運行子系統(tǒng)的能耗。36測試環(huán)境高性能計算機系統(tǒng)在進行能效測試時，應(yīng)滿足如下環(huán)境條件：a)溫度：18℃~40℃;b)相對濕度：35%～80%(不應(yīng)結(jié)露);7計算能力測試框架7.1測試方案設(shè)計高性能計算機系統(tǒng)的計算能力應(yīng)通過采用高斯消元法求解一元N次稠密線性代數(shù)方程組的方法進行測試。應(yīng)選取適當(dāng)?shù)能浖y試程序?qū)Ω咝阅苡嬎銠C系統(tǒng)的整體浮點運算性能進行測試。軟件測試程序應(yīng)通過采用高斯消元法求解一元N次稠密線性代數(shù)方程組以評估整體浮點運算性能。具體測試方案如下：a)使用隨機數(shù)初始化得到一元N次稠密線性代數(shù)方程組Ax=b;b)指定方程組按公式(2)計算得出求解方程組總浮點運算次數(shù)； (2)式中：N——一元N次稠密線性代數(shù)方程組的次數(shù)；M——該方程組的總浮點運算次數(shù)。c)按照7.2的架構(gòu)設(shè)計要求編寫程序?qū)Ψ匠探M求解，并記錄總求解時間t;d)用總浮點運算次數(shù)M除以總求解時間t,即可得到系統(tǒng)的FLOPS。7.2求解程序架構(gòu)設(shè)計高性能計算機系統(tǒng)計算能力測試程序可按照此框架設(shè)計要求自行編寫。測試程序應(yīng)包含如卜內(nèi)容：a)初始化測試程序應(yīng)使用隨機數(shù)初始化得到一元N次稠密線性代數(shù)方程組Ax=b,依據(jù)公式(2)計算得到總浮點運算次數(shù)M并記錄。b)方程組求解測試程序應(yīng)采用高斯消元法，求解初始化后的一元N次稠密線性代數(shù)方程組Ax=b。求解過程應(yīng)分為兩個步驟，分別是：將維度為N的矩陣A進行LU分解和求解三角系統(tǒng)。1)LU分解應(yīng)分為以下步驟：●將矩陣A分解如公式(3):NB),Lu和Lz?為下三角矩陣，U?和U??為上三角矩陣。●將公式(3)進行分解計算得：4●將公式(5)變換得到：L??=A??×U-l………………………●將公式(6)變換得到：●將公式(7)變換得到：A??-L??×U??=Lz?×U2?……………(10)重復(fù)執(zhí)行上述分解步驟，直至整個矩陣A全部完成LU分解。注：測試程序設(shè)計可將矩陣A進行適當(dāng)分塊，并分布至高性能計算機系統(tǒng)的不同的計算節(jié)點，進行分布式LU分解。2)求解三角系統(tǒng)應(yīng)分為以下步驟：●矩陣A的LU分解完成之后，得到公式(11):設(shè)y=Ux帶入公式(11),得到公式(12):設(shè)y=Ux帶入公式(11),得到公式(12):求解三角系統(tǒng)公式(12),得到線性代數(shù)方程組的解x,即完成一元N次稠密線性代數(shù)求解三角系統(tǒng)公式(12),得到線性代數(shù)方程組的解x,即完成一元N次稠密線性代數(shù)方程組Ax=b的整體求解過程。c)測試時間記錄與FLOPS結(jié)果輸出測試程序應(yīng)記錄高性能計算機系統(tǒng)對方程組求解的總時間t,用總浮點運算次數(shù)M除以總求解時間t計算得到系統(tǒng)的FLOPS并輸出。7.3測試運行要求測試運行要求如下：a)進行高性能計算機系統(tǒng)能效測試應(yīng)采用雙精度浮點進行計算；b)計算能力測試應(yīng)連續(xù)進行5輪，每輪測試結(jié)果及相關(guān)信息應(yīng)按照8.2的要求進行記錄；c)一元N次稠密線性代數(shù)方程組計算規(guī)模N應(yīng)使得每輪測試實際求解計算時間≥30min。注：高性能計算機系統(tǒng)計算能力測試程序亦可選用TOP500高性能計算機排名所使用的線性系統(tǒng)軟件包(Lin-pack)。8測試實施8.1概述高性能計算機系統(tǒng)能效測試是在系統(tǒng)運行計算能力測試程序的同時，使用電能計量儀表對高性能計算機系統(tǒng)的能耗進行同步測量和記錄。HPCEE測試方法含測試設(shè)備、測試點的選擇、測試過程、測試結(jié)果記錄4個部分。58.2測試設(shè)備測試設(shè)備要求如下：a)電能測試儀表精度要求應(yīng)符合GB/T32910.3—2016中7.2的要求；b)溫度計的測試精度不大于0.5℃,測試范圍為一50℃~100℃;c)濕度計的測試精度不大于2%,測試范圍為0%～100%。8.3電能消耗測試點高性能計算機系統(tǒng)總電能消耗測試點應(yīng)位于圖1中測試點A。計算子系統(tǒng)計算子系統(tǒng)網(wǎng)絡(luò)了系統(tǒng)存儲子系統(tǒng)切換開關(guān)管理子系統(tǒng)冷卻子系統(tǒng)其他輔助設(shè)備備用發(fā)電機配電系統(tǒng)市電A圖1高性能計算機系統(tǒng)電能消耗測試點8.4電能消耗測試過程高性能計算機系統(tǒng)電能消耗測試過程如下。a)測試準(zhǔn)備階段：調(diào)試電能表，啟動高性能計算機系統(tǒng)，測量系統(tǒng)所在地室外大氣環(huán)境溫度和濕度。判斷測試環(huán)境是否滿足測試條件。按照9.1的要求記錄空載能耗。b)計算能力測試：設(shè)定求解計算過程所需的方程組規(guī)模N并記錄，執(zhí)行計算能力測試程序?qū)Ω咝阅苡嬎銠C系統(tǒng)FLOPS進行測量，記錄測試開始及結(jié)束時間以及該時段內(nèi)系統(tǒng)所消耗的電能。c)重復(fù)進行步驟b)計算能力測試5次，記錄每輪相應(yīng)測試結(jié)果。8.5HPCEE測試結(jié)果記錄在HPCEE測試過程中，記錄系統(tǒng)進行計算能力測試的計算時長和相應(yīng)系統(tǒng)電能消耗。記錄的示例見表A.1。高性能計算機系統(tǒng)的公式(1)中參數(shù)R應(yīng)為計算能力測試程序輸出結(jié)果。通過表B.1中平均功率P和實測值R,按照公式(1)計算可得HPCEE數(shù)值。注：HPCEE測試記錄表見附錄A,HPCEE的能效分級見附錄B。9披露要求9.1空載能耗披露HPCEE時應(yīng)同時包含系統(tǒng)空載能耗信息，即系統(tǒng)開展計算能力測試前以及測試完成后，各進6行一次時長為30min的系統(tǒng)空載能耗測試，空載功率記錄表參照附錄A進行記錄。注：空載待機狀態(tài)是指參與計算能力測試的所有子系統(tǒng)都已全部開機，但不運行計算能力測試程序的狀態(tài)。采用命令Qstat或者Sinfo可查詢到所有節(jié)點狀態(tài)標(biāo)識為idle。9.2測試效率測試效率為實測值R與理論峰值Rmx之比，其中理論峰值按公式(13)計算：Rmx=芯片主頻×單指令周期浮點操作數(shù)×核心數(shù) 計算性能測試效率記錄表參照附錄A進行記錄。7GB/T41779—2022(資料性)測試記錄表格示例HPCEE測試記錄表、空載功率記錄表、計算性能測試效率記錄表示例見表A.1、表A.2和表A.3。表A.1HPCEE測試記錄表測試次序測試程序計算規(guī)模N開始時間點結(jié)