分布式計算 算力度量方法 征求意見稿

1分布式計算算力度量方法本文件規(guī)定了分布式計算的算力度量參數(shù)，描述了分布式計算算力GB/T25000.23-2019系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評價(SQuaREGB/T42018-2022信息技術(shù)人工智能平臺計算資源GB/T41780.1-2022物聯(lián)網(wǎng)邊緣計算第1部分：通用GB/TAAAA-20XX分布式計算計算設(shè)GB/TCCCC-20XX分布式計算算2將數(shù)據(jù)和相關(guān)的計算處理分布在兩個或更多計算節(jié)點并能夠調(diào)度的信息系能夠執(zhí)行算術(shù)運算、邏輯判斷、數(shù)據(jù)處理、存儲和檢索等通4縮略語3CPU：中央處理器（CentralProcessingDPDK：數(shù)據(jù)平面開發(fā)套件（DataPlanFIB：轉(zhuǎn)發(fā)信息庫（ForwardInformationBFLOPS：每秒浮點運算次數(shù)（FloatingPointOperationsperSFPGA：現(xiàn)場可編程門陣列（Field-ProgrammableGateArraGPU：圖形處理器（GraphicsProcessingIOPS：每秒輸入輸出量（Input/0utputOpIPsec：為IP網(wǎng)絡(luò)提供安全性的協(xié)議和服務(wù)的集合（InternetReLU：整流線性單元（RectifiedLinear5概述靜態(tài)算力度量方法及動態(tài)（運行時）算力度量…寬…4…數(shù)據(jù)處理初始資源信息包含計算配置、計算能力峰計算配置包含計算單元個數(shù)、計算核心數(shù)、計算單b)計算單元每秒浮點運算次數(shù)峰值（例如5b)計算單元每秒浮點運算次數(shù)均值（例如6數(shù)據(jù)存儲初始資源信息通過操作系統(tǒng)命令或從設(shè)備網(wǎng)7Tb)計算被度量設(shè)備中的分布式基準程序的理論操作次數(shù)，理論操作次數(shù)計算見附錄動態(tài)計算是指在真實環(huán)境中通過運行典型應(yīng)用場景下基準測試程序來評估分布式計算設(shè)備的綜合8d)所有被度量設(shè)備應(yīng)選擇相同的專用計算任務(wù)作b)計算基準程序理論操作次數(shù),理論操作次數(shù)計算見附a)在標準環(huán)境下按6.2.1、6.3.1、6.4.1、92)被度量系統(tǒng)為板卡的，將板卡掛載到主機，度量程序部4)被度量系統(tǒng)為云服務(wù)的，度量程序部署在云分布式計算環(huán)境下單個設(shè)備除操作系統(tǒng)外無任何執(zhí)行程序時，設(shè)備算力可通過對設(shè)備各項初始資源信息參數(shù)進行熵值法定權(quán)、進而加權(quán)求和的方法進行度量。具體度量方法公式3給出的方法形成二級度量參數(shù)向量Xv；-1v分布式計算環(huán)境下單個設(shè)備存在執(zhí)行程序時，設(shè)備算力可通過對設(shè)備各項動態(tài)算力度量參數(shù)進行熵值法定權(quán)，進而加權(quán)求和的方法進行度量。具體度量量量量量量按公式3給出的方法形成二級度量參數(shù)向量Xv；…內(nèi)存通道數(shù)；專用計算單元內(nèi)存容量剩余量存主頻、專用計算單元內(nèi)存帶寬剩余量、專1態(tài)算力可通過對系統(tǒng)內(nèi)設(shè)備的各項初始資源信息參數(shù)累加進行AHP法定權(quán)，進而加權(quán)求和的方法進行收集各設(shè)備的初始資源信息二級參數(shù)，按公式3給出的方法ve)結(jié)合b)中所確定的二級參數(shù)權(quán)重w，按公式10對Ev的各項二級參數(shù)算力度量值進行加權(quán)求f)將協(xié)同計算特征初始資源信息參數(shù)追加到Rv中，結(jié)合a)中所確定的一級參數(shù)初始資源信息權(quán)分布式計算系統(tǒng)內(nèi)存在執(zhí)行程序時，系統(tǒng)動態(tài)算力可通過對系統(tǒng)內(nèi)設(shè)備的各項運行時算力度量參數(shù)累加進行AHP法定權(quán)，進而加權(quán)求和的方法收集協(xié)同計算初始資源信息，按公式4給出的方法形成二級度量參數(shù)向量Xv；始資源信息v的度量值Rv；1A.1動態(tài)計算特征測試流程e)專用計算任務(wù)運行完畢后，記錄執(zhí)行時A.2協(xié)同計算初始資源信息測試流程f)分布式專用計算任務(wù)操作次數(shù)與執(zhí)行時間按的方法計算協(xié)同1c)使用深度優(yōu)先遍歷抽象語法樹，計算a）中實現(xiàn)的程序運行至結(jié)HO——輸出高度；矩陣A和矩陣B的矩陣乘法操作數(shù)MatMul按公式B.7給出的方法計算。MatMul=H×L×H×W················(B.7)Mul=(H×W)/2·················(B.8)前向傳播嵌入層操作數(shù)Embed按公式B.9給出的方法Embed=nctx×nvocab×dmodel···············(B.9)nctx——上下文/序列的長度；nvocab——dmodel——殘前向傳播自注意力層QKV操作數(shù)Aqkv按公式B.Aqkv=3×nlayer×dmodel×(dknlayer——自注意力層數(shù)；dkeys——鍵、查詢和值投影維度；nheads——自注意力層中注意力頭的個數(shù)。前向傳播自注意力層Mask操作數(shù)Amask按公式B.11給出的方法前向傳播自注意力層Project操作數(shù)Aproject按公式B.12給出的方法計算。Aproject=nlayer×dkeys×nheads×dmodel·········1前向傳播Feedforward層操作數(shù)Feedfw按公式B.13給出的方法計算。前向傳播去嵌入層操作數(shù)Dembed按公式B.14給出的方法計算。Dembed=dmodel×nvocab················(B.14)前向傳播Transformer操作數(shù)Transf按公式B.15給出的反向傳播卷積層操作數(shù)BCL按公式B.1反向傳播Transformer操作數(shù)BTransf按公式B.19給出的方a)采用圖像分類模型作為基準模型（典型模型如Res）；）；a)采用實例分割模型作為基準模型（典型模型如MaskR-CNNb)使用基準數(shù)據(jù)集訓(xùn)練（典型數(shù)據(jù)集如MSCOCO7)）；a)采用語義分割模型作為基準模型（典）；b)使用基準數(shù)據(jù)集訓(xùn)練（典型數(shù)據(jù)集如KiTS199)1)MaskR-CNN(MaskRegion-basedConvolutionalNeuralNetwork)模型可在https://github./vision/blob/main/torchvision/models/detection/mask_rcnn.py處獲得。2)ImageNet數(shù)據(jù)集可在/challenges/LSVRC/2012處獲得。3)MaskR-CNN(MaskRegion-basedConvolutionalNeuralNetwork)模型可在/pytorch/vision/blob/main/torchvision/models/detection/mask_rcnn.py處獲得。4)MSCOCO(MicrosoftCommonObjectsinContext)數(shù)據(jù)集可在處獲得。5)3DU-Net模型可在/mlcommons/training/blob/master/image_segmentation/pytorch-/model/unet3d.py處獲得。6)KiTS19數(shù)據(jù)集可在/neheller/kits19處獲得。2a)采用目標檢測模型作為基準模型（典型模型如YOLO）；b)使用基準數(shù)據(jù)集訓(xùn)練（典型數(shù)據(jù)集如MSa)采用自然語言處理模型作為基準模型（典型模型如BERT1）；b)使用基準數(shù)據(jù)集訓(xùn)練（典型數(shù)據(jù)集如Wikipedia12)）；a)采用語音識別模型作為基準模型（典型模型如RN）；b)使用基準數(shù)據(jù)集訓(xùn)練（典型數(shù)據(jù)集如LibriSpeech14)）；a)采用推薦系統(tǒng)模型作為基準模型（典型模型如DLRM）；）；7)YOLOV3(YouOnlyLookOnce)模型可在/ultralytics/yolov3處獲得。8)BERT(BidirectionalEncoderRepresentationfromTransformer)模型可在/google-research/bert處獲得。9)Wikipedia數(shù)據(jù)集可在處獲得。10)RNN-T(RecurrentNeuralNetworkTransducer)模型可在/mlcommonstree/master/rnn_speech_recognition/pytorch/rnnt處獲得。11)LibriSpeech數(shù)據(jù)集可在處獲得。12)DLRM(DeepLearningRecommendationModel)模型可在/facebookresearch/dlrm處獲13)1TBClickLogs數(shù)據(jù)集可在/download-criteo-1tb-click-logs-dataset處獲b)使用測試人員指定的基準數(shù)據(jù)集訓(xùn)練；213579