人工智能 服務(wù)器系統(tǒng)性能測(cè)試規(guī)范 征求意見(jiàn)稿

1GB/TXXXXX—XXXX人工智能服務(wù)器系統(tǒng)性能測(cè)試方法本文件規(guī)定了人工智能服務(wù)器系統(tǒng)，完成深度學(xué)習(xí)訓(xùn)練及推理任務(wù)的性能（運(yùn)行時(shí)間、能耗、實(shí)際吞吐率、能效、效率、彈性、承壓能力等）測(cè)試方法。本文件適用于人工智能服務(wù)器系統(tǒng)的性能評(píng)估。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。IEEE2937-2022IEEE人工智能服務(wù)器系統(tǒng)性能測(cè)試標(biāo)準(zhǔn)（IEEEStandardforPerformanceBenchmarkingforArtificialIntelligenceServerSystems）3術(shù)語(yǔ)和定義GB/T41867-2022和GB/T42018-2022界定的以及下列術(shù)語(yǔ)和定義適用于本文件。為了方便使用，以下重復(fù)列出了GB/T41867－2022和GB/T42018-2022中的某些術(shù)語(yǔ)和定義。3.1被測(cè)系統(tǒng)systemundertest一次測(cè)試中，處理測(cè)試者給出的測(cè)試作業(yè)，并返回結(jié)果的系統(tǒng)。注：被測(cè)系統(tǒng)可由人工智能服務(wù)器系統(tǒng)硬件、算子實(shí)現(xiàn)庫(kù)、機(jī)器學(xué)習(xí)3.2被測(cè)者testedparty一次測(cè)試中，籌備、操作被測(cè)系統(tǒng)實(shí)施測(cè)試，并按測(cè)試協(xié)議的規(guī)定享有測(cè)試結(jié)果使用權(quán)的機(jī)構(gòu)或個(gè)3.3參考模型referencemodel用于定義系統(tǒng)測(cè)試要求的標(biāo)準(zhǔn)化的模型。[來(lái)源：ISO/IEC14776—2009，3.1.87，有修改]2GB/TXXXXX—XXXX3.4計(jì)時(shí)timing獲取并返回被測(cè)系統(tǒng)當(dāng)前時(shí)間戳。3.5人工智能服務(wù)器artificialintelligenceserver含有專(zhuān)為人工智能計(jì)算設(shè)計(jì)的計(jì)算機(jī)構(gòu)，能夠?yàn)槿斯ぶ悄軕?yīng)用提供專(zhuān)用加速計(jì)算能力的服務(wù)器。注1：以通用服務(wù)器為基礎(chǔ)，配備人工智能加速卡后，為人工智能應(yīng)用提供專(zhuān)用計(jì)算加速能力的服務(wù)器，稱(chēng)“人工注2：專(zhuān)為人工智能加速計(jì)算設(shè)計(jì)，提供人工智能專(zhuān)用計(jì)算能力的服3.6人工智能服務(wù)器集群artificialintelligenceservercluster集群cluster遵循統(tǒng)一控制的，人工智能計(jì)算功能單元的集合。注2：人工智能服務(wù)器集群是人工智能高性能3.7人工智能服務(wù)器系統(tǒng)artificialintelligenceserversystem由人工智能服務(wù)器及其他必要的計(jì)算、存儲(chǔ)設(shè)備組成，承擔(dān)人工智能運(yùn)算任務(wù)的計(jì)算系統(tǒng)。注：人工智能服務(wù)器系統(tǒng)是人工智能服務(wù)器，人工3.8測(cè)試數(shù)據(jù)testdata測(cè)試集testdataset用于測(cè)試最終機(jī)器學(xué)習(xí)模型功能的數(shù)據(jù)。[來(lái)源：ISO/IECDIS22989:2021，3.2.19]3.9測(cè)試者tester組織、開(kāi)展測(cè)試的機(jī)構(gòu)或個(gè)人。3.10測(cè)試系統(tǒng)testsystem3GB/TXXXXX—XXXX執(zhí)行測(cè)試所使用的硬件、軟件及數(shù)據(jù)。[來(lái)源：ISO/IEC10303.34—2001，3.5.9]3.11作業(yè)job含有測(cè)試樣本的數(shù)據(jù)包。3.12性能performance人工智能服務(wù)器系統(tǒng)運(yùn)行計(jì)算任務(wù)時(shí)，可被測(cè)量的特性。算獲得，以表征在某機(jī)器中運(yùn)行的某技術(shù)過(guò)程[參考：ISO/IEC20000.10—2018，3.1.16和ISO13372—2012，2.3]3.13訓(xùn)練數(shù)據(jù)trainingdata訓(xùn)練集trainingdataset用于訓(xùn)練機(jī)器學(xué)習(xí)模型的輸入樣本子集。[來(lái)源：ISO/IECDIS22989:2021，3.2.22]3.14驗(yàn)證數(shù)據(jù)validationdata驗(yàn)證集validationdataset用于評(píng)估一個(gè)或多個(gè)備選機(jī)器學(xué)習(xí)模型功能數(shù)據(jù)樣本。[來(lái)源：ISO/IECDIS22989:2021，3.2.24]3.15布瑞恩半精度浮點(diǎn)數(shù)brainfloating-point一種專(zhuān)門(mén)用于的AI的事實(shí)工業(yè)標(biāo)準(zhǔn)格式，它的定義是：1比特符號(hào)位，8比特指數(shù)，7比特尾數(shù)。其上溢/下溢和NaN(NotaNumber，非數(shù))的行為和FP32相同。3.16節(jié)點(diǎn)node人工智能服務(wù)器系統(tǒng)中，能獨(dú)立完成訓(xùn)練或推理計(jì)算，且其性能參數(shù)能被獨(dú)立計(jì)量的組件。4GB/TXXXXX—XXXX3.17試驗(yàn)次數(shù)numberofroundsforatest按試驗(yàn)的要求，完成相同試驗(yàn)過(guò)程或重復(fù)處理相同數(shù)據(jù)的次數(shù)注1：訓(xùn)練測(cè)試中，試驗(yàn)次數(shù)是從模型的初始化狀態(tài)訓(xùn)練模型達(dá)至準(zhǔn)確率門(mén)限或訓(xùn)練執(zhí)行的訓(xùn)期數(shù)量（含使用驗(yàn)證3.18訓(xùn)期epoch引入到神經(jīng)網(wǎng)絡(luò)中的訓(xùn)練模式序列[來(lái)源：GB/T5271.34—2006，34.03.19，有修改]3.19性能指標(biāo)performanceindicator用于衡量人工智能服務(wù)器系統(tǒng)性能特征的一種標(biāo)準(zhǔn)方法或表達(dá)。注：本文件中，在不引起誤解的語(yǔ)境中，將人工智能服務(wù)器系[來(lái)源：ISO19440:2020(en),3.58，有修改]4縮略語(yǔ)下列縮略語(yǔ)適用于本文件：AI人工智能（ArtificialIntelligence）AUC曲線(xiàn)下面積（AreaUnderCurve）AUTOML自動(dòng)機(jī)器學(xué)習(xí)（AutomatedMachineLearning）BF16布瑞恩半精度浮點(diǎn)數(shù)（BrainFloating-point）BLEU雙語(yǔ)評(píng)估替換（BilingualEvaluationUnderstudy）FP16半精度浮點(diǎn)數(shù)（Half-precisionFloating-pointformat）FP32單精度浮點(diǎn)數(shù)（Single-precisionFloating-pointformat）FP64雙精度浮點(diǎn)數(shù)（Double-precisionFloating-pointformat）INT44位整型數(shù)（4-bitInteger）INT88位整型數(shù)（8-bitInteger）MAP平均準(zhǔn)確率均值（MeanAveragePrecision）MIOU平均交并比（MeanIntersectionOverUnion）NFS網(wǎng)絡(luò)文件系統(tǒng)（NetworkFileSystem）OCR光學(xué)字符識(shí)別（OpticalCharacterRecognition）SUT被測(cè)系統(tǒng)（SystemUnderTest）TF32張量單精度浮點(diǎn)數(shù)（TensorFloating-point）UINT44位無(wú)符號(hào)整型數(shù)（4-bitUnsignedInteger）UINT88位無(wú)符號(hào)整型數(shù)（8-bitUnsignedInteger）5GB/TXXXXX—XXXXWER錯(cuò)詞率（WordErrorRate）5測(cè)試模式5.1封閉模式5.1.1封閉式訓(xùn)練給定訓(xùn)練集和目標(biāo)模型結(jié)構(gòu)、精度，利用受測(cè)AI服務(wù)器系統(tǒng)，運(yùn)行建模、優(yōu)化算法得到目標(biāo)模型，應(yīng)符合給定測(cè)試集上的準(zhǔn)確率門(mén)限。5.1.2封閉式推理給定模型（參考實(shí)現(xiàn)）、精度、測(cè)試集，利用受測(cè)AI服務(wù)器系統(tǒng)，運(yùn)行模型定義的推理過(guò)程，輸出推理結(jié)果，結(jié)果應(yīng)符合精度及給定測(cè)試集上的準(zhǔn)確率要求。5.2開(kāi)放模式5.2.1開(kāi)放式訓(xùn)練給定訓(xùn)練集，利用受測(cè)AI服務(wù)器系統(tǒng)實(shí)施訓(xùn)練模型，結(jié)果模型應(yīng)符合精度及給定測(cè)試集上的準(zhǔn)確率要求。5.2.2開(kāi)放式推理給定測(cè)試集，被測(cè)者提供已訓(xùn)練好的模型，利用AI服務(wù)器系統(tǒng)，運(yùn)算輸出推理結(jié)果，結(jié)果應(yīng)符合精度及給定測(cè)試集上的準(zhǔn)確率要求。5.3場(chǎng)景AI服務(wù)器系統(tǒng)性能測(cè)試場(chǎng)景，應(yīng)包含：a)通用：針對(duì)共性問(wèn)題，參考或使用公共可獲得的模型和數(shù)據(jù)集，完成訓(xùn)練、推理任務(wù)；b)專(zhuān)用：針對(duì)行業(yè)領(lǐng)域問(wèn)題，使用專(zhuān)用模型和數(shù)據(jù)集，完成訓(xùn)練、推理任務(wù)；c)場(chǎng)景類(lèi)型涉及的技術(shù)要素的可變性，見(jiàn)表1及表2。表1訓(xùn)練模式及可變要素------√----------√--√6GB/TXXXXX—XXXX表1訓(xùn)練模式及可變要素（續(xù)）--√--√--√--√--√--√------√√√√--√--√表2推理模式及可變要素√√√√----------√--√--√--√--√--√--√--√--√--√--√--√5.4測(cè)試信息測(cè)試前，被測(cè)者應(yīng)向測(cè)試者提供測(cè)試信息，包含但不限于：a)測(cè)試通用信息（訓(xùn)練、推理測(cè)試皆提供）1)組織名稱(chēng)或個(gè)人姓名；2)測(cè)試ID（用于標(biāo)識(shí)測(cè)試）；3)是否開(kāi)放（0-封閉、1-開(kāi)放）；4)是否專(zhuān)用（0-通用、1-專(zhuān)用）；5)是否訓(xùn)練（0-推理、1-訓(xùn)練）；6)數(shù)據(jù)集類(lèi)型（0-固定數(shù)據(jù)集，1-隨機(jī)數(shù)據(jù)集）；7)隨機(jī)數(shù)據(jù)集用于（重）訓(xùn)練的訓(xùn)期數(shù)（0-zeroshot，1-oneshot，N-fewshot8)模型編號(hào)（對(duì)封閉模式有效，開(kāi)放模式時(shí)提供模型名和版本號(hào)）；9)提交時(shí)間（格式“[yyyy:MM:ddHH:mm:ss]”10)測(cè)試對(duì)象類(lèi)型（0-單機(jī)、1-集群/計(jì)算中心）；11)節(jié)點(diǎn)數(shù)（當(dāng)“測(cè)試對(duì)象類(lèi)型”不為“0”時(shí)有效）；7GB/TXXXXX—XXXX12)每服務(wù)器信息（型號(hào)，標(biāo)稱(chēng)計(jì)算能力，實(shí)施AI加速卡或加速芯片的數(shù)量，CPU信號(hào)、核數(shù)、主頻，CPU路數(shù)，加速卡信息（推理卡、訓(xùn)練卡或訓(xùn)推一體卡，是否需外接電源、接口類(lèi)型），存儲(chǔ)信息（盤(pán)片接口形態(tài)、協(xié)議、數(shù)量、總?cè)萘浚?，?nèi)存信息（型號(hào)、條數(shù)、單條容量、總?cè)萘浚?，總線(xiàn)信息（如PCIe協(xié)議版本、接口形態(tài)如x4、x8或x16））；13)節(jié)點(diǎn)間通信協(xié)議和帶寬；14)節(jié)點(diǎn)間組織關(guān)系（0-單節(jié)點(diǎn)、1-主從、2-環(huán)形、3-樹(shù)狀、4-其他）；15)操作系統(tǒng)標(biāo)識(shí)（名稱(chēng)、內(nèi)核版本號(hào)）；16)機(jī)器學(xué)習(xí)框架標(biāo)識(shí)（名稱(chēng)、版本號(hào)）；17)是否應(yīng)用虛擬化技術(shù)（0-不使用、1-使用）；18)虛擬化組件標(biāo)識(shí)（名稱(chēng)、版本號(hào)）；19)批（minibatch）大小（batchsize）可變標(biāo)識(shí)（0-不可變、1-可變20)批（minibatch）大小的值[正整數(shù)，僅當(dāng)q）為0時(shí)有效]；b)訓(xùn)練測(cè)試信息（實(shí)施訓(xùn)練測(cè)試時(shí)提供，不帶有重訓(xùn)練過(guò)程的推理測(cè)試不提供）1)優(yōu)化器聲明（算法名）；2)是否混合精度訓(xùn)練（0-不使用、1-使用，附加精度列表）；3)是否使用AUTOML完成測(cè)試（0-不使用、1-使用，附加AUTOML算法名稱(chēng)）；4)是否使用并行訓(xùn)練完成測(cè)試（0-不使用、1-模型并行、2-數(shù)據(jù)并行、3-混合并行、4-其他并行算法并附加算法名稱(chēng)）；5)并行訓(xùn)練時(shí)，是否采用異步參數(shù)更新[0-不使用（即同步更新）、1-使用]；c)推理測(cè)試信息（實(shí)施推理測(cè)試時(shí)提供，訓(xùn)練測(cè)試時(shí)不提供）：1)是否使用稀疏化（0-不使用、1-使用，附加方法名稱(chēng)）；2)是否使用量化（0-不使用、1-使用，附加量化方法名稱(chēng)）。5.5測(cè)試環(huán)境測(cè)試系統(tǒng)應(yīng)滿(mǎn)足6.4及7.4的要求，測(cè)試流程參考附錄E。6訓(xùn)練過(guò)程6.1測(cè)試流程6.1.1基本要求訓(xùn)練測(cè)試過(guò)程，應(yīng)符合以下要求：a)在一次測(cè)試中，訓(xùn)練測(cè)試對(duì)象包含以下AI服務(wù)器系統(tǒng)硬件及配套軟件（不含模型或算法負(fù)載1)AI服務(wù)器單機(jī)；2)AI服務(wù)器集群（含云化的AI服務(wù)器集群）；b)訓(xùn)練測(cè)試過(guò)程，包含以下步驟：1)測(cè)試準(zhǔn)備：被測(cè)者于測(cè)試前，取得訓(xùn)練集和驗(yàn)證集；如需要，被測(cè)者可對(duì)數(shù)據(jù)進(jìn)行必要的格式轉(zhuǎn)化或封裝；8GB/TXXXXX—XXXX2)測(cè)試運(yùn)行：被測(cè)者按測(cè)試內(nèi)容，編寫(xiě)并運(yùn)行必要的訓(xùn)練代碼（包含數(shù)據(jù)預(yù)處理、數(shù)據(jù)讀入、訓(xùn)練、結(jié)果模型格式轉(zhuǎn)化與持久化），得到結(jié)果模型；訓(xùn)練期間，記錄過(guò)程數(shù)據(jù)、計(jì)算指標(biāo)值、記錄日志、生成結(jié)果數(shù)據(jù)；3)結(jié)果報(bào)送：被測(cè)者發(fā)送測(cè)試結(jié)果給測(cè)試者；測(cè)試者檢查結(jié)果合規(guī)性；測(cè)試結(jié)束。6.1.2規(guī)則深度學(xué)習(xí)訓(xùn)練規(guī)則，符合以下規(guī)定：a)訓(xùn)練測(cè)試，不應(yīng)實(shí)施以下操作：1)在測(cè)試過(guò)程中進(jìn)行硬件或軟件改配；2)使用本文件規(guī)定之外的訓(xùn)練集進(jìn)行模型訓(xùn)練，也不應(yīng)實(shí)施模型預(yù)訓(xùn)練及遷移學(xué)習(xí)策略（大模型負(fù)載除外，按表3和表12的規(guī)定執(zhí)行預(yù)訓(xùn)練或遷移學(xué)習(xí)）；3)訓(xùn)練測(cè)試過(guò)程中，對(duì)已實(shí)現(xiàn)的指標(biāo)測(cè)量函數(shù)或測(cè)試流程控制函數(shù)實(shí)施改動(dòng)、繼承或重載（要求被測(cè)者實(shí)現(xiàn)的方法除外）；4)在數(shù)據(jù)準(zhǔn)備過(guò)程中：替換數(shù)據(jù)集；減少數(shù)據(jù)集中的樣本（封閉模式有效，除不足1batch的殘余數(shù)據(jù)之外）；除b）2）規(guī)定的操作生成的樣本外，增加數(shù)據(jù)集中的樣本（封閉模式有效）；分析數(shù)據(jù)規(guī)律或預(yù)先提取、編碼、保存樣本特征（封閉模式有效）；對(duì)數(shù)據(jù)做排序、索引或拆分操作（封閉模式有效）；5)在訓(xùn)練過(guò)程中改變指定的優(yōu)化方法（封閉模式有效）；b)訓(xùn)練測(cè)試，符合以下規(guī)定：1)應(yīng)編制并運(yùn)行的訓(xùn)練測(cè)試代碼：實(shí)現(xiàn)必要接口（如日志報(bào)送，準(zhǔn)確率計(jì)算等），以采集用于計(jì)算6.3中特定指標(biāo)的參數(shù)值；使用測(cè)試工具提供的過(guò)程指標(biāo)計(jì)算方法；使用測(cè)試工具提供的日志記錄方法（對(duì)工具的要求見(jiàn)6.4）；2)數(shù)據(jù)準(zhǔn)備時(shí)：訓(xùn)練數(shù)據(jù)尺寸不同或不符合模型需要時(shí)，可實(shí)施尺寸調(diào)整操作；在不改變輸入圖像（對(duì)視覺(jué)類(lèi)場(chǎng)景）像素值的情況下，可實(shí)施插值操作，包含但不限于：線(xiàn)性插值、雙線(xiàn)性插值、區(qū)域插值等；訓(xùn)練集、驗(yàn)證集、測(cè)試集的劃分比例，默認(rèn)為75%、10%及15%，特殊的劃分應(yīng)符合表3的規(guī)定（封閉模式有效）；3)訓(xùn)練過(guò)程中：可使用可變學(xué)習(xí)率，學(xué)習(xí)率改變方法，由訓(xùn)練算法確定；權(quán)重及偏置應(yīng)以常量或隨機(jī)值初始化；試驗(yàn)次數(shù)應(yīng)符合場(chǎng)景要求（封閉模式見(jiàn)表3，開(kāi)放模式在測(cè)試時(shí)向測(cè)試者聲明，并在測(cè)試過(guò)程中及結(jié)束后提供試驗(yàn)次數(shù)的證明如實(shí)施混合精度訓(xùn)練，應(yīng)符合5.4的要求；4)實(shí)施基于AUTOML的訓(xùn)練時(shí)：應(yīng)按6.1.2b）1）-6.1.2b）3）的要求執(zhí)行[除6.1.2b）2）中注明為“封閉模式有效”的規(guī)定外]；應(yīng)區(qū)分模型結(jié)構(gòu)生成（變異）階段和訓(xùn)練（針對(duì)某一代變異調(diào)整模型參數(shù)）階段，至少在模型結(jié)構(gòu)生成（變異）過(guò)程執(zhí)行前后、訓(xùn)練開(kāi)始前后，分別記錄時(shí)點(diǎn)；模型變異及搜索空間應(yīng)是有限并確定的；5)實(shí)施分布式訓(xùn)練時(shí)：并行訓(xùn)練，方式可包含但不限于模型并行、數(shù)據(jù)并行及混合并行；可使用分布式文件系統(tǒng)（如NFS）或存儲(chǔ)服務(wù)器存放、使用訓(xùn)練數(shù)據(jù)。6.1.3訓(xùn)練結(jié)果訓(xùn)練結(jié)果，符合如下要求：a)訓(xùn)練結(jié)果模型與參考模型一致，符合以下要求：9GB/TXXXXX—XXXX1)訓(xùn)練結(jié)果模型精度應(yīng)符合表3及表5的規(guī)定；2)封閉模式下，訓(xùn)練模型腳本與參考腳本（見(jiàn)表3及表5）應(yīng)定義一致的網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練模型腳本不應(yīng)導(dǎo)致以下情況的發(fā)生：多余或缺失的層；多余或缺失的神經(jīng)元；改變的激勵(lì)函數(shù)（對(duì)應(yīng)層之間）；多余或缺失的跨層連接；改變的池化方法（對(duì)應(yīng)層之間）；b)訓(xùn)練過(guò)程應(yīng)符合6.1.2的規(guī)定；c)結(jié)果應(yīng)包含以下信息：1)5.4規(guī)定的數(shù)據(jù)；2)場(chǎng)景要求的指標(biāo)值（見(jiàn)表3及表5）；3)訓(xùn)練程序源代碼，符合附錄A的要求；HH:mm:ss]–[trial_number]–[epoch_number]–[accuracy]”。其中，出時(shí)的時(shí)間戳，第二項(xiàng)為（訓(xùn)練）試驗(yàn)次數(shù)（正整數(shù)，不滿(mǎn)1次完整訓(xùn)練的，填1），第三項(xiàng)為訓(xùn)期數(shù)（正整數(shù)），第四項(xiàng)為當(dāng)前測(cè)試集上的準(zhǔn)確率（依照?qǐng)鼍耙蟮闹笜?biāo)定義。當(dāng)機(jī)器學(xué)習(xí)框架不支持訓(xùn)期結(jié)束時(shí)輸出準(zhǔn)確率時(shí)，則填寫(xiě)“--”，但訓(xùn)練退出前要輸出準(zhǔn)確率。5)結(jié)果模型文件（含權(quán)重和結(jié)構(gòu)信息；AUTOML訓(xùn)練，為最終結(jié)果模型文件）。6.2場(chǎng)景6.2.1通用測(cè)試場(chǎng)景封閉測(cè)試場(chǎng)景應(yīng)符合表3的要求，場(chǎng)景說(shuō)明見(jiàn)附錄B。GB/TXXXXX—XXXX表3通用訓(xùn)練性能測(cè)試場(chǎng)景（封閉）1727171wav2vec2_0Aishell-171wide&deepCriteo(KaggleDisplayAdvertisingChallengeDaWide:FTRL;Deep:Adagr72GB/TXXXXX—XXXX表3通用訓(xùn)練性能測(cè)試場(chǎng)景（封閉）（續(xù)）7BCE（建議給出全名，及文章引用，加在腳171723334GB/TXXXXX—XXXX表3通用訓(xùn)練性能測(cè)試場(chǎng)景（封閉）（續(xù)）態(tài)1），dbert-large測(cè)試項(xiàng)中，sequence-lefg表中fasterrcnn的RPN層損失表中BF16由1比特符號(hào)位，8比特指數(shù)，7比特尾數(shù)組成。其上溢/下溢和非數(shù)(NaN)的行為和FP32i表中LLaMa，GLM，StableDiffusion的模型結(jié)構(gòu)見(jiàn)[18表中的測(cè)試中止條件為參考值，測(cè)試實(shí)施時(shí)可作調(diào)整，但同一模型應(yīng)在各被測(cè)系統(tǒng)開(kāi)放測(cè)試場(chǎng)景應(yīng)符合表4的要求，場(chǎng)景說(shuō)明見(jiàn)附錄B。表4通用訓(xùn)練性能測(cè)試場(chǎng)景（開(kāi)放）1a1a1aGB/TXXXXX—XXXX表4通用訓(xùn)練性能測(cè)試場(chǎng)景（開(kāi)放）（續(xù)）1Criteo(KaggleDisplayAdvertisingChallengeDaa2a1a2a1Aishell-1aWER<5.5%a準(zhǔn)確率門(mén)限，依照封閉場(chǎng)景定義，在測(cè)試時(shí)可6.2.2專(zhuān)用測(cè)試場(chǎng)景封閉測(cè)試場(chǎng)景應(yīng)符合表5的要求，場(chǎng)景說(shuō)明見(jiàn)附錄B。表5專(zhuān)用訓(xùn)練性能測(cè)試場(chǎng)景（封閉）aBalanceCrossEntropyLoss+MaskL1Loss+DiceLo5a5aAishell-1GB/TXXXXX—XXXX表5專(zhuān)用訓(xùn)練性能測(cè)試場(chǎng)景（封閉）（續(xù)）7Precisionoverall:9CTCloss+attention），b表中未確定的模型及數(shù)據(jù)集，可在具體測(cè)試前，由測(cè)試者按專(zhuān)用系統(tǒng)的cEAST和FaceNet的損失函數(shù)的定義與實(shí)現(xiàn)分別見(jiàn)[8]和開(kāi)放測(cè)試場(chǎng)景應(yīng)符合表6的要求，場(chǎng)景說(shuō)明見(jiàn)附錄B。表6專(zhuān)用訓(xùn)練性能測(cè)試場(chǎng)景（開(kāi)放）），b表中未確定的模型及數(shù)據(jù)集，可在具體測(cè)試前，由測(cè)試者按專(zhuān)用系統(tǒng)的6.3指標(biāo)及測(cè)量方法6.3.1通則人工智能服務(wù)器系統(tǒng)訓(xùn)練的測(cè)試：a）應(yīng)以時(shí)間（見(jiàn)6.3.2）和實(shí)際吞吐率（含有效計(jì)算能力，見(jiàn)6.3.4）為基礎(chǔ)指標(biāo)表征性能；b）應(yīng)使用功耗（見(jiàn)6.3.3）和資源利用率（見(jiàn)6.3.5）表征訓(xùn)練代價(jià)；c）宜按需求使用附錄C.1規(guī)定的指標(biāo)。GB/TXXXXX—XXXX6.3.2時(shí)間時(shí)間單位為毫秒（ms）。訓(xùn)練相關(guān)用時(shí)及測(cè)量方法，應(yīng)符合表7及圖1的規(guī)定：表7訓(xùn)練時(shí)間測(cè)量方法從訓(xùn)練開(kāi)始讀入數(shù)據(jù)，到模型訓(xùn)練完畢、完成在非電易失性存儲(chǔ)器上的持久化，所使用的a）在讀入訓(xùn)練數(shù)據(jù)命令前，緊鄰該命令計(jì)時(shí)，獲得時(shí)間點(diǎn)b）在輸出模型持久化完成后，串行并緊鄰調(diào)用計(jì)時(shí)命令，獲得為訓(xùn)練目的，訓(xùn)練數(shù)據(jù)被讀入加速器內(nèi)存（使用通用計(jì)算環(huán)境、加速器缺少或不配置存儲(chǔ)時(shí)，可為主存），達(dá)至可用狀a）在讀入訓(xùn)練數(shù)據(jù)命令前，緊鄰該命令計(jì)時(shí)，獲得時(shí)間點(diǎn)t，t可等于T；b）在訓(xùn)練數(shù)據(jù)讀取完成時(shí)，串行并緊鄰調(diào)用計(jì)時(shí)命令，獲得時(shí)多加速器訓(xùn)練時(shí)，從訓(xùn)練開(kāi)始指令到所有加速器都被分配并開(kāi)始執(zhí)行訓(xùn)練任務(wù)所經(jīng)歷的時(shí)長(zhǎng)a）訓(xùn)練開(kāi)始前，串行并緊鄰調(diào)用計(jì)時(shí)命令，獲得時(shí)間點(diǎn)t；b）在每個(gè)加速器進(jìn)入訓(xùn)練狀態(tài)時(shí)，取時(shí)間點(diǎn)，直到最后一個(gè)加速器進(jìn)訓(xùn)練狀態(tài)，獲得時(shí)間點(diǎn)t；T從訓(xùn)練開(kāi)始命令調(diào)用到訓(xùn)練退a）訓(xùn)練開(kāi)始前，串行并緊鄰調(diào)用計(jì)時(shí)命令，獲得時(shí)間t等于t；Tc）第i個(gè)訓(xùn)期用時(shí)：T=t–t。證用時(shí)T第j次使用驗(yàn)證數(shù)據(jù)集試運(yùn)行當(dāng)前模型，得出當(dāng)前模型準(zhǔn)確c）第j次驗(yàn)證用時(shí)：T=t-t?；脮r(shí)T訓(xùn)練完畢后，將結(jié)果模型轉(zhuǎn)化將加速器內(nèi)存中的模型讀出，并完整寫(xiě)入非電易失性存儲(chǔ)所c）模型持久化用時(shí)：T=t-t。源節(jié)點(diǎn)開(kāi)始發(fā)送數(shù)據(jù)至目標(biāo)節(jié)a）在發(fā)送數(shù)據(jù)前，串行并緊鄰調(diào)用計(jì)時(shí)命令，獲得時(shí)間t；GB/TXXXXX—XXXX表7訓(xùn)練時(shí)間測(cè)量方法（續(xù)）a訓(xùn)練退出可有多種充分條件。正常結(jié)束訓(xùn)練退出條件，如測(cè)試集be圖1訓(xùn)練時(shí)間序6.3.3功耗訓(xùn)練功耗單位為瓦（W）。訓(xùn)練相關(guān)功耗及測(cè)量方法，應(yīng)符合表8的規(guī)定。功耗的計(jì)量方法按IEEE2937-2022附錄B的規(guī)定執(zhí)行：表8訓(xùn)練功耗測(cè)量方法單臺(tái)AI服務(wù)器在某次訓(xùn)練b）在訓(xùn)練用時(shí)中（見(jiàn)圖1），周期性測(cè)量整機(jī)的負(fù)載功率（每秒），單臺(tái)AI服務(wù)器在某次訓(xùn)練工作狀態(tài)下的最大瞬時(shí)功率b）在訓(xùn)練過(guò)程中，周期性測(cè)量整機(jī)的負(fù)載功記錄最大負(fù)載功率計(jì)量值P。數(shù)）的平均功率P。P=∑PGB/TXXXXX—XXXX6.3.4實(shí)際吞吐率實(shí)際吞吐率代表人工智能服務(wù)器系統(tǒng)對(duì)特定訓(xùn)練作業(yè)的有效計(jì)算能力，提升有效計(jì)算能力可達(dá)到硬件系統(tǒng)擴(kuò)容的同樣效果。對(duì)視覺(jué)類(lèi)測(cè)試，單位為圖片數(shù)每秒（images/s對(duì)自然語(yǔ)言處理類(lèi)測(cè)試，單位為句數(shù)每秒（sentences/s）。對(duì)自然語(yǔ)言語(yǔ)句生成的模型，吞吐率可為定長(zhǎng)輸入（句中單詞或字的個(gè)數(shù)）、輸出條件下，每秒處理的語(yǔ)素?cái)?shù)量，單位是tokens/s。訓(xùn)練相關(guān)實(shí)際吞吐率及測(cè)量方法，應(yīng)符合表9的規(guī)定：表9訓(xùn)練吞吐率測(cè)量方法AI服務(wù)器系統(tǒng)在訓(xùn)練過(guò)程統(tǒng)計(jì)每個(gè)訓(xùn)期i（i為正整數(shù)）所使用的時(shí)間T；基于1）的結(jié)果，統(tǒng)計(jì)每訓(xùn)期平均T；=numbeTof(訓(xùn)練集)；TEP=numbeToftokens(訓(xùn)練集)；TEP率T?CL=σnT?n；））AI服務(wù)器系統(tǒng)在給定任務(wù)集合S上，實(shí)際吞吐率與每任務(wù)基線(xiàn)吞吐率之比的加權(quán)幾何平均bb)設(shè)SUT在s上測(cè)得的訓(xùn)練實(shí)際吞吐率為T(mén)?s，則訓(xùn)練綜合相對(duì)吞吐?()τss注1：如測(cè)得場(chǎng)景resnet50_v1.5及bert-large的實(shí)際吞吐率T?RN，T?BL，訓(xùn)練吞吐率=a?(τRN+τBL)()τRN?()τBLα——調(diào)整系數(shù)(α>0,α∈?+），默認(rèn)為100.0；Th——resnet50_v1.5對(duì)應(yīng)的基線(xiàn)吞吐率；Th——bert-large對(duì)應(yīng)的基線(xiàn)吞吐率；RN——resnet50_v1.5對(duì)應(yīng)的權(quán)值；BL——bert-large對(duì)應(yīng)的權(quán)值。GB/TXXXXX—XXXX表9訓(xùn)練吞吐率測(cè)量方法（續(xù)）6.3.5資源利用率資源利用率包含加速器利用率，單位為百分率（%）。訓(xùn)練相關(guān)資源利用率及測(cè)量方法，應(yīng)符合表10的規(guī)定：表10訓(xùn)練過(guò)程資源利用率測(cè)量方法訓(xùn)練期間（T）,服務(wù)器上所有指定參與訓(xùn)練任務(wù)的加速芯片的平均利Σpk一npkpk一i=Σpk一ipipi=d）對(duì)所有訓(xùn)期求平均，得出訓(xùn)練階段AI訓(xùn)練期間（T）,服務(wù)器集群上所有指定參與訓(xùn)練任務(wù)的加速芯片的平6.4訓(xùn)練用測(cè)試系統(tǒng)要求6.4.1功能要求測(cè)試系統(tǒng)符合以下規(guī)定，包含但不限于：a)應(yīng)能自動(dòng)檢測(cè)服務(wù)器或接收手動(dòng)填表的被測(cè)系統(tǒng)軟、硬件信息，符合5.4的規(guī)定；b)應(yīng)能使用機(jī)器學(xué)習(xí)框架，AI服務(wù)器系統(tǒng)提供的使能軟件函數(shù)庫(kù)及其他必要信息，完成6.3規(guī)定指標(biāo)的測(cè)量，提供指標(biāo)計(jì)算函數(shù)；c)應(yīng)至少能實(shí)施6.2.1規(guī)定的場(chǎng)景的測(cè)試；d)應(yīng)至少支持以下計(jì)算精度中的一種：1)FP64；2)FP32；3)TF32；4)FP16；5)BF16；7)UNIT8；GB/TXXXXX—XXXX8)INT4；9)UINT4；e)應(yīng)支持配置了容器或使用虛擬化組件的AI服務(wù)器系統(tǒng)的性能測(cè)試；f)測(cè)試完成后應(yīng)能完全卸載，不殘留任何測(cè)試組件（不含測(cè)試數(shù)據(jù)）；g)應(yīng)提供日志函數(shù)，日志所含內(nèi)容及格式符合6.1.3c）的規(guī)定；h)應(yīng)支持測(cè)試者對(duì)測(cè)試過(guò)程的管理和監(jiān)測(cè)，包含但不限于：1)訓(xùn)練過(guò)程子階段開(kāi)始或完成事件，包含訓(xùn)練測(cè)試開(kāi)始，每次訓(xùn)練的開(kāi)始和結(jié)束，訓(xùn)練測(cè)試整體進(jìn)度，訓(xùn)練測(cè)試整體進(jìn)度，訓(xùn)練測(cè)試結(jié)束和訓(xùn)練結(jié)果數(shù)據(jù)上傳及其完成；2)訓(xùn)練結(jié)果數(shù)據(jù)，符合6.1.3c）的規(guī)定；3)測(cè)試者對(duì)重測(cè)的允許及次數(shù)控制；4)能提供證據(jù)輔助測(cè)試者實(shí)施測(cè)試結(jié)果的有效性判定，或自動(dòng)判定；i)在提前獲得測(cè)試項(xiàng)目授權(quán)后，應(yīng)支持被測(cè)者在測(cè)試期內(nèi)的任意時(shí)間發(fā)起測(cè)試；j)應(yīng)能在測(cè)試者，為不同測(cè)試項(xiàng)維護(hù)獨(dú)立的結(jié)果數(shù)據(jù)目錄；k)應(yīng)能支持本地測(cè)試（測(cè)試者不介入的測(cè)試，如預(yù)測(cè)試、系統(tǒng)調(diào)試等）及遠(yuǎn)程測(cè)試（6.4.2公平性保障要求應(yīng)提供策略及實(shí)現(xiàn)，支持以下公平性保障功能，包含但不限于：a）防止對(duì)指標(biāo)計(jì)算函數(shù)的修改；b）防止測(cè)試時(shí)對(duì)指標(biāo)計(jì)算函數(shù)的替代使用；c）防止在測(cè)試結(jié)果上傳前對(duì)測(cè)試結(jié)果數(shù)據(jù)的修改，結(jié)果的規(guī)定見(jiàn)6.1.3；d）防止在測(cè)試開(kāi)始后，結(jié)果上傳完畢之前對(duì)測(cè)試代碼的修改；e）防止除測(cè)試系統(tǒng)外的其他進(jìn)程向被測(cè)者傳輸過(guò)程及結(jié)果數(shù)據(jù)；f）實(shí)施遠(yuǎn)程測(cè)試時(shí)，關(guān)于測(cè)試者授權(quán)的鑒別；g）測(cè)試過(guò)程中測(cè)試者與被測(cè)者通信的加密，信息完整性檢查。7推理過(guò)程7.1測(cè)試流程7.1.1基本要求推理測(cè)試過(guò)程，要求如下：a）推理測(cè)試對(duì)象包含AI服務(wù)器單機(jī)或AI服務(wù)器集群（包含云化的AI服務(wù)器集群b）推理測(cè)試過(guò)程，應(yīng)包含以下步驟：1)測(cè)試準(zhǔn)備：包含被測(cè)者向測(cè)試者發(fā)送測(cè)試請(qǐng)求，取得測(cè)試集；測(cè)試者指定測(cè)試數(shù)據(jù)集，告知獲取方法；被測(cè)系統(tǒng)下載數(shù)據(jù)集，檢驗(yàn)合規(guī)性；2)測(cè)試運(yùn)行：包含被測(cè)者按測(cè)試內(nèi)容，載入模型（可預(yù)先準(zhǔn)備好）和數(shù)據(jù)集；被測(cè)者運(yùn)行測(cè)試；記錄過(guò)程數(shù)據(jù)，計(jì)算指標(biāo)值；結(jié)果合規(guī)性檢查；3)結(jié)果報(bào)送：包含被測(cè)者發(fā)送測(cè)試結(jié)果數(shù)據(jù)測(cè)試者；測(cè)試者檢驗(yàn)結(jié)果合規(guī)性；測(cè)試結(jié)束。7.1.2規(guī)則GB/TXXXXX—XXXX推理測(cè)試過(guò)程，符合以下規(guī)定：a）符合以下合規(guī)性要求：1)推理測(cè)試源碼：應(yīng)實(shí)現(xiàn)必要接口（數(shù)據(jù)準(zhǔn)備、輸入、輸出應(yīng)使用測(cè)試系統(tǒng)提供的指標(biāo)計(jì)算方法；應(yīng)使用測(cè)試系統(tǒng)提供的日志記錄方法；不應(yīng)對(duì)已實(shí)現(xiàn)的指標(biāo)測(cè)量函數(shù)或測(cè)試流程控制函數(shù)實(shí)施改動(dòng)、繼承或重載（要求被測(cè)者實(shí)現(xiàn)的函數(shù)或接口除外）。2)推理過(guò)程，應(yīng)符合以下要求：模型編譯、部署時(shí)，不應(yīng)使用其他模型替換測(cè)試模型；測(cè)試前，除數(shù)據(jù)集封裝格式轉(zhuǎn)化外，不應(yīng)瀏覽或記錄數(shù)據(jù)、修改數(shù)據(jù)（非預(yù)處理）、瀏覽數(shù)據(jù)、拷貝數(shù)據(jù)，以及分析、提取、緩存數(shù)據(jù)特征；測(cè)試過(guò)程中，不應(yīng)實(shí)施以下操作：以推理測(cè)試進(jìn)程之外的任何進(jìn)程，修改、記錄日志；以推理測(cè)試進(jìn)程之外的任何進(jìn)程，存取測(cè)試輸入、輸出數(shù)據(jù)；緩存、復(fù)用輸入、輸出及過(guò)程（預(yù)處理結(jié)果、后處理輸入）數(shù)據(jù)；修改內(nèi)存中模型參數(shù)；保存、緩存后處理過(guò)程輸入數(shù)據(jù)；記錄、分析或使用作業(yè)到達(dá)模式來(lái)預(yù)測(cè)某時(shí)段內(nèi)的作業(yè)量；根據(jù)過(guò)程中準(zhǔn)確率、丟失率等指標(biāo)值，故意忽略待處理數(shù)據(jù)；b）封閉模式推理時(shí)，模型壓縮，不應(yīng)實(shí)施以下操作：1)刪除非零權(quán)重；2)使用剪枝或其他改變模型結(jié)構(gòu)的方法；3)實(shí)施模型蒸餾。c）封閉模式推理時(shí)，模型量化，要求如下：1)不同場(chǎng)景下量化的模型對(duì)象應(yīng)與表15一致；2)量化結(jié)果不應(yīng)出現(xiàn)6.1.3a）2）列出的情況；d）推理精度應(yīng)符合7.2.3，7.2.4中按場(chǎng)景的要求；e）應(yīng)聲明推理所用批大小的信息，符合5.4的規(guī)定。7.1.3推理結(jié)果推理結(jié)果，應(yīng)符合如下要求：a）通過(guò)合規(guī)性檢查；b）推理結(jié)果包含如下信息：1)5.4規(guī)定的測(cè)試信息；2)推理作業(yè)到達(dá)模式序號(hào)（見(jiàn)表11）；3)推理使用的實(shí)際精度；4)場(chǎng)景要求的指標(biāo)值（具體指標(biāo)，符合“通用推理性能測(cè)試場(chǎng)景（封閉）”表及“專(zhuān)用推理性能測(cè)試場(chǎng)景（封閉）”的要求）；5)推理測(cè)試源碼符合附錄A的規(guī)定；HH:mm:ss]-[accuracy]-[已處理作業(yè)數(shù)]-[已處理樣本數(shù)]-[樣本丟失數(shù)]”。其中：第一項(xiàng)為本條日志輸出時(shí)的時(shí)間戳；第二項(xiàng)為當(dāng)前累計(jì)的準(zhǔn)確率（具體指標(biāo)的選取，符合“通用推理性能測(cè)試場(chǎng)景（封閉）”表及“專(zhuān)用推理性能測(cè)試場(chǎng)景（封閉）”的要求）；第三項(xiàng)為當(dāng)前已返回結(jié)果的作業(yè)數(shù)；第四項(xiàng)為當(dāng)前已返回結(jié)果的樣本數(shù)；第五項(xiàng)為當(dāng)前未能在超時(shí)范圍內(nèi)處理的樣本數(shù)，即丟失樣本數(shù)；7)合規(guī)性檢查結(jié)果。7.2場(chǎng)景GB/TXXXXX—XXXX7.2.1推理作業(yè)推理作業(yè)，應(yīng)符合以下要求：a）作業(yè)從測(cè)試系統(tǒng)發(fā)往被測(cè)系統(tǒng)，結(jié)果從被測(cè)系統(tǒng)發(fā)送回測(cè)試系統(tǒng)；b）每個(gè)樣本僅含有推理模塊要求的必要（輸入）參數(shù)，不含有額外信息；c）推理作業(yè)遵循特定的到達(dá)模式，符合7.2.2的要求；d）作業(yè)丟失指被測(cè)系統(tǒng)無(wú)法在超時(shí)控制門(mén)限內(nèi)返回結(jié)果的情況；e）超時(shí)控制門(mén)限指測(cè)試者從發(fā)送作業(yè)到收到對(duì)應(yīng)結(jié)果之間允許的最大時(shí)間間隔；f）按特定推理測(cè)試負(fù)載的要求，單個(gè)樣本可包含視覺(jué)、自然語(yǔ)言、聲音等1個(gè)或多個(gè)模態(tài)的數(shù)據(jù)；g）使用多模態(tài)場(chǎng)景負(fù)載測(cè)試時(shí)，按推理負(fù)載的定義，將每個(gè)樣本按模態(tài)占比分為輸入和期望的輸h）零次樣本（zero-shot）推理，使用隨機(jī)數(shù)據(jù)集（生成方法見(jiàn)7.2.3）；i）N次樣本（N-shot，N是自然數(shù)）推理（包含1次或多次樣本的情況），使用隨機(jī)數(shù)據(jù)集訓(xùn)練模型N個(gè)訓(xùn)期后，執(zhí)行推理測(cè)試。7.2.2作業(yè)到達(dá)模式推理作業(yè)到達(dá)模式，應(yīng)符合表11的定義：表11推理作業(yè)到達(dá)模式表0第i（i為正整數(shù)）個(gè)作業(yè)在第(i-1)個(gè)作業(yè)完成后否121是142e?e?λλkk！是143個(gè)作業(yè)/s），短周期內(nèi)的作業(yè)到達(dá)，符合固定周期是14是15在連續(xù)到達(dá)、固定周期到達(dá)、泊松分布到達(dá)、高峰到達(dá)、離線(xiàn)到達(dá)模式中，加入與當(dāng)前測(cè)試場(chǎng)景不同是1GB/TXXXXX—XXXX7.2.3隨機(jī)數(shù)據(jù)集生成方法推理測(cè)試使用隨機(jī)數(shù)據(jù)集時(shí)，應(yīng)按以下方法生成：a）建立空數(shù)據(jù)集D；b）建立空樣本d；c）生成特定模態(tài)（見(jiàn)7.2.4）的數(shù)據(jù)1個(gè)，加入d；d）如隨機(jī)數(shù)據(jù)集含多模態(tài)樣本，基于c）的結(jié)果生成所需模態(tài)的數(shù)據(jù)，加入d；e）如模態(tài)要求未滿(mǎn)足，則選擇模型并重復(fù)執(zhí)行c）；如已滿(mǎn)足模態(tài)要求，則將樣本d加入數(shù)據(jù)集D；f）如數(shù)據(jù)集的樣本數(shù)量不滿(mǎn)足要求，執(zhí)行b）；如已滿(mǎn)足要求，返回?cái)?shù)據(jù)集D。7.2.4模態(tài)數(shù)據(jù)生成方法自然語(yǔ)言語(yǔ)句生成方法按以下方法生成自然語(yǔ)言語(yǔ)句：a）生成最大M個(gè)（M為自然數(shù)）隨機(jī)的名字或動(dòng)詞，作為關(guān)鍵詞；b）以關(guān)鍵詞，使用特定模型（按測(cè)試需要選擇）生成包含L個(gè)詞（L為自然數(shù)，L>M）的句子。圖像生成方法按以下方法生成圖像數(shù)據(jù)：a）按生成自然語(yǔ)言語(yǔ)句，以語(yǔ)句為輸入，按表X2中的模型（Y3）生成圖像；b）使用自然語(yǔ)言語(yǔ)句的關(guān)鍵字（名詞）作為圖像類(lèi)別；c）以圖像生成相似圖像時(shí)，使用特定圖像數(shù)據(jù)集及表X2中的模型（Y3）生成圖像，并由使用表14中resnet50_v1.5將原圖與生成圖像歸類(lèi)并篩選同類(lèi)圖像作為相似圖像。必要時(shí)，可再由人工抽檢并標(biāo)注所生成圖像與原圖的相似性。GB/TXXXXX—XXXX7.2.5通用測(cè)試場(chǎng)景封閉測(cè)試場(chǎng)景應(yīng)符合表12的要求，場(chǎng)景說(shuō)明見(jiàn)附錄B。表12通用推理性能測(cè)試場(chǎng)景（封閉）1連續(xù)單一、固定周期到達(dá)、泊松分布到達(dá)、離線(xiàn)到達(dá)、高峰2連續(xù)單一、固定周期到達(dá)、泊松分布到達(dá)、離線(xiàn)到達(dá)、高峰1連續(xù)單一、固定周期到達(dá)、泊松分布到達(dá)、離線(xiàn)到達(dá)、高峰1連續(xù)單一、固定周期到達(dá)、泊松分布到達(dá)、離線(xiàn)到達(dá)、高峰1wide&deepCriteo(KaggleDisplayAdvertisingChallengeDa連續(xù)單一、固定周期到達(dá)、泊松分布到達(dá)、離線(xiàn)到達(dá)、高峰2連續(xù)單一、固定周期到達(dá)、泊松分布到達(dá)、離線(xiàn)到達(dá)、高峰1連續(xù)單一、固定周期到達(dá)、泊松分布到達(dá)、離線(xiàn)到達(dá)、高峰GB/TXXXXX—XXXX表12通用推理性能測(cè)試場(chǎng)景（封閉）（續(xù)）2作業(yè)到達(dá)模式及參數(shù)ab：連續(xù)單一、固定周期到達(dá)、泊松分3作業(yè)到達(dá)模式及參數(shù)ab：連續(xù)單一、固定周期到達(dá)、泊松分4作業(yè)到達(dá)模式及參數(shù)ab：連續(xù)單一、固定周期到達(dá)、泊松分態(tài)1作業(yè)到達(dá)模式及參數(shù)ab：連續(xù)單一、固定周期到達(dá)、泊松分1wav2vec2_0Aishell-1連續(xù)單一、固定周期到達(dá)、泊松分布到達(dá)、離線(xiàn)到達(dá)、高峰a未注明時(shí)，表中泊松分布，固定周期到達(dá)模式涉及的參數(shù)，參考值為λ=5，T=500ms，n=1。k值由GB/TXXXXX—XXXX開(kāi)放測(cè)試場(chǎng)景應(yīng)符合表13的要求，場(chǎng)景說(shuō)明見(jiàn)附錄B。表13通用推理性能測(cè)試場(chǎng)景（開(kāi)放）1作業(yè)到達(dá)模式及連續(xù)單一、固定周期到達(dá)（500ms）、泊松分布到達(dá)(λ=5）、離線(xiàn)1作業(yè)到達(dá)模式及連續(xù)單一、固定周期到達(dá)（500ms）、泊松分布到達(dá)(λ=5）、離線(xiàn)1作業(yè)到達(dá)模式及連續(xù)單一、固定周期到達(dá)（500ms）、泊松分布到達(dá)(λ=5）、離線(xiàn)1Criteo(KaggleDisplayAdvertisingChallengeDa作業(yè)到達(dá)模式及連續(xù)單一、固定周期到達(dá)（500ms）、泊松分布到達(dá)(λ=5）、離線(xiàn)2作業(yè)到達(dá)模式及連續(xù)單一、固定周期到達(dá)、泊松分布到達(dá)、1作業(yè)到達(dá)模式及連續(xù)單一、固定周期到達(dá)（500ms）、泊松分布到達(dá)(λ=5）、離線(xiàn)2作業(yè)到達(dá)模式及連續(xù)單一、固定周期到達(dá)（500ms）、泊松分布到達(dá)(λ=5）、離線(xiàn)GB/TXXXXX—XXXX表13通用推理性能測(cè)試場(chǎng)景（開(kāi)放）（續(xù)）1Aishell-1作業(yè)到達(dá)模式及連續(xù)單一、固定周期到達(dá)（500ms）、泊松分布到達(dá)(λ=5）、離線(xiàn)7.2.6專(zhuān)用測(cè)試場(chǎng)景封閉測(cè)試場(chǎng)景符合表14的要求，場(chǎng)景說(shuō)明見(jiàn)附錄B。表14專(zhuān)用推理性能場(chǎng)景（封閉）cc連續(xù)單一、固定周期到達(dá)、泊松分布到達(dá)、cAishell-1a未注明時(shí)，泊松分布，固定周期到達(dá)模式涉及的參數(shù)，參考值為λ=5，T=500ms，n=1。k值b未確定的模型及數(shù)據(jù)集，可在具體測(cè)試前，由測(cè)試者按專(zhuān)用系統(tǒng)的c推理數(shù)據(jù)的格式，沒(méi)有嚴(yán)格的限定，被測(cè)者可以根據(jù)本地機(jī)器學(xué)習(xí)框架進(jìn)行格式轉(zhuǎn)換開(kāi)放測(cè)試場(chǎng)景符合表15的要求，場(chǎng)景說(shuō)明見(jiàn)附錄B。GB/TXXXXX—XXXX表15專(zhuān)用推理測(cè)試場(chǎng)景（開(kāi)放）c連續(xù)單一，固定周期到達(dá)，泊松分布到達(dá)，c連續(xù)單一，固定周期到達(dá)，泊松分布到達(dá)，b表中未確定的模型及數(shù)據(jù)集，可在具體測(cè)試前，由測(cè)試者按專(zhuān)用系統(tǒng)的c推理數(shù)據(jù)的格式，沒(méi)有嚴(yán)格的限定，被測(cè)者可以根據(jù)本地機(jī)器學(xué)習(xí)框架進(jìn)行格式），7.3指標(biāo)及測(cè)量方法7.3.1通則人工智能服務(wù)器系統(tǒng)推理的測(cè)試：a）應(yīng)以時(shí)間（見(jiàn)7.3.2）和實(shí)際吞吐率（含有效計(jì)算能力，見(jiàn)7.3.4）為基礎(chǔ)指標(biāo)表征性能；b）應(yīng)使用功耗（見(jiàn)7.3.3）表征推理代價(jià)；c）應(yīng)按服務(wù)器系統(tǒng)的形態(tài)和部署需求，使用彈性（見(jiàn)7.2.5）、承壓力（見(jiàn)7.3.6）和視頻分析最大路數(shù)（見(jiàn)7.3.7）表征適用性；d）宜按需求使用附錄C.2規(guī)定的指標(biāo)。GB/TXXXXX—XXXX7.3.2時(shí)間時(shí)間單位為毫秒（ms）。推理相關(guān)用時(shí)及測(cè)量方法，應(yīng)符合表16及圖2的規(guī)定：表16推理時(shí)間測(cè)量方法a推理總延a）測(cè)試者在發(fā)送第1個(gè)樣本的第1字節(jié)前，緊鄰計(jì)時(shí)，得到時(shí)間點(diǎn)t；計(jì)時(shí)，得到時(shí)間點(diǎn)t；c）計(jì)算得到推理總延時(shí)T=t-t。端到端推a）測(cè)試者在發(fā)送某樣本第1字節(jié)前，緊鄰計(jì)時(shí)，得到時(shí)間點(diǎn)t；樣本發(fā)送延時(shí)Ta）測(cè)試者在發(fā)送某樣本第1字節(jié)前，緊鄰計(jì)時(shí)，得到時(shí)間點(diǎn)t（t=tb）被測(cè)者在收到樣本最后1字節(jié)后，緊鄰計(jì)時(shí)，得到時(shí)間點(diǎn)t；結(jié)果傳送延時(shí)Ta）被測(cè)者在發(fā)送結(jié)果第1字節(jié)前，緊鄰計(jì)時(shí)，得到時(shí)間點(diǎn)t；b）測(cè)試者在收到結(jié)果最后1字節(jié)后，緊鄰計(jì)時(shí)，得到時(shí)間點(diǎn)t（t=t任務(wù)分派延時(shí)T到處理b前時(shí)間的差a）被測(cè)者收到樣本最后1字節(jié)后，緊鄰計(jì)時(shí)，得到時(shí)間點(diǎn)t；b）被測(cè)者開(kāi)始處理前，緊鄰計(jì)時(shí)，得到時(shí)間點(diǎn)t；預(yù)處理延c）計(jì)算預(yù)處理延時(shí)T=t–t。推理延時(shí)Ta）被測(cè)者針對(duì)某樣本推理開(kāi)始前，緊鄰計(jì)時(shí)，得到時(shí)間點(diǎn)t；b）被測(cè)者針對(duì)某樣本推理結(jié)束后，緊鄰計(jì)時(shí)，得到時(shí)間點(diǎn)t；后處理延c）計(jì)算后處理延時(shí)T=t–t。樣本處理延時(shí)Ta）被測(cè)者對(duì)某樣本的處理開(kāi)始前，緊鄰計(jì)時(shí)，得到時(shí)間點(diǎn)t（t=tb）被測(cè)者對(duì)某樣本的處理結(jié)束后，緊鄰計(jì)時(shí)，得到時(shí)間點(diǎn)t（t=t分派處理延時(shí)Ta）被測(cè)者收到樣本最后1字節(jié)后，緊鄰計(jì)時(shí)，得到時(shí)間點(diǎn)t（t=tb）被測(cè)者對(duì)某樣本的處理結(jié)束后，緊鄰計(jì)時(shí)，得到時(shí)間點(diǎn)t（t=tc）計(jì)算分派處理延時(shí)T=t–t。GB/TXXXXX—XXXX表16推理時(shí)間測(cè)量方法（續(xù)）處理超時(shí)cT計(jì)算某樣本處理超時(shí)：T=t+t。dt為常量。注2：推理的中間結(jié)果，可在AI服務(wù)器系統(tǒng)內(nèi)圖2推理時(shí)間序GB/TXXXXX—XXXX7.3.3功耗推理功耗以功率計(jì)算，單位為瓦（W）。推理功耗及測(cè)量方法，應(yīng)符合表17的規(guī)定。功耗的計(jì)量方法按IEEE2937－2022附錄B的規(guī)定執(zhí)行：表17推理功耗測(cè)量方法AI服務(wù)器單機(jī)推理平均單臺(tái)AI服務(wù)器在某次推理AI服務(wù)器數(shù)據(jù)預(yù)處理平單臺(tái)AI服務(wù)器在某次推理AI服務(wù)器推單臺(tái)AI服務(wù)器在某次推理AI服務(wù)器集群推理平均7.3.4實(shí)際吞吐率實(shí)際吞吐率代表人工智能服務(wù)器系統(tǒng)對(duì)特定推理作業(yè)的有效計(jì)算能力，提升有效計(jì)算能力可達(dá)到硬件系統(tǒng)擴(kuò)容的同樣效果。對(duì)視覺(jué)類(lèi)測(cè)試，單位是images/s，對(duì)自然語(yǔ)言處理類(lèi)測(cè)試，單位是sentences/s。對(duì)自然語(yǔ)言語(yǔ)句生成的模型，吞吐率可為定長(zhǎng)輸入（句中單詞或字的個(gè)數(shù)）、輸出條件下，每秒處理的語(yǔ)素?cái)?shù)量，單位是tokens/s。推理相關(guān)實(shí)際吞吐率及測(cè)量方法，應(yīng)符合表18的規(guī)定：表18推理吞吐率測(cè)量方法AI服務(wù)器系統(tǒng)推理實(shí)際吞吐率AI服務(wù)器系統(tǒng)在單位時(shí)間內(nèi)，對(duì)于特定任務(wù)負(fù)載，a)在整個(gè)推理測(cè)試過(guò)程中（T內(nèi)），累計(jì)所有實(shí)際發(fā)送的樣本b)計(jì)算其與實(shí)際分派處理延時(shí)總覆蓋AI服務(wù)器系統(tǒng)在單位時(shí)間內(nèi)，對(duì)語(yǔ)言生成類(lèi)負(fù)載，a)在推理測(cè)試過(guò)程中（T內(nèi)），累計(jì)所有實(shí)際發(fā)送的樣AI服務(wù)器系統(tǒng)推理有效計(jì)算系統(tǒng)推理吞吐AI服務(wù)器系統(tǒng)在給定任務(wù)任務(wù)基線(xiàn)吞吐率之比的加GB/TXXXXX—XXXX7.3.5彈性推理彈性單位是百分率每兆字節(jié)（%/MB）。推理彈性指標(biāo)及測(cè)量方法，應(yīng)符合表19的規(guī)定：表19推理彈性測(cè)量方法AI服務(wù)器系統(tǒng)被測(cè)AI服務(wù)器系統(tǒng)所處理的數(shù)量增加時(shí)，分派處理b)被測(cè)者記錄，每單位時(shí)間內(nèi)，收到的樣本數(shù)據(jù)總量及對(duì)應(yīng)的最大c)當(dāng)?shù)趇+1個(gè)單位時(shí)間收到的樣本數(shù)據(jù)總量>第i個(gè)單位時(shí)間內(nèi)收到max(T)?max(T)ELi,i+1=sizeInDurationseTin（i）×sizeInDUTation(i)NasizeInDuration（?）表示計(jì)量7.3.6承壓力推理承壓力的單位為兆字節(jié)每秒（MB/s）。推理承壓力指標(biāo)及測(cè)量方法，應(yīng)符合表20的定義：表20推理承壓力測(cè)量方法被測(cè)AI服務(wù)器系統(tǒng)在并發(fā)壓力門(mén)7.3.7視頻分析最大路數(shù)視頻分析最大路數(shù)，單位是“路”，指標(biāo)及測(cè)量方法，應(yīng)符合表21的定義：GB/TXXXXX—XXXX表21推理視頻分析最大路數(shù)測(cè)量方法AI服務(wù)器視頻a分析最大被測(cè)AI服務(wù)器系統(tǒng)，在給定響應(yīng)超a)在視覺(jué)類(lèi)模型場(chǎng)景的測(cè)試時(shí)，在實(shí)際推理前使）；b)使用固定周期到達(dá)模式b，用n模擬視頻路數(shù)d)如被測(cè)系統(tǒng)能按表13規(guī)定的超時(shí)門(mén)限輸出處理）；），定的超時(shí)門(mén)限返回處理結(jié)果為止，則視頻分析b到達(dá)周期T可按實(shí)際測(cè)試需求確定（如25幀/s，7.4推理用測(cè)試系統(tǒng)要求7.4.1功能要求測(cè)試系統(tǒng)符合以下要求，包含但不限于：a）應(yīng)能自動(dòng)檢測(cè)服務(wù)器或接收手動(dòng)填表的被測(cè)系統(tǒng)軟、硬件信息，符合5.4的要求；b）應(yīng)符合7.2.2要求的模式發(fā)生推理作業(yè)；c）應(yīng)能接收推理結(jié)果并為完成計(jì)算指標(biāo)實(shí)現(xiàn)必要的功能，包含：1)超時(shí)作業(yè)識(shí)別及統(tǒng)計(jì)；2)作業(yè)超時(shí)（丟失）率門(mén)限檢查。d）應(yīng)能使用機(jī)器學(xué)習(xí)框架，AI服務(wù)器系統(tǒng)提供的使能軟件函數(shù)庫(kù)及其他必要信息，完成7.3規(guī)定指標(biāo)的測(cè)量，提供指標(biāo)計(jì)算函數(shù)；e）應(yīng)至少能實(shí)施7.2.3規(guī)定的場(chǎng)景的測(cè)試；f）應(yīng)支持?jǐn)?shù)據(jù)類(lèi)型，符合6.4.1d）的規(guī)定；g）應(yīng)支持配置了容器或使用虛擬化組件的AI服務(wù)器系統(tǒng)的性能測(cè)試；h）測(cè)試完成后應(yīng)能完全卸載，不殘留任何測(cè)試組件（不含測(cè)試數(shù)據(jù)）；i）應(yīng)提供日志函數(shù)，日志所含內(nèi)容及格式符合7.1.3b）6）的規(guī)定；j）應(yīng)支持測(cè)試者對(duì)測(cè)試過(guò)程的管理和監(jiān)測(cè)，包含但不限于：1)推理過(guò)程子階段的開(kāi)始或完成事件，包含：推理測(cè)試開(kāi)始；推理作業(yè)下載開(kāi)始；推理作業(yè)下載完成；推理測(cè)試結(jié)束；推理結(jié)果數(shù)據(jù)上傳及其完成；2)推理結(jié)果數(shù)據(jù)，符合7.1.3b）的規(guī)定；3)測(cè)試者對(duì)重測(cè)的允許及次數(shù)控制；4)能提供證據(jù)輔助測(cè)試者實(shí)施測(cè)試結(jié)果的有效性判定，或自動(dòng)判定。k）在提前獲得測(cè)試項(xiàng)目授權(quán)后，應(yīng)支持被測(cè)者在測(cè)試期內(nèi)的任意時(shí)間發(fā)起測(cè)試；GB/TXXXXX—XXXXl）應(yīng)能在測(cè)試者，為不同測(cè)試項(xiàng)維護(hù)獨(dú)立的結(jié)果數(shù)據(jù)目錄；m）應(yīng)能支持本地測(cè)試（測(cè)試者不介入的測(cè)試，如預(yù)測(cè)試、系統(tǒng)調(diào)試等）及遠(yuǎn)程測(cè)試（測(cè)試者介入）。7.4.2公平性保障要求應(yīng)提供策略及實(shí)現(xiàn)，包含但不限于6.4.2規(guī)定的項(xiàng)目。其中，對(duì)推理結(jié)果的要求符合7.1.3b）。GB/TXXXXX—XXXX（規(guī)范性）測(cè)試代碼公開(kāi)規(guī)則A.1通則測(cè)試代碼公開(kāi)，應(yīng)按以下規(guī)則執(zhí)行：a）測(cè)試代碼公開(kāi)流程，包含：1)公開(kāi)條件檢查：測(cè)試者確認(rèn)測(cè)試結(jié)果有效性，應(yīng)符合6.1.3及7.1.3的規(guī)定；2)公開(kāi)協(xié)議檢查：代碼公開(kāi)前，按協(xié)議檢查并實(shí)施公開(kāi)事項(xiàng)。未簽署協(xié)議的，按本文件的規(guī)定實(shí)施；3)代碼公開(kāi)：公布于測(cè)試者與被測(cè)者商定的場(chǎng)所或網(wǎng)絡(luò)媒體；4)結(jié)束公開(kāi)：在規(guī)定的公開(kāi)周期后，結(jié)束公開(kāi)，原公開(kāi)場(chǎng)所、媒體上，代碼將不可訪(fǎng)問(wèn)。代碼結(jié)束公開(kāi)時(shí)，代碼公開(kāi)協(xié)議即告結(jié)束。b）公開(kāi)義務(wù)：1)測(cè)試代碼可向測(cè)試者及組織成員公開(kāi)。具備合法訪(fǎng)問(wèn)權(quán)限時(shí)，組織、成員應(yīng)能瀏覽、下載；2)被測(cè)者不負(fù)責(zé)向測(cè)試者及組織成員之外的機(jī)構(gòu)、團(tuán)體、企業(yè)及個(gè)人解釋、講解代碼原理或?qū)嵤┙Y(jié)果復(fù)現(xiàn)事項(xiàng)；3)已達(dá)成協(xié)議的不公開(kāi)部分，不應(yīng)公開(kāi)；4)測(cè)試代碼公開(kāi)，可不包含：——被測(cè)者私有的工具源碼（如模型格式轉(zhuǎn)化、部署），該源碼功能不含a提出的項(xiàng)目；——被測(cè)者使用的公共網(wǎng)絡(luò)可見(jiàn)的程序源碼，但需在測(cè)試代碼中注明（如：//ref:[源碼包名_版本，地址]）。A.2訓(xùn)練測(cè)試代碼公開(kāi)規(guī)則訓(xùn)練測(cè)試代碼公開(kāi)，應(yīng)在符合A.1規(guī)定的基礎(chǔ)上，包含以下功能的實(shí)現(xiàn)：a）網(wǎng)絡(luò)構(gòu)造；b）測(cè)試工具函數(shù)調(diào)用（含指標(biāo)計(jì)算，計(jì)時(shí)，日志，測(cè)試起止，校驗(yàn)等）；d）訓(xùn)練數(shù)據(jù)獲??；e）訓(xùn)練數(shù)據(jù)讀入；f）訓(xùn)練數(shù)據(jù)預(yù)處理；g）訓(xùn)練啟動(dòng)過(guò)程（含學(xué)習(xí)率調(diào)整）；h）訓(xùn)練過(guò)程（含訓(xùn)期循環(huán)，損失函數(shù)調(diào)用，精度轉(zhuǎn)化（如實(shí)施），模型、數(shù)據(jù)（在被測(cè)系統(tǒng)內(nèi)）傳輸指令等）；i）配置文件；j）模型保存。A.3推理測(cè)試代碼公開(kāi)規(guī)則推理測(cè)試代碼公開(kāi)，應(yīng)在符合A.1規(guī)定的基礎(chǔ)上，附加包含以下功能的實(shí)現(xiàn)代碼：GB/TXXXXX—XXXXa）測(cè)試工具約定的待實(shí)現(xiàn)部分（如能耗計(jì)量，數(shù)據(jù)提供，結(jié)果取出等）；b）測(cè)試工具函數(shù)調(diào)用（含作業(yè)到達(dá)模式，計(jì)時(shí)，日志，測(cè)試起止，校驗(yàn)等c）計(jì)算、存儲(chǔ)資源管理（如資源申請(qǐng)和釋放）；d）推理過(guò)程；f）測(cè)試集獲??；g）數(shù)據(jù)預(yù)處理（如實(shí)施了預(yù)處理）；h）數(shù)據(jù)后處理（如實(shí)施了后處理）；i）配置文件；j）模型格式轉(zhuǎn)化（至少應(yīng)公開(kāi)調(diào)用語(yǔ)句）；k）模型部署（至少應(yīng)公開(kāi)調(diào)用語(yǔ)句）；l）推理結(jié)果保存。GB/TXXXXX—XXXX（資料性）測(cè)試場(chǎng)景說(shuō)明B.1圖像識(shí)別圖像識(shí)別是利用計(jì)算機(jī)處理、分析和理解圖像的過(guò)程，以識(shí)別圖像中的目標(biāo)和對(duì)象。圖像識(shí)別過(guò)程的輸入一般是特定格式的圖像，輸出可包含圖像的類(lèi)別（假設(shè)已有預(yù)先定義的類(lèi)別集合特性（如物體的顏色，人的性別、年齡等）或其他業(yè)務(wù)邏輯所關(guān)心的信息。圖像識(shí)別，廣泛的應(yīng)用于各類(lèi)視覺(jué)系統(tǒng)（如安檢，工業(yè)制造流水線(xiàn)，農(nóng)業(yè)養(yǎng)殖，電力巡檢，醫(yī)療診斷等）。人工智能服務(wù)器系統(tǒng)對(duì)圖像識(shí)別過(guò)程的加速能力，對(duì)提升視覺(jué)系統(tǒng)的應(yīng)用效率具有意義。B.2物體檢測(cè)物體檢測(cè)是計(jì)算機(jī)對(duì)給定的圖片或視頻幀，自動(dòng)識(shí)別已知物體并標(biāo)識(shí)物體在圖像中的位置（一般使用矩形框及坐標(biāo)）的過(guò)程。物體檢測(cè)的輸入一般是特定格式的圖像或視頻幀，輸出可為已知物體位置信息。物體檢測(cè)，廣泛應(yīng)用于各類(lèi)視覺(jué)系統(tǒng)（如交通空拍）圖像分析，分揀流水線(xiàn)等）。人工智能服務(wù)器系統(tǒng)對(duì)物體檢測(cè)過(guò)程的加速能力，對(duì)提升視覺(jué)系統(tǒng)檢測(cè)相關(guān)應(yīng)用的效率具有意義。B.3語(yǔ)義分割語(yǔ)義分割結(jié)合了圖像分類(lèi)，目標(biāo)檢測(cè)和圖像分割，將圖像分割為具有特定語(yǔ)義的區(qū)域，并識(shí)別每個(gè)區(qū)域的內(nèi)容或類(lèi)別，最終獲得具有逐像素語(yǔ)義標(biāo)注的分割圖像的過(guò)程。語(yǔ)義分割廣泛地應(yīng)用于自動(dòng)駕駛，地址檢測(cè)和測(cè)繪，醫(yī)學(xué)影像病灶分離，服飾、室內(nèi)、生產(chǎn)環(huán)境的輔助設(shè)計(jì)，農(nóng)業(yè)養(yǎng)殖等系統(tǒng)。人工智能服務(wù)器系統(tǒng)對(duì)語(yǔ)義分割過(guò)程的加速能力，對(duì)提升視覺(jué)檢測(cè)和自動(dòng)分析相關(guān)應(yīng)用的效率具有意義。B.4推薦推薦是利用計(jì)算機(jī)對(duì)特定數(shù)據(jù)集合搜索及結(jié)果排序的過(guò)程。推薦的輸入一般為特定格式的查詢(xún)條件或關(guān)鍵字，輸出為有序的結(jié)果集合。推薦廣泛地應(yīng)用于各類(lèi)電子系統(tǒng)（如電子商務(wù)，各類(lèi)搜索引擎，營(yíng)銷(xiāo)，輔助設(shè)計(jì)，醫(yī)療處置方案輔助等）。人工智能服務(wù)器系統(tǒng)對(duì)推薦過(guò)程的加速能力，對(duì)提升相關(guān)應(yīng)用的效率具有意義。B.5自然語(yǔ)言處理自然語(yǔ)言處理是以人類(lèi)語(yǔ)言為對(duì)象，利用計(jì)算機(jī)技術(shù)分析、理解和處理自然語(yǔ)言的過(guò)程?？煞譃樽匀徽Z(yǔ)言理解及自然語(yǔ)言生成兩類(lèi)。自然語(yǔ)言處理廣泛地應(yīng)用在翻譯應(yīng)用，語(yǔ)言數(shù)據(jù)挖掘，搜索引擎等系統(tǒng)。其中，機(jī)器翻譯是利用規(guī)則、統(tǒng)計(jì)或神經(jīng)網(wǎng)絡(luò)，將一種自然語(yǔ)言（源語(yǔ)言）的文本翻譯成另一種語(yǔ)言（目標(biāo)語(yǔ)言）。人工智能服務(wù)器系統(tǒng)對(duì)自然語(yǔ)言處理過(guò)程的加速能力，對(duì)提升翻譯，語(yǔ)言數(shù)據(jù)挖掘等系統(tǒng)的效率具有意義。B.6語(yǔ)音識(shí)別GB/TXXXXX—XXXX語(yǔ)音識(shí)別（或稱(chēng)“自動(dòng)語(yǔ)音識(shí)別”）是用計(jì)算機(jī)將人類(lèi)自然語(yǔ)言的語(yǔ)音內(nèi)容轉(zhuǎn)換為相應(yīng)文字的過(guò)程。語(yǔ)音識(shí)別技術(shù)廣泛應(yīng)用在語(yǔ)音撥號(hào)，語(yǔ)音導(dǎo)航，室內(nèi)設(shè)備控制，語(yǔ)音文檔檢索，語(yǔ)音聽(tīng)寫(xiě)、輸入等系統(tǒng)。語(yǔ)音識(shí)別技術(shù)，在各行業(yè)的應(yīng)用已較為普遍（如金融領(lǐng)域智能客服，交通領(lǐng)域語(yǔ)音導(dǎo)航，各類(lèi)智能終端語(yǔ)音輸入等）。人工智能服務(wù)器系統(tǒng)對(duì)語(yǔ)音識(shí)別過(guò)程的加速能力，對(duì)提升語(yǔ)音的控制、檢索、聽(tīng)寫(xiě)、輸入等系統(tǒng)的效率具有意義。B.7光學(xué)字符識(shí)別光學(xué)字符識(shí)別是指對(duì)文本資料的圖像文件進(jìn)行分析、識(shí)別、獲取文字、版面信息的過(guò)程。光寫(xiě)字符識(shí)別的輸入可為帶有特定文字及布局信息的圖像，輸出可為圖片上的文字內(nèi)容或（用戶(hù)定義的）布局表示。光學(xué)字符識(shí)別廣泛地應(yīng)用在各行業(yè)業(yè)務(wù)系統(tǒng)中（如金融智能終端證照識(shí)別、交通路牌內(nèi)容識(shí)別等）。人工智能服務(wù)器系統(tǒng)對(duì)光學(xué)字符識(shí)別過(guò)程的加速能力，對(duì)提升各行業(yè)文字識(shí)別應(yīng)用的效率具有意義。B.8人臉識(shí)別人臉識(shí)別是用計(jì)算機(jī)系統(tǒng)從人臉圖像，基于人臉部特征，識(shí)別人的身份的生物辨識(shí)技術(shù)。人臉識(shí)別技術(shù)廣泛地應(yīng)用在各行業(yè)業(yè)務(wù)系統(tǒng)中（如通行、安檢、身份核驗(yàn)子系統(tǒng)）。人工智能服務(wù)器系統(tǒng)對(duì)人臉識(shí)別過(guò)程的加速能力，對(duì)提升各行業(yè)通行、安檢、身份核驗(yàn)子系統(tǒng)的運(yùn)行效率具有意義。GB/TXXXXX—XXXX（資料性）能效和效率指標(biāo)C.1訓(xùn)練C.1.1訓(xùn)練能效訓(xùn)練能效是AI服務(wù)器系統(tǒng)在單位時(shí)間，消耗單位功耗，消化的訓(xùn)練數(shù)據(jù)量，單位為兆字節(jié)每焦耳[MB/(J)]或兆字節(jié)每千瓦時(shí)[MB/kWh]。訓(xùn)練能效及測(cè)量方法，見(jiàn)表C.1：表C.1訓(xùn)練過(guò)程能效測(cè)量方法AI服務(wù)器單位時(shí)間內(nèi)消耗單位功耗消化的訓(xùn)練a）對(duì)任意一次訓(xùn)練，測(cè)量每個(gè)訓(xùn)期的平均功率P；b）測(cè)量每個(gè)訓(xùn)期的平均用時(shí)T；sizeof(訓(xùn)練集)Es=(TEP×PEP)sizeof(訓(xùn)練集)——訓(xùn)練集大小，單位為兆字節(jié)（MB）。AI服務(wù)器集群?jiǎn)挝粫r(shí)間內(nèi)消耗單位功耗消化的a）算出每臺(tái)AI服務(wù)器，每訓(xùn)期的平均功率P（i為正整數(shù)）和用時(shí)T；sizeof(訓(xùn)練集)ECL=σi(TEP?i×PEP?i)GB/TXXXXX—XXXXC.1.2訓(xùn)練效率訓(xùn)練效率是AI服務(wù)器系統(tǒng)訓(xùn)練得到某模型，其預(yù)測(cè)準(zhǔn)確率與訓(xùn)練代價(jià)的比值，單位為每秒千瓦時(shí)[1/kWh]。訓(xùn)練效率及測(cè)量方法，見(jiàn)表C.2：表C.2訓(xùn)練過(guò)程效率測(cè)量方法a）訓(xùn)練結(jié)束時(shí)，記錄模型在測(cè)試集上的實(shí)際準(zhǔn)確率（具體指）；b）記錄T時(shí)間內(nèi)的實(shí)際能耗P；準(zhǔn)確率指標(biāo)值s實(shí)際判別準(zhǔn)確率a與訓(xùn)練能耗c的a）訓(xùn)練結(jié)束時(shí)，記錄模型在測(cè)試集上的實(shí)際準(zhǔn)確率（具體指）；b）記錄T時(shí)間內(nèi)的集群實(shí)際能耗P；準(zhǔn)確率指標(biāo)值sc），GB/TXXXXX—XXXXC.2推理C.2.1推理能效推理能效以額定工作情況下能效比計(jì)算。分場(chǎng)景推理能效比指標(biāo)、單位與測(cè)量方法，見(jiàn)表C.3：表C.3推理能效比測(cè)量方法單位為消耗每焦耳或每千瓦時(shí)能量處理的圖像（幀）數(shù)），c)測(cè)試者累計(jì)實(shí)際分派處理延時(shí)總覆蓋時(shí)間T； N TDIP單位為消耗每焦耳或每千瓦），c)累計(jì)實(shí)際分派處理延時(shí)總覆蓋時(shí)間T； w TDIP單位為消耗每焦耳或千瓦時(shí)能量處理的句數(shù)[句數(shù)/J]或），c)累計(jì)實(shí)際分派處理延時(shí)總覆蓋時(shí)間T； S TDIPGB/TXXXXX—XXXXC.2.2推理效率推理效率是AI服務(wù)器系統(tǒng)完成推理任務(wù)與代價(jià)的比值，單位為每秒千瓦時(shí)[1/kWh]。推理效率及測(cè)量方法，見(jiàn)表C.4：表C.4推理效率測(cè)量方法AI服務(wù)器推理AI服務(wù)器實(shí)際推理準(zhǔn)確率a與推準(zhǔn)確率指標(biāo)值sAI服務(wù)器推理AI服務(wù)器實(shí)際推理準(zhǔn)確率a與推準(zhǔn)確率指標(biāo)值s注：AI服務(wù)器及集群推理效率的定義，分別參GB/TXXXXX—XXXX（規(guī)范性）AUTOML訓(xùn)練測(cè)試的補(bǔ)充規(guī)則D.1訓(xùn)練規(guī)則使用AUTOML實(shí)施訓(xùn)練時(shí)，應(yīng)滿(mǎn)足6.1.2定義的訓(xùn)練規(guī)則，且在整個(gè)訓(xùn)練過(guò)程中不應(yīng)變更模型變異算法。D.2訓(xùn)練結(jié)果對(duì)AUTOML訓(xùn)練，訓(xùn)練結(jié)果應(yīng)符合6.1.3a），6.1.3b），6.1.3c）1）至6.1.3c）3），6.1.3c）5，6.1.3c）6）及以下關(guān)于格式的要求：日志按每次模型變異及對(duì)應(yīng)訓(xùn)練過(guò)程輸出。每次模型變異后，輸出變異信息，格式為：HH:mm:ss]-[yyyy:MM:ddHH:mm:ss]-[generation_number]-[number_of_neurons]”。其中，第一項(xiàng)為變異開(kāi)始時(shí)間，第二項(xiàng)為變異完成時(shí)間，第三項(xiàng)為變異代次計(jì)數(shù)，第四項(xiàng)為當(dāng)前變異結(jié)果模型的神經(jīng)元數(shù)（對(duì)初始化模型的訓(xùn)練，變異起止時(shí)間為空，代次記為0）；對(duì)變異后模型的訓(xùn)練，日志按每個(gè)訓(xùn)期輸出，格式符合6.1.3c）4）的規(guī)定。GB/TXXXXX—XXXX（資料性）人工智能服務(wù)器系統(tǒng)性能測(cè)試工具（AISBench）示例E.1工具說(shuō)明人工智能服務(wù)器系統(tǒng)性能測(cè)試工具套件（AIServerperformanceBENCHmark，AISBENCH?)是人工智能計(jì)算系統(tǒng)性能測(cè)試工具。AISBENCH?適用于人工智能服務(wù)器、人工智能服務(wù)器集群、人工智能計(jì)算中心的性能測(cè)試，兼容主流人工智能加速器類(lèi)型，如CPU、GPU、NPU等，兼容主流深度學(xué)習(xí)軟件框架。AISBENCH?是本標(biāo)準(zhǔn)的配套測(cè)試工具。E.2工具使用流程AISBENCH?使用流程見(jiàn)圖1：其中:1)由測(cè)試方（測(cè)試機(jī)構(gòu)）與被測(cè)方確立測(cè)試項(xiàng)；2)測(cè)試方在本地測(cè)試數(shù)據(jù)庫(kù)注冊(cè)測(cè)試項(xiàng)，并生成測(cè)試ID；3)測(cè)試方返回每個(gè)測(cè)試項(xiàng)的ID給被測(cè)方，被測(cè)方編輯、調(diào)試測(cè)試代碼，在正式測(cè)試腳本中使用4)被測(cè)方啟動(dòng)正式測(cè)試，測(cè)試方探知并監(jiān)視測(cè)試、獲得測(cè)試結(jié)果。GB/TXXXXX—XXXX參考文獻(xiàn)[1]Nikolaset.al.ElasticityinCloudComputing:WhatItIs,andWhatItIsNot[C].Proceedingsofthe10thInternationalConferenceonAutonomicComputing(ICAC2013).CA,US:2013.[2]Nikolaset.al.ReadyforRain?AViewfromSPECResearchontheFutureofCloudMetrics[R].TechnicalReportSPEC-RG-2016-01,SPECResearchGroup-CloudWorkingGroup,StandardPerformanceEvaluationCorporation(SPEC),2016.[3]Liu,W.;etal.SSD:SingleShotMultiBoxDetector[J].ComputerVision–ECCV2016.LNCS,vol9905.Springer.2016:21-37.[4]Ren,S.;etal.FasterR-CNN:TowardsReal-TimeObjectDetectionwithRegionProposalNetworks[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2017,39(6):1137-1149.[5]Chen,L.C;etal.RethinkingAtrousConvolutionforSemanticImageSegmentation[J].CoRRabs/1706:05587.arXiv.2017.[6]Devlin,J.;etal.BERT:Pre-trainingofDeepBidirectionalTransforme