CESA -2019-3-003人工智能芯片 面向端側(cè)的深度學(xué)習(xí)芯片測(cè)試指標(biāo)與測(cè)試方法

在提交反饋意見時(shí)，請(qǐng)將您知道

ICS

的相關(guān)專利連同支持性文件一并

附上

團(tuán)體標(biāo)準(zhǔn)

T/CESAXXXX—2019

人工智能芯片面向端側(cè)的深度學(xué)習(xí)芯片

測(cè)試指標(biāo)與測(cè)試方法

AIChipsTestIndexandTestMethodofDeepLearningChipsforTerminalSide

（征求意見稿）

2019--發(fā)布2019-XX-實(shí)施

中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)發(fā)布

T/CESAXXXX-2019

前??言

本標(biāo)準(zhǔn)依據(jù)GB/T1.1—2009《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)的結(jié)構(gòu)和編寫》給出的規(guī)則起草。

請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專利的責(zé)任。

本標(biāo)準(zhǔn)由全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)(SAC/TC28)提出并歸口。

本標(biāo)準(zhǔn)起草單位：

本標(biāo)準(zhǔn)主要起草人：

II

T/CESAXXXX-2019

人工智能芯片面向端側(cè)的深度學(xué)習(xí)芯片測(cè)試指標(biāo)與測(cè)試方法

1范圍

本標(biāo)準(zhǔn)規(guī)定了對(duì)端側(cè)深度學(xué)習(xí)芯片進(jìn)行功能、性能測(cè)試的測(cè)試指標(biāo)、測(cè)試方法和要求，適用于通用

端側(cè)深度學(xué)習(xí)芯片。本標(biāo)準(zhǔn)只規(guī)定端側(cè)深度學(xué)習(xí)芯片基準(zhǔn)測(cè)試的一般原則，針對(duì)具體端側(cè)深度學(xué)習(xí)芯片

產(chǎn)品應(yīng)制定相應(yīng)的測(cè)試細(xì)則。

本標(biāo)準(zhǔn)適用于第三方機(jī)構(gòu)對(duì)通用端側(cè)深度學(xué)習(xí)芯片進(jìn)行性能測(cè)試與評(píng)估，也適用于端側(cè)深度學(xué)習(xí)芯

片產(chǎn)品的采購(gòu)、設(shè)計(jì)。

2規(guī)范性引用文件

下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

GB/T5271.31-2006信息技術(shù)詞匯第31部分：人工智能機(jī)器學(xué)習(xí)

GB/T5271.34-2006信息技術(shù)詞匯第34部分：人工智能神經(jīng)網(wǎng)絡(luò)

20190851-T-469信息技術(shù)人工智能術(shù)語(yǔ)

T/CESA1026-2018人工智能深度學(xué)習(xí)算法評(píng)估規(guī)范

3術(shù)語(yǔ)和定義

下列術(shù)語(yǔ)和定義適用于本文件。

3.1

機(jī)器學(xué)習(xí)Machinelearning

一種程序或系統(tǒng)，用于根據(jù)輸入數(shù)據(jù)構(gòu)建（訓(xùn)練）預(yù)測(cè)模型。這種系統(tǒng)會(huì)利用學(xué)到的模型根據(jù)從分

布（訓(xùn)練該模型時(shí)使用的同一分布）中提取的新數(shù)據(jù)（以前從未見過的數(shù)據(jù)）進(jìn)行實(shí)用的預(yù)測(cè)。機(jī)器學(xué)

習(xí)還指與這些程序或系統(tǒng)相關(guān)的研究領(lǐng)域。

3.2

深度學(xué)習(xí)DeepLearning

機(jī)器學(xué)習(xí)中一種基于對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法，通過組合低層特征形成更加抽象的高層表示屬性

類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

3.3

卷積神經(jīng)網(wǎng)絡(luò)Convolutionalneuralnetwork

1

T/CESAXXXX-2019

機(jī)器學(xué)習(xí)中一種基于對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法，通過組合低層特征形成更加抽象的高層表示屬性

類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

3.4

循環(huán)神經(jīng)網(wǎng)絡(luò)RecurrentNeuralNetwork

一種神經(jīng)網(wǎng)絡(luò)，是一類以序列（sequence）數(shù)據(jù)為輸入，在序列的演進(jìn)方向進(jìn)行遞歸（recursion）

且所有節(jié)點(diǎn)（循環(huán)單元）按鏈?zhǔn)竭B接的遞歸神經(jīng)，網(wǎng)絡(luò)具有短期記憶能力的神經(jīng)網(wǎng)絡(luò)。

3.5

遞歸神經(jīng)網(wǎng)絡(luò)Recursiveneuralnetwork

深度學(xué)習(xí)（deeplearning）算法之一，具有樹狀階層結(jié)構(gòu)且網(wǎng)絡(luò)節(jié)點(diǎn)按其連接順序?qū)斎胄畔⑦M(jìn)行

遞歸的人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork,ANN）。

3.6

層Layer

神經(jīng)網(wǎng)絡(luò)中的一組神經(jīng)元，負(fù)責(zé)處理一組輸入特征，或一組神經(jīng)元的輸出。

3.7

推理Inference

在機(jī)器學(xué)習(xí)中，推斷通常指將訓(xùn)練過的模型應(yīng)用于無標(biāo)簽樣本，進(jìn)而來做出預(yù)測(cè)的過程。

3.8

批次Batch

模型訓(xùn)練的一次迭代（即一次梯度更新）中使用的樣本集。

3.9

批次大小Batchsize

一個(gè)批次中的樣本數(shù)。批次大小在訓(xùn)練和推斷期間通常是固定的。

3.10

測(cè)試集testset

數(shù)據(jù)集的子集，用于在模型經(jīng)由驗(yàn)證集的初步驗(yàn)證之后測(cè)試模型。

4縮略語(yǔ)

下列縮略語(yǔ)適用于本文件。

2

T/CESAXXXX-2019

mAP:平均精度均值（MeanAveragePrecision）

mIoU:平均交并比（MeanIntersectionoverUnion）

FAR:誤識(shí)率(FalseAcceptRate)

FRR:拒識(shí)率(FalseRejectRate)

IR:識(shí)別正確率（IdentificationRate）

WER:詞錯(cuò)誤率（WordErrorRate）

SER:句錯(cuò)誤率（SentenceErrorRate）

5技術(shù)要求

5.1測(cè)試框架

針對(duì)端側(cè)深度學(xué)習(xí)芯片的測(cè)試，主要是根據(jù)本標(biāo)準(zhǔn)中規(guī)定的評(píng)估方法，對(duì)其每個(gè)測(cè)試指標(biāo)進(jìn)行評(píng)估。

詳細(xì)內(nèi)容見“5試驗(yàn)方法”。

5.2測(cè)試對(duì)象

端側(cè)人工智能處理器，具體形式有以下兩種：

（1）端側(cè)人工智能處理器芯片（卡）：指以芯片卡形態(tài)進(jìn)行使用的人工智能芯片，如FPGA以及ASIC

等人工智能芯片（卡），可通過PCIE等接口與測(cè)試主機(jī)連接；

（2）搭載人工智能處理器的端側(cè)產(chǎn)品。

5.3測(cè)試網(wǎng)絡(luò)架構(gòu)

1）控制主機(jī)處理器架構(gòu)：X86架構(gòu)或ARM架構(gòu)。

2）支持主流的機(jī)器學(xué)習(xí)框架：Tensorflow、Caffe、MindSpore等。

5.4測(cè)試場(chǎng)景信息

1）典型應(yīng)用場(chǎng)景：計(jì)算機(jī)視覺任務(wù)（圖像分類、目標(biāo)檢測(cè)、語(yǔ)義分割等）和自然語(yǔ)言處理任務(wù)；

2）數(shù)據(jù)集：公開數(shù)據(jù)集或真實(shí)應(yīng)用場(chǎng)景數(shù)據(jù)集；

3）模型：經(jīng)典神經(jīng)網(wǎng)絡(luò)模型或自定義模型。

6測(cè)試方法

6.1測(cè)試指標(biāo)

主要測(cè)試指標(biāo)如表1所示：

表1應(yīng)用場(chǎng)景測(cè)試指標(biāo)

類型主要指標(biāo)

1.1平均前向推理時(shí)間

端側(cè)芯片1.2最大吞吐性能

1.3前向處理延遲性能

3

T/CESAXXXX-2019

1.4功耗

1.5能效比

6.2測(cè)試指標(biāo)描述

6.2.1平均前向推理時(shí)間

指模型完成一個(gè)樣本的推斷所需要時(shí)間。在圖像處理相關(guān)領(lǐng)域，利用指標(biāo)每秒幀率（FramePer

Second，F(xiàn)PS）評(píng)估速度，即每秒內(nèi)可以處理的圖片數(shù)量。

6.2.2最大吞吐性能

指單芯片或者多芯片在前向推理過程或訓(xùn)練過程中可同時(shí)處理的最大樣本數(shù)量。

6.2.3前向處理延遲性能

硬件在進(jìn)行前向推理計(jì)算過程中，從圖片輸入完成到計(jì)算結(jié)果開始輸出之間的時(shí)間間隔。

6.2.4功耗

進(jìn)行模型推斷過程中，芯片（或其所在測(cè)試板）或搭載人工智能處理器的云的平均功率。

6.2.5能效比

進(jìn)行模型推斷過程中，單芯片或者多芯片單位時(shí)間內(nèi)執(zhí)行運(yùn)算的次數(shù)與芯片功耗之比。

6.3測(cè)試類型

6.3.1通用測(cè)試

參照附錄中“典型場(chǎng)景測(cè)試參照表”，針對(duì)不同領(lǐng)域采用公開數(shù)據(jù)集和經(jīng)典神經(jīng)網(wǎng)絡(luò)模型對(duì)端側(cè)深

度學(xué)習(xí)芯片進(jìn)行測(cè)試，驗(yàn)證端側(cè)深度學(xué)習(xí)芯片在使用所屬應(yīng)用領(lǐng)域主流公開數(shù)據(jù)集及主流神經(jīng)網(wǎng)絡(luò)模型

時(shí)的功能及性能特征。

6.3.2專用測(cè)試

采用用戶提供的真實(shí)應(yīng)用場(chǎng)景數(shù)據(jù)集（公開可獲?。┗蛘咂渥远x神經(jīng)網(wǎng)絡(luò)模型對(duì)端側(cè)深度學(xué)習(xí)芯

片進(jìn)行測(cè)試，驗(yàn)證其端側(cè)深度學(xué)習(xí)芯片在使用真實(shí)應(yīng)用場(chǎng)景數(shù)據(jù)集或者自定義神經(jīng)網(wǎng)絡(luò)模型時(shí)的功能及

性能特征。

6.4指標(biāo)測(cè)試方法

6.5.1平均前向推理時(shí)間

平均前向推理時(shí)間的單位是ms（毫秒）。

指被測(cè)硬件使用神經(jīng)網(wǎng)絡(luò)模型平均預(yù)測(cè)一單位測(cè)試數(shù)據(jù)所需要的時(shí)間。

計(jì)算公式：

平均前向推理時(shí)間=

注：

4

T/CESAXXXX-2019

總預(yù)測(cè)時(shí)間：被測(cè)硬件使用神經(jīng)網(wǎng)絡(luò)模型，在測(cè)試數(shù)據(jù)集上完成測(cè)試所使用的總計(jì)算時(shí)間（硬件一

次處理一單位的測(cè)試數(shù)據(jù)）。

總測(cè)試樣本數(shù)量：指測(cè)試數(shù)據(jù)集中樣本的總數(shù)量。

6.5.2最大吞吐性能

硬件在進(jìn)行訓(xùn)練和前向推理計(jì)算過程中，單位時(shí)間內(nèi)能輸入的最大樣本數(shù)量。

可以在訓(xùn)練和前向推理計(jì)算前，通過不斷調(diào)整參數(shù)，增加單位時(shí)間內(nèi)輸入樣本的數(shù)量，來最終確定

硬件的最大吞吐性能。

6.5.3前向處理延遲性能

前向處理延遲的單位是ms（毫秒）

硬件在進(jìn)行前向推理計(jì)算過程中，從圖片輸入完成到計(jì)算結(jié)果開始輸出之間的時(shí)間間隔。

計(jì)算公式：

前向處理延遲=當(dāng)前幀處理結(jié)果開始輸出的時(shí)刻-當(dāng)前幀輸入完成時(shí)刻

6.5.4功耗

功耗的單位是watt（瓦特）。

指執(zhí)行測(cè)試期間的被測(cè)硬件平均功耗。

針對(duì)不同形態(tài)的被測(cè)對(duì)象使用對(duì)應(yīng)的功耗測(cè)試方法，對(duì)被測(cè)硬件在執(zhí)行測(cè)試期間的功耗情況進(jìn)行記

錄，最終通過計(jì)算得到該硬件的平均功耗情況。

6.5.5能效比

能效比的單位是：images/sec/watt（處理圖像數(shù)量/秒/瓦特）。針對(duì)自然語(yǔ)言處理任務(wù)，能效比

的單位是：word/sec/watt(處理單詞數(shù)量/秒/瓦特)。

計(jì)算公式：

能效比=

注：

總計(jì)算操作數(shù)量：指用于測(cè)試的神經(jīng)網(wǎng)絡(luò)模型中，所有計(jì)算操作的總數(shù)量和。

功耗：指執(zhí)行測(cè)試期間的硬件平均功耗。

5

T/CESAXXXX-2019

附錄通用端側(cè)深度學(xué)習(xí)芯片測(cè)試參數(shù)參照表

測(cè)試測(cè)試神經(jīng)關(guān)鍵指標(biāo)

分類編號(hào)應(yīng)用場(chǎng)景推理精度

數(shù)據(jù)集網(wǎng)絡(luò)模型推理速率處理延遲功耗

ResNet-50,

ResNet-101，

圖像分類

ImageNetVGG-16，top-1,top-5

1（準(zhǔn)確識(shí)別圖片

Inception-v3，算法準(zhǔn)確率

中的物體類別）

MobileNet

計(jì)算目標(biāo)檢測(cè)Faster-RCNN

機(jī)視2（定位物體位置，并MicrosoftCOCO(withFPN)，mAPFPS

覺任標(biāo)注物體類別）YoloV3,SSD

務(wù)語(yǔ)義分割mswatt

VOC2012SegNet，U-Net，

3（識(shí)別圖像中mIoU,F-Score

CitescapeFCN,Deeplabv3+

所有像素類別）

FAR、FRR、

人臉識(shí)別（根據(jù)人面CASIA-WebFaceDeepID3,

4Identification

部特征識(shí)別身份）LFWArcFace

Rate

聯(lián)合國(guó)平行語(yǔ)料庫(kù)、

自然1機(jī)器翻譯AIChallenger文本seq2seqBLEU，METEOR翻譯速度

語(yǔ)言翻譯數(shù)據(jù)集

處理THCHS30

DFSMN

任務(wù)2語(yǔ)音識(shí)別AISHELLWER、SER識(shí)別速度

DFCNN

AudioSet

6.2.1應(yīng)用場(chǎng)景描述說明：

6.31.圖像分類及分類效果評(píng)估

任務(wù)為準(zhǔn)確識(shí)別圖片中的物體類別，擬采用模型ResNet-50、ResNet-101、VGG16、Inception-v3和

MobileNet，數(shù)據(jù)集為ImageNet。

衡量圖像分類效果的性能評(píng)價(jià)指標(biāo)為：

Top-1準(zhǔn)確率：圖像分類結(jié)果中排名第一的分類類別與實(shí)際結(jié)果相同的準(zhǔn)確率；

Top-5準(zhǔn)確率：圖像分類結(jié)果中排名前五的分類類別包含實(shí)際結(jié)果的準(zhǔn)確率。

6

T/CESAXXXX-2019

6.42.目標(biāo)檢測(cè)及檢測(cè)效果評(píng)估

任務(wù)為在給定的圖片中精確找到物體所在位置、并標(biāo)注出物體的類別。包括兩階段模型（Faster

R-CNN）和一階段模型（YoloV3、SSD），數(shù)據(jù)集為VOC、COCO。

衡量目標(biāo)檢測(cè)效果的性能評(píng)價(jià)指標(biāo)為：

平均精度均值（MeanAveragePrecision,mAP）：數(shù)據(jù)集中所有類別的平均精度的均值。

計(jì)算公式：

平均精度均值=所有類別的平均精度值之和/所有類別的數(shù)目

6.53.語(yǔ)義分割及分割效果評(píng)估

任務(wù)為逐像素的標(biāo)注任務(wù)，即為輸入圖像中每一個(gè)像素賦予預(yù)先設(shè)定的類別，選取模型為

Deeplabv3+，SegNet，U-Net和FCN，數(shù)據(jù)集VOC2012和Citescape。

衡量圖像語(yǔ)義分割任務(wù)的性能評(píng)價(jià)指標(biāo)為：

平均交并比（MeanIntersectionoverUnion，mIoU）：所有類別的交并比IoU的平均值。計(jì)算真實(shí)

值（groundtruth）和預(yù)測(cè)值（predictedsegmentation）兩個(gè)集合的交集和并集之比，即為每個(gè)類別的交

并比IoU。

F分?jǐn)?shù)：綜合權(quán)衡精確率和召回率的指標(biāo)。

計(jì)算公式：

PrecisionRecall

F?Score=

β2Precision+Recall

注：

精確率(Precision)：識(shí)別正確的結(jié)果在所識(shí)別出的結(jié)果中所占的比率；

召回率(Recall)：識(shí)別正確的結(jié)果占數(shù)據(jù)集中所有要識(shí)別出的總數(shù)的比率。

6.64.人臉識(shí)別及識(shí)別效果評(píng)估

任務(wù)為在給定的人臉中準(zhǔn)確的識(shí)別出人的特征，選區(qū)模型為DeepID3和ArcFace，數(shù)據(jù)集為WebFace

和LFW。身份衡量人臉識(shí)別效果采取的性能評(píng)價(jià)指標(biāo)為：

7

T/CESAXXXX-2019

誤識(shí)率(FalseAcceptRate,FAR)：此處表示將其他人誤作指定人員的概率；拒識(shí)率(FalseRejectRate,

FRR)：此處表示將指定人員誤作其它人員的概率；識(shí)別正確率（IdentificationRate）：此處表示

正確識(shí)別人次與參與識(shí)別的注冊(cè)人員總?cè)舜沃取?/p>

6.75.機(jī)器翻譯及效果評(píng)估

任務(wù)為將給定的中文、英文或其他語(yǔ)言文本翻譯成另外一種制定語(yǔ)言的過程。使用模型seq2seq，

數(shù)據(jù)集采用聯(lián)合國(guó)平行語(yǔ)料庫(kù)、AIChallenger文本翻譯數(shù)據(jù)集。

衡量機(jī)器翻譯效果采取的性能評(píng)價(jià)指標(biāo)為：

BLEU（bilingualevaluationunderstudy）：用于評(píng)價(jià)機(jī)器譯文與參考譯文的相似度。

計(jì)算公式：

BLEU=同時(shí)出現(xiàn)在機(jī)器譯文和參考譯文中的詞的個(gè)數(shù)/機(jī)器譯文的單詞數(shù)目

METEOR（MetricforEvaluationofTranslationwithExplicitOrdering）:用于評(píng)價(jià)機(jī)器學(xué)習(xí)翻譯系統(tǒng)

的指標(biāo)，為對(duì)應(yīng)最佳候選譯文和參考譯文之間的準(zhǔn)確率和召回率的調(diào)和平均。

6.語(yǔ)音識(shí)別及效果評(píng)估

任務(wù)為將給定的中文或英文語(yǔ)音識(shí)別為文字，采用的模型為阿里巴巴的DFSMN，科大訊飛的

DFCNN，數(shù)據(jù)集采用THCHS30、AISHELL、AudioSet。

衡量語(yǔ)音識(shí)別的性能測(cè)試指標(biāo)為：

詞錯(cuò)誤率（WER）：語(yǔ)音識(shí)別后插入(/替換/刪除)的詞的總個(gè)數(shù)占標(biāo)準(zhǔn)的詞序列中詞的個(gè)數(shù)的百分

比。

句錯(cuò)誤率（SER）：句子中如果有一個(gè)詞識(shí)別錯(cuò)誤，那么這個(gè)句子被認(rèn)為識(shí)別錯(cuò)誤，SER即句子識(shí)

別錯(cuò)誤的個(gè)數(shù)占句子總數(shù)的百分比。

8

T/CESAXXXX-2019

中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)（CESA）是全國(guó)電子信息產(chǎn)業(yè)標(biāo)準(zhǔn)化組織和標(biāo)準(zhǔn)化工作者自愿組成的

社會(huì)團(tuán)體。廣泛聯(lián)系全國(guó)電子信息產(chǎn)業(yè)標(biāo)準(zhǔn)化機(jī)構(gòu)和標(biāo)準(zhǔn)化工作者，協(xié)助政府部門搞好電子信息產(chǎn)業(yè)標(biāo)

準(zhǔn)化工作，開拓信息技術(shù)領(lǐng)域的標(biāo)準(zhǔn)化工作是中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)的主要工作內(nèi)容之一。中國(guó)

境內(nèi)從事科研開發(fā)、制造、營(yíng)銷和服務(wù)的企事業(yè)單位、高等院校、社會(huì)組織和個(gè)人均可隨時(shí)向中國(guó)電子

工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)團(tuán)體標(biāo)準(zhǔn)工作部提出團(tuán)體標(biāo)準(zhǔn)項(xiàng)目建議。

中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)標(biāo)準(zhǔn)按照《電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)協(xié)會(huì)團(tuán)體標(biāo)準(zhǔn)管理辦法》進(jìn)行制

定和管理。

在本標(biāo)準(zhǔn)實(shí)施過程中，如發(fā)現(xiàn)需要修改或補(bǔ)充之處，請(qǐng)將意見和有關(guān)資料寄至中國(guó)電子工業(yè)標(biāo)準(zhǔn)化

技術(shù)協(xié)會(huì)，以便修訂時(shí)參考。

本標(biāo)準(zhǔn)版權(quán)歸中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)所有。

中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)地址：北京市海淀區(qū)萬(wàn)壽路27號(hào)

電話子郵箱：standards@

網(wǎng)址：

A

9

T/XXXXXXXX—XXXX

目次

前??言...............................................................................................................................................................II

人工智能芯片面向端側(cè)的深度學(xué)習(xí)芯片測(cè)試指標(biāo)與測(cè)試方法....................................................................1

1范圍.....................................................................................................................................................................1

2規(guī)范性引用文件.................................................................................................................................................1

3術(shù)語(yǔ)和定義.........................................................................................................................................................1

4縮略語(yǔ).................................................................................................................................................................2

5技術(shù)要求.............................................................................................................................................................3

5.1測(cè)試框架.........................................................................................................................................................3

5.2測(cè)試對(duì)象.........................................................................................................................................................3

5.3測(cè)試網(wǎng)絡(luò)架構(gòu).................................................................................................................................................3

5.4測(cè)試場(chǎng)景信息.................................................................................................................................................3

6測(cè)試方法.............................................................................................................................................................3

6.1測(cè)試指標(biāo).....................................................................................................................................................3

6.2測(cè)試指標(biāo)描述.................................................................................................................................................4

6.2.1平均前向推理時(shí)間.................................................................................................................................4

6.2.2最大吞吐性能..........................................................................................................................................4

6.2.3前向處理延遲性能.................................................................................................................................4

6.2.4功耗.........................................................................................................................................................4

6.2.5能效比.....................................................................................................................................................4

6.3測(cè)試類型.........................................................................................................................................................4

6.3.1通用測(cè)試.................................................................................................................................................4

6.3.2專用測(cè)試.................................................................................................................................................4

6.4指標(biāo)測(cè)試方法.................................................................................................................................................4

6.5.1平均前向推理時(shí)間.................................................................................................................................4

6.5.2最大吞吐性能.........................................................................................................................................5

6.5.3前向處理延遲性能.................................................................................................................................5

6.5.4功耗.........................................................................................................................................................5

6.5.5能效比.....................................................................................................................................................5

附錄通用端側(cè)深度學(xué)習(xí)芯片測(cè)試參數(shù)參照表..............................................................6

I

T/CESAXXXX-2019

人工智能芯片面向端側(cè)的深度學(xué)習(xí)芯片測(cè)試指標(biāo)與測(cè)試方法

1范圍

本標(biāo)準(zhǔn)規(guī)定了對(duì)端側(cè)深度學(xué)習(xí)芯片進(jìn)行功能、性能測(cè)試的測(cè)試指標(biāo)、測(cè)試方法和要求，適用于通用

端側(cè)深度學(xué)習(xí)芯片。本標(biāo)準(zhǔn)只規(guī)定端側(cè)深度學(xué)習(xí)芯片基準(zhǔn)測(cè)試的一般原則，針對(duì)具體端側(cè)深度學(xué)習(xí)芯片

產(chǎn)品應(yīng)制定相應(yīng)的測(cè)試細(xì)則。

本標(biāo)準(zhǔn)適用于第三方機(jī)構(gòu)對(duì)通用端側(cè)深度學(xué)習(xí)芯片進(jìn)行性能測(cè)試與評(píng)估，也適用于端側(cè)深度學(xué)習(xí)芯

片產(chǎn)品的采購(gòu)、設(shè)計(jì)。

2規(guī)范性引用文件

下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

GB/T5271.31-2006信息技術(shù)詞匯第31部分：人工智能機(jī)器學(xué)習(xí)

GB/T5271.34-2006信息技術(shù)詞匯第34部分：人工智能神經(jīng)網(wǎng)絡(luò)

20190851-T-469信息技術(shù)人工智能術(shù)語(yǔ)

T/CESA1026-2018人工智能深度學(xué)習(xí)算法評(píng)估規(guī)范

3術(shù)語(yǔ)和定義

下列術(shù)語(yǔ)和定義適用于本文件。

3.1

機(jī)器學(xué)習(xí)Machinelearning

一種程序或系統(tǒng)，用于根據(jù)輸入數(shù)據(jù)構(gòu)建（訓(xùn)練）預(yù)測(cè)模型。這種系統(tǒng)會(huì)利用學(xué)到的模型根據(jù)從分

布（訓(xùn)練該模型時(shí)使用的同一分布）中提取的新數(shù)據(jù)（以前從未見過的數(shù)據(jù)）進(jìn)行實(shí)用的預(yù)測(cè)。機(jī)器學(xué)

習(xí)還指與這些程序或系統(tǒng)相關(guān)的研究領(lǐng)域。

3.2

深度學(xué)習(xí)DeepLearning

機(jī)器學(xué)習(xí)中一種基于對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法，通過組合低層特征形成更加抽象的高層表示屬性

類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

3.3

卷積神經(jīng)網(wǎng)絡(luò)Convolutionalneuralnetwork

1

T/CESAXXXX-2019

機(jī)器學(xué)習(xí)中一種基于對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法，通過組合低層特征形成更加抽象的高層表示屬性

類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

3.4

循環(huán)神經(jīng)網(wǎng)絡(luò)RecurrentNeuralNetwork

一種神經(jīng)網(wǎng)絡(luò)，是一類以序列（sequence）數(shù)據(jù)為輸入，在序列的演進(jìn)方向進(jìn)行遞歸（recursion）

且所有節(jié)點(diǎn)（循環(huán)單元）按鏈?zhǔn)竭B接的遞歸神經(jīng)，網(wǎng)絡(luò)具有短期記憶能力的神經(jīng)網(wǎng)絡(luò)。

3.5

遞歸神經(jīng)網(wǎng)絡(luò)Recursiveneuralnetwork

深度學(xué)習(xí)（deeplearning）算法之一，具有樹狀階層結(jié)構(gòu)且網(wǎng)絡(luò)節(jié)點(diǎn)按其連接順序?qū)斎胄畔⑦M(jìn)行

遞歸的人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork,ANN）。

3.6

層Layer

神經(jīng)網(wǎng)絡(luò)中的一組神經(jīng)元，負(fù)責(zé)處理一組輸入特征，或一組神經(jīng)元的輸出。

3.7

推理Inference

在機(jī)器學(xué)習(xí)中，推斷通常指將訓(xùn)練過的模型應(yīng)用于無標(biāo)簽樣本，進(jìn)而來做出預(yù)測(cè)的過程。

3.8

批次Batch

模型訓(xùn)練的一次迭代（即一次梯度更新）中使用的樣本集。

3.9

批次大小Batchsize

一個(gè)批次中的樣本數(shù)。批次大小在訓(xùn)練和推斷期間通常是固定的。

3.10

測(cè)試集testset

數(shù)據(jù)集的子集，用于在模型經(jīng)由驗(yàn)證集的初步驗(yàn)證之后測(cè)試模型。

4縮略語(yǔ)

下列縮略語(yǔ)適用于本文件。

2

T/CESAXXXX-2019

mAP:平均精度均值（MeanAveragePrecision）

mIoU:平均交并比（MeanIntersectionoverUnion）

FAR:誤識(shí)率(FalseAcceptRate)

FRR:拒識(shí)率(FalseRejectRate)

IR:識(shí)別正確率（IdentificationRate）

WER:詞錯(cuò)誤率（WordErrorRate）

SER:句錯(cuò)誤率（SentenceErrorRate）

5技術(shù)要求

5.1測(cè)試框架

針對(duì)端側(cè)深度學(xué)習(xí)芯片的測(cè)試，主要是根據(jù)本標(biāo)準(zhǔn)中規(guī)定的評(píng)估方法，對(duì)其每個(gè)測(cè)試指標(biāo)進(jìn)行評(píng)估。

詳細(xì)內(nèi)容見“5試驗(yàn)方法”。

5.2測(cè)試對(duì)象

端側(cè)人工智能處理器，具體形式有以下兩種：

（1）端側(cè)人工智能處理器芯片（卡）：指以芯片卡形態(tài)進(jìn)行使用的人工智能芯片，如FPGA以及ASIC

等人工智能芯片（卡），可通過PCIE等接口與測(cè)試主機(jī)連接；

（2）搭載人工智能處理器的端側(cè)產(chǎn)品。

5.3測(cè)試網(wǎng)絡(luò)架構(gòu)

1）控制主機(jī)處理器架構(gòu)：X86架構(gòu)或ARM架構(gòu)。

2）支持主流的機(jī)器學(xué)習(xí)框架：Tensorflow、Caffe、MindSpore等。

5.4測(cè)試場(chǎng)景信息

1）典型應(yīng)用場(chǎng)景：計(jì)算機(jī)視覺任務(wù)（圖像分類、目標(biāo)檢測(cè)、語(yǔ)義分割等）和自然語(yǔ)言處理任務(wù)；

2）數(shù)據(jù)