CESA-2021-3-003《人工智能芯片 計算機視覺訓練用云側(cè)深度學習芯片測試指標與測試方法》團體標準（征求意見稿）

ICS31.200

CCSL56

團體標準

T/CESAXXX-202X

人工智能芯片計算機視覺訓練用云側(cè)深度

學習芯片測試指標與測試方法

AIChips-ComputerVision-Testmetricsandtestmethodofdeeplearningchipsfor

cloudsidetraining

征求意見稿

在提交反饋意見時，請將您知道的相關專利連同支持性文件一并附上。

已授權的專利證明材料為專利證書復印件或扉頁，已公開但尚未授權的專利申

請證明材料為專利公開通知書復印件或扉頁，未公開的專利申請的證明材料為專利

申請?zhí)柡蜕暾埲掌凇?/p>

202X-XX-XX發(fā)布202X-XX-XX實施

中國電子工業(yè)標準化技術協(xié)會發(fā)布

T/CESAXXXX—202X

前??言

本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起

草。

本文件由上海商湯科技開發(fā)有限公司提出。

本文件由中國電子技術標準化研究院、中國電子工業(yè)標準化技術協(xié)會歸口。

本文件起草單位：。

本文件主要起草人：。

IV

T/CESAXXXX—202X

人工智能芯片計算機視覺訓練用云側(cè)深度學習芯片測試指標與測

試方法

1范圍

本文件規(guī)定了計算機視覺領域面向云側(cè)的深度學習訓練芯片的基本技術規(guī)格、功能、性能、生態(tài)與

開放性等測試指標和測試方法。

本文件適用于芯片生產(chǎn)廠商、應用廠商及第三方機構(gòu)對計算機視覺領域面向云側(cè)的深度學習訓練芯

片進行測試與評估,也適用于計算機視覺領域深度學習訓練芯片產(chǎn)品的采購、設計。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

T/CESA1119—2020人工智能芯片面向云側(cè)的深度學習芯片測試指標與測試方法

3術語和定義

T/CESA1119—2020界定的以及下列術語和定義適用于本文件。

3.1

計算機視覺computervision

一種具備獲取、處理和解釋視覺數(shù)據(jù)能力的功能單元。

[來源:ISO/IECDIS22989:2021，3.1.11，有修改]

4縮略語

下列縮略語適用于本文件。

IPS:每秒處理的圖片數(shù)(ImagesPerSecond)

API:應用編程接口(ApplicationProgrammingInterface)

5測試說明

5.1測試環(huán)境及流程

本文件的測試環(huán)境及測試流程均應符合T/CESA1119—2020的相關要求。

5.2測試對象

本文件的測試對象是含有計算機視覺推理用云側(cè)深度學習芯片（卡/棒）的控制主機:指以芯片/卡/

1

T/CESAXXXX—202X

棒形態(tài)進行使用的深度學習芯片,如GPU、FPGA以及ASIC等人工智能芯片(卡/棒),可通過PCIE、USB等接

口與測試主機連接。

5.3測試內(nèi)容

計算機視覺訓練芯片的測評指標,主要包括基本技術規(guī)格、功能、性能、生態(tài)與開放性等部分，在

依據(jù)本文件進行測試的過程中：

a）涉及功能、性能等相關指標將通過第三方測試工具進行評測；

b）生態(tài)與開放性部分的指標將采信被測對象標稱值及其他技術信息，作為先進性的參考。

6測試指標

6.1基本技術規(guī)格

基本技術規(guī)格從算力、內(nèi)存、通信以及能效比四個方面進行評測，每個子指標的評分計算方式為該

子指標測試值與對應基準值的比值，計算公式為：

············································（1）

a）算力

表1算力相關指標與參考值

序號指標名稱指標內(nèi)容參考值

1FP16算力(TFLOPS)16bit（1bitsign+5bitexponent+10bitfraction）

浮點數(shù)據(jù)的計算能力

2FP32算力(TFLOPS)32bit（1bitsign+8bitexponent+23bitfraction）

浮點數(shù)據(jù)的計算能力

3INT8算力(TOPS)8bit整型數(shù)據(jù)的計算能力

4INT16算力(TOPS)16bit整型數(shù)據(jù)的計算能力

5BF16算力(TFLOPS)16bit（1bitsign+8bitexponent+7bitfraction）

浮點數(shù)據(jù)的計算能力

6TF32算力(TFLOPS)19bit（1bitsign+8bitexponent+10bitfraction）

浮點數(shù)據(jù)的計算能力

b）內(nèi)存規(guī)格

內(nèi)存是訓練芯片的片下存儲器（顯存），而不是指主機存儲器。

表2內(nèi)存相關指標與參考值

序號指標名稱指標內(nèi)容參考值

1容量(GB)內(nèi)存容量用字節(jié)數(shù)進行標稱

2帶寬(GB/s)芯片的運算單元訪問片下存儲器的帶寬

c）通信帶寬

表3通信帶寬相關指標與參考值

序號指標名稱指標內(nèi)容參考值

1主機-設備帶寬(GB/s)訓練芯片與主機之間的通信帶寬

2

T/CESAXXXX—202X

2節(jié)點內(nèi)卡間帶寬一個計算節(jié)點內(nèi)，兩個芯片之間的通信帶寬

(GB/s)

d）能效比

表4能效比相關指標與參考值

序號指標名稱指標內(nèi)容參考值

1最高浮點算力能效比芯片最高浮點算力與芯片標稱功耗TDP的比值

(TFLOPS/W)

2最高整型算力能效比芯片最高整型算力與芯片標稱功耗TDP的比值

(TOPS/W)

6.2功能

6.2.1算子支持程度

訓練芯片對算子的支持程度，使用算子支持率進行衡量。算子支持率計算公式如下：

······························（2）

其中，被測試算子從算子列表（附錄B.1）中獲取，每個算子的權重系數(shù)使用統(tǒng)計方法獲得。

6.2.2模型支持程度

對目前常見深度學習應用領域（例如圖像分類、分割、目標檢測、NLP、推薦等）中典型模型的支

持程度。模型支持率的計算公式如下：

······························（3）

其中，被測試模型以及相應的權重系數(shù)從模型列表（附錄B.2）中獲取。

6.2.3卡間、多機高速通信的功能支持

卡間和多機高速通信分別指“節(jié)點內(nèi)點對點通信”和“跨節(jié)點點對點通信”，指標內(nèi)容如下表。

表5卡間和多機高速通信功能支持

序號指標名稱指標內(nèi)容

1節(jié)點內(nèi)點對點通信節(jié)點內(nèi)用于卡間直接通信，CPU-Offload

2跨節(jié)點點對點通信跨節(jié)點卡間直接通信，CPU-Offload

6.2.4訓練性能的數(shù)制能力

a)新型數(shù)制

芯片中的運算單元支持TF32、BF16等新型數(shù)制。

b)稀疏計算

芯片在不降低模型訓練精度的情況下，支持稀疏矩陣的運算以提高訓練性能。

6.3性能

6.3.1算子計算性能

3

T/CESAXXXX—202X

算子性能指某一特定輸入配置情況下在芯片上的運算時間，不包含數(shù)據(jù)在主機內(nèi)存和芯片存儲器之

間的傳輸時間。主要考慮GEMM、Conv2d和長尾算子在不同輸入?yún)?shù)條件下在單芯片上的計算性能，其

中長尾算子從被測試算子從算子列表（附錄B.1）中獲取。單項配置下算子的性能評分如公式（4）所示：

·································（4）

算子性能評分為GEMM、Conv2d和長尾算子測試項的加權平均，其中權重系數(shù)依次為{0.3、0.4、0.3}。

6.3.2通信性能

指算子在單節(jié)點多芯片、多節(jié)點多芯片條件下的性能表現(xiàn)，包括通信速率和時延。通信速率指消息

體字節(jié)數(shù)與消息體從一個通信節(jié)點發(fā)出到達另外一個通信節(jié)點所需時間的比值（單位：GB/s）。時延指

通信節(jié)點發(fā)送消息體時從開始發(fā)送至發(fā)送結(jié)束所需的時間（單位：ms）。

6.3.3模型訓練性能

主流深度學習模型在不同配置（單卡、多卡）情形下的訓練性能。模型訓練性能用IPS衡量，是

指訓練過程中每秒鐘能處理的圖片數(shù)，其計算公式如下：

··················································（5）

模型性能評分為所有測試模型評分的加權平均。

····································（6）

其中，模型i的性能評分為：

·······························（7）

式中：

M——單機1卡、單機4卡和單機8卡3種測試配置。

模型測試參數(shù)配置以及訓練數(shù)據(jù)集詳見附錄B.2。

6.4軟件生態(tài)

6.4.1生態(tài)

生態(tài)指芯片的基本軟件棧，并考慮芯片在公開市場的部署規(guī)模。評測內(nèi)容主要包含如下幾點：

a)支持用戶對芯片進行軟件開發(fā)的運行時庫、編譯工具鏈和調(diào)試調(diào)優(yōu)工具。

表6基本軟件棧支持度指標

序號指標名稱指標內(nèi)容必要/可選指標

1驅(qū)動支持是否包含驅(qū)動以及提供驅(qū)動API用于軟件開發(fā)必要

4

T/CESAXXXX—202X

2運行時庫是否包含運行時庫必要

3編譯工具鏈是否提供編譯工具鏈對用戶程序進行編譯必要

4調(diào)試工具是否提供調(diào)試工具對芯片的代碼進行調(diào)試排錯必要

5調(diào)優(yōu)工具是否提供調(diào)優(yōu)工具對芯片的代碼實現(xiàn)進行性能分析、調(diào)優(yōu)必要

b)芯片的高性能計算庫。主要包括計算庫的數(shù)量、計算庫提供的算子/函數(shù)的數(shù)量、提供計算庫

的性能三個方面。

表7高性能計算庫指標

序號指標名稱指標內(nèi)容必要/可選指標

1第1級計算庫是否包含深度神經(jīng)網(wǎng)絡（DNN）庫、線性代數(shù)庫等，并使用典型必要

算子去測試其計算性能對芯片算力的利用率

2第2級計算庫是否包含其他計算庫，例如隨機數(shù)生成庫等必要

c)高性能通信庫支持程度。覆蓋主機-芯片之間、節(jié)點內(nèi)芯片間以及跨節(jié)點芯片間三種場景的高

性能通信庫，以及是否支持常見的通信原語，如All-Reduce、Reduce-Scatter、Broadcast

等。

6.4.2開放性

開放性評測中的指標包含開放的芯片指令集或虛擬指令集、開放的設備代碼編譯器等，詳見表8。

表8開放性指標

序號指標名稱指標內(nèi)容必要/可選指標

1編程模型編程模型、線程模型、存儲層級設計是否和業(yè)界主流異構(gòu)計算模型保必要

持兼容

2編程接口編程接口（如設備管理、流的使用與管理、同步機制等）是否與主流必要

異構(gòu)計算的編程接口保持兼容

7測試方法

7.1基本技術規(guī)格

算力、內(nèi)存、通信等子指標的測試均采用廠商提供的標稱值。

7.2功能

7.2.1測試目標

測試訓練芯片以及其軟件棧是否支持附錄B.1（算子列表）和附錄B.2（模型列表）所列的算子與模

型。

7.2.2測試準備

功能測試需要被測方提供以下內(nèi)容：

a)應提供處于最佳工作環(huán)境、廠商標配的主機配置、廠商標配的訓練芯片產(chǎn)品形態(tài)；

b)應提供訓練芯片軟件棧的相關技術文檔。

5

T/CESAXXXX—202X

7.2.3測試要求

待測算子和待測試模型應滿足以下要求：

d)支持至少一種數(shù)值精度（FP32、FB16、TF32、BF16、INT8和INT16）的實現(xiàn)；

e)訓練芯片執(zhí)行該算子的輸出結(jié)果應與ONNXRuntimeCPU（v1.10.0,Inteli7-8700@3.2GHz）

的輸出結(jié)果進行比較，兩者誤差在可接受范圍內(nèi)；

f)若輸出參數(shù)是張量，對張量中每一個元素與標準輸出結(jié)果中對應元素進行比較；

g)測試模型中至少95%的算子在訓練芯片上執(zhí)行，且關鍵算子（包括卷積、矩陣乘、歸一化、激

活函數(shù)、池化）在訓練芯片上執(zhí)行；

h)模型測試使用超參與附錄B.2保持一致，在滿足模型測試精度要求的前提下，不限定訓練使用

的數(shù)值精度。

7.2.4算子功能測試流程

表11算子功能測試流程

序號步驟步驟描述

1參數(shù)配置給定輸入?yún)?shù)，使用該算子在ONNXRuntimeCPU實現(xiàn)進行計算，獲得在該輸入配置下的標準

輸出結(jié)果。

2算子執(zhí)行使用上述輸入?yún)?shù)，在訓練芯片上執(zhí)行該算子，獲得相應的測試輸出結(jié)果。

3精度對比將測試輸出結(jié)果與標準輸出結(jié)果進行對比，計算相對誤差和絕對誤差。

7.2.5模型功能測試流程

表12模型功能測試流程

序號步驟步驟描述

1給定參數(shù)給定模型測試數(shù)據(jù)集、超參配置、要求訓練輪數(shù)以及測試精度要求。

2模型運行在以訓練芯片為基礎的計算系統(tǒng)上，使用指定數(shù)據(jù)集和超參進行訓練。

3精度對比當訓練輪數(shù)達到訓練要求的輪數(shù)時，測試模型在指定測試數(shù)據(jù)集上的精度。

7.3性能

7.3.1測試目標

測試訓練芯片以及其軟件棧在附錄B.1算子列表和B.2模型列表下的訓練性能。

7.3.2測試準備

性能測試需要被測方提供以下內(nèi)容：

a)應提供處于最佳工作環(huán)境、廠商標配的主機配置、廠商標配的訓練芯片產(chǎn)品形態(tài)；

b)應提供訓練芯片軟件棧的相關技術文檔。

7.3.3測試要求

測試訓練芯片性能有以下測試要求：

i)應在在不同通信負載和通信節(jié)點條件下，測試All-Reduce算子的算法帶寬（GB/s）和通信延

遲（ms）；

6

T/CESAXXXX—202X

j)應在不同的配置下（單機1卡、單機4卡、單機8卡等），測試模型訓練性能。

7.3.4算子性能測試流程

表13算子性能測試流程

序號步驟步驟描述

1參數(shù)配置準備輸入數(shù)據(jù)，并將算子執(zhí)行所需的所有輸入數(shù)據(jù)傳輸至訓練芯片存儲器。

2暖身輪在芯片上執(zhí)行算子M（M<10）次，作為性能測試的暖身輪。

3耗時測試將算子在芯片上連續(xù)運行特定次數(shù)N（N介于1000和100000之間，測試人員在測試過程中

根據(jù)實際情況指定），取運算時間的均值；

4精度測試算子在某一特定輸入配置下的計算時間與相應的基準時間的比值即為該輸入?yún)?shù)配置下的

性能評分。數(shù)值精度可取泛單精度（FP32、TF32等）和泛半精度（FP16、BF16等），基準

性能也有兩種精度的基準值，被測芯片的某個算子的評分系數(shù)選取兩種數(shù)制精度下的最高

值。

5結(jié)果確認該測試條件下的算子必須確保精度滿足要求，評測要求參考第7.2.1章節(jié)。

7.3.5模型性能測試流程

表14模型性能測試流程

序號步驟步驟描述

1參數(shù)配置準備模型訓練所需的參數(shù)、數(shù)據(jù)集，訓練過程不能對設定參數(shù)進行修改。

2暖身輪啟動模型訓練，執(zhí)行M（M<3）輪（epoch）訓練作為暖身輪。

3測試執(zhí)行至少執(zhí)行一個完整的訓練輪（epoch），根據(jù)第6.3.3章節(jié)中IPS定義計算模型的訓練性能。

7.4軟件生態(tài)

7.4.1軟件生態(tài)

測試芯片應支持必要的基本軟件棧、高性能計算庫、高性能通信庫以及產(chǎn)品部署規(guī)模。

a)基本軟件棧

表14基本軟件棧測試方法

序號指標名稱CUDA對應是否支持

1驅(qū)動支持cudadriver

2運行時庫cudart

3編譯工具鏈nvcc

4調(diào)試工具cuda-gdb

5調(diào)優(yōu)工具nvprof

b)高性能計算庫

表15高性能計算庫測試方法

序號指標名稱CUDA對應是否支持

1第1級計算庫cudnn、cublas

7

T/CESAXXXX—202X

2第2級計算庫cusparse、curand

c)高性能通信庫

通信庫應支持常見的通信原語如All-Reduce、Reduce-Scatter、Broadcast等，CUDA對應的高性能

通信庫為NCCL。

7.4.2開放性

訓練芯片應考慮開放性相關指標：

表16開放性測試方法

序號子指標評測內(nèi)容是否支持

1芯片指令集或虛擬指令集的開放程度

2是否開放設備代碼編譯器（或部分組件）用于極致性能調(diào)優(yōu)

3編程接口和編程模型是否與主流異構(gòu)計算生態(tài)兼容或可類比

8

T/CESAXXXX—202X

附錄A

（規(guī)范性）

算子參數(shù)配置

A.1算子性能評測配置參數(shù)

算子性能評測中所有測試算子以及相應的輸入配置參數(shù)列如以下：

a)GEMM

GEMM算子的定義請參見ONNX-Operator-Gemm，測試中參數(shù)M、N、K的取值如下表所示。參數(shù)(transA,

transB)分別取(N,N)、(N,T)、(T,N)和(T,T)，參數(shù)C為大小為(M,N)且值隨機生成的矩陣，

參數(shù)、取默認值。綜合上述參數(shù)配置項，最終測試配置項數(shù)為224=56*4。

表A.1GEMM測試輸入?yún)?shù)配置

序號MNK序號MNK

1816322964164096

281283230641284096

38102432316410244096

48768032326476804096

58162563320481632

6812825634204812832

781024256352048102432

887680256362048768032

9816153637204816256

1081281536382048128256

118102415363920481024256

128768015364020487680256

138164096412048161536

14812840964220481281536

1581024409643204810241536

1687680409644204876801536

17641632452048164096

1864128324620481284096

196410243247204810244096

206476803248204876804096

21641625649176065741760

2264128256503584672048

23641024256517680162560

24647680256526144322816

256416153653512161024

26641281536543072128512

2764102415365525610244096

2864768015365651232512

b)Conv2d

9

T/CESAXXXX—202X

表A.2Conv2d測試輸入?yún)?shù)配置

序號WHCNKSRpad_wpad_hs_hs_v

12242243864331111

2112112648128331111

356561288256331111

428282568512331111

514145128512331111

6775128512331111

722422433264331111

81121126432128331111

9565612832256331111

10282825632512331111

11141451232512331111

127751232512331111

13224224325664331111

1411211264256128331111

155656128256256331111

162828256256512331111

171414512256512331111

1877512256512331111

1922422433264773322

2028281923232552211

2128281923264110011

2214145123248552211

23141451232192110011

247783232256110011

257783232128552211

26224224351264773322

27282819251232552211

28282819251264110011

29141451251248552211

301414512512192110011

3177832512256110011

3277832512128552211

334804811616331111

3424024161632331111

3512012321664331111

366066416128331111

371081083864331122

38545464864331111

3927271288128331111

10

T/CESAXXXX—202X

4014141288256331111

41772568512331111

425656641664331111

4356566416256110022

44282812816128331111

45282812816512110022

46141425616256331111

471414256161024110022

487751216512110011

4977204816512113322

5056566451264331111

51565664512256110022

522828128512128331111

532828128512512110022

541414256512256331111

5514142565121024110022

5677512512512110011

57772048512512113322

5811211264864110011

595656648256110011

601121126412864110011

61565664128256110011

621121126451264110011

63565664512256110011

11

T/CESAXXXX—202X

附錄B

（規(guī)范性）

算子及模型列表

B.1算子列表

表B.1算子列表

序號算子列表

1conv1d,conv2d,conv3d,batch_norm,relu,max_pool1d,max_pool2d,max_pool3d,conv_transpose1d,

conv_transpose2d,conv_transpose3d,softmax,softmin,cross_entropy,binarky_cross_entropy,

dropout,select,randperm,mm,bmm,matmul,max,min,mean,add,sub,sum,div,mul,eq,gt,topk,

stack,cat,split,sort,fill,arange,reshape,scatter,nonzero,layer_norm,interpolate,sigmoid,

avg_pool1d,avg_pool2d,avg_pool3d,flatten,unsqueeze,squeeze,SGD,sin,cos,sinh,cosh,log,

log2,exp,exp2,sqrt,fmod,sign,pow,neg,abs,floor,index_select,masked_select,permute,where,

clamp,repeat,transpose,leaky_relu,prelu,log_softmax,instance_norm,Adam,Nms,RoiAlign,

SyncBatchNorm,GlobalMaxPool,GlobalAveragePool,adaptive_avg_pool1d,adaptive_avg_pool2d,

adaptive_avg_pool3d,adaptive_max_pool1d,adaptive_max_pool2d,adaptive_max_pool3d,…

B.2長尾算子列表

表B.2長尾算子列表

序號算子序號算子

1bbox2delta21Fcos_matcher

2bbox_overlaps22Index2d

3Delta2bbox23Intersect

4Compute_locations24Jaccard

5Batched_nms25Legacy_bbox2delta

6Bbox2roi26Margin_loss

7Bbox2offset27Mask_predictor

8L2_loss28Masks_to_boxes

9Aeloss29Offset2bbox

10Bmn_loss30Partialconv2d

11Box_area31Shift

12Box_iou32Random_sampler

13Boxes_for_nms33Sanitize_coordinates

14Bucket2bbox34Tblr2bbox

15Center_size35Valid_flags

16Centernet_keypoint36Position_embedding_sine

17Crop37Position_embedding_learned

12

T/CESAXXXX—202X

18Edge_smoothloss38Msms_clsf

19Focal_loss39Maxiou_matcher_match

20Gaussian_focal_loss40Map_roi_levels

B.3模型列表

表B.3模型列表

類別模型數(shù)據(jù)集權重

Resnet50_v1.5ImageNetILSVRC-2012

Inception_v3ImageNetILSVRC-2012

VGG16ImageNetILSVRC-2012

SE-Resnet50ImageNetILSVRC-2012

分類

MobileNet_v2ImageNetILSVRC-2012

ShuffleNet_v2ImageNetILSVRC-2012

DenseNet121ImageNetILSVRC-2012

SwinTransformer