GB/T 42382.1-2023信息技術(shù)神經(jīng)網(wǎng)絡(luò)表示與模型壓縮第1部分：卷積神經(jīng)網(wǎng)絡(luò)

ICS35040

CCSL.71

中華人民共和國(guó)國(guó)家標(biāo)準(zhǔn)

GB/T423821—2023

.

信息技術(shù)神經(jīng)網(wǎng)絡(luò)表示與模型壓縮

第1部分卷積神經(jīng)網(wǎng)絡(luò)

:

Informationtechnology—Neuralnetworkrepresentationandmodelcompression—

Part1Convolutionalneuralnetwork

:

2023-03-17發(fā)布2023-10-01實(shí)施

國(guó)家市場(chǎng)監(jiān)督管理總局發(fā)布

國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)

GB/T423821—2023

.

目次

前言

…………………………Ⅲ

引言

…………………………Ⅳ

范圍

1………………………1

規(guī)范性引用文件

2…………………………1

術(shù)語(yǔ)和定義

3………………1

縮略語(yǔ)

4……………………4

約定

5………………………4

規(guī)則

5.1…………………4

算術(shù)運(yùn)算符

5.2…………………………4

邏輯運(yùn)算符

5.3…………………………5

關(guān)系運(yùn)算符

5.4…………………………5

位運(yùn)算符

5.5……………5

賦值

5.6…………………5

數(shù)學(xué)函數(shù)

5.7……………6

結(jié)構(gòu)關(guān)系符

5.8…………………………7

解析過程和解碼過程的描述方法

5.9…………………7

神經(jīng)網(wǎng)絡(luò)模型的語(yǔ)法和語(yǔ)義

6……………7

數(shù)據(jù)結(jié)構(gòu)

6.1……………7

語(yǔ)法描述

6.2……………9

語(yǔ)義描述

6.3……………15

壓縮過程

7…………………75

多模型

7.1………………75

量化

7.2…………………80

剪枝

7.3………………102

結(jié)構(gòu)化矩陣

7.4………………………105

解壓過程解碼表示

8()…………………112

多模型

8.1……………112

反量化

8.2……………118

反稀疏化反剪枝操作

8.3/……………128

結(jié)構(gòu)化矩陣

8.4………………………131

數(shù)據(jù)生成方法

9…………………………138

定義

9.1………………138

訓(xùn)練數(shù)據(jù)生成方法

9.2………………139

多模型

9.3……………145

量化

9.4………………150

剪枝

9.5………………169

Ⅰ

GB/T423821—2023

.

結(jié)構(gòu)化矩陣

9.6………………………176

編解碼表示

10……………184

神經(jīng)網(wǎng)絡(luò)模型權(quán)重壓縮位流的語(yǔ)法和語(yǔ)義

10.1……………………184

權(quán)重壓縮位流的語(yǔ)法描述

10.2………………………189

權(quán)重壓縮位流的語(yǔ)義描述

10.3………………………212

權(quán)重壓縮位流解析過程

10.4…………222

權(quán)重壓縮位流解碼

10.5………………233

模型保護(hù)

11………………241

模型保護(hù)定義

11.1……………………241

模型加密過程

11.2……………………242

模型解密過程

11.3……………………243

密文模型數(shù)據(jù)結(jié)構(gòu)定義

11.4…………245

附錄資料性專利列表

A()……………246

參考文獻(xiàn)

……………………247

Ⅱ

GB/T423821—2023

.

前言

本文件按照標(biāo)準(zhǔn)化工作導(dǎo)則第部分標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則的規(guī)定

GB/T1.1—2020《1:》

起草

。

本文件是信息技術(shù)神經(jīng)網(wǎng)絡(luò)表示與模型壓縮的第部分已經(jīng)發(fā)

GB/T42382《》1。GB/T42382

布了以下部分

:

第部分卷積神經(jīng)網(wǎng)絡(luò)

———1:。

本文件由全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)提出并歸口

(SAC/TC28)。

本文件起草單位北京大學(xué)鵬城實(shí)驗(yàn)室深圳市海思半導(dǎo)體有限公司賽靈思電子科技北京有限

:、、、()

公司杭州?？低晹?shù)字技術(shù)股份有限公司北京百度網(wǎng)訊科技有限公司深圳市騰訊計(jì)算機(jī)系統(tǒng)有限

、、、

公司華為技術(shù)有限公司廈門大學(xué)中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院中國(guó)科學(xué)院自動(dòng)化研究所浙江大學(xué)

、、、、、、

中國(guó)科學(xué)技術(shù)大學(xué)上海交通大學(xué)清華大學(xué)中關(guān)村視聽產(chǎn)業(yè)技術(shù)創(chuàng)新聯(lián)盟

、、、。

本文件主要起草人田永鴻楊帆紀(jì)榮嶸單弈陳光耀燕肇一鄭俠武浦世亮譚文明李哲暘

:、、、、、、、、、、

彭博鐘剛趙恒銳段文鴻胡浩基李翔駱陽(yáng)王煒許奕星李慧霞林紹輝王培松趙依胡曉光

、、、、、、、、、、、、、、

鄭輝煌蔣佳軍馬金成程健江帆朱文武汪小娟高文黃鐵軍趙海英馬珊珊

、、、、、、、、、、。

Ⅲ

GB/T423821—2023

.

引言

神經(jīng)網(wǎng)絡(luò)的表示和模型壓縮是人工智能技術(shù)體系的重要組成部分是國(guó)民經(jīng)濟(jì)各行業(yè)應(yīng)用人工智

,

能的前提然而多源算法平臺(tái)不能協(xié)同工作模型不可以相互轉(zhuǎn)換制約了人工智能技術(shù)的傳播和應(yīng)

。,,,

用為了保證人工智能技術(shù)的跨平臺(tái)可操作性提升模型復(fù)用效果本標(biāo)準(zhǔn)將對(duì)神經(jīng)網(wǎng)絡(luò)的表示和模型

。,,

壓縮進(jìn)行規(guī)范帶動(dòng)人工智能產(chǎn)業(yè)的健康快速發(fā)展旨在確立適用于卷積神經(jīng)網(wǎng)絡(luò)大

,、。GB/T42382、

規(guī)模預(yù)訓(xùn)練網(wǎng)絡(luò)及圖神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)表示與模型壓縮的規(guī)范擬由三個(gè)部分組成

,:

第部分卷積神經(jīng)網(wǎng)絡(luò)目的在于確立適用于卷積神經(jīng)網(wǎng)絡(luò)的表示與模型壓縮標(biāo)準(zhǔn)

———1:。。

第部分大規(guī)模預(yù)訓(xùn)練模型目的在于確立適用于大規(guī)模預(yù)訓(xùn)練網(wǎng)絡(luò)的模型表示模型壓縮

———2:。、

及模型傳輸標(biāo)準(zhǔn)

。

第部分圖神經(jīng)網(wǎng)絡(luò)目的在于確立圖數(shù)據(jù)和圖神經(jīng)網(wǎng)絡(luò)表示確定圖神經(jīng)網(wǎng)絡(luò)模型的編碼

———3:。,

格式標(biāo)準(zhǔn)

。

本文件的發(fā)布機(jī)構(gòu)提請(qǐng)注意聲明符合本文件時(shí)可能涉及到與神經(jīng)網(wǎng)絡(luò)表示標(biāo)

,,6、7、8、9、10、11《

準(zhǔn)框架結(jié)構(gòu)專利號(hào)與基于神經(jīng)網(wǎng)絡(luò)差分的量化方法及系統(tǒng)

》(:201810575097.7);7.1.4、8.1.3、9.3.2《》

專利號(hào)與一種基于參數(shù)范數(shù)的神經(jīng)網(wǎng)絡(luò)量化方法專利號(hào)

(:201910478617.7);7.2、8.2、9.4《》(:

與一種神經(jīng)網(wǎng)絡(luò)計(jì)算方法和裝置專利號(hào)

201810387893.8);7.4.2、8.4.2、9.6.2《》(:PCT/CN2018/

與一種神經(jīng)網(wǎng)絡(luò)模型數(shù)據(jù)處理方法及處理裝置專利號(hào)

101598);7.1.3、8.1.2、9.3.1《、》(:PCT/CN2019/

一種神經(jīng)網(wǎng)絡(luò)模型數(shù)據(jù)處理方法及處理裝置專利號(hào)

085885)、《、》(:201810464380.2);、、8.

與

2.3.3、、、《NeuralNetworkQuantizationMethodusingMultipleRefinedQuan-

專利號(hào)與圖像

tizedKernelsforConstrainedHardwareDeployment》(:PCT/EP2019/053161);9.2.2《

生成方法神經(jīng)網(wǎng)絡(luò)的壓縮方法及相關(guān)裝置設(shè)備專利號(hào)

、、》(:201910254752.3);、、

與模型訓(xùn)練方法裝置存儲(chǔ)介質(zhì)和程序產(chǎn)品專利號(hào)與神經(jīng)網(wǎng)絡(luò)

《、、》(:PCT/CN2019/129265);7.2、8.2《

模型和訓(xùn)練方法和裝置專利號(hào)神經(jīng)網(wǎng)絡(luò)模型的量化方法和裝置專利號(hào)

》(:CN202010144315.9)、《》(:

神經(jīng)網(wǎng)絡(luò)模型的量化方法和裝置專利號(hào)神經(jīng)網(wǎng)絡(luò)模

CN202010143782.X)、《》(:CN202010144339.4)、《

型壓縮方法以及裝置專利號(hào)與

》(:CN201610943049.X);6.2、6.3《DEEPLEARNINGPROCESSING

專利號(hào)

APPARATUSANDMETHOD,DEVICEANDSTORAGEMEDIUM》(:US17/017,600);7.

與

4、8.4《NEURALNETWORKDATAPROCESSINGAPPARATUS,METHODANDELEC-

專利號(hào)與基于多比特神經(jīng)網(wǎng)絡(luò)非線性量化的深度

TRONICDEVICE》(:US16/893,044);7.2、8.2、9.4《

神經(jīng)網(wǎng)絡(luò)壓縮方法專利號(hào)與一種基于結(jié)構(gòu)化剪枝的高效圖像分類

》(:201910722230.1);7.3、8.3、9.5《

方法專利號(hào)與一種基于增量正則化的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)化稀疏方法

》(:201910701012.X);7.3、8.3、9.5《》

專利號(hào)與一種模型數(shù)據(jù)的處理方法裝置及設(shè)備專利號(hào)

(:201910448309.X);11《、》(:201911230340.2);

與一種應(yīng)用有界線性整流單元的全整數(shù)神經(jīng)網(wǎng)絡(luò)系統(tǒng)專利號(hào)

、、《》(:

與基于張量分解的深度卷積神經(jīng)網(wǎng)絡(luò)的加速與壓縮方法專利號(hào)

2019104537988);7.4、8.4、9.6《》(:

相關(guān)專利的使用

201610387878.4)。

本文件的發(fā)布機(jī)構(gòu)對(duì)于該專利的真實(shí)性有效性和范圍無任何立場(chǎng)

、。

該專利持有人已向本文件的發(fā)布機(jī)構(gòu)承諾他愿意同任何申請(qǐng)人在合理且無歧視的條款和條件下

,,

就專利授權(quán)許可進(jìn)行談判該專利持有人的聲明已在本文件的發(fā)布機(jī)構(gòu)備案相關(guān)信息可以通過以下

。,

聯(lián)系方式獲得

:

專利持有人北京大學(xué)華為技術(shù)有限公司北京百度網(wǎng)訊科技有限公司廈門大學(xué)浙江大學(xué)趙恒

:、、、、、

銳中科院自動(dòng)化研究所

、

Ⅳ

GB/T423821—2023

.

地址北京市海淀區(qū)頤和園路號(hào)理科號(hào)樓室郵編北京市上地信息路號(hào)華為

:522604:100871;3

大廈郵編北京市海淀區(qū)上地十街號(hào)百度大廈郵編福建省廈門市思明區(qū)廈門大學(xué)

:100085;10:100085;

信息學(xué)院郵編浙江省杭州市西湖區(qū)浙大路號(hào)浙江大學(xué)玉泉校區(qū)郵編安徽省合肥

:361005;38:310000;

市蜀山區(qū)中國(guó)科學(xué)技術(shù)大學(xué)西區(qū)郵編北京市海淀區(qū)中關(guān)村東路號(hào)郵編

:230027;95:100190

聯(lián)系人黃鐵軍

:

通訊地址北京大學(xué)理科號(hào)樓室

:22641

電子郵件

:tjhuang@

電話

:+8610-62756172

請(qǐng)注意除上述專利外本文件的某些內(nèi)容仍可能涉及專利本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的

,。

責(zé)任

。

Ⅴ

GB/T423821—2023

.

信息技術(shù)神經(jīng)網(wǎng)絡(luò)表示與模型壓縮

第1部分卷積神經(jīng)網(wǎng)絡(luò)

:

1范圍

本文件規(guī)定了卷積神經(jīng)網(wǎng)絡(luò)離線模型的表示與壓縮過程

。

本文件適用于各種卷積神經(jīng)網(wǎng)絡(luò)模型的研制開發(fā)測(cè)試評(píng)估過程以及在端云領(lǐng)域的高效應(yīng)用

、、,。

注對(duì)于本文件規(guī)定的表示與模型壓縮方法不要求機(jī)器學(xué)習(xí)框架原生支持可以通過轉(zhuǎn)換工具包等形式支持

: