《基于AI的多媒體內(nèi)容識(shí)別基本要求》

ICS35.020

L70

團(tuán)體標(biāo)準(zhǔn)

T/ISC0006—2020

基于AI的多媒體內(nèi)容識(shí)別基本要求

MultimediacontentrecognitionrequirementsbasedonAItechnology

2020-09-24發(fā)布2020-12-01實(shí)施

中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)發(fā)布

T/ISC0006—2020

基于AI的多媒體內(nèi)容識(shí)別基本要求

1范圍

本文件給出了基于AI的多媒體內(nèi)容識(shí)別的技術(shù)框架和基本要求，包括不限于多媒體視覺(jué)技術(shù)、多媒

體內(nèi)容文字識(shí)別技術(shù)、多媒體語(yǔ)義理解技術(shù)等，在語(yǔ)音、視頻、圖片、NLP等多媒體內(nèi)容上的檢索識(shí)別

能力，以及多媒體內(nèi)容識(shí)別中的數(shù)據(jù)安全能力要求。

本文件適用于互聯(lián)網(wǎng)企業(yè)、政府、科研單位開(kāi)展基于AI的多媒體內(nèi)容識(shí)別的設(shè)計(jì)、開(kāi)發(fā)、應(yīng)用等方

面的指導(dǎo)和參考。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T35273—2020個(gè)人信息安全規(guī)范

3術(shù)語(yǔ)和定義

下列術(shù)語(yǔ)和定義適用于本文件。

3.1

惡意信息maliciousinformation

指國(guó)家相關(guān)法律法規(guī)中規(guī)定的，以及根據(jù)具體業(yè)務(wù)場(chǎng)景不同而對(duì)業(yè)務(wù)有負(fù)面影響的信息。

4縮略語(yǔ)

以下縮略語(yǔ)適用于本文件：

AI人工智能(ArtificialIntelligence)

ASR自動(dòng)語(yǔ)音識(shí)別（AutomaticSpeechRecognition）

NLP神經(jīng)語(yǔ)言程序?qū)W(Neuro-linguisticprogramming)

OCR光學(xué)字符識(shí)別（OpticalCharacterRecognition）

5概述

本標(biāo)準(zhǔn)給出了多媒體內(nèi)容識(shí)別的基本技術(shù)架構(gòu)，包括:圖片識(shí)別、文本識(shí)別、視頻識(shí)別，以及與數(shù)

據(jù)標(biāo)注系統(tǒng)的接口等。多媒體內(nèi)容識(shí)別基本技術(shù)架構(gòu)見(jiàn)圖1。

1

T/ISC0006—2020

圖1多媒體內(nèi)容識(shí)別技術(shù)架構(gòu)

圖片識(shí)別方面，通過(guò)圖片分類(lèi)對(duì)干擾圖片進(jìn)行過(guò)濾、對(duì)圖片進(jìn)行初步分類(lèi)，再將內(nèi)容送入相應(yīng)的識(shí)

別模塊，如OCR識(shí)別、頭像識(shí)別、主動(dòng)內(nèi)容識(shí)別等。

文本識(shí)別方面，通過(guò)文本抗干擾進(jìn)行過(guò)濾，過(guò)濾、替換干擾內(nèi)容，再將內(nèi)容送入相應(yīng)的識(shí)別模塊中，

如關(guān)鍵詞、文本主動(dòng)識(shí)別、情感分類(lèi)等。

音頻識(shí)別方面，通過(guò)音頻ASR、音頻喚醒、說(shuō)話人識(shí)別、語(yǔ)種檢測(cè)翻譯等模型，識(shí)別特征明顯的音

頻樣本，再將不易識(shí)別樣本通過(guò)核心主動(dòng)識(shí)別模型進(jìn)行識(shí)別。

視頻識(shí)別方面，通過(guò)截幀、抽取音頻流、抽取文字流的方式，通過(guò)對(duì)視頻中的圖片、文本、音頻內(nèi)

容的識(shí)別得到對(duì)視頻進(jìn)行識(shí)別的綜合結(jié)果。

6基于AI的多媒體內(nèi)容識(shí)別技術(shù)要求

6.1圖片識(shí)別

6.1.1初篩圖片分類(lèi)

初篩圖片分類(lèi)，是將圖片按照不同的類(lèi)別進(jìn)行初步分類(lèi)的算法模型。分類(lèi)方法包括，但不限于：

——按照內(nèi)容排版分類(lèi)：圖文混合類(lèi)、純文本類(lèi)圖片、拼圖類(lèi)圖片等；

——按照內(nèi)容分類(lèi)：色情類(lèi)圖片、暴力類(lèi)圖片、低俗類(lèi)圖片等；

——按照類(lèi)型分類(lèi)：漫畫(huà)類(lèi)圖片、場(chǎng)景類(lèi)圖片、人群類(lèi)圖片、物品類(lèi)圖片等。

技術(shù)要求如下：

a)應(yīng)支持多種格式的圖片的讀??；

b)應(yīng)具有圖片旋轉(zhuǎn)、縮放的魯棒性，不會(huì)因?yàn)閳D片的旋轉(zhuǎn)、縮放導(dǎo)致算法結(jié)果有較大差異；

c)應(yīng)支持基于多維度的圖片初步分類(lèi)模型；

d)應(yīng)支持圖片分類(lèi)類(lèi)別的擴(kuò)展；

e)應(yīng)對(duì)干擾因素具有一定的魯棒性，例如干擾線、噪點(diǎn)、局部馬賽克等；

2

T/ISC0006—2020

f)應(yīng)提供訓(xùn)練圖片模型的接口，進(jìn)行圖片標(biāo)注和訓(xùn)練；

g)應(yīng)提供低延遲、高并發(fā)的模型算法；

h)應(yīng)能發(fā)現(xiàn)并識(shí)別諸如信息隱寫(xiě)、圖床等信息藏匿技術(shù)藏匿的信息。

6.1.2OCR識(shí)別

OCR識(shí)別是對(duì)圖片進(jìn)行文字識(shí)別，為惡意信息識(shí)別提供最準(zhǔn)確的文字內(nèi)容。技術(shù)要求如下：

a)適應(yīng)多種業(yè)務(wù)場(chǎng)景的圖片文字分布；應(yīng)具備各種方向旋轉(zhuǎn)體的圖片OCR識(shí)別能力；

b)多圖文本行混合，具備分級(jí)批識(shí)別能力；

c)應(yīng)支持對(duì)各種文字變體，如宋體、幼圓、黑體等計(jì)算機(jī)字體或手寫(xiě)字體的識(shí)別能力；

d)應(yīng)支持對(duì)不同大小字體的識(shí)別能力；

e)應(yīng)對(duì)干擾因素具有一定的魯棒性，例如復(fù)雜背景、干擾線、噪點(diǎn)等；

f)應(yīng)提供訓(xùn)練、標(biāo)注圖片模型的接口，進(jìn)行圖片標(biāo)注和訓(xùn)練。

6.1.3頭像識(shí)別

頭像識(shí)別是為業(yè)務(wù)場(chǎng)景的圖片提供敏感人物識(shí)別，技術(shù)要求如下：

a)具備敏感人物的人臉識(shí)別能力，并可以識(shí)別PS或者帶裝飾品（口罩或墨鏡等）人臉、側(cè)臉、人

臉以及模糊人臉等各種類(lèi)型；

b)可以共享識(shí)別網(wǎng)絡(luò)底層參數(shù)，并使用獨(dú)立分支的參數(shù)進(jìn)行特定人物的分類(lèi)識(shí)別；

c)應(yīng)對(duì)干擾因素具有一定的魯棒性，例如漫畫(huà)人臉、模糊圖片等；

d)應(yīng)提供敏感人物模型的運(yùn)營(yíng)接口，支持敏感人物的增加、刪除、更新、查詢(xún)能力，進(jìn)行敏感人

物模型的訓(xùn)練、更新、優(yōu)化。

6.1.4主動(dòng)內(nèi)容識(shí)別

主動(dòng)識(shí)別是指根據(jù)具有惡意目的業(yè)務(wù)的特性，將業(yè)務(wù)分類(lèi)細(xì)化，在不同業(yè)務(wù)場(chǎng)景下，對(duì)不同的分類(lèi)

做不同的處理。技術(shù)要求如下：

a)應(yīng)具備識(shí)別不同類(lèi)型惡意內(nèi)容的能力,包括不限于：色情類(lèi)圖片、暴力類(lèi)圖片、血腥類(lèi)圖片、

違法違禁商品類(lèi)圖片；

b)具備基于多維度模型的擴(kuò)展能力，可以整合多個(gè)模型提供統(tǒng)一的識(shí)別結(jié)果；

c)應(yīng)具備相似樣本的識(shí)別能力，能夠基于已經(jīng)發(fā)現(xiàn)的樣本圖片，識(shí)別相似或相近的內(nèi)容的能力；

d)對(duì)干擾因素具有一定的魯棒性，例如拼圖圖片、局部馬賽克圖片等；

e)應(yīng)提供訓(xùn)練圖片模型的接口，進(jìn)行圖片標(biāo)注和訓(xùn)練。

6.2文本識(shí)別

6.2.1抗干擾模型

文本預(yù)處理模型是針對(duì)文本中的對(duì)抗文字進(jìn)行預(yù)處理、過(guò)濾的基礎(chǔ)模型，技術(shù)要求如下：

a)應(yīng)具備識(shí)別不同類(lèi)型的干擾文本的能力,包括不限于：拆分組合字替換、同音字識(shí)別替換、同

義詞替換、象形字替換、干擾符替換、表情符替換、特殊字符替換等能力；

b)應(yīng)具備對(duì)不同字符編碼的處理能力，可將不同的字符編碼轉(zhuǎn)換成統(tǒng)一的字符編碼；

c)應(yīng)具備模型擴(kuò)展能力，可以針對(duì)不同類(lèi)別的字符進(jìn)行替換、過(guò)濾；

d)應(yīng)提供文字樣本擴(kuò)展的接口，進(jìn)行文字樣本的增加、修改、刪除、查詢(xún)能力；

e)應(yīng)支持發(fā)現(xiàn)不在已知范圍內(nèi)的新詞識(shí)別，例如：互聯(lián)網(wǎng)流行語(yǔ)言、小眾群體黑話等。

6.2.2關(guān)鍵詞識(shí)別

3

T/ISC0006—2020

關(guān)鍵詞模型是基于關(guān)鍵詞進(jìn)行文本內(nèi)容識(shí)別的基礎(chǔ)模型，技術(shù)要求如下：

a)應(yīng)具備多關(guān)鍵詞的匹配、反匹配、多重組合等能力；

b)應(yīng)具備按照不同類(lèi)別、不同業(yè)務(wù)進(jìn)行關(guān)鍵詞分庫(kù)查詢(xún)匹配的能力；

c)應(yīng)具備多級(jí)詞庫(kù)匹配的能力，例如：提供通用詞庫(kù)、業(yè)務(wù)詞庫(kù)等詞庫(kù)的組合查詢(xún)。同時(shí)也應(yīng)具

備多級(jí)詞庫(kù)的管理能力；

d)應(yīng)具備關(guān)鍵詞的增加、刪除、查找、更新能力，進(jìn)行關(guān)鍵詞的運(yùn)營(yíng)。

6.2.3文本主動(dòng)識(shí)別

文本主動(dòng)識(shí)別模型是基于文本語(yǔ)義，對(duì)文本內(nèi)容進(jìn)行識(shí)別的模型，技術(shù)要求如下：

a)應(yīng)具備基于文本語(yǔ)義進(jìn)行文本內(nèi)容識(shí)別的能力，包括不限于：色情類(lèi)文本、違法類(lèi)文本、暴力

恐怖類(lèi)文本、涉政類(lèi)文本、謠言類(lèi)文本、辱罵類(lèi)文本、廣告引流類(lèi)文本的識(shí)別能力；

b)應(yīng)具基于多維度模型的擴(kuò)展能力，可以整合多個(gè)模型提供統(tǒng)一的識(shí)別結(jié)果；

c)應(yīng)具備相似樣本的識(shí)別能力，能夠基于已經(jīng)發(fā)現(xiàn)的段落樣本，識(shí)別相似或相近的內(nèi)容的能力；

d)應(yīng)提供文本樣本擴(kuò)展的接口，進(jìn)行文字樣本的增加、修改、刪除、查詢(xún)能力。

6.2.4情感分類(lèi)

情感分類(lèi)是基于文本語(yǔ)義，對(duì)文本描述的主觀情緒進(jìn)行分析識(shí)別的模型，技術(shù)要求如下：

a)應(yīng)具備基于文本語(yǔ)義進(jìn)行基本情緒識(shí)別的能力，包括不限于：正面類(lèi)情緒、負(fù)面類(lèi)情緒、中性

類(lèi)情緒的識(shí)別；

b)應(yīng)具備基于多維度模型的擴(kuò)展能力，可以整合多個(gè)模型提供統(tǒng)一的識(shí)別結(jié)果；

c)應(yīng)提供語(yǔ)料庫(kù)擴(kuò)展的接口，進(jìn)行語(yǔ)料樣本的增加、修改、刪除、查詢(xún)能力。

6.3音頻識(shí)別

6.3.1說(shuō)話人識(shí)別

說(shuō)話人識(shí)別，是生物特征識(shí)別技術(shù)的一種，指利用人的發(fā)聲特征進(jìn)行身份鑒定的技術(shù)，因此也被成

為“聲紋識(shí)別”，用于識(shí)別特定人群的語(yǔ)音信息。技術(shù)要求如下：

a)應(yīng)具備基于聲紋信息，識(shí)別具體說(shuō)話人的能力；

b)應(yīng)具基于多維度模型的擴(kuò)展能力，可以整合多個(gè)模型提供統(tǒng)一的識(shí)別結(jié)果；

c)應(yīng)具備基于已有添加的說(shuō)話人語(yǔ)料庫(kù)樣本識(shí)別同一說(shuō)話人所說(shuō)語(yǔ)音的識(shí)別能力；

d)應(yīng)提供語(yǔ)音語(yǔ)料樣本庫(kù)的擴(kuò)展接口，進(jìn)行語(yǔ)音語(yǔ)料庫(kù)的增加、修改、刪除、查詢(xún)能力；

e)應(yīng)對(duì)干擾因素具有一定的魯棒性，例如干擾背景音樂(lè)、遠(yuǎn)場(chǎng)說(shuō)話、耳語(yǔ)說(shuō)話等。

6.3.2語(yǔ)音關(guān)鍵詞喚醒

語(yǔ)音關(guān)鍵詞喚醒通常指設(shè)備在休眠狀態(tài)下，使用預(yù)定義關(guān)鍵詞喚醒設(shè)備從而進(jìn)行操作的過(guò)程。在音

頻識(shí)別領(lǐng)域中，將語(yǔ)音喚醒技術(shù)應(yīng)用在互聯(lián)網(wǎng)音視頻關(guān)鍵詞的檢測(cè)中。技術(shù)要求如下：

a)應(yīng)具備語(yǔ)音關(guān)鍵詞的匹配能力；

b)應(yīng)具備按照不同類(lèi)別、不同業(yè)務(wù)進(jìn)行關(guān)鍵詞分庫(kù)匹配的能力；

c)應(yīng)具備多級(jí)詞庫(kù)的組合匹配的能力，包括多級(jí)詞庫(kù)的管理能力；

d)應(yīng)具備相應(yīng)關(guān)鍵詞的增加、刪除、查找、更新能力，并開(kāi)展關(guān)鍵詞運(yùn)營(yíng)；

e)應(yīng)對(duì)干擾因素具有一定的魯棒性，例如干擾背景音樂(lè)等。

6.3.3語(yǔ)種檢測(cè)/翻譯

4

T/ISC0006—2020

語(yǔ)種檢測(cè)/翻譯是指檢測(cè)不同語(yǔ)種的內(nèi)容，將語(yǔ)音內(nèi)容翻譯為固定的某種語(yǔ)言以便后續(xù)進(jìn)行識(shí)別的

能力。

a)應(yīng)具備多個(gè)語(yǔ)種的檢測(cè)、翻譯能力，包括不限于：英語(yǔ)、維語(yǔ)、藏語(yǔ)等預(yù)言；

b)應(yīng)對(duì)干擾因素具有一定的魯棒性，例如干擾背景音樂(lè)等；

c)應(yīng)提供語(yǔ)料訓(xùn)練的接口，進(jìn)行語(yǔ)料樣本的標(biāo)注、訓(xùn)練，以及對(duì)模型的優(yōu)化。

6.3.4ASR喚醒

語(yǔ)音ASR是指將輸入的語(yǔ)音信息，輸出轉(zhuǎn)換成可閱讀的文字的算法模型。技術(shù)要求如下：

a)應(yīng)具備對(duì)特定語(yǔ)種的文字轉(zhuǎn)換能力。包括不限于漢語(yǔ)；

b)應(yīng)對(duì)干擾因素具有一定的魯棒性，例如干擾背景音樂(lè)、耳語(yǔ)、遠(yuǎn)場(chǎng)說(shuō)話等；

c)應(yīng)具備對(duì)識(shí)別內(nèi)容進(jìn)行語(yǔ)義修正的能力，即通過(guò)上下文關(guān)聯(lián)性，對(duì)識(shí)別的文本內(nèi)容進(jìn)行修正，

選擇正確的同音字、同音詞的能力；

d)應(yīng)提供語(yǔ)料訓(xùn)練的接口，進(jìn)行語(yǔ)料樣本的標(biāo)注、訓(xùn)練，以及對(duì)模型的優(yōu)化。

6.3.5音頻主動(dòng)識(shí)別

音頻主動(dòng)識(shí)別是指將輸入的語(yǔ)音信息，不經(jīng)過(guò)文字轉(zhuǎn)換就可進(jìn)行識(shí)別分類(lèi)的模型。技術(shù)要求如下：

a)應(yīng)具備基于音頻信息進(jìn)行音頻主動(dòng)識(shí)別的能力，包括不限于嬌喘類(lèi)音頻、色情類(lèi)音頻、政治類(lèi)

音頻等。

b)應(yīng)具基于多維度模型的擴(kuò)展能力，可以整合多個(gè)模型提供統(tǒng)一的識(shí)別結(jié)果。

c)應(yīng)具備相似樣本的識(shí)別能力，能夠基于已經(jīng)發(fā)現(xiàn)的音頻段落樣本，識(shí)別相似或相近的內(nèi)容的能

力。

d)應(yīng)提供語(yǔ)料訓(xùn)練的接口，進(jìn)行語(yǔ)料樣本的標(biāo)注、訓(xùn)練，以及對(duì)模型的優(yōu)化。

e)應(yīng)對(duì)干擾因素具有一定的魯棒性，例如干擾背景音樂(lè)、遠(yuǎn)場(chǎng)說(shuō)話、錄制聲音、音頻偽裝等。

7標(biāo)注數(shù)據(jù)更新接口

7.1數(shù)據(jù)增刪改查接口

數(shù)據(jù)標(biāo)注更新接口，是經(jīng)過(guò)人工審核將標(biāo)注好的樣本和標(biāo)注樣本庫(kù)進(jìn)行交互的一系列接口，用于對(duì)

標(biāo)注樣本庫(kù)進(jìn)行操作。技術(shù)要求如下：

a)應(yīng)具備增加、刪除、查找、修改已經(jīng)標(biāo)注的音頻、視頻、圖片、文本、文件、鏈接圖文綜合媒

體等樣本及其附屬信息的能力。

b)應(yīng)具備批量進(jìn)行增加、刪除、修改、查詢(xún)的功能。

c)應(yīng)具備相應(yīng)的日志記錄功能。

d)應(yīng)具備相應(yīng)的人員權(quán)限管理功能。

e)應(yīng)具備自動(dòng)去重能力，當(dāng)發(fā)現(xiàn)樣本庫(kù)樣本相似性較高的情況下，可以標(biāo)記或提醒添加人注意相

關(guān)

樣本的添加。

7.2數(shù)據(jù)多租戶(hù)接口

數(shù)據(jù)的多租戶(hù)接口是對(duì)于標(biāo)注樣本庫(kù)，支持生成多個(gè)樣本庫(kù)，并可對(duì)多個(gè)樣本庫(kù)進(jìn)行操作的接口。

技術(shù)要求如下：

5

T/ISC0006—2020

a)應(yīng)具備增加、刪除、查找、修改某一個(gè)音頻、視頻、圖片、文本、文件、鏈接圖文綜合媒體等

樣本的樣本庫(kù)及其附屬信息的能力；

b)樣本庫(kù)中的樣本應(yīng)可獨(dú)立運(yùn)營(yíng)，不受其他樣本庫(kù)的干擾。包括不限于其他樣本庫(kù)中樣本的增加、

刪除、修改，以及其他樣本庫(kù)的增加、刪除、修改；

c)同一個(gè)或相近似的樣本，應(yīng)支持存在于一個(gè)或多個(gè)的樣本庫(kù)中；

d)樣本庫(kù)應(yīng)該支持對(duì)多租戶(hù)生成權(quán)限不重疊的樣本庫(kù)。

8基于AI的多媒體內(nèi)容識(shí)別的數(shù)據(jù)安全

8.1數(shù)據(jù)采集

數(shù)據(jù)采集環(huán)節(jié)指數(shù)據(jù)獲取和創(chuàng)建過(guò)程。要求如下：

a)應(yīng)告知用戶(hù)被收集的數(shù)據(jù)類(lèi)型、使用目的，并獲得用戶(hù)授權(quán)許可；

b)應(yīng)經(jīng)用戶(hù)同意，采集用戶(hù)個(gè)人信息，不應(yīng)欺詐、誘騙、強(qiáng)迫個(gè)人提供信息。

8.2數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)存儲(chǔ)環(huán)節(jié)指將數(shù)據(jù)持久保存在系統(tǒng)中，數(shù)據(jù)存儲(chǔ)應(yīng)采取必要的安全措施，確保數(shù)據(jù)存儲(chǔ)系統(tǒng)安

全及數(shù)據(jù)自身安全，要求包括不限于:

a)應(yīng)及時(shí)安裝更新或補(bǔ)??；

b)應(yīng)管理移動(dòng)介質(zhì)和移動(dòng)辦公設(shè)備；

c)應(yīng)管理數(shù)據(jù)的訪問(wèn)權(quán)限，按照數(shù)據(jù)的重要性、敏感性等因素進(jìn)行相應(yīng)的賬號(hào)管理和權(quán)限分配；

d)應(yīng)對(duì)于重要或敏感數(shù)據(jù)加密存儲(chǔ)、重要數(shù)據(jù)進(jìn)行備份。

8.3數(shù)據(jù)傳輸

數(shù)據(jù)傳輸環(huán)節(jié)指數(shù)據(jù)在組織內(nèi)外部的流轉(zhuǎn)過(guò)程，應(yīng)確保以下安全措施：

a)應(yīng)確保數(shù)據(jù)傳輸鏈路安全采用加密傳輸技術(shù)或協(xié)議；

b)應(yīng)設(shè)置數(shù)據(jù)傳輸冗余鏈路。

8.4數(shù)據(jù)加工