信息技術(shù) 人工智能 機(jī)器翻譯智能能力等級(jí)評(píng)估

ICS35.240在提交反饋意見(jiàn)時(shí)，請(qǐng)將您知道的相關(guān)專利連同

L70支持性文件一并附上

團(tuán)體標(biāo)準(zhǔn)

T/CESAXXXX—XXXX

信息技術(shù)人工智能機(jī)器翻譯智能能力等

級(jí)評(píng)估

Informationtechnology-Artificialintelligence-Intelligentabilityassessmentfor

machinetranslation

（征求意見(jiàn)稿）

XXXX-XX-XX發(fā)布XXXX-XX-XX實(shí)施

中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)發(fā)布

T/XXXXXXXX—XXXX

前??言

本部分按照GB/T1.1—2009給出的規(guī)則起草。

請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專利的責(zé)任。

本標(biāo)準(zhǔn)由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院提出并歸口。

本標(biāo)準(zhǔn)起草單位：

本標(biāo)準(zhǔn)主要起草人：

III

T/XXXXX—XXXX

信息技術(shù)人工智能機(jī)器翻譯智能能力等級(jí)評(píng)估

1范圍

本標(biāo)準(zhǔn)規(guī)定了機(jī)器翻譯智能能力等級(jí)評(píng)估中機(jī)器翻譯概念模型、機(jī)器翻譯系統(tǒng)模型、機(jī)器翻譯智能

能力指標(biāo)及計(jì)算方法、機(jī)器翻譯智能能力等級(jí)劃分和機(jī)器翻譯智能能力等級(jí)評(píng)估要求。

本標(biāo)準(zhǔn)適用于機(jī)器翻譯系統(tǒng)的產(chǎn)品和服務(wù)的智能能力等級(jí)劃分與評(píng)估。

2規(guī)范性引用文件

下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

GB/T19682-2005翻譯服務(wù)譯文質(zhì)量要求

ISO18587:2017翻譯服務(wù)-機(jī)器翻譯輸出的后編輯-要求（Translationservices——

Post-editingofmachinetranslationoutput——Requirements）

3術(shù)語(yǔ)和定義

3.1

機(jī)器翻譯machinetranslation,MT

使用計(jì)算機(jī)應(yīng)用將文本從一種自然語(yǔ)言自動(dòng)翻譯成另一種自然語(yǔ)言。

[ISO18587:2017，定義3.1.1]

3.2

機(jī)器翻譯系統(tǒng)machinetranslationsystem

用于實(shí)現(xiàn)機(jī)器翻譯的技術(shù)。

[ISO18587:2017，定義3.1.3]

3.3

內(nèi)容content

任意形式的信息。

示例：文本，音頻，圖像，視頻等。

注：改寫ISO18587:2017，定義3.2.1

3.4

源語(yǔ)言sourcelanguage

將要被翻譯的包含內(nèi)容的語(yǔ)言。

1

T/XXXXX—XXXX

[ISO18587:2017，定義3.2.2]

3.5

源語(yǔ)言內(nèi)容sourcelanguagecontent

將要被翻譯的語(yǔ)言內(nèi)容。

[ISO18587:2017，定義3.2.3]

3.6

目標(biāo)語(yǔ)言targetlanguage

源語(yǔ)言內(nèi)容被翻譯成的語(yǔ)言。

[ISO18587:2017，定義3.2.4]

3.7

目標(biāo)語(yǔ)言內(nèi)容targetlanguagecontent

從源語(yǔ)言內(nèi)容翻譯而來(lái)的語(yǔ)言內(nèi)容。

[ISO18587:2017，定義3.2.5]

3.8

自然語(yǔ)言naturallanguage,NL

起源不明，但作為人類交流習(xí)慣的方式，不斷發(fā)展并不時(shí)出現(xiàn)特殊用法的語(yǔ)言。

[ISO18587:2017，定義3.2.7]

3.9

翻譯translation

使源語(yǔ)言內(nèi)容變成目標(biāo)語(yǔ)言內(nèi)容的一系列過(guò)程集合。

[ISO18587:2017，定義3.4.2]

4縮略語(yǔ)

下列縮略語(yǔ)適用于本文件。

MTIAS：機(jī)器翻譯智能能力得分（MachineTranslationIntelligentAbilityScore）

NLP：自然語(yǔ)言處理（NaturalLanguageProcessing）

5機(jī)器翻譯概念模型

機(jī)器翻譯能夠讓使用不同語(yǔ)言的用戶通過(guò)計(jì)算機(jī)應(yīng)用生成的翻譯結(jié)果進(jìn)行語(yǔ)言交流。一個(gè)機(jī)器翻譯

模型應(yīng)包含語(yǔ)言輸入、語(yǔ)言翻譯和語(yǔ)言輸出三個(gè)部分。機(jī)器翻譯的概念模型見(jiàn)圖1。

2

T/XXXXX—XXXX

圖1機(jī)器翻譯概念模型

各部分功能如下：

a)用戶輸入自然語(yǔ)言；

b)語(yǔ)言輸入模塊采集自然語(yǔ)言并將其轉(zhuǎn)換為計(jì)算機(jī)可讀的語(yǔ)言數(shù)據(jù)；

c)語(yǔ)言翻譯模塊將采集到的語(yǔ)言數(shù)據(jù)翻譯成目標(biāo)語(yǔ)言數(shù)據(jù)，并且不丟失語(yǔ)言原意；

d)語(yǔ)言輸出模塊將翻譯后的計(jì)算機(jī)可讀的語(yǔ)言數(shù)據(jù)轉(zhuǎn)換為目標(biāo)語(yǔ)言進(jìn)行輸出；

e)用戶接收系統(tǒng)輸出的目標(biāo)語(yǔ)言。

6機(jī)器翻譯系統(tǒng)模型

從概念模型角度進(jìn)行分析，一個(gè)智能的機(jī)器翻譯系統(tǒng)應(yīng)同時(shí)具備以下能力：

a)具有語(yǔ)言輸入及語(yǔ)言輸出的能力，語(yǔ)言表達(dá)方式包括但不限于文本、語(yǔ)音、圖像、視頻等。

b)具有存儲(chǔ)語(yǔ)言數(shù)據(jù)、信息、知識(shí)的能力，能夠?qū)⑼獠空Z(yǔ)言數(shù)據(jù)、信息和知識(shí)轉(zhuǎn)化為自身資源。

c)具有生成語(yǔ)言數(shù)據(jù)、信息、知識(shí)的能力，能夠基于自身?yè)碛械恼Z(yǔ)言等知識(shí)，對(duì)輸入語(yǔ)言進(jìn)行語(yǔ)

義理解后，將一種語(yǔ)言翻譯成另一種語(yǔ)言，準(zhǔn)確表達(dá)原有語(yǔ)言所涵蓋的信息。

機(jī)器翻譯智能能力可以通過(guò)抽象機(jī)器翻譯系統(tǒng)模型來(lái)表示見(jiàn)圖2。

圖2機(jī)器翻譯系統(tǒng)模型

機(jī)器翻譯系統(tǒng)模型包括語(yǔ)言獲取、自然語(yǔ)言理解及翻譯、語(yǔ)言反饋等能力項(xiàng)。

a)語(yǔ)言獲取能力：能夠采集和識(shí)別文本（例如：編碼輸入或字型辨識(shí)輸入）、語(yǔ)音（例如：?jiǎn)尉?/p>

語(yǔ)音或連續(xù)語(yǔ)音輸入）、圖像和視頻等多種載體形式的語(yǔ)言，作為系統(tǒng)輸入的源語(yǔ)言內(nèi)容；

b)自然語(yǔ)言理解及翻譯能力：能夠根據(jù)詞匯、語(yǔ)法（例如：詞法、句法）、符號(hào)、邏輯、語(yǔ)義、

修辭、專業(yè)領(lǐng)域知識(shí)，以及語(yǔ)用知識(shí)和文化情感知識(shí)等，對(duì)源語(yǔ)言內(nèi)容進(jìn)行理解和處理；具備

應(yīng)用翻譯引擎和NLP算法將源語(yǔ)言內(nèi)容轉(zhuǎn)換為目標(biāo)語(yǔ)言內(nèi)容的能力，確保語(yǔ)言內(nèi)容和含義沒(méi)有

發(fā)生改變，能夠滿足不同語(yǔ)種交流過(guò)程中的各種需求；

3

T/XXXXX—XXXX

c)語(yǔ)言反饋能力：能夠?qū)⒛繕?biāo)語(yǔ)言內(nèi)容使用文本、語(yǔ)音、圖像和視頻等方式，作為系統(tǒng)輸出反饋

到外界。

7機(jī)器翻譯智能能力指標(biāo)及計(jì)算方法

7.1能力指標(biāo)體系

機(jī)器翻譯智能能力測(cè)評(píng)指標(biāo)體系結(jié)構(gòu)見(jiàn)圖3。

圖3機(jī)器翻譯智能能力測(cè)評(píng)指標(biāo)體系

機(jī)器翻譯智能能力測(cè)評(píng)指標(biāo)項(xiàng)及說(shuō)明見(jiàn)表1。

表1機(jī)器翻譯智能能力測(cè)評(píng)指標(biāo)項(xiàng)及說(shuō)明

一級(jí)指標(biāo)二級(jí)指標(biāo)指標(biāo)項(xiàng)說(shuō)明打分方法權(quán)重備注

——完全沒(méi)有譯出來(lái)，0分該指標(biāo)

——譯文中只有個(gè)別詞被孤立地翻譯，1分定義描

翻譯結(jié)果是否——譯文中有少數(shù)短語(yǔ)或比詞大的語(yǔ)法成分被翻譯，2分述見(jiàn)

忠實(shí)度忠實(shí)地表達(dá)了——源語(yǔ)言中60%的概念及其之間的關(guān)系被正確翻譯，或原0.27GB/T

源語(yǔ)言的內(nèi)容文中的主謂賓及其關(guān)系被正確的翻譯，3分19682-

——源語(yǔ)言中80%的概念及其之間的關(guān)系被正確翻譯，4分2005，

——源語(yǔ)言中100%的概念及其之間的關(guān)系被正確翻譯，5分4.1

機(jī)器翻譯——完全不可理解，0分

結(jié)果質(zhì)量——譯文晦澀難懂（只有個(gè)別短語(yǔ)或比詞大的語(yǔ)法成分可以該指標(biāo)

理解），1分定義描

——譯文40%的部分基本流暢（少數(shù)的短語(yǔ)或比詞大的語(yǔ)法述見(jiàn)

翻譯結(jié)果是否

流利度成分可以理解），2分0.27GB/T

流暢和地道

——譯文60%的部分基本流暢，3分19682-

——譯文80%的部分基本流暢，或譯文中的主謂賓部分基本2005，

流暢，只是個(gè)別詞語(yǔ)或搭配不地道，4分4.3

——譯文流暢而且地道，5分

4

T/XXXXX—XXXX

表1機(jī)器翻譯智能能力測(cè)評(píng)指標(biāo)項(xiàng)及說(shuō)明（續(xù)）

一級(jí)指標(biāo)二級(jí)指標(biāo)指標(biāo)項(xiàng)說(shuō)明打分方法權(quán)重備注

——譯文綜合差錯(cuò)率≥90%，0分

——70%≤譯文綜合差錯(cuò)率＜90%，1分

翻譯結(jié)果與源

綜合差錯(cuò)——50%≤譯文綜合差錯(cuò)率＜70%，2分

語(yǔ)言內(nèi)容的綜0.18

率——30%≤譯文綜合差錯(cuò)率＜50%，3分

合差錯(cuò)率

——10%≤譯文綜合差錯(cuò)率＜30%，4分

——譯文綜合差錯(cuò)率≤10%，5分

翻譯結(jié)果是否

語(yǔ)用符合——譯文結(jié)果不符合，0分

符合目標(biāo)語(yǔ)言0.06

度——譯文結(jié)果符合，5分

的語(yǔ)用規(guī)則

翻譯結(jié)果是否

文化符合符合目標(biāo)語(yǔ)言——譯文結(jié)果不符合，0分

0.06

度的文化背景和——譯文結(jié)果符合，5分

觀念

翻譯結(jié)果是否

情感符合——譯文結(jié)果不符合，0分

符合源語(yǔ)言表0.06

度——譯文結(jié)果符合，5分

達(dá)的情感

——支持除文字以外的交互翻譯，包括但不限于語(yǔ)音、圖像、

視頻交互等，即翻譯的源語(yǔ)言和目標(biāo)語(yǔ)言可以通過(guò)語(yǔ)音、圖

是否支持文字

像等形式輸入和輸出，其交互性能應(yīng)滿足評(píng)估對(duì)象所標(biāo)稱的

交互能力以外的其他交0.02

性能值，每支持一種類型得1分，最高不超過(guò)5分

互功能

——僅支持文字交互翻譯，即翻譯的源語(yǔ)言和目標(biāo)語(yǔ)言僅能

以文字的形式輸入和輸出，0分

——支持文檔翻譯，包括但不限于網(wǎng)頁(yè)、PDF、DOCX等文檔

文檔翻譯是否支持文檔類型，其翻譯性能應(yīng)滿足評(píng)估對(duì)象所標(biāo)稱的性能值，每支持

0.02

能力翻譯一種類型得1分，最高不超過(guò)5分

機(jī)器翻譯

——不支持文檔翻譯，0分

能力要素

——支持多語(yǔ)種翻譯，其翻譯性能應(yīng)滿足評(píng)估對(duì)象所標(biāo)稱的

多語(yǔ)種翻是否支持多語(yǔ)

性能值，5分0.02

譯能力種翻譯

——不支持多語(yǔ)種翻譯，0分

是否支持無(wú)網(wǎng)——支持無(wú)網(wǎng)絡(luò)連接狀態(tài)下的翻譯能力，其翻譯性能應(yīng)滿足

網(wǎng)絡(luò)連接絡(luò)連接狀態(tài)下評(píng)估對(duì)象所標(biāo)稱的性能值，5分0.02

的翻譯能力——不支持無(wú)網(wǎng)絡(luò)連接狀態(tài)下的翻譯能力，0分

——支持評(píng)估對(duì)象所標(biāo)稱的同聲傳譯能力，其翻譯性能應(yīng)滿

是否支持同聲

翻譯模式足評(píng)估對(duì)象所標(biāo)稱的性能值，5分0.02

傳譯

——不支持同聲傳譯，0分

5

T/XXXXX—XXXX

7.2指標(biāo)評(píng)估方法

指標(biāo)評(píng)估可采用專家評(píng)價(jià)、材料檢查、技術(shù)測(cè)試等方式進(jìn)行，其中，

a)采用技術(shù)測(cè)試的指標(biāo)項(xiàng)包括：忠實(shí)度、流利度、綜合差錯(cuò)率；

b)采用技術(shù)測(cè)試和材料檢查相結(jié)合的指標(biāo)項(xiàng)包括：交互能力、文檔翻譯能力、多語(yǔ)種翻譯能力、

網(wǎng)絡(luò)連接、翻譯模式；

c)采用專家評(píng)價(jià)的指標(biāo)項(xiàng)包括：語(yǔ)用符合性、文化符合性、情感符合性。

機(jī)器翻譯忠實(shí)度和流利度評(píng)價(jià)的評(píng)估，見(jiàn)附錄A，機(jī)器翻譯綜合差錯(cuò)率計(jì)算方法見(jiàn)附錄B。

7.3能力計(jì)算方法

根據(jù)評(píng)估指標(biāo)體系和指標(biāo)項(xiàng)，運(yùn)用綜合評(píng)分法對(duì)機(jī)器翻譯智能能力得分（MTIAS）進(jìn)行計(jì)算，計(jì)算

公式見(jiàn)式（1）。

機(jī)器翻譯智能能力得分.........................................................(1)

PiSi

式中：

第項(xiàng)指標(biāo)的權(quán)重值；

Pi——i

第項(xiàng)指標(biāo)的得分值。

Si——i

8機(jī)器翻譯智能能力等級(jí)劃分

根據(jù)機(jī)器翻譯智能能力指標(biāo)和計(jì)算方法，機(jī)器翻譯智能能力等級(jí)劃分為5級(jí)，其中最高等級(jí)為5級(jí)：

a)1級(jí)：機(jī)器翻譯智能能力得分，MTIAS＜2分；

b)2級(jí)：機(jī)器翻譯智能能力得分，2分≤MTIAS＜3分；

c)3級(jí)：機(jī)器翻譯智能能力得分，3分≤MTIAS＜4分；

d)4級(jí)：機(jī)器翻譯智能能力得分，4分≤MTIAS＜5分；

e)5級(jí)：機(jī)器翻譯智能能力得分，MTIAS=5分。

9機(jī)器翻譯智能能力等級(jí)評(píng)估要求

9.1確定評(píng)估方案

根據(jù)評(píng)估目的需要，綜合考慮機(jī)器翻譯智能等級(jí)的影響因素，制定與其需求相符合的評(píng)估方案?？?/p>

選擇自行制定方案來(lái)實(shí)施評(píng)估，也可以委托第三方制定評(píng)估方案。評(píng)估方案包括且不限于機(jī)器翻譯系統(tǒng)

界定、評(píng)估指標(biāo)及指標(biāo)值計(jì)算、評(píng)估對(duì)象等級(jí)劃分、形成評(píng)估報(bào)告。

9.2機(jī)器翻譯系統(tǒng)界定

評(píng)估前應(yīng)識(shí)別、界定和描述被評(píng)估的機(jī)器翻譯系統(tǒng)產(chǎn)品及其特性，包括系統(tǒng)來(lái)源、用途和使用方式

等。

9.3計(jì)算評(píng)估指標(biāo)得分

評(píng)估前應(yīng)確定評(píng)估目的和范圍，并根據(jù)本標(biāo)準(zhǔn)所給出的評(píng)估指標(biāo)體系和指標(biāo)項(xiàng)來(lái)確定評(píng)估指標(biāo)，按

照7.3節(jié)所示的方法計(jì)算指標(biāo)得分。

6

T/XXXXX—XXXX

9.4評(píng)估對(duì)象等級(jí)劃分

根據(jù)評(píng)估目的，按照第8章所示等級(jí)劃分方法，將計(jì)算評(píng)估指標(biāo)得分結(jié)果對(duì)應(yīng)到不同的等級(jí)，形成

評(píng)估結(jié)論。

9.5評(píng)估報(bào)告

評(píng)估方應(yīng)進(jìn)行評(píng)估結(jié)果分析，并出具評(píng)估報(bào)告。評(píng)估報(bào)告內(nèi)容宜包括但不限于以下內(nèi)容：

a)機(jī)器翻譯系統(tǒng)產(chǎn)品的基本概況；

b)評(píng)估目的；

c)評(píng)估對(duì)象和范圍；

d)機(jī)器翻譯智能能力等級(jí)劃分和定義；

e)評(píng)估假設(shè)和限定條件；

f)評(píng)估依據(jù)；

g)評(píng)估方法；

h)評(píng)估程序?qū)嵤┻^(guò)程和情況；

i)評(píng)估結(jié)論；

j)特別事項(xiàng)說(shuō)明；

k)評(píng)估報(bào)告的使用限制說(shuō)明。

評(píng)估方應(yīng)對(duì)評(píng)估報(bào)告建檔存留，并定期復(fù)審。

7

T/XXXXX—XXXX

附錄A

（資料性附錄）

機(jī)器翻譯忠實(shí)度和流利度評(píng)價(jià)

A.1評(píng)價(jià)要求

對(duì)翻譯譯文的忠實(shí)度、流利度進(jìn)行評(píng)價(jià)時(shí)，宜采用多人評(píng)價(jià)取均值的策略。評(píng)估方應(yīng)精通參評(píng)任務(wù)

所涉及的源語(yǔ)言和目標(biāo)語(yǔ)言，并具有如下資格之一：

a)源語(yǔ)言為母語(yǔ)，目標(biāo)語(yǔ)言上具有高水平的語(yǔ)言資格認(rèn)證；

b)源語(yǔ)言具有高水平的語(yǔ)言資格認(rèn)證，目標(biāo)語(yǔ)言為母語(yǔ)。

A.2評(píng)價(jià)方法

評(píng)價(jià)實(shí)施過(guò)程中，參評(píng)人員應(yīng)不少于5人。對(duì)于每個(gè)評(píng)價(jià)句子對(duì)，取所有參評(píng)人員的忠實(shí)度和流利

度的評(píng)分的均值作為該句子的忠實(shí)度和流利度評(píng)分。

8

T/XXXXX—XXXX

附錄B

（規(guī)范性附錄）

機(jī)器翻譯綜合差錯(cuò)率計(jì)算

B.1機(jī)器翻譯綜合差錯(cuò)率計(jì)算方法

機(jī)器翻譯綜合差錯(cuò)率計(jì)算公式，見(jiàn)式（B.1）。

cDcDcDcD

綜合差錯(cuò)率IIIIIIIIIIIIIVIV100%.......................................(B.1)

w

式中：

w——源語(yǔ)言內(nèi)容計(jì)算總字詞數(shù)；

,,,分別為I、II、III、IV類差錯(cuò)出現(xiàn)的次數(shù)，重復(fù)性錯(cuò)誤按一次計(jì)算；

DIDIIDIIIDIV——

,,分別為I、II、III、IV類差錯(cuò)的系數(shù)，取值如下：

cIcIIcIIIcIV——

；

——cI3

；

——cII1

；

——cIII0.5

。

——cIV0.25

其中，

I-IV分別表示機(jī)器翻譯差錯(cuò)類別：

a)I類差錯(cuò)：譯文表述存在核心語(yǔ)義差錯(cuò)或關(guān)鍵字詞（數(shù)字）、句段的漏譯、錯(cuò)譯；

b)II類差錯(cuò)：一般語(yǔ)義差錯(cuò)，非關(guān)鍵字詞（數(shù)字）、句段的漏譯、錯(cuò)譯，譯文表述存在用詞、

語(yǔ)法錯(cuò)誤或表述含混；

c)III類差錯(cuò)：專業(yè)術(shù)語(yǔ)不準(zhǔn)確、不統(tǒng)一、不符合標(biāo)準(zhǔn)或慣例，或?qū)Ｓ妹~錯(cuò)譯；

d)IV類差錯(cuò)：計(jì)量單位、符號(hào)、縮略語(yǔ)等未按規(guī)（約）定譯法。

其中，源語(yǔ)言內(nèi)容計(jì)算總字詞數(shù)時(shí)，中文、日文、韓文等以字為單位進(jìn)行計(jì)算；英文、法文、德文

等以詞為單位進(jìn)行計(jì)算。

9

T/XXXXX—XXXX

參?考?文?獻(xiàn)

[1]ASTMF2575Standardguideforqualityassuranceintranslation

[2]ISO/IEC20382-1Informationtechnology-Userinterfaces-Face-to-face

speechtranslation-Part1:Userinterface

[3]ISO/IEC20382-2Informationtechnology-Userinterface-Face-to-face

speechtranslation-Part2:Systemarchitectureandfunctionalcomponents

[4]ITU-TF.745Functionalrequirementsfornetwork-basedspeech-to-speech

translationservices

[5]ITU-TH.625Architecturefornetwork-basedspeech-to-speechtranslation

services

[6]ITU-TE.FASTUserinterfaceforface-to-facespeechtranslationconsidering

humanfactors

[7]GB/T19363.1-2008翻譯服務(wù)規(guī)范第1部分：筆譯

[8]GB/T19363.2-2006翻譯服務(wù)規(guī)范第2部分：口譯

_________________________________

10

T/XXXXX—XXXX

中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)（CESA）是全國(guó)電子信息產(chǎn)業(yè)標(biāo)準(zhǔn)化組織和標(biāo)準(zhǔn)化工作者自愿組成的

社會(huì)團(tuán)體。廣泛聯(lián)系全國(guó)電子信息產(chǎn)業(yè)標(biāo)準(zhǔn)化機(jī)構(gòu)和標(biāo)準(zhǔn)化工作者，協(xié)助政府部門搞好電子信息產(chǎn)業(yè)標(biāo)

準(zhǔn)化工作，開(kāi)拓信息技術(shù)領(lǐng)域的標(biāo)準(zhǔn)化工作是中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)的主要工作內(nèi)容之一。中國(guó)

境內(nèi)從事科研開(kāi)發(fā)、制造、營(yíng)銷和服務(wù)的企事業(yè)單位、高等院校、社會(huì)組織和個(gè)人均可隨時(shí)向中國(guó)電子

工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)團(tuán)體標(biāo)準(zhǔn)工作部提出團(tuán)體標(biāo)準(zhǔn)項(xiàng)目建議。

中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)標(biāo)準(zhǔn)按照《電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)協(xié)會(huì)團(tuán)體標(biāo)準(zhǔn)管理辦法》進(jìn)行制

定和管理。

在本標(biāo)準(zhǔn)實(shí)施過(guò)程中，如發(fā)現(xiàn)需要修改或補(bǔ)充之處，請(qǐng)將意見(jiàn)和有關(guān)資料寄至中國(guó)電子工業(yè)標(biāo)準(zhǔn)化

技術(shù)協(xié)會(huì)，以便修訂時(shí)參考。

本標(biāo)準(zhǔn)版權(quán)歸中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)所有。

中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)地址：北京市海淀區(qū)萬(wàn)壽路27號(hào)

電話子郵箱：standards@

網(wǎng)址：

11

T/XXXXXXXX—XXXX

目??次

前??言.............................................................................................................................................................III

1范圍.....................................................................................................................................................................1

2規(guī)范性引用文件.................................................................................................................................................1

3術(shù)語(yǔ)和定義.........................................................................................................................................................1

4縮略語(yǔ)...............................................................................................................................................................2

5機(jī)器翻譯概念模型...........................................................................................................................................2

6機(jī)器翻譯系統(tǒng)模型...........................................................................................................................................3

7機(jī)器翻譯智能能力指標(biāo)及計(jì)算方法...............................................................................................................4

7.1能力指標(biāo)體系...........................................................................................................................................4

7.2指標(biāo)評(píng)估方法...........................................................................................................................................6

7.3能力計(jì)算方法...........................................................................................................................................6

8機(jī)器翻譯智能能力等級(jí)劃分...........................................................................................................................6

9機(jī)器翻譯智能能力等級(jí)評(píng)估要求...................................................................................................................6

9.1確定評(píng)估方案...........................................................................................................................................6

9.2機(jī)器翻譯系統(tǒng)界定...................................................................................................................................6

9.3計(jì)算評(píng)估指標(biāo)得分...................................................................................................................................6

9.4評(píng)估對(duì)象等級(jí)劃分...................................................................................................................................7

9.5評(píng)估報(bào)告...................................................................................................................................................7

附錄A（資料性附錄）機(jī)器翻譯忠實(shí)度和流利度評(píng)價(jià).............................................................................8

附錄B（規(guī)范性附錄）機(jī)器翻譯綜合差錯(cuò)率計(jì)算......................................................................................9

II

T/XXXXX—XXXX

信息技術(shù)人工智能機(jī)器翻譯智能能力等級(jí)評(píng)估

1范圍

本標(biāo)準(zhǔn)規(guī)定了機(jī)器翻譯智能能力等級(jí)評(píng)估中機(jī)器翻譯概念模型、機(jī)器翻譯系統(tǒng)模型、機(jī)器翻譯智能

能力指標(biāo)及計(jì)算方法、機(jī)器翻譯智能能力等級(jí)劃分和機(jī)器翻譯智能能力等級(jí)評(píng)估要求。

本標(biāo)準(zhǔn)適用于機(jī)器翻譯系統(tǒng)的產(chǎn)品和服務(wù)的智能能力等級(jí)劃分與評(píng)估。

2規(guī)范性引用文件

下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

GB/T19682-2005翻譯服務(wù)譯文質(zhì)量要求

ISO18587:2017翻譯服務(wù)-機(jī)器翻譯輸出的后編輯-要求（Translationservices——

Post-editingofmachinetranslationoutput——Requirements）

3術(shù)語(yǔ)和定義

3.1

機(jī)器翻譯machinetranslation,MT

使用計(jì)算機(jī)應(yīng)用將文本從一種自然語(yǔ)言自動(dòng)翻譯成另一種自然語(yǔ)言。

[ISO18587:2017，定義3.1.1]

3.2

機(jī)器翻譯系統(tǒng)machinetranslationsystem

用于實(shí)現(xiàn)機(jī)器翻譯的技術(shù)。

[ISO18587:2017，定義3.1.3]

3.3

內(nèi)容content

任意形式的信息。

示例：文本，音頻，圖像，視頻等。

注：改寫ISO18587:2017，定義3.2.1

3.4

源語(yǔ)言sourcelanguage

將要被翻譯的包含內(nèi)容的語(yǔ)言。

1

T/XXXXX—XXXX

[ISO18587:2017，定義3.2.2]

3.5

源語(yǔ)言內(nèi)容sourcelanguagecontent

將要被翻譯的語(yǔ)言內(nèi)容。

[ISO18587:2017，定義3.2.3]

3.6

目標(biāo)語(yǔ)言targetlanguage

源語(yǔ)言內(nèi)容被翻譯成的語(yǔ)言。

[ISO18587:2017，定義3.2.4]

3.7

目標(biāo)語(yǔ)言內(nèi)容targetlanguagecontent

從源語(yǔ)言內(nèi)容翻譯而來(lái)的語(yǔ)言內(nèi)容。

[ISO18587:2017，定義3.2.5]

3.8

自然語(yǔ)言naturallanguage,NL

起源不明，但作為人類交流習(xí)慣的方式，不斷發(fā)展并不時(shí)出現(xiàn)特殊用法的語(yǔ)言。

[ISO18587:2017，定義3.2.7]

3.9

翻譯translation

使源語(yǔ)言內(nèi)容變成目標(biāo)語(yǔ)言內(nèi)容的一系列過(guò)程集合。

[ISO18587:2017，定義3.4.2]

4縮略語(yǔ)

下列縮略語(yǔ)適用于本文件。

MTIAS：機(jī)器翻譯智能能力得分（MachineTranslationIntelligentAbilityScore）

NLP：自然語(yǔ)言處理（NaturalLanguageProcessing）

5機(jī)器翻譯概念模型

機(jī)器翻譯能夠讓使用不同語(yǔ)言的用戶通過(guò)計(jì)算機(jī)應(yīng)用生成的翻譯結(jié)果進(jìn)行語(yǔ)言交流。一個(gè)機(jī)器翻譯

模型應(yīng)包含語(yǔ)言輸入、語(yǔ)言翻譯和語(yǔ)言輸出三個(gè)部分。機(jī)器翻譯的概念模型見(jiàn)圖1。

2

T/XXXXX—XXXX

圖1機(jī)器翻譯概念模型

各部分功能如下：

a)用戶輸入自然語(yǔ)言；

b)語(yǔ)言輸入模塊采集自然語(yǔ)言并將其轉(zhuǎn)換為計(jì)算機(jī)可讀的語(yǔ)言數(shù)據(jù)；

c)語(yǔ)言翻譯模塊將采集到的語(yǔ)言數(shù)據(jù)翻譯成目標(biāo)語(yǔ)言數(shù)據(jù)，并且不丟失語(yǔ)言原意；

d)語(yǔ)言輸出模塊將翻譯后的計(jì)算機(jī)可讀的語(yǔ)言數(shù)據(jù)轉(zhuǎn)換為目標(biāo)語(yǔ)言進(jìn)行輸出；

e)用戶接收系統(tǒng)輸出的目標(biāo)語(yǔ)言。

6機(jī)器翻譯系統(tǒng)模型

從概念模型角度進(jìn)行分析，一個(gè)智能的機(jī)器翻譯系統(tǒng)應(yīng)同時(shí)具備以下能力：

a)具有語(yǔ)言輸入及語(yǔ)言輸出的能力，語(yǔ)言表達(dá)方式包括但不限于文本、語(yǔ)音、圖像、視頻等。

b)具有存儲(chǔ)語(yǔ)言數(shù)據(jù)、信息、知識(shí)的能力，能夠?qū)⑼獠空Z(yǔ)言數(shù)據(jù)、信息和知識(shí)轉(zhuǎn)化為自身資源。

c)具有生成語(yǔ)言數(shù)據(jù)、信息、知識(shí)的能力，能夠基于自身?yè)碛械恼Z(yǔ)言等知識(shí)，對(duì)輸入語(yǔ)言進(jìn)行語(yǔ)

義理解后，將一種語(yǔ)言翻譯成另一種語(yǔ)言，準(zhǔn)確表達(dá)原有語(yǔ)言所涵蓋的信息。

機(jī)器翻譯智能能力可以通過(guò)抽象機(jī)器翻譯系統(tǒng)模型來(lái)表示見(jiàn)圖2。

圖2機(jī)器翻譯系統(tǒng)模型

機(jī)器翻譯系統(tǒng)模型包括語(yǔ)言獲取、自然語(yǔ)言理解及翻譯、語(yǔ)言反饋等能力項(xiàng)。

a)語(yǔ)言獲取能力：能夠采集和識(shí)別文本（例如：編碼輸入或字型辨識(shí)輸入）、語(yǔ)音（例如：?jiǎn)尉?/p>

語(yǔ)音或連續(xù)語(yǔ)音輸入）、圖像和視頻等多種載體形式的語(yǔ)言，作為系統(tǒng)輸入的源語(yǔ)言內(nèi)容；

b)自然語(yǔ)言理解及翻譯能力：能夠根據(jù)詞匯、語(yǔ)法（例如：詞法、句法）、符號(hào)、邏輯、語(yǔ)義、

修辭、專業(yè)領(lǐng)域知識(shí)，以及語(yǔ)用知識(shí)和文化情感知識(shí)等，對(duì)源語(yǔ)言內(nèi)容進(jìn)行理解和處理；具備

應(yīng)用翻譯引擎和NLP算法將源語(yǔ)言內(nèi)容轉(zhuǎn)換為目標(biāo)語(yǔ)言內(nèi)容的能力，確保語(yǔ)言內(nèi)容和含義沒(méi)有

發(fā)生改變，能夠滿足不同語(yǔ)種交流過(guò)程中的各種需求；

3

T/XXXXX—XXXX

c)語(yǔ)言反饋能力：能夠?qū)⒛繕?biāo)語(yǔ)言內(nèi)容使用文本、語(yǔ)音、圖像和視頻等方式，作為系統(tǒng)輸出反饋

到外界。

7機(jī)器翻譯智能能力指標(biāo)及計(jì)算方法

7.1能力指標(biāo)體系

機(jī)器翻譯智能能力測(cè)評(píng)指標(biāo)體系結(jié)構(gòu)見(jiàn)圖3。

圖3機(jī)器翻譯智能能力測(cè)評(píng)指標(biāo)體系

機(jī)器翻譯智能能力測(cè)評(píng)指標(biāo)項(xiàng)及說(shuō)明見(jiàn)表1。

表1機(jī)器翻譯智能能力測(cè)評(píng)指標(biāo)項(xiàng)及說(shuō)明

一級(jí)指標(biāo)二級(jí)指標(biāo)指標(biāo)項(xiàng)說(shuō)明打分方法權(quán)重備注

——完全沒(méi)有譯出來(lái)，0分該指標(biāo)

——譯文中只有個(gè)別詞被孤立地翻譯，1分定義描

翻譯結(jié)果是否——譯文中有少數(shù)短語(yǔ)或比詞大的語(yǔ)法成分被翻譯，2分述見(jiàn)

忠實(shí)度忠實(shí)地表達(dá)了——源語(yǔ)言中60%的概念及其之間的關(guān)系被正確翻譯，或原0.27GB/T

源語(yǔ)言的內(nèi)容文中的主謂賓及其關(guān)系被正確的翻譯，3分19682-

——源語(yǔ)言中80%的概念及其之間的關(guān)系被正確翻譯，4分2005，

——源語(yǔ)言中100%的概念及其之間的關(guān)系被正確翻譯，5分4.1

機(jī)器翻譯——完全不可理解，0分

結(jié)果質(zhì)量——譯文晦澀難懂（只有個(gè)別短語(yǔ)或比詞大的語(yǔ)法成分可以該指標(biāo)

理解），1分定義描

——譯文40%的部分基本流暢（少數(shù)的短語(yǔ)或比詞大的語(yǔ)法述見(jiàn)

翻譯結(jié)果是否

流利度成分可以理解），2分0.27GB/T

流暢和地道

——譯文60%的部分基本流暢，3分19682-

——譯文80%的部分基本流暢，或譯文中的主謂賓部分基本2005，

流暢，只是個(gè)別詞語(yǔ)或搭配不地道，4分4.3

——譯文流暢而且地道，5分

4

T/XXXXX—XXXX

表1機(jī)器翻譯智能能力測(cè)評(píng)指標(biāo)項(xiàng)及說(shuō)明（續(xù)）

一級(jí)指標(biāo)二級(jí)指標(biāo)指標(biāo)項(xiàng)說(shuō)明打分方法權(quán)重備注

——譯文綜合差錯(cuò)率≥90%，0分

——70%≤譯文綜合差錯(cuò)率＜90%，1分

翻譯結(jié)果與源

綜合差錯(cuò)——50%≤譯文綜合差錯(cuò)率＜70%，2分

語(yǔ)言內(nèi)容的綜0.18

率——30%≤譯文綜合差錯(cuò)率＜50%，3分

合差錯(cuò)率