GB∕T 40035-2021 雙語(yǔ)平行語(yǔ)料加工服務(wù)基本要求(正式版)

ICS03.080.99:35.240.30雙語(yǔ)平行語(yǔ)料加工服務(wù)基本要求國(guó)家市場(chǎng)監(jiān)督管理總局國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)IGB/T40035—2021 Ⅲ 1 13術(shù)語(yǔ)和定義 1 2 35.1服務(wù)提供方 3 35.3服務(wù)環(huán)境 35.4加工內(nèi)容 35.5加工結(jié)果 35.5.1完整性 35.5.2準(zhǔn)確性 35.5.3可用性 45.5.4規(guī)范性 4 45.6.1可靠性 45.6.2易用性 45.6.2.1本地化界面 45.6.2.2操作功能 45.6.2.3幫助系統(tǒng) 55.6.2.4效率 55.6.3兼容性 5 5 56.1.1語(yǔ)料準(zhǔn)備 56.1.2清洗 56.1.3去重 5 56.2語(yǔ)料對(duì)齊 66.3語(yǔ)料審核 6 67.1需求溝通 67.2客戶協(xié)議 67.3項(xiàng)目管理 67.4加工環(huán)節(jié) 6ⅡGB/T40035—20217.5交付內(nèi)容 77.6質(zhì)量保證期 77.7服務(wù)評(píng)價(jià)與改進(jìn) 7 78.1數(shù)據(jù)備份 78.2文檔管理與日志 78.3數(shù)據(jù)存儲(chǔ) 7附錄A(資料性)雙語(yǔ)平行語(yǔ)料加工人員的培訓(xùn) 8附錄B(資料性)雙語(yǔ)語(yǔ)料加工的元數(shù)據(jù) 9附錄C(資料性)TXT文件常見(jiàn)編碼格式 附錄E(資料性)文件的命名規(guī)則、編碼格式及文件格式 ⅢGB/T40035—2021本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由全國(guó)語(yǔ)言與術(shù)語(yǔ)標(biāo)準(zhǔn)化技術(shù)委員會(huì)(SAC/TC62)提出并歸口。言橋信息技術(shù)有限公司、北京百度網(wǎng)訊科技有限公司、沈陽(yáng)雅譯網(wǎng)絡(luò)技術(shù)有限公司、上海智膳合網(wǎng)絡(luò)科1GB/T40035—2021雙語(yǔ)平行語(yǔ)料加工服務(wù)基本要求3術(shù)語(yǔ)和定義24總則3GB/T40035—20214.4雙語(yǔ)平行語(yǔ)料加工服務(wù)提供方(以下簡(jiǎn)稱“服務(wù)提供方”)對(duì)譯文不進(jìn)行審核，譯文質(zhì)量由客戶保證。4.5雙語(yǔ)平行語(yǔ)料加工服務(wù)可以采用多個(gè)工具完成，也可以在一個(gè)集成環(huán)境中完成。該環(huán)境應(yīng)集成對(duì)5基本要求5.1服務(wù)提供方服務(wù)提供方應(yīng)具備以下條件：b)配備合格的語(yǔ)料加工人員；c)配備穩(wěn)定可用的語(yǔ)料對(duì)齊工具及相關(guān)文字處理工具；d)配備可完成語(yǔ)料加工服務(wù)的場(chǎng)所。5.2語(yǔ)料加工人員服務(wù)提供方應(yīng)確保雙語(yǔ)平行語(yǔ)料加工人員具備以下能力：a)閱讀源語(yǔ)言和目標(biāo)語(yǔ)言的能力：能理解源語(yǔ)言和目標(biāo)語(yǔ)言，并能快速閱讀原文和譯文；b)研究和處理文本的能力：能拓展必要的文本處理及專業(yè)知識(shí)，并能制定策略來(lái)有效利用現(xiàn)有資源；c)技術(shù)能力：利用技術(shù)資源，包括使用工具和信息系統(tǒng)支撐整個(gè)語(yǔ)料加工過(guò)程，完成其中的各項(xiàng)技術(shù)任務(wù)。5.3服務(wù)環(huán)境服務(wù)提供方的服務(wù)環(huán)境應(yīng)擁有完成雙語(yǔ)語(yǔ)料加工所需的技術(shù)設(shè)備和辦公設(shè)備，如光學(xué)識(shí)別工具、對(duì)齊工具等。客戶可與服務(wù)提供方約定加工時(shí)使用的工具名稱和版本。服務(wù)提供方的保密環(huán)境及級(jí)別應(yīng)符合客戶對(duì)語(yǔ)料保密的要求，按客戶的要求配備保密設(shè)備、進(jìn)行安全加固、為語(yǔ)料加工人員開(kāi)展保密培訓(xùn)等。5.4加工內(nèi)容雙語(yǔ)語(yǔ)料的加工應(yīng)優(yōu)先選擇數(shù)字化后的雙語(yǔ)語(yǔ)料，尚未數(shù)字化的雙語(yǔ)語(yǔ)料，可通過(guò)掃描或拍照等手段，后采用光學(xué)字符識(shí)別的方式轉(zhuǎn)換成數(shù)字化形式，或直接通過(guò)鍵盤(pán)錄入。通過(guò)光學(xué)字符識(shí)別或鍵盤(pán)錄入的雙語(yǔ)語(yǔ)料應(yīng)增加校對(duì)環(huán)節(jié)保證內(nèi)容的質(zhì)量。5.5加工結(jié)果在符合客戶數(shù)據(jù)處理要求的前提下，服務(wù)提供方的加工結(jié)果應(yīng)保證原文、譯文及元數(shù)據(jù)的完整性，確保加工結(jié)果無(wú)信息丟失。5.5.2準(zhǔn)確性在符合客戶數(shù)據(jù)處理要求的前提下，服務(wù)提供方的加工結(jié)果應(yīng)保證原文和譯文對(duì)應(yīng)關(guān)系的準(zhǔn)確性4GB/T40035—2021以及元數(shù)據(jù)的準(zhǔn)確性，確保加工結(jié)果準(zhǔn)確無(wú)誤。服務(wù)提供方應(yīng)保證加工結(jié)果符合以下要求：a)能被語(yǔ)料檢索、管理和生產(chǎn)工具解析；b)無(wú)亂碼、多余標(biāo)簽等不可用信息；c)無(wú)格式混亂或原文譯文不對(duì)應(yīng)情況；d)無(wú)用戶未要求的多余信息。服務(wù)提供方的加工結(jié)果應(yīng)符合客戶的規(guī)范要求，加工結(jié)果的數(shù)據(jù)格式應(yīng)包括TMX、TXT等，并符合以下要求：a)TMX文件應(yīng)符合翻譯記憶庫(kù)交換規(guī)范，包含留存版本號(hào)、編碼格式、制作語(yǔ)料的工具名稱、制b)TXT文件應(yīng)采用一種常見(jiàn)的大字符集的編碼格式，如UTF-8。5.6語(yǔ)料加工工具語(yǔ)料對(duì)齊是雙語(yǔ)平行語(yǔ)料加工的關(guān)鍵環(huán)節(jié)，因此語(yǔ)料對(duì)齊工具作為語(yǔ)料加工工具的重要組成部分，應(yīng)滿足以下可靠性、易用性和兼容性三方面要求。語(yǔ)料對(duì)齊工具應(yīng)在出現(xiàn)局部功能故障時(shí)，不影響其他功能的操作，仍能提供對(duì)齊功能。語(yǔ)料對(duì)齊工具應(yīng)提供對(duì)齊過(guò)程數(shù)據(jù)自動(dòng)保存及恢復(fù)功能。5.6.2易用性語(yǔ)料對(duì)齊工具應(yīng)支持中文界面。語(yǔ)料對(duì)齊工具應(yīng)支持對(duì)齊雙語(yǔ)文本所需的操作功能：a)文字編輯：在允許文字輸入的內(nèi)容標(biāo)識(shí)區(qū)域，支持b)合并：支持將分布在兩行的文本合并成一行；c)拆分：支持將一行文本切分成兩行；d)上移：支持將文本位置向上移動(dòng)；e)下移：支持將文本位置向下移動(dòng)；f)插入：支持在某一行文本上方或下方插入一行；g)刪除：支持刪除某行或多行文本；i)對(duì)齊：支持文本調(diào)整完成后，執(zhí)行段落或句子級(jí)別的對(duì)齊；j)導(dǎo)出：支持對(duì)齊完成后，導(dǎo)出對(duì)齊的雙語(yǔ)文k)保存：支持將對(duì)齊過(guò)程中的文本進(jìn)行保存。5GB/T40035—2021語(yǔ)料對(duì)齊工具應(yīng)提供：遇到問(wèn)題時(shí)能夠快速獲得相應(yīng)的幫助；應(yīng)從以下方面評(píng)價(jià)語(yǔ)料對(duì)齊工具的效率：a)響應(yīng)時(shí)間：1)工具啟動(dòng)時(shí)間；3)恢復(fù)作業(yè)時(shí)間：關(guān)閉后再次打開(kāi)工具時(shí)，能快速定位上次作業(yè)位置的時(shí)間。b)便捷度：l)支持快捷鍵操作；2)支持右鍵菜單。語(yǔ)料對(duì)齊工具的兼容性要求如下：a)服務(wù)器端的語(yǔ)料對(duì)齊工具應(yīng)說(shuō)明能夠支持的瀏覽器，并避免使用基于特定瀏覽器和特定操作b)服務(wù)器端的語(yǔ)料對(duì)齊工具應(yīng)適應(yīng)不同瀏覽器和分辨率的展示，應(yīng)提供至少一種推薦的瀏覽器題的提示信息等內(nèi)容。6加工流程對(duì)于圖片格式或掃描版的尚未數(shù)字化的語(yǔ)料，需先通過(guò)光學(xué)字符識(shí)別或直接通過(guò)鍵盤(pán)錄入轉(zhuǎn)成可編輯的電子文本語(yǔ)料。對(duì)語(yǔ)料中的亂碼及特殊字符等進(jìn)行排查和糾正。6GB/T40035—20216.2語(yǔ)料對(duì)齊格式等信息。服務(wù)提供方應(yīng)對(duì)加工結(jié)果進(jìn)行抽樣檢查，抽樣數(shù)不少于結(jié)果總條目數(shù)的10%,抽樣數(shù)據(jù)的準(zhǔn)確率不低于99%。7服務(wù)內(nèi)容等因素的影響較大。對(duì)于尚未數(shù)字化的語(yǔ)料，服務(wù)提供方應(yīng)與客戶識(shí)別或直接通過(guò)鍵盤(pán)錄入)達(dá)成一致。a)標(biāo)準(zhǔn)級(jí)。對(duì)原文和譯文執(zhí)行段落或句子級(jí)別的對(duì)齊，采集基本的元數(shù)據(jù)。應(yīng)就句子拆分的斷句規(guī)則、原文和譯文無(wú)法對(duì)應(yīng)的處理規(guī)則等情況達(dá)成一致?？蛻魬?yīng)將相關(guān)規(guī)范(如斷客戶與服務(wù)提供方可對(duì)語(yǔ)料的知識(shí)產(chǎn)權(quán)歸屬及數(shù)據(jù)保密等要求進(jìn)行協(xié)商約定。和歸檔。7GB/T40035—2021完成所用時(shí)間等信息。提供方需修復(fù)客戶提出的語(yǔ)料加工問(wèn)題。工流程。對(duì)于分批交付的雙語(yǔ)語(yǔ)料，服務(wù)提供方應(yīng)在每批數(shù)據(jù)加工結(jié)果交付后安排專門(mén)客服人員進(jìn)行質(zhì)量8數(shù)據(jù)安全8.1數(shù)據(jù)備份信息查詢及客戶跟蹤。8GB/T40035—2021(資料性)A.1對(duì)雙語(yǔ)平行語(yǔ)料加工人員進(jìn)行語(yǔ)料加工所需知識(shí)和技能的培訓(xùn)可以：a)為雙語(yǔ)平行語(yǔ)料加工人員提供語(yǔ)料加工所需的技能；c)推動(dòng)雙語(yǔ)平行語(yǔ)料加工技術(shù)的發(fā)展和創(chuàng)新。A.2雙語(yǔ)平行語(yǔ)料加工人員的培訓(xùn)可包括：9(資料性)雙語(yǔ)語(yǔ)料加工的元數(shù)據(jù)雙語(yǔ)平行語(yǔ)料加工過(guò)程中應(yīng)記錄與雙語(yǔ)語(yǔ)料相關(guān)聯(lián)的元數(shù)據(jù)，將其作為加工結(jié)果的一部分。元數(shù)據(jù)內(nèi)容包括但不限于表B.1所列，每一元素均可選，且可重復(fù)。內(nèi)容名稱標(biāo)簽定義注釋identifier標(biāo)識(shí)符雙語(yǔ)語(yǔ)料的唯一識(shí)別符一般是特定應(yīng)用系統(tǒng)內(nèi)具有唯一識(shí)別性的標(biāo)識(shí)符號(hào)?？捎蓸?biāo)識(shí)應(yīng)用系統(tǒng)的前綴(即標(biāo)識(shí)符的類型)與一字符串(即標(biāo)識(shí)符的值)組成，可由系統(tǒng)產(chǎn)生或由人工賦予sourceLanguage源語(yǔ)言雙語(yǔ)語(yǔ)料中的源語(yǔ)言一般采用ISO639中規(guī)定的語(yǔ)言代碼和ISO3166中規(guī)定的國(guó)家代碼的組合標(biāo)識(shí)雙語(yǔ)語(yǔ)料中的源語(yǔ)言。例如，使用ZH-CN代表簡(jiǎn)體中文targetLanguage目標(biāo)語(yǔ)言雙語(yǔ)語(yǔ)料中的目標(biāo)語(yǔ)言一般采用ISO639中規(guī)定的語(yǔ)言代碼和ISO3166中規(guī)定的國(guó)家代碼的組合標(biāo)識(shí)雙語(yǔ)語(yǔ)料中的目標(biāo)語(yǔ)言sourceTitle原文標(biāo)題原文的標(biāo)題一般指原文公開(kāi)的標(biāo)題targetTitle譯文標(biāo)題譯文的標(biāo)題一般指譯文公開(kāi)的標(biāo)題sourceOfSourceText原文來(lái)源原文文本資源的來(lái)源一般是用于確定提供所加工的原文文本的單位或個(gè)人sourceOfTargetText譯文來(lái)源譯文文本資源的來(lái)源一般是用于確定提供所加工的譯文文本的單位或個(gè)人原文出版日期原文文本資源的發(fā)布日期通常采用××××年××月××日的格式，如2018年9月1日譯文出版日期譯文文本資源的發(fā)布日期通常采用××××年××月××日的格式，如2018年9月1日author作者原文的作者編寫(xiě)原文文本的單位或個(gè)人translator譯者譯文的作者翻譯原文文本的單位或個(gè)人subjectField領(lǐng)域雙語(yǔ)語(yǔ)料的領(lǐng)域一般采用關(guān)鍵詞或分類號(hào)來(lái)描述，建議使用受控詞表register語(yǔ)域雙語(yǔ)語(yǔ)料的語(yǔ)域一般采用關(guān)鍵詞或分類號(hào)來(lái)描述，建議使用受控詞表format格式文本資源的數(shù)字表現(xiàn)形式文本資源的內(nèi)容形式，包括資源內(nèi)容和元數(shù)據(jù)的類型GB/T40035—2021內(nèi)容名稱標(biāo)簽定義注釋采集方式雙語(yǔ)資源的采集方式如：OCR,人工錄入識(shí)別工具識(shí)別文本資源的軟件識(shí)別工具的名稱對(duì)齊方式雙語(yǔ)資源的對(duì)齊方式如：人工對(duì)齊，自動(dòng)對(duì)齊或自動(dòng)十人工對(duì)齊alignmentTool對(duì)齊工具對(duì)齊時(shí)使用的軟件對(duì)齊軟件的名稱字符集雙語(yǔ)平行語(yǔ)料加工結(jié)果采用的字符集的名稱通常采用的編碼為UTF-8,UTF-16,GB18030等日期完成雙語(yǔ)平行語(yǔ)料加工的日期通常采用××××年××月××日的格式，如2018年9月1日GB/T40035—2021(資料性)表C.1列出了TXT文件常見(jiàn)的編碼格式。表C.1TXT文件常見(jiàn)編碼格式編碼格式ASCI標(biāo)準(zhǔn)的單字節(jié)字符編碼方案，用于基于文本的數(shù)據(jù)。ASCII由美國(guó)國(guó)家標(biāo)準(zhǔn)學(xué)會(huì)(AmericanNationalStandardInstitute,ANSI)制定，后被ISO646標(biāo)準(zhǔn)所采用ISO8859-1是單字節(jié)編碼，向下兼容ASCII。ISO8859-1編碼有時(shí)稱Latin-1UnicodeUnicode(中文：萬(wàn)國(guó)碼、國(guó)際碼、統(tǒng)一碼、單一碼)是計(jì)算機(jī)科學(xué)領(lǐng)域里的一項(xiàng)業(yè)界標(biāo)準(zhǔn)。Unicode是為了解決傳統(tǒng)的字符編碼方案的局限而產(chǎn)生，為世界上大多數(shù)的常用語(yǔ)言中的字符設(shè)定了統(tǒng)一并且唯一的二進(jìn)制編碼，以滿足跨語(yǔ)言、跨平臺(tái)進(jìn)行文本轉(zhuǎn)換、處理的要求UTF-8UTF-8編碼是一種針對(duì)Unicode的可變長(zhǎng)度字符編碼，也是一種前綴碼。每一個(gè)字符的長(zhǎng)度從1～6個(gè)字節(jié)不等。UTF-8編碼一個(gè)很重要的特性就是兼容ISO8859-1編碼GBK/GB2312GBK/GB2312是漢字的國(guó)標(biāo)碼，專門(mén)用來(lái)表示漢字，是雙字節(jié)編碼(資料性)TMX格式規(guī)范元素(TMX>元素包含一個(gè)<HEADER>元素，后跟一個(gè)(BODY)元素?！禩MX>元素有一個(gè)必需屬性：VERSION《HEADER)元素有四個(gè)必需屬性：CREATIONTOOL,SEGTYPE,O-TMF和DATATYPE有七個(gè)可選屬性：O-ENCODING,CREATIONDATE,CREATIONID,CHANGEDATE,CHANGEID,ADMINLANG和SRCLANG屬性：LANG和O-ENCODING?！碢ROP)元素用于定義父元素(或在<HEADER)元素中使用(PROP>時(shí)的文件)的各種屬性(UDE>(用戶定義的編碼)元素包含一個(gè)或多個(gè)(MAP>元素。(UDE>元素有一個(gè)必需屬性：NAME。用于指定一組用戶定義的字符和/或從Unicode到用戶定義的編碼的映射(MAP/)元素為空(沒(méi)有內(nèi)容且沒(méi)有結(jié)束標(biāo)記)。<MAP/)元素有一個(gè)必需屬性：UNICODE和三個(gè)可選屬性：CODE,ENT和SUBST,用于指定用戶定義的字符及其某些屬性(BODY>元素包含主數(shù)據(jù)，即組成文件的<TU>集。無(wú)屬性(PROP)元素，后跟一個(gè)或多個(gè)(TUV)元素九個(gè)可選屬性：O-ENCODING,DATATYPE,USAGECOUNT,LASTUSAGEDATE,CRE-ATIONTOOL,CREATIONDATE,CREATIONID,CHANGEDATE和CHANGEID每個(gè)(SEG>(段)包含(TUV>的文本。無(wú)屬性(NOTE)元素用于注釋，不包含其他元素。(NOTE>元素有兩個(gè)可選屬性：O-ENCODING屬性CREATIONTOOLCREATIONTOOL屬性標(biāo)識(shí)創(chuàng)建TMX文檔的工具CREATIONDATECREATIONDATE屬性指定元素創(chuàng)建的日期GB/T40035—2021屬性CREATIONIDCREATIONID屬性指定創(chuàng)建元素的用戶CHANGEDATECHANGEDATE屬性指定元素修改的日期CHANGEIDCHANGEID屬性指定修改元素的用戶O-ENCODINGO-ENCODING屬性指定元素?cái)?shù)據(jù)的原始或首選代碼集，以防在非Unicode代碼集中進(jìn)行編碼O-TMF(原始翻譯記憶庫(kù)格式)元素指定從中生成TMX文檔的翻譯記憶庫(kù)文件的格式LANG屬性指定元素?cái)?shù)據(jù)的語(yǔ)言或區(qū)域設(shè)置DATATYPEDATATYPE屬性指定元素的數(shù)據(jù)類型SRCLANGSRCLANG屬性指定源語(yǔ)言文本的語(yǔ)言或區(qū)域設(shè)置ADMINLANGADMINLANG屬性在(HEADER)元素中用于指定管理和信息元素<NOTE>,<META/)>和(PROP>的默認(rèn)語(yǔ)言NAMENAME屬性指定(META/>或(PROP>元素的信息類型，或(UDE>元素的名稱REF屬性用于指定(META/>元素的外部參考文檔ID屬性指定<TU>元素的標(biāo)識(shí)符USAGECOUNTUSAGECOUNT屬性指定<TU)或(TUV)的使用次數(shù)LASTUSAGEDATELASTUSAGEDATE屬性指定上次使用<TU)或(TUV)的時(shí)間VERSIONVERSION屬性指示文檔的TMX格式版本UNICODEUNICODE屬性指定(MAP/>元素的Unicode字符值CODE屬性指定用戶定義編碼中的代碼點(diǎn)值，該編碼對(duì)應(yīng)于給定(MAP/>元素的UNICODE字符ENT屬性指定由給定(MAP/)元素定義的字符的實(shí)體名稱SUBST屬性允許為給定(MAP/>元素中定義的字符指定備用字符串SEGTYPESEGTYPE屬性指定<TU>元素中使用的分段類型(資料性)E.2雙語(yǔ)平行語(yǔ)料加工結(jié)果的文件編碼應(yīng)避免采用非標(biāo)準(zhǔn)的專有字體和格式。雙語(yǔ)平行語(yǔ)料加工結(jié)b)GB