GB/T 42755-2023 人工智能 面向機(jī)器學(xué)習(xí)的數(shù)據(jù)標(biāo)注規(guī)程（正式版）

ICS35.240人工智能面向機(jī)器學(xué)習(xí)的數(shù)據(jù)標(biāo)注規(guī)程國(guó)家市場(chǎng)監(jiān)督管理總局國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)IGB/T42755—2023 Ⅲ 1 1 14數(shù)據(jù)標(biāo)注流程 2 35.1標(biāo)注任務(wù) 35.2標(biāo)注人員 45.3標(biāo)注環(huán)境 4 46.1過(guò)程控制 46.2質(zhì)量保證 56.3管理機(jī)制 6 7 77.2數(shù)據(jù)交付 87.3后期維護(hù) 8 2ⅢGB/T42755—2023本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專(zhuān)利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專(zhuān)利的責(zé)任。本文件由全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)(SAC/TC28)提出并歸口。潮軟件科技有限公司、山東省人工智能研究院、美的集團(tuán)(上海)有限公司、北京智譜華章科技有限公司、北京愛(ài)數(shù)智慧科技有限公司、騰訊云計(jì)算(北京)有限責(zé)任公司、北京航天自動(dòng)控制研究所、鄭州中業(yè)科技股份有限公司、東軟集團(tuán)股份有限公司、北京海天瑞聲科技股份有限公司、云從科技集團(tuán)股份有限公學(xué)院生物醫(yī)學(xué)工程研究所、平安科技(深圳)有限公司、上海商湯智能科技有限公司、上海人工智能實(shí)驗(yàn)華技術(shù)股份有限公司、杭州趣鏈科技有限公司、常州微億智造科技有限公司、長(zhǎng)春博立電子科技有限公李爽。1人工智能面向機(jī)器學(xué)習(xí)的數(shù)據(jù)標(biāo)注規(guī)程GB/T37973—2019信息安全技術(shù)大數(shù)據(jù)安全管理指南3術(shù)語(yǔ)和定義數(shù)據(jù)需求方用于向標(biāo)注管理方以及數(shù)據(jù)標(biāo)注方明確標(biāo)注任務(wù)的書(shū)面表達(dá)。2GB/T42755—20234數(shù)據(jù)標(biāo)注流程標(biāo)注任務(wù)執(zhí)行、標(biāo)注結(jié)果輸出三個(gè)階段。數(shù)據(jù)標(biāo)注流程見(jiàn)圖1。標(biāo)注前期準(zhǔn)備標(biāo)注前期準(zhǔn)備標(biāo)注內(nèi)容確定標(biāo)注數(shù)據(jù)確定數(shù)據(jù)標(biāo)注完成標(biāo)注任務(wù)評(píng)估數(shù)據(jù)需求方是交付內(nèi)容交付安全保障交付驗(yàn)收否標(biāo)注管理方標(biāo)注人員范圍標(biāo)注人員培訓(xùn)標(biāo)注人員能力檔案質(zhì)量保證數(shù)據(jù)標(biāo)注方標(biāo)注任務(wù)質(zhì)量檢查標(biāo)注任務(wù)一致性檢查管理機(jī)制標(biāo)注任務(wù)進(jìn)度管理標(biāo)注任務(wù)開(kāi)展標(biāo)注任務(wù)回收標(biāo)注環(huán)境選擇標(biāo)注T具選擇標(biāo)注場(chǎng)地標(biāo)注任務(wù)執(zhí)行過(guò)程控制否求是標(biāo)注結(jié)果輸出標(biāo)注任務(wù)創(chuàng)建標(biāo)注任務(wù)分發(fā)標(biāo)注需求變更更后期維護(hù)圖1數(shù)據(jù)標(biāo)注流程框架在標(biāo)注前期準(zhǔn)備階段，數(shù)據(jù)需求方和標(biāo)注管理方應(yīng)確定標(biāo)注任務(wù)，完成標(biāo)注內(nèi)容和標(biāo)注數(shù)據(jù)的確3GB/T42755—20235標(biāo)注任務(wù)前期準(zhǔn)備e)主客觀描述：明確說(shuō)明數(shù)據(jù)標(biāo)簽是根據(jù)個(gè)人專(zhuān)業(yè)領(lǐng)域知識(shí)進(jìn)行標(biāo)注，還是客觀認(rèn)識(shí)進(jìn)行的根據(jù)標(biāo)注任務(wù)中的數(shù)據(jù)安全描述，數(shù)據(jù)需求方應(yīng)根據(jù)GB/T37973—2019及GB/T35274—2017b)在數(shù)據(jù)需求方提供的小規(guī)模樣本上進(jìn)行預(yù)標(biāo)注，將標(biāo)注結(jié)果提交給數(shù)據(jù)需求方驗(yàn)收。在獲得注：及時(shí)記錄數(shù)據(jù)預(yù)標(biāo)注流程中標(biāo)注規(guī)則與數(shù)據(jù)相悖、覆蓋不全或規(guī)則之間相悖的情況，并向數(shù)據(jù)需求方反饋完善標(biāo)注需求方需求變更時(shí)，應(yīng)在標(biāo)注管理方評(píng)審?fù)夂蟾聵?biāo)注任務(wù)說(shuō)明，重新進(jìn)入標(biāo)注任務(wù)評(píng)估4GB/T42755—2023數(shù)據(jù)標(biāo)注方應(yīng)根據(jù)標(biāo)注任務(wù)內(nèi)容中規(guī)定的標(biāo)注人員資質(zhì)需求，確定符合要求的人員進(jìn)入標(biāo)注人員培訓(xùn)環(huán)節(jié)。標(biāo)注任務(wù)。能力評(píng)估與標(biāo)注質(zhì)量追蹤。5.3標(biāo)注環(huán)境6標(biāo)注任務(wù)執(zhí)行標(biāo)注任務(wù)創(chuàng)建主要包括以下內(nèi)容：規(guī)則；c)任務(wù)創(chuàng)建保障：標(biāo)注管理方應(yīng)制定標(biāo)注任務(wù)創(chuàng)建和數(shù)據(jù)上傳相關(guān)制度，明確數(shù)據(jù)上傳分類(lèi)分標(biāo)注任務(wù)分發(fā)主要包括以下內(nèi)容：5GB/T42755—2023標(biāo)注任務(wù)開(kāi)展主要包括以下內(nèi)容：a)標(biāo)注任務(wù)分配：數(shù)據(jù)標(biāo)注方應(yīng)安排數(shù)據(jù)標(biāo)注人員使用分配的標(biāo)注賬戶，對(duì)分配到的任務(wù)進(jìn)行人信息進(jìn)行數(shù)據(jù)脫敏處理，保障數(shù)據(jù)標(biāo)注流程合法合規(guī)性，并對(duì)數(shù)據(jù)標(biāo)注結(jié)果進(jìn)行分級(jí)制任務(wù)進(jìn)度。6.2質(zhì)量保證果。結(jié)果選擇可通過(guò)下列方式。2)人工輔助選擇：人工對(duì)多個(gè)標(biāo)注結(jié)果進(jìn)行對(duì)比，從而挑選出置信度最高的標(biāo)注結(jié)果作為最終結(jié)果。對(duì)于需要特定專(zhuān)業(yè)知識(shí)標(biāo)注的領(lǐng)域，進(jìn)行人工輔助標(biāo)注時(shí)應(yīng)以多個(gè)專(zhuān)家的共同商議結(jié)果作為最終結(jié)果。此驗(yàn)證標(biāo)注質(zhì)量。在此操作的過(guò)程中注意以下事項(xiàng)。1)針對(duì)數(shù)據(jù)特征專(zhuān)題專(zhuān)用：對(duì)于埋題驗(yàn)證，應(yīng)保障測(cè)試題在真題中間處于混淆的狀態(tài)。因制題目的使用次數(shù)。尤其是擁有容易記憶的特征點(diǎn)的題目(如特定臉部特征、特定文字、特定場(chǎng)景等),應(yīng)嚴(yán)格限制出現(xiàn)的次數(shù)。時(shí)，應(yīng)根據(jù)時(shí)間段等特征，對(duì)標(biāo)注人員在這一狀態(tài)內(nèi)操作的標(biāo)注數(shù)據(jù)進(jìn)行檢查或者返工等操作。6GB/T42755—20236.3管理機(jī)制數(shù)據(jù)標(biāo)注方應(yīng)定期與標(biāo)注管理方同步數(shù)據(jù)標(biāo)注任務(wù)工作進(jìn)度。6.3.2標(biāo)注任務(wù)風(fēng)險(xiǎn)預(yù)估在標(biāo)注任務(wù)進(jìn)行過(guò)程中，數(shù)據(jù)標(biāo)注方應(yīng)對(duì)標(biāo)注人員是否能夠如期達(dá)到對(duì)應(yīng)的執(zhí)行進(jìn)度進(jìn)行預(yù)估和檢測(cè)，并針對(duì)可能存在的標(biāo)注進(jìn)度延誤風(fēng)險(xiǎn)，對(duì)數(shù)據(jù)需求方、標(biāo)注管理方進(jìn)行適當(dāng)?shù)奶崾尽Ｈ蝿?wù)風(fēng)險(xiǎn)預(yù)估和提醒的方法可分為以下兩類(lèi)。a)收集和更新：在任務(wù)進(jìn)行期間，對(duì)不同的時(shí)間節(jié)點(diǎn)，對(duì)標(biāo)注人員任務(wù)完成時(shí)間的推測(cè)和預(yù)估進(jìn)行定期收集、更新，匯總于系統(tǒng)上，并對(duì)其中有風(fēng)險(xiǎn)的完成時(shí)間節(jié)點(diǎn)進(jìn)行顯著的提醒。這種預(yù)估和提醒的方式，應(yīng)遵守以下規(guī)則。1)收集、更新任務(wù)完成的推測(cè)時(shí)間的時(shí)間節(jié)點(diǎn)：為了在標(biāo)注的工作全流程中得到盡量準(zhǔn)確的推測(cè)時(shí)間預(yù)估，同時(shí)也避免頻繁收集推測(cè)時(shí)間造成的效率損失，應(yīng)在任務(wù)未開(kāi)始標(biāo)注、開(kāi)始分配并啟動(dòng)標(biāo)注時(shí)和距離標(biāo)注結(jié)束較為接近時(shí)的節(jié)點(diǎn)，對(duì)推測(cè)的任務(wù)完成時(shí)間進(jìn)行收2)判定任務(wù)完成風(fēng)險(xiǎn)：在上述若干類(lèi)時(shí)間節(jié)點(diǎn)收集到推測(cè)完成標(biāo)注任務(wù)的時(shí)間節(jié)點(diǎn)之后，應(yīng)對(duì)收集到的標(biāo)注人員上報(bào)的時(shí)間節(jié)點(diǎn)進(jìn)行判定，從而推斷出標(biāo)注任務(wù)當(dāng)前的執(zhí)行是否存在逾期的風(fēng)險(xiǎn)。對(duì)于是否有逾期風(fēng)險(xiǎn)的判定，基本的判定規(guī)則是依據(jù)標(biāo)注管理方扣除預(yù)估充裕的驗(yàn)收、返工時(shí)間后給出的截止時(shí)間，將任務(wù)完成的推測(cè)時(shí)間與之進(jìn)行對(duì)比。如果推測(cè)時(shí)間晚于該截止時(shí)間，則任務(wù)存在風(fēng)險(xiǎn)，應(yīng)進(jìn)行風(fēng)行標(biāo)注效率的推測(cè)。效率的推測(cè)過(guò)程應(yīng)遵守以下規(guī)范。1)應(yīng)以天為單位，進(jìn)行時(shí)間尺度上的效率推算。標(biāo)注人員的工作時(shí)間并非全天候，在全日時(shí)2)應(yīng)以標(biāo)注人員整組的按天效率為粒度，進(jìn)行工作能力上的推算。以完成任務(wù)的整一組標(biāo)注人員為整體，進(jìn)行整體任務(wù)效率的預(yù)估，有效屏蔽標(biāo)注人員個(gè)體在效率上的差距，得到標(biāo)注任務(wù)在推進(jìn)上的總體效率，更有效地反映任務(wù)的推進(jìn)速度。3)宜在每日結(jié)束的時(shí)間點(diǎn)，以天為單位對(duì)執(zhí)行風(fēng)險(xiǎn)進(jìn)行平均推算和提示。在每日結(jié)束的時(shí)間點(diǎn)，對(duì)當(dāng)天的標(biāo)注人員整組的按天效率進(jìn)行計(jì)算，可通過(guò)歷史若干天的平均效率，以及當(dāng)前剩余的數(shù)據(jù)量，推算出標(biāo)注任務(wù)剩余的預(yù)估工作日數(shù)。若該日數(shù)已經(jīng)超過(guò)目前預(yù)計(jì)的截止時(shí)間，則認(rèn)為任務(wù)有可能存在逾期的風(fēng)險(xiǎn)，此時(shí)應(yīng)進(jìn)行風(fēng)險(xiǎn)的及時(shí)暴露和提醒。6.3.3標(biāo)注任務(wù)風(fēng)險(xiǎn)提醒在預(yù)估到標(biāo)注任務(wù)可能存在風(fēng)險(xiǎn)的情況下，數(shù)據(jù)標(biāo)注方應(yīng)對(duì)風(fēng)險(xiǎn)進(jìn)行及時(shí)的暴露和提醒，從而使得數(shù)據(jù)需求方、標(biāo)注管理方能及時(shí)對(duì)該逾期風(fēng)險(xiǎn)進(jìn)行處理。因此風(fēng)險(xiǎn)的暴露和提醒應(yīng)足夠清晰，應(yīng)保障消息能夠觸達(dá)數(shù)據(jù)需求方、標(biāo)注管理方。風(fēng)險(xiǎn)預(yù)估的消息提醒應(yīng)包含如下信息，以助于數(shù)據(jù)需求方、標(biāo)注管理方進(jìn)行恰當(dāng)?shù)那閯?shì)判斷：a)標(biāo)注任務(wù)的基本概況信息：包含足以識(shí)別面臨風(fēng)險(xiǎn)的標(biāo)注任務(wù)的信息，包括任務(wù)的名稱、需求b)執(zhí)行任務(wù)的標(biāo)注人員：包含足以識(shí)別面臨風(fēng)險(xiǎn)的標(biāo)注人員或團(tuán)隊(duì)的信息；7GB/T42755—2023c)目前預(yù)估的完成時(shí)間；d)完成時(shí)間的預(yù)估途徑：通過(guò)何種途徑預(yù)估得到完成時(shí)間，包括且不限于上述兩種途徑(收集和刷新/效率推測(cè));e)原本預(yù)計(jì)的截止時(shí)間。a)電子郵件；b)告警短信；c)告警電話；d)應(yīng)用消息推送。7標(biāo)注結(jié)果輸出a)標(biāo)注數(shù)據(jù)核驗(yàn)滿足數(shù)據(jù)標(biāo)注任務(wù)說(shuō)明中的要求；b)數(shù)據(jù)質(zhì)量滿足數(shù)據(jù)標(biāo)注任務(wù)說(shuō)明中的要求。滿足標(biāo)注要求。標(biāo)注數(shù)據(jù)質(zhì)量檢查能夠確保數(shù)據(jù)標(biāo)注結(jié)果有價(jià)值，符合數(shù)據(jù)需求方的特定應(yīng)用目的。根據(jù)項(xiàng)目特a)逐條檢查：即對(duì)整個(gè)標(biāo)注項(xiàng)目所包含的所有標(biāo)注子任務(wù)逐一核查并確認(rèn)。適用于項(xiàng)目量級(jí)不法覆蓋的質(zhì)量檢查范圍最全，同時(shí)也適用于任何形式的數(shù)據(jù)標(biāo)注場(chǎng)景。該方法可確保標(biāo)注數(shù)總體結(jié)果。抽查審核時(shí)，項(xiàng)目負(fù)責(zé)人應(yīng)指定審核員完成，審核員應(yīng)明確標(biāo)注的詳細(xì)執(zhí)行要人工標(biāo)注的數(shù)據(jù)做質(zhì)量檢查，實(shí)現(xiàn)全自動(dòng)或輔助人工質(zhì)量檢查方式。機(jī)器學(xué)習(xí)方法輸出的準(zhǔn)8GB/T42755—2023免此類(lèi)情況發(fā)生。數(shù)據(jù)量進(jìn)行靈活的設(shè)置。c)設(shè)定檢查任務(wù)隊(duì)列：按一定的規(guī)則對(duì)待檢查任務(wù)進(jìn)行排序，在有多個(gè)任務(wù)需要被同時(shí)檢查前端。7.2數(shù)