人工智能數(shù)據(jù)標(biāo)注總體框架規(guī)范

1人工智能數(shù)據(jù)標(biāo)注總體框架規(guī)范本文件規(guī)定了人工智能數(shù)據(jù)標(biāo)注的要求，為人工智能數(shù)據(jù)標(biāo)注的生產(chǎn)過程提供建3.13.2用于標(biāo)識出數(shù)據(jù)特征并建立標(biāo)注數(shù)據(jù)與人工智能可用數(shù)據(jù)之間3.3能夠進行數(shù)據(jù)標(biāo)注及在數(shù)據(jù)標(biāo)注過程中進行管理、控制等過程中發(fā)揮3.43.5某項標(biāo)注任務(wù)中，符合標(biāo)注規(guī)則要求的已標(biāo)注數(shù)4基本要求a)根據(jù)標(biāo)注任務(wù)說明,對標(biāo)注人員進行崗前能力培訓(xùn)。標(biāo)注能力合格者,參與標(biāo)注任務(wù)；2b)建立標(biāo)注人員能力檔案,記錄標(biāo)注人員承擔(dān)標(biāo)注任務(wù)的相關(guān)內(nèi)容,用于進行標(biāo)注人員能力評估4.2明確職責(zé)規(guī)定參與人工智能數(shù)據(jù)標(biāo)注的所有角色的職能a)設(shè)立人工智能數(shù)據(jù)管理崗位。該崗位要求對業(yè)務(wù)、法律法規(guī)比較熟悉，應(yīng)根據(jù)業(yè)務(wù)實際需要b)明確各環(huán)節(jié)角色的職責(zé)。應(yīng)明確數(shù)據(jù)標(biāo)注人員、數(shù)據(jù)標(biāo)注培訓(xùn)人員、數(shù)據(jù)標(biāo)注質(zhì)量控制員以4.3合法合規(guī)應(yīng)出臺規(guī)章制度保障人工智能數(shù)據(jù)標(biāo)注活動的合法合規(guī)性，并a)學(xué)習(xí)并嚴格執(zhí)行與數(shù)據(jù)保護、數(shù)據(jù)安全相關(guān)的法律法規(guī)、制度等；b)正確的對個人隱私和敏感數(shù)據(jù)進行處理，確保標(biāo)注過程合法合規(guī)；4,4保障質(zhì)量a)確保人工智能數(shù)據(jù)標(biāo)注的準(zhǔn)確性、可用性、完整性；b)建立質(zhì)量保障制度，提高數(shù)據(jù)標(biāo)注合格率；4.5標(biāo)注范圍最小化b)提供技術(shù)或者建立制度保證數(shù)據(jù)標(biāo)注過程中，數(shù)據(jù)范圍不擴散；4,6數(shù)據(jù)安全應(yīng)從以下幾方面做好數(shù)據(jù)保密工作，確保數(shù)a)數(shù)據(jù)分發(fā)，使用必要的安全方式確保人工智能數(shù)據(jù)分發(fā)過程中的安全性要求；b)數(shù)據(jù)存儲，建立訪問控制制度以及加密機制確保人工智能數(shù)據(jù)存在保密性要求；c)加密數(shù)據(jù)的標(biāo)注，使用加密算法對加密人工智能數(shù)據(jù)進行運算標(biāo)注，如同態(tài)加密算法等；d)數(shù)據(jù)匯總，使用數(shù)據(jù)隔離等方式確保人工智能數(shù)據(jù)匯總時滿足保密性要求；4.7數(shù)據(jù)完整a)接收人工智能數(shù)據(jù)可驗證，應(yīng)保證接收的數(shù)據(jù)已通過認證；b)人工智能數(shù)據(jù)傳輸過程完整性，應(yīng)保證標(biāo)注活動數(shù)據(jù)完整性；c)數(shù)據(jù)標(biāo)注可靠性，確保標(biāo)準(zhǔn)過程只執(zhí)行了批準(zhǔn)的范34.8數(shù)據(jù)可審計對數(shù)據(jù)標(biāo)注各環(huán)節(jié)建立審計機制或制度，確保數(shù)據(jù)標(biāo)注全過程能夠?qū)?shù)據(jù)進行審計，應(yīng)做到：a)對數(shù)據(jù)標(biāo)注過程信息進行記錄，并保證記錄過程真實可靠；b)利用合理的技術(shù)方案確保數(shù)據(jù)標(biāo)注的所有過數(shù)據(jù)標(biāo)注除了考慮以上要求外,還應(yīng)針對人工智能數(shù)據(jù)的特點從數(shù)據(jù)標(biāo)注任務(wù)的其他方面分析,包括但不限于:a)數(shù)據(jù)標(biāo)注需不影響社會和公共安全；b)數(shù)據(jù)標(biāo)注需考慮跨部門、跨組織的數(shù)據(jù)開放共享；任務(wù)規(guī)劃任務(wù)實施據(jù)標(biāo)注任務(wù)評審任務(wù)驗收具體過程可根據(jù)數(shù)據(jù)標(biāo)注任務(wù)規(guī)模簡化或裁剪，人工智能數(shù)據(jù)標(biāo)注總體任務(wù)規(guī)劃任務(wù)實施據(jù)標(biāo)注任務(wù)評審任務(wù)驗收任務(wù)創(chuàng)建任務(wù)執(zhí)行任務(wù)創(chuàng)建任務(wù)執(zhí)行任務(wù)檢驗評審方式評審方式任務(wù)回退任務(wù)歸檔a)數(shù)據(jù)標(biāo)注需求完成的時間節(jié)點；b)數(shù)據(jù)標(biāo)注的內(nèi)容；46.2獲取數(shù)據(jù)a)平臺接口對接的方式；b)存儲介質(zhì)復(fù)制的方式。6.3分析數(shù)據(jù)數(shù)據(jù)標(biāo)注前，應(yīng)對待標(biāo)注數(shù)據(jù)進行分析，核對標(biāo)注任a)數(shù)據(jù)核查。檢查待標(biāo)注數(shù)據(jù)是否與標(biāo)注任務(wù)說明書中的數(shù)據(jù)定義相符，核查結(jié)果及時同步給c)數(shù)據(jù)處理。根據(jù)標(biāo)注任務(wù)以及標(biāo)注數(shù)據(jù)的特性，通過數(shù)據(jù)聚類、組合排列、數(shù)據(jù)雜質(zhì)去除等6.4確定規(guī)則a)確定數(shù)據(jù)試標(biāo)數(shù)量。應(yīng)遵循數(shù)據(jù)標(biāo)注內(nèi)容覆蓋全面性及數(shù)據(jù)標(biāo)注成本最小化要求，抽取數(shù)量b)數(shù)據(jù)試標(biāo)。應(yīng)選擇中等以上技能的數(shù)據(jù)標(biāo)注員，按照標(biāo)注規(guī)則對抽樣數(shù)據(jù)進行標(biāo)注，以驗證c)細化數(shù)據(jù)標(biāo)注規(guī)則。應(yīng)遵循易理解、易操作的原則，保持與數(shù)據(jù)標(biāo)注需求一致的原則，對數(shù)數(shù)據(jù)標(biāo)注任務(wù)負責(zé)人應(yīng)利用標(biāo)注工具創(chuàng)建數(shù)據(jù)標(biāo)注項目相關(guān)內(nèi)容a)任務(wù)包創(chuàng)建。將需要標(biāo)注的數(shù)據(jù)合理分組,保證數(shù)據(jù)標(biāo)注質(zhì)量以及后續(xù)的任務(wù)分配；b)任務(wù)賬戶創(chuàng)建。應(yīng)以標(biāo)注人員數(shù)量為依據(jù)，綜合標(biāo)注數(shù)據(jù)規(guī)模、質(zhì)量分析等需求，根據(jù)標(biāo)注環(huán)境或者標(biāo)注工具，創(chuàng)建標(biāo)注過程中所需要使用的用戶賬戶，并分配相應(yīng)的權(quán)限或賬戶使用c)任務(wù)創(chuàng)建保障。應(yīng)制定標(biāo)注任務(wù)創(chuàng)建和數(shù)據(jù)上傳相關(guān)制度，明確數(shù)據(jù)上傳分類分級、數(shù)據(jù)安全風(fēng)險評估和安全監(jiān)控制度，監(jiān)管上傳數(shù)據(jù)的合法合7.2任務(wù)分發(fā)5a)標(biāo)注任務(wù)分發(fā)類型。應(yīng)根據(jù)標(biāo)注任務(wù)要求，結(jié)合標(biāo)注質(zhì)量管理以及標(biāo)注時間管理，在保證標(biāo)注質(zhì)量的前提下，選擇主動領(lǐng)取或系統(tǒng)自動分發(fā)等任務(wù)分發(fā)類型，優(yōu)化標(biāo)注任務(wù)分發(fā)策b)標(biāo)注任務(wù)分發(fā)保障。應(yīng)制定標(biāo)注任務(wù)分發(fā)安全管理制度，明確標(biāo)注任務(wù)分發(fā)日志內(nèi)容，監(jiān)控7.3任務(wù)執(zhí)行a)標(biāo)注任務(wù)分配。應(yīng)安排數(shù)據(jù)標(biāo)注人員使用分配的標(biāo)注賬戶，對分配到的任務(wù)進行標(biāo)注；b)標(biāo)注過程反饋。應(yīng)建立標(biāo)注過程反饋機制，將與標(biāo)注要求不符、標(biāo)注要求中未涵蓋的數(shù)據(jù)等情況，及時反饋標(biāo)注管理，確保標(biāo)注規(guī)則與數(shù)據(jù)的c)標(biāo)注任務(wù)開展保障。應(yīng)明確數(shù)據(jù)脫敏和個人信息安全影響評估制度，在標(biāo)注前對個人信息進行數(shù)據(jù)脫敏處理，保障數(shù)據(jù)標(biāo)注流程合法、合規(guī)性，并對數(shù)據(jù)標(biāo)注結(jié)果進行分級制度，適當(dāng)7,4任務(wù)檢驗在標(biāo)注任務(wù)進行期間應(yīng)使用統(tǒng)計規(guī)則或模型驗證等方法,得到標(biāo)注任務(wù)一致性水平,一旦發(fā)現(xiàn)明顯a)任務(wù)時間風(fēng)險。包括標(biāo)注任務(wù)可能在預(yù)期時間內(nèi)未能完成或者標(biāo)注任務(wù)所需的時間可能被低b)任務(wù)進度風(fēng)險。參與標(biāo)注任務(wù)人員不足風(fēng)險及標(biāo)注人員之間溝通、協(xié)調(diào)與管理的風(fēng)險，導(dǎo)致c)任務(wù)質(zhì)量風(fēng)險。數(shù)據(jù)標(biāo)注不準(zhǔn)確，或者不同標(biāo)注人員主觀意識和個人偏好出現(xiàn)標(biāo)注偏差，導(dǎo)d)數(shù)據(jù)隱私風(fēng)險：在數(shù)據(jù)標(biāo)注過程中，可能涉及到個人敏感信息的泄露，如姓名、地址等泄密7.6風(fēng)險提醒7.6.1在預(yù)估到標(biāo)注任務(wù)可能存在風(fēng)險的情況下，應(yīng)對風(fēng)險進行及時的暴露和提醒，從而使得風(fēng)險進6a)標(biāo)注任務(wù)的基本概況信息。包含足以識別面臨風(fēng)險的標(biāo)注任務(wù)的信息,包括任務(wù)的名稱、需求b)執(zhí)行任務(wù)的標(biāo)注人員。包含足以識別面臨風(fēng)險的標(biāo)注人員或團隊的信息；7.6.2為了使得消息能夠及時傳遞到相關(guān)任務(wù)關(guān)系人，標(biāo)注任務(wù)可能有風(fēng)險的消息內(nèi)容應(yīng)通過各類方a)業(yè)務(wù)范圍能夠滿足數(shù)據(jù)標(biāo)注生產(chǎn)工作評審需求；8.2專家評審評審管理委員會組織專家開展評審，評審專家應(yīng)具備以下條a)具有良好的科學(xué)道德、較強的溝通和協(xié)調(diào)能力，能夠獨立、客觀、公正、實事求是地提出評b)從事所屬領(lǐng)域或行業(yè)專業(yè)技術(shù)工作滿5年，并具有副高級及以上專業(yè)技術(shù)職稱或者具有同等c)熟悉數(shù)據(jù)標(biāo)注評審基本業(yè)務(wù)流程，掌握數(shù)據(jù)標(biāo)注生產(chǎn)工作的基本原理、方法；8.3評審方式a)網(wǎng)絡(luò)評審。組織評審專家通過網(wǎng)絡(luò)評審系統(tǒng)，查閱數(shù)據(jù)標(biāo)注材料并對數(shù)據(jù)標(biāo)注任務(wù)完成情況b)會議評審(含視頻答辯)。組織評審專家采用現(xiàn)場會議(網(wǎng)絡(luò)視頻)等形式，通過聽取數(shù)據(jù)標(biāo)注情況的匯報、質(zhì)詢、討論等程序，對數(shù)據(jù)標(biāo)注工作8.4任務(wù)回退評審不合格的任務(wù)，數(shù)據(jù)標(biāo)注負責(zé)人應(yīng)進行回收，并重新分派進行標(biāo)注修改后重新評審。7a)遞交數(shù)據(jù)的介質(zhì)；b)遞交數(shù)據(jù)的途徑；9.3交付驗收按流程完成標(biāo)注任務(wù)后，應(yīng)將成果物交付完成任務(wù)驗收，交付驗證主a)應(yīng)根據(jù)確認的驗收標(biāo)準(zhǔn),對數(shù)據(jù)標(biāo)注質(zhì)量進行檢查與評價；b)應(yīng)及時反饋數(shù)據(jù)標(biāo)注質(zhì)量的相關(guān)結(jié)果,確定是否通9.4任務(wù)歸檔確認數(shù)據(jù)標(biāo)注結(jié)果驗收通過后，對生產(chǎn)過程文檔進行分類、整理、數(shù)據(jù)標(biāo)注負責(zé)人應(yīng)組織各工作角色參與項目的總結(jié)工作，編制總結(jié)報告，內(nèi)容a)數(shù)據(jù)標(biāo)注項目基本信息。描述本次數(shù)據(jù)標(biāo)注項目的合作背景、數(shù)據(jù)標(biāo)