DB23T 3857-2024人工智能數(shù)據(jù)標(biāo)注總體框架規(guī)范

23本文件由中共黑龍江省委網(wǎng)絡(luò)安全和信息化委員會(huì)辦公室提人工智能數(shù)據(jù)標(biāo)注總體框架規(guī)范3.13.2用于標(biāo)識出數(shù)據(jù)特征并建立標(biāo)注數(shù)據(jù)與人工智能可用數(shù)據(jù)之間3.3能夠進(jìn)行數(shù)據(jù)標(biāo)注及在數(shù)據(jù)標(biāo)注過程中進(jìn)行管理、控制等過程中3.43.54基本要求a)根據(jù)標(biāo)注任務(wù)說明,對標(biāo)注人員進(jìn)行崗前能力培訓(xùn)。培訓(xùn)合格者,參與標(biāo)注任務(wù)；b)建立標(biāo)注人員能力檔案,記錄標(biāo)注人員承擔(dān)標(biāo)注任務(wù)的相關(guān)內(nèi)容,用于進(jìn)行標(biāo)注人員能力評估4.2明確職責(zé)應(yīng)規(guī)定參與人工智能數(shù)據(jù)標(biāo)注的所有角色的職能，并a)設(shè)立人工智能數(shù)據(jù)管理崗位。該崗位要求對業(yè)務(wù)、法律法規(guī)比較熟悉，能夠根據(jù)業(yè)務(wù)實(shí)際需b)明確各環(huán)節(jié)角色的職責(zé)。應(yīng)明確數(shù)據(jù)標(biāo)注人員、數(shù)據(jù)標(biāo)注培訓(xùn)人員、數(shù)據(jù)標(biāo)注質(zhì)量控制人員4.3合法合規(guī)應(yīng)出臺規(guī)章制度保障人工智能數(shù)據(jù)標(biāo)注任務(wù)的合法合規(guī)性，并a)學(xué)習(xí)并嚴(yán)格執(zhí)行與數(shù)據(jù)保護(hù)、數(shù)據(jù)安全相關(guān)的法律法規(guī)、制度等；b)正確對個(gè)人隱私和敏感數(shù)據(jù)進(jìn)行處理，確保標(biāo)注過程合法合規(guī)；4,4保障質(zhì)量a)確保人工智能數(shù)據(jù)標(biāo)注的準(zhǔn)確性、可用性、完整性；b)建立質(zhì)量保障制度，提高數(shù)據(jù)標(biāo)注合格率；4.5標(biāo)注范圍最小化4,6數(shù)據(jù)安全a)數(shù)據(jù)分發(fā)，使用必要的安全方式確保人工智能數(shù)據(jù)分發(fā)過程的安全性要求；b)數(shù)據(jù)存儲，建立訪問控制制度和加密機(jī)制確保人工智能數(shù)據(jù)存儲保密性要求；c)加密數(shù)據(jù)的標(biāo)注，使用加密算法對加密人工智能數(shù)據(jù)進(jìn)行運(yùn)算標(biāo)注，如同態(tài)加密算法等；d)數(shù)據(jù)匯總，使用數(shù)據(jù)隔離等方式確保人工智能數(shù)據(jù)匯總時(shí)滿足保密性要求；4.7數(shù)據(jù)完整a)接收人工智能數(shù)據(jù)可驗(yàn)證，保證接收的數(shù)據(jù)已通過認(rèn)證；b)人工智能數(shù)據(jù)傳輸過程完整性，保證標(biāo)注活動(dòng)數(shù)據(jù)完整性；c)數(shù)據(jù)標(biāo)注可靠性，確保標(biāo)注過程只執(zhí)行批準(zhǔn)的范圍；d)數(shù)據(jù)儲存完整性，確保數(shù)據(jù)標(biāo)注存儲及備份完整性。4.8數(shù)據(jù)可審計(jì)應(yīng)對數(shù)據(jù)標(biāo)注各環(huán)節(jié)建立審計(jì)機(jī)制或制度，確保數(shù)據(jù)標(biāo)注全過程可審計(jì)，并a)對數(shù)據(jù)標(biāo)注過程信息記錄，并保證記錄過程真實(shí)可靠；b)利用合理的技術(shù)方案確保數(shù)據(jù)標(biāo)注的所有過數(shù)據(jù)標(biāo)注除了考慮以上要求外,還應(yīng)針對人工智能數(shù)據(jù)的特點(diǎn)從數(shù)據(jù)標(biāo)注任務(wù)的其他方面分析,包括但不限于:a)數(shù)據(jù)標(biāo)注需不影響社會(huì)和公共安全；b)數(shù)據(jù)標(biāo)注需考慮跨部門、跨組織的數(shù)據(jù)開放共享；任務(wù)規(guī)劃任務(wù)實(shí)施據(jù)標(biāo)注任務(wù)驗(yàn)收具體過程可根據(jù)數(shù)據(jù)標(biāo)注任務(wù)規(guī)模簡化或裁剪，人工智能數(shù)據(jù)標(biāo)注總體任務(wù)規(guī)劃任務(wù)實(shí)施據(jù)標(biāo)注任務(wù)驗(yàn)收任務(wù)創(chuàng)建任務(wù)執(zhí)行任務(wù)創(chuàng)建任務(wù)執(zhí)行任務(wù)檢驗(yàn)評審方式任務(wù)回退任務(wù)歸檔a)數(shù)據(jù)標(biāo)注完成的時(shí)間節(jié)點(diǎn)；b)數(shù)據(jù)標(biāo)注的內(nèi)容；6.2獲取數(shù)據(jù)a)平臺接口對接的方式；b)存儲介質(zhì)復(fù)制的方式。6.3分析數(shù)據(jù)數(shù)據(jù)標(biāo)注前，應(yīng)對待標(biāo)注數(shù)據(jù)進(jìn)行分析，核對標(biāo)注任a)數(shù)據(jù)核查。檢查待標(biāo)注數(shù)據(jù)是否與標(biāo)注任務(wù)說明書中的數(shù)據(jù)定義相符，核查結(jié)果及時(shí)同步給c)數(shù)據(jù)處理。根據(jù)標(biāo)注任務(wù)以及標(biāo)注數(shù)據(jù)的特性，通過數(shù)據(jù)聚類、組合排列、數(shù)據(jù)雜質(zhì)去除等6.4確定規(guī)則a)確定數(shù)據(jù)試標(biāo)數(shù)量。應(yīng)遵循數(shù)據(jù)標(biāo)注內(nèi)容覆蓋全面性及數(shù)據(jù)標(biāo)注成本最小化要求，抽取數(shù)據(jù)b)數(shù)據(jù)試標(biāo)。按照標(biāo)注規(guī)則對抽樣數(shù)據(jù)進(jìn)行標(biāo)注，以驗(yàn)證標(biāo)注規(guī)則的合理性；c)細(xì)化數(shù)據(jù)標(biāo)注規(guī)則。應(yīng)遵循易理解、易操作的準(zhǔn)則，保持與數(shù)據(jù)標(biāo)注需求一致的原則，對數(shù)數(shù)據(jù)標(biāo)注任務(wù)負(fù)責(zé)人應(yīng)利用標(biāo)注工具創(chuàng)建數(shù)據(jù)標(biāo)注項(xiàng)目相關(guān)內(nèi)容a)任務(wù)包創(chuàng)建。將需要標(biāo)注的數(shù)據(jù)合理分組,保證數(shù)據(jù)標(biāo)注質(zhì)量以及后續(xù)的任務(wù)分配；b)任務(wù)賬戶創(chuàng)建。應(yīng)以標(biāo)注人員數(shù)量為依據(jù)，綜合標(biāo)注數(shù)據(jù)規(guī)模、質(zhì)量分析等需求，根據(jù)標(biāo)注環(huán)境或標(biāo)注工具，創(chuàng)建標(biāo)注過程中所需要使用的賬戶，并分配相應(yīng)的權(quán)限或賬戶使用規(guī)c)任務(wù)創(chuàng)建保障。應(yīng)制定標(biāo)注任務(wù)創(chuàng)建和數(shù)據(jù)上傳相關(guān)制度，明確數(shù)據(jù)上傳分類分級、數(shù)據(jù)安全風(fēng)險(xiǎn)評估和安全監(jiān)控制度，確保上傳數(shù)據(jù)的合7.2任務(wù)分發(fā)a)標(biāo)注任務(wù)分發(fā)類型。應(yīng)根據(jù)標(biāo)注任務(wù)要求，結(jié)合標(biāo)注質(zhì)量管理及標(biāo)注時(shí)間管理，在保證標(biāo)注質(zhì)量的前提下，選擇主動(dòng)領(lǐng)取或系統(tǒng)自動(dòng)分發(fā)等任務(wù)分發(fā)類型，優(yōu)化標(biāo)注任務(wù)分發(fā)策b)標(biāo)注任務(wù)分發(fā)保障。應(yīng)制定標(biāo)注任務(wù)分發(fā)安全管理制度，明確標(biāo)注任務(wù)分發(fā)日志內(nèi)容，監(jiān)控7.3任務(wù)執(zhí)行a)標(biāo)注任務(wù)分配。應(yīng)安排數(shù)據(jù)標(biāo)注人員使用分配的標(biāo)注賬戶，對分配到的任務(wù)進(jìn)行標(biāo)注；b)標(biāo)注過程反饋。應(yīng)建立標(biāo)注過程反饋機(jī)制，將與標(biāo)注要求不符、標(biāo)注要求中未涵蓋的數(shù)據(jù)等c)標(biāo)注任務(wù)開展保障。應(yīng)明確數(shù)據(jù)脫敏和個(gè)人信息安全影響評估制度，在標(biāo)注前對個(gè)人信息進(jìn)行數(shù)據(jù)脫敏處理，保障數(shù)據(jù)標(biāo)注流程合法合規(guī)，并對數(shù)據(jù)標(biāo)注結(jié)果進(jìn)行分級，適當(dāng)提高數(shù)據(jù)7,4任務(wù)檢驗(yàn)在任務(wù)進(jìn)行過程中按照標(biāo)注規(guī)則進(jìn)行質(zhì)量檢驗(yàn)和質(zhì)量糾在標(biāo)注任務(wù)進(jìn)行期間應(yīng)使用統(tǒng)計(jì)規(guī)則或模型驗(yàn)證等方法,得到標(biāo)注任務(wù)一致性水平,一旦發(fā)現(xiàn)明顯a)任務(wù)時(shí)間風(fēng)險(xiǎn)。包括標(biāo)注任務(wù)可能在預(yù)期時(shí)間內(nèi)未能完成或者標(biāo)注任務(wù)所需的時(shí)間可能被低b)任務(wù)進(jìn)度風(fēng)險(xiǎn)。參與標(biāo)注任務(wù)人員不足風(fēng)險(xiǎn)及標(biāo)注人員之間溝通、協(xié)調(diào)與管理的風(fēng)險(xiǎn)，導(dǎo)致c)任務(wù)質(zhì)量風(fēng)險(xiǎn)。數(shù)據(jù)標(biāo)注不準(zhǔn)確，或者不同標(biāo)注人員主觀意識和個(gè)人偏好出現(xiàn)標(biāo)注偏差，導(dǎo)d)數(shù)據(jù)隱私風(fēng)險(xiǎn)：在數(shù)據(jù)標(biāo)注過程中，可能涉及到個(gè)人敏感信息的泄露，如姓名、地址等泄密7.6風(fēng)險(xiǎn)提醒7.6.1在預(yù)估到標(biāo)注任務(wù)可能存在風(fēng)險(xiǎn)的情況下，應(yīng)對風(fēng)險(xiǎn)進(jìn)行及時(shí)的暴露和提醒，從而使風(fēng)險(xiǎn)得到a)標(biāo)注任務(wù)的基本概況信息。包含足以識別面臨風(fēng)險(xiǎn)的標(biāo)注任務(wù)的信息,例如任務(wù)的名稱、需求b)執(zhí)行任務(wù)的標(biāo)注人員。包含足以識別面臨風(fēng)險(xiǎn)的標(biāo)注人員或團(tuán)隊(duì)的信息；7.6.2為使消息能夠及時(shí)傳遞到相關(guān)任務(wù)關(guān)系人，標(biāo)注任務(wù)可能有風(fēng)險(xiǎn)的消息內(nèi)容應(yīng)通過各類方式發(fā)a)業(yè)務(wù)范圍能夠滿足數(shù)據(jù)標(biāo)注工作評審需求；b)專家?guī)斓膶＜覕?shù)量具備一定規(guī)模并且專業(yè)結(jié)構(gòu)合理；8.2專家評審評審管理委員會(huì)組織專家開展評審，評審專家應(yīng)具備以下條a)具有良好的科學(xué)道德、較強(qiáng)的溝通和協(xié)調(diào)能力，能夠獨(dú)立、客觀、公正、實(shí)事求是的提出評b)從事所屬領(lǐng)域或行業(yè)專業(yè)技術(shù)工作滿5年，并具有副高級及以上專業(yè)技術(shù)職稱或者具有同等c)熟悉數(shù)據(jù)標(biāo)注評審基本業(yè)務(wù)流程，掌握數(shù)據(jù)標(biāo)注的基本原理、方法；8.3評審方式a)網(wǎng)絡(luò)評審。組織評審專家通過網(wǎng)絡(luò)評審系統(tǒng)，查閱數(shù)據(jù)標(biāo)注材料并對數(shù)據(jù)標(biāo)注任務(wù)完成情況b)會(huì)議評審(含視頻答辯)。組織評審專家采用現(xiàn)場會(huì)議(網(wǎng)絡(luò)視頻)等形式，通過聽取數(shù)據(jù)標(biāo)注情況的匯報(bào)、質(zhì)詢、討論等程序，對數(shù)據(jù)標(biāo)注工作8.4任務(wù)回退評審不合格的任務(wù)，數(shù)據(jù)標(biāo)注負(fù)責(zé)人應(yīng)進(jìn)行回收，并重新分派，標(biāo)注修改后重新評應(yīng)按照安全遞交方式遞交標(biāo)注結(jié)果，約束的內(nèi)容包括但不a)遞交數(shù)據(jù)的介質(zhì)；b)遞交數(shù)據(jù)的途徑；9.3交付驗(yàn)收a)應(yīng)根據(jù)確認(rèn)的驗(yàn)收標(biāo)準(zhǔn),對數(shù)據(jù)標(biāo)注質(zhì)量進(jìn)行檢查與評價(jià)；b)應(yīng)及時(shí)反饋數(shù)據(jù)標(biāo)注質(zhì)量的相關(guān)結(jié)果,確定是否通9.4任務(wù)歸檔數(shù)據(jù)標(biāo)注結(jié)果驗(yàn)收通過后，對生產(chǎn)過程文檔進(jìn)行分類、整理數(shù)據(jù)標(biāo)注負(fù)責(zé)人應(yīng)組織各工作角色參與總結(jié)工作，編制總結(jié)報(bào)告，內(nèi)a)數(shù)據(jù)標(biāo)注任務(wù)基本信息