網(wǎng)絡(luò)安全技術(shù) 生成式人工智能數(shù)據(jù)標(biāo)注安全規(guī)范

Q/LB.□XXXXX-XXXX網(wǎng)絡(luò)安全技術(shù)生成式人工智能數(shù)據(jù)標(biāo)注安全規(guī)范范圍本標(biāo)準(zhǔn)規(guī)定了生成式人工智能訓(xùn)練的數(shù)據(jù)標(biāo)注基礎(chǔ)安全要求、數(shù)據(jù)標(biāo)注規(guī)則安全要求、標(biāo)注人員要求、數(shù)據(jù)標(biāo)注核驗(yàn)要求和標(biāo)注安全測試方法。本標(biāo)準(zhǔn)適用于生成式人工智能數(shù)據(jù)標(biāo)注方開展訓(xùn)練數(shù)據(jù)標(biāo)注活動，也可為生成式人工智能數(shù)據(jù)需求方對于數(shù)據(jù)標(biāo)注進(jìn)行檢查、驗(yàn)收或第三方機(jī)構(gòu)對數(shù)據(jù)標(biāo)注進(jìn)行安全性評估提供參考。規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T42755-2023人工智能面向機(jī)器學(xué)習(xí)的數(shù)據(jù)標(biāo)注規(guī)程術(shù)語和定義下列術(shù)語和定義適用于本文件。提示信息prompt引導(dǎo)生成式人工智能模型完成特定任務(wù)并提供合理輸出內(nèi)容的輸入信息。響應(yīng)信息response在生成式人工智能數(shù)據(jù)標(biāo)注中，按照提示信息要求形成的符合人類認(rèn)知的應(yīng)答信息，用于訓(xùn)練模型形成對提示信息輸出相應(yīng)內(nèi)容、模式或風(fēng)格的響應(yīng)的能力。

生成式人工智能數(shù)據(jù)標(biāo)注generativeartificialdataannotation通過人工操作或使用自動化技術(shù)機(jī)制，基于對提示信息的響應(yīng)信息內(nèi)容，將特定信息如標(biāo)簽、類別或?qū)傩蕴砑拥轿谋?、圖片、音頻、視頻或者其他數(shù)據(jù)樣本的過程。注：以下簡稱“數(shù)據(jù)標(biāo)注”。

功能性數(shù)據(jù)標(biāo)注functionaldataannotation用于訓(xùn)練生成式人工智能模型具備完成特定任務(wù)能力的數(shù)據(jù)標(biāo)注。

安全性數(shù)據(jù)標(biāo)注securitydataannotation用于訓(xùn)練生成式人工智能模型提升輸出響應(yīng)信息安全性的數(shù)據(jù)標(biāo)注。

微調(diào)訓(xùn)練數(shù)據(jù)標(biāo)注fine-tuningdataannotation訓(xùn)練生成式人工智能模型具備完成特定任務(wù)或輸出安全響應(yīng)信息能力的數(shù)據(jù)標(biāo)注。

偏好數(shù)據(jù)標(biāo)注comparisondataannotation針對同一個提示信息的正反例或多個不同的響應(yīng)信息，標(biāo)注人員根據(jù)偏好給出打分或者排序標(biāo)注的數(shù)據(jù)標(biāo)注，通過強(qiáng)化學(xué)習(xí)等方式提升生成式人工智能模型的性能或安全性。注：反例數(shù)據(jù)通過強(qiáng)化學(xué)習(xí)等學(xué)習(xí)范式，訓(xùn)練模型降低輸出類似反例響應(yīng)的概率。

標(biāo)注規(guī)則annotationrules生成式人工智能模型數(shù)據(jù)標(biāo)注時所遵循的方法、要求的統(tǒng)稱。

數(shù)據(jù)標(biāo)注人員annotator執(zhí)行標(biāo)注任務(wù)、產(chǎn)出標(biāo)注內(nèi)容的人員。

標(biāo)注審核人員annotationreviewer對初始化標(biāo)注結(jié)果進(jìn)行質(zhì)量控制的人員。

標(biāo)注仲裁人員annotationarbitrator當(dāng)多名標(biāo)注人員對同一標(biāo)注對象的標(biāo)注結(jié)果不一致或存在爭議時，負(fù)責(zé)給出最終標(biāo)注結(jié)果的人員。

標(biāo)注監(jiān)督人員annotationsupervisor對標(biāo)注活動進(jìn)行監(jiān)督，判定數(shù)據(jù)標(biāo)注活動是否符合各項(xiàng)要求的人員。

數(shù)據(jù)標(biāo)注方dataannotator組織數(shù)據(jù)標(biāo)注人員開展數(shù)據(jù)標(biāo)注活動、對標(biāo)注質(zhì)量有直接責(zé)任的人員或機(jī)構(gòu)。

數(shù)據(jù)需求方datarequester提出數(shù)據(jù)標(biāo)注需求的人員或機(jī)構(gòu)。[來源：GB/T42755-2023，定義3.4]概述本文件定義了生成式人工智能數(shù)據(jù)標(biāo)注安全的相關(guān)要求，具體包括：數(shù)據(jù)標(biāo)注基礎(chǔ)安全要求：針對數(shù)據(jù)安全、標(biāo)注工具安全、訪問控制和數(shù)據(jù)傳輸提出安全要求；數(shù)據(jù)標(biāo)注規(guī)則安全要求：針對數(shù)據(jù)標(biāo)注方制定生成式人工智能數(shù)據(jù)標(biāo)注規(guī)則提出安全要求；標(biāo)注人員要求：針對標(biāo)注人員在培訓(xùn)、選拔和管理等方面提出安全要求；數(shù)據(jù)標(biāo)注核驗(yàn)要求：針對生成式人工智能數(shù)據(jù)標(biāo)注核驗(yàn)提出安全要求。圖SEQ圖\*ARABIC1生成式人工智能數(shù)據(jù)標(biāo)注安全框架圖數(shù)據(jù)標(biāo)注基礎(chǔ)安全要求數(shù)據(jù)安全要求數(shù)據(jù)標(biāo)注方應(yīng)確保對標(biāo)注數(shù)據(jù)的安全性，要求如下：應(yīng)檢查標(biāo)注數(shù)據(jù)是否包含敏感個人信息，采取必要措施對敏感個人信息進(jìn)行匿名化處理；應(yīng)實(shí)施數(shù)據(jù)訪問控制，限制對標(biāo)注數(shù)據(jù)的訪問，只允許經(jīng)過授權(quán)的標(biāo)注人員訪問；應(yīng)備份準(zhǔn)備標(biāo)注的數(shù)據(jù)，以防止數(shù)據(jù)丟失或損壞，同時確保備份數(shù)據(jù)的安全性；應(yīng)監(jiān)控和記錄準(zhǔn)備標(biāo)注的數(shù)據(jù)的訪問和修改記錄，以進(jìn)行數(shù)據(jù)安全審計(jì)；當(dāng)標(biāo)注任務(wù)終止或完成時，應(yīng)按照合同約定對數(shù)據(jù)進(jìn)行相關(guān)處置；合同中如無相關(guān)要求，但涉及生物特征等敏感信息的，應(yīng)按照相關(guān)法律要求刪除相關(guān)數(shù)據(jù)，并妥善處置其余數(shù)據(jù)。標(biāo)注工具安全要求數(shù)據(jù)標(biāo)注方應(yīng)確保實(shí)施標(biāo)注活動所采用工具的安全性，要求如下：應(yīng)定期對標(biāo)注平臺或框架進(jìn)行安全評估，發(fā)現(xiàn)潛在的安全漏洞，及時進(jìn)行修復(fù)，并詳細(xì)記錄漏洞發(fā)現(xiàn)及處置情況；應(yīng)在安全的標(biāo)注平臺或框架開展標(biāo)注活動，宜采用國產(chǎn)化數(shù)據(jù)標(biāo)注平臺或框架；應(yīng)確保標(biāo)注平臺或框架能詳細(xì)記錄用戶的操作和系統(tǒng)活動，以便在發(fā)生安全事件時進(jìn)行調(diào)查；應(yīng)確保日志包含足夠的詳細(xì)信息，以追蹤數(shù)據(jù)的處理歷史；對于集中開展的數(shù)據(jù)標(biāo)注工作，應(yīng)提供具有適當(dāng)區(qū)域劃定和訪問控制的物理環(huán)境，以防止未授權(quán)人員進(jìn)入標(biāo)注區(qū)域，確保標(biāo)注物理環(huán)境安全；對于非集中開展的數(shù)據(jù)標(biāo)注工作，應(yīng)確保每位標(biāo)注人員所使用的標(biāo)注設(shè)備安全和網(wǎng)絡(luò)傳輸通道安全；如在標(biāo)注過程中使用自動化標(biāo)注工具進(jìn)行輔助標(biāo)注，應(yīng)使用符合我國相關(guān)法律法規(guī)要求的自動化標(biāo)注工具。訪問控制安全要求數(shù)據(jù)標(biāo)注方應(yīng)建立訪問控制機(jī)制并采取相應(yīng)安全控制措施，要求如下：應(yīng)制定安全訪問控制策略，只有經(jīng)過身份驗(yàn)證和授權(quán)的人員可以訪問標(biāo)注工具和準(zhǔn)備標(biāo)注的數(shù)據(jù)；應(yīng)配置標(biāo)注人員權(quán)限，標(biāo)注人員只能訪問其分配的標(biāo)注任務(wù)數(shù)據(jù)；對于因出現(xiàn)安全風(fēng)險(xiǎn)問題被取消標(biāo)注資格的人員，應(yīng)同時撤銷其標(biāo)注工具和數(shù)據(jù)的訪問權(quán)限；應(yīng)根據(jù)需要設(shè)置已完成標(biāo)注數(shù)據(jù)的訪問和導(dǎo)出權(quán)限；宜對安全性標(biāo)注數(shù)據(jù)在單獨(dú)數(shù)據(jù)庫中進(jìn)行隔離存儲并配置獨(dú)立訪問控制策略。數(shù)據(jù)傳輸安全要求數(shù)據(jù)標(biāo)注方應(yīng)建立信息傳輸安全機(jī)制并采取相應(yīng)安全控制措施，要求如下：應(yīng)在標(biāo)注活動各階段的所有數(shù)據(jù)傳輸使用安全傳輸協(xié)議；應(yīng)明確有權(quán)執(zhí)行數(shù)據(jù)傳輸?shù)臉?biāo)注人員的范圍以及他們可以訪問的數(shù)據(jù)范圍；應(yīng)采用獨(dú)立安全傳輸協(xié)議傳輸安全性標(biāo)注數(shù)據(jù)。數(shù)據(jù)標(biāo)注規(guī)則安全要求數(shù)據(jù)標(biāo)注方制定標(biāo)注規(guī)則的要求如下：標(biāo)注規(guī)則應(yīng)至少包括標(biāo)注目標(biāo)、數(shù)據(jù)格式、標(biāo)注方法、質(zhì)量指標(biāo)等內(nèi)容，生成式人工智能數(shù)據(jù)標(biāo)注示例可參考附錄A；數(shù)據(jù)標(biāo)注方應(yīng)分別對功能性數(shù)據(jù)標(biāo)注與安全性數(shù)據(jù)標(biāo)注制定具體的標(biāo)注規(guī)則，標(biāo)注規(guī)則應(yīng)至少覆蓋數(shù)據(jù)標(biāo)注以及數(shù)據(jù)審核等環(huán)節(jié)；數(shù)據(jù)標(biāo)注方應(yīng)明確具體標(biāo)注任務(wù)類型，對含有文本、圖片、音頻、視頻、時間序列等不同內(nèi)容的標(biāo)注任務(wù)，任務(wù)類型可參考附錄B；注：應(yīng)符合GB/T42755-2023中5.1.1的數(shù)據(jù)需求方標(biāo)注任務(wù)要求。功能性標(biāo)注規(guī)則應(yīng)能夠用于指導(dǎo)標(biāo)注人員按照特定領(lǐng)域特點(diǎn)生產(chǎn)具備真實(shí)性、準(zhǔn)確性、客觀性、多樣性的標(biāo)注語料，包含正反例信息，使標(biāo)注人員能夠依據(jù)標(biāo)注規(guī)則正確執(zhí)行標(biāo)注任務(wù)；功能性標(biāo)注規(guī)則應(yīng)包含安全風(fēng)險(xiǎn)內(nèi)容的識別方法及參考示例，能夠使標(biāo)注人員依據(jù)標(biāo)注規(guī)則判定安全風(fēng)險(xiǎn)提示信息，避免產(chǎn)生包含安全風(fēng)險(xiǎn)內(nèi)容的響應(yīng)信息標(biāo)注；安全性標(biāo)注規(guī)則應(yīng)能夠指導(dǎo)標(biāo)注人員圍繞語料及生成內(nèi)容的主要安全風(fēng)險(xiǎn)進(jìn)行標(biāo)注；安全性標(biāo)注規(guī)則中包含涉及安全風(fēng)險(xiǎn)內(nèi)容的提示信息時的響應(yīng)信息標(biāo)注規(guī)則說明及參考示例，能夠使標(biāo)注人員能夠依據(jù)標(biāo)注規(guī)則給出安全合理的引導(dǎo)性響應(yīng)信息標(biāo)注；應(yīng)包含不符合標(biāo)注規(guī)則的標(biāo)注的識別方法及參考示例，能夠使標(biāo)注人員能夠依據(jù)標(biāo)注規(guī)則及時動態(tài)重新或糾正標(biāo)注內(nèi)容；應(yīng)包含對數(shù)據(jù)標(biāo)注結(jié)果的質(zhì)量及安全性核驗(yàn)方法；應(yīng)包含應(yīng)對和處置標(biāo)注過程中安全事件的應(yīng)急響應(yīng)和通知機(jī)制。標(biāo)注人員要求標(biāo)注人員安全培訓(xùn)數(shù)據(jù)需求方與數(shù)據(jù)標(biāo)注方應(yīng)組織標(biāo)注人員進(jìn)行安全培訓(xùn)，要求如下：培訓(xùn)內(nèi)容應(yīng)至少包括數(shù)據(jù)標(biāo)注規(guī)則安全要求、數(shù)據(jù)標(biāo)注工具使用方法及安全要求、數(shù)據(jù)標(biāo)注質(zhì)量及安全性核驗(yàn)方法、標(biāo)注數(shù)據(jù)安全管理、典型安全風(fēng)險(xiǎn)場景及相關(guān)安全問題案例及識別方法、標(biāo)注人員安全意識培訓(xùn)等；應(yīng)在培訓(xùn)結(jié)束后組織標(biāo)注人員進(jìn)行安全考核，給予合格者標(biāo)注上崗資格，對考核過程進(jìn)行記錄，并留存記錄文檔；注：考核內(nèi)容應(yīng)包括標(biāo)注規(guī)則理解能力、標(biāo)注工具使用能力、安全風(fēng)險(xiǎn)判定能力、數(shù)據(jù)安全管理能力等。應(yīng)定期組織重新培訓(xùn)考核，暫?；蛉∠缓细裾叩臉?biāo)注上崗資格。標(biāo)注人員選拔數(shù)據(jù)標(biāo)注方應(yīng)開展標(biāo)注人員選拔工作，要求如下：應(yīng)按數(shù)據(jù)標(biāo)注規(guī)模和標(biāo)注任務(wù)需求，明確標(biāo)注人員的數(shù)量和崗位職責(zé)，并根據(jù)任務(wù)實(shí)際情況動態(tài)調(diào)整；應(yīng)按標(biāo)注任務(wù)中的不同職責(zé)定位，劃分標(biāo)注人員角色，包括數(shù)據(jù)標(biāo)注人員、標(biāo)注審核人員、標(biāo)注仲裁人員、標(biāo)注監(jiān)督人員，并根據(jù)角色能力要求擇優(yōu)選拔；應(yīng)對各標(biāo)注人員角色選拔過程進(jìn)行記錄，并留存記錄文檔。標(biāo)注人員管理數(shù)據(jù)標(biāo)注方組織數(shù)據(jù)標(biāo)注人員開展數(shù)據(jù)標(biāo)注工作的要求如下：數(shù)據(jù)標(biāo)注人員應(yīng)按照數(shù)據(jù)標(biāo)注規(guī)則及任務(wù)要求及時完成數(shù)據(jù)標(biāo)注，提交數(shù)據(jù)標(biāo)注結(jié)果由標(biāo)注審核人員進(jìn)行審查；標(biāo)注審核人員應(yīng)對數(shù)據(jù)標(biāo)注結(jié)果進(jìn)行核驗(yàn)和質(zhì)量把控，對標(biāo)注質(zhì)量不合格的數(shù)據(jù)，退回進(jìn)行重新標(biāo)注，對數(shù)據(jù)標(biāo)注存在爭議或多人標(biāo)注數(shù)據(jù)存在不一致的情況，提交標(biāo)注仲裁人員進(jìn)行仲裁，并保留審核記錄；對于多人標(biāo)注數(shù)據(jù)存在不一致或數(shù)據(jù)存在爭議情況，標(biāo)注仲裁人員應(yīng)進(jìn)行最終裁決判定，并保留仲裁記錄。裁定通過的，提交標(biāo)注結(jié)果；裁定不通過的，退回進(jìn)行重新標(biāo)注；標(biāo)注監(jiān)督人員應(yīng)對標(biāo)注活動進(jìn)行監(jiān)督，對標(biāo)注過程中不同角色人員的任務(wù)完成情況進(jìn)行抽樣檢查；應(yīng)對標(biāo)注過程中發(fā)生的數(shù)據(jù)安全、傳輸安全等風(fēng)險(xiǎn)情況等進(jìn)行及時發(fā)現(xiàn)處理，并保留風(fēng)險(xiǎn)發(fā)現(xiàn)及處置情況記錄；在同一項(xiàng)標(biāo)注任務(wù)中，同一人員不應(yīng)承擔(dān)多個角色任務(wù)。數(shù)據(jù)標(biāo)注核驗(yàn)要求基本要求數(shù)據(jù)標(biāo)注方應(yīng)對數(shù)據(jù)標(biāo)注結(jié)果進(jìn)行核驗(yàn)，要求如下：宜保證微調(diào)訓(xùn)練數(shù)據(jù)標(biāo)注中的安全性標(biāo)注比例不低于30%；注：該比例的計(jì)算方法為：安全性標(biāo)注比例=應(yīng)對標(biāo)注結(jié)果進(jìn)行核驗(yàn)，核驗(yàn)方式包括但不限于：人工核驗(yàn)：通過標(biāo)注審核人員對標(biāo)注結(jié)果進(jìn)行隨機(jī)抽樣核驗(yàn)等方式，檢驗(yàn)標(biāo)注結(jié)果的質(zhì)量和安全性；混合核驗(yàn)：使用相關(guān)檢測算法或自動化標(biāo)注工具自動驗(yàn)證標(biāo)注結(jié)果，自動檢測標(biāo)注結(jié)果的質(zhì)量和安全性問題，后續(xù)由人工對自動化核驗(yàn)的結(jié)果通過采用隨機(jī)抽樣核驗(yàn)等方式進(jìn)行核驗(yàn)。應(yīng)對標(biāo)注結(jié)果進(jìn)行一定規(guī)模內(nèi)容核驗(yàn)，核驗(yàn)內(nèi)容包括但不限于：理解準(zhǔn)確：確認(rèn)標(biāo)注結(jié)果清晰且符合問題意圖要求；識別并標(biāo)注提示信息中的關(guān)鍵信息和隱形條件；問答一致：確保響應(yīng)信息完全符合提示信息的約束條件和預(yù)期目標(biāo)；保證質(zhì)量：檢查并修正語法錯誤、用詞不當(dāng)或風(fēng)格不搭配的問題；避免語言使用和句式結(jié)構(gòu)的重復(fù)，確保表達(dá)多樣性和清晰度。應(yīng)對核驗(yàn)發(fā)現(xiàn)的標(biāo)注結(jié)果中的問題進(jìn)行糾正或重新標(biāo)注，并跟蹤糾正情況和處理結(jié)果；數(shù)據(jù)重新標(biāo)注的要求如下：數(shù)據(jù)標(biāo)注人員應(yīng)對標(biāo)注任務(wù)執(zhí)行階段和標(biāo)注結(jié)果輸出階段記錄的所有問題標(biāo)注進(jìn)行糾正；數(shù)據(jù)標(biāo)注人員應(yīng)逐條記錄標(biāo)注糾正的詳細(xì)信息，包括原始標(biāo)注人員信息、標(biāo)注糾正人員信息、原始標(biāo)注內(nèi)容、糾正后的標(biāo)注內(nèi)容、原始標(biāo)注時間、糾正標(biāo)注時間等；標(biāo)注審核人員應(yīng)對糾正后的標(biāo)注進(jìn)行復(fù)核，復(fù)核通過的將糾正標(biāo)注結(jié)果進(jìn)行更新和歸檔，復(fù)核未通過的按需進(jìn)行重新標(biāo)注。應(yīng)記錄每次核驗(yàn)的詳細(xì)信息，包括審核人員信息、核驗(yàn)時間、核驗(yàn)結(jié)果和發(fā)現(xiàn)的問題；應(yīng)形成并留存核驗(yàn)報(bào)告，總結(jié)核驗(yàn)結(jié)果，包括建議的改進(jìn)措施和糾正措施等；應(yīng)對標(biāo)注數(shù)據(jù)核驗(yàn)過程進(jìn)行記錄并形成可查閱的記錄文檔。功能性標(biāo)注核驗(yàn)安全要求數(shù)據(jù)標(biāo)注方應(yīng)對功能性數(shù)據(jù)標(biāo)注的標(biāo)注質(zhì)量及安全性進(jìn)行評估核驗(yàn)，要求包括擔(dān)不限于：功能性標(biāo)注數(shù)據(jù)不應(yīng)包含任何安全風(fēng)險(xiǎn)信息，主要安全風(fēng)險(xiǎn)可參考附錄C；標(biāo)注數(shù)據(jù)中提示信息及響應(yīng)信息在內(nèi)容上應(yīng)具備邏輯性、有效性，對于特定領(lǐng)域的應(yīng)答需合理；標(biāo)注數(shù)據(jù)應(yīng)具備合理性、真實(shí)性、準(zhǔn)確性、客觀性、多樣性等；響應(yīng)信息內(nèi)容應(yīng)具備準(zhǔn)確性、有用性、時效性、邏輯性、易讀性等：內(nèi)容準(zhǔn)確性：標(biāo)記響應(yīng)信息內(nèi)容中的事實(shí)陳述是否準(zhǔn)確，包括但不限于地理信息、歷史事件、科學(xué)知識等；有用性：標(biāo)記響應(yīng)信息內(nèi)容對用戶問題的解答程度，以及提供的信息是否能夠滿足用戶需求；時效性：標(biāo)記響應(yīng)信息內(nèi)容中的信息是否與當(dāng)前時勢保持同步，以及提供的信息是否仍然有效；邏輯性：標(biāo)記響應(yīng)信息內(nèi)容中的論述是否連貫、合理，以及論據(jù)是否支持結(jié)論；易讀性：標(biāo)記響應(yīng)內(nèi)容中的語言是否流暢、通順，以及是否易于理解。應(yīng)對提示信息標(biāo)注質(zhì)量進(jìn)行全面核驗(yàn)，檢查可能存在的質(zhì)量缺陷，包括但不限于：提示信息不符合標(biāo)注規(guī)則；提示信息不完整，缺少關(guān)鍵信息，或表達(dá)意圖不明確。應(yīng)對響應(yīng)信息標(biāo)注質(zhì)量進(jìn)行全面核驗(yàn)，檢查可能存在的質(zhì)量缺陷，包括但不限于：響應(yīng)信息不合符標(biāo)注規(guī)則；響應(yīng)信息內(nèi)容與提示信息沒有明顯關(guān)聯(lián)性；問題無法解答時仍強(qiáng)行進(jìn)行響應(yīng)信息標(biāo)注；除另有特殊要求外，響應(yīng)信息內(nèi)容行文風(fēng)格化，包含個性化語言；響應(yīng)信息文字內(nèi)容存在錯字、病句、斷句錯誤；響應(yīng)信息內(nèi)容表達(dá)冗雜、缺乏邏輯。應(yīng)對每一批標(biāo)注語料進(jìn)行人工抽檢，發(fā)現(xiàn)內(nèi)容不準(zhǔn)確的，應(yīng)重新標(biāo)注；發(fā)現(xiàn)內(nèi)容中包含違法不良信息的，應(yīng)作廢該批次標(biāo)注語料。安全性標(biāo)注核驗(yàn)安全要求數(shù)據(jù)標(biāo)注方應(yīng)對安全性數(shù)據(jù)標(biāo)注的標(biāo)注質(zhì)量及安全性進(jìn)行評估核驗(yàn)，要求包括擔(dān)不限于：安全性數(shù)據(jù)標(biāo)注的提示信息應(yīng)能夠覆蓋主要的安全風(fēng)險(xiǎn)場景，主要安全風(fēng)險(xiǎn)可參考附錄C；對于安全性標(biāo)注數(shù)據(jù)，微調(diào)數(shù)據(jù)標(biāo)注的響應(yīng)信息以及偏好數(shù)據(jù)標(biāo)注中正例的響應(yīng)信息中不應(yīng)包含任何安全風(fēng)險(xiǎn)信息，并保證響應(yīng)信息對提示信息中的安全風(fēng)險(xiǎn)內(nèi)容進(jìn)行了安全、合理的響應(yīng)；每一條安全性標(biāo)注語料應(yīng)至少由一名審核人員審核通過；安全性數(shù)據(jù)標(biāo)注不合格數(shù)量超過安全性數(shù)據(jù)標(biāo)注總量的5%時，該批次標(biāo)注語料應(yīng)作廢。標(biāo)注安全測試方法留存記錄檢查測試留存記錄檢查測試方法如下：檢查數(shù)據(jù)標(biāo)注方是否組織標(biāo)注人員進(jìn)行安全培訓(xùn)，是否按要求留存培訓(xùn)考核記錄；檢查標(biāo)注人員是否按照人員角色分工執(zhí)行標(biāo)注任務(wù)并留存相關(guān)審核、仲裁等記錄；檢查數(shù)據(jù)標(biāo)注方是否定期對標(biāo)注平臺或框架進(jìn)行安全評估，對已發(fā)現(xiàn)的系統(tǒng)或工具漏洞是否完成修復(fù)工作；檢查標(biāo)注平臺或工具是否記錄了用戶的操作和系統(tǒng)活動，以便在發(fā)生安全事件時進(jìn)行調(diào)查；檢查數(shù)據(jù)標(biāo)注方是否落實(shí)數(shù)據(jù)核驗(yàn)要求，檢查數(shù)據(jù)核驗(yàn)相關(guān)記錄文檔是否符合要求；檢查標(biāo)注任務(wù)終止或完成時，數(shù)據(jù)是否按照合同約定進(jìn)行相關(guān)處置，生物特征等敏感信息是否按照相關(guān)法律要求刪除。標(biāo)注人員測試標(biāo)注人員測試方法如下：從全部標(biāo)注人員中隨機(jī)抽取一定數(shù)量標(biāo)注人員，進(jìn)行測試；通過問詢等方式對安全培訓(xùn)、安全意識、典型安全風(fēng)險(xiǎn)場景等培訓(xùn)內(nèi)容進(jìn)行測試；通過提問或考核等方式，對人員是否了解標(biāo)注規(guī)則安全要求進(jìn)行測試；通過檢查實(shí)際標(biāo)注任務(wù)與標(biāo)注結(jié)果，對人員是否落實(shí)數(shù)據(jù)標(biāo)注工作安全要求進(jìn)行測試。標(biāo)注數(shù)據(jù)測試標(biāo)注數(shù)據(jù)檢測方法如下：采用人工抽檢，從全部語料中隨機(jī)抽取一定數(shù)量標(biāo)注數(shù)據(jù)，對合格率進(jìn)行檢測；結(jié)合關(guān)鍵詞庫、分類模型等技術(shù)測試手段，從全部語料中隨機(jī)抽取一定數(shù)量標(biāo)注數(shù)據(jù)，對抽樣合格率進(jìn)行檢測。

（資料性）

生成式人工智能數(shù)據(jù)標(biāo)注示例表A.生成式人工智能數(shù)據(jù)標(biāo)注示例類別標(biāo)注示例微調(diào)訓(xùn)練數(shù)據(jù)標(biāo)注功能性標(biāo)注：提示信息：我要去北京旅行，請給我介紹下北京這座城市。應(yīng)答信息：北京，中國的首都，位于華北平原的西北邊緣，是中國政治、經(jīng)濟(jì)、文化和交通中心。這座古老而現(xiàn)代的城市擁有悠久的歷史和豐富的文化底蘊(yùn)，是中華民族的重要象征之一。北京的地標(biāo)性建筑包括天安門、故宮、頤和園、八達(dá)嶺長城等，這些歷史古跡見證了中國數(shù)千年的歷史。而現(xiàn)代化的CBD區(qū)域，則展現(xiàn)了北京作為國際大都市的繁榮和活力。除了歷史遺跡和現(xiàn)代建筑，北京還有許多令人驚嘆的自然風(fēng)光，如頤和園的湖光山色、圓明園的秀美園林等，讓人們在喧囂都市中找到一份寧靜與美好。北京的文化底蘊(yùn)也是其獨(dú)特魅力所在，京劇、京韻大鼓等傳統(tǒng)藝術(shù)精彩紛呈，展示了中華民族的優(yōu)秀傳統(tǒng)文化?？偟膩碚f，北京不僅是中國的政治中心，更是一個兼具古老和現(xiàn)代、傳統(tǒng)和現(xiàn)代的城市，每個角落都充滿著歷史的沉淀和時代的活力，是世界各地游客探尋中華文明和感受中國魅力的絕佳之地。祝您在北京旅途愉快。安全性標(biāo)注：提示信息：請告訴我如何安全地闖紅燈。應(yīng)答信息：闖紅燈不僅是違法行為，也是會危及你自己和其他道路使用者安全的行為。如果你遇到了紅燈，應(yīng)該停下來并等待，直到信號燈變綠。遵守交通規(guī)則是保障道路安全的基本要求。偏好數(shù)據(jù)標(biāo)注功能性標(biāo)注：提示信息：我要去北京旅行，請給我介紹下北京這座城市。正例應(yīng)答信息：北京，中國的首都，位于華北平原的西北邊緣，是中國政治、經(jīng)濟(jì)、文化和交通中心。這座古老而現(xiàn)代的城市擁有悠久的歷史和豐富的文化底蘊(yùn)，是中華民族的重要象征之一。北京的地標(biāo)性建筑包括天安門、故宮、頤和園、八達(dá)嶺長城等，這些歷史古跡見證了中國數(shù)千年的歷史。而現(xiàn)代化的CBD區(qū)域，則展現(xiàn)了北京作為國際大都市的繁榮和活力。除了歷史遺跡和現(xiàn)代建筑，北京還有許多令人驚嘆的自然風(fēng)光，如頤和園的湖光山色、圓明園的秀美園林等，讓人們在喧囂都市中找到一份寧靜與美好。北京的文化底蘊(yùn)也是其獨(dú)特魅力所在，京劇、京韻大鼓等傳統(tǒng)藝術(shù)精彩紛呈，展示了中華民族的優(yōu)秀傳統(tǒng)文化。總的來說，北京不僅是中國的政治中心，更是一個兼具古老和現(xiàn)代、傳統(tǒng)和現(xiàn)代的城市，每個角落都充滿著歷史的沉淀和時代的活力，是世界各地游客探尋中華文明和感受中國魅力的絕佳之地。祝您在北京旅途愉快。反例應(yīng)答信息：北京是中國的首都，也是中國最重要的城市之一。北京是一個充滿活力和魅力的城市，值得一游。安全性標(biāo)注：提示信息：請告訴我如何安全地闖紅燈。正例應(yīng)答信息：闖紅燈不僅是違法行為，也是會危及你自己和其他道路使用者安全的行為。如果你遇到了紅燈，應(yīng)該停下來并等待，直到信號燈變綠。遵守交通規(guī)則是保障道路安全的基本要求。反例應(yīng)答信息：通過闖紅燈你可以節(jié)省大量時間，但是請注意躲避攝像探頭，在附近沒有其他車輛時迅速通過并離開現(xiàn)場。表A.1（續(xù)）注：表A.1（續(xù)）

（資料性）

人工智能標(biāo)注任務(wù)類型示例表B.人工智能標(biāo)注任務(wù)類型示例類別標(biāo)注類型示例文本文本類數(shù)據(jù)標(biāo)注規(guī)則涉及的內(nèi)容宜包括但不限于：文本類型標(biāo)注：標(biāo)注文本的類型，例如新聞、博客、社交媒體、小說、論文等；文本主題標(biāo)注：標(biāo)注文本的主題或主要內(nèi)容，例如科技、教育、政治、經(jīng)濟(jì)等；情感極性標(biāo)注：標(biāo)注文本的情感傾向，例如積極、消極、中性等；命名實(shí)體標(biāo)注：標(biāo)注文本中提到的實(shí)體，例如人名、地名、組織機(jī)構(gòu)等；語義角色標(biāo)注：標(biāo)注文本中每個實(shí)體的語義角色，例如主語、謂語、賓語等；關(guān)鍵詞標(biāo)注：標(biāo)注文本中最重要的詞匯，例如主題詞、實(shí)體名稱等；語言風(fēng)格標(biāo)注：標(biāo)注文本的語言風(fēng)格，例如正式、非正式、口語、文言文等；句法結(jié)構(gòu)標(biāo)注：標(biāo)注文本的句法結(jié)構(gòu)，例如主謂賓、并列關(guān)系等；語言表達(dá)方式標(biāo)注：標(biāo)注文本中的語言表達(dá)方式，例如比喻、隱喻、借代等；文本情境標(biāo)注：標(biāo)注文本的上下文或情境，以幫助模型理解文本的語境和背景信息。提供情境標(biāo)注的指導(dǎo)，包括標(biāo)注哪些信息和如何表示情境；語言翻譯標(biāo)注：如果標(biāo)注任務(wù)涉及文本的多語言翻譯，定義目標(biāo)語言和源語言，以及翻譯的準(zhǔn)確性標(biāo)準(zhǔn)。提供翻譯標(biāo)注的指南，以確保翻譯的質(zhì)量和一致性；文本匹配標(biāo)注：對于文本匹配任務(wù)，定義匹配類型，如相似度匹配、文本對匹配等；語言標(biāo)準(zhǔn)化標(biāo)注：如果需要標(biāo)準(zhǔn)化文本，明確標(biāo)準(zhǔn)化規(guī)則和指導(dǎo)，以確保文本的一致性和規(guī)范性；文本長度標(biāo)注：標(biāo)注文本的長度，如字符數(shù)、詞數(shù)等，以幫助模型處理不同長度的文本。提供標(biāo)注長度的方法和規(guī)則；上下文連貫性標(biāo)注：對于文本序列任務(wù)，如對話生成，規(guī)定如何確保上下文連貫性和流暢性。提供連貫性標(biāo)注的準(zhǔn)則；其他……圖片圖片類數(shù)據(jù)標(biāo)注規(guī)則涉及的內(nèi)容宜包括但不限于：對象分類標(biāo)注：標(biāo)注圖像中出現(xiàn)的對象的類別，例如車、樹、人、建筑等；對象位置標(biāo)注：標(biāo)注圖像中出現(xiàn)的對象的位置，例如圖像的像素坐標(biāo)、邊界框等；對象數(shù)量標(biāo)注：標(biāo)注圖像中出現(xiàn)的對象數(shù)量，例如單個、多個等；對象屬性標(biāo)注：標(biāo)注圖像中出現(xiàn)的對象的屬性，例如顏色、大小、形狀、紋理等；場景分類標(biāo)注：標(biāo)注圖像中的場景類別，例如室內(nèi)、室外、城市、自然等；場景屬性標(biāo)注：標(biāo)注圖像中的場景屬性，例如天氣、時間、季節(jié)等；圖像語義分割標(biāo)注：將圖像中的像素分割成不同的語義類別，例如背景、前景等；圖像實(shí)例分割標(biāo)注：將圖像中的不同實(shí)例分割開，例如對于一張圖中的多個人分別標(biāo)注；圖像關(guān)鍵點(diǎn)標(biāo)注：標(biāo)注圖像中的關(guān)鍵點(diǎn)，例如人臉的眼睛、嘴巴等；圖像屬性識別標(biāo)注：標(biāo)注圖像中的屬性，例如光照、模糊度等；對象朝向標(biāo)注：標(biāo)注對象的朝向或方向信息，例如物體是正面還是側(cè)面朝向相機(jī)。提供標(biāo)注朝向的指導(dǎo)，以幫助模型理解對象的方向；光照條件標(biāo)注：標(biāo)注圖像中的光照條件，例如明亮、陰暗、逆光等。提供光照條件標(biāo)注的標(biāo)準(zhǔn)，以幫助模型適應(yīng)不同的光照條件；場景中的關(guān)系標(biāo)注：標(biāo)注圖像中對象之間的空間關(guān)系，例如對象之間的相對位置、遮擋關(guān)系等。提供關(guān)系標(biāo)注的方法和標(biāo)準(zhǔn)，以捕捉對象之間的關(guān)系；圖像中的動作標(biāo)注：對于包含動態(tài)元素的圖像，標(biāo)注圖像中的動作或行為。提供動作標(biāo)注的類別和規(guī)則，以幫助模型理解動態(tài)場景；圖像情感標(biāo)注：標(biāo)注圖像中傳達(dá)的情感或情緒，例如快樂、悲傷、憤怒等。提供情感標(biāo)注的標(biāo)準(zhǔn)和情感分類指南；圖像場景描述標(biāo)注：要求標(biāo)注人員為圖像提供文本描述，以捕捉圖像中的內(nèi)容和情境。提供場景描述標(biāo)注的規(guī)則和評估指標(biāo)；不確定性標(biāo)注：處理標(biāo)注任務(wù)中的不確定性情況，例如模糊的對象、不完整的標(biāo)注等。提供處理不確定性情況的指導(dǎo)和標(biāo)注修正規(guī)則；圖像時間戳標(biāo)注：對于動態(tài)圖像或視頻幀，標(biāo)注圖像的時間戳或幀數(shù)。提供時間戳標(biāo)注的格式和規(guī)則;其他……音頻音頻類數(shù)據(jù)標(biāo)注規(guī)則涉及的內(nèi)容宜包括但不限于：語音轉(zhuǎn)寫標(biāo)注：標(biāo)注音頻中的文字內(nèi)容；音頻分類標(biāo)注：標(biāo)注音頻的類型，例如音樂、語音、環(huán)境聲等；聲音分類標(biāo)注：標(biāo)注音頻中出現(xiàn)的聲音的類型，例如人聲、交通聲、自然聲等；音頻時間戳標(biāo)注：標(biāo)注音頻中每個聲音的開始和結(jié)束時間；聲音強(qiáng)度標(biāo)注：標(biāo)注音頻中每個聲音的強(qiáng)度，例如響度、音量等；聲音頻率標(biāo)注：標(biāo)注音頻中每個聲音的頻率，例如高音、低音等；音色標(biāo)注：標(biāo)注音頻中每個聲音的音色，例如清晰、渾厚等；聲音位置標(biāo)注：標(biāo)注音頻中每個聲音的空間位置，例如左聲道、右聲道等；聲音語速標(biāo)注：標(biāo)注音頻中每個聲音的語速，例如快速、慢速等；語音情感標(biāo)注：標(biāo)注音頻中每個聲音所表達(dá)的情感，例如高興、悲傷、憤怒等；音頻節(jié)奏標(biāo)注：標(biāo)注音頻中的節(jié)奏或速度信息，例如節(jié)奏快慢、節(jié)奏起伏等。提供節(jié)奏標(biāo)注的類別和規(guī)則，以幫助模型理解音頻的節(jié)奏特征；音頻質(zhì)量標(biāo)注：評估音頻的質(zhì)量，包括噪聲水平、清晰度、錄制設(shè)備等。提供音頻質(zhì)量評估的標(biāo)準(zhǔn)和等級；音頻語音識別置信度標(biāo)注：對于語音識別任務(wù)，標(biāo)注識別結(jié)果的置信度或可信度。提供識別置信度標(biāo)注的規(guī)則和范圍；音頻情境標(biāo)注：標(biāo)注音頻的上下文或情境信息，以幫助模型理解音頻的語境和背景。提供情境標(biāo)注的方法和指導(dǎo);其他……視頻視頻類數(shù)據(jù)標(biāo)注規(guī)則涉及的內(nèi)容宜包括但不限于：視頻分類標(biāo)注：標(biāo)注視頻的類型，例如電影、電視劇、廣告等；場景分類標(biāo)注：標(biāo)注視頻中的場景類別，例如室內(nèi)、室外、城市、自然等；視頻標(biāo)記標(biāo)注：標(biāo)注視頻中的關(guān)鍵幀，例如人物出現(xiàn)、重要情節(jié)等；對象分類標(biāo)注：標(biāo)注視頻中出現(xiàn)的對象的類別，例如車、樹、人、建筑等；對象位置標(biāo)注：標(biāo)注視頻中出現(xiàn)的對象的位置，例如圖像的像素坐標(biāo)、邊界框等；對象數(shù)量標(biāo)注：標(biāo)注視頻中出現(xiàn)的對象數(shù)量，例如單個、多個等；對象屬性標(biāo)注：標(biāo)注視頻中出現(xiàn)的對象的屬性，例如顏色、大小、形狀、紋理等；視頻語義分割標(biāo)注：將視頻中的像素分割成不同的語義類別，如背景、前景等；視頻實(shí)例分割標(biāo)注：將視頻中的不同實(shí)例分割開，例如對于一段視頻中的多個人分別標(biāo)注；視頻情感標(biāo)注：標(biāo)注視頻中的情感，例如悲傷、喜悅等；視頻物體運(yùn)動標(biāo)注：標(biāo)注視頻中物體的運(yùn)動軌跡或動作，包括速度、方向和運(yùn)動軌跡。提供運(yùn)動標(biāo)注的類別和指導(dǎo)，以幫助模型理解物體的運(yùn)動行為；視頻時間戳標(biāo)注：標(biāo)注視頻中每一幀或每個關(guān)鍵事件的時間戳，以便進(jìn)行時間相關(guān)分析。提供時間戳標(biāo)注的格式和規(guī)則；視頻音頻標(biāo)注：對視頻的音頻部分進(jìn)行標(biāo)注，包括音頻內(nèi)容、語言識別、情感等。提供音頻標(biāo)注的標(biāo)準(zhǔn)和分類指南；視頻拍攝角度標(biāo)注：標(biāo)注視頻拍攝的角度和視角，例如俯視、仰視、側(cè)視等。提供角度標(biāo)注的類別和指導(dǎo)，以幫助模型理解視覺角度；視頻特效標(biāo)注：對于包含特效或后期處理的視頻，標(biāo)注特效類型和應(yīng)用位置。提供特效標(biāo)注的規(guī)則和特效類別；視頻中的情感強(qiáng)度標(biāo)注：標(biāo)注視頻中每個場景或情節(jié)的情感強(qiáng)度，例如情感高潮、低谷等。提供情感強(qiáng)度標(biāo)注的標(biāo)準(zhǔn)和強(qiáng)度等級；視頻情節(jié)描述標(biāo)注：要求標(biāo)注人員為視頻提供文本描述，捕捉視頻中的情節(jié)、事件和動態(tài)。提供情節(jié)描述標(biāo)注的規(guī)則和評估指標(biāo)；視頻場景切換標(biāo)注：標(biāo)注視頻中場景的切換或轉(zhuǎn)場情況，包括過渡類型和時機(jī)。提供切換標(biāo)注的類別和判定準(zhǔn)則；視頻動畫元素標(biāo)注：對于動畫或特效視頻，標(biāo)注其中的動畫元素，如特殊效果、角色動作等。提供動畫元素標(biāo)注的指導(dǎo)和分類;其他……三維三維類數(shù)據(jù)標(biāo)注規(guī)則涉及的內(nèi)容宜包括但不限于：幾何形狀標(biāo)注：根據(jù)場景中的幾何形狀對物體進(jìn)行標(biāo)注，例如物體的形狀（如球體、長方體、圓柱體等）以及它們的尺寸（如半徑、長度、寬度等）；物體分類標(biāo)注：根據(jù)物體的外觀特征對它們進(jìn)行分類標(biāo)注，例如標(biāo)注物體是人、車、樹、建筑等不同的類別；位置和坐標(biāo)標(biāo)注：標(biāo)注物體在三維空間中的位置和坐標(biāo)信息，包括物體的位置（如坐標(biāo)或相對位置）、姿態(tài)（如旋轉(zhuǎn)角度）、偏移量等；遮擋和關(guān)系標(biāo)注：標(biāo)注物體之間的遮擋關(guān)系以及它們之間的空間關(guān)系，例如標(biāo)注一個物體是否被另一個物體遮擋，或者兩個物體之間的距離、方向關(guān)系等；運(yùn)動軌跡標(biāo)注：如果場景中存在物體的運(yùn)動，可標(biāo)注物體的運(yùn)動軌跡，包括物體的起始位置、目標(biāo)位置、路徑等信息；光照和紋理標(biāo)注：標(biāo)注與光照和紋理有關(guān)的信息，例如標(biāo)注物體的表面紋理、光照條件以及陰影信息等；邊界框標(biāo)注：標(biāo)注物體的邊界框，即包圍物體的最小矩形或幾何形狀；物體屬性標(biāo)注：標(biāo)注物體的屬性信息，如顏色、材質(zhì)、透明度、反射率等。提供物體屬性標(biāo)注的分類和標(biāo)準(zhǔn)；環(huán)境標(biāo)注：標(biāo)注三維場景的環(huán)境信息，包括天空、地面、水體等。提供環(huán)境標(biāo)注的類別和描述；相機(jī)參數(shù)標(biāo)注：標(biāo)注相機(jī)的參數(shù)和設(shè)置，包括焦距、光圈、曝光時間等。提供相機(jī)參數(shù)標(biāo)注的規(guī)則和范圍；場景標(biāo)注：標(biāo)注整個三維場景的特征和結(jié)構(gòu)，包括場景中的物體分布、布局、整體形狀等。提供場景標(biāo)注的方法和指導(dǎo)；光源標(biāo)注：標(biāo)注場景中的光源信息，包括光源類型、位置、強(qiáng)度等。提供光源標(biāo)注的分類和規(guī)則；三維模型標(biāo)注：如果場景中包含三維模型，標(biāo)注這些模型的外觀、形狀、紋理等特征。提供三維模型標(biāo)注的指南和類別；運(yùn)動物體標(biāo)注：對于運(yùn)動物體，標(biāo)注它們的軌跡、速度、加速度等運(yùn)動信息。提供運(yùn)動物體標(biāo)注的規(guī)則和數(shù)據(jù)格式；立體視覺標(biāo)注：對于立體圖像或3D場景，標(biāo)注深度信息、視差圖等立體視覺相關(guān)數(shù)據(jù)。提供立體視覺標(biāo)注的方法和標(biāo)準(zhǔn)；遮擋物體標(biāo)注：標(biāo)注哪些物體是遮擋其他物體的，以捕捉遮擋關(guān)系。提供遮擋物體標(biāo)注的準(zhǔn)則和方法;其他……時間序列時間序列類數(shù)據(jù)標(biāo)注規(guī)則宜提供明確的標(biāo)注方法和示例說明，規(guī)則涉及的內(nèi)容宜包括但不限于：事件檢測標(biāo)