數(shù)據(jù)標(biāo)注工程-概念、方法、工具與案例 課件 第11章 工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)

人工智能技術(shù)應(yīng)用核心課程系列教材數(shù)據(jù)標(biāo)注工程——概念、方法、工具與案例第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)人工智能技術(shù)應(yīng)用核心課程系列教材11.1數(shù)據(jù)標(biāo)注系統(tǒng)概述11.3本章小結(jié)11.4作業(yè)與練習(xí)11.1

數(shù)據(jù)標(biāo)注系統(tǒng)概述

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)數(shù)據(jù)標(biāo)注工具是指數(shù)據(jù)標(biāo)注員完成標(biāo)注任務(wù)產(chǎn)生標(biāo)注結(jié)果時(shí)所需的工具和軟件。不同的數(shù)據(jù)類(lèi)型和標(biāo)注任務(wù)需要不同的標(biāo)注工具，根據(jù)標(biāo)注的數(shù)據(jù)類(lèi)型，數(shù)據(jù)標(biāo)注工具可分為文本數(shù)據(jù)標(biāo)注工具、圖像數(shù)據(jù)標(biāo)注工具、視頻數(shù)據(jù)標(biāo)注工具、語(yǔ)音數(shù)據(jù)標(biāo)注工具、3D點(diǎn)云標(biāo)注工具。標(biāo)注工具按照自動(dòng)化程度可分為手動(dòng)標(biāo)注、半自動(dòng)、自動(dòng)三種。其中，半自動(dòng)標(biāo)注是指人工結(jié)合自動(dòng)化工具進(jìn)行數(shù)據(jù)標(biāo)注。概述11.1

數(shù)據(jù)標(biāo)注系統(tǒng)概述典型數(shù)據(jù)標(biāo)注平臺(tái)包括基礎(chǔ)支撐、標(biāo)注工具及標(biāo)注模板、數(shù)據(jù)生產(chǎn)流程、數(shù)據(jù)產(chǎn)品管理、以及服務(wù)平臺(tái)等。11.1.1典型數(shù)據(jù)標(biāo)注平臺(tái)系統(tǒng)架構(gòu)

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.1

數(shù)據(jù)標(biāo)注系統(tǒng)概述單段落語(yǔ)音數(shù)據(jù)標(biāo)注工具：能夠進(jìn)行語(yǔ)音內(nèi)容轉(zhuǎn)寫(xiě)，語(yǔ)音屬性標(biāo)注。語(yǔ)音屬性包括語(yǔ)音數(shù)據(jù)是否有效、語(yǔ)音語(yǔ)言情況、噪聲情況、語(yǔ)音能否聽(tīng)清、說(shuō)話(huà)人性別、說(shuō)話(huà)人口音以及是否包含噪音。11.1.2典型標(biāo)注工具

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.1

數(shù)據(jù)標(biāo)注系統(tǒng)概述圖像目標(biāo)框標(biāo)注工具：能夠?qū)D像中的目標(biāo)對(duì)象進(jìn)行矩形框標(biāo)注。11.1.2典型標(biāo)注工具

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)人工智能技術(shù)應(yīng)用核心課程系列教材11.1數(shù)據(jù)標(biāo)注系統(tǒng)概述11.3本章小結(jié)11.4作業(yè)與練習(xí)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)為更好服務(wù)企業(yè)數(shù)據(jù)加工需求，數(shù)據(jù)堂基于多年行業(yè)經(jīng)驗(yàn)，研發(fā)并推出了私有化解決?案產(chǎn)品數(shù)加加Pro。數(shù)加加Pro打通企業(yè)數(shù)據(jù)平臺(tái)、數(shù)據(jù)私有化加工、數(shù)據(jù)安全交付環(huán)節(jié)，覆蓋數(shù)據(jù)標(biāo)注服務(wù)全生命周期，為企業(yè)客戶(hù)提供數(shù)據(jù)標(biāo)注服務(wù)整體解決方案。11.2.1適用范圍

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)數(shù)加加Pro與數(shù)據(jù)堂自用的線(xiàn)上數(shù)據(jù)標(biāo)注平臺(tái)工具完全一致，是多年經(jīng)驗(yàn)錘煉的結(jié)果。數(shù)加加Pro中還集成了數(shù)據(jù)處理、自動(dòng)化標(biāo)注、機(jī)器質(zhì)檢等外部插件，擁有便利多樣的部署形式和方便的接口，可以快速部署和集成。11.2.2產(chǎn)品特性01部署在客戶(hù)服務(wù)器，數(shù)據(jù)不出門(mén)。支持多角色多權(quán)限多機(jī)構(gòu)管理，各角色權(quán)限分割與不同機(jī)構(gòu)間數(shù)據(jù)隔離。數(shù)據(jù)安全02具有18種基礎(chǔ)模板和數(shù)百種工具，覆蓋圖片、文本、視頻、語(yǔ)音、點(diǎn)云等多種數(shù)據(jù)類(lèi)型。成熟的模板及工具03自定義標(biāo)注流程，多人擬合，通過(guò)增加、刪除流程接點(diǎn)實(shí)現(xiàn)多輪質(zhì)檢、多輪驗(yàn)收等8種可視化配置。協(xié)同管理，效率實(shí)時(shí)掌握

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)數(shù)加加PRO從簡(jiǎn)單的手工標(biāo)注發(fā)展到人與智能共鳴的“人在回路”（humanintheloop），覆蓋了數(shù)據(jù)生產(chǎn)、數(shù)據(jù)處理、模型訓(xùn)練、數(shù)據(jù)存儲(chǔ)的全生命周期管理。11.2.2產(chǎn)品特性靈活部署：工具高效：通過(guò)SaaS、專(zhuān)有部署和私有部署三種模式滿(mǎn)足多樣化客戶(hù)部署需求模版經(jīng)過(guò)多年實(shí)戰(zhàn)檢驗(yàn)，高效滿(mǎn)足語(yǔ)音、圖片、文本、視頻、點(diǎn)云的復(fù)雜需求方便集成：具有數(shù)據(jù)、用戶(hù)、任務(wù)等多種OpenAPI，便于與客戶(hù)本地其他系統(tǒng)集成和二次開(kāi)發(fā)數(shù)據(jù)生產(chǎn)數(shù)據(jù)處理模型訓(xùn)練數(shù)據(jù)存儲(chǔ)流程靈活：按包、按條兩種分派數(shù)據(jù)方式，標(biāo)注、質(zhì)檢和驗(yàn)收的靈活組合，支持多人擬合、機(jī)器質(zhì)檢功能完善：數(shù)據(jù)集管理、任務(wù)管理、人員管理、數(shù)據(jù)資產(chǎn)管理、流程管理、績(jī)效分析等模塊完善

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)私有化數(shù)加加Pro標(biāo)注平臺(tái)的具體標(biāo)注任務(wù)可以是企業(yè)內(nèi)部人員，也可以由標(biāo)注基地工程師通過(guò)安全的網(wǎng)絡(luò)連接方式（白名單）在監(jiān)控的環(huán)境中進(jìn)行處理11.2.3數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品架構(gòu)

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)（1）任務(wù)標(biāo)注平臺(tái)（前臺(tái)）：提供智能化輔助下的標(biāo)注模板，實(shí)現(xiàn)高效地?cái)?shù)據(jù)處理工作；（2）系統(tǒng)管理平臺(tái)（后臺(tái)）：提供標(biāo)注模板（可配置和定制）、項(xiàng)目管理、任務(wù)管理、數(shù)據(jù)管理、人員管理、績(jī)效管理等，為企業(yè)數(shù)據(jù)產(chǎn)品生產(chǎn)、數(shù)據(jù)處理、模型訓(xùn)練、數(shù)據(jù)存儲(chǔ)的全生命周期提供服務(wù)11.2.3數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品架構(gòu)

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（1）豐富的標(biāo)注工具單段落語(yǔ)音標(biāo)注模板

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（1）豐富的標(biāo)注工具有縫多段落語(yǔ)音標(biāo)注模板

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（1）豐富的標(biāo)注工具無(wú)縫多段落語(yǔ)音標(biāo)注模板

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（1）豐富的標(biāo)注工具圖片矩形框標(biāo)注模板

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（1）豐富的標(biāo)注工具圖片多邊形標(biāo)注模板

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（1）豐富的標(biāo)注工具圖片3D框標(biāo)注模板

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（1）豐富的標(biāo)注工具圖片關(guān)鍵點(diǎn)標(biāo)注模板

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（1）豐富的標(biāo)注工具圖片萬(wàn)能標(biāo)注模板

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（1）豐富的標(biāo)注工具文本實(shí)體標(biāo)注模板

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（1）豐富的標(biāo)注工具文本實(shí)體關(guān)系標(biāo)注模板

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（1）豐富的標(biāo)注工具文本閱讀理解標(biāo)注模板

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（1）豐富的標(biāo)注工具文本交互意圖標(biāo)注模板

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（1）豐富的標(biāo)注工具文檔屬性標(biāo)注模板

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（1）豐富的標(biāo)注工具文本屬性標(biāo)注模板

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（1）豐富的標(biāo)注工具3D點(diǎn)云標(biāo)注模板

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（2）靈活的可配置模板屬性配置項(xiàng)配置內(nèi)容配置項(xiàng)目任務(wù)嵌入語(yǔ)音標(biāo)注圖像標(biāo)注文本標(biāo)注…標(biāo)注新建標(biāo)注工具配置標(biāo)簽和屬性，修改顏色，其他的配置項(xiàng)等

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（3）支持智能輔助標(biāo)注：支持人-機(jī)互動(dòng)的半自動(dòng)標(biāo)注。標(biāo)注效率提升30%以上。106點(diǎn)人臉預(yù)識(shí)別標(biāo)注圖像預(yù)識(shí)別標(biāo)注1-姓名2-性別3-民族4-出生5-住址6-公民身份證號(hào)碼語(yǔ)音預(yù)識(shí)別標(biāo)注

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（4）支持多租戶(hù)管理誰(shuí)的數(shù)據(jù)誰(shuí)管理、誰(shuí)的數(shù)據(jù)誰(shuí)負(fù)責(zé)、誰(shuí)的數(shù)據(jù)誰(shuí)授權(quán)

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（5）數(shù)據(jù)集管理針對(duì)原始的非結(jié)構(gòu)化數(shù)據(jù)以及標(biāo)注后的數(shù)據(jù)需要進(jìn)行有效的管理，以保證企業(yè)數(shù)據(jù)資產(chǎn)的安全。數(shù)據(jù)集支持平臺(tái)的數(shù)據(jù)管理，包括本地?cái)?shù)據(jù)和共享存儲(chǔ)數(shù)據(jù)（大數(shù)據(jù)/對(duì)象存儲(chǔ)等）：支持?jǐn)?shù)據(jù)集來(lái)源自本地?cái)?shù)據(jù)；支持?jǐn)?shù)據(jù)集來(lái)源自共享存儲(chǔ)區(qū)域（大數(shù)據(jù)/對(duì)象存儲(chǔ)的http鏈接）；支持多種數(shù)據(jù)源（圖片、語(yǔ)音、文本、視頻等）；支持多批次（版本）管理；支持預(yù)識(shí)別文件上傳。

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)11.2.4數(shù)加加Pro標(biāo)注平臺(tái)的產(chǎn)品優(yōu)勢(shì)（6）開(kāi)放的API接口上傳數(shù)據(jù)接口：上傳本地?cái)?shù)據(jù)或者對(duì)象存儲(chǔ)的地址信息獲取任務(wù)狀態(tài)接口：獲取任務(wù)狀態(tài)，包括待處理、處理中、已完成等獲取結(jié)果數(shù)據(jù)接口：獲取任務(wù)標(biāo)注數(shù)據(jù)結(jié)果集管理模塊生產(chǎn)模塊業(yè)務(wù)系統(tǒng)數(shù)加加Pro數(shù)據(jù)層語(yǔ)音標(biāo)注圖像標(biāo)注文本標(biāo)注項(xiàng)目管理人員管理數(shù)據(jù)統(tǒng)計(jì)企業(yè)數(shù)據(jù)平臺(tái)人員管理系統(tǒng)AI能力平臺(tái)OpenAPI（上傳數(shù)據(jù)）OpenAPI（查任務(wù)狀態(tài)、導(dǎo)出數(shù)據(jù)）Hadoop/對(duì)象存儲(chǔ)（S3/Cephy/Swift/NFS等）

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)人工智能技術(shù)應(yīng)用核心課程系列教材11.1數(shù)據(jù)標(biāo)注系統(tǒng)概述11.3本章小結(jié)11.4作業(yè)與練習(xí)11.3本章小結(jié)概述了人工智能數(shù)據(jù)標(biāo)注系統(tǒng)；通過(guò)典型數(shù)據(jù)標(biāo)注平臺(tái)的講述，展示一款了優(yōu)秀的人工智能數(shù)據(jù)標(biāo)注平臺(tái)具備的產(chǎn)品特點(diǎn)及產(chǎn)品優(yōu)勢(shì)。

第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)第11章工程化數(shù)據(jù)標(biāo)注的系統(tǒng)平臺(tái)11.2典型數(shù)據(jù)標(biāo)注系統(tǒng)平臺(tái)人工智能技術(shù)應(yīng)