人工智能數(shù)據(jù)標(biāo)注實(shí)戰(zhàn)教程 課件 第一章 數(shù)據(jù)標(biāo)注基礎(chǔ)

第一章數(shù)據(jù)標(biāo)注基礎(chǔ)任務(wù)一

了解相關(guān)基礎(chǔ)知識內(nèi)容概括人工智能與數(shù)據(jù)數(shù)據(jù)標(biāo)注定義計算機(jī)視覺標(biāo)注相關(guān)基礎(chǔ)概念智能語音標(biāo)注相關(guān)基礎(chǔ)概念自然語言處理標(biāo)注相關(guān)基礎(chǔ)概念1.人工智能與數(shù)據(jù)“現(xiàn)在的人工智能，前面有多少智能后面就有多少人工”--《三體》作者劉慈欣1.人工智能與數(shù)據(jù)自20世紀(jì)50年代，人工智能就開始走上人類現(xiàn)代科技的歷史舞臺。從馬文·明斯基建造世界上第一臺神經(jīng)網(wǎng)絡(luò)計算機(jī)，到阿蘭·圖靈提出圖靈測試，一件件銘記史冊的事件拉開了人工智能發(fā)展的大幕。1.人工智能與數(shù)據(jù)2007年，斯坦福大學(xué)教授李飛飛開始啟動ImageNet項目，其借助于亞馬遜的眾包平臺完成大量圖片的分類標(biāo)注。2010年，該項目積累1400多萬張圖片，分為21841種類別。在此項目研究過程中，李飛飛教授逐漸認(rèn)識到“數(shù)據(jù)”的重要性。2.數(shù)據(jù)標(biāo)注定義數(shù)據(jù)標(biāo)注是對未經(jīng)處理的初級數(shù)據(jù),包括語音、圖片、文本、視頻等進(jìn)行分類、編輯、糾錯和批注等加工處理，并轉(zhuǎn)換為機(jī)器可識別信息的過程。對未經(jīng)處理的初級數(shù)據(jù)一般通過數(shù)據(jù)采集獲得，隨后的數(shù)據(jù)標(biāo)注相當(dāng)于對數(shù)據(jù)進(jìn)行加工，然后輸送到人工智能算法和模型里完成調(diào)用。2.數(shù)據(jù)標(biāo)注定義任務(wù)子任務(wù)視覺標(biāo)注圖像分類，目標(biāo)檢測，語義分割，實(shí)例分割，全景分割，視頻時間片分類，視頻分割，關(guān)鍵點(diǎn)標(biāo)注，3D點(diǎn)云標(biāo)注，圖像問答等。語音標(biāo)注語音分割，語音自動識別，語音信號事件等。自然語言標(biāo)注命名實(shí)體，翻譯，關(guān)系抽取，文本摘要，問答和分級分類等。2.數(shù)據(jù)標(biāo)注定義數(shù)據(jù)標(biāo)注項目的工作流程3.計算機(jī)視覺標(biāo)注相關(guān)基礎(chǔ)概念--圖像（1）像素一般人工智能討論的都是假設(shè)基于屏幕像素的。屏幕像素是指顯示屏的像素，包括電視機(jī)，電腦顯示屏，手機(jī)屏等等，這些像素不是虛擬的，是實(shí)實(shí)在在存在的，具有物理尺寸大小，通常是英寸（inch）為單位。（2）分辨率屏幕分辨率只與長度有關(guān)，用ppi代表，有時也稱像素密度，表示每英寸有多少個像素點(diǎn)，與物理設(shè)備相關(guān)。數(shù)碼圖像分辨率指這幅圖的像素。數(shù)碼圖像的物理尺寸可以是任意的。如果當(dāng)前數(shù)碼圖像分辨率標(biāo)為5000×

4000像素，屏幕分辨率是100ppi，那么這幅圖的屏幕尺寸是寬=5000/100=50英寸，高=4000/100=40英寸。3.計算機(jī)視覺標(biāo)注相關(guān)基礎(chǔ)概念--圖像（3）色彩空間人類視網(wǎng)膜上有三種感知色彩的視錐細(xì)胞，所以理論上可用三種顏色的光就可以混合出自然界中任何一種顏色來。在20世紀(jì)20年代，戴維德等科學(xué)家通過三種顏色的光源進(jìn)行匹配，得到了人眼對于不同顏色光的匹配函數(shù)。設(shè)三種顏色的光源（R紅色，G綠色，B藍(lán)色）強(qiáng)度分別為r，g和b，則顏色C可表示為：（4）圖像文件格式分類：有損壓縮、無損壓縮常見得比較多的圖片格式有：jpeg（jpg）、png、bmp、gif、tif和raw等。3.計算機(jī)視覺標(biāo)注相關(guān)基礎(chǔ)概念--視頻（1）文件格式數(shù)字視頻是人工智能數(shù)據(jù)標(biāo)注主要關(guān)注的視頻形式。數(shù)字視頻有不同的產(chǎn)生方式，存儲方式和播出方式。AVI，WMV，MPEG，DivX，MKV等（2）視頻幀視頻中標(biāo)準(zhǔn)的基本信息單元稱為幀。3.計算機(jī)視覺標(biāo)注相關(guān)基礎(chǔ)概念--視頻（3）幀速率幀速率即總幀數(shù)與時間的比值，單位為幀每秒（f/s，framespersecond）。幀速率越高，人眼感覺視頻越流暢。要避免不流暢的最低指標(biāo)是30fps。（4）采樣率隨著流媒體興起，視頻網(wǎng)絡(luò)播放為了減少網(wǎng)絡(luò)壓力，采用采樣率來抽樣原視頻文件，形成視頻流。444，422和420是三種YUV色彩空間的采樣。三位數(shù)分別代表Y、U和V通道的抽樣比。例如，444是全采樣；而422是對Y進(jìn)行全采樣，對U和V分別進(jìn)行1/2均勻采樣。YY,U,VYYY,U,VYYY,U,VYY,U,VY,U,VY,U,VY,U,VY,U,VY,U,VY,U,VY,U,VY,U,V3.計算機(jī)視覺標(biāo)注相關(guān)基礎(chǔ)概念--視頻（5）碼率碼率是視頻數(shù)據(jù)每秒輸出的數(shù)據(jù)位數(shù)。簡稱BPS，全稱BitsPerSecond。常見單位KBPS（千位每秒）和MBPS（兆位每秒）。（6）分辨率分辨率指視頻一幀圖像包含的像素的多少，常見有1280×720像素和1920×1080像素等規(guī)格。分辨率影響圖像大小，且與之成正比。分辨率越高，一幀圖像越大；反之，一幀圖像越小。4.智能語音標(biāo)注相關(guān)基礎(chǔ)概念--聲音信號聲音是一種壓力波。當(dāng)演奏樂器、拍打一扇門或者敲擊桌面時，振動會引起介質(zhì)即空氣分子有節(jié)奏的振動，使周圍的空氣產(chǎn)生疏密變化，形成疏密相間的縱波，這就產(chǎn)生了聲波，這種現(xiàn)象會一直延續(xù)到振動消失為止。4.智能語音標(biāo)注相關(guān)基礎(chǔ)概念--聲音信號（1）頻率聲源在一秒中內(nèi)振動的次數(shù)，記作f。赫茲是頻率單位，記為Hz，指每秒鐘周期性變化的次數(shù)（2）周期聲源振動一次所經(jīng)歷的時間，記作T，單位為s。（3）音調(diào)聲音的高低（高音、低音），由頻率決定，頻率越高音調(diào)越高。人耳聽覺范圍20～20000Hz。20Hz以下稱為次聲波，20000Hz以上稱為超聲波。宋佚名《深堂琴趣圖頁》4.智能語音標(biāo)注相關(guān)基礎(chǔ)概念--聲音信號（4）音色音色又稱音品，聲音波形決定了聲音的音色。聲音因物體材料的特性而不同，音色本身是一種抽象的東西，但波形是把這個抽象直觀的表現(xiàn)。波形不同，音色則不同。不同的音色，通過波形，完全可以分辨的。（5）響度響度描述人主觀上感覺聲音的大小，也稱幅度或音量。由“振幅”和人離聲源的距離決定，振幅越大響度越大，人和聲源的距離越小，響度越大。其單位為分貝。所謂分貝是指兩個相同的物理量（例如A1和A0）之比取以10為底的對數(shù)并乘以10。分貝符號為“dB”，它是無量綱的。式中A0是基準(zhǔn)量，A1是被量度量。被量度量和基準(zhǔn)量之比取對數(shù)，這對數(shù)值稱為被量度量的“級”。它代表被度量比基準(zhǔn)量高出多少“級”。4.智能語音標(biāo)注相關(guān)基礎(chǔ)概念--數(shù)字聲音聲音音頻有模擬信號和數(shù)字信號兩種形式。模擬信號指時間連續(xù)、幅度都是連續(xù)的信號；數(shù)字信號指時間、幅度上都是離散的信號。把模擬信號轉(zhuǎn)換成數(shù)字信號，叫A/D轉(zhuǎn)換。從連續(xù)的變成離散的就需要采樣；相反，當(dāng)要把音頻播放出來就需要把數(shù)字信號轉(zhuǎn)換成模擬信號，這叫D/A轉(zhuǎn)換。（1）采樣頻率數(shù)字聲音每秒采集聲音的頻率，它用赫茲（Hz）來表示。常見采樣場景包括：廣播22.05khz、CD的44.1khz和DVD的96khz。（2）采樣精度采樣精度表示用多少位二級制數(shù)去表示聲音信號強(qiáng)度。采樣精度常用范圍為8bit至32bit，而CD中一般都使用16bit。中央人民廣播電臺播音員齊越在做聯(lián)播廣播4.智能語音標(biāo)注相關(guān)基礎(chǔ)概念--數(shù)字聲音（3）聲音通道聲音頻率按照頻率范圍分為多少個部分來單獨(dú)處理，每個部分可以單獨(dú)放大，單獨(dú)壓縮，單獨(dú)降噪，通道越多對聲音處理的就越精細(xì)，聽到的聲音就越清晰。4.智能語音標(biāo)注相關(guān)基礎(chǔ)概念--數(shù)字聲音（4）噪音聲音在采集過程中難免會收到周遭環(huán)境的影響。從物理角度看，噪聲是無規(guī)則的機(jī)械波。在聲音數(shù)據(jù)標(biāo)注中，可能對標(biāo)注結(jié)果產(chǎn)生誤差影響。由于有噪聲的存在，所以信噪比是一個評價聲音特性的指標(biāo)。在聲音領(lǐng)域中，將聲音信號與噪聲的聲級之差為定義為信噪比，單位是分貝。一般使用如下公式計算：4.智能語音標(biāo)注相關(guān)基礎(chǔ)概念--數(shù)字聲音音頻文件通常分為聲音文件和MIDI文件兩類，聲音文件是通過聲音錄入設(shè)備錄制的原始聲音，直接記錄了真實(shí)聲音的二進(jìn)制采樣數(shù)據(jù)；MIDI文件是一種音樂演奏指令序列，可利用聲音輸出設(shè)備或與計算機(jī)相連的電子樂器進(jìn)行演奏。常見文件格式包括：Wave、MPEG、AAC、FLAC等。5.自然語言處理標(biāo)注相關(guān)基礎(chǔ)概念（1）txttxt即文本文件。早在DOS時代應(yīng)用就很多，主要存儲文本信息。（2）csv逗號分隔值（Comma-SeparatedValues，CSV），其文件以純文本形式存儲表格數(shù)據(jù)。csv文件具體規(guī)則如下：以行為單位，開始位置不能為空。文件首行可為列名行。數(shù)據(jù)不跨行，無空行。以半角逗號作分隔符，列內(nèi)容為空也要保留分隔符。列內(nèi)容如存在半角引號，替換成半角雙引號轉(zhuǎn)義，即用半角引號將該字段值包含起來。編碼格式不限，可為ASCII、Unicode或者其他。2000,"Venture",4900.001999,"Venture",5100.005.自然語言處理標(biāo)注相關(guān)基礎(chǔ)概念（3）jsonjson（JavaScriptObjectNotation）是一種輕量級的數(shù)據(jù)交換格式。它基于ECMAScript的一個子集，采用完全獨(dú)立于編程語言的文本格式來存儲和表示數(shù)據(jù)。簡潔和清晰的層次結(jié)構(gòu)使得json成為理想的數(shù)據(jù)交換語言。json易于人閱讀和編寫，同時也易于機(jī)器解析和生成，并有效地提升網(wǎng)絡(luò)傳輸效率。json文件具體規(guī)則如下：并列的數(shù)據(jù)之間用逗號（,）分隔映射用冒號（:）表示并列數(shù)據(jù)的集合（數(shù)組）用方括號（[]）表示映射的集合（對象）用大括號（{}）表示5.自然語言處理標(biāo)注相關(guān)基礎(chǔ)概念（4）XMLXML可擴(kuò)展標(biāo)記語言，標(biāo)準(zhǔn)通用標(biāo)記語言的子集，是一種用于標(biāo)記電子文件使其具有結(jié)構(gòu)性的標(biāo)記語言。具體規(guī)則如下：必須有聲明語句區(qū)別大小寫有且只有一個根元素屬性值使用引號所有的標(biāo)記必須有相應(yīng)的結(jié)束標(biāo)記所有的空標(biāo)記也必須被關(guān)閉5.自然語言處理標(biāo)注相關(guān)基礎(chǔ)概念計算機(jī)自己能理解的“語言”是二進(jìn)制數(shù)，最小的信息標(biāo)識是二進(jìn)制數(shù)，8個二進(jìn)制位表示一個字節(jié)；而我們?nèi)祟愃芾斫獾恼Z言文字則是一套由英文字母、漢語漢字、標(biāo)點(diǎn)符號字符、阿拉伯?dāng)?shù)字等等很多的字符構(gòu)成的字符集。如果要讓計算機(jī)來按照人類的意愿進(jìn)行工作，則必須把人類所使用的這些字符集轉(zhuǎn)換為計算機(jī)所能理解的二進(jìn)制碼，這個過程就是編碼。5.自然語言處理標(biāo)注相關(guān)基礎(chǔ)概念（1）ASCIIASCII編碼是最早采用的一種單字節(jié)編碼系統(tǒng)。在這套編碼規(guī)則中，人們將所需字符集中的字符一一映射到128個二進(jìn)制數(shù)上，這128個二進(jìn)制數(shù)是最高位為0，利用剩余低7位表示具體字符。其中，0X00到0X1F共32個二進(jìn)制數(shù)表示控制字符或通信專用字符（如LF換行、DEL刪除、BS退格）編碼，0X20到0X7F共96個二進(jìn)制數(shù)來對阿拉伯?dāng)?shù)字、英文字母大小寫和下劃線、括號等符號進(jìn)行編碼。5.自然語言處理標(biāo)注相關(guān)基礎(chǔ)概念（2）GB系列中國國家標(biāo)準(zhǔn)總局發(fā)布了一套《信息交換用漢字編碼字符集》的國家標(biāo)準(zhǔn)，其標(biāo)準(zhǔn)號就是GB2312-1980，再后來生僻字、繁體字及日韓字也被納入字符集，就又有了后來的GBK字符集及相應(yīng)的編碼規(guī)范，GBK編碼規(guī)范也是向下兼容的。5.自然語言處理標(biāo)注相關(guān)基礎(chǔ)概念（3）UnicodeISO國際標(biāo)準(zhǔn)化組織提出了Unicode的編碼標(biāo)準(zhǔn)，這套標(biāo)準(zhǔn)中包含了Unicode字符集和一套編碼規(guī)范。Unicode字符集涵蓋了世界上所有的文字和符號字符。UTF-8編碼的文件有withoutBOM和BOM兩種格式。BOM，即ByteOrderMark，意為字節(jié)序標(biāo)記。BOM的本意是在UTF-16編碼中用來表示高低字節(jié)序列的。UTF-16以兩個字節(jié)為編碼單元，在解釋一個UTF-16文本前，首先要弄清楚每個編碼單元的字節(jié)序。在字節(jié)流之前有BOM表示采用低字節(jié)序列（低字節(jié)在前面）。UTF-8不需要BOM來表明字節(jié)順序，但可以用BOM來表明編碼方式。如果接收者收到以“EFBBBF”開頭的字節(jié)流，就知道這是UTF-8編碼了。UTF-8編碼的文件中，BOM占三個字節(jié)。UTF-8的BOM是“EFBBBF”，因為16位編輯器載入UTF-8文件會轉(zhuǎn)成UTF-16，上述的“EFBBBF”在Utf16中是“FFFE”。由于文件在采用“withBOM”編碼時，會產(chǎn)生不必要的數(shù)據(jù)字節(jié)進(jìn)而影響讀取，所以建議一般情況下使用“UTF-8withoutBOM”格式進(jìn)行文件編碼。小結(jié)知識目標(biāo)：（1）明確數(shù)據(jù)標(biāo)注定義（2）熟悉常見數(shù)據(jù)標(biāo)注任務(wù)（3）熟悉數(shù)據(jù)標(biāo)注相關(guān)概念和指標(biāo)思政目標(biāo)：（1）了解新中國發(fā)展史中廣播事業(yè)的縮影（2）了解噪聲危害第一章數(shù)據(jù)標(biāo)注基礎(chǔ)任務(wù)二

標(biāo)注工具安裝搭建內(nèi)容概括工具介紹工具安裝工具基本使用1.工具介紹常見的單類型數(shù)據(jù)標(biāo)注工具：LabelmeLabelme能夠?qū)D像進(jìn)行多邊形、矩形、圓、折線，點(diǎn)形式的標(biāo)注，主要用于目標(biāo)檢測，語義分割，圖像分類等任務(wù)。支持視頻標(biāo)注、支持導(dǎo)出VOC與COCO格式數(shù)據(jù)實(shí)例分割都可以用它標(biāo)注。LabelImgLabelImg是一款標(biāo)框標(biāo)注工具，通過創(chuàng)建矩形框及標(biāo)簽屬性標(biāo)簽相應(yīng)的區(qū)域內(nèi)容，得到標(biāo)注信息是矩形框的位置大小和標(biāo)簽屬性的XML文件。1.工具介紹PraatPraat是目前已經(jīng)成為比較流行也比較專業(yè)的語音處理的軟件，可以進(jìn)行語音數(shù)據(jù)標(biāo)注、語音錄制、語音合成、語音分析等等，具有免費(fèi)、占用空間小、通用性強(qiáng)、可移植性好等特點(diǎn)。doccanodoccano是一個供人類使用的開源文本注釋工具。它為文本分類、序列標(biāo)記和序列到序列任務(wù)提供注釋功能。因此，您可以為情感分析、命名實(shí)體識別、文本摘要等創(chuàng)建標(biāo)記數(shù)據(jù)。只需創(chuàng)建一個項目，上傳數(shù)據(jù)并開始注釋。您可以在數(shù)小時內(nèi)構(gòu)建數(shù)據(jù)集。1.工具介紹國產(chǎn)標(biāo)注工具騰訊標(biāo)注數(shù)據(jù)堂BaiduEasyDL京東1.工具介紹LabelStudioLabelStudio是一個開源的，可配置的數(shù)據(jù)標(biāo)注工具。能夠使用標(biāo)準(zhǔn)化輸出格式的最方便的界面標(biāo)記不同類型的數(shù)據(jù)。具有如下優(yōu)點(diǎn)：社區(qū)版免費(fèi)使用社區(qū)版支持本地部署社區(qū)版支持一定的團(tuán)隊協(xié)作能力豐富的標(biāo)注項目類型模板可以自定義2.工具安裝（1）MiniConda安裝為了安裝標(biāo)注工具LabelStudio，需要建立一個支持環(huán)境。因為Labelstudio是基于Python的Web應(yīng)用程序，所以選擇MiniConda作為其支持環(huán)境，能夠靈活應(yīng)對版本變化和環(huán)境調(diào)試。首先從MiniConda官方網(wǎng)站下載MiniConda安裝包https://docs.conda.io/en/latest/miniconda.html在列表中選擇下載支持python3.7版本MiniConda安裝包后，雙擊啟動安裝。如果在過程中不進(jìn)行特殊設(shè)定，可以保持默認(rèn)選項并選擇“next”進(jìn)入到以下界面。在彈出的“AdvancedInstallationOptions”選項界面中，可以選中“AddMiniconda3tomyPATHenvrionmentvariable”，否則需要完成后面所敘述的環(huán)境變量配置步驟。2.工具安裝（2）創(chuàng)建虛擬環(huán)境condacreate--namelspython=3.7.9激活進(jìn)入condaactivatels設(shè)置鏡像源pipconfigsetglobal.index-url/simple啟動安裝pipinstalllabel-studio3.工具基本使用（2）創(chuàng)建虛擬環(huán)境condacreate--namelspython=3.7.9激活進(jìn)入condaactivatels設(shè)置鏡像源pipconfigsetglobal.index-url/simple（3）啟動安裝pipinstalllabel-studio3.工具基本使用（1）啟動LabelStudio是一款Web應(yīng)用，所以系統(tǒng)需要提前安裝較新版本的Web瀏覽器軟件。命令行執(zhí)行：label-studiostart首次運(yùn)行將啟動注冊界面在“EMAIL”框中輸入郵箱，在“PASSWORD”框中輸入密碼。然后單擊“CREATEACCOUNT”進(jìn)行賬號注冊。當(dāng)注冊完畢后，系統(tǒng)自動進(jìn)入首頁。3.工具基本使用也可以采用如下啟動方式創(chuàng)建用戶和密碼:label-studiostart--username<username>--password<password>其中“<username>”和“<password>”為希望創(chuàng)建的用戶賬號和密碼。當(dāng)成功啟動系統(tǒng)后，如果后再次啟動系統(tǒng)時，將會默認(rèn)使用上次的賬號進(jìn)行登錄。啟動成功后，將默認(rèn)在彈出瀏覽器窗口中打開如下界面：3.工具基本使用（2）創(chuàng)建項目創(chuàng)建項目有兩種方式。一種使用界面完成。例如，在上圖界面中單擊“CreateProject”按鈕，將彈出如下界面：3.工具基本使用（2）創(chuàng)建項目另外一種創(chuàng)建項目的方式是通過啟動指令完成。具體指令如下所示：label-studiostartFirstProject--init其中的FirstProject為待創(chuàng)建的項目名稱，可以替換為其他內(nèi)容。成功創(chuàng)建項目后，將會在項目列表窗口看到剛創(chuàng)建的項目卡片。如下圖所示：3.工具基本使用（3）邀請他人如果平臺需要其用戶參與協(xié)作，可以采用如下方式邀請其他用戶加入平臺共同完成標(biāo)注。選擇單擊“AddPeople”按鈕，將彈出邀請對話框。在彈出的對話框中，可以得到邀請鏈接。①②③3.工具基本使用可以選擇單擊“Copylink”按鈕，然后發(fā)送給協(xié)作伙伴。而后得到邀請鏈接