數(shù)據(jù)標(biāo)注工程-概念、方法、工具與案例 課件 第7章 3D點云標(biāo)注

人工智能技術(shù)應(yīng)用核心課程系列教材數(shù)據(jù)標(biāo)注工程——概念、方法、工具與案例第7章3D點云標(biāo)注7.23D點云標(biāo)注工具人工智能技術(shù)應(yīng)用核心課程系列教材7.13D點云標(biāo)注簡介7.33D點云標(biāo)注項目7.4本章小結(jié)7.5作業(yè)與練習(xí)點云，即“點”構(gòu)成的“云”。一般來自激光雷達，也可以來自毫米波雷達，是利用激光雷達和雷達傳感器生成的三維點的集合，可分為黑白和彩色兩大類，如下圖所示。點云數(shù)據(jù)（pointclouddata）一般由激光雷達等3D掃描設(shè)備獲取空間若干點的信息，一般包括XYZ位置信息、RGB顏色信息和強度信息等，是一種多維度的復(fù)雜數(shù)據(jù)集合。7.13D點云標(biāo)注簡介第7章

3D點云標(biāo)注黑白點云彩色點云雷達點云（1）雙目視覺傳感器：類似人的雙眼，它是基于視差原理并由多幅圖像獲取物體三維幾何信息的方法。雙目立體視覺系統(tǒng)一般由雙攝像機從不同角度同時獲得被測物的兩幅數(shù)字圖像，或由單攝像機在不同時刻從不同角度獲得被測物的兩幅數(shù)字圖像，并基于視差原理恢復(fù)出物體的三維幾何信息，下圖為雙目視覺傳感器實物圖。上圖中，左右兩側(cè)的攝像頭共同構(gòu)成了雙目視覺傳感器。7.1.1點云的獲取方法7.13D點云標(biāo)注簡介第7章

3D點云標(biāo)注（2）激光雷達：激光雷達（LightDetectionAndRanging，LIDAR），是以發(fā)射激光束探測目標(biāo)的位置、速度等特征量的雷達系統(tǒng)。其工作原理是向目標(biāo)發(fā)射探測信號（激光束），然后將接收到的從目標(biāo)反射回來的信號（目標(biāo)回波）與發(fā)射信號進行比較，作適當(dāng)處理后，就可獲得目標(biāo)的有關(guān)信息，如目標(biāo)距離、方位、高度、速度、姿態(tài)、甚至形狀等參數(shù)。激光雷達實物圖如下圖所示。7.1.1點云的獲取方法7.13D點云標(biāo)注簡介第7章

3D點云標(biāo)注（3）深度體感設(shè)備Kinect：深度體感設(shè)備Kinect是一款類似三維攝像機儀器，具有實時動作追蹤、圖像識別、聲音錄入及辨別等功能。左右兩邊鏡頭分別是紅外線發(fā)射器和CMOS紅外線攝影機，識別的是一個深度場。其中每個像素顏色深淺表示該點距離攝像頭的遠近，距離攝像頭較近的顏色較亮和深，距離攝像頭較遠的顏色較暗。Kinect實物圖如下圖所示。7.1.1點云的獲取方法7.13D點云標(biāo)注簡介第7章

3D點云標(biāo)注（1）多視圖三維重建：多視圖重建是利用多張一個場景的不同視角圖像來恢復(fù)出場景三維模型的方法，自然場景的多視圖三維重建一直是計算機視覺領(lǐng)域的基本問題，有著廣泛的應(yīng)用。下圖為多視圖三維重建示意圖。7.1.2

3D點云應(yīng)用7.13D點云標(biāo)注簡介第7章

3D點云標(biāo)注（2）三維同步定位與地圖構(gòu)建（SimultaneousLocalizationAndMapping，SLAM）：主要用于解決移動機器人在未知環(huán)境中運行時定位導(dǎo)航與地圖構(gòu)建的問題，三維同步定位與地圖構(gòu)建示意圖如下圖所示。7.1.2

3D點云應(yīng)用7.13D點云標(biāo)注簡介第7章

3D點云標(biāo)注（3）三維目標(biāo)檢測：與二維圖像相比，3D點云數(shù)據(jù)的優(yōu)勢在于能夠很好地表征物體的表面信息和一些深度信息。另外，由于3D點云數(shù)據(jù)的獲取來源較多，因此對3D點云數(shù)據(jù)的研究得以迅速增長，進一步促進了使用深度學(xué)習(xí)實現(xiàn)3D點云目標(biāo)檢測，下圖為三維目標(biāo)檢測示意圖。。7.1.2

3D點云應(yīng)用7.13D點云標(biāo)注簡介第7章

3D點云標(biāo)注（4）三維語義分割：三維（3D）語義分割在醫(yī)學(xué)、自動駕駛、機器人和增強現(xiàn)實（AR）等許多領(lǐng)域的廣泛應(yīng)用，下圖為三維語義分割示意圖。7.1.2

3D點云應(yīng)用7.13D點云標(biāo)注簡介第7章

3D點云標(biāo)注3D點云多以pcd、ply、stl等格式文件儲存，編碼方式為ASCII碼、二進制。格式由設(shè)備而異，但都可以通過后期處理成標(biāo)準(zhǔn)的pcl文件格式*.pcd。目前可以識別ASCII，二進制，二進制壓縮3種pcd格式。下表為3D點云存儲格式及數(shù)據(jù)類型清單。7.1.3

3D點云的存儲方式及數(shù)據(jù)類型7.13D點云標(biāo)注簡介第7章

3D點云標(biāo)注（1）悉尼城市目標(biāo)數(shù)據(jù)集：這個數(shù)據(jù)集包含用VelodyneHDL-64ELIDAR掃描的各種常見城市道路對象，收集于澳大利亞悉尼的中央商務(wù)區(qū)（CBD）。含有631個單獨的掃描物體，包括車輛、行人、廣告標(biāo)志和樹木等，下圖為數(shù)據(jù)集樣例。7.1.4

3D點云典型數(shù)據(jù)集7.13D點云標(biāo)注簡介第7章

3D點云標(biāo)注（2）大規(guī)模點云分類基準(zhǔn)數(shù)據(jù)集：該數(shù)據(jù)集提供了一個大的自然場景標(biāo)記的3D點云數(shù)據(jù)集，總計超過40億點。涵蓋了各種各樣的城市場景：教堂、街道、鐵路軌道、廣場、村莊、足球場、城堡等等。下圖為數(shù)據(jù)集樣例。7.1.4

3D點云典型數(shù)據(jù)集7.13D點云標(biāo)注簡介第7章

3D點云標(biāo)注（3）RGB-D對象數(shù)據(jù)集：該數(shù)據(jù)集是300個常見的家庭對象的大數(shù)據(jù)集。該數(shù)據(jù)集是使用Kinect風(fēng)格的3D相機記錄的，該相機以30Hz記錄同步和對齊的640x480RGB和深度圖像。下圖為數(shù)據(jù)集樣例。7.1.4

3D點云典型數(shù)據(jù)集7.13D點云標(biāo)注簡介第7章

3D點云標(biāo)注（4）紐約大學(xué)深度數(shù)據(jù)集：該數(shù)據(jù)集包括NYU-DepthV1數(shù)據(jù)集和NYU-DepthV2數(shù)據(jù)集，數(shù)據(jù)由來自各種室內(nèi)場景的視頻序列組成，這些視頻序列由來自微軟Kinect的RGB和深度攝像機。下圖為數(shù)據(jù)集樣例。7.1.4

3D點云典型數(shù)據(jù)集7.13D點云標(biāo)注簡介第7章

3D點云標(biāo)注彩色圖深度圖（5）KITTI標(biāo)準(zhǔn)數(shù)據(jù)集：該數(shù)據(jù)集利用KIT的無人車平臺采集的大量城市環(huán)境的點云數(shù)據(jù)集（KITTI），這個數(shù)據(jù)集不僅有雷達、圖像、GPS、INS的數(shù)據(jù)，而且有經(jīng)過人工標(biāo)記的分割跟蹤結(jié)果，可以用來客觀的評價大范圍三維建模和精細(xì)分類的效果和性能，下圖為數(shù)據(jù)集樣例。7.1.4

3D點云典型數(shù)據(jù)集7.13D點云標(biāo)注簡介第7章

3D點云標(biāo)注第7章3D點云標(biāo)注7.13D點云標(biāo)注簡介人工智能技術(shù)應(yīng)用核心課程系列教材7.23D點云標(biāo)注工具7.33D點云標(biāo)注項目7.4本章小結(jié)7.5作業(yè)與練習(xí)3D點云標(biāo)注能夠?qū)崿F(xiàn)3D單幀標(biāo)注、2D-3D單幀映射、3D追蹤標(biāo)注等功能：（1）3D單幀標(biāo)注：可以提供點云或者點云與時間對齊的圖片，但只標(biāo)注點云。（2）2D-3D單幀映射：2D和3D同一物體ID相同。（3）3D追蹤標(biāo)注：追蹤同一物體ID一致。注：2D-3D映射需要提供校準(zhǔn)信息，每個攝像頭均要提供（攝像頭的內(nèi)參和到激光雷達坐標(biāo)映射的外參）。7.2.1

3D點云標(biāo)注工具的主要功能7.23D點云標(biāo)注工具第7章

3D點云標(biāo)注3D點云標(biāo)注工具界面由工具欄、主視圖、三視圖、幀控制區(qū)域、狀態(tài)欄、屬性區(qū)、對象列表區(qū)等七部分構(gòu)成，工具界面如下圖所示。下面進行具體介紹。7.2.2界面布局和操作7.23D點云標(biāo)注工具第7章

3D點云標(biāo)注（1）工具欄：工具欄用于整體任務(wù)或者顯示的控制。主要包括如下內(nèi)容：①獲取任務(wù)：獲取一條數(shù)據(jù)用于標(biāo)注；②保存：用于手工將標(biāo)注數(shù)據(jù)臨時保存在磁盤上，防止丟失；③提交：用于標(biāo)注等工作完成后提交結(jié)果；④撤銷：撤銷上一個標(biāo)注操作，最多可以10步。⑤恢復(fù)：恢復(fù)上一個撤銷的操作。⑥刪除圖形：刪除選中的對象。⑦隱藏標(biāo)簽：不顯示所有對象的標(biāo)簽。⑧隱藏圖形：主視圖和街景中不顯示所有對象。⑨合并ID：用于找回對象，把兩個不同的ID合并為一個，復(fù)制之前的屬性。其他功能包括工作量統(tǒng)計、類別統(tǒng)計、計時和到期時間等。7.2.2界面布局和操作7.23D點云標(biāo)注工具第7章

3D點云標(biāo)注（2）主視圖：有兩種模式，3D模式和俯視模式。主視圖是3D點云的主要操作區(qū)域，可以查看、選中、新建、刪除、修改對象。標(biāo)注對象和街景中的選中對象是聯(lián)動標(biāo)注的。①3D模式下的操作：包括拖動整個3D空間、旋轉(zhuǎn)視角、選中和刪除功能；②俯視模式下的操作：拖動俯視視角3D空間、旋轉(zhuǎn)、選中、新建對象、移動對象和刪除。（3）三視圖：用俯視圖、正視圖和側(cè)視圖去觀察選中的對象。在三視圖中可以移動和調(diào)整標(biāo)注框，以便更加貼合。（4）屬性區(qū)域：用于修改選中對象的屬性。標(biāo)注時需要選擇屬性的類別，如車輛類型，不同的類別可能擁有不同的屬性，如車輛顏色、種類，以及人的著裝等。7.2.2界面布局和操作7.23D點云標(biāo)注工具第7章

3D點云標(biāo)注（5）對象列表區(qū)：用來顯示本條數(shù)據(jù)中已經(jīng)標(biāo)注的對象，前面是對象ID，后面是對象類別，這個同時也作為標(biāo)簽顯示在主視圖中。（6）幀控制區(qū)域：該區(qū)域可以把整條數(shù)據(jù)置為無效，或者把當(dāng)前幀設(shè)置為無效：可以手動輸入幀序號進行跳轉(zhuǎn)，或者下一幀、上一幀、下十幀、上十幀、第一幀和最后一幀的跳轉(zhuǎn)，也可以點擊下方幀號進行跳轉(zhuǎn)。（7）狀態(tài)欄：狀態(tài)欄對操作成功與否進行提示7.2.2界面布局和操作7.23D點云標(biāo)注工具第7章

3D點云標(biāo)注（8）快捷鍵：3D點云標(biāo)注工具已定義快捷鍵，如下圖所示。其中，1鍵代表3D視圖，2鍵代表俯視圖，3鍵和4鍵不調(diào)整目標(biāo)框的位置，只選擇新的朝向。W、S、A、D、R、F鍵分別代表微調(diào)所選擇的目標(biāo)對象框的前后左右上下4個面，向擴大的方向調(diào)整，每次調(diào)整4厘米。Q和E代表微調(diào)所選擇框的旋轉(zhuǎn)角度，每次調(diào)整2度。7.2.2界面布局和操作7.23D點云標(biāo)注工具第7章

3D點云標(biāo)注本標(biāo)注工具輸出格式為JSON，JSON格式類型可配置，不同類型可以有不同屬性，屬性可以分全局和當(dāng)前幀屬性，下圖為JSON輸出效果圖。7.2.3標(biāo)注輸出格式7.23D點云標(biāo)注工具第7章

3D點云標(biāo)注第7章3D點云標(biāo)注7.23D點云標(biāo)注工具人工智能技術(shù)應(yīng)用核心課程系列教材7.33D點云標(biāo)注項目7.4本章小結(jié)7.5作業(yè)與練習(xí)7.13D點云標(biāo)注簡介項目背景：3D點云圖像數(shù)據(jù)標(biāo)注是在激光雷達采集的3D圖像中，通過3D標(biāo)注框?qū)⒛繕?biāo)物體標(biāo)注出來。目標(biāo)物體包括車輛、行人、廣告標(biāo)志和樹木等。自動駕駛標(biāo)注規(guī)范：包含標(biāo)注框規(guī)范、類別規(guī)范、屬性規(guī)范。（1）標(biāo)注框規(guī)范：需要6個面都貼合雷達點，不能出現(xiàn)漏點。（2）類別規(guī)范：包括車輛、公交、卡車、摩托車、行人、汽車人等。（3）屬性規(guī)范：包括標(biāo)注框的方向、大小、遮擋、截斷、離開屬性，以及目標(biāo)對象的運動狀態(tài)、TOS屬性等。7.33D點云標(biāo)注項目第7章

3D點云標(biāo)注3D點云標(biāo)注流程：（1）數(shù)據(jù)標(biāo)注：以下步驟為數(shù)據(jù)標(biāo)注的流程，下圖為3D點云標(biāo)注界面樣例：①啟動客戶端；②點擊“獲取數(shù)據(jù)”來載入任務(wù)；③主視圖切換到俯視模式，新建對象，在三視圖中調(diào)整以貼合；④切換到其他幀調(diào)整位置，直到所有的3D和2D都完成追蹤和映射后點擊提交。

7.33D點云標(biāo)注項目第7章

3D點云標(biāo)注3D點云標(biāo)注流程：（2）質(zhì)檢：質(zhì)檢包括兩種方式：單標(biāo)注框質(zhì)檢，單幀質(zhì)檢。①單標(biāo)注框質(zhì)檢：單標(biāo)注框質(zhì)檢過程中標(biāo)注框默認(rèn)為白色，表示當(dāng)前目標(biāo)標(biāo)注框未被質(zhì)檢。質(zhì)檢合格時，標(biāo)注框為綠色，質(zhì)檢不合格時，標(biāo)注框為紅色，質(zhì)檢不合格時需填寫不合格原因。②單幀質(zhì)檢：單幀質(zhì)檢指對視頻的某一幀進行質(zhì)檢。單幀質(zhì)檢合格則在幀號上顯示綠色，不合格則在幀號上顯示紅色，返修后提交的幀幀號顯示為黃色，幀不合格不影響幀內(nèi)的框的顏色和質(zhì)檢結(jié)果。7.33D點云標(biāo)注項目第7章

3D點云標(biāo)注3D點云標(biāo)注流程：（3）返修：對質(zhì)檢結(jié)果的查看，以及對不合格標(biāo)注數(shù)據(jù)的修改。單標(biāo)注框返修時需根據(jù)不合格原因修改標(biāo)注對象，修改后標(biāo)注框會變?yōu)槌壬?，表示已修正。完成所有修?fù)后點擊“提交”保存修復(fù)結(jié)果?！疤峤弧睍r會檢查是否修正全部不合格目標(biāo)框以及幀，如果未全部修正則會有信息提示并且不允許提交。返修完成后可以將返修結(jié)果放入任務(wù)配置參數(shù)中，并且任務(wù)模式修改為質(zhì)檢，對返修結(jié)果再次進行質(zhì)檢。如質(zhì)檢不合格繼續(xù)返修，如此往復(fù)直到質(zhì)檢合格為止。下圖