智能網(wǎng)聯(lián)汽車裝調(diào)與測試（彩色版配實訓(xùn)工單）課件 項目四 智能網(wǎng)聯(lián)汽車數(shù)據(jù)采集與標注

任務(wù)4.1

道路數(shù)據(jù)采集與高精地圖制作01學(xué)習(xí)目標CONTENTE知識目標:掌握高精地圖的內(nèi)容組成、特點與功用；了解高精地圖的制作流程。02學(xué)習(xí)目標CONTENTE能力目標:能使用高精地圖手工標注工具完成高精地圖制作高精地圖認知01高精地圖制作02學(xué)習(xí)內(nèi)容CONTENTE高精地圖認知01任務(wù)4.1道路數(shù)據(jù)采集與高精地圖制作高精地圖（或稱作高精度地圖，HDMap–HighDefinitionMap）是指高精度、精細化定義的地圖，可以描述為對3D道路環(huán)境的重建，其精度需要達到分米級才能夠區(qū)分各個車道。而精細化定義，則是需要、格式化存儲交通場景中的各種交通要素。道路矢量元素信息（車道線位置、類型、寬度等）以及車道周邊的固定對象信息（交通信號燈、交通標志、障礙物、路邊地標等），形成對路網(wǎng)精確的三維表征（厘米級精度），比如路面的幾何結(jié)構(gòu)、道路標示線的位置定義高精地圖認知高精地圖包含眾多屬性高精地圖分為兩個層級，最底層的是靜態(tài)高精地圖，上層是動態(tài)高精地圖。靜態(tài)高精地圖中包含了地圖圖層和定位圖層，這是現(xiàn)階段圖商重點在做的。

組成高精地圖認知地圖圖層

地圖圖層中記錄的是對于道路的詳盡描述，如道路邊緣、車道邊緣和中線等大量信息，以道路模型、車道模型與對象模型表達大量道路屬性要素，并以厘米級的高精度數(shù)據(jù)，精準呈現(xiàn)信息。高精地圖包含眾多屬性高精地圖分為兩個層級，最底層的是靜態(tài)高精地圖，上層是動態(tài)高精地圖。靜態(tài)高精地圖中包含了地圖圖層和定位圖層，這是現(xiàn)階段圖商重點在做的。

組成高精地圖認知定位圖層定位圖層中記錄的是具備獨特性的目標或特征，稱為Landmark，如交通標志、地面標志、燈桿等，記錄的內(nèi)容包括絕對坐標、屬性、幾何輪廓等，用來和其他車輛傳感器感知結(jié)果匹配，推算車輛位置高精地圖包含眾多屬性高精地圖分為兩個層級，最底層的是靜態(tài)高精地圖，上層是動態(tài)高精地圖。動態(tài)高精度地圖則建立于靜態(tài)高精度地圖的基礎(chǔ)之上，它主要包括實時動態(tài)信息，既有其他交通參與者的信息（如道路擁堵情況、施工情況、是否有交通事故、交通管制情況、天氣情況等），也有交通參與物的信息（如紅綠燈、人行橫道等）。組成高精地圖認知特點高精地圖認知特點高精地圖認知車道級道路信息傳統(tǒng)導(dǎo)航地圖只能提供道路級（Road）的導(dǎo)航信息。高精度地圖能夠提供車道級（Lane）的導(dǎo)航信息，這種導(dǎo)航信息能夠精確到車道的連接關(guān)系。特點高精地圖認知13車道級道路信息右側(cè)綠虛線即為高精度地圖為無人車提供的虛擬車道線中心，只要提前變道到正確車道，并沿著虛擬車道線所在的車道行駛，即可順利通過路口。特點高精地圖認知車道級別的道路信息能夠解決在路口轉(zhuǎn)彎時，無人車不知道需要轉(zhuǎn)多大的角度和保持多高車速的問題。道路先驗信息高精度地圖可以為無人車提供的某些先驗信息。包括道路曲率、航向、坡度和橫坡角。這些信息對于無人車的安全性和舒適性都至關(guān)重要?？身樌ㄟ^路口。特點高精地圖認知POI

（PointofInterest）在交通場景中能成為POI的東西有很多，比如：用中心點和多個外包絡(luò)點描述的交通標志牌、地面標志、燈桿、紅綠燈、收費站等；用一系列連續(xù)點所組成的鏈狀信息描述的路沿、護欄、隧道、龍門架、橋等。特點高精地圖認知應(yīng)用高精地圖認知

環(huán)境感知輔助1）擴大自動駕駛車輛的感知范圍超視距感知-車載傳感器探測范圍有自己的性能邊界限制，但高精地圖可以延伸傳感器的感知范圍，提前告知車輛前方的道路信息及交通狀況信息；彌補車載傳感器在特殊情況條件下的感知缺陷-車載感知傳感器在復(fù)雜的路況或惡劣天氣條件下，會遇到探測死角以及感知性能下降甚至失效的情況，此時高精地圖可及時進行環(huán)境信息補充，實時狀況監(jiān)測及外部信息反饋；應(yīng)用高精地圖認知2）提供先驗信息-節(jié)約車載傳感器的計算資源（車載傳感器相當于無人車的眼睛，而高精地圖相當于無人車的記憶）。高精地圖可幫助車輛提前預(yù)知前方的道路、交通、基礎(chǔ)設(shè)施等信息，幫助車載傳感器縮小檢測范圍，車載傳感器可專注于檢測感興趣區(qū)域（ROI）；這樣既提高了車載傳感器的檢測精度和速度，同時又節(jié)約了其計算資源。3）提供冗余數(shù)據(jù)-冗余保障（高精地圖可以說是無人車最穩(wěn)定的“傳感器”）當某些傳感器數(shù)據(jù)缺失時，可以利用高精地圖數(shù)據(jù)進行推算；當同一個數(shù)據(jù)有多個車載傳感器數(shù)據(jù)來源時，高精度地圖可以用于相互校驗，校驗其他傳感器的可信度，提高整個系統(tǒng)的準確度。應(yīng)用高精地圖認知高精度定位輔助-確定車輛在地圖中的位置

高精地圖對路網(wǎng)有精確的三維表征（比如路面的幾何結(jié)構(gòu)、道路標示線的位置、周邊道路環(huán)境的點云模型等），應(yīng)用高精地圖認知并存儲為結(jié)構(gòu)化數(shù)據(jù)；這些結(jié)構(gòu)化數(shù)據(jù)都有地理編碼，自動駕駛系統(tǒng)通過車載GPS/IMU、Lidar或攝像頭獲得的環(huán)境信息與高精地圖上的信息做對比分析，便可得到車輛在地圖上的精確位置；

路徑規(guī)劃與決策提供先驗信息給自動駕駛系統(tǒng)以便其做出合理的行為規(guī)劃決策，例如：前方具有低速限制、人行橫道或道路施工區(qū)域，高精地圖能讓車輛提前預(yù)知，并預(yù)先減速。應(yīng)用高精地圖認知

百度Apollo數(shù)據(jù)采集數(shù)據(jù)處理元素識別人工驗證地圖發(fā)布制作流程高精地圖認知

百度Apollo數(shù)據(jù)采集制作流程高精地圖認知數(shù)據(jù)采集技術(shù)路線高清地圖目前有兩條路，即激光雷達掃描為主的高成本制圖方法和攝像頭為主的低成本制圖方法。高成本方式已經(jīng)被大公司普遍采用，比如HERE，TomTom，谷歌，蘋果，百度，高德，四維圖新和日本ZENRIN等等制作流程高精地圖認知高清地圖目前有兩條路，即激光雷達掃描為主的高成本制圖方法和攝像頭為主的低成本制圖方法。采用攝像頭為主的低成本制圖方法，如美國IntelMobileye，Mapbox，Tesla，Lvl5，Mapper，Ushr，德國Atlatec，國內(nèi)的極奧，MOMENTA，寬凳科技，DeepMotion和Wayz.ai等等。制作流程高精地圖認知制作流程高精地圖認知數(shù)據(jù)采集模式Mobileye高精地圖眾包采集模式，主要采集路面和路標等數(shù)據(jù)，而且上傳是匿名加密上傳到云系統(tǒng)，通過云系統(tǒng)進行數(shù)據(jù)的加工整合，然后形成新的高精度地圖roadbook，通過下發(fā)給到有允許高精度地圖roadbook的車輛進行10cm的高精度定位。制作流程高精地圖認知眾包優(yōu)勢1、相對成本較低：與昂貴的專業(yè)的激光雷達測量車相比，成本較低，普通車輛經(jīng)過簡易改造即可執(zhí)行任務(wù)。2、數(shù)據(jù)來源非常豐富、實時性好：大量非專業(yè)采集車輛在行駛中即可即時獲取道路狀況發(fā)生的變化，這種UGC的數(shù)據(jù)產(chǎn)生方式可以及時完成路況數(shù)據(jù)快速檢閱與更新的問題。3、是實現(xiàn)實時更新的低成本和可量產(chǎn)化的方案：眾包采集具有一些非常顯著的優(yōu)勢，中國大概600多萬公里的道路數(shù)據(jù)，如果按照專業(yè)測繪的方式采集，成本與時耗都將是個天文數(shù)字。數(shù)據(jù)采集模式制作流程高精地圖認知眾包劣勢1、傳感器數(shù)據(jù)來源和標準不一：由于各家眾包方案使用的傳感器不一樣，導(dǎo)致數(shù)據(jù)來源、精度、格式標準都不統(tǒng)一，各種傳感器采集的數(shù)據(jù)在融合時會出現(xiàn)一定難度。2、精度不夠：眾包方案產(chǎn)生的數(shù)據(jù)大多是視頻數(shù)據(jù)，精度較低。圖像包含的信息量非常大且大部分為非結(jié)構(gòu)化的數(shù)據(jù)。3、政策門檻：對于眾包數(shù)據(jù)采集的行政許可目前是沒有的，企業(yè)性質(zhì)的大范圍的帶GPS或不帶GPS的地理數(shù)據(jù)搜集行為屬于測繪行為，這些數(shù)據(jù)需要由有甲級導(dǎo)航電子地圖資質(zhì)圖商收集處理。目前，獲得了“電子地圖甲級測繪資質(zhì)”的公司只有高德、四維圖新、易圖通、百度等14家。4、技術(shù)門檻高：眾包制圖整個過程涉及到計算機視覺技術(shù)，AI技術(shù)，數(shù)據(jù)融合技術(shù)等目前業(yè)界的一些尖端技術(shù)，有些技術(shù)目前還相對不成熟。數(shù)據(jù)采集模式制作流程高精地圖認知

百度Apollo數(shù)據(jù)處理點云圖像處理后得到一個高精度圖像，基于圖像可以做精確的車道線識別，獲得車道線的形狀特征。但仍需要道路虛實線、黃白線、路口標識等信息，這時候需要元素識別。制作流程高精地圖認知

百度Apollo元素識別基于深度學(xué)習(xí)的地圖要素識別有兩個層面：制作流程高精地圖認知是否能基于點云分割，從點云里提取特征。嘗試從點云中提取車道線、燈桿、紅綠燈等

百度Apollo人工驗證這一環(huán)節(jié)由人工完成，自動化處理的數(shù)據(jù)還不能百分百準確，需要人工在進行最后一步的確認和完善，對于修正后的數(shù)據(jù)，需要上傳到云端，最終形成的高精度地圖也通過云平臺進行分發(fā)。制作流程高精地圖認知高精度地圖動態(tài)與靜態(tài)信息并存的特性決定了后期的更新維護會占據(jù)更大的工作量。業(yè)內(nèi)已經(jīng)形成共識，相比于前期勞動密集型的繪圖制圖工作，高精度地圖后期的維護更新才是核心競爭點。無人駕駛時代所需要的局部動態(tài)地圖數(shù)據(jù)依據(jù)更新頻率可以劃分為四類：永久靜態(tài)數(shù)據(jù)（更新頻率為1個月）半永久靜態(tài)數(shù)據(jù)（頻率為1小時）半動態(tài)數(shù)據(jù)（頻率為1分鐘）動態(tài)數(shù)據(jù)（頻率為1秒）更新高精地圖認知高精度地圖動態(tài)與靜態(tài)信息并存的特性決定了后期的更新維護會占據(jù)更大的工作量。業(yè)內(nèi)已經(jīng)形成共識，相比于前期勞動密集型的繪圖制圖工作，高精度地圖后期的維護更新才是核心競爭點。無人駕駛時代所需要的局部動態(tài)地圖數(shù)據(jù)依據(jù)更新頻率可以劃分為四類：永久靜態(tài)數(shù)據(jù)（更新頻率為1個月）半永久靜態(tài)數(shù)據(jù)（頻率為1小時）半動態(tài)數(shù)據(jù)（頻率為1分鐘）動態(tài)數(shù)據(jù)（頻率為1秒）更新高精地圖認知四維圖新制作與更新流程案例高精地圖認知高精地圖制作02任務(wù)4.1道路數(shù)據(jù)采集與高精地圖制作。實踐內(nèi)容高精地圖制作請查閱相關(guān)技術(shù)文檔，完成高精地圖制作！任務(wù)4.2目標檢測深度學(xué)習(xí)數(shù)據(jù)集制作學(xué)習(xí)目標CONTENTE01知識目標:了解深度學(xué)習(xí)技術(shù)在環(huán)境感知中的應(yīng)用。02學(xué)習(xí)目標CONTENTE能力目標:能讀懂VOC、COCO等常用深度學(xué)習(xí)數(shù)據(jù)集的文件結(jié)構(gòu)，并能使用標注工具完成數(shù)據(jù)的標注，制作訓(xùn)練數(shù)據(jù)集01深度學(xué)習(xí)認知深度學(xué)習(xí)數(shù)據(jù)集制作02學(xué)習(xí)內(nèi)容CONTENTE01 深度學(xué)習(xí)認知任務(wù)4.2目標檢測深度學(xué)習(xí)數(shù)據(jù)集制作傳統(tǒng)視覺深度學(xué)習(xí)認知計算機是不認識圖像的,只認識數(shù)字0和1。為了使計算機能夠“理解”圖像，從而具有真正意義上的“視覺”，于是我們通過從圖像中提取有用的數(shù)據(jù)或信息，得到圖像的“非圖像表示或描述”，如數(shù)值、向量和符號等，這一過程就是特征提取，而提取出來的這些“非圖像表示或描述”就是特征。傳統(tǒng)視覺深度學(xué)習(xí)認知上述的特征提取一般包括點、線，圖像分割，光流，機器學(xué)習(xí)特征，SVM行人車輛識別等要素提取。有了這些數(shù)值或向量形式的特征，再通過建立特征庫，我們就可以通過訓(xùn)練過程教會計算機如何懂得這些特征，從而使計算機具有識別圖像的本領(lǐng)。目前圖像特征的提取主要有兩種方法：傳統(tǒng)圖像特征提取方法和深度學(xué)習(xí)方法。傳統(tǒng)的特征提取方法：基于圖像本身的特征進行提??；深度學(xué)習(xí)方法：基于樣本自動訓(xùn)練出區(qū)分圖像的特征分類器；傳統(tǒng)的圖像特征提取一般分為三個步驟：預(yù)處理、特征提取、特征處理；然后在利用機器學(xué)習(xí)等方法對特征進行分類等操作。傳統(tǒng)視覺深度學(xué)習(xí)認知預(yù)處理：預(yù)處理的目的主要是排除干擾因素，突出特征信息；主要的方法有：圖片標準化：調(diào)整圖片尺寸；圖片歸一化：調(diào)整圖片重心為0；特征提取：利用特殊的特征子空間，完成對圖像的特征提取。涉及算法主要有：Harris、SIFT、SURF、LBF、HOG、DPM；特征處理：主要目的是為了排除信息量小的特征，減少計算量等。常見的特征處理方法是降維，常見的降維方法有：主成分分析、奇異值分解、線性判別分析；傳統(tǒng)視覺深度學(xué)習(xí)認知傳統(tǒng)視覺算法有著自身的一些瓶頸，無論單目攝像頭還是多目攝像頭，傳統(tǒng)視覺算法都是基于人為特征提取得到樣本特征庫去識別計算。當自動駕駛車輛行駛過程中如發(fā)現(xiàn)特征庫沒有該樣本或特征庫樣本不準確，都會導(dǎo)致傳統(tǒng)視覺算法無法識別，另外傳統(tǒng)視覺算法還有在復(fù)雜場景下分割不佳等情況。因此，基于人為特征提取的傳統(tǒng)視覺算法具有性能瓶頸，無法完全滿足自動駕駛的目標檢測。傳統(tǒng)視覺深度學(xué)習(xí)認知深度學(xué)習(xí)(DL,Deep

Learning)是一類模式分析方法的統(tǒng)稱，屬于機器學(xué)習(xí)(ML,MachineLearning)領(lǐng)域中一個新的研究方向。深度學(xué)習(xí)通過學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，能夠讓機器像人一樣具有分析、學(xué)習(xí)能力，可識別文字、圖像和聲音等數(shù)據(jù)，從而實現(xiàn)人工智能(AI,ArtificialIntelligence)。定義深度學(xué)習(xí)認知深度學(xué)習(xí)在圖像領(lǐng)域的幾大任務(wù)：圖像分類圖像分類任務(wù)目的是判斷圖像中包含物體的類別，如果期望判別多種物體則稱為多目標分類。需要注意的是，基本的圖像分類任務(wù)并不要求給出物體所在位置，也不需要判斷含有物體的數(shù)量。分類深度學(xué)習(xí)認知目標檢測確的定位出圖像中某一物體類別信息和所在位置分類深度學(xué)習(xí)認知實例分割不僅需要將圖像中所有像素進行分類，還需要區(qū)分相同類別中不同個體。不需要對每個像素進行標記分類深度學(xué)習(xí)認知全景分割語義分割和實例分割的結(jié)合，即要對所有目標都檢測出來，又要區(qū)分出同個類別中的不同實例。分類深度學(xué)習(xí)認知深度估計它的目的就是要去預(yù)測平面圖片中每個像素的深度，簡單地說，就是每個像素離你有多遠。一旦有了精確的深度估計，你的無人車就能很大程度上做到避撞了分類深度學(xué)習(xí)認知基于深度學(xué)習(xí)的計算機視覺，應(yīng)用于無人駕駛的視覺感知系統(tǒng)中，主要分為四大塊：動態(tài)物體檢測（Dynamic

Objec