第3章 即時(shí)定位與地圖構(gòu)建技術(shù)課件講解

第1

頁(yè)第3章即時(shí)定位與地圖構(gòu)建技術(shù)3.1SLAM技術(shù)簡(jiǎn)介3.2視覺SLAM技術(shù)3.3激光SLAM技術(shù)3.4無人車激光SLAM開發(fā)實(shí)例

第2

頁(yè)第3章即時(shí)定位與地圖構(gòu)建技術(shù)

第3

頁(yè)第3章即時(shí)定位與地圖構(gòu)建技術(shù)

第4

頁(yè)

第5

頁(yè)

第6

頁(yè)

第7

頁(yè)

第8

頁(yè)

第9

頁(yè)

第10

頁(yè)

第11

頁(yè)視覺SLAM概述Question機(jī)器人自主運(yùn)動(dòng)兩大基本問題我在什么地方？——定位周圍長(zhǎng)什么樣子？——建圖機(jī)器人的“內(nèi)外兼修”：定位側(cè)重對(duì)自身的了解，建圖側(cè)重對(duì)外在的了解準(zhǔn)確的定位需要精確的地圖精確的地圖來自準(zhǔn)確的定位/video/BV1CZ4y1F7kN/video/BV1YE411r7ao視覺SLAM概述HowtodoSLAM？——Sensors兩類傳感器安裝于環(huán)境中的：二維碼MarkerGPS導(dǎo)軌、磁條攜帶于機(jī)器人本體上的IMU激光相機(jī)視覺SLAM概述相機(jī)以一定速率采集圖像，形成視頻分類單目Monocular雙目Stereo深度RGBD其他魚眼全景EventCamera,etc.視覺SLAM概述相機(jī)的本質(zhì)以二維投影形式記錄了三維世界的信息此過程丟掉了一個(gè)維度：距離各類相機(jī)主要區(qū)別：有沒有深度信息單目：沒有深度，必須通過移動(dòng)相機(jī)產(chǎn)生深度MovingViewStereo雙目：通過視差計(jì)算深度StereoRGBD：通過物理方法測(cè)量深度視覺SLAM概述僅有一個(gè)圖像時(shí)：可能是很近但很小的物體可能是很遠(yuǎn)但很大的物體它們成像相同必須在移動(dòng)相機(jī)后才能得知相機(jī)的運(yùn)動(dòng)和場(chǎng)景的結(jié)構(gòu)視覺SLAM概述當(dāng)相機(jī)運(yùn)動(dòng)起來時(shí)場(chǎng)景和成像有幾何關(guān)系近處物體的像運(yùn)動(dòng)快遠(yuǎn)處物體的像運(yùn)動(dòng)慢可以推斷距離視覺SLAM概述雙目相機(jī)：左右眼的微小差異判斷遠(yuǎn)近同樣，遠(yuǎn)處物體變化小，近處物體變化大——推算距離計(jì)算量非常大視覺SLAM概述深度相機(jī)物理手段測(cè)量深度結(jié)構(gòu)光ToF主動(dòng)測(cè)量，功耗大深度值較準(zhǔn)確量程較小，易受干擾視覺SLAM概述視覺SLAM框架前端：VO后端：Optimization回環(huán)檢測(cè)LoopClosing建圖Mapping視覺SLAM概述視覺里程計(jì)VisualOdometry相鄰圖像估計(jì)相機(jī)運(yùn)動(dòng)基本形式：通過兩張圖像計(jì)算運(yùn)動(dòng)和結(jié)構(gòu)不可避免地有漂移方法特征點(diǎn)法直接法視覺SLAM概述后端優(yōu)化從帶有噪聲的數(shù)據(jù)中優(yōu)化軌跡和地圖狀態(tài)估計(jì)問題最大后驗(yàn)概率估計(jì)MAP前期以EKF為代表，現(xiàn)在以圖優(yōu)化為代表視覺SLAM概述回環(huán)檢測(cè)檢測(cè)機(jī)器人是否回到早先位置識(shí)別到達(dá)過的場(chǎng)景計(jì)算圖像間的相似性方法：詞袋模型視覺SLAM概述回環(huán)檢測(cè)在視覺SLAM問題中，位姿的估計(jì)往往是一個(gè)遞推的過程，即由上一幀位姿解算當(dāng)前幀位姿，因此其中的誤差便這樣一幀一幀的傳遞下去，也就是累積誤差。如下圖所示，位姿約束都是參照上一幀建立的，第五幀的位姿誤差中便已經(jīng)積累了前面四個(gè)約束中的誤差。視覺SLAM概述回環(huán)檢測(cè)如果，第五幀位姿不僅可以由第四幀推出來，還可以由第二幀推算出來，那顯然由第二幀推出誤差更小，因?yàn)橹挥袃蓚€(gè)約束的誤差了。像這樣與之前的某一幀建立位姿約束關(guān)系就叫做回環(huán)。回環(huán)通過減少了約束數(shù)，起到了減小累積誤差的作用。視覺SLAM概述回環(huán)檢測(cè)那現(xiàn)在又有新的問題了，我們?cè)趺粗揽梢杂傻诙扑愕谖鍘蛔四兀烤拖裣聢D，可能第一幀、第三幀也可以呀。確實(shí)，我們之所以用前一幀遞推下一幀位姿，因?yàn)檫@兩幀足夠近，肯定可以建立兩幀的約束，但是距離較遠(yuǎn)的兩幀就不一定可以建立這樣的約束關(guān)系了。找出可以建立這種位姿約束的歷史幀，就是回環(huán)檢測(cè)。視覺SLAM概述回環(huán)檢測(cè)那我們現(xiàn)在的重點(diǎn)就是回環(huán)檢測(cè)了。其實(shí)我們完全可以把以前的所有幀都拿過來和當(dāng)前幀做匹配，匹配足夠好的就是回環(huán)嘛，但問題是計(jì)算量太大了，兩幀匹配本來就慢，這樣做的話還沒有比較好的初值，需要匹配的數(shù)目又如此巨大，CPU和我們都會(huì)瘋的。視覺SLAM概述回環(huán)檢測(cè)但其實(shí)，任意兩幀是否構(gòu)成回環(huán)可以由更簡(jiǎn)單的方法做一個(gè)初步的篩選，就像一幀中有一個(gè)房子，另一幀中是一棵樹，那這兩幀明顯關(guān)系不大嘛。通過這種方式，我們便可以對(duì)回環(huán)做出初步篩選。而這里說的房子、樹就是詞袋模型中的單詞。也就是描述子的進(jìn)一步抽象集合。視覺SLAM概述回環(huán)檢測(cè)方法：詞袋模型單詞：差距較小的描述子的集合字典：所有的單詞因此每一幀都可以用單詞來描述，也就是這一幀中有哪些單詞，這里只關(guān)心了有沒有，而不必關(guān)心具體在哪里。只有兩幀中單詞種類相近才可能構(gòu)成回環(huán)。視覺SLAM概述回環(huán)檢測(cè)方法：詞袋模型因此，現(xiàn)在利用詞袋模型我們將回環(huán)檢測(cè)大致分為了以下三個(gè)步驟：構(gòu)建字典（所有單詞的集合）確定一幀中具有哪些單詞，用向量表示(1表示具有該單詞，0表示沒有)比較兩幀描述向量的差異視覺SLAM概述建圖用于導(dǎo)航、規(guī)劃、通訊、可視化、交互等度量地圖vs拓?fù)涞貓D稀疏地圖vs稠密地圖

第32

頁(yè)

第33

頁(yè)

第34

頁(yè)

第35

頁(yè)

第36

頁(yè)

第37

頁(yè)

第38

頁(yè)

第39

頁(yè)

第40

頁(yè)

第41

頁(yè)

第42

頁(yè)

第43

頁(yè)

第44

頁(yè)

第45

頁(yè)

第46

頁(yè)

第47

頁(yè)

第48

頁(yè)

第49

頁(yè)

第50

頁(yè)

第51

頁(yè)

第52

頁(yè)

第53

頁(yè)

第54

頁(yè)

第55

頁(yè)

第56

頁(yè)

第57

頁(yè)

第58

頁(yè)

第59

頁(yè)

第60

頁(yè)

第61

頁(yè)

第62

頁(yè)

第63

頁(yè)

第64

頁(yè)

第65

頁(yè)

第66

頁(yè)

第67

頁(yè)

第68

頁(yè)

第69

頁(yè)

第70

頁(yè)

第71

頁(yè)

第72

頁(yè)

第73

頁(yè)

第74

頁(yè)

第75

頁(yè)

第76

頁(yè)

第77

頁(yè)

第78

頁(yè)

第79

頁(yè)

第80

頁(yè)

第81

頁(yè)

第82

頁(yè)

第83

頁(yè)

第84

頁(yè)

第85

頁(yè)

第86

頁(yè)

第87

頁(yè)

第88

頁(yè)

第89