視覺slam的介紹課件

視覺SLAM介紹

視覺SLAM概述相機(jī)與圖像視覺里程計(jì)后端優(yōu)化回環(huán)檢測(cè)地圖構(gòu)建提要第一講視覺slam概述Chapter1:Introduction第一講視覺slam概述Question機(jī)器人自主運(yùn)動(dòng)兩大基本問題我在什么地方？——定位周圍長(zhǎng)什么樣子？——建圖機(jī)器人的“內(nèi)外兼修”：定位側(cè)重對(duì)自身的了解，建圖側(cè)重對(duì)外在的了解準(zhǔn)確的定位需要精確的地圖精確的地圖來(lái)自準(zhǔn)確的定位第一講視覺slam概述HowtodoSLAM？——Sensors兩類傳感器安裝于環(huán)境中的：二維碼MarkerGPS導(dǎo)軌、磁條攜帶于機(jī)器人本體上的IMU激光相機(jī)第一講視覺slam概述相機(jī)以一定速率采集圖像，形成視頻分類單目Monocular雙目Stereo深度RGBD其他魚眼全景EventCamera,etc.第一講視覺slam概述相機(jī)的本質(zhì)以二維投影形式記錄了三維世界的信息此過(guò)程丟掉了一個(gè)維度：距離各類相機(jī)主要區(qū)別：有沒有深度信息單目：沒有深度，必須通過(guò)移動(dòng)相機(jī)產(chǎn)生深度MovingViewStereo雙目：通過(guò)視差計(jì)算深度StereoRGBD：通過(guò)物理方法測(cè)量深度第一講視覺slam概述僅有一個(gè)圖像時(shí)：可能是很近但很小的物體可能是很遠(yuǎn)但很大的物體它們成像相同必須在移動(dòng)相機(jī)后才能得知相機(jī)的運(yùn)動(dòng)和場(chǎng)景的結(jié)構(gòu)第一講視覺slam概述當(dāng)相機(jī)運(yùn)動(dòng)起來(lái)時(shí)場(chǎng)景和成像有幾何關(guān)系近處物體的像運(yùn)動(dòng)快遠(yuǎn)處物體的像運(yùn)動(dòng)慢可以推斷距離第一講視覺slam概述雙目相機(jī)：左右眼的微小差異判斷遠(yuǎn)近同樣，遠(yuǎn)處物體變化小，近處物體變化大——推算距離計(jì)算量非常大第一講視覺slam概述深度相機(jī)物理手段測(cè)量深度結(jié)構(gòu)光ToF主動(dòng)測(cè)量，功耗大深度值較準(zhǔn)確量程較小，易受干擾第一講視覺slam概述

視覺SLAM框架前端：VO后端：Optimization回環(huán)檢測(cè)Loop

Closing建圖Mapping第一講視覺slam概述視覺里程計(jì)VisualOdometry相鄰圖像估計(jì)相機(jī)運(yùn)動(dòng)基本形式：通過(guò)兩張圖像計(jì)算運(yùn)動(dòng)和結(jié)構(gòu)不可避免地有漂移方法特征點(diǎn)法直接法第一講視覺slam概述后端優(yōu)化從帶有噪聲的數(shù)據(jù)中優(yōu)化軌跡和地圖狀態(tài)估計(jì)問題最大后驗(yàn)概率估計(jì)MAP前期以EKF為代表，現(xiàn)在以圖優(yōu)化為代表第一講視覺slam概述回環(huán)檢測(cè)檢測(cè)機(jī)器人是否回到早先位置識(shí)別到達(dá)過(guò)的場(chǎng)景計(jì)算圖像間的相似性方法：詞袋模型第一講視覺slam概述建圖用于導(dǎo)航、規(guī)劃、通訊、可視化、交互等度量地圖vs拓?fù)涞貓D稀疏地圖vs稠密地圖第二講相機(jī)與圖像Chapter2:CamerasandImages第二講

相機(jī)模型小孔成像模型原始形式翻轉(zhuǎn)到前面整理之：第二講

相機(jī)模型成像平面到像素坐標(biāo)代入得第二講

相機(jī)模型矩陣形式展開形式左側(cè)是齊次坐標(biāo)右側(cè)是非齊次坐標(biāo)中間矩陣稱為內(nèi)參數(shù)內(nèi)參通常在相機(jī)生產(chǎn)之后就已固定傳統(tǒng)習(xí)慣第二講

相機(jī)模型除內(nèi)參外，相機(jī)坐標(biāo)系與世界坐標(biāo)系還相差一個(gè)變換：這里R,t或T稱為外參外參是SLAM估計(jì)的目標(biāo)先把P從世界坐標(biāo)變到相機(jī)坐標(biāo)系下第二講

相機(jī)模型RGB-D相機(jī)：物理手段測(cè)量深度ToF或結(jié)構(gòu)光兩種主要原理通常能得到與RGB圖對(duì)應(yīng)的深度圖第二講

圖像相機(jī)成像后，生成了圖像圖像在計(jì)算機(jī)中以矩陣形式存儲(chǔ)（二維數(shù)組）需要對(duì)感光度量化成數(shù)值，例如0~255之間的整數(shù)（彩色圖像還有通道）實(shí)踐點(diǎn)云拼接第三講視覺里程計(jì)Chapter3:VisualOdometry3.1

特征點(diǎn)法經(jīng)典SLAM模型中以位姿——路標(biāo)（Landmark）來(lái)描述SLAM過(guò)程路標(biāo)是三維空間中固定不變的點(diǎn)，能夠在特定位姿下觀測(cè)到數(shù)量充足，以實(shí)現(xiàn)良好的定位較好的區(qū)分性，以實(shí)現(xiàn)數(shù)據(jù)關(guān)聯(lián)在視覺SLAM中，可利用圖像特征點(diǎn)作為SLAM中的路標(biāo)3.1

特征點(diǎn)法特征點(diǎn)：圖像當(dāng)中具有代表性的部分可重復(fù)性可區(qū)別性高效本地特征點(diǎn)的信息位置、大小、方向、評(píng)分等——關(guān)鍵點(diǎn)特征點(diǎn)周圍的圖像信息——描述子（Descriptor）主流方法：SIFT/SURF/ORB （OpenCVfeatures2d模塊）特征描述應(yīng)該在光照、視角發(fā)生少量變化時(shí)仍能保持一致3.1.1ORB特征例子：ORB特征關(guān)鍵點(diǎn)：OrientedFAST描述：BRIEFFAST連續(xù)N個(gè)點(diǎn)的灰度有明顯差異OrientedFAST 在FAST基礎(chǔ)上計(jì)算旋轉(zhuǎn)BRIEFBRIEF-128：在特征點(diǎn)附近的128次像素比較3.1.1ORB特征特征匹配通過(guò)描述子的差異判斷哪些特征為同一個(gè)點(diǎn)暴力匹配：比較圖1中每個(gè)特征和圖2特征的距離加速：快速最近鄰（FLANN）實(shí)踐：特征提取和匹配3.2

對(duì)極幾何特征匹配之后，得到了特征點(diǎn)之間的對(duì)應(yīng)關(guān)系如果只有兩個(gè)單目圖像，得到2D-2D間的關(guān)系 ——對(duì)極幾何如果匹配的是幀和地圖，得到3D-2D間的關(guān)系 ——PnP如果匹配的是RGB-D圖，得到3D-3D間的關(guān)系 ——ICP3.2

對(duì)極幾何幾何關(guān)系：P在兩個(gè)圖像的投影為兩個(gè)相機(jī)之間的變換為

在第二個(gè)圖像上投影為記，稱為極線，反之亦然

稱為極點(diǎn)實(shí)踐當(dāng)中：

通過(guò)特征匹配得到，P未知，未知

待求(本質(zhì)矩陣、單應(yīng)矩陣）

3.3

三角化已知運(yùn)動(dòng)時(shí)，求解特征點(diǎn)的3D位置幾何關(guān)系：求時(shí)，兩側(cè)乘

反之亦然或者同時(shí)解求的最小二乘解

3.4pnp已經(jīng)3D點(diǎn)的空間位置和相機(jī)上的投影點(diǎn)，求相機(jī)的旋轉(zhuǎn)和平移（外參）代數(shù)的解法/優(yōu)化的解法代數(shù)的DLTP3PEPnP/UPnP/…優(yōu)化的：Bundle

Adjustment3.4pnpDLT（直接線性變換）設(shè)空間點(diǎn)投影點(diǎn)為：投影關(guān)系：展開：將它看成一個(gè)關(guān)于t的線性方程，求解t

歸一化坐標(biāo)注意最下一行為用它消掉前兩行中的s，則一個(gè)特征點(diǎn)提供兩個(gè)方程：為求解12個(gè)未知數(shù)，需要12/2=6對(duì)點(diǎn)。（超定時(shí)求最小二乘解）

3.5光流3.5光流一般分為稀疏光流和稠密光流稀疏以Lucas-Kanade（LK）光流為代表稠密以Horn–Schunck（HS）光流為代表本質(zhì)上是估計(jì)像素在不同時(shí)刻圖像中的運(yùn)動(dòng)3.5光流設(shè)t時(shí)刻位于x,y處像素點(diǎn)的灰度值為在t+dt時(shí)刻，該像素運(yùn)動(dòng)到了希望計(jì)算運(yùn)動(dòng)dx,

dy灰度不變假設(shè)：注意：灰度不變是一種理想的假設(shè)，實(shí)際當(dāng)中由于高光/陰影/材質(zhì)/曝光等不同，很可能不成立。3.5光流對(duì)t+dt時(shí)刻的灰度進(jìn)行Taylor展開并保留一階項(xiàng)：由于灰度不變，所以希望求解dx/dt,

dy/dt因此=>x方向梯度y方向梯度隨時(shí)間變化3.5光流但本式是一個(gè)二元一次線性方程，欠定需要引用額外的約束假定一個(gè)窗口（）內(nèi)光度不變：通過(guò)超定最小二乘解求得運(yùn)動(dòng)u,v3.5光流

最后，我們可以通過(guò)光流跟蹤的特征的，用PnP、ICP或?qū)O幾何來(lái)估計(jì)相機(jī)運(yùn)動(dòng)。總而言之，光流法可以加速基于特征點(diǎn)的視覺里程計(jì)算法，避免計(jì)算和匹配描述子的過(guò)程，但要求相機(jī)運(yùn)動(dòng)較慢（或采集頻率較高）。實(shí)踐光流

可以發(fā)現(xiàn)，光流法在跟蹤過(guò)程中一部分特征點(diǎn)會(huì)丟失，在第一幀時(shí)有1749個(gè)特征點(diǎn)，而在第10幀時(shí)大約還有1640個(gè)特征點(diǎn)，相機(jī)的視角在發(fā)生改變，所以我們使用光流法時(shí)要注意特征點(diǎn)的重新采集。第四講后端Chapter4:Backend

4.1BA與圖優(yōu)化4.1

BA與圖優(yōu)化BA算法起源于上世紀(jì)60年代，開始應(yīng)用于圖片拼接方向，正是由于BA的出現(xiàn)才使得圖片自動(dòng)拼接稱為可能。在視覺SLAM產(chǎn)生之后，BA被廣泛應(yīng)用于視覺SLAM的位姿優(yōu)化，其將相機(jī)位姿和特征點(diǎn)的空間位置進(jìn)行同時(shí)優(yōu)化，獲得優(yōu)化后的結(jié)果。BA本身也是一個(gè)非線性最小二乘問題。對(duì)于視覺SLAM來(lái)說(shuō)BA問題可以簡(jiǎn)單的描述成在不同的相機(jī)位姿下看到了相同的空間點(diǎn)，于是通過(guò)觀測(cè)使得空間點(diǎn)和相機(jī)位姿之間產(chǎn)生了約束，并且由空間點(diǎn)在兩幅圖像上的重投影產(chǎn)生了聯(lián)系。由重投影關(guān)系產(chǎn)生的誤差即可建立最小二乘問題，求解該問題即可對(duì)相機(jī)位姿和空間點(diǎn)進(jìn)行同時(shí)優(yōu)化。

4.1

BA與圖優(yōu)化BA問題與圖結(jié)構(gòu)的關(guān)系BA雖是個(gè)純優(yōu)化問題，但亦可以用圖模型表述出來(lái)頂點(diǎn)為優(yōu)化變量，邊為運(yùn)動(dòng)/觀測(cè)約束本身還有一些特殊的結(jié)構(gòu)考慮在位姿i處對(duì)路標(biāo)j的一次觀測(cè)zij：特點(diǎn)：每個(gè)觀測(cè)只關(guān)系兩個(gè)變量，其中一個(gè)是相機(jī)，一個(gè)是路標(biāo)純視覺Ba中，不存在相機(jī)與相機(jī)/路標(biāo)與路標(biāo)之間的關(guān)聯(lián)整個(gè)誤差函數(shù)由許多個(gè)這樣小的項(xiàng)組成4.1

BA與圖優(yōu)化該方程組分為兩步來(lái)求：求解上半部分，規(guī)模較小，得到將結(jié)果代入下半部分，得到這個(gè)做法稱為Marginalization或Schur消元從消元角度來(lái)講，亦可使用Cholesky等其他消元方式解此稀疏方程從Marginalization角度來(lái)講，是我們把所有的路標(biāo)信息邊緣化到了相機(jī)的信息中g(shù)2o下的BA優(yōu)化第五講回環(huán)檢測(cè)Chapter5:Loopdetection5.1回環(huán)檢測(cè)為消除累計(jì)誤差，獲得全局一致的地圖和軌跡，僅僅通過(guò)幀間數(shù)據(jù)匹配估計(jì)運(yùn)動(dòng)位姿是遠(yuǎn)遠(yuǎn)不夠的，需要在全局?jǐn)?shù)據(jù)中進(jìn)行處理才能得到更好的結(jié)果。在這個(gè)過(guò)程中，回環(huán)檢測(cè)就發(fā)揮了非常重要的作用?；丨h(huán)檢測(cè)可以有效修正運(yùn)動(dòng)軌跡，將累計(jì)誤差消除?；丨h(huán)檢測(cè)本質(zhì)上是圖像相似度計(jì)算的問題，一般使用BOW字典對(duì)圖片進(jìn)行描述，通過(guò)檢驗(yàn)圖片中單詞的數(shù)量形成直方圖，通過(guò)檢驗(yàn)直方圖之間的關(guān)系確定圖像之間的相似程度。一般使用詞袋模型判斷回環(huán)檢測(cè)需要進(jìn)行詞典的建立以及后續(xù)對(duì)圖像相似性的處理。

5.2

詞袋模型利用K-Means算法構(gòu)造單詞表。用K-means對(duì)第二步中提取的N個(gè)SIFT特征進(jìn)行聚類，K-Means算法是一種基于樣本間相似性度量的間接聚類方法，此算法以K為參數(shù)，把N個(gè)對(duì)象分為K個(gè)簇，以使簇內(nèi)具有較高的相似度，而簇間相似度較低。聚類中心有k個(gè)（在BOW模型中聚類中心我們稱它們?yōu)橐曈X詞），碼本的長(zhǎng)度也就為k，計(jì)算每一幅圖像的每一個(gè)SIFT特征到這k個(gè)視覺詞的距離，并將其映射到距離最近的視覺詞中（即將該視覺詞的對(duì)應(yīng)詞頻+1）。完成這一步后，每一幅圖像就變成了一個(gè)與視覺詞序列相對(duì)應(yīng)的詞頻矢量。5.2

詞袋模型我們從人臉、自行車和吉他三個(gè)目標(biāo)類圖像中提取出的不同視覺詞匯，而構(gòu)造的詞匯表中，會(huì)把詞義相近的視覺詞匯合并為同一類，經(jīng)過(guò)合并，詞匯表中只包含了四個(gè)視覺單詞，分別按索引值標(biāo)記為1，2，3，4。通過(guò)觀察可以看到，它們分別屬于自行車、人臉、吉他、人臉類。統(tǒng)計(jì)這些詞匯在不同目標(biāo)類中出現(xiàn)的次數(shù)可以得到每幅圖像的直方圖表示：人臉：[3,30,3,20]自行車：[20,3,3,2]吉他：[8,12,32,7]

其實(shí)這個(gè)過(guò)程非常簡(jiǎn)單，就是針對(duì)人臉、自行車和吉他這三個(gè)文檔，抽取出相似的部分（或者詞義相近的視覺詞匯合并為同一類），構(gòu)造一個(gè)詞典，詞典中包含4個(gè)視覺單詞，即Dictionary={1:”自行車”,2.“人臉”,3.“吉他”,4.“人臉類”}，最終人臉、自行車和吉他這三個(gè)文檔皆可以用一個(gè)4維向量表示，最后根據(jù)三個(gè)文檔相應(yīng)部分出現(xiàn)的次數(shù)畫成了上面對(duì)應(yīng)的直方圖。一般情況下，K的取值在幾百到上千，在這里取K＝4僅僅是為了方便說(shuō)明。第六講建圖Chapter5:Mapping第六講建圖建圖（Mapping）是slam的兩大目標(biāo)之一。上述討論的都是定位，討論了特征值點(diǎn)的定位，直接法的定位，以及后端優(yōu)化。在經(jīng)典的slam模型中，所謂的地圖，即所有路標(biāo)點(diǎn)的集合。一旦確定了路標(biāo)點(diǎn)的位置，可以說(shuō)明完成了建圖。但建圖的需求不同，SLAM作為一種底層技術(shù)，往往是用來(lái)為上層應(yīng)用提供信息。例如掃地機(jī)器人需要完成掃地工作，希望計(jì)算一條能夠覆蓋整張地圖的路徑。或者，如果上層是一個(gè)增強(qiáng)現(xiàn)實(shí)設(shè)備，那么開發(fā)者可能將虛擬物體疊加在現(xiàn)實(shí)物體之中。在視覺slam看來(lái)，“建圖”是服務(wù)與“定位”的;但在應(yīng)用層看來(lái)，“建圖”明顯還帶來(lái)許多其他需求。第六講建圖定位：定位是基本功能不用多說(shuō)。視覺里程計(jì)討論如何利用局部地圖來(lái)實(shí)現(xiàn)定位。在回環(huán)檢測(cè)部分，只要有全局的描述子信息，就能通過(guò)回環(huán)檢測(cè)確定機(jī)器人的位置。導(dǎo)航：在地圖中進(jìn)行路徑規(guī)劃，在任意兩個(gè)地圖間尋找路徑，然后控制自己運(yùn)動(dòng)到目標(biāo)點(diǎn)的過(guò)程。該過(guò)程中至少知道地圖中哪些地方不可通過(guò)，而哪些地方是可以通過(guò)。這屬于稀疏特征點(diǎn)地圖的能力范圍，至少得是一種稠密的地圖。避障：避障也是機(jī)器人經(jīng)常碰到的一個(gè)問題，不過(guò)它更注重局部的，動(dòng)態(tài)的導(dǎo)航物的處理。同樣，僅有特征點(diǎn)，無(wú)法判斷某個(gè)特征點(diǎn)是否為障礙物，所以需要稠密地圖。重建：稠密地