ORB-SLAM-2學(xué)習(xí)總結(jié)PPT課件

1、 ORB-SLAM 2 ORB-SLAM 2：用于單目，雙目和RGB-D相機(jī)的開源SLAM系統(tǒng)1目錄01 背景02 ORB-SLAM2主要貢獻(xiàn)03 雙目SLAM和RGB-D SLAM 發(fā)展?fàn)顩r及特點(diǎn)04 系統(tǒng)框架05實(shí)驗(yàn)結(jié)果對(duì)比2背景視覺SLAM僅僅通過一個(gè)單目相機(jī)就能夠完成，然而深度信息無法從單目相機(jī)中觀測(cè)到；由于不能從第一幀當(dāng)中進(jìn)行三角化，單目視覺SLAM系統(tǒng)的啟動(dòng)往往需要多視角或者濾波技術(shù)才能產(chǎn)生一個(gè)初始化的地圖；單目SLAM可能會(huì)造成尺度漂移（scale drift）,以及在探索中執(zhí)行純旋轉(zhuǎn)（pure rotations）的時(shí)候可能會(huì)失敗。 通過使用雙目或者RGB-D相機(jī)將會(huì)解決這些問

2、題，并且能夠成為一種更加可靠的視覺SLAM的解決方案。3ORB-SLAM2主要貢獻(xiàn) 這是第一個(gè)基于單目，雙目和RGB-D相機(jī)的開源SLAM方案，這個(gè)方案包括，閉環(huán)檢測(cè)，重定位和地圖重用；基于RGB-D結(jié)果表明，光束平差法（BA）比基于迭代最近點(diǎn)(ICP)或者光度和深度誤差最小等最先進(jìn)的方法更加精確。通過匹配遠(yuǎn)處和近處的雙目點(diǎn)和單目觀測(cè)，雙目的實(shí)驗(yàn)結(jié)果比直接使用雙目系統(tǒng)更加精確。針對(duì)無法建圖的情況，提出了一個(gè)輕量級(jí)（lightweight）的定位模式 ，能夠更加有效的重用地圖。4雙目SLAM（ Stereo ）發(fā)展?fàn)顩r：最早雙目SLAM系統(tǒng)是Paz等人 ，基于條件獨(dú)立分割和克服擴(kuò)展卡爾曼濾波SL

3、AM， 特點(diǎn)能夠在大場(chǎng)景中運(yùn)行，第一個(gè)使用近特征點(diǎn)和遠(yuǎn)特征點(diǎn)的雙目SLAM系統(tǒng)，使用逆深度參數(shù)化進(jìn)行估計(jì)； Strasdat等人采用在關(guān)鍵幀的內(nèi)部窗口和外部窗口的姿態(tài)圖上執(zhí)行BA聯(lián)合優(yōu)化。 Mei等人提出了（RSLAM），提出了在活躍區(qū)域執(zhí)行BA相關(guān)優(yōu)化，即使在全局一致性沒有被執(zhí)行時(shí)，也能夠進(jìn)行閉環(huán)，同時(shí)也會(huì)擴(kuò)大回環(huán)兩側(cè)的活躍區(qū)域5雙目SLAM Pire等人最近的S-PTAM運(yùn)用了局部BA，但是，這種方法缺少大量的回環(huán)檢測(cè)； Engel等人最近的LSD-SLAM，是一種半稠密直接方法，對(duì)高梯度的圖像區(qū)域中的光度誤差最小化。 優(yōu)點(diǎn)：不依賴特征，能夠在紋理不清（poorly textured）或者

4、運(yùn)動(dòng)模糊（motion blur）的環(huán)境中獲得更高的魯棒性。缺點(diǎn)：受滾動(dòng)快門或者非朗伯反射的未建模效應(yīng)影響而嚴(yán)重下降。6雙目SLAM我們的雙目SLAM工作： 對(duì)局部關(guān)鍵幀集采用BA優(yōu)化； 當(dāng)閉合一個(gè)回路時(shí)，我們的系統(tǒng)首先在回環(huán)的兩端進(jìn)行校準(zhǔn)； 之后進(jìn)行姿態(tài)圖優(yōu)化，通過全BA將回環(huán)產(chǎn)生的累積漂移最小化7 RGB-D SLAM發(fā)展?fàn)顩r：最早 RGB-D SLAM系統(tǒng)是由Newcombe等人提出的KinectFusion，該方法將傳感器的所有深度數(shù)據(jù)融合成一個(gè)體積稠密模型，該模型使用ICP算法來跟蹤相機(jī)姿態(tài)。缺點(diǎn)：由于體積的表現(xiàn)形式和缺乏回環(huán)檢測(cè)，只能工作在小的工作場(chǎng)所。 Whelan 等人提出Ki

5、ntinuous，能夠在大環(huán)境中運(yùn)行。通過使用滾動(dòng)循環(huán)緩沖器和包括使用位置識(shí)別和姿態(tài)圖優(yōu)化的回環(huán)檢測(cè)來完成。8RGB-D SLAM第一個(gè)流行的開源RGB-D SLAM是由Endres等人提出，基于特征的系統(tǒng)，前端采用提取和匹配特征點(diǎn)和ICP算法來計(jì)算幀與幀之間運(yùn)動(dòng)。后端采用閉環(huán)檢測(cè)約束來執(zhí)行姿態(tài)圖優(yōu)化。 Kerl 等人提出DVO-SLAM，在關(guān)鍵幀與關(guān)鍵幀約束之間優(yōu)化姿態(tài)圖，這種約束通過視覺里程計(jì)計(jì)算最小化光度和深度誤差來實(shí)現(xiàn)。最近Whelan等人提出的ElasticFusion，建立在基于surfel的環(huán)境地圖，一種以地圖為中心（map-centric）的方法。忽略了姿態(tài)以及利用對(duì)地圖的非剛

6、性形變來執(zhí)行回環(huán)檢測(cè)，重建和定位的精度十分優(yōu)秀。9RGB-D SLAM我們的RGB-D SLAM工作： 目標(biāo)是長(zhǎng)時(shí)間并且全局一致定位，而不是建立有很多細(xì)節(jié)的稠密地圖； 后端是基于BA優(yōu)化以及建立一個(gè)全局一致的稀疏地圖重建； 更加輕量級(jí)，能夠在標(biāo)準(zhǔn)的中央處理單元（CPUs）上面運(yùn)行；10系統(tǒng)框架11系統(tǒng)框架 建立在基于特征的單目ORB-SLAM的基礎(chǔ)上（增加了雙目和RGB-D接口） 三個(gè)主要的并行線程： 跟蹤模塊：對(duì)相機(jī)的每一幀圖像進(jìn)行定位，尋找局部地圖的特征匹配，應(yīng)用純運(yùn)動(dòng)BA使重投影誤差最小化； 局部建圖：運(yùn)用局部BA管理局部地圖并且優(yōu)化它； 閉環(huán)檢測(cè)：執(zhí)行姿態(tài)圖的優(yōu)化檢測(cè)大回路和糾正累計(jì)漂

7、移誤差。 在姿態(tài)圖優(yōu)化之后，會(huì)啟動(dòng)第四個(gè)線程來執(zhí)行全BA（full BA），計(jì)算整個(gè)系統(tǒng)最優(yōu)結(jié)構(gòu)和運(yùn)動(dòng)的結(jié)果。12ORB SLAM2系統(tǒng)特點(diǎn)基于DBoW2的嵌入式位置識(shí)別模型，能夠達(dá)到重定位，防止跟蹤失?。ㄈ缯趽酰呀▓D場(chǎng)景重初始化，回環(huán)檢測(cè)；使用相同的ORB特征進(jìn)行跟蹤，建圖和位置識(shí)別任務(wù)。這些特征在旋轉(zhuǎn)和尺度上有良好的魯棒性，對(duì)攝像機(jī)的自動(dòng)增益（autogain）和自動(dòng)曝光（autoexposure）以及光照變化具有良好的不變性；能夠迅速的提取和匹配特征，滿足實(shí)時(shí)操作的需求，在基于詞袋模型的位置識(shí)別過程中，顯示出良好精確/召回性能。13ORB-SLAM VS ORB-SLAM2 單目OR

8、B-SLAM可能出現(xiàn)尺度漂移，而雙目或者深度的信息將會(huì)使得尺度信息可觀測(cè)。對(duì)輸入的特征預(yù)處理，處理雙目特征點(diǎn)，分成遠(yuǎn)處特征點(diǎn)和近處特征點(diǎn)。近雙目特征點(diǎn)的定義是：匹配的深度值小于40倍雙目或者RGB-D的基線，否則的話，是遠(yuǎn)特征點(diǎn)。特點(diǎn)：近特征點(diǎn)對(duì)每一幀進(jìn)行三角化。遠(yuǎn)特征點(diǎn)提供準(zhǔn)確的旋轉(zhuǎn)信息，但尺度和平移信息較弱。14ORB-SLAM VS ORB-SLAM2使用雙目和RGB-D相機(jī)可以僅僅從一幀中獲得深度信息，我們不需要像單目情況中那樣做一個(gè)特殊的結(jié)構(gòu)來進(jìn)行運(yùn)動(dòng)初始化。 利用純運(yùn)動(dòng)BA(motion-only) 優(yōu)化跟蹤線程中相機(jī)姿態(tài)； 利用局部BA優(yōu)化關(guān)鍵幀的局部窗口和局部建圖線程的特征點(diǎn); 利用全BA（Full BA）在回環(huán)檢測(cè)之后優(yōu)化所有的關(guān)鍵幀和特征點(diǎn)，如果在優(yōu)化運(yùn)行時(shí)檢測(cè)到新循環(huán)，我們將中止優(yōu)化并繼續(xù)關(guān)閉循環(huán)，這將再次啟動(dòng)全BA優(yōu)化。15實(shí)驗(yàn)結(jié)果對(duì)比16 在 KITTI 08序列中估計(jì)軌跡Monocular ORB-SLAM stereo ORB-SLAM2估計(jì)軌跡（黑色）實(shí)際運(yùn)動(dòng)軌跡（紅色）17其他先進(jìn)方法準(zhǔn)確性比較我們的方法是唯一一種基于光束平差法的，并且在大多數(shù)序列中比其他的方法都更加優(yōu)秀18實(shí)驗(yàn)結(jié)論ORB-SLAM2是第一個(gè)開源視覺SLAM系統(tǒng)，它可以使用單目、雙目和RGB-D輸入。系統(tǒng)重定位能力對(duì)已知環(huán)境產(chǎn)