rgbd direct方法原理介紹

閆志鑫博世（BOSCH）北美研發(fā)中心7/31/20211RGBD

Direct

方法簡述前端：RGBD視覺里程計(jì)基礎(chǔ)Direct方法基于貝葉斯的Direct方法基于相機(jī)噪聲的Direct方法后端：優(yōu)化與相機(jī)重定位Pose

Graph與Photometric

Bundle

Adjustment攝像機(jī)重定位RGBD

Direct方法展望27/31/2021RGBD

相機(jī)Kinect，Intel

RealSense，Xtion

etc.Structure

light，time

of

flight（ToF）Direct方法利用所有像素最小化Photometric

ErrorDirect方法常見問題與誤會(huì)缺乏全局約束？沒有攝像機(jī)重定位方法？37/31/2021Reprojection

Error

（Sparse/Indirect方法）???

=

???

?

??

??

???,G

??Photometric

Error

&

Geometric

Error

（Direct方法）???

=????????=???

??

???,

?? ?

???

????????

??

???,

??

? ??

??

???,

???

???

,G

?????

???,

?? =

?? ??

????

???,

???

???,G

????

=

∑?∈?

???

?????

+???

??????

?

?

?47/31/2021=

∑??????????∈?

?Linearization

線性化求解Photometric

error是非線性的，需要線性化后迭代求解例如泰勒展開逼近等數(shù)值求解常用方法常見線性化方式非常接近image

alignment?Forward

Additive：???

?????

=

???

?????,

???

?Δ???

???

???求導(dǎo)時(shí)需要考慮???，相對(duì)復(fù)雜?Forward

Compositional：

???

?????

=

???

????

???,

Δ??

,

????

???

???57/31/2021???作為常量，不需要考慮在求導(dǎo)過程中。取Δ??=0的位置線性化，相對(duì)簡單。具體求導(dǎo)過程請(qǐng)參見之前的公開課以貝葉斯形式表達(dá)image

alignment誤差與相機(jī)姿態(tài)間的關(guān)系??

??|?? =?

??|?

?(?)=∏?∈?

??

????|??

?(?)，假定每個(gè)像素誤差獨(dú)立?(??)≡

argmin

?

∑?∈?

log

??

????|??

??(??)?????

=

argmax

∏?∈?

??

????|?? ??

??log

??

??線性化與求導(dǎo)?

?

∑?∈?

???

?

????|?

????

?

???=

?

∑?∈?????

??

???

???

?

????|?

????

?

????

=

?

∑?

?

??∈???

??

??

?

??????????

?????|????????????????

=

∑?∈?67/31/2021Student-t

distribution

（經(jīng)驗(yàn)?zāi)Ｐ蚚1,2]）???

??

|

??

=?

???

/??

?/?

??

???1+????Σ??????

?

??

???

/?????

=????????????????

??Σ???Gaussian

distribution

（常用假設(shè)）??

????|?? ～

??

??,

Σ?????

=???????????

??00??????????? ????=

Σ??77/31/2021計(jì)算

photometric

error

分布

??

??|??

時(shí)，student-tdistribution只是一個(gè)經(jīng)驗(yàn)?zāi)Ｐ?，缺乏理論基礎(chǔ)引入相機(jī)噪聲模型，進(jìn)一步逼近

??

??|??

的真實(shí)分布Structure

Light

RGBD：??-DVO[3]Time

of

flight

RGBD：DNA-SLAM[4]87/31/2021??-DVOStructure

light

深度相機(jī)在深度圖的誤差滿足高斯分布三維空間的高斯分布可以投影到二維空間（UnscentedTransform或簡單線性化）Geometric

error的分布滿足引入相機(jī)噪聲的高斯分布97/31/2021??-DVOPhotometric

error采用t

distributionGeometric

error采用由相機(jī)噪聲得到的高斯分布（距離敏感）假設(shè)photometric

error和geometricerror相互獨(dú)立DNA-SLAM將ToF相機(jī)噪聲標(biāo)示為灰度圖、深度圖以及深度圖上一階導(dǎo)上的誤差的函數(shù)（邊緣敏感）107/31/2021誤會(huì)：Direct方法無法建立全局約束？原因1：Direct方法不提取特征點(diǎn)，無法建立幀與幀之間的共視約束原因2：Direct方法通常使用pose-graph做全局優(yōu)化，場(chǎng)景信息無法在優(yōu)化中利用起來解：利用Loop

Closure提供非連續(xù)/鄰近幀之間的關(guān)系在關(guān)鍵幀中提取少量RGBD像素建立共視約束如何選取像素？117/31/2021Pose

Graph??

=

∑

???

?

???

?Δ?

?

????,?

∈?速度快，非基于圖像約束Photometric

Bundle

Adjustment??

=

∑

??????????∈?

????

=????????=????????????

??

???,

????

??

???,

?? ?

??

???? ??

???,

???速度慢，難以建立約束關(guān)系，基于圖像的約束127/31/2021Dense

VisualSLAM

with

PSM[5]不斷收集可靠的RGBD點(diǎn)并添加到Map中(probabilistic

surfels)利用全局和局部信息計(jì)算每一幀的相機(jī)姿態(tài)在最后優(yōu)化時(shí)同時(shí)優(yōu)化pose-graph和photometric

BA共視約束來源于probabilisticsurfels在關(guān)鍵幀中的有效投影137/31/2021誤會(huì)：Direct沒有攝像機(jī)重定位方法？Indirect/sparse方法可以將每一幀的特征描述子組織成kd樹或語義樹的形式，在重定位時(shí)進(jìn)行檢索解：利用RGBD像素建立Fern或Random

Forest進(jìn)行關(guān)鍵幀檢索基于深度學(xué)習(xí)的相機(jī)姿態(tài)估計(jì)147/31/2021Fern或Random

Forest攝像機(jī)重定位[6]在圖片中均勻隨機(jī)篩選出m個(gè)點(diǎn)，每個(gè)點(diǎn)通過對(duì)比n=4個(gè)通道（RGBD）的閾值??得到二進(jìn)制編碼（mx4）只在構(gòu)建Fern的時(shí)候隨機(jī)篩選m個(gè)點(diǎn)，隨后使用相同的點(diǎn)集閾值??在顏色和深度范圍內(nèi)隨機(jī)得出每一個(gè)點(diǎn)在經(jīng)過Fern編碼后會(huì)記錄符合編碼的一系列關(guān)鍵幀用Hamming

Distance計(jì)算關(guān)鍵幀之間的距離157/31/2021PoseNet:基于深度學(xué)習(xí)的攝像機(jī)重定位[7]22層GoogLeNet提取圖片中的特征并轉(zhuǎn)化為7維相機(jī)姿態(tài)3維位置信息，四元數(shù)旋轉(zhuǎn)表示（Inference結(jié)果需要?dú)w一化）第一篇用深度學(xué)習(xí)方法計(jì)算相機(jī)姿態(tài)的工作，重定位精度有限167/31/2021依然存在的問題和解決方法需要好的相機(jī)姿態(tài)初值（高度非線性）圖像金字塔等計(jì)算量大，在缺少并行計(jì)算資源時(shí)難以實(shí)時(shí)累計(jì)誤差問題基于語義的SLAM技術(shù)（平面等基本幾何體或Instance

recognition）攝像機(jī)重定位技術(shù)還不夠完善Ferns等方法對(duì)內(nèi)存要求較大基于深度學(xué)習(xí)的方法還不夠完善177/31/2021[1]

Kerl,

Christian,

Jürgen

Sturm,

and

Daniel

Cremers.

"Robust

odometry

estimation

for

RGB-D

cameras."

Robotics

andAutomation

(ICRA),

2013

IEEE

International

Conference

on.

IEEE,

2013.[2]

Kerl,

Christian,

Jurgen

Sturm,

and

Daniel

Cremers.

"Dense

visual

SLAM

for

RGB-D

cameras."

Intelligent

Robots

andSystems

(IROS),

2013

IEEE/RSJ

International

Conference

on.

IEEE,

2013.[3]

Babu,

Benzun

Wisely,

et

al.

"σ-dvo:

Sensor

noise

modelmeetsdensevisual

odometry."

Mixed

and

AugmentedReality

(ISMAR),

2016

IEEE

International

Symposium

on.

IEEE,

2016.[4]

Wasenmüller,

Oliver,

Mohammad

Dawud

Ansari,

and

Didier

Stricker.

"Dna-slam:

Dense

noise

aware

slam

for

tof

rgb-d

cameras."Asian

Conference

on

Computer

Vision.

Springer,

Cham,

2016.[5]

Yan,Zhixin,

Mao

Ye,

and

Liu

Ren.

"Dense

Visual

SLAM

with

Probabilistic

Surfel

Map."

IEEE

Trans