基于立體相機(jī)的自動(dòng)駕駛深度預(yù)測(cè)

自動(dòng)駕駛汽車(chē)需要精確的深度感知，以確保我們的自動(dòng)駕駛汽車(chē)安全運(yùn)行。如果你不知道汽車(chē)離你有多遠(yuǎn)，你怎么能在開(kāi)車(chē)時(shí)避開(kāi)它們呢？激光雷達(dá)和雷達(dá)傳感器通常被認(rèn)為是用于感知任務(wù)的主要三維傳感器。然而，我們可以從兩個(gè)或更多的相機(jī)使用多視圖幾何獲得深度信息。測(cè)量物體與攝像機(jī)之間的距離具有挑戰(zhàn)性，但對(duì)于自動(dòng)駕駛、增強(qiáng)現(xiàn)實(shí)、三維場(chǎng)景重建等有趣的用例非常有用。深度是執(zhí)行感知、導(dǎo)航和軌跡規(guī)劃的關(guān)鍵參數(shù)。在計(jì)算機(jī)視覺(jué)和機(jī)器人技術(shù)中，深度估計(jì)通常是通過(guò)使用一種稱(chēng)為立體攝像機(jī)的特殊類(lèi)型的攝像機(jī)的立體視覺(jué)來(lái)完成的。每只眼睛從一個(gè)稍微不同的水平位置觀看視覺(jué)世界，每只眼睛的圖像不同于另一只眼睛。距離眼睛不同的物體將圖像投射到兩個(gè)水平位置不同的眼睛中，給出水平視差的深度提示，也稱(chēng)為雙眼視差。什么是立體相機(jī)？立體相機(jī)是一種帶有兩個(gè)或更多圖像傳感器的相機(jī)。這使得攝像機(jī)能夠模擬人類(lèi)的雙目視覺(jué)，因此能夠感知深度。人類(lèi)雙目視覺(jué)通過(guò)立體視差來(lái)感知深度，立體視差是指由于眼睛的水平分離，左右眼所看到的物體在圖像位置上的差異。立體攝影機(jī)使用類(lèi)似的方法，從不同的視角捕捉相同的場(chǎng)景。深度感知是通過(guò)一種稱(chēng)為三角測(cè)量的幾何方法來(lái)完成的。立體傳感器的幾何結(jié)構(gòu)立體傳感器通常由兩個(gè)光軸平行的攝像機(jī)構(gòu)成。為了進(jìn)一步簡(jiǎn)化這個(gè)問(wèn)題，大多數(shù)制造商在三維空間中對(duì)齊相機(jī)，以便兩個(gè)圖像平面僅在x軸上以偏移量對(duì)齊。立體傳感器有一些重要的部分：焦距f：相機(jī)中心與像面之間的距離基線b：沿共享x軸左右攝像機(jī)中心之間的距離。通過(guò)定義一個(gè)基線來(lái)表示兩個(gè)攝像機(jī)坐標(biāo)系之間的變換，我們假設(shè)旋轉(zhuǎn)矩陣是恒等的，并且平移向量中只有一個(gè)非零的x分量。因此，R和T變換歸結(jié)為一個(gè)基線參數(shù)b。計(jì)算三維點(diǎn)坐標(biāo)給定基線b、焦距f和點(diǎn)O在左右圖像平面上的投影坐標(biāo)。我們可以看到兩個(gè)類(lèi)似的三角形組成的左邊相機(jī)測(cè)量如下：由深度z和位置x形成的三角形類(lèi)似于焦距f和左側(cè)測(cè)量x分量xl形成的三角形。從這個(gè)相似性出發(fā)，我們可以得到方程Z除以f等于X除以xL。對(duì)于正確的測(cè)量，也可以這樣做，但包括基線的偏移量。在這種情況下，兩個(gè)三角形由z定義，距離x減去b和焦距f及右測(cè)量x分量xr。同樣，我們可以通過(guò)測(cè)量中的正確攝像機(jī)參數(shù)得到第二個(gè)與x有關(guān)的方程。從這兩個(gè)方程，我們現(xiàn)在可以導(dǎo)出點(diǎn)O的三維坐標(biāo)。我們將視差d定義為左右圖像中相同像素的圖像坐標(biāo)之間的差值。我們可以使用x和y偏移量~u和~v輕松地在圖像和像素坐標(biāo)之間進(jìn)行轉(zhuǎn)換。然后，我們使用相似三角形關(guān)系中的兩個(gè)方程來(lái)求解z值，如下所示。在這里我們使用z值來(lái)計(jì)算x，表達(dá)式如下。最后，我們可以在y方向上用相同的推導(dǎo)重復(fù)這個(gè)過(guò)程，得到y(tǒng)的以下表達(dá)式。點(diǎn)位置的三個(gè)分量現(xiàn)在從我們可用的兩組像素測(cè)量中顯式可用。計(jì)算視差如前所述，視差是兩個(gè)不同攝像機(jī)觀察到的同一三維點(diǎn)的圖像位置的差異。為了計(jì)算視差，我們需要能夠在左右立體相機(jī)圖像中找到相同的點(diǎn)。這個(gè)問(wèn)題被稱(chēng)為雙目立體匹配。這個(gè)問(wèn)題的最樸素算法是遍歷策略，在這里我們搜索了左圖中整個(gè)原始圖像的每一個(gè)像素。這樣的算法效率極低，通常不會(huì)在自動(dòng)駕駛車(chē)輛上實(shí)時(shí)運(yùn)行。由于許多像素具有類(lèi)似的局部特性，很難準(zhǔn)確匹配，因此也不太可能成功。幸運(yùn)的是，我們可以使用立體幾何將遍歷問(wèn)題從整個(gè)圖像空間的二維縮小到一維直線。我們已經(jīng)確定了，一個(gè)點(diǎn)如何投射到兩個(gè)攝像機(jī)上?，F(xiàn)在，讓我們移動(dòng)我們的三維點(diǎn)，沿著連接它和左攝像機(jī)中心的線。它在左側(cè)相機(jī)圖像平面上的投影不變。但是，我們可以注意到在右相機(jī)平面上的投影，投影沿著水平線移動(dòng)。這被稱(chēng)為外極線，并直接遵循固定的橫向偏移和在一個(gè)立體圖像對(duì)中兩個(gè)攝像頭的圖像平面對(duì)齊。為了讓匹配從2D降至1D，我們可以限制我們的搜索沿著極線進(jìn)行。立體匹配算法給定記錄的視頻幀，確保您已校準(zhǔn)立體攝像頭并校正圖像。1.取上圖中極線上的每個(gè)像素。2.將這些圖像像素與同一極線上右圖像中的每個(gè)像素進(jìn)行比較。3.選擇運(yùn)算成本最低的像素。例如在這，一個(gè)非常簡(jiǎn)單的成本可以是像素強(qiáng)度的平方差4.計(jì)算視差d上面的公式表示，場(chǎng)景中一個(gè)點(diǎn)的深度與相應(yīng)圖像點(diǎn)及其相機(jī)中心的距離差成反比。輸入：這是CARLA模擬器生成的圖像輸出（視差圖）：生成深度圖我們將從立體相機(jī)拍攝的一對(duì)圖像中得出深度。此程序的順序：