計(jì)算機(jī)視覺(jué)三維測(cè)量與建模 課件 【ch05】雙目立體視覺(jué)

第五章計(jì)算機(jī)視覺(jué)三維測(cè)量與建模雙目立體視覺(jué)南京航空航天大學(xué)研究生教育教學(xué)改革專(zhuān)項(xiàng)（優(yōu)質(zhì)教學(xué)資源建設(shè)）項(xiàng)目資助01標(biāo)準(zhǔn)形式的雙目系統(tǒng)】9如果已知一對(duì)攝影機(jī)的內(nèi)參數(shù)，就可以通過(guò)畸變校正算法，去除影像的幾何畸變影響。然后利用對(duì)極幾何關(guān)系，對(duì)兩幅影像進(jìn)行極線(xiàn)校正，得到標(biāo)準(zhǔn)形式的二視圖關(guān)系，即極線(xiàn)方向與影像的行掃描線(xiàn)方向平行。接下來(lái)就能夠用立體匹配算法進(jìn)行密集像素匹配，標(biāo)準(zhǔn)立體匹配流程圖如圖5.1所示。標(biāo)準(zhǔn)形式的雙目系統(tǒng)02匹配基礎(chǔ)給定兩幅影像，本章分別約定為參考影像（左影像）工和目標(biāo)影像（右影像），立體匹配的目標(biāo)是找到工，中的像素在中的同名點(diǎn)對(duì)應(yīng)。極線(xiàn)校正的一種簡(jiǎn)單表示方法是將兩個(gè)像空間坐標(biāo)系旋轉(zhuǎn)，使它們的光軸平行，且垂直于光心連線(xiàn)，如圖5.3所示。極線(xiàn)校正之后，兩幅影像上的視差只發(fā)生在x方向上，在y方向上沒(méi)有視差。由此將兩幅影像的同名點(diǎn)匹配搜索過(guò)程從二維像空間縮減到了一維空間上，從而提高匹配的準(zhǔn)確性和計(jì)算速度。匹配基礎(chǔ)常用的立體影像極線(xiàn)校正的方法是采用的Bouguet算法，該算法已經(jīng)被集成到OpenCV庫(kù)中，可以方便地調(diào)用它來(lái)完成二視圖的極線(xiàn)校正。Bouguet算法是將求解出來(lái)的旋轉(zhuǎn)矩陣R分解成左、右攝像機(jī)各旋轉(zhuǎn)一半的旋轉(zhuǎn)矩陣。分解的原則是使得左、右影像重投影造成的畸變最小，左、右視圖的共同面積最大，主要步驟如下。將右影像平面相對(duì)于左影像平面的旋轉(zhuǎn)矩陣分解成兩個(gè)矩陣民和R，叫作左、右攝像機(jī)的合成旋轉(zhuǎn)矩陣。匹配基礎(chǔ)將左、右攝像機(jī)各旋轉(zhuǎn)一半，使得左、右攝像機(jī)的光軸平行。此時(shí)左、右攝像機(jī)的成像面平行，但是基線(xiàn)與像平面不平行。構(gòu)造變換矩陣Rrect使得基線(xiàn)與像平面平行。構(gòu)造的方法是通過(guò)右攝像機(jī)相對(duì)于左攝像機(jī)的偏移矩陣t來(lái)完成的。匹配基礎(chǔ)通過(guò)合成旋轉(zhuǎn)矩陣與變換矩陣相乘獲得左、右攝像機(jī)的整體旋轉(zhuǎn)矩陣。左、右攝像機(jī)坐標(biāo)系乘以各自的整體旋轉(zhuǎn)矩陣就可使得左、右攝像機(jī)的主光軸平行，且像平面與基線(xiàn)平行。通過(guò)上述的兩個(gè)整體旋轉(zhuǎn)矩陣，就能夠得到理想的平行配置的雙目立體影像。校正后根據(jù)需要對(duì)影像進(jìn)行裁剪，需重新選擇一個(gè)影像中心和影像邊緣，從而讓左、右疊加部分最大。匹配基礎(chǔ)通常影像數(shù)據(jù)在采集時(shí)刻會(huì)存在高頻噪聲的影晌，通過(guò)一個(gè)高斯卷積可以明顯改善噪聲的影響。因此在匹配之前進(jìn)行匹配預(yù)處理十分必要。設(shè)一幀二維影像為f0(x,y)，預(yù)處理過(guò)程就是為獲得新的影像匹配基礎(chǔ)視差圖（DisparityMap）和深度圖（DepthMap）是在立體匹配基礎(chǔ)上得到的一組反眏空間二維和三維對(duì)應(yīng)關(guān)系的二維圖像。如圖5.6所示，影像上像素位置的視差值對(duì)應(yīng)著空間結(jié)構(gòu)到成像光心連線(xiàn)（沿垂直于像平面的方向）的距離，即深度（Depih）。在極線(xiàn)校正后的影像上，每個(gè)目標(biāo)像素點(diǎn)對(duì)應(yīng)深度的計(jì)算公式為匹配基礎(chǔ)03傳統(tǒng)立體匹配算法】9BM算法首先構(gòu)造一個(gè)小窗口，類(lèi)似于卷積核。窗口的大小可以為3×3~21×21，通常情況下窗口的寬度是奇數(shù)確定窗口大小后，以待匹配的像素為中心，用窗口框選參考影像的區(qū)域內(nèi)的所有像素點(diǎn)，同樣用相同窗口框選目標(biāo)影像并選出像素點(diǎn)。用兩個(gè)窗口范圍內(nèi)的對(duì)應(yīng)像素計(jì)算匹配代價(jià)函數(shù)。傳統(tǒng)立體匹配算法對(duì)于紋理缺三的影像區(qū)域，極易出現(xiàn)誤匹配或無(wú)法匹配的情況。01但是，該類(lèi)以窗口匹配為基礎(chǔ)的算法存在以下不足：02對(duì)由光照條件的變化所引起的紋理畸變較為敏感。03對(duì)攝像機(jī)的位置和姿態(tài)變化及場(chǎng)景深度變化所引起的紋理畸變比較敏感。傳統(tǒng)立體匹配算法在紋理重復(fù)的區(qū)域中，可能會(huì)出現(xiàn)多個(gè)相關(guān)的峰值，這會(huì)導(dǎo)致誤匹配的產(chǎn)生。04但是，該類(lèi)以窗口匹配為基礎(chǔ)的算法存在以下不足：05對(duì)遮擋情況沒(méi)有很好的處理機(jī)制。傳統(tǒng)立體匹配算法匹配算法都需要對(duì)像素進(jìn)行匹配代價(jià)函數(shù)設(shè)計(jì)，不同的代價(jià)函數(shù)會(huì)對(duì)應(yīng)形成不同的匹配代價(jià)度量。在眾多匹配代價(jià)度量的算法中，圍繞方差和相關(guān)性展開(kāi)設(shè)計(jì)較為普遍。方差匹配的直觀理解就是兩幅影像的“距離”，也就是它們之間差別大小的量化概念；相關(guān)性則以模板與檢測(cè)影像各個(gè)像素值相乘后得到的相關(guān)度為基礎(chǔ)。傳統(tǒng)立體匹配算法傳統(tǒng)立體匹配算法代價(jià)聚合的目的是讓代價(jià)度量的值可以較為精確地反映像素之間的相關(guān)性，單純的代價(jià)匹配計(jì)算只考志單一路徑以及局部區(qū)共的相關(guān)性。同時(shí)，在視差不連續(xù)的區(qū)域與紋理偏弱或重復(fù)紋理的區(qū)域，代價(jià)值很有可能無(wú)法反映左、右像素點(diǎn)的相關(guān)性，最直接的表現(xiàn)就是自動(dòng)匹配的同名像點(diǎn)的代價(jià)并不是視差搜索范團(tuán)內(nèi)最優(yōu)的值。傳統(tǒng)立體匹配算法01唯一性檢測(cè)傳統(tǒng)立體匹配算法02左右一致性檢測(cè)傳統(tǒng)立體匹配算法連通域檢測(cè)八點(diǎn)算法最小化的誤差是一個(gè)代數(shù)錯(cuò)誤，然而理想的最小化目標(biāo)函數(shù)是一個(gè)幾何意義上的標(biāo)量?？梢圆扇〉恼`差測(cè)量是點(diǎn)與外極線(xiàn)之間的距離D(m，l)。假設(shè)每個(gè)特征點(diǎn)上的噪聲都是獨(dú)立的零均值高斯，所有點(diǎn)的標(biāo)準(zhǔn)差都相同，則以下形式的最小化會(huì)產(chǎn)生最大似然解。03傳統(tǒng)立體匹配算法】9動(dòng)態(tài)規(guī)劃（DynamicPrograrnming，DP）算法應(yīng)用在立體匹配中，是一種比較高效的全局匹配優(yōu)化算法，整體精度相對(duì)可革。20世紀(jì)50年代初美國(guó)數(shù)學(xué)家R.E.Bellman等人在研究多階段決策過(guò)程（MultistepDecisionProcess）的優(yōu)化問(wèn)題時(shí)，提出了著名的最優(yōu)性原理。同時(shí)，Bellman把多階段過(guò)程轉(zhuǎn)化為一系列單階段問(wèn)題，利用各階段之間的關(guān)系逐個(gè)求解，創(chuàng)立了解決多階段決策問(wèn)題的優(yōu)化方法——?jiǎng)討B(tài)規(guī)劃法。傳統(tǒng)立體匹配算法傳統(tǒng)立體匹配算法04圖割優(yōu)化匹配算法圖割優(yōu)化匹配法圖割優(yōu)化匹配法】9圖割優(yōu)化匹配法】9圖割優(yōu)化匹配法本節(jié)介紹一種簡(jiǎn)單線(xiàn)性迭代聚類(lèi)（SimpleLinearIterativeClustering,SLIC）算法來(lái)進(jìn)行超像索分割操作，它是在區(qū)均值聚類(lèi)分割（K-means）算法的基礎(chǔ)上進(jìn)行的優(yōu)化算法。下面介紹算法的具體實(shí)施步驟。進(jìn)行分割中心初始化，利用規(guī)則化的格網(wǎng)將影像像素區(qū)間進(jìn)行原始劃分，格網(wǎng)的尺寸根據(jù)

計(jì)算獲得。采樣中心初始化在各個(gè)格網(wǎng)的中心，然后在3x3的格網(wǎng)鄰域區(qū)間內(nèi)移動(dòng)尋找影像梯度變化最小的位置，這樣做可以避免分割中心落在梯度大的邊緣位置。圖割優(yōu)化匹配法對(duì)每個(gè)像素找到其所屬的初始分割區(qū)間。每個(gè)像素僅與最鄰近的聚類(lèi)中心聯(lián)系在一起，每個(gè)聚類(lèi)中心聯(lián)系的像素范圍為2S×2S，僅當(dāng)像素落在一個(gè)聚類(lèi)中心的覆蓋區(qū)域內(nèi)時(shí)才與該中心進(jìn)行分析。

迭代更新直至殘差收斂。SLIC分割算法是一種改化的K-Means分類(lèi)方法，它具有以下兩大特點(diǎn)：（1）通過(guò)約束與超像素尺才成正比的搜索空間大小，優(yōu)化過(guò)程的距離測(cè)度計(jì)算涉及的像素被大大減少，因此計(jì)算復(fù)雜度是與像素個(gè)數(shù)N成正比的線(xiàn)性復(fù)雜度O(N)；（2）加權(quán)相似性測(cè)度西數(shù)是一個(gè)包含顏色和位置屬性的函數(shù)，它可以控制超像素分割后的各像素塊的尺度和緊湊度。圖割優(yōu)化匹配法圖割優(yōu)化匹配法Middlebury發(fā)布的第二版本測(cè)試數(shù)據(jù)包括tsukuba、venus、teddy三組立體影像，三組圖像的最大視差的取值范圍分別為16像素、32像素、64像素，所以具有較好的代表性，圖5.16列出了三組影像的標(biāo)準(zhǔn)數(shù)據(jù)集圖像（上）以及對(duì)應(yīng)的真實(shí)視差圖（下）。圖割優(yōu)化匹配法05結(jié)構(gòu)光三維掃描如圖5.18所示，空間變化的二維結(jié)構(gòu)照射由特殊投影儀或由空問(wèn)光調(diào)制器控制的光源產(chǎn)生。一個(gè)任意目標(biāo)的三維表面被結(jié)構(gòu)光投射圖案所照射，該例的結(jié)構(gòu)光的模式圖案是空問(wèn)變化的。成像傳感器獲取目標(biāo)在結(jié)構(gòu)光照射下的表面影像。改變?nèi)S曲面的幾何形狀，成像傳感器捕獲的影像也會(huì)發(fā)生相應(yīng)的變化。結(jié)構(gòu)光三維掃描結(jié)構(gòu)光三維掃描使用連續(xù)變化的結(jié)構(gòu)光圖案的技術(shù)。01進(jìn)一步可以將單點(diǎn)拍攝技術(shù)分為三大類(lèi)：02使用一維編碼方案的技術(shù)（條帶索引)。03使用二維編碼方案（網(wǎng)格索引）的技術(shù)。結(jié)構(gòu)光三維掃描二進(jìn)制編碼使用黑白條帶形成一系列投影圖案，使得每個(gè)點(diǎn)都有唯一的二進(jìn)制代碼，該代碼不同于其他任何不同點(diǎn)的代碼。結(jié)構(gòu)光三維掃描相移法是一種著名的三維表面成像的條帶投影方法，它投射一組正弦圖家到物體表面（圖5.23），在相鄰光平面之間插值，每幅影像的像素獲得亞像素級(jí)別的條帶值。投影三個(gè)相移正弦模式，三個(gè)投影條帶圖的每個(gè)像素(x,y)的強(qiáng)度都可以描述為：結(jié)構(gòu)光三維掃描相移技術(shù)主要存在的問(wèn)題是相位展開(kāi)方法只提供相對(duì)展開(kāi)，而不能求解絕對(duì)相位。如果兩個(gè)表面的不連續(xù)性大于2元，則基于相位展開(kāi)的任何方法都無(wú)法正確地展開(kāi)這兩個(gè)互相關(guān)聯(lián)的表面之間的關(guān)系。這些通常被稱(chēng)為“整周期模糊度”的問(wèn)題，可以通過(guò)結(jié)合使用灰度碼投影技術(shù)和相移技術(shù)來(lái)解決。結(jié)構(gòu)光三維掃描12光度立體法它從同一視點(diǎn)拍攝，通過(guò)改變光照射的方向，使用目標(biāo)表面的影像序列來(lái)估計(jì)局部表面方向。它通過(guò)使用多幅影像解決了傳統(tǒng)的SFS方法中的不適定問(wèn)題。彩虹三維攝像機(jī)圖5.28展示了利用彩虹帶模式的三維攝像機(jī)的基本概念，前提假設(shè)是場(chǎng)景不會(huì)改變投影儀打出的光顏色。相比于必須從一對(duì)立體影像中提取相應(yīng)特征以計(jì)算深度值的傳統(tǒng)立體視覺(jué)，彩虹三維攝像機(jī)可將空間變化的波長(zhǎng)照射投影到物體表面。結(jié)構(gòu)光三維掃描34偽隨機(jī)二進(jìn)制陣列一種網(wǎng)格索引的方法，是在網(wǎng)格位置上使用的隨二進(jìn)制陣列（Pseudo-Random

BinaryArray,PRBA），產(chǎn)生點(diǎn)或其他圖案標(biāo)記，使任何子窗口的編碼圖案是唯一的。DeBruiin編碼DeBruijn編碼是應(yīng)用了DeBruijn序列的結(jié)構(gòu)光編碼方法。n個(gè)字母m階的序列是一個(gè)長(zhǎng)度為n的圓形字符串，其中長(zhǎng)度為m的各子串出現(xiàn)一次。結(jié)構(gòu)光三維掃描】9結(jié)構(gòu)光三維掃描06立體視覺(jué)標(biāo)定】9攝像機(jī)標(biāo)定過(guò)程建立了二維影像上的像素與物體點(diǎn)所在的三維空間中的攝影關(guān)系，并且考慮了鏡頭的喂變失真。在大多數(shù)應(yīng)用中，標(biāo)定技術(shù)可以使用簡(jiǎn)化的攝像機(jī)模型和一組內(nèi)參數(shù)來(lái)表示這個(gè)關(guān)系。有幾種方法和相應(yīng)的工具箱可用，這些過(guò)程需要不同角度拍攝的照片和已知的標(biāo)定對(duì)象的尺度信息。平面棋盤(pán)格是一種常用的標(biāo)定對(duì)象，因?yàn)樗闹谱鞣浅：?jiǎn)單，可以用標(biāo)準(zhǔn)的打印機(jī)打印出來(lái)，并且有很容易被檢測(cè)到的明顯的角點(diǎn)。具體的原理和實(shí)現(xiàn)可以參見(jiàn)第2章中的技術(shù)方法。立體視覺(jué)標(biāo)定02投影儀的強(qiáng)度標(biāo)定此逆模型使得將二維影像上的像素與三維空間中的直線(xiàn)坐標(biāo)的關(guān)聯(lián)問(wèn)題變得困難。尋找方法建立這種關(guān)聯(lián)對(duì)應(yīng)關(guān)系，就可以使用攝像機(jī)標(biāo)定算法對(duì)投影儀進(jìn)行標(biāo)定。為了提高對(duì)比度，投影儀的強(qiáng)度曲線(xiàn)通常隨著伽馬變換而改變。當(dāng)在三維成像系統(tǒng)中作為主動(dòng)光源使用時(shí)，標(biāo)定的目標(biāo)是恢復(fù)照射強(qiáng)度的線(xiàn)性度。投影儀的幾何標(biāo)定立體視覺(jué)標(biāo)定式中，d是視差的標(biāo)準(zhǔn)偏差。該方程表明，深度不確定度隨深度呈二次暴增長(zhǎng)。因此，標(biāo)注雙目立體視