圖像理解之立體視覺(jué)

圖像理解之立體視覺(jué)第5章立體視覺(jué)：雙目

5.1 立體視覺(jué)

5.2 雙目成象和視差

5.3 基于區(qū)域的雙目立體匹配

5.4 基于特征的雙目立體匹配

5.5

視差圖誤差檢測(cè)與校正

立體視覺(jué)主要研究如何借助（多圖象）成象技術(shù)從（多幅）圖象里獲取場(chǎng)景中物體的距離（深度）信息

立體成象方式

立體視覺(jué)模塊5.1立體視覺(jué)立體視覺(jué)模塊 六個(gè)模塊

六項(xiàng)工作1.攝象機(jī)標(biāo)定2.圖象獲取3.特征提取

立體視覺(jué)借助不同觀察點(diǎn)對(duì)同一景物間的視差來(lái)幫助求取3-D信息（特別是深度信息）。所以需要判定同一景物在不同圖象中的對(duì)應(yīng)關(guān)系 選擇合適的圖象特征以進(jìn)行多圖象間的匹配立體視覺(jué)模塊 六個(gè)模塊

六項(xiàng)工作4.立體匹配根據(jù)對(duì)所選特征的計(jì)算來(lái)建立特征間的對(duì)應(yīng)關(guān)系，從而建立同一個(gè)空間點(diǎn)在不同圖象中的象點(diǎn)之間的關(guān)系，并由此得到相應(yīng)的視差圖象5.

3-D信息恢復(fù)

根據(jù)得到的視差圖象，可以進(jìn)一步計(jì)算深度圖象，并恢復(fù)場(chǎng)景中的3-D信息立體視覺(jué)模塊 六個(gè)模塊

六項(xiàng)工作6.后處理

3-D信息常不完整或存在一定的誤差(1)深度插值

只能恢復(fù)出圖象中特征點(diǎn)處的視差值(2)誤差校正（見(jiàn)后）(3)精度改善 象素級(jí)視差到亞象素級(jí)的視差

獲得同一場(chǎng)景的兩幅視點(diǎn)不同的圖象

雙目橫向模式

雙目橫向會(huì)聚模式雙目縱向模式5.2雙目成象和視差

雙目橫向模式攝象機(jī)坐標(biāo)系統(tǒng)和世界坐標(biāo)系統(tǒng)重合象平面與世界坐標(biāo)系統(tǒng)的XY平面也是平行兩個(gè)鏡頭中心間的連線稱為系統(tǒng)的基線B

1.視差和深度雙目橫向模式1.視差和深度3-D空間點(diǎn)在兩個(gè)攝象機(jī)的公共視場(chǎng)（視角不同，被攝物的形狀，攝影環(huán)境）

測(cè)距精度x1e=x1+e，d1e=x1+e+x2+B=d+e

雙目橫向模式2.角度掃描成象象素是按鏡頭的方位角和仰角均勻分布的

可借助鏡頭的方位角來(lái)表示物象的空間距離雙目橫向模式 兩個(gè)單目系統(tǒng)繞各自中心相向旋轉(zhuǎn)雙目橫向會(huì)聚模式 兩個(gè)攝象機(jī)是沿光軸線依次排列基本排除由于遮擋造成的3-D空間點(diǎn)僅被一個(gè) 攝象機(jī)看到的問(wèn)題公共視場(chǎng)的邊界很容易確定雙目縱向模式直接用單點(diǎn)灰度搜索會(huì)受到圖象中許多點(diǎn)會(huì)有相同灰度、圖象噪聲等因素影響而不實(shí)用

模板匹配

雙目立體匹配5.3基于區(qū)域的雙目立體匹配

模板匹配相關(guān)函數(shù)對(duì)f(x,y)和w(x,y)幅度值的變化比較敏感

相關(guān)系數(shù)

雙目立體匹配1.極線約束C‘和C“之間的連線稱光心線，光心線與左右象平面的交點(diǎn)E’和E”分別稱為左右象平面的極點(diǎn)光心線與物點(diǎn)W在同一個(gè)平面中，這個(gè)平面稱為極平面，極平面與左右象平面的交線L'和L"分別稱為物點(diǎn)W在左右象平面上投影點(diǎn)的極線雙目立體匹配2.匹配影響因素(1)由于景物自身形狀或景物互相遮擋的原因，用左圖象確定的某些模板不一定能在右圖象中找到完全匹配的位置。此時(shí)常需根據(jù)其他匹配位置的匹配結(jié)果來(lái)插值這些無(wú)法匹配點(diǎn)的數(shù)據(jù)(2)不同模板圖象應(yīng)有不同模式。但在平滑區(qū)域得到的模板圖象具有相同或相近的模式，使匹配有不確定性，并導(dǎo)致產(chǎn)生誤匹配。此時(shí)可需要將一些隨機(jī)的紋理投影到這些表面上以將平滑區(qū)域轉(zhuǎn)化為紋理區(qū)域雙目立體匹配3.光學(xué)特性計(jì)算利用灰度信息進(jìn)一步計(jì)算物體表面的光學(xué)特性 N為表面面元法線方向的單位向量 S為點(diǎn)光源方向的單位向量 V為觀察者視線方向的單位向量反射亮度I(x,y)為合成反射率

(x,y)和合成反射量 R[N(x,y)]的乘積雙目立體匹配3.光學(xué)特性計(jì)算第一項(xiàng)散射效應(yīng)，第二項(xiàng)鏡面反射效應(yīng) H為鏡面反射角方向的單位向量向量H反映出視線向量V的變化5.4基于特征的雙目立體匹配 基于區(qū)域方法的缺點(diǎn)是依賴于圖象灰度的統(tǒng)計(jì)特性，所以對(duì)景物表面結(jié)構(gòu)以及光照反射等較為敏感基本方法動(dòng)態(tài)規(guī)劃匹配基本方法典型方法的主要步驟(1)

用邊緣檢測(cè)尋找物體的輪廓線，并在輪 廓線上確定特征點(diǎn)(2)利用立體匹配方法匹配各特征點(diǎn)(3)對(duì)匹配點(diǎn)求視差，獲取匹配點(diǎn)的深度(4)利用獲得的匹配點(diǎn)進(jìn)行深度插值，以進(jìn) 一步得到其它各點(diǎn)的深度基本方法3-D空間坐標(biāo)中一個(gè)特征點(diǎn)W(x,y,–z)通過(guò)正交投影后在左右圖上分別為：按先平移再旋轉(zhuǎn)的坐標(biāo)變換對(duì)u"計(jì)算基本方法平行于XZ平面的一個(gè)平面圖：注意：僅由稀疏的匹配點(diǎn)并不能唯一地恢復(fù) 物體外形示例： 過(guò)這4個(gè)點(diǎn)的曲面可以有無(wú)窮多個(gè)

基本方法順序性約束：物體可見(jiàn)表面上的特征點(diǎn)與它們?cè)趦煞上髨D象上投影的順序正好反過(guò)來(lái)有遮擋時(shí)，圖象上投影的順序不滿足順序性約束動(dòng)態(tài)規(guī)劃匹配建立在兩條極線上確定的多個(gè)特征點(diǎn)之間的對(duì)應(yīng)關(guān)系將匹配各特征點(diǎn)對(duì)的問(wèn)題描述為一個(gè)在由特征點(diǎn)對(duì)應(yīng)結(jié)點(diǎn)的圖（graph）上搜索最優(yōu)路徑的問(wèn)題動(dòng)態(tài)規(guī)劃匹配5.5視差圖誤差檢測(cè)與校正

視差圖產(chǎn)生誤差 周期性模式、光滑區(qū)域的存在，以及遮擋效應(yīng)、約束原則的不嚴(yán)格性，等等通用快速的視差圖誤差檢測(cè)與校正算法直接對(duì)視差圖進(jìn)行處理與產(chǎn)生該視差圖的具體立體匹配算法獨(dú)立計(jì)算量?jī)H僅與誤匹配象素點(diǎn)的數(shù)量成正比

1.誤差檢測(cè)順序匹配約束5.5視差圖誤差檢測(cè)與校正

對(duì)點(diǎn)P和Q的Z坐標(biāo)的限制1.誤差檢測(cè)檢測(cè)匹配交叉（順序匹配約束未滿足）區(qū)域令PR=fR(i,j)和QR=fR(k,j)為fR(x,y)中第j行中任意兩象素，則其在fL(x,y)中的匹配點(diǎn)可分別記為PL=fL(i+d(i,j),j)和QL=fL(k+d(k,j),j)。定義C(PR,QR)為PR和QR間的交叉標(biāo)號(hào)，如果順序匹配約束滿足記為C(PR,QR)=0；否則記為C(PR,QR)=1。 對(duì)應(yīng)象素點(diǎn)PR的交叉數(shù)（crossnumber）Nc5.5視差圖誤差檢測(cè)與校正

2.誤差校正假設(shè){fR(i,j)|i

[p,q]}是對(duì)應(yīng)PR的交叉區(qū)域，則該區(qū)域內(nèi)所有象素點(diǎn)的總交叉數(shù)（totalcrossnumber）Ntc為：校正交叉區(qū)域中誤匹配點(diǎn)（零交叉校正算法

）(1)找出具有最大交叉數(shù)的象素fR(l,j)：

5.5視差圖誤差檢測(cè)與校正

2.誤差校正(2)確定對(duì)匹配點(diǎn)fR(k,j)的新搜索范圍 {fL(i,j)|i

[s,t]}(3)從該搜索范圍中找到能夠減小總交叉數(shù)Ntc的 新匹配點(diǎn)(4)用新匹配點(diǎn)來(lái)校正d(k,j)，消除對(duì)應(yīng)當(dāng)前最大 交叉數(shù)象素的誤匹配5.5視差圖誤差檢測(cè)與校正

2.誤差校正例

5.5視差圖誤差檢測(cè)與校正

2.誤差校正交叉區(qū)域：[fR(154,j),fR(162,j)]總交叉數(shù)：Ntc

＝28(1) 具有最大交叉數(shù)的象素：fR(160,j)

(2) 新匹配點(diǎn)fR(160,j)的搜索范圍為：

{fL(i,j)|i

[181,190]}5.5視差圖誤差檢測(cè)與校正

2.誤差校正(3) 對(duì)應(yīng)fR