第六章雙目立體視覺

第六章雙目立體視覺

立體視覺主要研究如何借助（多圖象）成象技術(shù)從（多幅）圖象里獲取場景中物體的距離（深度）信息

6.1

雙目立體視覺原理26.1

雙目立體視覺原理 六個(gè)模塊六項(xiàng)工作1.攝象機(jī)標(biāo)定2.圖象獲取3.特征提取

立體視覺借助不同觀察點(diǎn)對(duì)同一景物間的視差來幫助求取3-D信息（特別是深度信息）。所以需要判定同一景物在不同圖象中的對(duì)應(yīng)關(guān)系 選擇合適的圖象特征以進(jìn)行多圖象間的匹配36.1

雙目立體視覺原理 六個(gè)模塊六項(xiàng)工作4.立體匹配根據(jù)對(duì)所選特征的計(jì)算來建立特征間的對(duì)應(yīng)關(guān)系，從而建立同一個(gè)空間點(diǎn)在不同圖象中的象點(diǎn)之間的關(guān)系，并由此得到相應(yīng)的視差圖象5.

3-D信息恢復(fù)

根據(jù)得到的視差圖象，可以進(jìn)一步計(jì)算深度圖象，并恢復(fù)場景中的3-D信息46.1

雙目立體視覺原理 六個(gè)模塊六項(xiàng)工作6.后處理

3-D信息常不完整或存在一定的誤差(1)深度插值

只能恢復(fù)出圖象中特征點(diǎn)處的視差值(2)誤差校正（見后）(3)精度改善 象素級(jí)視差到亞象素級(jí)的視差5

獲得同一場景的兩幅視點(diǎn)不同的圖象

雙目橫向模式

雙目橫向會(huì)聚模式雙目縱向模式6.2雙目成象和視差

6雙目橫向模式攝象機(jī)坐標(biāo)系統(tǒng)和世界坐標(biāo)系統(tǒng)重合象平面與世界坐標(biāo)系統(tǒng)的XY平面也是平行兩個(gè)鏡頭中心間的連線稱為系統(tǒng)的基線B

71.視差和深度雙目橫向模式81.視差和深度3-D空間點(diǎn)在兩個(gè)攝象機(jī)的公共視場（視角不同，被攝物的形狀，攝影環(huán)境）

測距精度x1e=x1+e，d1e=x1+e+x2+B=d+e

雙目橫向模式92.角度掃描成象象素是按鏡頭的方位角和仰角均勻分布的

可借助鏡頭的方位角來表示物象的空間距離雙目橫向模式10 兩個(gè)單目系統(tǒng)繞各自中心相向旋轉(zhuǎn)雙目橫向會(huì)聚模式11 兩個(gè)攝象機(jī)是沿光軸線依次排列基本排除由于遮擋造成的3-D空間點(diǎn)僅被一個(gè) 攝象機(jī)看到的問題公共視場的邊界很容易確定雙目縱向模式12直接用單點(diǎn)灰度搜索會(huì)受到圖象中許多點(diǎn)會(huì)有相同灰度、圖象噪聲等因素影響而不實(shí)用

模板匹配

雙目立體匹配6.3基于區(qū)域的雙目立體匹配

13模板匹配相關(guān)函數(shù)對(duì)f(x,y)和w(x,y)幅度值的變化比較敏感

相關(guān)系數(shù)

14雙目立體匹配1.極線約束C‘和C“之間的連線稱光心線，光心線與左右象平面的交點(diǎn)E’和E”分別稱為左右象平面的極點(diǎn)光心線與物點(diǎn)W在同一個(gè)平面中，這個(gè)平面稱為極平面，極平面與左右象平面的交線L'和L"分別稱為物點(diǎn)W在左右象平面上投影點(diǎn)的極線15雙目立體匹配2.匹配影響因素(1)由于景物自身形狀或景物互相遮擋的原因，用左圖象確定的某些模板不一定能在右圖象中找到完全匹配的位置。此時(shí)常需根據(jù)其他匹配位置的匹配結(jié)果來插值這些無法匹配點(diǎn)的數(shù)據(jù)(2)不同模板圖象應(yīng)有不同模式。但在平滑區(qū)域得到的模板圖象具有相同或相近的模式，使匹配有不確定性，并導(dǎo)致產(chǎn)生誤匹配。此時(shí)可需要將一些隨機(jī)的紋理投影到這些表面上以將平滑區(qū)域轉(zhuǎn)化為紋理區(qū)域16雙目立體匹配3.光學(xué)特性計(jì)算利用灰度信息進(jìn)一步計(jì)算物體表面的光學(xué)特性 N為表面面元法線方向的單位向量 S為點(diǎn)光源方向的單位向量 V為觀察者視線方向的單位向量反射亮度I(x,y)為合成反射率

(x,y)和合成反射量 R[N(x,y)]的乘積17雙目立體匹配3.光學(xué)特性計(jì)算第一項(xiàng)散射效應(yīng)，第二項(xiàng)鏡面反射效應(yīng) H為鏡面反射角方向的單位向量向量H反映出視線向量V的變化186.4基于特征的雙目立體匹配 基于區(qū)域方法的缺點(diǎn)是依賴于圖象灰度的統(tǒng)計(jì)特性，所以對(duì)景物表面結(jié)構(gòu)以及光照反射等較為敏感基本方法動(dòng)態(tài)規(guī)劃匹配19基本方法典型方法的主要步驟(1)

用邊緣檢測尋找物體的輪廓線，并在輪 廓線上確定特征點(diǎn)(2)利用立體匹配方法匹配各特征點(diǎn)(3)對(duì)匹配點(diǎn)求視差，獲取匹配點(diǎn)的深度(4)利用獲得的匹配點(diǎn)進(jìn)行深度插值，以進(jìn) 一步得到其它各點(diǎn)的深度20特征點(diǎn)提?。浩揭?、旋轉(zhuǎn)、縮放、仿射不變性

1.SUSAN角點(diǎn)提取；2.harris角點(diǎn)提??；

3.SIFT尺度不變特征提取6.4.1基本方法211 SUSAN邊緣檢測原理 USAN:UnivalueSegmentAssimilatingNucleus 核同值區(qū)：相對(duì)于模板的核，模板中有一定 的區(qū)域與它有相同的灰度221)USAN原理 USAN的面積攜帶了關(guān)于圖象中核象素處結(jié) 構(gòu)的主要信息 當(dāng)核象素處在圖象中的灰度一致區(qū)域， USAN的面積會(huì)達(dá)到最大。該面積當(dāng) 核處在直邊緣處約為最大值的一半， 而當(dāng)核處在角點(diǎn)處則為最大值的1/4 使用USAN面積作為特征起到了增強(qiáng)邊緣和 角點(diǎn)的效果

232)SUSAN邊緣檢測SUSAN：最?。⊿mallest）核同值區(qū) 檢測模板：37個(gè)象素,半徑為3.4象素

242)SUSAN邊緣檢測 檢測對(duì)模板中的每個(gè)象素進(jìn)行 得到輸出的游程和（runningtotal） 邊緣響應(yīng) 幾何閾值G=3Smax/4，其中Smax是S所能取的最大值

252)SUSAN邊緣檢測邊緣方向的確定 根據(jù)非零強(qiáng)度的象素確定邊緣的方向 點(diǎn)A和B都是標(biāo)準(zhǔn)的邊緣點(diǎn)，各落在邊緣的一邊 從USAN重心到模板核的矢量與邊緣局部方向垂直

262)SUSAN邊緣檢測邊緣方向的確定 根據(jù)非零強(qiáng)度的象素確定邊緣的方向 點(diǎn)C落在兩個(gè)邊緣的中間

USAN是沿邊緣方向的細(xì)條，找最長的對(duì)稱軸

272)SUSAN邊緣檢測特點(diǎn)

有噪聲時(shí)的性能較好

不需要計(jì)算微分

對(duì)面積計(jì)算中的各個(gè)值求和（積分）

非線性響應(yīng)特點(diǎn)

易自動(dòng)化實(shí)現(xiàn)

控制參數(shù)的選擇簡單

參數(shù)的任意性較小28Harris角點(diǎn)檢測算子是Moravec角點(diǎn)檢測算子的改進(jìn).Harris算子用高斯函數(shù)代替二值窗口函數(shù),對(duì)離中心點(diǎn)越近的像素賦于越大的權(quán)重，以減少噪聲影響。Moravec算子只考慮了每隔45度方向，Harris算子用Taylor展開去近似任意方向。2 Harris角點(diǎn)檢測292Harris角點(diǎn)檢測算法的步驟：

1.）計(jì)算圖像的方向?qū)?shù)，分別保存為兩個(gè)數(shù)組Ix以及Iy，這里可以使用任何方法，比較正統(tǒng)的是使用Gaussian函數(shù)，因?yàn)樵贖arris角點(diǎn)檢測的推導(dǎo)過程中默認(rèn)是采用了Gaussian函數(shù)作為其計(jì)算圖像偏導(dǎo)數(shù)的方法。當(dāng)然使用簡單的Prewitt或者Sobel算子也沒有關(guān)系。302Harris角點(diǎn)檢測算法的步驟：

2.）為每一個(gè)點(diǎn)計(jì)算局部自相關(guān)矩陣u(x,y)=[Ix(x,y)^2*WIy(x,y)Ix(x,y)*W;Ix(x,y)Iy(x,y)*WIy(x,y)^2*W];這里*W代表以x,y為中心與高斯模板W做卷積，而這個(gè)模板的大小則需要你自己指定。

312Harris角點(diǎn)檢測算法的步驟：

3.）如果這個(gè)u的兩個(gè)特征值都很小，則說明這個(gè)區(qū)域是個(gè)平坦區(qū)域。如果u的某個(gè)特征值一個(gè)大一個(gè)小，則是線，如果兩個(gè)都很大，那么就說明這是個(gè)角點(diǎn)。Harris提供了另一個(gè)公式來獲取這個(gè)點(diǎn)是否是角點(diǎn)的一個(gè)評(píng)價(jià)：corness=det(u)-k*trace(u)^2;

322Harris角點(diǎn)檢測算法的步驟：

4.）這個(gè)corness就代表了角點(diǎn)值，其中k是你自己取的一個(gè)固定的變量，典型的為[0.04,0.06]之間。當(dāng)然在求取了每個(gè)點(diǎn)的corness以后，最好再做一個(gè)極大值抑制，這樣的效果比直接設(shè)置一個(gè)閥值要好。333SIFT尺度不變特征提?。?/p>

2004年，David.

Lowe總結(jié)了已有基于不變量技術(shù)的特征檢測方法，正式提出了一種基于尺度空間的，對(duì)圖像平移、旋轉(zhuǎn)、縮放、甚至仿射變換保持不變性的圖像局部特征，

343.SIFT尺度不變特征提取：

1）尺度空間極值檢測

David.Low等人為了更加高效地在尺度空間檢測到穩(wěn)定的特征點(diǎn)，在1999年提出利用不同尺度的高斯差分方程同圖像進(jìn)行卷積，求取尺度空間極值，即

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)

353SIFT尺度不變特征提?。?/p>

2）精確定位特征點(diǎn)的位置

當(dāng)然這樣產(chǎn)生的極值點(diǎn)并不都是穩(wěn)定的特征點(diǎn)，因?yàn)槟承O值點(diǎn)響應(yīng)較弱，而且DOG算子會(huì)產(chǎn)生較強(qiáng)的邊緣響應(yīng)。通過擬和三維二次函數(shù)以精確確定特征點(diǎn)的位置和尺度（達(dá)到亞像素精度），同時(shí)可以去除低對(duì)比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)，以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力。

363SIFT尺度不變特征提?。?/p>

3）確定特征點(diǎn)的主方向

利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為關(guān)鍵點(diǎn)指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。

在以特征點(diǎn)為中心的鄰域窗口內(nèi)采樣，并用梯度方向直方圖來統(tǒng)計(jì)鄰域像素的梯度方向。梯度直方圖的范圍是0°~360°，其中每10°一個(gè)柱，總共36個(gè)柱。梯度方向直方圖的峰值則代表了該特征點(diǎn)處鄰域梯度的主方向，即作為該特征點(diǎn)的主方向。在梯度方向直方圖中，當(dāng)存在另一個(gè)相當(dāng)于主峰值80%能量的峰值時(shí)，則將這個(gè)方向認(rèn)為是該特征點(diǎn)的輔方向。一個(gè)特征點(diǎn)可能會(huì)被指定具有多個(gè)方向（一個(gè)主方向，一個(gè)以上輔方向），這可以增強(qiáng)匹配的魯棒性。

373SIFT尺度不變特征提?。?/p>

4）生成特征描述符

首先將坐標(biāo)軸旋轉(zhuǎn)為特征點(diǎn)的方向，以保證旋轉(zhuǎn)不變性；接下來以特征點(diǎn)為中心取16×16的窗口（特征點(diǎn)所在的行和列不?。?/p>

38特征點(diǎn)匹配：1.相關(guān)匹配；2.歐式距離；

6.4.1基本方法396.4.1基本方法1.相關(guān)匹配；

第一幅圖像特征點(diǎn)左鄰域窗與第二幅圖像特征點(diǎn)右鄰域窗進(jìn)行相似度比較，并進(jìn)行對(duì)稱性測試，互相進(jìn)行相似度計(jì)算，只有當(dāng)兩個(gè)匹配集中的對(duì)應(yīng)點(diǎn)完全一致時(shí)，才視為有效匹配。1）灰度差的平方和

406.4.1基本方法2）歸一化的灰度差的平方和3）灰度互相關(guān)

412.歐式距離；

6.4.1基本方法42基本方法3-D空間坐標(biāo)中一個(gè)特征點(diǎn)W(x,y,–z)通過正交投影后在左右圖上分別為：按先平移再旋轉(zhuǎn)的坐標(biāo)變換對(duì)u"計(jì)算43基本方法平行于XZ平面的一個(gè)平面圖：44注意：僅由稀疏的匹配點(diǎn)并不能唯一地恢復(fù) 物體外形示例： 過這4個(gè)點(diǎn)的曲面可以有無窮多個(gè)

基本方法45順序性約束：物體可見表面上的特征點(diǎn)與它們在兩幅成象圖象上投影的順序正好反過來有遮擋時(shí)，圖象上投影的順序不滿足順序性約束動(dòng)態(tài)規(guī)劃匹配46建立在兩條極線上確定的多個(gè)特征點(diǎn)之間的對(duì)應(yīng)關(guān)系將匹配各特征點(diǎn)對(duì)的問題描述為一個(gè)在由特征點(diǎn)對(duì)應(yīng)結(jié)點(diǎn)的圖（graph）上搜索最優(yōu)路徑的問題動(dòng)態(tài)規(guī)劃匹配476.5視差圖誤差檢測與校正

視差圖產(chǎn)生誤差 周期性模式、光滑區(qū)域的存在，以及遮擋效應(yīng)、約束原則的不嚴(yán)格性，等等通用快速的視差圖誤差檢測與校正算法直接對(duì)視差圖進(jìn)行處理與產(chǎn)生該視差圖的具體立體匹配算法獨(dú)立計(jì)算量僅僅與誤匹配象素點(diǎn)的數(shù)量成正比

481.誤差檢測順序匹配約束6.5視差圖誤差檢測與校正

對(duì)點(diǎn)P和Q的Z坐標(biāo)的限制491.誤差檢測檢測匹配交叉（順序匹配約束未滿足）區(qū)域令PR=fR(i,j)和QR=fR(k,j)為fR(x,y)中第j行中任意兩象素，則其在fL(x,y)中的匹配點(diǎn)可分別記為PL=fL(i+d(i,j),j)和QL=fL(k+d(k,j),j)。定義C(PR,QR)為PR和QR間的交叉標(biāo)號(hào)，如果順序匹配約束滿足記為C(PR,QR)=0；否則記為C(PR,QR)=1。 對(duì)應(yīng)象素點(diǎn)PR的交叉數(shù)（crossnumber）Nc6.5視差圖誤差檢測與校正

50