雙目立體視覺

雙目立體視覺1第1頁，共55頁，2023年，2月20日，星期三

立體視覺主要研究如何借助（多圖象）成象技術(shù)從（多幅）圖象里獲取場(chǎng)景中物體的距離（深度）信息

6.1

雙目立體視覺原理2第2頁，共55頁，2023年，2月20日，星期三6.1

雙目立體視覺原理 六個(gè)模塊六項(xiàng)工作1.攝象機(jī)標(biāo)定2.圖象獲取3.特征提取

立體視覺借助不同觀察點(diǎn)對(duì)同一景物間的視差來幫助求取3-D信息（特別是深度信息）。所以需要判定同一景物在不同圖象中的對(duì)應(yīng)關(guān)系 選擇合適的圖象特征以進(jìn)行多圖象間的匹配3第3頁，共55頁，2023年，2月20日，星期三6.1

雙目立體視覺原理 六個(gè)模塊六項(xiàng)工作4.立體匹配根據(jù)對(duì)所選特征的計(jì)算來建立特征間的對(duì)應(yīng)關(guān)系，從而建立同一個(gè)空間點(diǎn)在不同圖象中的象點(diǎn)之間的關(guān)系，并由此得到相應(yīng)的視差圖象5.

3-D信息恢復(fù)

根據(jù)得到的視差圖象，可以進(jìn)一步計(jì)算深度圖象，并恢復(fù)場(chǎng)景中的3-D信息4第4頁，共55頁，2023年，2月20日，星期三6.1

雙目立體視覺原理 六個(gè)模塊六項(xiàng)工作6.后處理

3-D信息常不完整或存在一定的誤差(1)深度插值

只能恢復(fù)出圖象中特征點(diǎn)處的視差值(2)誤差校正（見后）(3)精度改善 象素級(jí)視差到亞象素級(jí)的視差5第5頁，共55頁，2023年，2月20日，星期三

獲得同一場(chǎng)景的兩幅視點(diǎn)不同的圖象

6.2.1雙目橫向模式

6.2.2雙目橫向會(huì)聚模式 6.2.3雙目縱向模式6.2雙目成象和視差

6第6頁，共55頁，2023年，2月20日，星期三6.2.1雙目橫向模式攝象機(jī)坐標(biāo)系統(tǒng)和世界坐標(biāo)系統(tǒng)重合象平面與世界坐標(biāo)系統(tǒng)的XY平面也是平行兩個(gè)鏡頭中心間的連線稱為系統(tǒng)的基線B

7第7頁，共55頁，2023年，2月20日，星期三1.視差和深度6.2.1雙目橫向模式8第8頁，共55頁，2023年，2月20日，星期三1.視差和深度3-D空間點(diǎn)在兩個(gè)攝象機(jī)的公共視場(chǎng)（視角不同，被攝物的形狀，攝影環(huán)境）

測(cè)距精度x1e=x1+e，d1e=x1+e+x2+B=d+e

6.2.1雙目橫向模式9第9頁，共55頁，2023年，2月20日，星期三2.角度掃描成象

象素是按鏡頭的方位角和仰角均勻分布的

可借助鏡頭的方位角來表示物象的空間距離6.2.1雙目橫向模式10第10頁，共55頁，2023年，2月20日，星期三 兩個(gè)單目系統(tǒng)繞各自中心相向旋轉(zhuǎn)6.2.2雙目橫向會(huì)聚模式11第11頁，共55頁，2023年，2月20日，星期三 兩個(gè)攝象機(jī)是沿光軸線依次排列基本排除由于遮擋造成的3-D空間點(diǎn)僅被一個(gè) 攝象機(jī)看到的問題公共視場(chǎng)的邊界很容易確定6.2.3雙目縱向模式12第12頁，共55頁，2023年，2月20日，星期三直接用單點(diǎn)灰度搜索會(huì)受到圖象中許多點(diǎn)會(huì)有相同灰度、圖象噪聲等因素影響而不實(shí)用

6.3.1模板匹配

6.3.2雙目立體匹配6.3基于區(qū)域的雙目立體匹配

13第13頁，共55頁，2023年，2月20日，星期三6.3.1模板匹配相關(guān)函數(shù)對(duì)f(x,y)和w(x,y)幅度值的變化比較敏感

相關(guān)系數(shù)

14第14頁，共55頁，2023年，2月20日，星期三6.3.2雙目立體匹配1.極線約束C‘和C“之間的連線稱光心線，光心線與左右象平面的交點(diǎn)E’和E”分別稱為左右象平面的極點(diǎn)光心線與物點(diǎn)W在同一個(gè)平面中，這個(gè)平面稱為極平面，極平面與左右象平面的交線L'和L"分別稱為物點(diǎn)W在左右象平面上投影點(diǎn)的極線15第15頁，共55頁，2023年，2月20日，星期三6.3.2雙目立體匹配2.匹配影響因素(1)

由于景物自身形狀或景物互相遮擋的原因，用左圖象確定的某些模板不一定能在右圖象中找到完全匹配的位置。此時(shí)常需根據(jù)其他匹配位置的匹配結(jié)果來插值這些無法匹配點(diǎn)的數(shù)據(jù)(2)

不同模板圖象應(yīng)有不同模式。但在平滑區(qū)域得到的模板圖象具有相同或相近的模式，使匹配有不確定性，并導(dǎo)致產(chǎn)生誤匹配。此時(shí)可需要將一些隨機(jī)的紋理投影到這些表面上以將平滑區(qū)域轉(zhuǎn)化為紋理區(qū)域

16第16頁，共55頁，2023年，2月20日，星期三6.3.2雙目立體匹配3.光學(xué)特性計(jì)算利用灰度信息進(jìn)一步計(jì)算物體表面的光學(xué)特性 N為表面面元法線方向的單位向量 S為點(diǎn)光源方向的單位向量 V為觀察者視線方向的單位向量反射亮度I(x,y)為合成反射率

(x,y)和合成反射量 R[N(x,y)]的乘積17第17頁，共55頁，2023年，2月20日，星期三6.3.2雙目立體匹配3.光學(xué)特性計(jì)算第一項(xiàng)散射效應(yīng)，第二項(xiàng)鏡面反射效應(yīng) H為鏡面反射角方向的單位向量向量H反映出視線向量V的變化18第18頁，共55頁，2023年，2月20日，星期三6.4基于特征的雙目立體匹配 基于區(qū)域方法的缺點(diǎn)是依賴于圖象灰度的統(tǒng)計(jì)特性，所以對(duì)景物表面結(jié)構(gòu)以及光照反射等較為敏感 6.4.1基本方法 6.4.2動(dòng)態(tài)規(guī)劃匹配19第19頁，共55頁，2023年，2月20日，星期三6.4.1基本方法典型方法的主要步驟(1)

用邊緣檢測(cè)尋找物體的輪廓線，并在輪 廓線上確定特征點(diǎn)(2)利用立體匹配方法匹配各特征點(diǎn)(3)對(duì)匹配點(diǎn)求視差，獲取匹配點(diǎn)的深度(4)利用獲得的匹配點(diǎn)進(jìn)行深度插值，以進(jìn) 一步得到其它各點(diǎn)的深度20第20頁，共55頁，2023年，2月20日，星期三特征點(diǎn)提?。浩揭?、旋轉(zhuǎn)、縮放、仿射不變性

1.SUSAN角點(diǎn)提取；

2.harris角點(diǎn)提取；

3.SIFT尺度不變特征提取6.4.1基本方法21第21頁，共55頁，2023年，2月20日，星期三1 SUSAN邊緣檢測(cè)原理 USAN:UnivalueSegmentAssimilatingNucleus 核同值區(qū)：相對(duì)于模板的核，模板中有一定 的區(qū)域與它有相同的灰度22第22頁，共55頁，2023年，2月20日，星期三1)USAN原理 USAN的面積攜帶了關(guān)于圖象中核象素處結(jié) 構(gòu)的主要信息 當(dāng)核象素處在圖象中的灰度一致區(qū)域， USAN的面積會(huì)達(dá)到最大。該面積當(dāng) 核處在直邊緣處約為最大值的一半， 而當(dāng)核處在角點(diǎn)處則為最大值的1/4 使用USAN面積作為特征起到了增強(qiáng)邊緣和 角點(diǎn)的效果

23第23頁，共55頁，2023年，2月20日，星期三2)SUSAN邊緣檢測(cè)SUSAN：最?。⊿mallest）核同值區(qū) 檢測(cè)模板：37個(gè)象素,半徑為3.4象素

24第24頁，共55頁，2023年，2月20日，星期三2)SUSAN邊緣檢測(cè) 檢測(cè)對(duì)模板中的每個(gè)象素進(jìn)行 得到輸出的游程和（runningtotal） 邊緣響應(yīng) 幾何閾值G=3Smax/4，其中Smax是S所能取的最大值

25第25頁，共55頁，2023年，2月20日，星期三2)SUSAN邊緣檢測(cè)邊緣方向的確定 根據(jù)非零強(qiáng)度的象素確定邊緣的方向 點(diǎn)A和B都是標(biāo)準(zhǔn)的邊緣點(diǎn)，各落在邊緣的一邊 從USAN重心到模板核的矢量與邊緣局部方向垂直

26第26頁，共55頁，2023年，2月20日，星期三2)SUSAN邊緣檢測(cè)邊緣方向的確定 根據(jù)非零強(qiáng)度的象素確定邊緣的方向 點(diǎn)C落在兩個(gè)邊緣的中間

USAN是沿邊緣方向的細(xì)條，找最長(zhǎng)的對(duì)稱軸

27第27頁，共55頁，2023年，2月20日，星期三2)SUSAN邊緣檢測(cè)特點(diǎn)

有噪聲時(shí)的性能較好

不需要計(jì)算微分

對(duì)面積計(jì)算中的各個(gè)值求和（積分）

非線性響應(yīng)特點(diǎn)

易自動(dòng)化實(shí)現(xiàn)

控制參數(shù)的選擇簡(jiǎn)單

參數(shù)的任意性較小28第28頁，共55頁，2023年，2月20日，星期三Harris角點(diǎn)檢測(cè)算子是Moravec角點(diǎn)檢測(cè)算子的改進(jìn).Harris算子用高斯函數(shù)代替二值窗口函數(shù),對(duì)離中心點(diǎn)越近的像素賦于越大的權(quán)重，以減少噪聲影響。Moravec算子只考慮了每隔45度方向，Harris算子用Taylor展開去近似任意方向。2 Harris角點(diǎn)檢測(cè)29第29頁，共55頁，2023年，2月20日，星期三2Harris角點(diǎn)檢測(cè)算法的步驟：

1.）計(jì)算圖像的方向?qū)?shù)，分別保存為兩個(gè)數(shù)組Ix以及Iy，這里可以使用任何方法，比較正統(tǒng)的是使用Gaussian函數(shù)，因?yàn)樵贖arris角點(diǎn)檢測(cè)的推導(dǎo)過程中默認(rèn)是采用了Gaussian函數(shù)作為其計(jì)算圖像偏導(dǎo)數(shù)的方法。當(dāng)然使用簡(jiǎn)單的Prewitt或者Sobel算子也沒有關(guān)系。30第30頁，共55頁，2023年，2月20日，星期三2Harris角點(diǎn)檢測(cè)算法的步驟：

2.）為每一個(gè)點(diǎn)計(jì)算局部自相關(guān)矩陣u(x,y)=[Ix(x,y)^2*WIy(x,y)Ix(x,y)*W;Ix(x,y)Iy(x,y)*WIy(x,y)^2*W];這里*W代表以x,y為中心與高斯模板W做卷積，而這個(gè)模板的大小則需要你自己指定。

31第31頁，共55頁，2023年，2月20日，星期三2Harris角點(diǎn)檢測(cè)算法的步驟：

3.）如果這個(gè)u的兩個(gè)特征值都很小，則說明這個(gè)區(qū)域是個(gè)平坦區(qū)域。如果u的某個(gè)特征值一個(gè)大一個(gè)小，則是線，如果兩個(gè)都很大，那么就說明這是個(gè)角點(diǎn)。Harris提供了另一個(gè)公式來獲取這個(gè)點(diǎn)是否是角點(diǎn)的一個(gè)評(píng)價(jià)：

corness=det(u)-k*trace(u)^2;

32第32頁，共55頁，2023年，2月20日，星期三2Harris角點(diǎn)檢測(cè)算法的步驟：

4.）這個(gè)corness就代表了角點(diǎn)值，其中k是你自己取的一個(gè)固定的變量，典型的為[0.04,0.06]之間。當(dāng)然在求取了每個(gè)點(diǎn)的corness以后，最好再做一個(gè)極大值抑制，這樣的效果比直接設(shè)置一個(gè)閥值要好。33第33頁，共55頁，2023年，2月20日，星期三3SIFT尺度不變特征提?。?/p>

2004年，David.

Lowe總結(jié)了已有基于不變量技術(shù)的特征檢測(cè)方法，正式提出了一種基于尺度空間的，對(duì)圖像平移、旋轉(zhuǎn)、縮放、甚至仿射變換保持不變性的圖像局部特征，

34第34頁，共55頁，2023年，2月20日，星期三3.SIFT尺度不變特征提?。?/p>

1）尺度空間極值檢測(cè)

David.Low等人為了更加高效地在尺度空間檢測(cè)到穩(wěn)定的特征點(diǎn)，在1999年提出利用不同尺度的高斯差分方程同圖像進(jìn)行卷積，求取尺度空間極值，即

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)

35第35頁，共55頁，2023年，2月20日，星期三3SIFT尺度不變特征提?。?/p>

2）精確定位特征點(diǎn)的位置

當(dāng)然這樣產(chǎn)生的極值點(diǎn)并不都是穩(wěn)定的特征點(diǎn)，因?yàn)槟承O值點(diǎn)響應(yīng)較弱，而且DOG算子會(huì)產(chǎn)生較強(qiáng)的邊緣響應(yīng)。通過擬和三維二次函數(shù)以精確確定特征點(diǎn)的位置和尺度（達(dá)到亞像素精度），同時(shí)可以去除低對(duì)比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)，以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力。

36第36頁，共55頁，2023年，2月20日，星期三3SIFT尺度不變特征提?。?/p>

3）確定特征點(diǎn)的主方向

利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為關(guān)鍵點(diǎn)指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。

在以特征點(diǎn)為中心的鄰域窗口內(nèi)采樣，并用梯度方向直方圖來統(tǒng)計(jì)鄰域像素的梯度方向。梯度直方圖的范圍是0°~360°，其中每10°一個(gè)柱，總共36個(gè)柱。梯度方向直方圖的峰值則代表了該特征點(diǎn)處鄰域梯度的主方向，即作為該特征點(diǎn)的主方向。在梯度方向直方圖中，當(dāng)存在另一個(gè)相當(dāng)于主峰值80%能量的峰值時(shí)，則將這個(gè)方向認(rèn)為是該特征點(diǎn)的輔方向。一個(gè)特征點(diǎn)可能會(huì)被指定具有多個(gè)方向（一個(gè)主方向，一個(gè)以上輔方向），這可以增強(qiáng)匹配的魯棒性。

37第37頁，共55頁，2023年，2月20日，星期三3SIFT尺度不變特征提?。?/p>

4）生成特征描述符

首先將坐標(biāo)軸旋轉(zhuǎn)為特征點(diǎn)的方向，以保證旋轉(zhuǎn)不變性；接下來以特征點(diǎn)為中心取16×16的窗口（特征點(diǎn)所在的行和列不?。?/p>

38第38頁，共55頁，2023年，2月20日，星期三特征點(diǎn)匹配：

1.相關(guān)匹配；

2.歐式距離；

6.4.1基本方法39第39頁，共55頁，2023年，2月20日，星期三6.4.1基本方法1.相關(guān)匹配；

第一幅圖像特征點(diǎn)左鄰域窗與第二幅圖像特征點(diǎn)右鄰域窗進(jìn)行相似度比較，并進(jìn)行對(duì)稱性測(cè)試，互相進(jìn)行相似度計(jì)算，只有當(dāng)兩個(gè)匹配集中的對(duì)應(yīng)點(diǎn)完全一致時(shí)，才視為有效匹配。1）灰度差的平方和

40第40頁，共55頁，2023年，2月20日，星期三6.4.1基本方法2）歸一化的灰度差的平方和3）灰度互相關(guān)

41第41頁，共55頁，2023年，2月20日，星期三2.歐式距離；

6.4.1基本方法42第42頁，共55頁，2023年，2月20日，星期三6.4.1基本方法3-D空間坐標(biāo)中一個(gè)特征點(diǎn)W(x,y,–z)通過正交投影后在左右圖上分別為：按先平移再旋轉(zhuǎn)的坐標(biāo)變換對(duì)u"計(jì)算

43第43頁，共55頁，2023年，2月20日，星期三6.4.1基本方法平行于XZ平面的一個(gè)平面圖：44第44頁，共55頁，2023年，2月20日，星期三注意：僅由稀疏的匹配點(diǎn)并不能唯一地恢復(fù) 物體外形示例： 過這4個(gè)點(diǎn)的曲面可以有無窮多個(gè)

6.4.1基本方法45第45頁，共55頁，2023年，2月20日，星期三順序性約束：物體可見表面上的特征點(diǎn)與它們?cè)趦煞上髨D象上投影的順序正好反過來有遮擋時(shí)，圖象上投影的順序不滿足順序性約束6.4.2動(dòng)態(tài)規(guī)劃匹配46第46頁，共55頁，2023年，2月20日，星期三建立在兩條極線上確定的多個(gè)特征點(diǎn)之間的對(duì)應(yīng)關(guān)系將匹配各特征點(diǎn)對(duì)的問題描述為一個(gè)在由特征點(diǎn)對(duì)應(yīng)結(jié)點(diǎn)的圖（graph）上搜索最優(yōu)路徑的問題6.4.2動(dòng)態(tài)規(guī)劃匹配47第47頁，共55頁，2023年，2月20日，星期三6.5視差圖誤差檢測(cè)與校正

視差圖產(chǎn)生誤差 周期性模式、光滑區(qū)域的存在，以及遮擋效應(yīng)、約束原則的不嚴(yán)格性，等等通用快速的視差圖誤差檢測(cè)與校正算法直接對(duì)視差圖進(jìn)行處理與產(chǎn)生該視差圖的具體立體匹配算法獨(dú)立計(jì)算量?jī)H僅與誤匹配象素點(diǎn)的數(shù)量成正比

48第48頁，共55頁，2023年，2月20日，星期三1.誤差檢測(cè)順序匹配約束6.5視差圖誤差檢測(cè)與校正

對(duì)點(diǎn)P和Q的Z坐標(biāo)的限制49第49頁，共55頁，2023年，2月20日，星期三1.誤差檢測(cè)檢測(cè)匹配交叉（順序匹配約束未滿足）區(qū)域令PR=fR(i,j)和QR=fR(k,j)為fR(x,y)中第j行中任意兩象素，則其在fL(x,y)中的匹配點(diǎn)可分別記為PL=fL(i+d(i,j),j)和QL=fL(k+d(k,j),j)。定義C(PR,QR)為PR和QR間的交叉標(biāo)號(hào)，如果順序匹配約束滿足記為C(PR,QR)=0；否則記為C(PR,QR)=1。 對(duì)應(yīng)象素點(diǎn)PR的交叉數(shù)（crossnumber）Nc6.5視差圖誤差檢測(cè)與校正

50第50頁，共55頁，2023年，2月20日，星期三2.誤差校正假設(shè){fR(i,j)|i

[p,q]}是對(duì)應(yīng)PR的交叉區(qū)域，則該區(qū)域內(nèi)所有象素點(diǎn)的總交叉數(shù)（totalcrossnumber）Ntc為：校正交叉區(qū)域中誤匹配點(diǎn)（零交叉校正算法

）(1)找出具有最大