機(jī)器視覺第十一章

1、第十一章 深度圖111 立體成象112 立體匹配113 多基線立體成象114 從X恢復(fù)形狀的方法115 測距成象116 主動(dòng)視覺111 立體成象最基本的雙目立體幾何關(guān)系如圖111(a)所示，它是由兩個(gè)完全相同的攝象機(jī)構(gòu)成，兩個(gè)圖像平面位于一個(gè)平面上，兩個(gè)攝像機(jī)的坐標(biāo)軸相互平行，且軸重合，攝像機(jī)之間在方向上的間距為基線距離在這個(gè)模型中，場景中同一個(gè)特征點(diǎn)在兩個(gè)攝象機(jī)圖像平面上的成象位置是不同的我們將場景中同一點(diǎn)在兩個(gè)不同圖像中的投影點(diǎn)稱為共軛對，其中的一個(gè)投影點(diǎn)是另一個(gè)投影點(diǎn)的對應(yīng)(correspondence)，求共軛對就是求解對應(yīng)性問題兩幅圖像重疊時(shí)的共軛對點(diǎn)的位置之差(共軛對點(diǎn)之間的距離)

2、稱為視差(disparity)，通過兩個(gè)攝象機(jī)中心并且通過場景特征點(diǎn)的平面稱為外極(epipolar)平面，外極平面與圖像平面的交線稱為外極線因此，各種場景點(diǎn)的深度恢復(fù)可以通過計(jì)算視差來實(shí)現(xiàn)注意，由于數(shù)字圖像的離散特性，視差值是一個(gè)整數(shù)在實(shí)際中，可以使用一些特殊算法使視差計(jì)算精度達(dá)到子像素級(jí)因此，對于一組給定的攝象機(jī)參數(shù)，提高場景點(diǎn)深度計(jì)算精度的有效途徑是增長基線距離，即增大場景點(diǎn)對應(yīng)的視差然而這種大角度立體方法也帶來了一些問題，主要的問題有：1.隨著基線距離的增加，兩個(gè)攝象機(jī)的共同的可視范圍減小 2.場景點(diǎn)對應(yīng)的視差值增大，則搜索對應(yīng)點(diǎn)的范圍增大，出現(xiàn)多義性的機(jī)會(huì)就增大3。由于透視投影引起的

3、變形導(dǎo)致兩個(gè)攝象機(jī)獲取的兩幅圖像中不完全相同，這就給確定共軛對帶來了困難在實(shí)際應(yīng)用中經(jīng)常遇到的情況是兩個(gè)攝像機(jī)的光軸不平行，比如，在某些系統(tǒng)中，調(diào)節(jié)兩個(gè)攝象機(jī)的位置和姿態(tài)，使得它們的光軸在空間中相交在某一點(diǎn)，如圖112所示在這種情況下，視差與光軸交角有關(guān)對于任意一個(gè)光軸交角，在空間中總存在一個(gè)視差為零的表面比這一表面遠(yuǎn)的物體，其視差大于零；反之，比這一表面近的物體，其視差小于零因此，在一個(gè)空間區(qū)域中，其視差可被劃分為三組：這三組視差可用于解決匹配不確定問題ddd0000（a） （b）圖111雙目立體視覺幾何模型圖112攝象機(jī)光軸交會(huì)空間一點(diǎn)攝象機(jī)之間的夾角定義了視差為零的一個(gè)空間表面攝像機(jī)光軸

4、不平行的另一種系統(tǒng)是后面將要介紹的一種叫做會(huì)聚式(convergent)立體視覺系統(tǒng)（見圖115）這種系統(tǒng)不要求光軸嚴(yán)格地相交于空間一點(diǎn)立體成象的最一般情況是一個(gè)運(yùn)動(dòng)攝像機(jī)連續(xù)獲取場景圖像，形成立體圖像序列，或間隔一定距離的兩個(gè)攝像機(jī)同時(shí)獲取場景圖像，形成立體圖像對圖113 外極線幾何示意圖圖113所示的是處于任意位置和方位的兩個(gè)攝象機(jī)，對應(yīng)于某一場景點(diǎn)的兩個(gè)圖像點(diǎn)位于外極線上這兩幅圖像也可以是一個(gè)攝像機(jī)由一點(diǎn)運(yùn)動(dòng)到另一點(diǎn)獲取這兩幅圖像即使兩個(gè)攝象機(jī)處于一般的位置和方位時(shí)，對應(yīng)場景點(diǎn)的兩個(gè)圖像點(diǎn)仍然位于圖像平面和外極平面的交線（外極線)上由圖不難看出，外極線沒有對應(yīng)圖像的某一行112 立體匹配

5、立體成象系統(tǒng)的一個(gè)不言而喻的假設(shè)是能夠找到立體圖像對中的共軛對，即求解對應(yīng)問題然而，對于實(shí)際的立體圖像對，求解對應(yīng)問題極富有挑戰(zhàn)性，可以說是立體視覺最困難的一步為了求解對應(yīng)，人們已經(jīng)建立了許多約束來減少對應(yīng)點(diǎn)搜索范圍，并最終確定正確的對應(yīng)下面我們將討論幾個(gè)最基本的約束，然后討論邊緣特征和區(qū)域特征在立體匹配中的應(yīng)用1121 基本約束(1 ) 外極線約束對于兩幅從不同角度獲取的同一場景的圖像來說，傳統(tǒng)的特征點(diǎn)搜索方法是首先在一幅圖像上選擇一個(gè)特征點(diǎn)， 然后在第二幅圖像上搜索對應(yīng)的特征點(diǎn)顯然，這是一個(gè)二維搜索問題根據(jù)成象幾何原理，一幅圖像上的特征點(diǎn)一定位于另一幅圖像上對應(yīng)的外極線上因此，在外極線上而

6、不是在二維圖像平面上求解對應(yīng)問題是一個(gè)一維搜索問題如果已知目標(biāo)與攝像機(jī)之間的距離在某一區(qū)間內(nèi)，則搜索范圍可以限制在外極線上的一個(gè)很小區(qū)間內(nèi)，如圖114所示所以，利用外極線約束可以大大地縮小尋找對應(yīng)點(diǎn)的搜索空間，這樣即可以提高特征點(diǎn)搜索速度，也可以減少假匹配點(diǎn)的數(shù)量(范圍越小，包含假匹配點(diǎn)的可能性越小)請注意，由于攝象機(jī)位置及其方向的測量誤差和不確定性，匹配點(diǎn)可能不會(huì)準(zhǔn)確地出現(xiàn)在圖像平面中對應(yīng)的外極線上；在這種情況下，有必要在外極線的一個(gè)小鄰域內(nèi)進(jìn)行搜索圖11.4 空間某一距離區(qū)間內(nèi)的一條直線段對應(yīng)外極線上的一個(gè)有限區(qū)間：(2)一致性約束(3)唯一性約束一般情況下，一幅圖像(左或右)上的每一個(gè)特

7、征點(diǎn)只能與另一幅圖像上的唯一一個(gè)特征對應(yīng) (4)連續(xù)性約束物體表面一般都是光滑的，因此物體表面上各點(diǎn)在圖像上的投影也是連續(xù)的，它們的視差也是連續(xù)的比如，物體上非常接近的兩點(diǎn)，其視差也十分接近，因?yàn)槠渖疃戎挡粫?huì)相差很大在物體邊界處，連續(xù)性約束不能成立，比如，在邊界處兩側(cè)的兩個(gè)點(diǎn)，其視差十分接近，但深度值相差很大1122邊緣匹配邊緣匹配本算法使用的邊緣特征是通過Gaussian函數(shù)的一階導(dǎo)數(shù)獲得的在有噪聲的情況下，使用Gaussian梯度來計(jì)算邊緣更加穩(wěn)定立體算法的步驟如下：1.用四個(gè)不同寬度的Gaussian濾波器對立體圖像對中的每一幅圖像進(jìn)行濾波，其中前一次濾波的寬度是下一次濾波器寬度的兩倍這

8、一計(jì)算可以反復(fù)通過對最小的濾波器進(jìn)行卷積來有效地實(shí)現(xiàn)2.在某一行上計(jì)算各邊緣的位置3.通過比較邊緣的方向和強(qiáng)度粗略地進(jìn)行邊緣匹配顯然，水平邊緣是無法進(jìn)行匹配的4.通過在精細(xì)尺度上進(jìn)行匹配，可以得到精細(xì)的視差估計(jì)1123 區(qū)域相關(guān)性盡管邊緣特征是圖像的基本特征，而且邊緣檢測算法也十分成熟但邊緣特征往往對應(yīng)著物體的邊界，物體的邊界深度值可以是（前景)物體封閉邊緣的深度距離和背景點(diǎn)深度距離之間的任一值(1) 區(qū)域中感興趣特征點(diǎn)的檢測兩幅圖像中用于匹配的點(diǎn)應(yīng)盡可能容易地被識(shí)別和匹配顯而易見，一個(gè)均勻區(qū)域中的點(diǎn)是不適合作為候選匹配點(diǎn)，所以興趣算子應(yīng)在圖像中尋找具有很大變化的區(qū)域一般認(rèn)為圖像中應(yīng)有足夠多的

9、用于匹配的分立區(qū)域 在以某一點(diǎn)為中心的窗函數(shù)中，計(jì)算其在不同方向上的變化量是這些方向上點(diǎn)的差異性的最好測度方向變化量的計(jì)算公式如下： 我們在早些時(shí)候已經(jīng)注意到，基于特征的立體匹配算法產(chǎn)生對應(yīng)于圖像特征點(diǎn)的場景稀疏深度圖在稀疏深度圖上進(jìn)行表面內(nèi)插或逼近運(yùn)算，可以重建一個(gè)表面，這部分內(nèi)容將在第13章討論立體重建過程的主要難題之一是選擇興趣點(diǎn)一種典型的興趣點(diǎn)選擇方法是基于灰度值的局部最大變化量不幸的是，這些點(diǎn)經(jīng)常出現(xiàn)在拐角處或不滿足平滑約束條件的表面不連續(xù)處在一些機(jī)器視覺應(yīng)用中，這個(gè)問題是通過使用結(jié)構(gòu)光來解決的將模式圖投影到表面上來產(chǎn)生興趣點(diǎn)，并可使區(qū)域變得光滑(見下一節(jié)內(nèi)容) 最后要說明的是，從圖

10、像像素集合中選擇用于求解共軛對的像素子集意味著僅僅能恢復(fù)這些像素對應(yīng)的特征點(diǎn)深度要想得到其它點(diǎn)的深度值，必須通過使用有關(guān)計(jì)算方法來估算，如內(nèi)插值技術(shù)113 多基線立體成象一幅圖像上的每一個(gè)特征點(diǎn)只能與另一幅圖像上的唯一一個(gè)特征對應(yīng)，通常將這一性質(zhì)稱為特征的唯一性約束在實(shí)際中，由于大多數(shù)特征點(diǎn)不是十分明顯，特別是重復(fù)紋理的出現(xiàn)，常常會(huì)產(chǎn)生對應(yīng)多義性(ambiguity)，即一幅圖像上的一個(gè)特征點(diǎn)對應(yīng)另一幅圖像的若干個(gè)對應(yīng)點(diǎn)，其中的一個(gè)點(diǎn)是真正的對應(yīng)點(diǎn)，而其它點(diǎn)是假對應(yīng)點(diǎn)消除對應(yīng)點(diǎn)多義性的一種有效方法是采用多基線立體成象Okutomi 1993，如圖114所示圖115 多基線立體視覺系統(tǒng)攝像機(jī)位置

11、示意圖:?12412)4cos()(xxxf圖圖116 不同評估函數(shù)的曲不同評估函數(shù)的曲線，線，多基線立體視覺可以有效地消除一般場景紋理和重復(fù)紋理的對應(yīng)多義性，但仍然無法求解弱紋理和無紋理物體對應(yīng)點(diǎn)圖118是兵馬俑模型的立體圖像對，除了少部分特征外，其它部位都無法作為特征來求解對應(yīng)點(diǎn)為了恢復(fù)兵馬俑的稠密深度圖像，可以采用專用光源向場景投影條紋模式Kang 1995，如圖118所示，每一個(gè)條紋的強(qiáng)度變化服從正弦分布這樣做的效果相當(dāng)于無紋理的模型上有了條紋特征，由此實(shí)現(xiàn)對應(yīng)的特征點(diǎn)共軛對的求解圖117 用三個(gè)攝象機(jī)獲取的兵馬俑石膏模型多立體圖像對圖118 主動(dòng)式條紋光源照射下的多立體圖像對圖119

12、 基于基本約束恢復(fù)的秦俑頭像的深度圖像114 從X恢復(fù)形狀的方法了上述討論的立體圖像匹配方法外，從灰度圖像中提取形狀信息的許多其它方法，統(tǒng)稱為由X恢復(fù)形狀方法，也得到了大力地發(fā)展不過許多方法只用來估計(jì)一點(diǎn)的局部表面方位而不是絕對深度如果物體上至少有一個(gè)點(diǎn)的實(shí)際深度是已知的，那么同一目標(biāo)上其它點(diǎn)的深度值可以通過對局部表面方向求積分得到因此，這類方法稱為間接深度計(jì)算方法這里我們將簡要地介紹一些方法，更祥細(xì)的闡述參見在其它章節(jié)(1) 光度立體(2) 由明暗恢復(fù)形狀(3) 由紋理恢復(fù)形狀(4) 由運(yùn)動(dòng)恢復(fù)形狀115 測距成象能夠直接測量可視范圍內(nèi)每個(gè)點(diǎn)的距離，并將其記錄為一個(gè)二維函數(shù)的系統(tǒng)稱為測距成象

13、系統(tǒng)，得到的圖像稱為距離圖像或深度圖圖1111 所示的就是通過激光三角測距得到的一個(gè)深度圖的例子最常用的測距成象方法有結(jié)構(gòu)光測距和雷達(dá)結(jié)構(gòu)光測距成象系統(tǒng)使用三角測量原理來計(jì)算深度，而成象雷達(dá)系統(tǒng)則是通過比較發(fā)射信號(hào)與接收信號(hào)的時(shí)延或相位等方法實(shí)現(xiàn)距離測量的。按發(fā)射信號(hào)的波長，雷達(dá)可分為聲雷達(dá)、激光雷達(dá)、毫米波雷達(dá)等。若按工作體制可分為脈沖飛行時(shí)間法，相位差或差頻，測距儀來計(jì)算深度圖圖1110 一個(gè)牙齒石膏模型的深度圖（北京醫(yī)科大學(xué)口腔醫(yī)院呂培軍博士提供）1151 結(jié)構(gòu)光測距圖1111 以攝象機(jī)為中心的三角測量幾何Besl 1988為了計(jì)算所有點(diǎn)的深度，可使用二維網(wǎng)格照明模式照明場景，一次只照明

14、一個(gè)點(diǎn)然后使用上述方程計(jì)算該點(diǎn)的深度，由此得到二維距離圖像顯然，由于這種方法獲取數(shù)據(jù)的序列特性，其計(jì)算速度很慢，不適用于動(dòng)態(tài)變化的場景中一個(gè)典型的結(jié)構(gòu)光照明系統(tǒng)將光平面或者二維網(wǎng)格模式投影到場景中，與光源相隔一定距離的攝像機(jī)獲取投影到場景中物體表面的光照模式所觀測到的光照模式圖像含有變形，該變形由光照模式和物體表面的形狀和方向決定，如圖1113所示注意，攝象機(jī)看到的網(wǎng)格包含了在方向和曲率上的不連續(xù)和變化對應(yīng)于圖像平面中的任意點(diǎn)的三維物體坐標(biāo)可以通過計(jì)算攝象機(jī)視線和光照平面的交點(diǎn)來確定為了得到物體完整的描述，或者搖擺光源（如圖所示)，或者目標(biāo)在一傳送帶上運(yùn)動(dòng)，以獲取多幅圖像物體上的不同表面可以通

15、過對相似空間屬性的光條的聚類來探測圖1112 結(jié)構(gòu)光測距原理示意圖Jarvis 1983圖1113 二進(jìn)制編碼結(jié)構(gòu)光照示意圖，這里的投影序列決定了每條光帶的二進(jìn)制編碼1152 激光測距雷達(dá)在生物界，蝙蝠和海豚是通過接收自己發(fā)出的超聲波來確定其周圍物體的存在根據(jù)生物的這種感知距離的能力，人類發(fā)明了各種測距系統(tǒng)，稱之為雷達(dá)，即向空間發(fā)射信號(hào)，然后接收反射信號(hào)并與發(fā)射信號(hào)進(jìn)行比較，以確定目標(biāo)的距離和方位激光測距（laser range finder）是在二十世紀(jì)60年代發(fā)展起來的一種新型測距雷達(dá)，現(xiàn)在已經(jīng)進(jìn)入實(shí)用化階段激光雷達(dá)具有波束窄、波長短等獨(dú)特優(yōu)點(diǎn)，因而具有極高的角分辨能力、距離分辨能力和速度

16、分辨能力。激光雷達(dá)可以獲取目標(biāo)的多種信息，如反射特性、距離信息、速度信息等在機(jī)器視覺領(lǐng)域，一般需要探測目標(biāo)的細(xì)節(jié)及其精確的位置和方位，而聲波甚至是電磁波都無法達(dá)到這一要求，只能使用波長很短的激光測距雷達(dá)激光測距的主要問題是技術(shù)實(shí)現(xiàn)難度較大下面介紹三種工作體制的測距原理：脈沖飛行時(shí)間測距、相位差測距和差頻測距(1)脈沖飛行時(shí)間測距我們知道，聲波和光波信號(hào)在空氣介質(zhì)中傳播的速度是一定的，如果知道它們在空間中的傳播時(shí)間，則可以計(jì)算波形在空氣中的傳播距離人們將這種直接通過測量波形（或脈沖）飛行時(shí)間來計(jì)算距離的方法稱為飛行時(shí)間法（time of flight）激光脈沖測距雷達(dá)就屬于這類測距系統(tǒng)激光脈沖測

17、距雷達(dá)向空間發(fā)射激光脈沖信號(hào)，并接收由于碰到物體表面而反射回來的信號(hào)，然后測量發(fā)射和接收脈沖的時(shí)間差，就可以得到空間物體的距離圖1115是一種典型的激光脈沖測距雷達(dá)原理框圖，是1977年加洲理工大學(xué)噴推實(shí)驗(yàn)室研制的Lewis 1977激光源是砷化鎵固體脈沖激光器，波長為激光源發(fā)出脈沖激光束，經(jīng)光學(xué)校準(zhǔn)系統(tǒng)到達(dá)光學(xué)掃描鏡，對預(yù)定的空間進(jìn)行掃描；光學(xué)掃描鏡還對反射光同軸地接收，以保證測量的一致性圖 1114 脈沖飛行時(shí)間激光測距原理圖(2) 相位差測距圖11151153 變焦測距圖1116薄透鏡幾何關(guān)系關(guān)于變焦測距以及從變焦恢復(fù)形狀文獻(xiàn)有Pentland 1987, Nayer 1994, Kro

18、tkov 1987, Grossmann, 1987.1154 激光陣列成像激光陣列成像目前，結(jié)構(gòu)光測距系統(tǒng)技術(shù)和激光測距技術(shù)已經(jīng)在物體建模和三維機(jī)器視覺導(dǎo)航方面獲得相當(dāng)成功的應(yīng)用，并且已經(jīng)有商品化的系統(tǒng)?；谧兘箿y距技術(shù)的視覺系統(tǒng)，由于其測距誤差一般較大，因此一直沒有很好的應(yīng)用系統(tǒng)。對于立體視覺系統(tǒng)，由于系統(tǒng)的固有不適定問題，發(fā)展十分緩慢。作為應(yīng)用系統(tǒng)，最重要的指標(biāo)是可靠性高，適應(yīng)環(huán)境能力強(qiáng)。視覺系統(tǒng)的最主要應(yīng)用場合是惡劣的環(huán)境，如，戰(zhàn)場環(huán)境，太空環(huán)境，海洋環(huán)境等，這些環(huán)境具有高沖擊( 比如火箭發(fā)射過程)，劇烈振動(dòng)等特點(diǎn)。激光陣列成像雷達(dá)能以很高的速率獲取場景的稠密深度圖，該系統(tǒng)使用大功率激

19、光二極管陣列向場景發(fā)射激光，測量來自目標(biāo)的相對于調(diào)幅載波相的反射光相移，以便計(jì)算到目標(biāo)的距離。接收器里的圖像增強(qiáng)器的增益被和發(fā)送器同樣的頻率調(diào)制。到達(dá)CCD的光與返回信號(hào)的相位和它的強(qiáng)度無關(guān)，而與目標(biāo)的反射率有關(guān)。為了規(guī)范化反射率的變化，返回波速的強(qiáng)度被采樣兩次，一次是接收器調(diào)制增益作用，另一次是接收器調(diào)制增益不作用。這樣，與每一個(gè)象素相聯(lián)系的距離基本上同時(shí)在場景中測量。盡管這一系統(tǒng)具有能快速提供高精度的深度估計(jì)值的優(yōu)點(diǎn)，該系統(tǒng)使用了許多元件，規(guī)模很大，功耗大，要想用于實(shí)際系統(tǒng)，必須做進(jìn)一步的工作。116 主動(dòng)視覺大多數(shù)計(jì)算機(jī)視覺系統(tǒng)都依賴于由固定參數(shù)的系統(tǒng)來獲取數(shù)據(jù)，包括所有的被動(dòng)敏感系統(tǒng)(如視頻攝象機(jī))和主動(dòng)敏感系統(tǒng)(如激光測距儀)與這些數(shù)據(jù)提取方法不同，我們認(rèn)為主動(dòng)視覺系統(tǒng)的數(shù)據(jù)獲取特性和參數(shù)可以由場景解釋系統(tǒng)動(dòng)態(tài)地控制，是感知系統(tǒng)中至關(guān)重要