計算機視覺的三維感知

計算機視覺的三維感知第一頁，共三十三頁，編輯于2023年，星期一7.1立體視覺一、概述立體視覺或雙目立體視覺（Stereo或binocularVision），或簡稱為體視。體視是人類獲取環(huán)境三維信息的主要途徑。人類視覺系統(tǒng)體視可經(jīng)受各種干擾，在各種光照條件和光度學及幾何學畸變的條件下仍能可靠地提供立體信息。體視可經(jīng)受對比度的變化，在一幅圖相對于另一幅圖有明顯的模糊或擴展時，仍能工作良好。體視的處理是快速和實時的，并能很好地處理物體運動的情況體視對深度信息檢測的分辨率很高。理想條件（孤立邊緣）下能可靠地分辨小于1秒弧的視差。這相當于在1米的觀察距離上確定大約相距0.8毫米的兩個特征的相對深度，或在50厘米遠處的0.2毫米的相對深度。第二頁，共三十三頁，編輯于2023年，星期一

1、工作原理d---P點距透鏡中心的距離d＋---視差（disparity）f--透鏡的焦距，b--兩透鏡中心之間的距離（基線距離）圖7.1立體視覺原理第三頁，共三十三頁，編輯于2023年，星期一

由上式可知，對于一組給定的攝象機參數(shù)，提高場景點深度計算精度的有效途徑是增長基線距離b，即增大場景點對應的視差。同時也帶來一些問題，主要有： （1）隨著基線距離的增加，兩個攝象機的共同可視范圍減小； （2）場景點對應的視差值增大，則搜索對應點的范圍增大，出現(xiàn)多義性的機會也增大； （3）由于透視投影引起的變形導致兩個攝象機獲取的兩幅圖象中不完全相同，這就給確定共軛對帶來了困難。第四頁，共三十三頁，編輯于2023年，星期一外極線幾何（Epipolargeometry)第五頁，共三十三頁，編輯于2023年，星期一外極線幾何（Epipolargeometry)外極面(Epipolarplans)所有通過二個攝像機光心的平面每個空間點有一個外極面外極線(Epipolarlines)外極面與圖像的交線外極面上的空間點投影到每個圖像平面中的外極線上外極點（Epipoles)

每個圖像中的外極線都通過該圖像中的外極點外極點與另一個攝像機的光心的投影對應立體視覺攝像機的光軸平行時外極點在無窮遠處第六頁，共三十三頁，編輯于2023年，星期一外極線--如果已知空間點在一個圖象平面中的成象點要尋找在另一圖象平面中的對應點時，只需沿此圖象平面中的外極線搜索即可第七頁，共三十三頁，編輯于2023年，星期一

圖示系統(tǒng)中，視差與光軸交角有關(guān)。對于任一光軸交角，在空間中總存在一個視差為零的表面。比這一表面遠的物體，其視差大于零；比這一表面近的物體，其視差小于零。這三組視差可用于解決匹配不確定問題。第八頁，共三十三頁，編輯于2023年，星期一距離和深度距離是指從觀察者到物體的客觀實際距離；深度（depth）是指由觀察者感覺到的主觀距離，通常是測量相對于定位點或某個空間點的距離。立體視覺處理的組成：尋找在兩幅圖象中都便于區(qū)分的特征，或用于匹配的基元（primitive）把左、右兩幅圖象中的有關(guān)特征進行匹配，即解決特征匹配的方法問題確定攝象機的相對幾何位置和有關(guān)參數(shù)，即攝象機的校準（Calibration）根據(jù)視差計算成象物體相對攝象機的距離深度信息內(nèi)插。（即：攝象機模型、特征提取、特征匹配、視差和深度計算、深度信息內(nèi)插五部分）第九頁，共三十三頁，編輯于2023年，星期一

上圖是由兩個攝象機得到的真實圖象對。立體重建的關(guān)鍵是特征點匹配，從左圖中任取一點p1，計算機如何找到在右圖中與它的對應點p2。即匹配問題。第十頁，共三十三頁，編輯于2023年，星期一2、匹配基元的選擇搜索對應點時的多義性的解決1.在單幅圖象作預處理時通過抽取圖象局部結(jié)構(gòu)較為豐富的描述來減少錯誤對應的可能性2.在兩幅圖的對應點間作匹配時應用選擇性規(guī)則來限制搜索空間匹配基元的類型1.在所有圖象點上抽取的量測:

這類匹配基元一般是在每個象素位置處都產(chǎn)生一個描述。這些特征表示圖象中的局部結(jié)構(gòu)狀態(tài).屬于這類的匹配基元有以下幾種：(1)象素灰度(2)局部區(qū)域的灰度函數(shù)。在各種大小窗口中求得的灰度分布的導數(shù)可用于產(chǎn)生描述各點周圍結(jié)構(gòu)的矢量(3)卷積圖象的符號.把圖象與各種大小的算子卷積后，圖象中各點的符號可作為原始圖象特征的描述。第十一頁，共三十三頁，編輯于2023年，星期一

2.圖象特征這種匹配基元較為符號化，它檢測圖象中包含豐富信息的結(jié)構(gòu)所在的位置，例如圖象中的邊緣，這些邊緣可能與景物中表面之間的邊界相對應。與象素相比圖象特征數(shù)量較少(1)卷積圖象中的過零點。這種方法是由Marr和Poggio，Marr和Hildreth提出和發(fā)展的。它雖然也可用于檢測邊緣，但是更確切說這種方法的目的是檢測穩(wěn)定的、稠密的表面標志。按這種方法任何小的影調(diào)變化或小的紋理變化只要穩(wěn)定都是一個特征(2)邊緣。這種基元試圖抽取景物中表面之間或不同顏色區(qū)域之間的實際邊界。這種匹配基元上還可以帶有如邊緣方向、對比度、長度、邊緣曲率等附加信息第十二頁，共三十三頁，編輯于2023年，星期一

物體的外輪廓線一般不能作為匹配的特征，如右圖，曲面上的外輪廓線不是物體表面法線方向的不連續(xù)點，而是曲面可見部分與不可見部分的分界線。與視點有關(guān)。第十三頁，共三十三頁，編輯于2023年，星期一3、匹配規(guī)則（matchingrules）約束條件---這些約束條件是根據(jù)對匹配環(huán)境所作的假設(shè)產(chǎn)生的1.相容性（Compatibility）約束 如果兩個匹配基元確實是由同一物理標記產(chǎn)生的，那么它們就可以匹配起來一種是基于光度學不變性的性質(zhì)另一種相似性的假設(shè)是根據(jù)幾何學不變性

2.唯一性約束

-圖象中的每個匹配基元最多只能有一個視差值

3.連續(xù)性約束

-視差值的變化在圖象中幾乎處處平滑第十四頁，共三十三頁，編輯于2023年，星期一

4.外極線約束 利用外極線約束可以將二維搜索問題變?yōu)橐痪S搜索問題。如圖，空間某一距離區(qū)間內(nèi)的一條直線段對應外極線上的一個有限區(qū)間。第十五頁，共三十三頁，編輯于2023年，星期一圖7.3兩個視網(wǎng)膜上成象對應關(guān)系的多義性第十六頁，共三十三頁，編輯于2023年，星期一體現(xiàn)約束條件的匹配規(guī)則1.對相似性測量的本質(zhì)作出規(guī)定的規(guī)則(1)區(qū)域的統(tǒng)計量(2)邊界的統(tǒng)計量(3)點的統(tǒng)計量2.視差梯度限制規(guī)則(1)排序約束(2)視差梯度范圍限制(3)由粗到細的匹配規(guī)則第十七頁，共三十三頁，編輯于2023年，星期一4、算法簡介立體視覺算法可分成兩大類：以密集的基元測量為基礎(chǔ)，稱為基于區(qū)域（area-based）的算法。這類算法的典型例子是利用小區(qū)域上的相關(guān)技術(shù)可得到較稠密的深度數(shù)據(jù),數(shù)據(jù)的精度較差適合于景物中的深度變化小的情形以在圖象中相對比較稀少的、較為符號化的特征為基礎(chǔ)，稱為基于特征（feature-based）的算法只能得到較稀疏的深度數(shù)據(jù)深度數(shù)據(jù)的精度較高可用于深度變化大的景物混合算法在匹配的不同階段分別使用上述兩類算法以期達到更高的性能第十八頁，共三十三頁，編輯于2023年，星期一邊緣匹配例

該算法使用的邊緣特征是通過高斯函數(shù)的一階導數(shù)獲得的。在有噪聲的情況下，使用高斯梯度來計算邊緣更加穩(wěn)定。使用邊緣匹配的立體視覺算法步驟如下： （1）用四個不同寬度的高斯濾波器對立體圖象對中的每一幅圖象進行濾波，其中前一次濾波的寬度是下一次濾波器寬度的兩倍。這一計算可以反復通過對最小的濾波器進行卷積來有效地實現(xiàn)； （2）在某一行上計算各邊緣的位置； （3）通過比較邊緣的方向和強度粗略地進行邊緣匹配。顯然，水平邊緣是無法進行匹配的； （4）通過在精細尺度上進行匹配，可以得到精細的視差估計。第十九頁，共三十三頁，編輯于2023年，星期一二、Marr-Poggio-Grimson算法（MPG算法）以不同大小的算子與圖象卷積，并從中抽取過零點作為匹配基元；采用從粗到細的匹配策略，應用在低分辨率下匹配得到的信息來限制高分分辨時匹配的搜索空間。這樣做的優(yōu)點是既具有較大的深度敏感范圍，又有較高的空間定位準確性1.匹配基元的選擇2.匹配基元的屬性用過零點兩邊的符號變化和過零點輪廓來表示匹配基元的特征第二十頁，共三十三頁，編輯于2023年，星期一的選擇dmax=概率分布表明在的間距內(nèi)有另一個同符號過零點的概率低于0.05。這意味著如果圖象中這個區(qū)域的視差小于，那么在的范圍內(nèi)搜索時只發(fā)現(xiàn)正確的概率是0.95

如果搜索區(qū)域擴大到，所有匹配中的50%是正確和無多義性的.但可利用連續(xù)性約束加以消除取后，我們在dmax的距離內(nèi)只能得到一個點的深度值。這只表示景物在粗通道時的深度圖4.粗通道信息對細通道匹配的導引第二十一頁，共三十三頁，編輯于2023年，星期一圖7.6粗通道信息對細通道匹配的導引圖7.5特征點的匹配第二十二頁，共三十三頁，編輯于2023年，星期一4.粗通道信息對細通道匹配的導引如果粗、細通道算子的寬度分別為和。那么在粗細通道中合適的搜索范圍分別為和。假設(shè)，那么要發(fā)現(xiàn)這點的視差只根據(jù)細通道的信息是不行的，因為匹配點在搜索范圍以外。但匹配點將在粗匹配的范圍之內(nèi)。因此，這時可求得粗通道中的視差粗通道得到的匹配可為精確的視差提供一個近似的估計值。如果所選的濾波器的大小合適，則可保證相鄰通道之間大致相隔一倍頻程，即，通道所用算子的寬度大致為63,35,17,9和4個象素第二十三頁，共三十三頁，編輯于2023年，星期一三、Baker-Binford算法1.基于圖象灰度相關(guān)的相似性量測如窗口是M×N的矩形.設(shè)，左、右窗口中第i行、第j列象素的灰度分別為和差異性量測函數(shù)定義為

2.動態(tài)規(guī)劃（dynamicProgramming）匹配方法兩個波形之間的對應關(guān)系可被概括成路徑規(guī)劃問題（圖7-7）第二十四頁，共三十三頁，編輯于2023年，星期一路上處點P表示右圖在處的點與左圖處的點相匹配路徑成本可用前段中所述差異性量測函數(shù)來定義，把路徑成本定義為沿掃描線的積分圖7.7動態(tài)規(guī)劃匹配問題第二十五頁，共三十三頁，編輯于2023年，星期一DP算法設(shè)，表示右圖中在處周圍灰度分布與左圖在處周圍灰度分布的相似性量測，路徑成本可定義為沿路徑的相似性量測之和。設(shè)是從起點到點最佳路徑的最小成本。DP算法可表示為(1)(2)第二十六頁，共三十三頁，編輯于2023年，星期一3.（Baker-Binford）算法(1)基于邊緣的相關(guān)(2)基于灰度的相關(guān)圖7.9外極線上的邊緣以及灰度分布第二十七頁，共三十三頁，編輯于2023年，星期一立體視覺研究中的新動向三目或多目立體視覺和全景視圖遮擋問題引入MarkovRandomFieldapproach第二十八頁，共三十三頁，編輯于2023年，星期一立體視覺中的不連續(xù)性和遮擋問題O和O’是攝像機的光心不連續(xù)性發(fā)生在B’,C’,E’,F’遮擋發(fā)生在[A,C],[D,F]第二十九頁，共三十三頁，編輯于2023年，星期一立體視覺處理中的困難噪聲：光照的變化，圖像的模糊，傳感器的噪聲無紋理的區(qū)域為了得到立體視覺的匹配，紋理區(qū)域的信息需要擴展到無紋理區(qū)深度的不連續(xù)性信息的傳播應不超越物體的邊界遮擋在參考視圖中被遮擋的象素不能與另一個視圖相匹配第三十頁，共三十三頁，編輯于2023年，星期一有遮擋時立體匹配的問題在一個臺階處出現(xiàn)的遮擋情況:前景－F;背景－B,C,D,E。按一般的SSD(Su