立體視覺匹配

1、立體視覺匹配4分開放分類：人工智能圖像處理計(jì)算機(jī)視覺收藏分享到頂2編輯詞條目錄1背景2發(fā)展與現(xiàn)狀3問題描述展開全部摘要糾錯(cuò)編輯摘要立體視覺匹配(Stereo Correspondence )的目標(biāo)是從不同視點(diǎn)圖像中找到匹配的對(duì)應(yīng)點(diǎn)。 立體視覺匹配(Stereo Corresp on de nee )是計(jì)算機(jī)視覺 中的一個(gè)重要而又非常困難的問題， 它的目標(biāo)是從不同 視點(diǎn)圖像中找到匹配的對(duì)應(yīng)點(diǎn)。立體視覺匹配-背景人類的雙目立體視覺 系統(tǒng)是一個(gè)非常智能的系統(tǒng)。 場(chǎng)景中的光線在人眼這個(gè)精密的成像系統(tǒng)中被采集，通過神經(jīng)中樞 被送入包含有數(shù)以億計(jì)的 神經(jīng)元的大腦中被并行的處理，得到了實(shí)時(shí)的高清晰度的準(zhǔn)確的

2、深度感覺信息。憑借著大腦的智能與人類的知識(shí)，即使是高度近視的人，在摘掉眼鏡之后仍然能夠得到比較準(zhǔn)確的深度感。這樣智能的系統(tǒng)， 使得人類對(duì)環(huán)境的適應(yīng)能力大大提高， 很多復(fù)雜的動(dòng)作能夠得以完成：如行走、體育運(yùn)動(dòng)、駕駛車輛以及進(jìn)行科學(xué)實(shí)驗(yàn)等。相比之下，機(jī)器的立體視覺系統(tǒng)則要落后得多。相機(jī)采集到的圖像數(shù)據(jù)中可能存在較大的噪聲，相機(jī)參數(shù)也有可能不對(duì)稱；用于處理圖像的計(jì)算機(jī)大部分還是馮$cdot$諾依曼結(jié)構(gòu)的串行計(jì)算機(jī)，處理能力與人腦相差甚遠(yuǎn)。計(jì)算機(jī)視覺的研究歷史也不長(zhǎng)：上世紀(jì)七十年代末之前的視覺研究主要集中于生理學(xué)和心理學(xué)上；在大衛(wèi)馬爾提出了視覺計(jì)算模型 以后,人們才慢慢的開始利用計(jì)算機(jī)和數(shù)學(xué)模型進(jìn)行視

3、覺處理。早期的立體視覺，由于受限于硬件條件，只能對(duì)圖像上的特征點(diǎn)進(jìn)行匹配，得到離散點(diǎn)的深度信息。然而，計(jì)算機(jī)硬件的發(fā)展非常迅速，正如摩爾定律所指出的，每18個(gè)月，計(jì)算機(jī)的硬件價(jià)格就下降一半，而性能則提高一倍。當(dāng)計(jì)算機(jī)的處理能力不斷提高的時(shí)候，人們開始嘗試計(jì)算整幅圖的稠密對(duì)應(yīng)關(guān)系，同時(shí)也開始采用一些更加復(fù)雜更加準(zhǔn)確的數(shù)學(xué)工具進(jìn)行計(jì)算。當(dāng)前計(jì)算機(jī)立體視覺的水平與人類的雙目視覺水平還相距甚遠(yuǎn)，對(duì)它的研究仍然是一個(gè)非?；钴S的領(lǐng)域。大量的學(xué)校、公司以及研究機(jī)構(gòu)的研究人員仍然在進(jìn)行著對(duì)計(jì)算機(jī)立體視覺的 研究，這是因?yàn)橛?jì)算機(jī)立體視覺與人眼立體視覺相比，主要有以下不可替代的優(yōu)點(diǎn)：精度高。 人眼的立體感知能力雖

4、然很強(qiáng)， 能夠很輕松的正確判斷出兩個(gè)物體的深度順 序，但是卻無法得到其精確的距離信息。然而，使用計(jì)算機(jī)立體視覺，通過精確的標(biāo)定，使 用合適的計(jì)算方法， 在匹配正確的情況下可以得到非常精確的深度和位置等數(shù)值信息， 這使 得機(jī)器人的精密控制、三維模型重建等工作可以更好的完成。* 擴(kuò)展能力強(qiáng)大。 由于計(jì)算機(jī)硬件和軟件不像人類的器官那樣不可改變， 計(jì)算機(jī)立體視 覺可以從各個(gè)方面對(duì)其進(jìn)行擴(kuò)展， 以滿足不同應(yīng)用的需求。 首先， 計(jì)算機(jī)立體視覺并不限于 雙目視覺， 很多系統(tǒng)使用了三相機(jī)、 多相機(jī)甚至相機(jī)矩陣采集圖像。 相機(jī)的擺放方式除了類 似人眼的水平擺放， 還可以采用垂直擺放、 環(huán)繞擺放以及立體擺放等多種

5、靈活的方式， 有一 些系統(tǒng)的相機(jī)間的關(guān)系還可以根據(jù)需要進(jìn)行動(dòng)態(tài)變化。 此外，除了可見光， 使用特殊的相機(jī)， 還可以采集到其它各種類型的輸入數(shù)據(jù)， 如紅外線、核磁共振等。 所以說，計(jì)算機(jī)立體視覺 技術(shù)具有強(qiáng)大的擴(kuò)展能力，能夠提供比人眼立體視覺系統(tǒng)更豐富的信息。* 除了以上的兩個(gè)特點(diǎn)，計(jì)算機(jī)還具有 連續(xù)工作時(shí)間長(zhǎng) 、不易損壞 、保密性好 、沒有培 訓(xùn)成本 、 結(jié)果易于保存和復(fù)制 等優(yōu)點(diǎn)。由此看來，對(duì)于立體視覺匹配的研究，能夠大大的增強(qiáng)計(jì)算機(jī)或機(jī)器人對(duì)環(huán)境的感知能力， 使得機(jī)器人能夠更好的適應(yīng)環(huán)境、更加智能，從而能夠更好的為人們服務(wù)。如今立體視覺技術(shù)主要應(yīng)用于如下一些領(lǐng)域： 三維環(huán)境感知與建模 、機(jī)

6、器人導(dǎo)航 、物體跟蹤 與檢測(cè)以及 圖像分割 等。隨著立體視覺技術(shù)的進(jìn)一步發(fā)展， 可能會(huì)有更多的領(lǐng)域使用這項(xiàng)技 術(shù)。立體視覺匹配 - 發(fā)展與現(xiàn)狀如前所述，計(jì)算機(jī)視覺起始于大衛(wèi)馬爾等人提出的視覺的可計(jì)算模型。最簡(jiǎn)單的的匹配算法利用匹配點(diǎn)周圍一個(gè)固定大小的窗口的灰度分布， 在一個(gè)可能的視差范圍內(nèi)， 通過尋找兩 個(gè)對(duì)應(yīng)窗口圖像向量的歸一化相關(guān)值的最大值得到視差，這一類方法也被稱為“區(qū)域匹配” 方法( Area Matching )。區(qū)域匹配的一個(gè)假設(shè)是空間的平面是所謂的正平面，也就是與相 機(jī)平面平行的平面， 而實(shí)際的場(chǎng)景中存在著大量的非正平面， 因此人們開始考慮利用一些更 有意義的特征點(diǎn) ( 感興趣點(diǎn)

7、 )來進(jìn)行匹配， 這種方法也被稱為特征匹配 ( Feature Matching ) 方法，如 Marr 和 Poggio 提出了多尺度的匹配算法，利用不同的 Laplacian 過零點(diǎn)以及 梯度進(jìn)行匹配。立體視覺匹配的另一個(gè)挑戰(zhàn)在于匹配的歧義性： 對(duì)于一幅圖上的某個(gè)像素或特征， 另一幅圖 像可能有若干特征與之相似， 如何選擇正確的匹配是一個(gè)困難而又必須解決的問題。 Barn 提 出了松弛標(biāo)號(hào)法( Relaxation-Labeling )，利用平滑性和投票的策略解決歧義性問題；Pollard等人定義了離散視差的視差梯度，通過限制視差梯度減小歧義情況下的錯(cuò)匹配；Marr和Poggio 以及Zi

8、tnick和Kanade采用了合作的匹配框架， 試圖通過多個(gè)特征的匹配信息以及唯一性假設(shè)來解決歧義。更好的方法是采用全局的方法進(jìn)行求解，把多個(gè)像素或特征的視差求解歸一到一個(gè)能量框架下。使用了能量?jī)?yōu)化的框架之后，能量函數(shù)的定義和 優(yōu)化變成了兩個(gè)較為獨(dú)立的問題，可以分別加以研究和解決。在定義能量函數(shù)方面，不同的算法采用不同的匹配信息和不同的先驗(yàn)假設(shè)來描述能量函數(shù)中的不同部分，通過這些假設(shè)把大量的特征聯(lián)系起來，聯(lián)合求解以消除歧義。在能量?jī)?yōu)化方法方面，較傳統(tǒng)的有模擬退火(Simulated Annealing)算法、最可靠有限算法等。近些年，基于圖切割(Graph-Cuts)和置信度傳遞(Belief

9、-Propogation )的優(yōu)化算法逐漸被廣泛采用。以上算法的速度都較慢， 主要原因在于當(dāng)平滑函數(shù)為一般函數(shù)的時(shí)候，以上的能量?jī)?yōu)化函數(shù)是一個(gè)NP難題。為了提高效率，一些研究人員考慮采用具有低階多項(xiàng)式復(fù)雜度的動(dòng)態(tài)規(guī)劃算法，此時(shí)需要把優(yōu)化局限于單條掃描線或把多連通的圖變成一棵樹。立體視覺匹配-問題描述i/plz 1f/JLcBc7圖1 ：標(biāo)準(zhǔn)配置下雙目立體視覺的幾何模型和視差的定義。圖中c和c'分別為參考相機(jī)和匹配相機(jī)的光心，Z為空間中點(diǎn)P的深度，B為基線長(zhǎng)度，視差定義為P點(diǎn)在兩相機(jī)中成像的水平坐標(biāo)的差值x - x'。立體視覺匹配問題的輸入為若干不同視角的相機(jī)采集的圖像，輸出是這

10、些圖像上的點(diǎn)的對(duì)應(yīng)關(guān)系。圖1為標(biāo)準(zhǔn)配置下雙目立體視覺 的幾何模型。C和c'為兩相機(jī)的光心，f為焦距， B為兩光心的連線，也稱為基線，過光心且垂直于成像平面的直線稱為光軸。所謂標(biāo)準(zhǔn)配置是指兩個(gè)相機(jī)的光軸垂直于基線且互相平行。設(shè)兩相機(jī)的焦距相等，且相機(jī)的坐標(biāo)系的水平坐標(biāo)與基線方向平行，則空間中的點(diǎn)P在兩相機(jī)上成的像具有相同的豎直坐標(biāo)，這個(gè)特點(diǎn)也叫立體視覺的 夕卜極線(Epipolar Line)(所謂的外極線是指外極平面和圖像平面的交 線，其中外極平面是包含兩個(gè)焦點(diǎn)和空間點(diǎn)的平面)約束。對(duì)于一般配置的相機(jī)(如圖 2 )，通過相機(jī)標(biāo)定和配準(zhǔn)，可以得到標(biāo)準(zhǔn)配置下的圖像。如無特殊說明，本文余下的部分所涉及的立體匹配問題，都是建立在標(biāo)準(zhǔn)配置下的幾何模型。1圖2 :一般位置的相機(jī)的立體成像幾何模型。通過相機(jī)的標(biāo)定和配準(zhǔn)，我們可以得到標(biāo)準(zhǔn)配置下的圖像，如圖中的虛線所示。圖中的$c$和$c'$為左右相機(jī)的光心，e和e'稱為外極點(diǎn)，M為三維空間中的一點(diǎn)，m和m'分別為M在兩相機(jī)上的成的像。設(shè)P點(diǎn)投影到兩相機(jī)后的圖像分別為X和X'， 我們說x和X'是一對(duì)對(duì)應(yīng)點(diǎn)。如果我們用X和X'來表示它們的水平坐標(biāo)，這兩個(gè)點(diǎn)的對(duì)應(yīng)關(guān)系可以由如下定義的