基本矩陣的估計(jì)和圖像矯正

1、基本矩陣的估計(jì)和圖像矯正Atsuhiko Banno , Katsushi Ikeuchi Information Sciences 183 (2012) 140150 基本矩陣（F矩陣）是計(jì)算機(jī)視覺(jué)領(lǐng)域中最基本和最重要的工具之一。傳統(tǒng)的估計(jì)矩陣的方法是采用八點(diǎn)算法。首先，對(duì)于一個(gè)近似矩陣的線性求解需要計(jì)算至少八個(gè)成對(duì)的點(diǎn)。這種線性優(yōu)化算法缺乏一個(gè)基本屬性，“基本矩陣秩等于2”的約束，一個(gè)基于奇異值分解的方法是強(qiáng)行給它家上約束。但是這樣用奇異值分解在最后會(huì)造成額外的噪聲。幾種方法參數(shù)體系考慮到秩等于2的約束和非線性五奇異值分解的優(yōu)化。在本文中，我們提出一個(gè)新的包含這個(gè)約束條件的非線性最優(yōu)化參數(shù)

2、法。我們采用雙四元（DQ）和一個(gè)標(biāo)量參數(shù)設(shè)定。此外，通過(guò)所提出的參數(shù)化，我們可以得到2個(gè)輸入圖像的變換。這些變換導(dǎo)致估計(jì)的極線矯正的圖像對(duì)的新方法。這中矯正方法可以處理任何圖像對(duì)無(wú)論極點(diǎn)是在圖像內(nèi)部或外部的。 F矩陣描述的關(guān)系是從不同拍攝點(diǎn)拍攝同一場(chǎng)景的圖像，它還提供有關(guān)位置和攝像機(jī)參數(shù)的信息。計(jì)算F矩陣最常用的是八點(diǎn)算法。要得到至少八個(gè)對(duì)應(yīng)的圖像點(diǎn)對(duì)。在這種算法下，我們可以很容易的使用線性方法來(lái)估計(jì)矩陣。但是八點(diǎn)算法對(duì)額外噪聲十分敏感。為了克服這一缺點(diǎn)。哈特利引入一個(gè)坐標(biāo)使圖像標(biāo)準(zhǔn)化歸一化。但是這種線性方法有一個(gè)缺點(diǎn)，那就是排除了秩等于2的約束。為了強(qiáng)加約束，這個(gè)F矩陣最終是有奇異值分解重建

3、的。問(wèn)題是，這個(gè)重建的步驟產(chǎn)生了額外的噪聲。為了減少噪聲，非線性優(yōu)化應(yīng)用了七個(gè)變化參量來(lái)滿足秩等于2的約束。關(guān)于那七個(gè)變量參數(shù)有很多先關(guān)的方法，我提出用一個(gè)標(biāo)量的雙四元數(shù)來(lái)描述矩陣。這些參數(shù)代表對(duì)一個(gè)圖像縮放和旋轉(zhuǎn)。 我們得到的另一個(gè)含義：在這些操作矩陣的兩個(gè)轉(zhuǎn)換與圖像。 通過(guò)使用這些轉(zhuǎn)換，我們引入了一個(gè)新的圖像矯正方法。對(duì)于立體匹配來(lái)說(shuō)，圖像矯正是不可或缺的部分。它把任務(wù)由二維搜索變?yōu)橐痪S搜索，減輕了任務(wù)量。流行的整改方法大致可以分為兩類：平面和極性方法。平面矯正地圖圖像進(jìn)行透視變換，這是可以理解的，易于實(shí)現(xiàn)。然而，這些方法不能處理那些極點(diǎn)位于圖像內(nèi)部的圖像對(duì)。另一方面，極點(diǎn)矯正能夠處理這種

4、情況，但他們需要根據(jù)極點(diǎn)的位置進(jìn)行一些繁瑣的預(yù)處理。 基本矩陣最麻煩的地方在于它的秩等于2，沒(méi)有逆矩陣。為了計(jì)算基本矩陣，人們提出了八點(diǎn)算法。這是一種易于實(shí)現(xiàn)的線性算法，但是對(duì)噪聲太過(guò)敏感。人們又提出一種基于圖像坐標(biāo)歸一化和非線性最優(yōu)化的八點(diǎn)算法。還有很多其他成本函數(shù)最小化的方案。一些人采用另一種參數(shù)化的七自由度的方法來(lái)滿足秩等于2的約束。對(duì)于線性求解，七點(diǎn)匹配是可以用于基本矩陣的。一行（或列）的矩陣可以表示為其他兩行的線性組合（或列）。最近，另一個(gè)參數(shù)化的七自由度提出了。圖像矯正技術(shù)與基本矩陣關(guān)系密切，所以密集點(diǎn)的匹配是不可或缺的。通過(guò)矯正，兩圖片中所有的極線會(huì)水平對(duì)齊，將二維搜索變?yōu)橐痪S搜

5、索，使得任務(wù)大大減輕。本質(zhì)上來(lái)講，圖像矯正是一種轉(zhuǎn)換，如果能通過(guò)立體的匹配而抓住對(duì)應(yīng)的圖像點(diǎn)對(duì)，就可以重建虛擬圖相對(duì)。 另一方面，一些整改的方法已經(jīng)適用于非標(biāo)定圖像對(duì)。非標(biāo)定圖像的矯正比標(biāo)定圖像更有用，因?yàn)闇?zhǔn)確的估計(jì)的相機(jī)參數(shù)是困難的，哪怕只有一個(gè)像素的錯(cuò)誤就不利于準(zhǔn)確匹配。因此，最關(guān)注的未校準(zhǔn)的圖像對(duì)矯正方法。正如上面提到的，受歡迎的矯正方法大致分為兩種類型：平面和極性的方法。平面矯正方法利用射影變換地圖的極點(diǎn)無(wú)窮。這些方法很容易實(shí)現(xiàn)，但他們不能處理的極點(diǎn)都位于圖像區(qū)域圖像對(duì)。極性矯正方法解決了這個(gè)問(wèn)題，將圖像的直角坐標(biāo)系為極系統(tǒng)原點(diǎn)的極點(diǎn)。而這些轉(zhuǎn)變偏離原來(lái)的圖像矯正的概念，沒(méi)有問(wèn)題可以實(shí)

6、現(xiàn)準(zhǔn)確匹配。不過(guò)這些方法需要一些繁瑣的預(yù)處理根據(jù)極點(diǎn)的位置。對(duì)極幾何對(duì)極幾何描述的是場(chǎng)景中的三維點(diǎn)和一對(duì)兩個(gè)圖像之間的關(guān)系。給定一個(gè)場(chǎng)景中三維點(diǎn)P被映射到I和I0兩圖像中，這三個(gè)實(shí)體包括一對(duì)極幾何（圖1）。點(diǎn)C和C0表示分別圖像I和I0相機(jī)中心。三點(diǎn)P，C和C0組成平面，這就是所謂的核面。每個(gè)圖像平面與極平面相交，交線在圖像平面上，稱為極線；一點(diǎn)投影在一個(gè)圖像會(huì)有一個(gè)對(duì)應(yīng)點(diǎn)位于其他圖像平面的極線上（極線約束）。這個(gè)約束是指當(dāng)我們有兩個(gè)圖像I和I0，和一點(diǎn)P在I上，如果我們要尋找在i0上對(duì)應(yīng)點(diǎn)p0，僅沿極線搜索就可以了。假設(shè)I平面上的點(diǎn)對(duì)圖像和I0平面上的點(diǎn)都是是P的投影點(diǎn)，增加了齊次坐標(biāo)的二維

7、圖像坐標(biāo)，這樣笛卡爾坐標(biāo)下P和P轉(zhuǎn)換為射影坐標(biāo)和。采用這種畫法，極線約束表現(xiàn)為以下形式： F是一個(gè)3x3的基本矩陣?；揪仃嚨挠兄鹊扔?的約束，這是由于所有極線必須通過(guò)圖像的極點(diǎn)。八點(diǎn)算法的重新審視 對(duì)于給定的圖像對(duì)，常用八點(diǎn)算法來(lái)線性的估計(jì)基本矩陣。對(duì)應(yīng)的點(diǎn)和，由線性系統(tǒng)得到方程： （2）其中 其中f由基本矩陣獲得： f是一個(gè)九維向量，因?yàn)榛揪仃囉幸粋€(gè)模糊尺度，所以有八個(gè)獨(dú)立變量，因此在許多情況下，加強(qiáng)制約束獲得至少八個(gè)對(duì)，我們可以通過(guò)求解線性方程（2）的估計(jì)矩陣。在這個(gè)階段，該矩陣不滿足秩等于2約束。為了滿足這一矩陣的秩2約束，選取滿足約束和的Frobenius范數(shù)最小的作為F矩陣。首先

8、，對(duì)無(wú)秩2約束條件下的優(yōu)化矩陣進(jìn)行奇異值分解分解（SVD）如下： 如果有在上述過(guò)程中無(wú)噪音，第三個(gè)奇異值，應(yīng)該是0。換句話說(shuō)，第三個(gè)單數(shù)值可以被帶到噪音。因此，以下矩陣可以取代作為約束矩陣的秩等于2： （7）這個(gè)重構(gòu)矩陣被視為基本矩陣。本程序給出了估計(jì)矩陣的秩為2的約束，但它引入附加噪聲。 為了解決這個(gè)問(wèn)題，大多數(shù)工程在下一步采用非線性優(yōu)化方法?；诩s束對(duì)應(yīng)點(diǎn)必須位于極線，下面的最小化代價(jià)函數(shù)： （8）表示極線上點(diǎn)P0和對(duì)應(yīng)點(diǎn)P在圖像的坐標(biāo)系統(tǒng)下的距離的平方。提出了2階矩陣的參數(shù)化方法 我們所提出的方法的出發(fā)點(diǎn)是公式的形式（7）。這種形式表示的矩陣由兩正交矩陣SO（3）和秩等于2的對(duì)角矩陣。如

9、果不失一般性，我們可以指定對(duì)角矩陣為（1，s，0），其中 因?yàn)橐粋€(gè)基本矩陣規(guī)模含糊。在一般情況下，當(dāng)一個(gè)正交矩陣的行列式是1，矩陣是一個(gè)旋轉(zhuǎn)矩陣，可以用一個(gè)單位四元數(shù)描述。四元數(shù)其中，旋轉(zhuǎn)矩陣可以表示如下： （9）獨(dú)立變量的數(shù)目是三；例如q1，q2和q3，對(duì)旋轉(zhuǎn)矩陣的表示。如果公式（7）中的正交矩陣U和V是旋轉(zhuǎn)矩陣，我們可以采用雙四元（DQ）來(lái)參數(shù)化。 不幸的是，不是所有的正交矩陣都是旋轉(zhuǎn)矩陣。正交矩陣的行列式可以是1個(gè)或1，正交矩陣的行列式是1的不是一個(gè)旋轉(zhuǎn)矩陣。 然而，我們總是能把公式（7）中的兩個(gè)正交矩陣轉(zhuǎn)換為兩旋轉(zhuǎn)矩陣，通過(guò)改變對(duì)角矩陣中的另一個(gè)參數(shù)的標(biāo)志s。 如果在方程（7）中的U是

10、1，你是U用（1,1,1）U替代，S被S轉(zhuǎn)換。這種轉(zhuǎn)換時(shí)不合適的，因?yàn)榛揪仃嚲哂谐叨饶：?。有四種情況要考慮，根據(jù)組合兩者的決定因素： 應(yīng)用上述程序，方程（7）成為兩旋轉(zhuǎn)矩陣和對(duì)角矩陣的乘積。旋轉(zhuǎn)矩陣用式（9）那樣的有三個(gè)參數(shù)的單位四元數(shù)描述，而對(duì)角矩陣只需要單參數(shù)。因此，七自由度的一個(gè)矩陣是：采用上述參數(shù)，幾何成本函數(shù)，方程（8），改寫與七參數(shù)如下：然后，上述的成本函數(shù)可以通過(guò)參數(shù)使其最小，同時(shí)保持秩等于2約束： 圖2一個(gè)原始圖像變換；圖像I使用齊次坐標(biāo)是位于和圖像的旋轉(zhuǎn)是由轉(zhuǎn)化來(lái)的。 圖3。極線。它們被表示為變換后的圖像和平面之間的交叉線，包括線x= y= 0；平面包括線x = y = 0

11、被稱為核平面。在這個(gè)圖中，我們展示了兩個(gè)核平面和兩個(gè)極線。圖片矯正 由兩個(gè)旋轉(zhuǎn)矩陣和對(duì)角的參數(shù)化產(chǎn)生一種新的矯正方法使所有極線平行。 （14）作出以下替換：式（14）改寫如下： 上述方程表示如下比例關(guān)系： （16）更具體 （17）在符號(hào)，代表二維矢量組成的前兩個(gè)元素，即，x和y作為的三位矢量的元素。方程（16）的幾何解釋如下。首先，圖像I使用齊次坐標(biāo)是位于和圖像的旋轉(zhuǎn)是由轉(zhuǎn)化來(lái)的。我們稱由和映射而來(lái)的圖像平面作為變換后的圖像。值得注意的是，三維空間的原點(diǎn)不是相機(jī)的中心，而是投影坐標(biāo)系統(tǒng)的（0,0,0）。然后，變換后的圖像進(jìn)行垂直投影到平面上的Z = 0。這個(gè)正交投影是基于Z分量消失的。式（17

12、）和方程（16）表明，任何一對(duì)在投影平面上的對(duì)應(yīng)點(diǎn)位于同一穿過(guò)原點(diǎn)的直線。換句話，由轉(zhuǎn)換后的I平面和一個(gè)含x=y=0的直線的平面有一條交線，這條交線就是極線。由變換后的平面和同一含x=y=0的平面相交于一線，這就是相對(duì)應(yīng)的極線。那個(gè)包括線x = y = 0平面被稱為核面。上述考慮導(dǎo)致一種新的圖像矯正。讓我們考慮一個(gè)任意平面平行線x = y = 0：Z軸。我們稱這種平面為參考平面。所有參考平面和極線之間的交線（其中包括線x=y= 0），應(yīng)平行于彼此。將轉(zhuǎn)換后圖像平面上的一個(gè)點(diǎn)沿著線（核平面與平面z =常數(shù)之間的交線）投影到參考平面。圖4中箭頭所示的投影。然后再投影點(diǎn)在參考平面上滿足式（16）。因

13、此，任何從轉(zhuǎn)換后平面再投影到參考平面的投影點(diǎn)滿足方程（14）并且這個(gè)在參考平面上的重投影的圖像和極線平行。通過(guò)保持在重新推算過(guò)程中的Z值，所有重新投影點(diǎn)在參考平面上的構(gòu)成矯正圖像。通過(guò)改變Z的值，矯正過(guò)程是可逆的：由一個(gè)矯正后的點(diǎn)可以找回它對(duì)應(yīng)的原始點(diǎn)，唯一的。 圖4。矯正圖像：圖像重投影到參考平面的矯正圖像。在重新投影的過(guò)程中，一個(gè)像素在變換后的圖像平面映射沿極線平面和垂直于Z軸。實(shí)驗(yàn)通過(guò)模擬數(shù)據(jù)評(píng)價(jià)矩陣 為了評(píng)價(jià)DQ方法，同時(shí)為了比較其他現(xiàn)有的方法，我們利用一些人工數(shù)據(jù)集。如現(xiàn)有的方法有七個(gè)參數(shù)，我們選擇了以下三種方法：極點(diǎn)參數(shù)華（EP），兩極點(diǎn)參數(shù)（BEP）和巴托麗的參數(shù)化（BP）。EP

14、(18)為了確保一個(gè)矩陣是奇異的，一列被描述為其他兩列的線性組合。方程（18）有八參數(shù)；af最大絕對(duì)值被設(shè)置為1。BEP （19） 圖5。相機(jī)配置。配置1（平行）和配置2（垂直）。 圖6。算法仿真結(jié)果。上限：配置1，較低：配置2。在這個(gè)參數(shù)化，兩極點(diǎn)位于（，ad中絕對(duì)值最大的置1。BP(20)這個(gè)參數(shù)是基于式（7）。巴托麗 4 提出使用一個(gè)標(biāo)量的六個(gè)旋轉(zhuǎn)矩陣表示歐拉角。例如，R（x）代表一個(gè)歐拉角X繞X軸旋轉(zhuǎn)矩陣。這四個(gè)參數(shù)化方法（EP，EP，BP和DQ），我們最小化成本函數(shù)（8）方法。作為非線性最小化的初始解，我們利用線性解的秩等于2約束根據(jù)式（7）。平均計(jì)算時(shí)間（毫秒）計(jì)算一個(gè)矩陣的結(jié)構(gòu)1

15、，N= 30 = 2。為了模擬，我們準(zhǔn)備了一些人工數(shù)據(jù)集。我們隨機(jī)產(chǎn)生N個(gè)點(diǎn)在三維世界和人工圖5中的480個(gè)640像素的圖像對(duì)，一個(gè)平行的相機(jī)對(duì)（配置1）和一個(gè)直的（配置2）。首先，我們用線性求解器來(lái)估計(jì)初始解與虛擬圖像上的重新投影點(diǎn)。然后，我們用四參數(shù)化方法得到最終的基本矩陣。在估計(jì)的基本矩陣后，這些方法基于剩余誤差量的計(jì)算。誤差被定義為一個(gè)點(diǎn)的極線和其他圖像上的對(duì)應(yīng)點(diǎn)之間的距離。通過(guò)改變?cè)肼暤乃胶蛿?shù)字，我們比較了這些方法的準(zhǔn)確性。在本文中，我們重復(fù)100次為3維點(diǎn)，并利用平均殘余誤差。 圖6顯示結(jié)果。上圖是下配置1，較低的是在配置2。在這些圖，“'svd”指由方程（7）的初始解。

16、關(guān)于噪聲的水平，我們將點(diǎn)數(shù)固定為30，并增加了高斯噪聲的研究像素的投影點(diǎn)的二維圖像坐標(biāo)值。雖然錯(cuò)誤是RG上升增加，這四種方法（EP，EP，BP和DQ）有大約在配置相同的精度。 有關(guān)用于計(jì)算基本矩陣點(diǎn)數(shù)量，我們使用RG = 2。它被發(fā)現(xiàn)的精度這四種參數(shù)化方法幾乎是相似的。這些結(jié)果表明，我們的參數(shù)化方法是有競(jìng)爭(zhēng)力的與其他現(xiàn)有方法。為了明確四種方法的性能，我們進(jìn)行了T檢驗(yàn)。根據(jù)結(jié)果證實(shí)，1%個(gè)顯著水平無(wú)顯著差異。 表1顯示了計(jì)算時(shí)間使用Athlon64 X2運(yùn)行在2.41 GHz。他們是平均處理時(shí)間計(jì)算一個(gè)矩陣的結(jié)構(gòu)1，n = 30和R = 2。這表明，該方法比兩種方法對(duì)BP的方法和競(jìng)爭(zhēng)性的競(jìng)爭(zhēng)。實(shí)

17、驗(yàn)結(jié)果 我們使用三個(gè)圖像集，證明所提出的方法，稱之為“'house”，“棱角”和“'wall”。我們用手持相機(jī)捕獲這些圖像。所有的圖像是480個(gè)640像素的大小和采取的商業(yè)數(shù)字相機(jī)，佳能IXY數(shù)碼。在所有的圖像集，有趣的點(diǎn)是由Harris算子 13 和候選提取通過(guò)一個(gè)窗口匹配的基礎(chǔ)上歸一化互相關(guān)。然后，線性求解器的常規(guī)的八點(diǎn)算法被施加到得到的初始溶液。八個(gè)對(duì)應(yīng)的對(duì)被用作輸入材料包括噪聲。拒絕總離群，我們使用RANSAC 10 ，從而獲得可靠的初始估計(jì)。給定一組圖像對(duì)，因此相應(yīng)的對(duì)的列表可以自動(dòng)獲得。 我們可以使用任意平面平行于z軸作為參考平面的圖像矯正。要確定參考圖像獨(dú)特的，我

18、們需要一個(gè)含有相應(yīng)的變換后圖像平面形心的參考平面；該參考平面的法線向量圖像的'house '圖相對(duì)（圖7（a）是這類研究的一個(gè)典型；它是由照相機(jī)拍攝的一個(gè)大致平行的運(yùn)動(dòng)和旋轉(zhuǎn)的線代表一分鐘；用我們的方法得出的極線。圖7（b）顯示變換后的圖像沿Z軸被觀察到。在這些二維圖像，直線通過(guò)原點(diǎn)（x = y = 0）對(duì)應(yīng)一個(gè)極線；此外，任何一對(duì)與圖像相同的線斜率對(duì)應(yīng)的極線。圖顯示在兩個(gè)圖像三對(duì)相同斜率的線分別對(duì)應(yīng)極線。這個(gè)圖展示了我們一個(gè)重要的事實(shí)：在3.4節(jié)中描述的轉(zhuǎn)換是把極轉(zhuǎn)換到的Z軸。矯正后的圖像如圖7所示。我們發(fā)現(xiàn)任何匹配的區(qū)域位于同一水平線，顯示了極線水平對(duì)齊。注意，所提出的方法

19、得到的矯正圖像不類似于由平面矯正或極性矯正得到的圖像。 圖像集“棱角”被相機(jī)光軸運(yùn)動(dòng)約束。這樣的運(yùn)動(dòng)必然位于極點(diǎn)的里面的圖片（圖8（a）。通過(guò)使用我們的方法，我們可以使用相同的程序，這樣的圖像對(duì)。圖8（b）顯示變換后的圖像觀察到沿Z軸；注意極點(diǎn)已經(jīng)移動(dòng)到原點(diǎn)。 我們的方法矯正的圖像顯示在圖8（c）。所提出的方法的一個(gè)關(guān)鍵的優(yōu)勢(shì)是，該方法適用于這樣的圖像對(duì)，即使是其極點(diǎn)的位置，沒(méi)有任何必要的預(yù)處理。沿著圖像的水平掃描線，我們可以在這兩個(gè)矯正圖像找到匹配的區(qū)域。圖7。（a）'house”。線是極線。（b）轉(zhuǎn)換后圖片在Z=0平面上的正交投影。每個(gè)線通過(guò)原點(diǎn)（x = y = 0）對(duì)應(yīng)一個(gè)極線。

20、此外，在兩幅圖像中同一梯度的線對(duì)應(yīng)極線。（c）我們的方法矯正的圖像。圖8。（a）樣本圖像對(duì)集“棱角”。（b）極點(diǎn)位于圖像內(nèi)的投影圖像。在這種情況下，任何過(guò)原點(diǎn)的線也是一個(gè)極線。（c）影像經(jīng)我們的方法糾正。圖9。（一）樣本圖像對(duì)集合的'wall '，這是一個(gè)平面的主要場(chǎng)景。（乙）我們的方法糾正的圖像。表2圖像矯正的平均誤差（像素）。第三樣本集的'wall”，在圖9所示，是一個(gè)主要的平面場(chǎng)景。這種情況被認(rèn)為是估計(jì)基本矩陣時(shí)最難的一個(gè)場(chǎng)景時(shí)。這些數(shù)字表明，使用雙四元數(shù)和一個(gè)標(biāo)量參數(shù)可以正確估計(jì)極線。表2通過(guò)四個(gè)參數(shù)化方法獲得的三個(gè)真實(shí)圖像集顯示的平均誤差（21）。所有的非線性優(yōu)化方法實(shí)現(xiàn)誤差小于一個(gè)像素，同時(shí)保持秩2約束。該表表明，在這四個(gè)參數(shù)化方法的精度是相似的，所提出的方法與其他現(xiàn)有的方法是有競(jìng)爭(zhēng)力的。 至少一個(gè)已知的限制的方法是在DQ。如果極點(diǎn)位于圖像坐標(biāo)系的原點(diǎn)（在大多數(shù)情況下是位于左上角的圖像區(qū)域），我們的方法不適用。這是因?yàn)樵谠摲椒ㄖ?，如圖7（b）和圖8（b），極點(diǎn)移動(dòng)到Z軸。當(dāng)極點(diǎn)位于原點(diǎn)，由和根據(jù)式（17）變換而來(lái)的平面垂直于Z軸，這意味著對(duì)變換后的圖像平面上的所有點(diǎn)都具有相同的Z值。 因