全向圖像的尺度不變特征匹配

1、基于全向圖像的尺度不變特征匹配摘要對(duì)于普通透視攝像機(jī)拍攝的照片的匹配，人們已經(jīng)提出了很多種基于尺度空間分析理論的尺度不變匹配算法，其中尺度空間被定義為高斯函數(shù)的卷積。本文的工作在于提供一種適用于廣角圖像的匹配方法。給定一個(gè)輸入圖像，我們將該圖像映射到球面上，通過(guò)與球面散射方程進(jìn)行卷積得到其尺度空間表示。使用這種方法，空間中的一個(gè)點(diǎn)的尺度空間反映就能夠不會(huì)因?yàn)閿z像機(jī)角度的旋轉(zhuǎn)而改變。之后尺度不變特性就能夠在尺度空間的極小范圍內(nèi)產(chǎn)生。給定了這一系列的尺度不變特征后，我們通過(guò)計(jì)算一個(gè)圓形的支持點(diǎn)（它的尺度與特征尺度相關(guān)）來(lái)得到該點(diǎn)的特征描述。我們將這種方法和原始的針對(duì)透視圖像的SIFT算法比較發(fā)現(xiàn)，

2、我們得出的結(jié)果顯示了更好的匹配效果。第一章 簡(jiǎn)介廣角攝像機(jī)是一種幾乎能夠得到半球面的視角的圖像的成像設(shè)備。例如，由一個(gè)攝像頭和一個(gè)反射鏡組成的折反射攝像機(jī)，和魚(yú)眼鏡頭。和小視角透視攝像機(jī)相比，這些攝像機(jī)在很多機(jī)器人程序例如視覺(jué)定位方面具有明顯優(yōu)勢(shì)。其中一個(gè)主要優(yōu)勢(shì)是它們?cè)谖⑿〉男D(zhuǎn)和翻轉(zhuǎn)變化時(shí)具有更高的準(zhǔn)度，尤其是當(dāng)景象中存在輕微的不連續(xù)的情況下。另外，這些廣角攝像機(jī)在有關(guān)軌跡預(yù)測(cè)和基于視覺(jué)的導(dǎo)航等應(yīng)用上存在明顯優(yōu)勢(shì)，因?yàn)樵趶V角的情況下比較大的成像范圍更能將物體的運(yùn)動(dòng)包含在內(nèi)。本文的目的是提出一種能夠適用于廣角攝像機(jī)的圖像特征匹配方法。這種方法已經(jīng)成功應(yīng)用于視覺(jué)測(cè)距 和景象重現(xiàn)。該方法也可用于

3、基于視覺(jué)的同步定位與尋址。雖然在這方面之前已經(jīng)有很多有效的匹配技術(shù)，但這些技術(shù)僅限于透視攝像機(jī)。相關(guān)工作盡管現(xiàn)在有大量關(guān)于廣角攝像機(jī)的資料，但大部分僅限于介紹這種攝像機(jī)的幾何原理或者成像過(guò)程，或者是專門(mén)針對(duì)情緒檢測(cè)給出一系列的對(duì)應(yīng)特征78。盡管這些是適用廣角攝像機(jī)的關(guān)鍵問(wèn)題，但是研究對(duì)應(yīng)于這些攝像機(jī)的匹配技術(shù)的論文較少。對(duì)于很多應(yīng)用例如點(diǎn)特征匹配，尋找特征點(diǎn)和產(chǎn)生特征算子的算法往往是被機(jī)械地執(zhí)行，此時(shí)全景圖像被當(dāng)成透視圖像并選用固定大小的算子，例如高斯算子，應(yīng)用于整個(gè)圖像。這種方法可能在適用于小的基本運(yùn)動(dòng)，即在相鄰的兩幅圖像之間的特征點(diǎn)位置僅存在微小的變化，但這種方法并不適用于大范圍的基本運(yùn)動(dòng)

4、。因此我們必須考慮設(shè)計(jì)一種算法能夠適用于全景圖像?，F(xiàn)在人們已經(jīng)提出了大量的廣角特征匹配技術(shù)。其中一部分利用尺度空間分析，既將一副圖像通過(guò)連續(xù)的高斯卷積得到尺度遞增的多個(gè)圖像。得到了這樣一系列的尺度空間圖像后，通過(guò)在尺度空間內(nèi)基于某些顯著性矩陣尋找局部極值點(diǎn)來(lái)得到尺度不變特征點(diǎn)的位置。例如，SIFT算法和Harris-Laplace算法就是檢測(cè)尺度不變特征點(diǎn)的。參考文獻(xiàn)11里也提到了一種尺度不變特征區(qū)域檢測(cè)算法。這些運(yùn)用尺度空間進(jìn)行分析的算法也被擴(kuò)展運(yùn)用到尋找尺度和仿射變換都不變的特征點(diǎn)。除了尺度空間分析以外，人們也研究了其它一些方法。參考文獻(xiàn)14中提到了一種新的方法，即尺度不變特征是通過(guò)特征點(diǎn)

5、周圍一定半徑內(nèi)的灰度強(qiáng)度值的熵矩陣來(lái)確定的。參考文獻(xiàn)15當(dāng)中提到了一種組合方法，第一種基于圖像中區(qū)域的幾何特征，第二種基于局部的強(qiáng)度剖面。文獻(xiàn)16中提到了另一種基于強(qiáng)度的方法，其中最穩(wěn)定極值區(qū)域在多個(gè)灰度閾值水平的圖像的連接處得到。本文中我們研究了一種基于SIFT的方法?，F(xiàn)在，我們將此方法限制于非仿射變換的尺度不變特征檢測(cè)，在這種情況下SIFT算法已經(jīng)證明能夠提供較好的結(jié)果17。像之前探討的一樣，SIFT需要輸入圖像I（x，y）的多個(gè)尺度空間表示。對(duì)于透視圖像而言，圖像L（x，y，t）在尺度t下的尺度空間表示是通過(guò)原圖像與高斯函數(shù)的卷積得到，其公式為： (1)尺度空間分析的一個(gè)重要條件是圖像中

6、的某一點(diǎn)在尺度空間中的映射應(yīng)該是空間不變的18。在圖像處理中，這就意味著當(dāng)攝像機(jī)旋轉(zhuǎn)時(shí)，原圖像中的任意一點(diǎn)在尺度空間中的映射應(yīng)當(dāng)與它的位置無(wú)關(guān)。然而，對(duì)于廣角圖像，一個(gè)點(diǎn)周圍的局部區(qū)域可能會(huì)由于圖像的扭曲變形，在發(fā)生旋轉(zhuǎn)時(shí)產(chǎn)生變形。因此，單純地對(duì)廣角圖像使用高斯卷積來(lái)進(jìn)行尺度空間分析的結(jié)果并不理想。因此我們?cè)O(shè)想通過(guò)將原圖像與球面散射方程卷積得到其尺度空間圖像，其中球面散射方程可以看作是定義在球面上的高斯方程，詳見(jiàn)文獻(xiàn)19。盡管在關(guān)于折反射攝像機(jī)的光流估計(jì)中已經(jīng)使用過(guò)了球面投影，并且在廣角圖像的尺度空間分析中也討論了這一點(diǎn)，我們?nèi)钥紤]在廣角圖像特征匹配算法中運(yùn)用這一想法。本文中，我們提出了一種解

7、決廣角圖像特征匹配的新方法，即使用原圖像與球面投影方程進(jìn)行卷積得到尺度空間圖像，其中我們?cè)陬l域中用球面進(jìn)行補(bǔ)償。之后，就能在尺度空間的極值處得到尺度不變特征點(diǎn)。給定了一系列由位置和尺度限定的尺度不變特征點(diǎn)后，進(jìn)而得到特征點(diǎn)的描述符，其中特征點(diǎn)的支持區(qū)域是球面內(nèi)的圓而不是原圖像水平面內(nèi)的圓。通過(guò)與原始的SIFT算法進(jìn)行比較，我們發(fā)現(xiàn)這種方法在圖像匹配方面效果有明顯改善。B論文提綱第二部分中我們介紹了通過(guò)在頻域進(jìn)行卷積所必須的符號(hào)和得到尺度空間圖像所涉及到的理論。第三部分中我們?cè)敿?xì)介紹了整個(gè)算法，包含了所使用的參數(shù)。第四部分中列出了此方法與原始的SIFT算法在匹配效果上的對(duì)比以及一些思考。第五部分

8、介紹了我們的結(jié)論。第二章球面尺度空間球面方程在歐式空間內(nèi)，二維球面是由三維球面內(nèi)距離某一給定點(diǎn)小于某一半徑的所有點(diǎn)組成的。二維球面上的一個(gè)點(diǎn)可以定義為這樣一個(gè)向量，它具有兩個(gè)分量，分別是緯度，和經(jīng)度，如下： （2）那么對(duì)于任意一個(gè)定義在單位球面上的可積的平方方程來(lái)說(shuō)，方程可以被擴(kuò)展成一系列球面方程黨的線性組合： （3）其中系數(shù)是f的傅里葉球面轉(zhuǎn)換，即： （4）這里有，并且表示各個(gè)函數(shù)的復(fù)合。球面方程是定義在球面上的拉普拉斯方程的解。對(duì)于一個(gè)給定點(diǎn)，球面方程如下： （5）其中，并且是關(guān)聯(lián)的勒讓德多項(xiàng)式。那么我們就能用一系列球面方程來(lái)表示任何一個(gè)廣角中心投影圖像，假設(shè)存在一個(gè)攝像機(jī)模型，它將圖像中

9、的每一個(gè)像素對(duì)應(yīng)于空間中的一束光線，即對(duì)應(yīng)于球面上的一個(gè)點(diǎn)，即：. （6）B球面散射方程Bulow19提出了球面（熱）散射方程的一個(gè)解。這個(gè)涉及到北極的球面散射方程是： （7）其中kt是尺度因子。我們不妨設(shè)k=1。這個(gè)方程是帶調(diào)和函數(shù)，可以被寫(xiě)成帶調(diào)和函數(shù)的和。圖片1表示了這個(gè)方程在任意尺度t下從兩個(gè)不同位置投影到魚(yú)眼鏡頭上的圖像。從這幅圖像中我們可以清楚地看到方程的形狀隨著該點(diǎn)在圖像中位置的不同而不同。C球面卷積對(duì)于所有的旋轉(zhuǎn)，我們定義算子表示將球面上的某一點(diǎn)旋轉(zhuǎn)到新的位置。這些旋轉(zhuǎn)可以用Euler angles來(lái)界定。對(duì)球面上任意兩個(gè)方程來(lái)說(shuō)，我們有圖像和球面卷積方程，卷積定義為22： （

10、8）像之前在圖1中展示的一樣，盡管我們能夠通過(guò)將魚(yú)眼圖像進(jìn)行球面散射方程投影來(lái)在原圖像上進(jìn)行卷積，但是本文中我們使用頻域卷積。對(duì)于在頻域中球面上平方可積的方程f和對(duì)稱濾波器h，Driscoll和Healy將它們的卷積定義為22：定理1：對(duì)于方程卷積的變形是下列轉(zhuǎn)換的逐點(diǎn)的乘積： （9）其中是卷積的光譜。回到7中關(guān)于球面散射方程的解，我們將其帶入到9中就得到了下列球面散射的定義： （10）我們必須注意到這里包含了一個(gè)附加的因子。這是由于在7的解中考慮到卷積是限制在旋轉(zhuǎn)，并且這個(gè)方程關(guān)于z軸對(duì)稱的。給定一系列的過(guò)濾方程，對(duì)于球面上一個(gè)給定點(diǎn)的卷積結(jié)果就可以得到: (11)D離散的球面傅里葉變換本文

11、中，我們使用來(lái)產(chǎn)生向前向后兩個(gè)方向的球面傅里葉變換。如圖像2，這就需要原圖像首先表示成的圖像，圖像中的樣本點(diǎn)為： （12） （13）其中b是樣本帶寬。在接下來(lái)的實(shí)驗(yàn)中，我們選擇帶寬，使得它成為可以存儲(chǔ)的最大值。相反的離散SFT的結(jié)果是一個(gè)表示的過(guò)濾后的圖像，可以通過(guò)它得到原來(lái)的廣角圖像。第三章實(shí)際執(zhí)行在這一部分我們列出了我們尋找對(duì)于任意廣角攝像機(jī)都適用的尺度不變特征和特征描述符的過(guò)程。A尺度不變圖像對(duì)于一個(gè)給定的輸入圖像，一系列的尺度空間圖像是這樣得到的：1） 將廣角圖像變換為圖像，在此過(guò)程中使用帶寬的12和13中給出的樣本點(diǎn)。2） 使用從4中得到球面傅里葉變換系數(shù)。3） 使用10在頻域?qū)γ總€(gè)

12、尺度進(jìn)行過(guò)濾從而得到光譜。4） 對(duì)于每個(gè)過(guò)濾后的光譜，使用找到在11中定義的反向SIFT。輸出是一系列的用表示的尺度空間圖像。5） 通過(guò)圖像反過(guò)來(lái)尋找原來(lái)的廣角圖像。結(jié)果是一系列用原來(lái)的廣角圖像表示的尺度空間圖像。盡管使用表示的圖像也可以處理得到結(jié)果，但是我們?nèi)匀贿x擇反過(guò)來(lái)尋找到原圖像。這樣一來(lái)，在特征檢測(cè)當(dāng)中，我們就能假設(shè)在的像素的局部區(qū)域內(nèi)圖像近似于透視圖像，這樣在尋找關(guān)鍵點(diǎn)計(jì)算梯度的時(shí)候就可以當(dāng)做透視圖像進(jìn)行。這個(gè)假設(shè)在圖像上的真實(shí)度低一些，尤其在靠近極的地方。B尺度選擇尺度選擇是基于SIFT算法。給定SIFT算法后，首先將圖像面積擴(kuò)大兩倍，再用來(lái)平滑，這就等同于用來(lái)平滑原來(lái)尺寸的圖像。

13、對(duì)于我們的攝像機(jī)，我們找到了球面余緯度的角度，使得圖像中心有0.8像素的移動(dòng)，并令初始尺度。對(duì)于接下來(lái)的實(shí)驗(yàn)中用到的攝像機(jī)，初始尺度接下來(lái)一系列的尺度空間圖像的尺度就得到了： （14）C特征檢測(cè)對(duì)于一系列的尺度空間圖像，所有鄰近的尺度空間圖像的差值圖像。它們是從那些找到了SIFT特征的圖像得到的。這些特征點(diǎn)是在尺度空間中與周圍最近的26個(gè)點(diǎn)相比較是極值，并且鄰近，絕對(duì)值高于某個(gè)閾值的那些點(diǎn)。在接下來(lái)的試驗(yàn)中， 我們將此閾值設(shè)為0.0125（對(duì)于輸入圖像這個(gè)值在0到1之間）。邊緣的影響通過(guò)限制D的曲率的最大和最小值的顯著性的最小比值r來(lái)去除掉，其中這個(gè)最小比值r是從Hessian矩陣中得到的。只

14、有當(dāng)這個(gè)曲率的最大值與最小值的比值時(shí)該特征點(diǎn)才會(huì)被保留。最終，特征點(diǎn)的位置和尺度使用3D的二次多項(xiàng)式來(lái)插值得到。 D特征描述對(duì)于尺度不變特征匹配算法，例如SIFT算法，特征尺度是用來(lái)定義一個(gè)透視圖像當(dāng)中一個(gè)圓形支持區(qū)域，該區(qū)域內(nèi)部的像素點(diǎn)被用來(lái)產(chǎn)生特征描述符。在這種通過(guò)球面散射得到尺度空間圖像的情形下，特征尺度定義了一個(gè)球面上以特征點(diǎn)為圓心的支持區(qū)域。只有在特征點(diǎn)周圍的支持區(qū)域內(nèi)部的像素點(diǎn)才會(huì)對(duì)特征描述符產(chǎn)生影響。參照?qǐng)D3（a），該圖展示了球面內(nèi)特征點(diǎn)周圍的圓形支持區(qū)域。其中角度是連接球心與球面上特征點(diǎn)的直線產(chǎn)生的。角度是圍繞該直線的旋轉(zhuǎn)角度。在接下來(lái)的實(shí)驗(yàn)中，我們?cè)O(shè)定義支持區(qū)域大小的最大角度

15、，其中是該圖像的尺度。之后，我們將圖像上所有點(diǎn)投影到球面上一個(gè)固定大小為像素的區(qū)域內(nèi)，這個(gè)大小也是在尺度不變特征匹配的相關(guān)研究中一貫使用的大小2324。參照?qǐng)D3（b），在這一小區(qū)域內(nèi)坐標(biāo)和角度有如下相關(guān)關(guān)系： （15） （16）圖3Resampling region on the image within a circular support region defined on the sphere to a fixed sized patch下面我們?cè)倏磮D3（b），廣角圖像中的輪廓展示了球面上的圓形支持區(qū)域。右邊的圖像表示了在這個(gè)像素點(diǎn)周圍的一小片區(qū)域。對(duì)于每一小片區(qū)域P，可以得到一個(gè)SIF

16、T描述符。SIFT描述符是一個(gè)128維的向量，它由個(gè)梯度方向所占比重的柱狀圖組成，每一個(gè)包含8個(gè)柱。找到SIFT描述符之后，我們通過(guò)小片區(qū)域內(nèi)相鄰像素之間的差異來(lái)得到梯度值： （17）第四章實(shí)驗(yàn)和結(jié)果我們希望知道與將圖像當(dāng)作透視圖像進(jìn)行匹配的這種原始的SIFT算法相比，我們的算法在匹配效果上是否有所改進(jìn)。為了做到這一點(diǎn)，我們考慮做一個(gè)基于視覺(jué)的定位程序，其目的是對(duì)在移動(dòng)平臺(tái)上的廣角攝像機(jī)得到的連續(xù)圖像之間進(jìn)行特征匹配。A輸入數(shù)據(jù)輸入的數(shù)據(jù)是一系列圖像序列，這些圖像來(lái)自于一個(gè)裝有魚(yú)眼鏡頭的分辨率的相機(jī)。相鄰圖像之間的大致間隔是兩米。圖4展示了室外環(huán)境中三個(gè)連續(xù)圖像?？偣灿?500張以上的圖像。對(duì)

17、每一張圖像，我們找到了兩組尺度不變特征。第一組是直接將圖像當(dāng)作透視圖像，使用原始的SIFT算法得到的。第二組是運(yùn)用我們的方法，即尺度空間圖像是通過(guò)與球面散射方程進(jìn)行卷積得到的，并且特征描述符是定義在球面上的一個(gè)圓形支持區(qū)域。B效果比較為了比較兩種方式的優(yōu)劣，我們使用了召回率和準(zhǔn)確率。這種方法和其它一些類似文獻(xiàn)中使用的方法是一致的，例如文獻(xiàn)2324。它們被定義如下：召回率等于正確匹配次數(shù)與匹配正確總次數(shù)之比，準(zhǔn)確率等于錯(cuò)誤匹配次數(shù)與總匹配次數(shù)之比。對(duì)于任意兩幅圖像，我們使用最少的特征點(diǎn)，找到在歐式距離下相鄰最近的兩個(gè)特征描述符。我們并不是為兩個(gè)特征描述符之間的距離設(shè)定閾值，而是根據(jù)兩個(gè)相距最近的

18、描述符的之比進(jìn)行限定，這是度量圖像匹配的模糊性的一個(gè)手段。這個(gè)想法是一個(gè)可信的匹配只能在這種情況下出現(xiàn)，即一幅圖像中的特征點(diǎn)只能與另一幅圖像中唯一一個(gè)特征點(diǎn)的距離較近。這已經(jīng)在文獻(xiàn)24中給出了說(shuō)明，即使用這種比值作為閾值的匹配方式從效果上要好于單純地將兩個(gè)特征點(diǎn)之間距離作為閾值的匹配方式。C選擇正確的匹配為了判定一個(gè)匹配是否正確，我們使用極線約束，并假設(shè)操作環(huán)境是嚴(yán)格的。我們使用標(biāo)準(zhǔn)的照相機(jī)，我們使用五點(diǎn)算法25在圖像對(duì)之間解決重要矩陣E并用RANSAC來(lái)去除離群值。找到重要矩陣之后，只有最佳匹配特征點(diǎn)會(huì)被用于去除離群值。之后，對(duì)于圖像中任意兩個(gè)特征點(diǎn)X和X，當(dāng)?shù)臅r(shí)候，匹配才被認(rèn)為是正確的。D結(jié)果我們的結(jié)果是兩個(gè)不同的基線分離：基線1表示的是每個(gè)連續(xù)圖像之間的匹配；基線2表示的是每相隔兩個(gè)連續(xù)圖像之間的匹配。我們?yōu)槊總€(gè)匹配計(jì)算了召回率和一次準(zhǔn)確率，以及所有圖