一種完全仿射不變量的圖像比較法.doc

東北石油大學(xué)本科生畢業(yè)設(shè)計(jì)（論文）一種完全仿射不變量的圖像比較法10GuoshenYu CMAP,Ecole Polytechnique, 91128 Palaiseau Cedex,FranceJean-Michel Morel*CMLA,ENS Cachan,61av.duPresident Wilson,Cachan 94235,France文摘一種完全仿射不變量的圖像比較法,對(duì)Affine-SIFT(ASIFT)作出簡(jiǎn)要介紹。當(dāng)SIFT僅遵循四個(gè)參數(shù)即縮放、旋轉(zhuǎn)和平移時(shí)是完全不變的,新方法對(duì)兩個(gè)剩下參數(shù): 定義相機(jī)軸方向和定義相機(jī)角度方向。針對(duì)任何預(yù)測(cè);模擬所有的視圖都取決于這兩個(gè)參數(shù)是否可行。這個(gè)方法可以依靠識(shí)別特征所進(jìn)行的非常大的仿射扭曲來(lái)衡量一個(gè)新的參數(shù),過(guò)渡傾斜。先進(jìn)的方法過(guò)渡傾斜幾乎不超過(guò)2 (SIFT)、2.5(Harris- Affine，Hessian -Affine)和10個(gè)(MSER)。ASIFT能處理過(guò)渡傾斜在36和更高的(見(jiàn)圖1)。索引詞影像匹配，仿射不變性，尺度不變，放射正?；?，SIFT。1介紹局部圖像檢測(cè)器通過(guò)圖像比較按其增量不變性屬性可進(jìn)行分類(lèi)。他們都是平移不變的。Harris 角點(diǎn)檢測(cè)3是旋轉(zhuǎn)不變的。這Harris Lap lace（拉普斯）,Hessian（海賽函數(shù)）-Laplace和DOG(Difference of -Gaussian（高斯函數(shù)）)區(qū)域檢測(cè)器8、10、6,2是旋轉(zhuǎn)不變和尺度不變的。一些基于力矩區(qū)域檢測(cè)器5,1,包括Harris -Affine（仿射）Hess ian-Affine區(qū)域9,10檢測(cè)器,一個(gè)邊緣檢測(cè)點(diǎn)17,一個(gè)4熵檢測(cè),兩個(gè)水平線(xiàn)檢測(cè)的MSER (“最穩(wěn)定極值7地區(qū)”)和LLD (“水平線(xiàn)描述符”)15的設(shè)計(jì)是仿射不變的轉(zhuǎn)變。MSER,特別說(shuō)明,已被證實(shí)通常比其他仿射不變檢測(cè)效果更好,緊隨其后的是海賽-仿射和哈里斯-仿射（12、8、10)。這些方法通過(guò)修補(bǔ)局部斑塊,區(qū)域,或相當(dāng)經(jīng)歷了一個(gè)未知的仿射變換。歸一化變換后他們得到一個(gè)標(biāo)準(zhǔn)的對(duì)象,仿射變換的影響已經(jīng)消除。然而,當(dāng)一個(gè)較大比例變換出現(xiàn)時(shí) (事實(shí)上比3大),SIFT仍?xún)?yōu)于所有的其他方法6。事實(shí)上,實(shí)踐證明數(shù)學(xué)上的14,SIFT是完全尺度不變的,指出6沒(méi)有完全尺度的歸一化方法或仿射不變性:“然而,這些方法是尚未完全仿射不變量,當(dāng)他們開(kāi)始與初始特征尺度和地點(diǎn)選擇用一種無(wú)仿射變換方式時(shí)，卻由于開(kāi)發(fā)全仿射空間成本過(guò)高?！眻D1 .圖像對(duì)高的轉(zhuǎn)變傾斜t 36度。底部:ASIFT發(fā)現(xiàn)正確的116場(chǎng)。SIFT，哈里斯-仿射,海賽-Affine,MSER完全失效。2仿射相機(jī)型號(hào)形變引起的視點(diǎn)的變化,可以在局部地區(qū)模擬為仿射平面轉(zhuǎn)換,給出了對(duì)象的分段光滑的界線(xiàn)12。因此,(局部)攝像機(jī)圖像變形模型下運(yùn)動(dòng)是U(x,y) -U(ax + by+ e,cx +dy+ f),A=是任何線(xiàn)性平面圖用正值的決定因素。任何此類(lèi)圖的分解圖2. 公式(1)的幾何解釋A= (1)我們注意到A=,在此 0, t決定了A, 屬于 0,180), 表示了平面的旋轉(zhuǎn)與角度、Tt(t 1)被稱(chēng)為傾斜度。圖2顯示。解釋一個(gè)攝像機(jī)運(yùn)動(dòng)(1): 和= arccos1 / t是相機(jī)的視角角度和以為參數(shù)的相機(jī)自旋轉(zhuǎn)。在這個(gè)仿射模型相機(jī)遠(yuǎn)離平面物體。從正面的位置,一個(gè)攝像機(jī)運(yùn)動(dòng)平行于該對(duì)象的平面形象包括旋轉(zhuǎn)。這個(gè)平面包含正常和光軸在一個(gè)固定垂直面上來(lái)確定一個(gè)角度。這個(gè)角度被稱(chēng)為經(jīng)度。其光軸然后做出a轉(zhuǎn)角垂直于圖像平面u.這個(gè)參數(shù)被稱(chēng)為緯線(xiàn)。傾斜t1被定義為tcos= 1。鏡頭可以繞其光軸(旋轉(zhuǎn)參數(shù))旋轉(zhuǎn)。最后但并非最不重要,攝像機(jī)可以向前或向后移動(dòng),這是通過(guò)測(cè)量變焦參數(shù)。簡(jiǎn)而言之,(1)模型的圖像變形u(x,y)u(A(x,y)攝像機(jī)運(yùn)動(dòng)所致一個(gè)正面視點(diǎn)= 1,t0= 1, = 0到斜視圖特征由,t, 和。3. 高傾斜旋轉(zhuǎn)方程(1)定義了絕對(duì)傾斜,即當(dāng)鏡頭通過(guò)比從一個(gè)正視圖到斜視圖得圖像形變率。但相比圖像u1 (x,y)=U(A(x,y)和u2(x,y)=u(B(x,y)一般從兩個(gè)相機(jī)的傾斜位置得到。圖3. 絕對(duì)的傾斜與過(guò)渡傾斜之間的區(qū)別。左：經(jīng)度 = ，緯度=30度，=60度，絕對(duì)傾斜t=1/cos=2/,t=1/cos=2,過(guò)度傾斜T（u1,u2）=t/t=.右：=+90度，=60，=75.3度，t=2,t=4,T(u1,u2)=tt=8.定義1.給出了一個(gè)平面圖像的兩個(gè)視點(diǎn), u1(x,y)=U(A(x,y), u2(x,y) = U(B(x,y),我們稱(chēng)過(guò)渡傾斜T(u1,u2)和過(guò)渡旋轉(zhuǎn) (u1,u2)獨(dú)特參數(shù)滿(mǎn)足BA =的條件,用公式(1)表示。圖3從不同的觀(guān)點(diǎn)對(duì)兩幅圖像的仿射過(guò)渡進(jìn)行闡述。特別是絕對(duì)傾斜與過(guò)渡傾斜之間差異。與這兩個(gè)絕對(duì)傾斜t和t,在兩個(gè)正交方向= + / 2上,一個(gè)能確認(rèn)過(guò)渡傾斜u2和 u1之間的結(jié)果T=tt。因此,兩個(gè)中等程度的傾斜會(huì)導(dǎo)致一個(gè)大的過(guò)渡傾斜!因?yàn)樵趯?shí)際情況下傾斜可達(dá)到6度甚至8度,很容易明白過(guò)渡傾斜可以到36度,64度,和更多。圖1顯示了ASIFT結(jié)果在圖像對(duì)正交的視點(diǎn)(過(guò)渡旋轉(zhuǎn)= 90,絕對(duì)傾斜t 6),以致過(guò)渡傾斜t=36度。這根本就不是一個(gè)例外的情況。過(guò)渡傾斜的相關(guān)概念已經(jīng)被證實(shí)，這一事實(shí)是最高過(guò)渡傾斜Tmax允許匹配兩個(gè)圖像絕對(duì)傾斜t和t是相互獨(dú)立的從t到t.實(shí)驗(yàn)結(jié)果已經(jīng)檢查SIFT,逐步發(fā)展到Tmax2?？蓪?shí)現(xiàn)過(guò)度傾斜的哈里斯-傾斜仿射和海賽-仿射都接近2.5。MSER具有良好的魯棒性,過(guò)渡傾斜Tmax在5至10之間。但這種表示只有當(dāng)圖像間沒(méi)有較大尺度轉(zhuǎn)換和圖像包含高對(duì)比度對(duì)象時(shí)才得以驗(yàn)證。ASIFT的過(guò)渡傾斜通常大于36度,圖像匹配超出人們能力范圍(見(jiàn)圖1)。4ASIFT算法仿真和標(biāo)準(zhǔn)化相結(jié)合的理念是SIFT算法最主要的成功因素。事實(shí)上,尺度變化模糊量，并不能歸一化。因此SIFTA旋轉(zhuǎn)和轉(zhuǎn)換標(biāo)準(zhǔn)化,而模擬量全都放大。David Pritchard的SIFT延伸 16模擬四個(gè)額外傾斜。這實(shí)際是該算法的第一步,如下所述，總結(jié)了如圖4。圖4。ASIFT概論。許多對(duì)旋轉(zhuǎn)和傾斜的圖像是通過(guò)SIFT算法從圖像A、B進(jìn)行比較得到。1。每個(gè)圖像轉(zhuǎn)換通過(guò)模擬的方向照射相機(jī)軸變化造成的所有可能的線(xiàn)性失真。這些失真現(xiàn)象取決于兩個(gè)參數(shù):經(jīng)度和緯度。圖像經(jīng)過(guò)-旋轉(zhuǎn)其次是傾斜參數(shù)t = | 1/cos|。數(shù)字圖像中，傾斜被作為一個(gè)t-subsampling(二次抽樣),因此需要前一種應(yīng)用抗鋸齒過(guò)濾器在方向x,即高斯卷積法和標(biāo)準(zhǔn)偏差C=,在此c = 0.814。2。對(duì)于有限的小數(shù)量的緯度和經(jīng)度這些旋轉(zhuǎn)和傾斜是可以實(shí)現(xiàn)的，這些采樣參數(shù)的步長(zhǎng)確保模擬圖像貼近任何其它可能產(chǎn)生的觀(guān)點(diǎn)值。3。所有的模擬圖像互相比較彼此尺度不變,旋轉(zhuǎn)不變,轉(zhuǎn)換不變的算法(典型的SIFT)。自從SIFT規(guī)范相機(jī)轉(zhuǎn)換平行于它的焦平面和相機(jī)繞其光軸旋轉(zhuǎn),但是模擬了尺度轉(zhuǎn)換,所有六個(gè)相機(jī)參數(shù)歸一化要么通過(guò)ASIFT模擬4。模擬緯度對(duì)應(yīng)傾斜t = 1,a,a2.an，且a 1。以一個(gè)a=是一個(gè)很好的準(zhǔn)確性和稀疏度。N的值能上達(dá)到5或更大。這樣,所有從過(guò)渡傾斜1 到32和更多的方法進(jìn)行探索。5。經(jīng)度遵循每一個(gè)t的算術(shù)系列0,b / t，.,kb / t在b = 72度是一個(gè)良好的折中辦法K是最后的整數(shù),kb / t 180度。6。復(fù)雜度:每個(gè)傾斜是一個(gè)關(guān)于t的sub-sampling（二次抽樣）通過(guò)t除以圖像面積。旋轉(zhuǎn)圖像的數(shù)量對(duì)每個(gè)傾斜是(180/72)t = 2.5t。因此,該方法復(fù)雜度是與傾斜的數(shù)量成正比?？刂颇M圖像總面積相當(dāng)于控制該算法的復(fù)雜度。事實(shí)上,SIFT搜索時(shí)間和內(nèi)存的大小是與圖像面積成正比的。這種復(fù)雜性可以進(jìn)一步降低a)二次抽樣查詢(xún)和檢索的圖像;b)鑒定成功的雙(t，);c)回到最初的分辨率只有這些對(duì)。7。這種描述的結(jié)尾是一個(gè)具體的例子，多分辨率搜索策略如何在實(shí)際上可以做到只有兩次算法速度要比SIFT慢。把一個(gè)a=, n=5。最大絕對(duì)傾斜為每個(gè)圖像是5.7和最大過(guò)渡傾斜上升至32。模擬圖像面積是52.5 = 12.5倍的原面積。通過(guò)一個(gè)33原面積二尺抽樣,這個(gè)面積降低到1.4倍的原始圖像面積。如果這用于減少查詢(xún)和搜索圖像,綜合比較復(fù)雜性是等價(jià)的與SIFT兩倍的復(fù)雜性相比。圖5顯示相對(duì)稀疏的樣本范圍經(jīng)緯的需要。完成一個(gè)完全仿射的認(rèn)可。一個(gè)數(shù)學(xué)證明ASIFT是完全仿射不變的。圖13 給出了ASIFT 是完全仿射不變量的數(shù)學(xué)證明(明顯的精度問(wèn)題)。圖5。抽樣(塊點(diǎn))參數(shù)=arccos 1/ t 在一個(gè)天頂觀(guān)測(cè)角度觀(guān)半球體。5實(shí)驗(yàn)和結(jié)果ASIFT對(duì)比四種最先進(jìn)的算法SIFT6,Hessian-Affine, Harris - Affine 9,10和7MSER檢測(cè)器，所有編碼都用SIFT描述符6。圖像用于試驗(yàn)的尺寸大小600450。絕對(duì)傾斜試驗(yàn)圖6顯示設(shè)置為采用最大評(píng)估對(duì)絕對(duì)傾斜和過(guò)渡傾斜的各個(gè)算法實(shí)現(xiàn)。一本雜志和海報(bào)被拍到用于實(shí)驗(yàn)。不像SIFT及ASIFT, Hessian- Affine, Harris -Affine，MSER檢測(cè)不是規(guī)律的魯棒性變化。因此,集中在傾斜,圖像對(duì)，選擇比較自由比例變化。海報(bào)如圖7，被拍到與一個(gè)反射相機(jī)與觀(guān)點(diǎn)角度，相機(jī)軸和正常的海報(bào)之間，變化從0(正面視圖)= 80。看來(lái)物體不太實(shí)際的持續(xù)較大的緯度。表1比較ASIFT與他們的性能ASIFT與其他算法從數(shù)量的正確的比較。其中的一個(gè)匹配的結(jié)果如圖7。對(duì)這些圖像SIFT過(guò)程中角度小于45度。圖6。相機(jī)的位置對(duì)系統(tǒng)進(jìn)行比較Harris-Affine和Hessian-Affine 的性能急劇下降，當(dāng)角度從45到65 度時(shí)。超出這個(gè)值,他們完全失效。MSER大幅轉(zhuǎn)彎在45度角的時(shí)候也未能在65度。ASIFT作用,直至80度。/tSIFTHarAffHesAffMSERASIFT80/5.8300211075/3.9210415265/2.45125646845/1.4171542615707表1。絕對(duì)的傾斜比較適合的觀(guān)點(diǎn)不變性角度在45 80度之間。緯度角度與絕對(duì)的傾斜都列在左列。 圖7 .對(duì)應(yīng)的簽名海報(bào)正面的看法在80度,絕對(duì)傾斜t = 5.8傾斜。ASIFT(顯示),SIFT, Harris-Affine,Hessian-Affine 和MSER (顯示)發(fā)現(xiàn)分別為110,3 - 0和2個(gè)正確的結(jié)果。以上實(shí)驗(yàn)和其他許多得出最大絕對(duì)傾斜的以下結(jié)論。SIFT幾乎沒(méi)有超過(guò)一個(gè)tmax = 2絕對(duì)傾斜。這個(gè)限制是tmax哈里斯- 2.5仿射和Hessian-Affine。MSER性能在很大程度上決定于圖像的類(lèi)型。對(duì)于圖像與高度對(duì)比地區(qū),MSER達(dá)到一個(gè)絕對(duì)的傾斜t 4。然而,如果圖像不包含高度與地區(qū)對(duì)比，如果尺度轉(zhuǎn)換大于3,MSER的性能衰減強(qiáng)烈,甚至在小傾斜。對(duì)于ASIFT一個(gè)Tmax=5.8的絕對(duì)傾斜，對(duì)應(yīng)的極端觀(guān)點(diǎn)角80度總是達(dá)到的。過(guò)渡傾斜測(cè)試圖8顯示SIFT,Harris-Affine和Harris-Affine失效于看似簡(jiǎn)單的例子。事實(shí)上,小絕對(duì)傾斜t1 =t2 = 2結(jié)合經(jīng)度角度1 = 0和2 =50產(chǎn)生適度傾斜-3，沒(méi)有達(dá)到這些方法。ASIFT性能完美。MSER作用很好在這些優(yōu)化條件下:高對(duì)比圖像和無(wú)尺度變化。 圖8該雜志拍攝的照片對(duì)應(yīng)關(guān)系以絕對(duì)的傾斜t1 = t2= 2經(jīng)度角1 = 0和2 = 50度，過(guò)渡傾斜T= 3。ASIFT(顯示),SIFT (顯示), Harris-Affine, Hessian- Affine和MSERF發(fā)現(xiàn)分別為745,3、1、3、87正確的匹配。表2算法的性能對(duì)比，一組雜志圖像都有一個(gè)t = 4絕對(duì)傾斜。因此最大過(guò)渡傾斜16。這些圖像,SIFT,Harris-Affine和Hessian- Affine 與1.9的過(guò)渡傾斜相抗?fàn)帯４笥谶@個(gè)值他們都徹底失效。MSER性能穩(wěn)定到達(dá)T7.7的過(guò)渡傾斜。超過(guò)個(gè)價(jià)值、對(duì)應(yīng)可靠識(shí)別的數(shù)量非常小。ASIFT完美性能達(dá)到T=16。,如圖1、ASIFT實(shí)際上達(dá)到過(guò)渡傾斜大到36。圖9說(shuō)明一個(gè)圓形建筑。在一個(gè)觀(guān)點(diǎn)的改變,左右兩邊維持大的過(guò)渡傾斜。ASIFT發(fā)現(xiàn)123對(duì)應(yīng)覆蓋該建筑物的左、中、右位置的部分。其它方法或是失敗,或在中央部分找到少量匹配項(xiàng)。 圖9。圓形建筑、過(guò)渡傾斜1.8、1(2)。ASIFT(顯示), SIFT, Harris- Affine, Hessian-Affine和MSER(顯示)找到123,13、5、7和13個(gè)正確的結(jié)果。6結(jié)論圖10顯示一個(gè)最后圖像對(duì)的中度過(guò)渡傾斜除了ASIFT所有的方法都失敗。這是因?yàn)闃?biāo)準(zhǔn)化方法,理想化的原則,沒(méi)能在實(shí)踐中正確處理與小形狀、大絕對(duì)傾斜,和低對(duì)比度的問(wèn)題。模擬方法目前更為廣泛。首先限制性,他們被證明是可行的,由于觀(guān)察范圍是非常稀疏的采樣如圖5所示。SIFT方法的魯棒性對(duì)中度過(guò)渡傾斜的關(guān)鍵是稀疏取樣問(wèn)題。7.參考文獻(xiàn)1 A. Baumberg. Reliable feature matching across widely separated views. Proc. IEEE CVPR, 1:774781, 2000.2/TSIFTHarAffHesAffMSERASIFT10/1.922321449105420/3.34513984230/5.33213256440/7.70002835150/10.20001929360/12.41001714570/14.3000139080/15.60001210690/16.0000988表2過(guò)度傾斜性能.第一幅圖1=0和兩幅圖的絕對(duì)傾斜t1=t2=4. 第二個(gè)圖像 的經(jīng)度2和生成過(guò)渡傾斜 T于第一列.圖10.圖像匹配：道路交通標(biāo)志.過(guò)度傾斜T2.6ASIFT(顯示)，SIFT, Harris-Affine, Hessian- Affine和MSER,分別找到50,0，0，0和1個(gè)正確匹配。2 L. Fevrier. A wide-baseline matching library for Zeno. Technicalreport, 2007.3 C. Harris and M. Stephens. A combined corner and edge detector.Alvey Vision Conference, 15:50, 1988.4 T. Kadir, A. Zisserman, and M. Brady. An Affine InvariantSalient Region Detector. ECCV, 228241, 2004.5 T. Lindeberg and J. Garding. Shape-adapted smoothing in estimation of 3-d depth cues from affine distortions of local 2-d brightness structure. ECCV, 389400, 1994.6 D.G Lowe. Distinctive image features from scale-invariant key points. IJCV, 60(2):91110, 2004.7 J. Matas, O. Chum, M. Urban, and T. Pajdla. Robust widebaseline stereo from maximally stable extremal regions. Image and Vision Computing, 22(10):761767, 2004.8 K. Mikolajczyk and C. Schmid. Indexing based on scale invariant interest points. Proc. ICCV, 1:525531, 2001.9 K. Mikolajczyk and C. Schmid. An affine invariant interest point detector. Proc. ECCV, 1:128142, 2002.10 K. Mikolajczyk and C. Schmid. Scale and Affine Invariant Interest Point Detectors. IJCV, 60(1):6386, 2004.11 K. Mikolajczyk and C. Schmid. A Performance Evaluation of Local Descriptors. IEEE Trans. PAMI, 16151630, 2005.12 K. Mikolajczyk, T. Tuytelaars, C