基于SIFT的遙感圖像配準方法

1、第22卷第12期2009年12月傳感技術學報CHINESEJOURNALOFSENSORSANDACTUATORSVol.22No.12Dec.2009RemoteSensingImageRegistrationAlgorithmBasedonSIFT3DENGChuanbin,GUOLei13,LIWei21.DepartmetnofAutomation,NorthwesternPolytechnicalUniversity,Xian,710129China;2.DepartmetnofElectronicsandInformationEngineering,XianTechnologica

2、lUniversity,Xian710032,Abstract:Toresolvemulti2sensorremotesensingimageregistration,anmethodbasedonscaleinvariantfea2turestransform(SIFT)isproposed.First,thelocalinvariantfeaturesofimagesareextracted,Ratioofthefirstandthesecondnearestneighbordistancewithmutualcorrespondenceconstraintisusedtosetupthe

3、initialcorrespondences.Then,RandomSampleConcensusalgorithmisusedtoremovethemismatchedfea2turepoints.Experimentsdemonstrateautomaticregistrationofmulti2sensorremotesensingimagesandim2ageswithdifferentresolutionscanbeachived.Keywords:imageregistration;scaleinvariantfeaturestransform;mutualcorrespondde

4、nceconstraint;Ran2domSampleConcensusEEACC:7230G3鄧傳斌1,郭雷13,李維21.西北工業(yè)大學自動化學院,西安710129;2.西安工業(yè)大學電子信息工程學院,西安摘要:針對多傳感器遙感圖像配準問題,改進了一種基于SIFT的圖像自動配準方法。首先提取圖像中適應尺度變化的局部不變特征點,提出了利用最近鄰特征點距離與次近鄰特征點距離之比的互對應約束得到初始匹配點對,然后利用RANSAC(RandomSampleConcensus)算法刪除誤匹配特征點對。試驗結果表明:該方法能夠實現(xiàn)多傳感器遙感圖像和不同分辨率圖像的自動配準。關鍵詞:圖像配準;SIFT;互對

5、應約束;RANSAC中圖分類號:TP39114文獻標識碼:A文章編號:100421699(2009)1221742206圖像配準是同一場景的兩幅或多幅圖像在空間上的對準。它在醫(yī)學,遙感圖像分析、圖像融合、圖像檢索、目標識別等領域得到廣泛的應用。同時它也是多傳感器圖像融合、遙感圖像鑲嵌、目標變化檢測、三維重建等領域中提高精度和有效性的瓶頸,是必需的前期工作。圖像配準方法分為基于圖像灰度和基于圖像特征的配準。基于圖像灰度的配準方法實現(xiàn)簡單,但配準速度比較慢?；趫D像特征的配準方法有效地消除了由于背景或局部環(huán)境、光照等造成的局部輻射失真引起的誤匹配,對圖像的旋轉、縮放和光照強度變化等不敏感,對含有一

6、定噪聲和項目來源:國家自然科學基金資助(60802084)收稿日期:2009207220修改日期:2009208206輕微扭曲的圖像可以進行配準,配準的速度較快。缺點是算法復雜,而且往往由于特征提取的不完全,導致匹配率較低1。目前,對于同一傳感器、不同時段、視角變化不大的衛(wèi)星遙感圖像的匹配技術已經(jīng)比較成熟,提取了一些經(jīng)典特征提取算法。比如:Susan算子、Harris算子等2。對于不同分辨率、多傳感器圖像之間的配準是目前研究的熱點和難點3。目前提出的方法大多是基于多尺度Harris角點檢測特征提取算法的圖像匹配技術4。本文采用尺度不變特征點來配準多傳感器圖像和不同分辨率圖像。配準過程包括:不變

7、特征點的第12期鄧傳斌,郭雷等:基于SIFT的遙感圖像配準方法1743提取,最近鄰特征點距離與次近鄰特征點距離之比的互對應約束得到匹配點集,用最小二乘法進行變換參數(shù)估計。要和它所有的相鄰點比較,看其是否比它的圖像域和尺度域的相鄰點大或者小。中間的檢測點和它同尺度的8個相鄰點和上下相鄰尺度對應的932個點共26個點比較,以確保在尺度空間和二維圖像空間都檢測到極值點。212確定極值點位置通過擬合三維二次函數(shù)以精確確定特征點的位置和尺度(達到亞像素精度),同時去除低對比度的特征點和不穩(wěn)定的邊緣響應點,以增強匹配穩(wěn)定性,提高抗噪聲能力。一個定義不好的高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率,而

8、在垂直邊緣的方向有較小的主曲率。主曲率通過一個232的Hessian矩陣H求出:H=DxxxyD(5)1尺度空間表示數(shù)字圖像的離散形式通過尺度參數(shù)的離散化表示,所以尺度空間是由一系列離散化的不同分辨率的圖像組成。T.Lindeberg等528證明尺度空間可以由圖像與高斯核函數(shù)卷積構成,而且證明高斯函數(shù)是唯一能表示尺度空間的線性核函數(shù)。二維高斯函數(shù)定義為:-(x2+y2)/22)=(1)G(x,y;2e2高斯核函數(shù)具有線性對稱性和可分離性等良好性質(zhì)。因此,一幅圖像的多尺度空間定義為:L(x,y;),由變尺度高斯核函G(x,y;)與輸入圖像I(x,y)卷積得到,即:)=G(x,y;)3I(x,)L

9、(x,y;(式中:(x,y);子。公式(1)(2)=0時,G(x,y;0)為一個脈沖函數(shù)。因此,圖像I(x,y)與零尺度下的高斯核卷積是圖像本身。即:L(x,y;0)=G(x,y;0)3I(x,y)=I(x,y)(3)為了有效地在尺度空間檢測到穩(wěn)定的特征點,提出了高斯差分尺度空間。利用不同尺度的高斯差分核與圖像卷積生成。DOG算子定義為兩個不同尺度的高斯核的差分,其具有計算簡單的特點,是歸一化LOG算子的近似。DOG算子表示為:)=(G(x,y,k)-G(x,y,)3I(x,y)D(x,y,)-L(x,y,)(4)=L(x,y,k圖像金字塔的構建為下一組的圖像由上一組圖像降采樣得到。,令為最大

10、,為最小的特征值,則Tr(H)=Dxx+Dyy=+(6)(7)Det(H)=DxxDyy-(Dxy)2=,則:令=2222(8)=2Det(H)的值在兩個特征值相等的時候最小,隨著的增大而增大,因此,為了檢測主曲率是否在某閾值下,只要檢測22Det(H)在Lowe9的文章中,取=10。213特征點方向分配利用特征點鄰域像素的梯度方向分布特性為每個特征點指定方向參數(shù),使算子具備旋轉不變性。(10)分別為(x,y)處梯度的模值和方向式(9)、(9)2SIFT特征的提取與描述211尺度空間極值點檢測為了尋找尺度空間的極值點,每一個采樣點都m(x,y)=L(x+1,y)-L(x-2,y)2+(L(x,

11、y+1)-L(x,y-1)2(x,y)=(10)tan2(L(x,y+1)-L(x,y-1)/(L(x+1,y)-L(x-1,y)公式。其中L所用的尺度為每個特征點各自所在在梯度方向直方圖中,當存在另一個相當于主峰值的尺度。在實際計算時,以特征點為中心的鄰域窗口內(nèi)采樣,并用直方圖統(tǒng)計鄰域像素的梯度方向。梯度直方圖的范圍是0360,其中每10一個柱,總共36個柱。直方圖的峰值則代表了該特征點的方向。80%能量的峰值時,則將這個方向認為是該點的輔方向。一個特征點可能會被指定具有多個方向,這可以增強匹配的魯棒性。214特征點描述首先將坐標軸旋轉為特征點的方向,對任意一1744傳感技術學報2009年個

12、特征點,在其所在的尺度空間取以特征點為中心的16316大小的鄰域,再將此鄰域均勻地分成434個子區(qū)域,對每個子區(qū)域計算梯度方向直方圖;然后,對434個子區(qū)域的8個方向梯度直方圖根據(jù)位置依次排序,這樣就構成了一個128維的向量,然后將特征向量長度歸一化,該向量就是SIFT特征點描述。同一個n1k可能映射很多n2l,因此只取最強的那個支持,也就是式(11)中取最大值的含義,最終將各個n1k的支持累積起來,形成匹配強度。式(13)和式(14)表明一組映射(n1k,n2l)若想對(m1i,m2j)產(chǎn)生支持,則必須保持相應的位置一致關系。通過式(11)計算的匹配強度存在一個不對稱的問題,因為某個匹配點對

13、的匹配強度很可能與反過來計算得到的結果不一樣,即S(m1i,m2j)S(m2j,m1i)。產(chǎn)生的原因如圖1所示,對于(m1i,m2j),(n11,n21)與(n12,n21)都會對其產(chǎn)生支持;對于(m2j,m1i),只有(n21,n12)與(n21,n11)支持度較大的那個對其產(chǎn)生支持。因此產(chǎn)生了匹配強度的不對稱問題。3特征點匹配策略311互對應約束原理(MutualCorresponde2nceConstraint)10互對應約束有助于排除由于遮擋,高光或噪聲原因而不存在對應的那些點。假設搜索從左圖像點m1i開始,找到對應點m2j。如果任務反過來,搜索從點m2j開始沒能找到m1i,則匹配不可

14、靠,應該被排除。這里搜索的依據(jù)是匹配強度。假設匹配點對表示為(m1i,m2j),其中m1i是第一幅圖像上的特征點,m2j是第二幅圖像上的特征點;以點m1i和m2j,(miN(m2j)。如果(i),那(n1k,n2l),其中n1kN(m1i),n2lN(m2j),而且此時點n1k相對于點m1i的位置關系和點n2l相對于點m2j的相似;如果(m1i,m2j)匹配的不是很好,那么在它的鄰域N(m1i)和N(m2j)中就只能有很少的匹配點對甚至是一對都沒有。由此,定義匹配強度11S為:S(m1i,m2j)=cij)n1kN(m1i)n2lNm2j圖1匹配強度的不對稱性考慮到匹配強度的不對稱問題,初始匹

15、配點對(m1i,m2j)最終的匹配強度定義為S=S(m1i,m2j)+S(m2j,m1i)312基于互對應約束的匹配首先,利用特征點的特征描述符向量之間的Euclid距離匹配強度作為特征點的匹配度量。在左圖中確定一個特征點PL,在右圖中找到Euclid距離最小和次最小的兩個特征點對PR和P然后,R。用最小的Euclid距離除以次最小的Euclid距離,如果其比值小于一定的閾值,則認為最小距離點對就是匹配點對(PL,PR),否則,認為是錯誤的匹配點對。然后,對這個匹配點對進行基于互對應約束的匹配檢驗。選取匹配點對的右圖像特征點PR并對左圖像中的特征點運用以上方法找到匹配特征點”PL,如果PL和P

16、L是同一個特征點,那么就認為(PL,PR)是正確的匹配點對。為了進一步消除誤匹max(11)1+dist(m1i,m2j;n1k,n2l)(12)dist(m1i,m2j;n1k,n2l)=d(m1i,n1k)+d(m2j,n2l)/2(m1i,m2j;n1k,n2l)=d=e-d/r若dr其它(13)(14)dist(m1i,m2j;n1k,n2l)配。最后,運用RANSAC算法進行進一步篩選。上列各式中cij和ckl是初始匹配點對(m1i,(n1k,n2l)變換到01區(qū)間上的相似性測度值;m2j)、d(m,n)為點m與點n之間距離;r是相對距離偏差的一個閾值,通常取013;鄰域半徑R取為所

17、輸入的二維圖像的高度和寬度最小值的八分之一。有必要對匹配強度的概念做一些說明:對于點對(m1i,m2j),在鄰域N(m1i)和N(m2j)中存在著許多組映射(n1k,n2l),每一組映射都會對(m1i,m2j)產(chǎn)生支持,由于初始匹配特征點集為多對多映射,所以4特征點匹配模型選取包含平移、旋轉和較小縮放組合的四參數(shù)放射變換模型12:-ysin)+txX=s(xcos+ycos)+tyY=s(xsin式中,(x,y)和(X,Y)分別是輸入圖像和參考圖像的對應點坐標。用匹配點對集和最小二乘法擬合仿射變換參第12期鄧傳斌,郭雷等:基于SIFT的遙感圖像配準方法1745數(shù),將待配準圖像中的點進行仿射變換

18、,刪除變換后到參考圖像對應點的距離大于015的點,重新求取變換參數(shù),這樣重復循環(huán),直到待配準圖像中所有的點仿射變換后到參考圖像中對應點的距離小于015,所求的變換參數(shù)即為最后的仿射變換參數(shù)。最后對待配準圖像進行仿射變換,采用雙線性內(nèi)插法進行重采樣。5實驗結果與分析(1)多傳感器圖像配準選取LandsatTMband4、SPOTband3成像的兩幅遙感圖像,大小均為256256像素。圖2(a)、圖2(b)分別為提取了SIFT特征點的參考圖像(182個)與待配準圖像(174個);圖2(c)、圖2(d)為特征點匹配結果;圖2(e)為兩幅圖像鑲嵌的結果。圖3AVIRISband39成像遙感圖以上運用放

19、射變換模型可以達到亞像素級。(3)對不同分辨率遙感圖像配準的驗證圖4(a)、4(b)分別為低分辨率圖像和高分辨率圖像。圖4(c)、4(d)為兩幅圖像上選取的尺度空間。4(e)、4(f)分別為低分辨率和高分辨率圖像用SIFT提取的特征點,低分辨率圖像提取793個特征點,高分辨率圖像提取956個特征點。圖4(g)為配準的結果,匹配點對為321對,無錯誤匹配點對。圖2LandsatTMband4SPOTband3成像的遙感圖像(2)較大仿射差異的圖像配準選取AVIRISband39成像的兩幅遙感圖像,大小均為250250像素,存在較大的放射差異。圖3(a)、圖3(b)分別為提取了SIFT特征點的參考

20、圖像(74個)與待配準圖像(63個);圖3(c)、圖3(d)為點特征匹配結果;圖3(e)為兩幅圖像鑲嵌的結果。1746傳感技術學報2009年6結論采用SIFT算子可以提取顯著特征點,為圖像的配準提供了充足、穩(wěn)定的特征點?？梢杂行У谋苊庥捎诠庹?幾何變形等的影響?；s束配準策略的引入可以解決非對稱匹配點對的問題,從而提高匹配點對的準確度。但SIFT算法的速度比較慢,匹配模型不能適應不同分辨率圖像的鑲嵌,這是需要努力的方向。參考文獻:1VanWykBI,VanWykMA.APOCS2BasedGraphMatchingAlgorithmJ.IEEETransactionsonPatternAn

21、alysisandMachinaIntelligence,2004,26(11):1526215302邵澤明,朱劍英,王化明.基于SUSAN算法的分層快速角點檢測J.華南理工大學學報12006,342683hDifferentResolu2in.AcademicPub2,.遙感圖像配準中特征點選擇的高性能算法研究及其實現(xiàn)J.計算機學報,2004,27(9):1284212895LindebergT.Scale2spacetheory:ABasicToolforAnalyzingStructuresatDifferentScalesJ.JournalAppliedStatistics,1994,21(2):2232261.6KoenderinkJJ.ThestructureofimagesJ.BiologicalCyber2netics,1983:1019210227LindebergT.DetectingSalientBlob2LikeImageStructuresandtheirScaleswithaScale2SpacePrimalSketch:AMethodforFocus2of2AttentionJ.Internat