一種魯棒的圖像局部特征區(qū)域的iwcs-lp描述子

一種魯棒的圖像局部特征區(qū)域的iwcs-lp描述子

圖像局部特征區(qū)域的描述是計算機視覺和模式識別領域研究的熱點之一。在圖像配置、三維重建、圖像搜索、圖像綁定、機器人定位、物體跟蹤和識別等具體應用中發(fā)揮著重要作用。在實際應用中，圖像局部特征描述的基本解決方案是首先檢測到對應圖像中的特征點，然后對特征點的相鄰區(qū)域進行特定的區(qū)域特征描述，最后對圖像的對應點進行匹配。這種方法的優(yōu)點是，在亮度變化、圖像幾何變化、涂層、背景混合等條件下具有良好的魯棒性。在本文中，我們將重點討論圖像局部特征描述的結構方法。目前,研究者們已提出了多種圖像局部特征區(qū)域的描述方法,如基于高斯微分的描述子、基于不變矩的描述子、基于可控濾波器的描述子、基于時頻技術的描述子、基于像素灰度值分布的描述子以及基于像素梯度值分布的描述子等.在這些方法中最受關注的就是由Lowe提出的SIFT(Scaleinvariantfeaturetransform)描述子.這種特征描述子的構造是通過對特征點的鄰域建立一個三維梯度方向直方圖來實現(xiàn)的.SIFT特征不僅對圖像的尺度變化和旋轉(zhuǎn)具有不變性,而且對光照的變化和圖像的形變具有較強的適應性,具有較高的辨別能力.在此基礎上,研究者們對SIFT特征進行了改進和擴展,如Ke和Sukthankar提出的PCA-SIFT描述子、Mikolajczyk和Schmid提出的GLOH(Gradientlocation-orientationhistogram)描述子、Lazebnik等提出的RIFT(Rotationinvariantfeaturetransform)描述子、Bay等提出的SURF(Speededuprobustfeatures)描述子等.文獻在對眾多具有代表性的描述子進行性能評價后得出結論,類似于SIFT的描述子性能是最好的.LBP(Localbinarypattern)是目前對二維圖像最有效地紋理分析特征之一.它利用局部紋理模式作為紋理基元來進行紋理分析,本質(zhì)上是一種基于像素灰度序的紋理描述子,具有計算簡單、對線性光照變化具有不變性等特點,已被廣泛應用于人臉識別、背景提取、圖像檢索等領域.文獻首次將LBP算子應用到圖像局部特征描述子的構造中,并針對LBP描述子維數(shù)較高、對紋理平坦區(qū)域不魯棒等特點,提出了基于CS-LBP(Centersymmetriclocalbinarypattern)的圖像局部特征區(qū)域描述方法.已有的實驗結果表明,CS-LBP描述子在圖像匹配方面比SIFT描述子具有更好的性能,且在存儲空間需求和計算開銷方面具有明顯的優(yōu)勢.Tan和Triggs將LBP算子擴展成三值編碼,提出了LTP(Localtrinarypattern)算子.LTP特征比LBP特征具有更強的辨別能力,但是其直方圖維數(shù)大大增加,不適合直接對圖像局部特征區(qū)域進行描述.直接將CS-LBP描述子擴展為CS-LTP(Centersymmetriclocaltrinarypattern)描述子能夠在一定程度上降低描述子的維數(shù),但仍不能滿足實際應用的需求.鑒于此,本文提出了ICS-LTP(Improvedcentersymmetriclocaltrinarypattern)算子,可有效降低描述子的維數(shù).為了更好地刻畫圖像局部灰度值的變化程度,本文提出了加權紋理譜直方圖計算方法,并給出了IWCS-LTP描述子的構造方法.1預備知識1.1紋理譜直方圖獲取LBP是一種通過局部紋理模式來刻畫圖像局部灰度變化、利用紋理譜直方圖對局部紋理結構進行統(tǒng)計的紋理描述子.計算LBP描述子的基本步驟是:首先,對每一個像素點,比較它與其鄰域點灰度值的大小并進行二值化,將得到的二進制編碼轉(zhuǎn)化為十進制數(shù).然后,對待描述圖像區(qū)域,統(tǒng)計每一種編碼模式出現(xiàn)的次數(shù),生成紋理譜直方圖,進而得到LBP描述子.LBP算子的編碼規(guī)則定義如下:其中,nc表示中心像素點(u,v)的灰度值,ni表示等間隔地分布在以(u,v)為圓心、R為半徑的圓上的N個鄰域點的灰度值.由式(1)可以看出,鄰域點與中心像素點灰度值的差值被表示為一個N比特的二進制數(shù),會得到2N種不同的模式.也就是說,LBP描述子的維數(shù)為2N.在LBP描述子的基礎上,文獻提出了一種改進的LBP描述子,即CS-LBP描述子.它是一種通過比較關于中心像素點對稱的鄰域點的灰度值來進行編碼的紋理描述子.CS-LBP算子的編碼規(guī)則定義如下:與LBP描述子相比,CS-LBP描述子在特征維數(shù)、計算開銷、對紋理平坦區(qū)域的魯棒性方面具有明顯優(yōu)勢.例如,當鄰域點的個數(shù)N=8時,LBP描述子的維數(shù)為256(28),而CS-LBP描述子的維數(shù)僅為16(24).如表1所示,對于紋理平坦區(qū)域加入噪聲后LBP算子的編碼會發(fā)生很大變化,而CS-LBP算子的編碼保持不變.1.2基于三值編碼的描述子編碼規(guī)則LTP是LBP描述子的另外一種改進方案它將中心像素點與其鄰域點的灰度變化進行三值編碼,可以對圖像的梯度方向信息進行更具體的描述有效提高描述子圖像對噪聲的魯棒性.LTP算子的編碼規(guī)則定義如下:其中,nc表示中心像素點(u,v)的灰度值,ni表示等間隔地分布在以(u,v)為圓心、R為半徑的圓上的N個鄰域點的灰度值,T為閾值.由表1可以看出,對于紋理平坦區(qū)域,LTP算子比LBP算子具有更好的抗噪聲能力.對于帶噪聲的紋理平坦區(qū)域和紋理變化區(qū)域,LBP算子和CS-LBP算子均表示為同一模式,不能將它們區(qū)分開,而LTP算子可以將它們區(qū)分開.因此,與基于二值編碼的描述子相比基于三值編碼的描述子對圖像紋理能夠進行更準確地描述,并且對噪聲具有更好的魯棒性.2加權紋理譜直方圖由第1.2節(jié)的分析可知,LTP算子比LBP算子具有更好的辨別能力,但是其描述子的維數(shù)較高(3N),會大大增加算法的計算量.針對這一情況,最顯然的解決思路就是將LTP描述子直接擴展為CS-LTP描述子.借鑒CS-LBP算法的思想,CS-LTP算子的編碼規(guī)則可定義如下:為了進一步降低描述子的維數(shù),本文提出了一種改進的CS-LTP描述子,即ICS-LTP描述子.它首先將關于中心像素點對稱的鄰域點對分為兩部分來進行編碼,然后分別統(tǒng)計每一部分編碼模式出現(xiàn)的次數(shù),最后將生成兩個紋理譜直方圖向量串聯(lián)在一起,進而得到ICS-LTP描述子.ICS-LTP算子的編uf8f1uf8f4uf8f4uf8f2碼I規(guī)CS則-L定TP義(R1,)如N(下u,:v)=N4i=-01s(n2i-n2i+N2)3i其中,N取4的整數(shù)倍.由式(5)可知,ICS-LTP(1)和ICS-LTP(2)可能出現(xiàn)的紋理模式均為3N4種,因此ICS-LTP描述子的維數(shù)為2×3N4.假設把圖像局部特征區(qū)域分為16個子區(qū)域,此時,ICS-LTP描述子的維數(shù)為288(16×2×32),遠遠小于CS-LTP描述子的維數(shù),略高于CS-LBP描述子的維數(shù).由表1可知,ICS-LTP算子不但能夠有效降低描述子的維數(shù),而且具有良好的抗噪聲能力和更準確的圖像紋理描述能力.對于大小為W×H的紋理圖像,在獲得每個像素點相對應的模式以后,通過統(tǒng)計每種模式出現(xiàn)的次數(shù)生成紋理譜直方圖,即可獲得相應的描述子下面以ICS-LTP描述子為例進行分析,其計算紋理譜直方圖的公式為:其中,k∈[0,K],K為ICS-LTP的最大編碼值.由式(6)可以看出,無論圖像局部特征區(qū)域像素點的灰度值變化大小,它們對直方圖的貢獻均為1,這會使最終的描述子丟失一些重要的紋理信息.通常情況下,灰度值變化大的區(qū)域?qū)γ枋鲎予b別能力的貢獻也比較大.比如,SIFT描述子就是將同一梯度方向的梯度幅值進行加權疊加.針對這一情況,本文提出了一種加權紋理譜直方圖計算方法,將用來計算編碼模式的兩個像素點灰度值之差的平方和作為其對直方圖的貢獻.加權紋理譜直方圖的計算公式為:本文將采用ICS-LTP算子進行編碼,并且使用加權紋理譜直方圖計算方法得到的描述子,稱之為IWCS-LTP描述子.對于大小為W×H的紋理圖像,其IWCS-LTP描述子的計算步驟可總結如下:1)對于圖像中的每一個像素點,根據(jù)式(4)計算其對應的ICS-LTP算子:ICS-LTPR(1,N)(u,v)和ICS-LTPR(2,N)(u,v);2)利用式(7)計算紋理圖像的兩個加權紋理譜直方圖向量:H1和H2;3)將直方圖向量H1和H2串聯(lián)起來,即為該圖像的IWCS-LTP描述子.3iwcs-ltp的歸一化描述本文使用Hessian-Affine仿射不變區(qū)域檢測算法獲得待描述的圖像局部特征區(qū)域.在計算描述子之前,需要對檢測出的橢圓形圖像局部特征區(qū)域進行規(guī)范化處理.如圖1所示,旋轉(zhuǎn)橢圓形的局部特征區(qū)域使橢圓的長軸為圖像坐標系的軸,并將其變換為相同大小的圓形區(qū)域,以使后續(xù)構造的描述子具有尺度、旋轉(zhuǎn)和仿射不變性.為了在描述子中融入圖像的空間結構信息,本文將規(guī)范化后的圖像局部特征區(qū)域進行分塊,劃分為16(4×4)個子區(qū)域.對于每一個子區(qū)域,首先計算子區(qū)域內(nèi)每個像素點的ICS-LTP編碼值,然后利用式(7)構造出兩個紋理譜直方圖,最后將這兩個紋理譜直方圖向量串聯(lián)起來,即可獲得該子區(qū)域的IWCS-LTP描述子.將每個子區(qū)域的IWCS-LTP描述子向量串聯(lián)起來就可以得到一個16×2×4N4維的向量,該向量即是基于IWCS-LTP的圖像局部特征區(qū)域描述子.最后,為了降低光照變化對描述子的影響,借鑒SIFT描述子的處理方法,對IWCS-LTP描述子進行兩次歸一化處理.首先,為了去除線性光照變化的影響,將IWCS-LTP描述子進行歸一化處理;其次,為了降低非線性光照變化的影響,將歸一化后的描述子的元素中大于0.2的元素都賦值為0.2,并再次歸一化描述子.4結果與分析4.1實驗結果及分析本文采用Mikolajczyk數(shù)據(jù)集來探討本文所述ICS-LTP描述子和IWCS-LTP描述子在圖像匹配中的性能,并與SIFT描述子、CS-LBP描述子進行比較.該數(shù)據(jù)集包括具有不同幾何形變和照度變換的8組不同場景類型的圖像,每組包含6幅圖像涉及的6種變換分別為:視角變換、尺度變換、旋轉(zhuǎn)變換、模糊變換、光照變換和JPEG壓縮變換.本文實驗從數(shù)據(jù)集中選取8對圖像作為測試圖像,如圖2所示.其中,圖2(a)和圖2(b)所示圖像對存在模糊變換,圖2(c)和圖2(d)所示圖像對存在視角變換,圖2(e)和圖2(f)所示圖像對存在尺度和旋轉(zhuǎn)變換,圖2(g)所示圖像對存在光照變換,圖2(h)所示圖像對存在JPEG壓縮變換.在實驗中,首先使用Hessian-Affine檢測算法檢測出具有仿射不變性的圖像局部特征區(qū)域,并進行規(guī)范化處理.然后,對規(guī)范化后的圖像局部特征區(qū)域的灰度值歸一化到范圍內(nèi),構造其對應的描述子.最后,采用歐氏距離作為相似性度量,使用最近鄰與次近鄰的距離之比(Nearestneighbordistanceratio,NNDR)作為度量標準進行匹配.其中,規(guī)范化后的圖像局部特征區(qū)域大小設為41×41,描述子的參數(shù)設置為:N=8,R=2,T=0.01.匹配的結果采用基于正確匹配數(shù)和錯誤匹配數(shù)的Recall-precision準則進行評價.本文所有的實驗均在CPU為Intel酷睿雙核1.8G,內(nèi)存為1G的計算機上采用Matlab編程實現(xiàn).圖3是對圖2所示的8組測試圖像分別使用SIFT、CS-LBP、ICS-LTP和IWCS-LTP四種描述子進行圖像匹配的運行結果.從圖3可以看出,ICS-LTP描述子的性能要好于SIFT描述子和CS-LBP描述子,這說明本文提出的ICS-LTP算子不但可以有效降低描述子的維數(shù),而且可以有效地刻畫圖像局部紋理特征,提高描述子的辨別能力.IWCS-LBP描述子的性能最好這是因為其在使用ICS-LTP算子進行編碼的基礎上采用加權紋理譜直方圖方法來構造描述子,能夠更好地描述圖像局部灰度值的變化程度.表2給出在Graffiti圖像對實驗中每個描述子的平均計算時間.由表2可知,CS-LBP描述子的運行時間最少ICS-LTP描述子次之,IWCS-LTP描述子的了運行時間略高于ICS-LTP描述子,但都明顯低于SIFT描述子.由于對檢測出的仿射不變區(qū)域進行了如第3節(jié)所述的規(guī)范化處理,對規(guī)范化局部特征區(qū)域構造的描述子均具有尺度和旋轉(zhuǎn)不變性,所以匹配算法對圖像的尺度變換和旋轉(zhuǎn)變換均表現(xiàn)出良好的性能.4.2正確檢索率及檢出率本文使用從網(wǎng)絡下載的小型圖像庫進行圖像檢索實驗.該數(shù)據(jù)庫由10個不同種類的圖像子集組成,每個圖像子集包含從不同視角拍攝的3幅圖像,共30幅圖像.在實驗中,每次選擇1幅圖像作為查詢圖像,剩余的圖像作為數(shù)據(jù)庫圖像,共進行30次查詢.給定查詢圖像與數(shù)據(jù)庫圖像,首先檢測兩幅圖像的Hessian-Affine局部特征區(qū)域,并計算每個特征區(qū)域的描述子.然后,使用4.1節(jié)所述的圖像匹配方法計算查詢圖像與數(shù)據(jù)庫圖像的匹配點個數(shù),這里最近鄰與次近鄰距離之比的閾值取為0.6.最后,將匹配點個數(shù)作為圖像之間的相似性度量,尋找與查詢圖像最相近的前3幅圖像作為檢索結果.本文使用文獻所述的方法來計算正確檢索率.設置檢索分數(shù)的初始值為0.對于每次查詢,如果與查詢圖像最相近的前3幅圖像中包含2幅與查詢圖像類別相同的圖像,則檢索分數(shù)增加2.如果與查詢圖像最相近的前3幅圖像中僅包