圖像特征提取

1、從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征Distinctive Image Features from Scale-Invariant Keypoints( (從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征) )報(bào)告人：馬振磊報(bào)告人：馬振磊 學(xué)號：學(xué)號：2015110189從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征目標(biāo)識別與匹配目標(biāo)識別與匹配B提取圖像特征提取圖像特征A從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征圖像特征圖像特征 特征數(shù)量：它對目標(biāo)識別尤為重要，要具備探測雜亂背景下 的小目標(biāo)能力，要求每個(gè)目標(biāo)至少有三個(gè)特征被正確的匹配才是可靠的識別。定義：圖像特征是指某一副或某一類圖像

2、區(qū)別于其他圖 像的本質(zhì)特點(diǎn)或特性或是這些特點(diǎn)和特性的集合 實(shí)用性：它具備將一個(gè)目標(biāo)或場景的不同影像進(jìn)行匹配。特點(diǎn)：對于圖像尺度和旋轉(zhuǎn)具有不變性，并在光照變化和三維相機(jī)視點(diǎn)變換的情況下具有部分不變性。從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征圖像特征提取的方法圖像特征提取的方法 特點(diǎn)：它可以生成大量特征，它們的密集覆蓋了整個(gè)圖像尺度和位置。一幅500*500的像素的典型圖片可以產(chǎn)生約2000個(gè)穩(wěn)定的特征。尺度不變的特征轉(zhuǎn)化法（SIFT）：基于局部特征把圖像數(shù)據(jù)轉(zhuǎn)換到尺度不變的坐標(biāo)上。從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征SIFTSIFT算法算法的步驟的步驟 1. 1.尺度空間的生成尺度空間的生成 2.2

3、.尺度空間極值點(diǎn)探測尺度空間極值點(diǎn)探測 3.3.精確定位極值點(diǎn)（關(guān)鍵點(diǎn)）精確定位極值點(diǎn)（關(guān)鍵點(diǎn)） 4.4.為每一個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)為每一個(gè)關(guān)鍵點(diǎn)指定方向參數(shù) 5.5.關(guān)鍵點(diǎn)描述子的生成關(guān)鍵點(diǎn)描述子的生成從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征v尺度空間理論的目的是模擬圖像數(shù)據(jù)的多尺度特征，高斯卷積核是實(shí)現(xiàn)尺度變換的唯一線性核。于是一幅二維圖像的尺度空間函數(shù)定義為：尺度空間的生成尺度空間的生成從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征構(gòu)造高斯差分尺度空間構(gòu)造高斯差分尺度空間表達(dá)式：從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征尺度空間尺度空間極值極值探測探測v為了探測尺度空間極

4、值點(diǎn)，每個(gè)樣本點(diǎn)都要和它當(dāng)前圖像的八個(gè)近鄰點(diǎn)和上下尺度上的各九個(gè)近點(diǎn)鄰相比較，確保在二維圖像空間和尺度空間都檢測到極值點(diǎn)。只有在它比所有近鄰大或者小時(shí)才會被選擇，認(rèn)為該點(diǎn)是圖像在尺度下的一個(gè)特征點(diǎn)。從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征精確定位極值點(diǎn)精確定位極值點(diǎn)v通過擬合三維二次函數(shù)以精確確定關(guān)鍵點(diǎn)的位置和尺度，同時(shí)去除低對比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)（DoG算子會產(chǎn)生較強(qiáng)的邊緣響應(yīng)），以增強(qiáng)匹配穩(wěn)定性，提高抗噪聲能力。從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征v空間尺度函數(shù)： (1)v求導(dǎo)令其為零得： (2)v把（2）代入（1）取前兩項(xiàng)：v若 大于0.03，該特征點(diǎn)保留，否則丟棄。從尺度不變關(guān)

5、鍵點(diǎn)選擇可區(qū)分的圖像特征排除角反射（去除邊緣響應(yīng)）v高斯差分函數(shù)中一個(gè)定義不好的峰值將會對邊緣處產(chǎn)生很大的主曲率，而在垂直方向上產(chǎn)生很小的主曲率。主曲率可以通過一個(gè)2*2的Hessian矩陣來計(jì)算。 H在關(guān)鍵點(diǎn)的位置和尺度上。 通過對近鄰樣本點(diǎn)的差分來估計(jì)導(dǎo)數(shù)值。從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征vH的特征值與D的主曲率成比例。設(shè)為最大量級的特征值，而為最小量級的特征值。v 則：v令=r v則：v看主曲率是否低于某個(gè)極限：v保留該特征點(diǎn)（r=10）。從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征定向任務(wù)（為關(guān)鍵點(diǎn)指定方向參數(shù)）定向任務(wù)（為關(guān)鍵點(diǎn)指定方向參數(shù)）對于每個(gè)

6、圖像樣本L(x，y)，在這個(gè)尺度下，梯度量級m（x,y）和方向（x,y）是用像素差預(yù)計(jì)算出來的： 該式子表示（x,y）處梯度的模值和方向公式。L所用的尺度為每個(gè)關(guān)鍵點(diǎn)各自所在的尺度。從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征v通過以上的步驟，圖像的關(guān)鍵點(diǎn)檢測完畢。每個(gè)關(guān)鍵點(diǎn)有三個(gè)信息：位置，所在尺度，方向。由此可確定一個(gè)SIFT特征區(qū)域：從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征v關(guān)鍵點(diǎn)描述子生成關(guān)鍵點(diǎn)描述子生成從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征旋轉(zhuǎn)主方向旋轉(zhuǎn)主方向從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征v在44的窗口內(nèi)計(jì)算8個(gè)方向的梯度方向直方圖。繪制每個(gè)梯度方向的累加

7、可形成一個(gè)種子點(diǎn)。繪制每個(gè)梯度方向的累加可形成一個(gè)種子點(diǎn)。從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征 每個(gè)直方圖有8方向的梯度方向，每一個(gè)描述符包含一個(gè)位于關(guān)鍵點(diǎn)附近的四個(gè)直方圖數(shù)組.這就導(dǎo)致了SIFT的特征向量有128維.生成描述子生成描述子從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征描述子向量元素門限化和規(guī)范化描述子向量元素門限化和規(guī)范化v 門限化：方向直方圖每個(gè)方向上梯度幅值限制在一個(gè)門限值一下。（門限一般取0.2，門限值0.2是通過圖像對相同的三維目標(biāo)保留不同光照的實(shí)驗(yàn)得到的。 ）規(guī)范化：從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征歸一化處理歸一化處理矢量是被標(biāo)準(zhǔn)化的單位長度，圖像對比度的改變會被矢量歸一化

8、抵消掉。亮度變化不會影響到梯度值，因?yàn)樘荻戎凳窍袼刂抵睢Ｋ?，描述子對于光照仿射變換具有不變性。非線性光照變化可能會造成一些梯度相關(guān)量級的巨大變化，但對梯度方向影響較小。因此，我們減少將每個(gè)單位特征矢量不大于0.2的這個(gè)限定對大的梯度量級的影響，然后對單位長度進(jìn)行重歸一化。通過歸一化處理，可進(jìn)一步去除光照變化的影響。從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征目標(biāo)識別原理目標(biāo)識別原理v通過將個(gè)別特征與由已知目標(biāo)特征組成的數(shù)據(jù)庫進(jìn)行快速最近鄰算法的匹配，然后使用霍夫變換來識別屬于單一目標(biāo)的聚類，最后通過最小二乘解執(zhí)行一致的姿態(tài)參數(shù)的核查確認(rèn)。 v特點(diǎn)：可以在有力確定對象之間的聚類和遮擋的同時(shí)實(shí)現(xiàn)近時(shí)性

9、能。從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征目標(biāo)識別的問題和解決目標(biāo)識別的問題和解決v模糊的特征和從背景聚類中得到的特征，很多這些最初的匹配是不正確的。v 識別那些與一個(gè)目標(biāo)或其姿態(tài)一致的至少有三個(gè)特征的聚類，因?yàn)樗麄儽饶切┆?dú)立特征有更高的可能被正確匹配。從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征目標(biāo)識別過程目標(biāo)識別過程 1. 1.關(guān)鍵點(diǎn)匹配關(guān)鍵點(diǎn)匹配 2.2.有效的最近鄰函數(shù)有效的最近鄰函數(shù) 3.3.霍夫變換聚類霍夫變換聚類 4.4.仿射參數(shù)的解決方法仿射參數(shù)的解決方法從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征關(guān)鍵點(diǎn)匹配關(guān)鍵點(diǎn)匹配v最近領(lǐng)定義：每個(gè)關(guān)鍵點(diǎn)的不變描述子矢量之間的最短歐氏距離。 v由訓(xùn)練圖像得到

10、的關(guān)鍵點(diǎn)數(shù)據(jù)庫中識別最近鄰，我們找到了每個(gè)關(guān)鍵點(diǎn)的最佳候選匹配。 從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征v圖像中的很多特征與訓(xùn)練數(shù)據(jù)庫可能沒有任何正確的匹配，因?yàn)樗鼈兪菑谋尘熬垲愔刑岢龅幕驔]有在訓(xùn)練圖像中被探測到。因此，有一種方法來丟棄與數(shù)據(jù)庫沒有很好地匹配的特征很有用。使用最近距離與次近距離的比值比較有效。 從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征有效的最近領(lǐng)函數(shù)有效的最近領(lǐng)函數(shù)vBBF算法使用了一種k-d樹算法的改進(jìn)算法，使得特征空間中的箱是以它們在隊(duì)列位置中最的近距離的順序被檢索。這個(gè)搜索順序要求使用一種基于堆優(yōu)先的隊(duì)列來實(shí)現(xiàn)搜索順序的高效決策。這是在場景中

11、近似的返回具有最高可能性的最近鄰。 從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征霍夫變換的聚類霍夫變換的聚類v霍夫轉(zhuǎn)換通過每個(gè)特征與所有目標(biāo)中特征一致的姿態(tài)進(jìn)行投票通過的一致性解譯來識別聚類。當(dāng)發(fā)現(xiàn)特征聚類與一個(gè)目標(biāo)投票通過了同一姿態(tài)，這種解譯正確的可能性比任何單一特征要高很多。從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征仿射參數(shù)的解決方法仿射參數(shù)的解決方法 v在正射投影下，仿射變換可以正確求解一個(gè)平面的三維旋轉(zhuǎn)，但對于非平面的目標(biāo)的三維旋轉(zhuǎn)估值就很差了。更普遍的方法是解基礎(chǔ)矩陣 。原理：初值由相似變換得到，然后計(jì)算已經(jīng)找到足夠匹配數(shù)的基礎(chǔ)矩陣。從尺度不變關(guān)鍵點(diǎn)選擇可區(qū)分的圖像特征v模型點(diǎn) 對于圖像 的仿射變換可以被寫為： 其中， 為模型變換，而mi參數(shù)表示仿射旋轉(zhuǎn)、縮放和拉伸。求解變換參數(shù)，上式可以被重寫為將未知量變?yōu)榱邢蛄?/p>