sift算法特征提取

1、sift算法詳解常艷杰 51164500135sift算法概述：算法概述： 尺度不變特征轉(zhuǎn)換SIFT（Scale-invariant feature transform）是一種檢測(cè)局部特征的算法，該算法通過求一幅圖中的特征點(diǎn)（interest points,or corner points）及其有關(guān)scale 和 orientation 的描述子得到特征并進(jìn)行圖像特征點(diǎn)匹配，獲得了良好效果。SIFT算法實(shí)質(zhì) SIFT算法的實(shí)質(zhì)是在不同的尺度空間上查找關(guān)鍵點(diǎn)(特征點(diǎn))，并計(jì)算出關(guān)鍵點(diǎn)的方向。SIFT所查找到的關(guān)鍵點(diǎn)是一些十分突出，不會(huì)因光照，仿射變換和噪音等因素而變化的點(diǎn)，如角點(diǎn)、邊緣點(diǎn)、暗區(qū)的

2、亮點(diǎn)及亮區(qū)的暗點(diǎn)等。應(yīng)用范圍 物體辨識(shí)、機(jī)器人地圖感知與導(dǎo)航、影像縫合、3D模型建立、手勢(shì)辨識(shí)、影像追蹤和動(dòng)作比對(duì)。 局部影像特征的描述與偵測(cè)可以幫助辨識(shí)物體，SIFT 特征是基于物體上的一些局部外觀的興趣點(diǎn)而與影像的大小和旋轉(zhuǎn)無關(guān)。對(duì)于光線、噪聲、些微視角改變的容忍度也相當(dāng)高。基于這些特性，它們是高度顯著而且相對(duì)容易擷取，在母數(shù)龐大的特征數(shù)據(jù)庫中，很容易辨識(shí)物體而且鮮有誤認(rèn)。 使用 SIFT特征描述對(duì)于部分物體遮蔽的偵測(cè)率也相當(dāng)高，甚至只需要3個(gè)以上的SIFT物體特征就足以計(jì)算出位置與方位。在現(xiàn)今的電腦硬件速度下和小型的特征數(shù)據(jù)庫條件下，辨識(shí)速度可接近即時(shí)運(yùn)算。SIFT特征的信息量大，適合在

3、海量數(shù)據(jù)庫中快速準(zhǔn)確匹配。SIFT算法的特點(diǎn) 1. SIFT特征是圖像的局部特征，其對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對(duì)視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性； 2. 獨(dú)特性（Distinctiveness）好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進(jìn)行快速、準(zhǔn)確的匹配；SIFT算法的特點(diǎn) 3. 多量性，即使少數(shù)的幾個(gè)物體也可以產(chǎn)生大量的SIFT特征向量； 4. 高速性，經(jīng)優(yōu)化的SIFT匹配算法甚至可以達(dá)到實(shí)時(shí)的要求； 5. 可擴(kuò)展性，可以很方便的與其他形式的特征向量進(jìn)行聯(lián)合。SIFT算法可以解決的問題： 目標(biāo)的自身狀態(tài)、場(chǎng)景所處的環(huán)境和成像器材的成像特性等因素影響圖像配準(zhǔn)/目標(biāo)識(shí)別

4、跟蹤的性能。而SIFT算法在一定程度上可解決： 1. 目標(biāo)的旋轉(zhuǎn)、縮放、平移（RST） 2. 圖像仿射/投影變換（視點(diǎn)viewpoint）SIFT算法可以解決的問題：3. 光照影響（illumination）4. 目標(biāo)遮擋（occlusion）5. 雜物場(chǎng)景（clutter）6. 噪聲SIFT算法步驟 1. 尺度空間極值檢測(cè)：搜索所有尺度上的圖像位置。通過高斯微分函數(shù)來識(shí)別潛在的對(duì)于尺度和旋轉(zhuǎn)不變的興趣點(diǎn)。 2. 關(guān)鍵點(diǎn)定位：在每個(gè)候選的位置上，通過一個(gè)擬合精細(xì)的模型來確定位置和尺度。關(guān)鍵點(diǎn)的選擇依據(jù)于它們的穩(wěn)定程度。SIFT算法步驟 3. 方向確定：基于圖像局部的梯度方向，分配給每個(gè)關(guān)鍵點(diǎn)位

5、置一個(gè)或多個(gè)方向。所有后面的對(duì)圖像數(shù)據(jù)的操作都相對(duì)于關(guān)鍵點(diǎn)的方向、尺度和位置進(jìn)行變換，從而提供對(duì)于這些變換的不變性。SIFT算法步驟 4. 關(guān)鍵點(diǎn)描述：在每個(gè)關(guān)鍵點(diǎn)周圍的鄰域內(nèi)，在選定的尺度上測(cè)量圖像局部的梯度。這些梯度被變換成一種表示，這種表示允許比較大的局部形狀的變形和光照變化。 SIFT算法是在不同的尺度空間上查找關(guān)鍵點(diǎn)，而尺度空間的獲取需要使用高斯模糊來實(shí)現(xiàn)，Lindeberg等人已證明高斯卷積核是實(shí)現(xiàn)尺度變換的唯一變換核，并且是唯一的線性核。一、尺度空間極值檢測(cè) 尺度空間使用高斯金字塔表示。Tony Lindeberg指出尺度規(guī)范化的LoG(Laplacion of Gaussian

6、)算子具有真正的尺度不變性，Lowe使用高斯差分金字塔近似LoG算子，在尺度空間檢測(cè)穩(wěn)定的關(guān)鍵點(diǎn)。 尺度空間(scale space)在計(jì)算機(jī)視覺鄰域使用廣泛。 尺度空間理論的基本思想是：在圖像信息處理模型中引入一個(gè)被視為尺度的參數(shù)，通過連續(xù)變化尺度參數(shù)獲得多尺度下的尺度空間表示序列，對(duì)這些序列進(jìn)行尺度空間主輪廓的提取，并以該主輪廓作為一種特征向量，實(shí)現(xiàn)邊緣、角點(diǎn)檢測(cè)和不同分辨率上的特征提取等。 尺度空間滿足視覺不變性。 一個(gè)圖像的尺度空間，定義為一個(gè)變化尺度的高斯函數(shù)與原圖像的卷積 其中，*表示卷積運(yùn)算，是尺度空間因子，值越小表示圖像被平滑的越少，相應(yīng)的尺度也就越小。大尺度對(duì)應(yīng)于圖像的概貌特

7、征，小尺度對(duì)應(yīng)于圖像的細(xì)節(jié)特征。一、尺度空間極值檢測(cè) 高斯金字塔的構(gòu)建高斯金字塔的構(gòu)建 尺度空間在實(shí)現(xiàn)時(shí)使用高斯金字塔表示，高斯金字塔的構(gòu)建分為兩部分： 1. 對(duì)圖像做不同尺度的高斯模糊； 2. 對(duì)圖像做降采樣(隔點(diǎn)采樣)。一、尺度空間極值檢測(cè) 高斯差分金字塔高斯差分金字塔 2002年Mikolajczyk在詳細(xì)的實(shí)驗(yàn)比較中發(fā)現(xiàn)尺度歸一化的高斯拉普拉斯函數(shù)的極大值和極小值同其它的特征提取函數(shù)，能夠產(chǎn)生最穩(wěn)定的圖像特征。 而Lindeberg早在1994年就發(fā)現(xiàn)高斯差分函數(shù)（Difference of Gaussian ，簡(jiǎn)稱DOG算子）與尺度歸一化的高斯拉普拉斯函數(shù)非常近似。 Lowe使用更高

8、效的高斯差分算子代替拉普拉斯算子進(jìn)行極值檢測(cè)。 在實(shí)際計(jì)算時(shí)，使用高斯金字塔每組中相鄰上下兩層圖像相減，得到高斯差分圖像，如下圖所示，進(jìn)行極值檢測(cè)。高斯差分金字塔的生成空間極值點(diǎn)檢測(cè)(關(guān)鍵點(diǎn)的初步探查) 關(guān)鍵點(diǎn)是由DOG空間的局部極值點(diǎn)組成的，關(guān)鍵點(diǎn)的初步探查是通過同一組內(nèi)各DoG相鄰兩層圖像之間比較完成的。為了尋找DoG函數(shù)的極值點(diǎn)，每一個(gè)像素點(diǎn)要和它所有的相鄰點(diǎn)比較，看其是否比它的圖像域和尺度域的相鄰點(diǎn)大或者小。如圖3.4所示，中間的檢測(cè)點(diǎn)和它同尺度的8個(gè)相鄰點(diǎn)和上下相鄰尺度對(duì)應(yīng)的92個(gè)點(diǎn)共26個(gè)點(diǎn)比較，以確保在尺度空間和二維圖像空間都檢測(cè)到極值點(diǎn)。二、關(guān)鍵點(diǎn)定位 通過擬合三維二次函數(shù)來精

9、確確定關(guān)鍵點(diǎn)的位置和尺度，同時(shí)去除低對(duì)比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)(因?yàn)镈oG算子會(huì)產(chǎn)生較強(qiáng)的邊緣響應(yīng))，以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力。2.1關(guān)鍵點(diǎn)的精確定位 離散空間的極值點(diǎn)并不是真正的極值點(diǎn)，圖4.1顯示了二維函數(shù)離散空間得到的極值點(diǎn)與連續(xù)空間極值點(diǎn)的差別。利用已知的離散空間點(diǎn)插值得到的連續(xù)空間極值點(diǎn)的方法叫做子像素插值（Sub-pixel Interpolation）。 離散空間與連續(xù)空間極值點(diǎn)的差別 為了提高關(guān)鍵點(diǎn)的穩(wěn)定性，需要對(duì)尺度空間DoG函數(shù)進(jìn)行曲線擬合。2.2消除邊緣響應(yīng) 一個(gè)定義不好的高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率，而在垂直邊緣的方向有較小的主曲率。

10、 DOG算子會(huì)產(chǎn)生較強(qiáng)的邊緣響應(yīng)，需要剔除不穩(wěn)定的邊緣響應(yīng)點(diǎn)。 邊緣消除響應(yīng)前后的的關(guān)鍵點(diǎn)三、關(guān)鍵點(diǎn)方向分配 為了使描述符具有旋轉(zhuǎn)不變性，需要利用圖像的局部特征為給每一個(gè)關(guān)鍵點(diǎn)分配一個(gè)基準(zhǔn)方向。使用圖像梯度的方法求取局部結(jié)構(gòu)的穩(wěn)定方向。對(duì)于在DOG金字塔中檢測(cè)出的關(guān)鍵點(diǎn)點(diǎn)，采集其所在高斯金字塔圖像3鄰域窗口內(nèi)像素的梯度和方向分布特征。 在完成關(guān)鍵點(diǎn)的梯度計(jì)算后，使用直方圖統(tǒng)計(jì)鄰域內(nèi)像素的梯度和方向。梯度直方圖將0360度的方向范圍分為36個(gè)柱(bins)，其中每柱10度。如下圖所示，直方圖的峰值方向代表了關(guān)鍵點(diǎn)的主方向，(為簡(jiǎn)化，圖中只畫了八個(gè)方向的直方圖)。 關(guān)鍵點(diǎn)方向直方圖 檢測(cè)結(jié)果如圖所

11、示： sift特征 將檢測(cè)出的含有位置、尺度和方向的關(guān)鍵點(diǎn)即是該圖像的SIFT特征點(diǎn)四、關(guān)鍵點(diǎn)特征描述 通過以上步驟，對(duì)于每一個(gè)關(guān)鍵點(diǎn)，擁有三個(gè)信息：位置、尺度以及方向。接下來就是為每個(gè)關(guān)鍵點(diǎn)建立一個(gè)描述符，用一組向量將這個(gè)關(guān)鍵點(diǎn)描述出來，使其不隨各種變化而改變，比如光照變化、視角變化等等。這個(gè)描述子不但包括關(guān)鍵點(diǎn)，也包含關(guān)鍵點(diǎn)周圍對(duì)其有貢獻(xiàn)的像素點(diǎn)，并且描述符應(yīng)該有較高的獨(dú)特性，以便于提高特征點(diǎn)正確匹配的概率。 根據(jù)SIFT進(jìn)行Match 生成了A、B兩幅圖的描述子，（分別是k1*128維和k2*128維），就將兩圖中各個(gè)scale（所有scale）的描述子進(jìn)行匹配，匹配上128維即可表示兩個(gè)特征點(diǎn)match上了 當(dāng)兩幅圖像的SIFT特征向量生成后，下一步我們采用關(guān)鍵點(diǎn)特征向量的歐式距離來作為兩幅圖像中關(guān)鍵點(diǎn)的相似性判定度量。取圖像1中的某個(gè)關(guān)鍵點(diǎn)，并找出其與圖像2中歐式距