物體識別中的特征-基于SIFT特征提取、描述、匹配

物體識別中的局部特征提取——基于SIFT算法的檢測、描述和匹配基于圖像進行物體識別的過程特征提取特征匹配圖像特征全局特征大小、灰度分布、顏色、全局邊緣局部特征點、線角點區(qū)域內的邊緣局部極值特征提取中的常見問題物體所在環(huán)境復雜光照對比度雜散背景目標被遮擋物體運動導致的識別困難平移、旋轉尺度變化彷射變換視點變化（例如站在立體物體不同側面，看到的圖像可能大不相同）局部特征用于識別的要求局部特征：重復性可區(qū)分性準確性數(shù)量以及效率不變性圖像變化對應特征不變性亮度亮度不變性對比度對比度不變性平移平移不變性旋轉旋轉不變性尺度變化尺度不變性仿射變換仿射不變性視角變化立體物體多角度建模傳統(tǒng)的局部特征提取

成像匹配的核心問題是將同一目標在不同時間、不同分辨率、不同光照、不同位姿情況下所成的像相對應。傳統(tǒng)的匹配算法往往是直接提取角點、線或邊緣，對環(huán)境的適應能力較差。需要一種魯棒性強、能夠適應不同光照、不同位姿等情況下能夠有效識別目標的方法。1999年BritishColumbia大學DavidG.Lowe教授總結了現(xiàn)有的基于不變量技術的特征檢測方法，并正式提出了一種基于尺度空間的、對圖像縮放、旋轉甚至仿射變換保持不變性的圖像局部特征描述算子－SIFT（scale-invariantfeaturetransform），這種算法在2004年被加以完善。DavidG.LoweComputerScienceDepartment

2366MainMall

UniversityofBritishColumbia

Vancouver,B.C.,V6T1Z4,CanadaE-mail:lowe@cs.ubc.ca

SIFT算法7SIFT算法的主要特點SIFT特征是圖像的局部特征，其對平移、旋轉、尺度縮放、亮度變化保持不變性。對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性。獨特性好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進行快速、準確的匹配。多量性，即使少數(shù)的幾個物體也可以產生大量SIFT特征向量?？蓴U展性，可以很方便的與其他形式的特征向量進行聯(lián)合。例如旋轉不變性OriginalimagecourtesyofDavidLowe9尺度空間我們要精確表示的物體都是通過一定的尺度來反映的。現(xiàn)實世界的物體也總是通過不同尺度的觀察而得到不同的變化。尺度空間理論最早在1962年提出，其主要思想是通過對原始圖像進行尺度變換，獲得圖像多尺度下的尺度空間表示序列，對這些序列進行尺度空間主輪廓的提取，并以該主輪廓作為一種特征向量，實現(xiàn)邊緣、角點檢測和不同分辨率上的特征提取等。尺度空間中各尺度圖像的模糊程度逐漸變大，能夠模擬人在距離目標由近到遠時目標在視網膜上的形成過程。尺度是自然存在的，不是人為創(chuàng)造的！高斯卷積只是表現(xiàn)尺度空間的一種形式…尺度空間尺度空間就是將要處理的ｎ維函數(shù)（計算機視覺中為２維），嵌入到一族單參數(shù)函數(shù)族中。這個單參數(shù)函數(shù)族就叫做尺度空間。單參數(shù)函數(shù)族的生成方法就是將要處理的函數(shù)與核函數(shù)進行卷積。核函數(shù)選擇的核心原則是保證在生成的單參數(shù)函數(shù)族中，局部極值的穩(wěn)定性和數(shù)目隨單參數(shù)的增加的遞減性。由于幾個條件的約束導致，對連續(xù)函數(shù)必須使用高斯函數(shù)做為卷積核。對離散函數(shù)要使用高斯函數(shù)的某種離散近似。圖像多尺度表示根據(jù)尺度理論，高斯卷積核是實現(xiàn)尺度變換的唯一變換核，也是唯一的線性核：一幅二維圖像，在不同尺度下的尺度空間表示可由圖像與高斯核卷積得到：圖像多尺度表示

σ稱為尺度空間因子，其值越小則表征該圖像被平滑的越少相應的尺度也就越小。大尺度對應于圖像的概貌特征，小尺度對應于圖像的細節(jié)特征。SIFT算法步驟檢測尺度關鍵點（空間極值點）精確定位關鍵點，去除低對比度點和不穩(wěn)定邊緣點為每個關鍵點指定方向參數(shù)關鍵點描述子的生成

所謂關鍵點，就是在不同尺度空間的圖像下檢測出的具有方向信息的局部極值點。根據(jù)歸納，特征點具有的三個特征：

尺度方向大小1.哪些點是SIFT中要查找的關鍵點（特征點）？

這些點是一些十分突出的點不會因光照條件的改變而消失，比如角點、邊緣點、暗區(qū)域的亮點以及亮區(qū)域的暗點，既然兩幅圖像中有相同的景物，那么使用某種方法分別提取各自的穩(wěn)定點，這些點之間會有相互對應的匹配點。關鍵點檢測相關問題15

關鍵點檢測相關問題2.

高斯模糊高斯模糊是在AdobePhotoshop等圖像處理軟件中廣泛使用的處理效果，通常用它來減小圖像噪聲以及降低細節(jié)層次。這種模糊技術生成的圖像的視覺效果是好像經過一個半透明的屏幕觀察圖像。

關鍵點檢測相關問題17在實際應用中，在計算高斯函數(shù)的離散近似時，在大概3σ距離之外的像素都可以看作不起作用，這些像素的計算也就可以忽略。通常，圖像處理程序只需要計算3.高斯模板大小的選擇關鍵點檢測相關問題18高斯金子塔的構建過程可分為兩步：（1）對圖像做高斯平滑；（2）對圖像做降采樣。

為了讓尺度體現(xiàn)其連續(xù)性，在簡單降采樣的基礎上加上了高斯濾波。一幅圖像可以產生幾組（octave）圖像，一組圖像包括幾層（interval）圖像。4.高斯金字塔關鍵點檢測相關問題19高斯圖像金字塔共o組、s層，則有：σ——尺度空間坐標；s——sub-level層坐標；σ0——初始尺度；S——每組層數(shù)關鍵點檢測相關問題20高斯金字塔的組內尺度與組間尺度組內尺度是指同一組（octave）內的尺度關系，組內相鄰層尺度化簡為：組間尺度是指不同組直接的尺度關系，相鄰組的尺度可化為：

由此可見，相鄰兩組的同一層尺度為2倍的關系關鍵點檢測相關問題21最后可將組內和組間尺度歸為：i——金字塔組數(shù)n——每一組的層數(shù)關鍵點檢測相關問題22上一組圖像的底層是由前一組圖像的倒數(shù)第二層圖像隔點采樣生成的。這樣可以保持尺度的連續(xù)性。關鍵點檢測相關問題23對應DOG算子，我們要構建DOG金字塔我們可以通過高斯差分圖像看出圖像上的像素值變化情況。（如果沒有變化，也就沒有特征。特征必須是變化盡可能多的點。）DOG圖像描繪的是目標的輪廓。關鍵點檢測相關問題5.高斯差分（DOG）金字塔24

中間的檢測點和它同尺度的8個相鄰點和上下相鄰尺度對應的9×2個點共26個點比較，以確保在尺度空間和二維圖像空間都檢測到極值點。

DoG的局部極值點

關鍵點是由DOG空間的局部極值點組成的。為了尋找DoG函數(shù)的極值點，每一個像素點要和它所有的相鄰點比較，看其是否比它的圖像域和尺度域的相鄰點大或者小。關鍵點檢測25精確確定極值點位置

26去除低對比度極值點：

27邊緣響應處的極值點的去除DOG算子會產生較強的邊緣響應，需要剔除不穩(wěn)定的邊緣響應點。獲取特征點處的Hessian矩陣，D的主曲率和H的特征值成正比，通過一個2x2

的Hessian矩陣H的特征值表示：

H的特征值α和β為特征值。假設是α較大的特征值，而是β較小的特征值，令

，則

兩個特征值相等時最小，隨著的增大而增大。讓該比值小于一定的閾值。為了檢測主曲率是否在某域值r下，只需檢測

成立時將關鍵點保留，