物體識(shí)別中的特征-基于SIFT特征提取、描述、匹配

1、物體識(shí)別中的局部特征提取基于SIFT算法的檢測(cè)、描述和匹配基于圖像進(jìn)行物體識(shí)別的過(guò)程待訓(xùn)練的圖像包含感興趣的的物體特征提?。z測(cè)子）使感興趣的物體區(qū)別于其他部分特征描述（描述子）形成獨(dú)特的特征向量特征庫(kù)特征提取特征匹配待識(shí)別的圖像包含待識(shí)別的物體特征提取使感興趣的物體區(qū)別于其他部分特征描述形成獨(dú)特的特征向量在特征庫(kù)中進(jìn)行匹配判斷識(shí)別情況圖像特征l全局特征l大小、灰度分布、顏色、全局邊緣l局部特征l點(diǎn)、線l角點(diǎn)l區(qū)域內(nèi)的邊緣l局部極值特征提取中的常見(jiàn)問(wèn)題 物體所在環(huán)境復(fù)雜l光照l(shuí)對(duì)比度l雜散背景l(fā)目標(biāo)被遮擋 物體運(yùn)動(dòng)導(dǎo)致的識(shí)別困難l平移、旋轉(zhuǎn)l尺度變化l彷射變換l視點(diǎn)變化（例如站在立體物體不同側(cè)

2、面，看到的圖像可能大不相同）局部特征用于識(shí)別的要求局部特征：l重復(fù)性 l可區(qū)分性 l準(zhǔn)確性 l數(shù)量以及效率 l不變性 圖像變化圖像變化對(duì)應(yīng)特征不變性對(duì)應(yīng)特征不變性亮度亮度不變性對(duì)比度對(duì)比度不變性平移平移不變性旋轉(zhuǎn)旋轉(zhuǎn)不變性尺度變化尺度不變性仿射變換仿射不變性視角變化立體物體多角度建模傳統(tǒng)的局部特征提取l 成像匹配的核心問(wèn)題是將同一目標(biāo)在不同時(shí)間、不同分辨率、不同光照、不同位姿情況下所成的像相對(duì)應(yīng)。l傳統(tǒng)的匹配算法往往是直接提取角點(diǎn)、線或邊緣，對(duì)環(huán)境的適應(yīng)能力較差。l需要一種魯棒性強(qiáng)、能夠適應(yīng)不同光照、不同位姿等情況下能夠有效識(shí)別目標(biāo)的方法。7 7 19991999年年British Colum

3、biaBritish Columbia大學(xué)大學(xué)David G.LoweDavid G.Lowe教授教授總結(jié)了現(xiàn)有的基于不變量技術(shù)的總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測(cè)方法，并正式提出了一種基于尺度空間的、對(duì)圖像縮放、旋轉(zhuǎn)甚至仿射特征檢測(cè)方法，并正式提出了一種基于尺度空間的、對(duì)圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子變換保持不變性的圖像局部特征描述算子SIFTSIFT（scale-invariant feature scale-invariant feature transformtransform），），這種算法在這種算法在20042004年被加以完善。年被加以完善。Davi

4、d G. LoweComputer Science Department2366 Main MallUniversity of British ColumbiaVancouver, B.C., V6T 1Z4, Canada E-mail: lowecs.ubc.caSIFT算法SIFT算法的主要特點(diǎn)lSIFT特征是圖像的局部特征，其對(duì)平移、旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性。l對(duì)視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性。 l獨(dú)特性好，信息量豐富，適用于在海量特征數(shù)據(jù)庫(kù)中進(jìn)行快速、準(zhǔn)確的匹配。 l多量性，即使少數(shù)的幾個(gè)物體也可以產(chǎn)生大量SIFT特征向量。 l可擴(kuò)展性，可以很方便的與其他形

5、式的特征向量進(jìn)行聯(lián)合。9 9Original image courtesy of David Lowe尺度空間l我們我們要精確表示的物體都是通過(guò)一定的尺度來(lái)反映的?，F(xiàn)實(shí)世要精確表示的物體都是通過(guò)一定的尺度來(lái)反映的。現(xiàn)實(shí)世界界的物體的物體也總是通過(guò)不同尺度的觀察而得到不同的變化。也總是通過(guò)不同尺度的觀察而得到不同的變化。l尺度尺度空間理論最早在空間理論最早在19621962年提出，其主要思想是通過(guò)對(duì)原始圖年提出，其主要思想是通過(guò)對(duì)原始圖像像進(jìn)行進(jìn)行尺度變換，獲得圖像多尺度下的尺度空間表示序列，對(duì)尺度變換，獲得圖像多尺度下的尺度空間表示序列，對(duì)這些序列這些序列進(jìn)行尺度進(jìn)行尺度空間主輪廓的提取，并以

6、該主輪廓作為一種空間主輪廓的提取，并以該主輪廓作為一種特征向量，實(shí)現(xiàn)邊緣特征向量，實(shí)現(xiàn)邊緣、角、角點(diǎn)檢測(cè)和不同分辨率上的特征提取等。點(diǎn)檢測(cè)和不同分辨率上的特征提取等。l尺度尺度空間中各尺度圖像的模糊程度逐漸變大，能夠模擬人在距空間中各尺度圖像的模糊程度逐漸變大，能夠模擬人在距離離目標(biāo)目標(biāo)由近到遠(yuǎn)時(shí)目標(biāo)在視網(wǎng)膜上的形成過(guò)程由近到遠(yuǎn)時(shí)目標(biāo)在視網(wǎng)膜上的形成過(guò)程。尺度是自然存在的，不是人為創(chuàng)造的！高斯卷積只是表現(xiàn)尺度空間的一種形式尺度空間l尺度空間就是將要處理的維函數(shù)（計(jì)算機(jī)視覺(jué)中為維），嵌入到一族單參數(shù)函數(shù)族中。這個(gè)單參數(shù)函數(shù)族就叫做尺度空間。l單參數(shù)函數(shù)族的生成方法就是將要處理的函數(shù)與核函數(shù)進(jìn)行卷

7、積。l核函數(shù)選擇的核心原則是保證在生成的單參數(shù)函數(shù)族中，局部極值的穩(wěn)定性和數(shù)目隨單參數(shù)的增加的遞減性。l由于幾個(gè)條件的約束導(dǎo)致，對(duì)連續(xù)函數(shù)必須使用高斯函數(shù)做為卷積核。對(duì)離散函數(shù)要使用高斯函數(shù)的某種離散近似。圖像多尺度表示 根據(jù)尺度理論，高斯卷積核是實(shí)現(xiàn)尺度變換的唯一變換核，也是唯一的線性核： 一幅二維圖像，在不同尺度下的尺度空間表示可由圖像與高斯核卷積得到： 2222/ )(221),(yxeyxG),(*),(),(yxIyxGyxL圖像多尺度表示 稱為尺度空間因子，其值越小則表征該圖像被平滑的越少相應(yīng)的尺度也就越小。 大尺度對(duì)應(yīng)于圖像的概貌特征，小尺度對(duì)應(yīng)于圖像的細(xì)節(jié)特征。SIFT算法步驟

8、檢測(cè)檢測(cè)尺度關(guān)鍵點(diǎn)（空間尺度關(guān)鍵點(diǎn)（空間極值點(diǎn)極值點(diǎn) ）精確精確定位關(guān)鍵點(diǎn)，定位關(guān)鍵點(diǎn)，去除低對(duì)比度點(diǎn)和不穩(wěn)定邊緣點(diǎn)去除低對(duì)比度點(diǎn)和不穩(wěn)定邊緣點(diǎn)為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)關(guān)鍵點(diǎn)描述子的生成關(guān)鍵點(diǎn)描述子的生成1515所謂所謂關(guān)鍵點(diǎn)，就是在不同關(guān)鍵點(diǎn)，就是在不同尺度空間尺度空間的圖像下檢測(cè)出的具有的圖像下檢測(cè)出的具有方向信息方向信息的的局部極局部極值點(diǎn)值點(diǎn)。根據(jù)歸納根據(jù)歸納，特征，特征點(diǎn)具有的三個(gè)特征：點(diǎn)具有的三個(gè)特征： 尺度尺度 方向方向 大小大小1. 1. 哪些點(diǎn)是哪些點(diǎn)是SIFTSIFT中要查找的關(guān)鍵點(diǎn)（特征點(diǎn)）？中要查找的關(guān)鍵點(diǎn)（特征點(diǎn)）？ 這些點(diǎn)是一些十分突出的點(diǎn)不

9、會(huì)因光照條件的改變而消失，比如角點(diǎn)、這些點(diǎn)是一些十分突出的點(diǎn)不會(huì)因光照條件的改變而消失，比如角點(diǎn)、邊緣點(diǎn)、暗區(qū)域的亮點(diǎn)以及亮區(qū)域的暗點(diǎn)，既然兩幅圖像中有相同的景物，邊緣點(diǎn)、暗區(qū)域的亮點(diǎn)以及亮區(qū)域的暗點(diǎn)，既然兩幅圖像中有相同的景物，那么使用某種方法分別提取各自的穩(wěn)定點(diǎn)，這些點(diǎn)之間會(huì)有相互對(duì)應(yīng)的匹配那么使用某種方法分別提取各自的穩(wěn)定點(diǎn)，這些點(diǎn)之間會(huì)有相互對(duì)應(yīng)的匹配點(diǎn)。點(diǎn)。 關(guān)鍵點(diǎn)檢測(cè)相關(guān)問(wèn)題 關(guān)鍵點(diǎn)檢測(cè)相關(guān)問(wèn)題17172 2. . 高斯高斯模糊模糊 高斯模糊是在高斯模糊是在Adobe PhotoshopAdobe Photoshop等圖像處理軟件中廣泛使用的處理等圖像處理軟件中廣泛使用的處理效果，

10、通常用它來(lái)減小圖像噪聲以及降低細(xì)節(jié)層次。這種模糊技術(shù)生成效果，通常用它來(lái)減小圖像噪聲以及降低細(xì)節(jié)層次。這種模糊技術(shù)生成的圖像的視覺(jué)效果是好像經(jīng)過(guò)一個(gè)半透明的屏幕觀察圖像。的圖像的視覺(jué)效果是好像經(jīng)過(guò)一個(gè)半透明的屏幕觀察圖像。 關(guān)鍵點(diǎn)檢測(cè)相關(guān)問(wèn)題 在實(shí)際應(yīng)用中，在計(jì)算高斯函數(shù)的離散近似時(shí)，在大概在實(shí)際應(yīng)用中，在計(jì)算高斯函數(shù)的離散近似時(shí)，在大概33距離之外的像距離之外的像素都可以看作不起作用，這些像素的計(jì)算也就可以忽略素都可以看作不起作用，這些像素的計(jì)算也就可以忽略。 通常，圖像處理程序只需要計(jì)算通常，圖像處理程序只需要計(jì)算(61) (61)18183.高斯高斯模板大小的模板大小的選擇選擇關(guān)鍵點(diǎn)檢測(cè)

11、相關(guān)問(wèn)題l高斯金子塔的構(gòu)建過(guò)程可分為兩步：高斯金子塔的構(gòu)建過(guò)程可分為兩步：（1 1）對(duì)圖像做高斯平滑；）對(duì)圖像做高斯平滑；（2 2）對(duì)圖像做降采樣。）對(duì)圖像做降采樣。 為了讓尺度體現(xiàn)其連續(xù)性，在簡(jiǎn)單為了讓尺度體現(xiàn)其連續(xù)性，在簡(jiǎn)單降降采樣采樣的基礎(chǔ)上加上了高斯濾波。的基礎(chǔ)上加上了高斯濾波。一幅圖像可以產(chǎn)生幾組（一幅圖像可以產(chǎn)生幾組（octaveoctave）圖像，一組圖像包括幾層圖像，一組圖像包括幾層（intervalinterval）圖像。）圖像。 19194. 4. 高斯金字塔高斯金字塔關(guān)鍵點(diǎn)檢測(cè)相關(guān)問(wèn)題2020高斯圖像金字塔共高斯圖像金字塔共o o組、組、s s層，層，則有則有：尺度空間坐

12、標(biāo)；尺度空間坐標(biāo)；s ssub-levelsub-level層坐標(biāo)；層坐標(biāo)；0 0初始尺度；初始尺度；S S每組層數(shù)每組層數(shù)關(guān)鍵點(diǎn)檢測(cè)相關(guān)問(wèn)題 高斯金字塔的組內(nèi)尺度與組間尺度高斯金字塔的組內(nèi)尺度與組間尺度0( )2sSs2121組內(nèi)尺度是指同一組（組內(nèi)尺度是指同一組（octave）內(nèi)的）內(nèi)的尺度關(guān)系，組內(nèi)相鄰層尺度化簡(jiǎn)為：尺度關(guān)系，組內(nèi)相鄰層尺度化簡(jiǎn)為：112Sss組間尺度是指不同組直接的尺度關(guān)組間尺度是指不同組直接的尺度關(guān)系，相鄰組的尺度可化為：系，相鄰組的尺度可化為：1( )2s SSoos222s SsSSoo 由此可見(jiàn)，相鄰兩組的同一層尺度為由此可見(jiàn)，相鄰兩組的同一層尺度為2倍的關(guān)系倍

13、的關(guān)系關(guān)鍵點(diǎn)檢測(cè)相關(guān)問(wèn)題2222最后可將組內(nèi)和組間尺度歸為：最后可將組內(nèi)和組間尺度歸為：i i金字塔組數(shù)金字塔組數(shù)n n每一組的層數(shù)每一組的層數(shù)1212( ,)inkkk12Sk 關(guān)鍵點(diǎn)檢測(cè)相關(guān)問(wèn)題2323上一組圖像的底層是由前一上一組圖像的底層是由前一組圖像的倒數(shù)第二層圖像隔組圖像的倒數(shù)第二層圖像隔點(diǎn)采樣生成的。點(diǎn)采樣生成的。這樣這樣可以保持尺度的連續(xù)性。可以保持尺度的連續(xù)性。關(guān)鍵點(diǎn)檢測(cè)相關(guān)問(wèn)題2424對(duì)應(yīng)對(duì)應(yīng)DOGDOG算子，我們要構(gòu)建算子，我們要構(gòu)建DOGDOG金字塔金字塔我們可以通過(guò)高斯差分圖我們可以通過(guò)高斯差分圖像看出圖像上的像素值變像看出圖像上的像素值變化情況。（如果沒(méi)有變化，化情

14、況。（如果沒(méi)有變化，也就沒(méi)有特征。特征必須也就沒(méi)有特征。特征必須是變化盡可能多的點(diǎn)。）是變化盡可能多的點(diǎn)。）DOGDOG圖像描繪的是目標(biāo)的圖像描繪的是目標(biāo)的輪廓。輪廓。關(guān)鍵點(diǎn)檢測(cè)相關(guān)問(wèn)題5 5. . 高斯差分（高斯差分（DOGDOG）金字塔）金字塔2525 中間的檢測(cè)點(diǎn)和它同尺度的中間的檢測(cè)點(diǎn)和它同尺度的8個(gè)相鄰點(diǎn)和上下相鄰尺度對(duì)應(yīng)的個(gè)相鄰點(diǎn)和上下相鄰尺度對(duì)應(yīng)的92個(gè)點(diǎn)共個(gè)點(diǎn)共26個(gè)點(diǎn)比較，以確保在尺度空間和二維圖像空間都檢測(cè)到極個(gè)點(diǎn)比較，以確保在尺度空間和二維圖像空間都檢測(cè)到極值點(diǎn)。值點(diǎn)。 l DoG的局部極值點(diǎn)的局部極值點(diǎn) 關(guān)鍵點(diǎn)是由關(guān)鍵點(diǎn)是由DOGDOG空間的局部極值點(diǎn)組成的。空間的局部

15、極值點(diǎn)組成的。為了尋找為了尋找DoGDoG函數(shù)的極值點(diǎn)，函數(shù)的極值點(diǎn)，每一個(gè)像素點(diǎn)要和它所有的相鄰點(diǎn)比較，看其是否比它的圖像域和尺度域每一個(gè)像素點(diǎn)要和它所有的相鄰點(diǎn)比較，看其是否比它的圖像域和尺度域的相鄰點(diǎn)大或者小。的相鄰點(diǎn)大或者小。26 122DDXXX 27 12TDD XDXX28DOG算子會(huì)產(chǎn)生較強(qiáng)的邊緣響應(yīng)，需要剔除不穩(wěn)定的邊緣響應(yīng)點(diǎn)。獲取特征點(diǎn)處的Hessian矩陣， D的主曲率和H的特征值成正比，通過(guò)一個(gè)2x2的Hessian矩陣H的特征值表示： H的特征值和為特征值。假設(shè)是較大的特征值，而是較小的特征值，令 ，則 兩個(gè)特征值相等時(shí)最小，隨著的增大而增大。讓該比值小于一定的閾值。

16、為了檢測(cè)主曲率是否在某域值r下，只需檢測(cè) 成立時(shí)將關(guān)鍵點(diǎn)保留，反之剔除。在Lowe的文章中，取r10。2929 通過(guò)尺度不變性求極值點(diǎn)，可以使其具有縮放不變的性質(zhì)，利用關(guān)鍵通過(guò)尺度不變性求極值點(diǎn)，可以使其具有縮放不變的性質(zhì)，利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性，我們可以為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)點(diǎn)鄰域像素的梯度方向分布特性，我們可以為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)方向，方向，從而使描述子對(duì)圖像旋轉(zhuǎn)具有不變性。從而使描述子對(duì)圖像旋轉(zhuǎn)具有不變性。,IIgradI x yxy22,1,1,1,1m x yL xyL xyL x yL x y1,1,1,tan1,1,L x yL x yx yL xyL xyl

17、 像素點(diǎn)的梯度表示像素點(diǎn)的梯度表示梯度幅值：梯度方向：我們通過(guò)求每個(gè)極值點(diǎn)的梯度來(lái)為極值點(diǎn)賦予方向。我們通過(guò)求每個(gè)極值點(diǎn)的梯度來(lái)為極值點(diǎn)賦予方向。3030l 方向方向直方圖的生成直方圖的生成 確定關(guān)鍵點(diǎn)的方向采用梯度直方圖統(tǒng)計(jì)法，統(tǒng)計(jì)以關(guān)鍵點(diǎn)為原點(diǎn)，確定關(guān)鍵點(diǎn)的方向采用梯度直方圖統(tǒng)計(jì)法，統(tǒng)計(jì)以關(guān)鍵點(diǎn)為原點(diǎn)，一定區(qū)域內(nèi)的圖像像素點(diǎn)對(duì)關(guān)鍵點(diǎn)方向生成所作的貢獻(xiàn)。一定區(qū)域內(nèi)的圖像像素點(diǎn)對(duì)關(guān)鍵點(diǎn)方向生成所作的貢獻(xiàn)。3131關(guān)鍵點(diǎn)主方向：極值點(diǎn)周圍區(qū)域梯度直方圖的關(guān)鍵點(diǎn)主方向：極值點(diǎn)周圍區(qū)域梯度直方圖的主主峰值峰值,也是特征點(diǎn)方向也是特征點(diǎn)方向關(guān)鍵點(diǎn)輔方向：關(guān)鍵點(diǎn)輔方向：在梯度方向直方圖中，當(dāng)存在另一個(gè)相

18、當(dāng)于主峰值在梯度方向直方圖中，當(dāng)存在另一個(gè)相當(dāng)于主峰值 當(dāng)某方向當(dāng)某方向80%能量的峰值時(shí)，則能量的峰值時(shí)，則將將該該方向方向認(rèn)為是該關(guān)鍵點(diǎn)的輔認(rèn)為是該關(guān)鍵點(diǎn)的輔方向方向，生成一個(gè)新的特征向量生成一個(gè)新的特征向量。l 關(guān)鍵點(diǎn)的主方向與輔方向關(guān)鍵點(diǎn)的主方向與輔方向特征檢測(cè)3232 圖像的關(guān)鍵圖像的關(guān)鍵點(diǎn)和特征已點(diǎn)和特征已檢測(cè)完畢，每個(gè)關(guān)鍵點(diǎn)有三個(gè)檢測(cè)完畢，每個(gè)關(guān)鍵點(diǎn)有三個(gè)信息：位置、尺度、方向；同時(shí)也就使關(guān)鍵點(diǎn)具備平移、縮信息：位置、尺度、方向；同時(shí)也就使關(guān)鍵點(diǎn)具備平移、縮放、和旋轉(zhuǎn)不變性。放、和旋轉(zhuǎn)不變性。l描述的目的 l描述的目的是在計(jì)算關(guān)鍵點(diǎn)后，用一組向量將這個(gè)關(guān)鍵點(diǎn)描述出來(lái)，這個(gè)描述子不

19、但包括關(guān)鍵點(diǎn)，也包括關(guān)鍵點(diǎn)周圍對(duì)其有貢獻(xiàn)的像素點(diǎn)。用來(lái)作為目標(biāo)匹配的依據(jù)，也可使關(guān)鍵點(diǎn)具有更多的不變特性，如光照變化、3D視點(diǎn)變化等。l 描述的思路l通過(guò)對(duì)關(guān)鍵點(diǎn)周圍圖像區(qū)域分塊，計(jì)算塊內(nèi)梯度直方圖，生成具有獨(dú)特性的向量，這個(gè)向量是該區(qū)域圖像信息的一種抽象，具有唯一性。3333 3434 下圖是一個(gè)下圖是一個(gè)SIFT描述子事例。其中描述子由描述子事例。其中描述子由228維向量表征，也即是維向量表征，也即是22個(gè)個(gè)8方向的方向方向的方向直方圖組成。直方圖組成。左圖的種子點(diǎn)由左圖的種子點(diǎn)由88單元組成。每一個(gè)小單元組成。每一個(gè)小格都代表了特征點(diǎn)鄰域所在的尺度空間的一個(gè)像素，箭頭方向代表了像素梯度格

20、都代表了特征點(diǎn)鄰域所在的尺度空間的一個(gè)像素，箭頭方向代表了像素梯度方向，箭頭長(zhǎng)度代表該像素的幅值。然后在方向，箭頭長(zhǎng)度代表該像素的幅值。然后在44的窗口內(nèi)計(jì)算的窗口內(nèi)計(jì)算8個(gè)方向的梯度個(gè)方向的梯度方向直方圖。繪制每個(gè)梯度方向的累加可形成一個(gè)種子點(diǎn)，如右圖所示：一個(gè)方向直方圖。繪制每個(gè)梯度方向的累加可形成一個(gè)種子點(diǎn)，如右圖所示：一個(gè)特征點(diǎn)由特征點(diǎn)由4個(gè)種子點(diǎn)的信息所組成。個(gè)種子點(diǎn)的信息所組成。3535 LoweLowe實(shí)驗(yàn)結(jié)果實(shí)驗(yàn)結(jié)果表明表明：描述子描述子采用采用4 44 48 8128128維向量表征維向量表征，綜合效果最優(yōu)綜合效果最優(yōu)（不變性與獨(dú)（不變性與獨(dú)特性）。特性）。3636 是關(guān)鍵點(diǎn)所在組（是關(guān)鍵點(diǎn)所在組（octave）的組內(nèi)尺度，）的組內(nèi)尺度，1. 確定確定計(jì)算計(jì)