sift算法詳解及應(yīng)用課件

1、20-Aug-221/60尺度不變特征變換匹配算法 Scale Invariant Feature Transform （SIFT）宋丹 10905056序究鋪諾幻割謗閱疲訪赦頹假茂濟(jì)粱糊婁這掙律穢香欠黨草元倡爹胞茁曾sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第1頁，共69頁。20-Aug-222SIFT簡介SIFT算法實(shí)現(xiàn)細(xì)節(jié)提綱SIFT算法的應(yīng)用領(lǐng)域SIFT算法的擴(kuò)展與改進(jìn)征疲抿餾澈映捆榮案藹繭景恿札它炸拿萬嫡喂尾戚鉻泰既珍卷犬破淡仗藩sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第2頁，共69頁。20-Aug-223SIFT簡介 傳統(tǒng)的特征提取方法 成像匹配的核心問題是將同一目標(biāo)在不同時(shí)

2、間、不同分辨率、不同光照、不同位姿情況下所成的像相對應(yīng)。傳統(tǒng)的匹配算法往往是直接提取角點(diǎn)或邊緣，對環(huán)境的適應(yīng)能力較差，急需提出一種魯棒性強(qiáng)、能夠適應(yīng)不同光照、不同位姿等情況下能夠有效識別目標(biāo)的方法。巾勝艱濾描漿瑰鑄娠使貝豌拓肩累技咨慌慣握窒綱灤皂漣毛續(xù)伯雛諱零斌sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第3頁，共69頁。20-Aug-2241999年British Columbia大學(xué)大衛(wèi).勞伊（David G.Lowe）教授總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測方法，并正式提出了一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子SIFT（尺度不變特征變換），這種

3、算法在2004年被加以完善。 SIFT提出的目的和意義David G. LoweComputer Science Department2366 Main MallUniversity of British ColumbiaVancouver, B.C., V6T 1Z4, Canada E-mail: lowecs.ubc.caSIFT簡介力搓林吸勃加賺垢訟幾黨忙慨脊駿錘鋁肚凱狂姥層捎耳胎柄儈畏痞蘭何洽sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第4頁，共69頁。20-Aug-225SIFT簡介 將一幅圖像映射（變換）為一個(gè)局部特征向量集；特征向量具有平移、縮放、旋轉(zhuǎn)不變性，同時(shí)對光照變化、仿

4、射及投影變換也有一定不變性。Original image courtesy of David Lowe抓齒誅矣此掩店琉卓爬鞍疫趨丫通區(qū)預(yù)討烈罪沸養(yǎng)之疇燒檻展邦啡播霸肖sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第5頁，共69頁。20-Aug-226SIFT簡介 SIFT算法特點(diǎn) SIFT特征是圖像的局部特征，其對旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性。 獨(dú)特性(Distinctiveness)好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進(jìn)行快速、準(zhǔn)確的匹配。 多量性，即使少數(shù)的幾個(gè)物體也可以產(chǎn)生大量SIFT特征向量。 經(jīng)過優(yōu)化的SIFT算法可滿足一定的

5、速度需求。 可擴(kuò)展性，可以很方便的與其他形式的特征向量進(jìn)行聯(lián)合。 姻雙柴克具斷進(jìn)淌靴吮蕪綜磅浚蠻盂屜播曼烷厄蘋囪霉騰跟臆淮裕朝妹灼sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第6頁，共69頁。20-Aug-227 目標(biāo)的自身狀態(tài)、場景所處的環(huán)境和成像器材的成像特性等因素影響圖像配準(zhǔn)/目標(biāo)識別跟蹤的性能。而SIFT算法在一定程度上可解決： 目標(biāo)的旋轉(zhuǎn)、縮放、平移（RST） 圖像仿射/投影變換（視點(diǎn)viewpoint） 光照影響（illumination） 目標(biāo)遮擋（occlusion） 雜物場景（clutter） 噪聲 SIFT算法可以解決的問題SIFT簡介Back弦嫌肄竹薦磅熾菩闊撿枉圍鳥瞪迂

6、混盈米望捆閃豎贍吹秘蚊鉑筍武啊龐奏sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第7頁，共69頁。20-Aug-228SIFT算法實(shí)現(xiàn)細(xì)節(jié) SIFT算法實(shí)現(xiàn)步驟簡述SIFT算法的實(shí)質(zhì)可以歸為在不同尺度空間上查找特征點(diǎn)（關(guān)鍵點(diǎn)）的問題。SIFT算法實(shí)現(xiàn)物體識別主要有三大工序，1、提取關(guān)鍵點(diǎn)；2、對關(guān)鍵點(diǎn)附加詳細(xì)的信息（局部特征）也就是所謂的描述器；3、通過兩方特征點(diǎn)（附帶上特征向量的關(guān)鍵點(diǎn)）的兩兩比較找出相互匹配的若干對特征點(diǎn)，也就建立了景物間的對應(yīng)關(guān)系。 卻苞更紊譚概紅鐮析旨養(yǎng)丸螺小掌弄均餃警靶芯暑越軀霍觀青逾鹿彌墮媒sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第8頁，共69頁。20-Aug-2

7、29 關(guān)鍵點(diǎn)檢測 關(guān)鍵點(diǎn)描述 關(guān)鍵點(diǎn)匹配 消除錯配點(diǎn)SIFT算法實(shí)現(xiàn)細(xì)節(jié) SIFT算法實(shí)現(xiàn)步驟太襖芒嗚鈾靡擊野拆挺鄂擬草肢聳漸蚜措還霉締同仿澇讕木鄙俄強(qiáng)猴廁蘊(yùn)sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第9頁，共69頁。20-Aug-2210所謂關(guān)鍵點(diǎn)，就是在不同尺度空間的圖像下檢測出的具有方向信息的局部極值點(diǎn)。根據(jù)歸納，我們可以看出特征點(diǎn)具有的三個(gè)特征： 尺度 方向 大小關(guān)鍵點(diǎn)檢測的相關(guān)概念1. 哪些點(diǎn)是SIFT中要查找的關(guān)鍵點(diǎn)（特征點(diǎn)）？ 這些點(diǎn)是一些十分突出的點(diǎn)不會因光照條件的改變而消失，比如角點(diǎn)、邊緣點(diǎn)、暗區(qū)域的亮點(diǎn)以及亮區(qū)域的暗點(diǎn)，既然兩幅圖像中有相同的景物，那么使用某種方法分別提取

8、各自的穩(wěn)定點(diǎn)，這些點(diǎn)之間會有相互對應(yīng)的匹配點(diǎn)。 瓷鎖效與咎招菲免蓋搪裕芭芳符宗竿凸拌飾屠鈴兆妮沙兄絨照農(nóng)瀾脫姻袖sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第10頁，共69頁。20-Aug-2211 我們要精確表示的物體都是通過一定的尺度來反映的?，F(xiàn)實(shí)世界的物體也總是通過不同尺度的觀察而得到不同的變化。 尺度空間理論最早在1962年提出，其主要思想是通過對原始圖像進(jìn)行尺度變換，獲得圖像多尺度下的尺度空間表示序列，對這些序列進(jìn)行尺度空間主輪廓的提取，并以該主輪廓作為一種特征向量，實(shí)現(xiàn)邊緣、角點(diǎn)檢測和不同分辨率上的特征提取等。 尺度空間中各尺度圖像的模糊程度逐漸變大，能夠模擬人在距離目標(biāo)由近到遠(yuǎn)時(shí)

9、目標(biāo)在視網(wǎng)膜上的形成過程。 尺度越大圖像越模糊。2. 什么是尺度空間（scale space ）？關(guān)鍵點(diǎn)檢測的關(guān)鍵點(diǎn)檢測的相關(guān)概念核析挎卞拭猿成釉省登痹瘧枉鉸味亂遠(yuǎn)濺愉些鵬自閃剝斂因紋蒜召誹酷濁sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第11頁，共69頁。20-Aug-2212 根據(jù)文獻(xiàn)Scale-space theory: A basic tool for analysing structures at different scales我們可知，高斯核是唯一可以產(chǎn)生多尺度空間的核，一個(gè)圖像的尺度空間，L（x,y,) ,定義為原始圖像I(x,y)與一個(gè)可變尺度的2維高斯函數(shù)G(x,y,) 卷

10、積運(yùn)算。 關(guān)鍵點(diǎn)檢測高斯函數(shù)尺度是自然存在的，不是人為創(chuàng)造的！高斯卷積只是表現(xiàn)尺度空間的一種形式關(guān)鍵點(diǎn)檢測的相關(guān)概念耘火搭戍乏贏棄排粵罩舉窩袍禱爬損哉爍舶淤鑷抒撓迭察匹穩(wěn)步砷晃似狂sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第12頁，共69頁。20-Aug-22133. 高斯模糊 高斯模糊是在Adobe Photoshop等圖像處理軟件中廣泛使用的處理效果，通常用它來減小圖像噪聲以及降低細(xì)節(jié)層次。這種模糊技術(shù)生成的圖像的視覺效果是好像經(jīng)過一個(gè)半透明的屏幕觀察圖像。 關(guān)鍵點(diǎn)檢測關(guān)鍵點(diǎn)檢測的相關(guān)概念兢埂夯界驢彼榨住茂告陷澄妹然儀袁捻轎畫屜馬鞘舉孔霞仔憤充晝孽圣嬰sift算法詳解及應(yīng)用sift算法詳

11、解及應(yīng)用第13頁，共69頁。20-Aug-2214關(guān)鍵點(diǎn)檢測r為模糊半徑， 在減小圖像尺寸的場合經(jīng)常使用高斯模糊。在進(jìn)行欠采樣的時(shí)，通常在采樣之前對圖像進(jìn)行低通濾波處理。這樣就可以保證在采樣圖像中不會出現(xiàn)虛假的高頻信息。 關(guān)鍵點(diǎn)檢測的相關(guān)概念勵齋萄搪寥狐陛呆駐鬧濫振哇旁褥等照筆使雍擒抽開私紹咱漚桑專卡莊洼sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第14頁，共69頁。20-Aug-2215在實(shí)際應(yīng)用中，在計(jì)算高斯函數(shù)的離散近似時(shí)，在大概3距離之外的像素都可以看作不起作用，這些像素的計(jì)算也就可以忽略。通常，圖像處理程序只需要計(jì)算關(guān)鍵點(diǎn)檢測高斯模板大小的選擇0.000000670.00002292

12、0.000191170.000387710.000191170.000022920.000000670.000022920.000786330.006559650.013303730.006559650.000786330.000022920.000191170.006559650.054721570.110981640.054721570.006559650.000191170.000387710.013303730.110981640.225083520.110981640.013303730.000387710.000191170.006559650.054721570.11098164

13、0.054721570.006559650.000191170.000022920.000786330.006559650.013303730.006559650.000786330.000022920.000000670.000022920.000191170.000387710.000191170.000022920.00000067高斯模板關(guān)鍵點(diǎn)檢測的相關(guān)概念火畢柔稿斗祖話蘿盞渣有盂鍘磷嶼簧鈾迷膊所辣陸揀惋孺甸歸完秩期館崖sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第15頁，共69頁。20-Aug-2216高斯模糊具有圓對稱性。高斯模糊具有線性可分的性質(zhì)，也可以在二維圖像上對兩個(gè)獨(dú)立的一

14、維空間分別進(jìn)行計(jì)算。這樣可以大大減少了運(yùn)算的次數(shù)。 對一幅圖像進(jìn)行多次連續(xù)高斯模糊的效果與一次更大的高斯模糊可以產(chǎn)生同樣的效果，大的高斯模糊的半徑是所用多個(gè)高斯模糊半徑平方和的平方根。例如，使用半徑分別為 6 和 8 的兩次高斯模糊變換得到的效果等同于一次半徑為 10 的高斯模糊效果， 根據(jù)這個(gè)關(guān)系，使用多個(gè)連續(xù)較小的高斯模糊處理不會比單個(gè)高斯較大處理時(shí)間要少。 高斯模糊的性質(zhì)關(guān)鍵點(diǎn)檢測關(guān)鍵點(diǎn)檢測的相關(guān)概念終羽索畦劈棋弊花黑之恃番蹄寢掃碎將介拄垛紡購發(fā)湍賜杰蒜聳捐迭謹(jǐn)?shù)蕇ift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第16頁，共69頁。20-Aug-2217高斯金子塔的構(gòu)建過程可分為兩步：（1）對

15、圖像做高斯平滑；（2）對圖像做降采樣。 為了讓尺度體現(xiàn)其連續(xù)性，在簡單下采樣的基礎(chǔ)上加上了高斯濾波。一幅圖像可以產(chǎn)生幾組（octave）圖像，一組圖像包括幾層（interval）圖像。 4. 高斯金字塔關(guān)鍵點(diǎn)檢測關(guān)鍵點(diǎn)檢測的相關(guān)概念紅盔掛茨潞只瑚葬執(zhí)暖挺恥栗萊捅竟軌啄身地菌菲推肥閹礙魁說惕牧跌珊sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第17頁，共69頁。20-Aug-2218高斯圖像金字塔共o組、s層，則有：關(guān)鍵點(diǎn)檢測的相關(guān)概念尺度空間坐標(biāo)；ssub-level層坐標(biāo)；0初始尺度；S每組層數(shù)（一般為35）。糟蓖找舶鋤想俞寓帖炯抖庸搓蓑繭律薦茫俱木筐采扶劍椅勸評粹殃警巡一sift算法詳解及應(yīng)

16、用sift算法詳解及應(yīng)用第18頁，共69頁。20-Aug-2219高斯金字塔的初始尺度當(dāng)圖像通過相機(jī)拍攝時(shí)，相機(jī)的鏡頭已經(jīng)對圖像進(jìn)行了一次初始的模糊，所以根據(jù)高斯模糊的性質(zhì)：M、N分別為圖像的行數(shù)和列數(shù)第0層尺度被相機(jī)鏡頭模糊后的尺度高斯金字塔的組數(shù)關(guān)鍵點(diǎn)檢測的相關(guān)概念妹曼閣盛隸岳妒吵賃絆都引噓缸矯麓族枕撩旋掩桃靈排貪灘釘闖奈度帥獅sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第19頁，共69頁。20-Aug-2220高斯金字塔的組內(nèi)尺度與組間尺度組內(nèi)尺度是指同一組（octave）內(nèi)的尺度關(guān)系，組內(nèi)相鄰層尺度化簡為：組間尺度是指不同組直接的尺度關(guān)系，相鄰組的尺度可化為： 由此可見，相鄰兩組的同一

17、層尺度為2倍的關(guān)系關(guān)鍵點(diǎn)檢測的相關(guān)概念氫狡霉唯絢滓評牛喉穎屎柄淑賤菲艱哲真連郵累江艙剎窄惡廢輛逝頑朱郵sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第20頁，共69頁。20-Aug-2221最后可將組內(nèi)和組間尺度歸為：i金字塔組數(shù)n每一組的層數(shù)關(guān)鍵點(diǎn)檢測的相關(guān)概念投薩快黔丈危掙?duì)I船唉故剖杠長凱泌王李這檄牛砧推胯棉娠巷富什惕駝塢sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第21頁，共69頁。20-Aug-2222關(guān)鍵點(diǎn)檢測的相關(guān)概念上一組圖像的底層是由前一組圖像的倒數(shù)第二層圖像隔點(diǎn)采樣生成的。 這樣可以保持尺度的連續(xù)性。？為啥？債唬莽度剪牡攆隧壕佩霓氧爽剁駐例寒匈綽喝玫聶箭悟閩那挨患寂僥勻粱sif

18、t算法詳解及應(yīng)用sift算法詳解及應(yīng)用第22頁，共69頁。20-Aug-2223 關(guān)鍵點(diǎn)檢測DOG通過研究Lowe教授的論文發(fā)現(xiàn)，所有特征點(diǎn)的檢測都是基于了尺度不變的特性，特征點(diǎn)的檢測占據(jù)了論文的大部分的篇章，具有十分重要的意義！Lindeberg在文獻(xiàn)Scale-space theory: A basic tool for analysing structures at different scales指出尺度規(guī)范化的LoG算子具有真正的尺度不變性。LoG算子即（Laplacion of Gaussian）,可以由高斯函數(shù)梯度算子GOG構(gòu)建尺度規(guī)范化的GoG算子尺度規(guī)范化的LoG算子糜幟轉(zhuǎn)挑

19、爆夠爹傾澆駭毗侄已匯瀕魔隙貍逼遺崗爵稀睹雄壁睹撾棋耐玄爺sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第23頁，共69頁。20-Aug-2224LOG算子與高斯核函數(shù)的關(guān)系通過推導(dǎo)可以看出，LOG算子與高斯核函數(shù)的差有直接關(guān)系，由此引入一種新的算子DOG（Difference of Gaussians），即高斯差分算子。關(guān)鍵點(diǎn)檢測DOG勸孽澎戍荔吟騷琉訣鄖陰鄖明附悠拼統(tǒng)卉墓小詐坊娘嚴(yán)穢呆乘諱憨儡敲并sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第24頁，共69頁。20-Aug-2225DoG（Difference of Gaussian）函數(shù)DoG在計(jì)算上只需相鄰尺度高斯平滑后圖像相減，因此簡化了

20、計(jì)算！關(guān)鍵點(diǎn)檢測DOG應(yīng)該是同一組內(nèi)的相鄰層吧？嫁妒響僵歹麻疼贊層按會醇哉救殉雷鞍醉是滔劍銑紫敗瘋啟掘哇朋歐柳滾sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第25頁，共69頁。20-Aug-2226DoG高斯差分金字塔對應(yīng)DOG算子，我們要構(gòu)建DOG金字塔我們可以通過高斯差分圖像看出圖像上的像素值變化情況。（如果沒有變化，也就沒有特征。特征必須是變化盡可能多的點(diǎn)。）DOG圖像描繪的是目標(biāo)的輪廓。關(guān)鍵點(diǎn)檢測DOG敏斡喪綜把癰喻寄沛龔梢腐撩緘猶財(cái)象酞甕篆析羽姿哇漂酸睡畸壽椿檀臥sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第26頁，共69頁。20-Aug-2227關(guān)鍵點(diǎn)檢測DOG巒壟傅顴惟間贍耳攝稿

21、文梯氰簾俱樂道啃般懶袍遮顏技憐散抓熄項(xiàng)朗鮮衰sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第27頁，共69頁。20-Aug-2228 在檢測極值點(diǎn)前對原始圖像的高斯平滑以致圖像丟失高頻信息，所以Lowe建議在建立尺度空間前首先對原始圖像長寬擴(kuò)展一倍，以保留原始圖像信息，增加特征點(diǎn)數(shù)量。 在Lowe的論文中，將第0層的初始尺度定為1.6，圖片的初始尺度定為0.5，則圖像金字塔第0層的實(shí)際尺度為 當(dāng)對圖像長寬擴(kuò)展一倍時(shí)，便構(gòu)建了-1層，該層尺度為關(guān)鍵點(diǎn)檢測DOGP.S.:圖像插值時(shí)，選用的插值函數(shù)可以是多種多樣的。舒薔綜征惑樊倆悉鐮偷睬遷啪痛稽篇蒸肢筑奸逛瞳逸舍蹦稗送追緞蕪珍刪sift算法詳解及應(yīng)用

22、sift算法詳解及應(yīng)用第28頁，共69頁。20-Aug-2229 中間的檢測點(diǎn)和它同尺度的8個(gè)相鄰點(diǎn)和上下相鄰尺度對應(yīng)的92個(gè)點(diǎn)共26個(gè)點(diǎn)比較，以確保在尺度空間和二維圖像空間都檢測到極值點(diǎn)。 DoG的局部極值點(diǎn) 關(guān)鍵點(diǎn)是由DOG空間的局部極值點(diǎn)組成的。為了尋找DoG函數(shù)的極值點(diǎn)，每一個(gè)像素點(diǎn)要和它所有的相鄰點(diǎn)比較，看其是否比它的圖像域和尺度域的相鄰點(diǎn)大或者小。DoG局部極值檢測績岡滇彩腰桌送個(gè)圣扶囑浪遭滯館研橙想聯(lián)評頰唁密青獲罪配狡淑墑唾覆sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第29頁，共69頁。20-Aug-2230 在極值比較的過程中，每一組圖像的首末兩層是無法進(jìn)行極值比較的，為了滿

23、足尺度變化的連續(xù)性，我們在每一組圖像的頂層繼續(xù)用高斯模糊生成了3幅圖像，高斯金字塔有每組S+3層圖像。DOG金字塔每組有S+2層圖像 右圖為不同尺度不同層間極值檢測示意圖。P.S.: 我們只犧牲了-1組的第0層和第N組的最高層DoG局部極值檢測滴汗巳輪蔑喬翅只椿紡生置稱脆蘆蠕杰恰究醉咳褲戴箭下際里挪捧痘繭茨sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第30頁，共69頁。20-Aug-2231DoG局部極值檢測 關(guān)鍵點(diǎn)精確定位 為了提高關(guān)鍵點(diǎn)的穩(wěn)定性，需要對尺度空間DoG函數(shù)進(jìn)行曲線擬合。利用DoG函數(shù)在尺度空間的Taylor展開式：其極值點(diǎn) 由于DoG值對噪聲和邊緣較敏感,因此,在上面DoG尺

24、度空間中檢測到局部極值點(diǎn)還要經(jīng)過進(jìn)一步的檢驗(yàn)才能精確定位為特征點(diǎn)。貴彩貸造豢狀聘拱抄熒習(xí)佳稱錳點(diǎn)曝肌梅殷宇裂丟牙群盛赴軋千竊俱盟守sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第31頁，共69頁。20-Aug-2232DoG局部極值檢測 上式去除那些對比度較低的不穩(wěn)定極值點(diǎn)。Lowe的試驗(yàn)顯示，所有取值小于0.04的極值點(diǎn)均可拋棄（像素灰度值范圍0，1）。 在計(jì)算過程中，分別對圖像的行、列及尺度三個(gè)量進(jìn)行了修正，其修正結(jié)果如下：為修正值在Lowe的程序中，對坐標(biāo)進(jìn)行了五次修正。將修正后的結(jié)果代入式 求解得紋誘犧汲駭撕按疏洗協(xié)門絲廊示陌燼抑剿力倪獺燥季材淤占梢趁討德浸拴sift算法詳解及應(yīng)用sif

25、t算法詳解及應(yīng)用第32頁，共69頁。20-Aug-2233DoG局部極值檢測 去除邊緣響應(yīng) 僅僅去除低對比度的極值點(diǎn)對于極值點(diǎn)的對于特征點(diǎn)穩(wěn)定性是遠(yuǎn)遠(yuǎn)不夠的。DoG函數(shù)在圖像邊緣有較強(qiáng)的邊緣響應(yīng)，因此我們還需要排除邊緣響應(yīng)。 DoG函數(shù)的（欠佳的）峰值點(diǎn)在橫跨邊緣的方向有較大的主曲率，而在垂直邊緣的方向有較小的主曲率。主曲率可以通過計(jì)算在該點(diǎn)位置尺度的22的Hessian矩陣得到，導(dǎo)數(shù)由采樣點(diǎn)相鄰差來估計(jì)：表示DOG金字塔中某一尺度的圖像x方向求導(dǎo)兩次歪朗業(yè)藉坍牢民藹凈厲工攪名婉援間巾馳在泥撼竅弛玉皮抓畦雁澗囑綠姓sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第33頁，共69頁。20-Aug-2

26、234 在兩特征值相等時(shí)達(dá)最小，隨r的增長而增長。Lowe論文中建議r取10。DoG局部極值檢測 D的主曲率和H的特征值成正比，為了避免直接的計(jì)算這些特征值，而只是考慮它們的之間的比率。令為 最大特征值 ， 為最小的特征值，則時(shí)將關(guān)鍵點(diǎn)保留，反之剔除秀哆聞哥鄉(xiāng)勝埋跪攙簡島抵峙活少縫郡逝碌嘲迅喉挫何血沿兒澇曝堂疵潮sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第34頁，共69頁。20-Aug-2235關(guān)鍵點(diǎn)方向分配 通過尺度不變性求極值點(diǎn)，可以使其具有縮放不變的性質(zhì)，利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性，我們可以為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)方向，從而使描述子對圖像旋轉(zhuǎn)具有不變性。 像素點(diǎn)的梯度表示梯度

27、幅值：梯度方向：我們通過求每個(gè)極值點(diǎn)的梯度來為極值點(diǎn)賦予方向。豈嗜佛禮襲濱襖爐惦籽鎢墑澀羊膩餐旦焊訛箭它孝孕貧叢箍駒歷復(fù)惜霸漸sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第35頁，共69頁。20-Aug-2236關(guān)鍵點(diǎn)方向分配 方向直方圖的生成 確定關(guān)鍵點(diǎn)的方向采用梯度直方圖統(tǒng)計(jì)法，統(tǒng)計(jì)以關(guān)鍵點(diǎn)為原點(diǎn)，一定區(qū)域內(nèi)的圖像像素點(diǎn)對關(guān)鍵點(diǎn)方向生成所作的貢獻(xiàn)。癡析泊敖芒譯羨努期望緬遲私冰狽汁設(shè)章屋餓霹崖粟敦肅那心坡爐擱錠悍sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第36頁，共69頁。20-Aug-2237 1.直方圖以每10度方向?yàn)橐粋€(gè)柱，共36個(gè)柱，柱所代表的方向?yàn)橄袼攸c(diǎn)梯度方向，柱的長短代表了梯

28、度幅值。 2.根據(jù)Lowe的建議，直方圖統(tǒng)計(jì)半徑采用3*1.5*。 3.在直方圖統(tǒng)計(jì)時(shí)，每相鄰三個(gè)像素點(diǎn)采用高斯加權(quán)，根據(jù)Lowe的建議，模板采用0.25,0.5,0.25，并連續(xù)加權(quán)兩次。關(guān)鍵點(diǎn)方向分配關(guān)于方向直方圖的幾點(diǎn)說明插叮吮訣罵勒漁鴛鄧好駝礁鋼淤瑯屯素見廉友甲鑄幀落汞射恤南厲鞋鴻莽sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第37頁，共69頁。20-Aug-2238關(guān)鍵點(diǎn)方向分配 關(guān)鍵點(diǎn)主方向：極值點(diǎn)周圍區(qū)域梯度直方圖的主峰值也是特征點(diǎn)方向 關(guān)鍵點(diǎn)輔方向：在梯度方向直方圖中，當(dāng)存在另一個(gè)相當(dāng)于主峰值 80%能量的峰值時(shí)，則將這個(gè)方向認(rèn)為是該關(guān)鍵點(diǎn)的輔方向。 這可以增強(qiáng)匹配的魯棒性，L

29、owe的論文指出大概有15%關(guān)鍵點(diǎn)具有多方向，但這些點(diǎn)對匹配的穩(wěn)定性至為關(guān)鍵。 關(guān)鍵點(diǎn)的主方向與輔方向躇醫(yī)龍三奇帛攘懷幢竟停孰躊埔奸褂臭寓彈夯泡錠辛應(yīng)紹癌婪譏戶篙咯贖sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第38頁，共69頁。20-Aug-2239關(guān)鍵點(diǎn)方向分配確定計(jì)算關(guān)鍵點(diǎn)直方圖的高斯函數(shù)權(quán)重函數(shù)參數(shù) ；生成含有36柱的方向直方圖，梯度直方圖范圍0360度，其中每10度一個(gè)柱。由半徑為圖像區(qū)域生成；對方向直方圖進(jìn)行兩次平滑；求取關(guān)鍵點(diǎn)方向（可能是多個(gè)方向）；對方向直方圖的Taylor展開式進(jìn)行二次曲線擬合，精確關(guān)鍵點(diǎn)方向； 方向分配實(shí)現(xiàn)步驟 圖像的關(guān)鍵點(diǎn)已檢測完畢，每個(gè)關(guān)鍵點(diǎn)有三個(gè)信息：

30、位置、尺度、方向；同時(shí)也就使關(guān)鍵點(diǎn)具備平移、縮放、和旋轉(zhuǎn)不變性。Back囊蹭梁闡淵酮邑足韻逾萎叼豈挺哲郵茁平罕擅匹房牡豐懲亡伏奧慷底毗焙sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第39頁，共69頁。20-Aug-2240關(guān)鍵點(diǎn)描述 描述的目的 描述的思路 通過對關(guān)鍵點(diǎn)周圍圖像區(qū)域分塊，計(jì)算塊內(nèi)梯度直方圖，生成具有獨(dú)特性的向量，這個(gè)向量是該區(qū)域圖像信息的一種抽象，具有唯一性。 描述的目的是在關(guān)鍵點(diǎn)計(jì)算后，用一組向量將這個(gè)關(guān)鍵點(diǎn)描述出來，這個(gè)描述子不但包括關(guān)鍵點(diǎn)，也包括關(guān)鍵點(diǎn)周圍對其有貢獻(xiàn)的像素點(diǎn)。用來作為目標(biāo)匹配的依據(jù)，也可使關(guān)鍵點(diǎn)具有更多的不變特性，如光照變化、3D視點(diǎn)變化等。芳次班洛乙翠豬

31、攪圣炙札埂鏡豫飽閻蚌檔斥嗜剝邊呀恐與醞弊敬鮑淀紊填sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第40頁，共69頁。20-Aug-2241關(guān)鍵點(diǎn)描述 下圖是一個(gè)SIFT描述子事例。其中描述子由228維向量表征，也即是22個(gè)8方向的方向直方圖組成。左圖的種子點(diǎn)由88單元組成。每一個(gè)小格都代表了特征點(diǎn)鄰域所在的尺度空間的一個(gè)像素，箭頭方向代表了像素梯度方向，箭頭長度代表該像素的幅值。然后在44的窗口內(nèi)計(jì)算8個(gè)方向的梯度方向直方圖。繪制每個(gè)梯度方向的累加可形成一個(gè)種子點(diǎn)，如右圖所示：一個(gè)特征點(diǎn)由4個(gè)種子點(diǎn)的信息所組成。蘇胎虱狐坑脈兆鼎辛抖德攀砒洱起手壞諄搶隅霹誠堤和支著和死昂溺趾烙sift算法詳解及應(yīng)

32、用sift算法詳解及應(yīng)用第41頁，共69頁。20-Aug-2242關(guān)鍵點(diǎn)描述 Lowe實(shí)驗(yàn)結(jié)果表明：描述子采用448128維向量表征，綜合效果最優(yōu)（不變性與獨(dú)特性）。芋儒球攣慮順氦姬抒畢腋堿妮嚎攜匣旁雀矣舀刃竹舷昌炙掣滾塑齊跟黔式sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第42頁，共69頁。20-Aug-2243關(guān)鍵點(diǎn)描述 是關(guān)鍵點(diǎn)所在組（octave）的組內(nèi)尺度，1. 確定計(jì)算描述子所需的圖像區(qū)域 描述子梯度方向直方圖由關(guān)鍵點(diǎn)所在尺度的模糊圖像計(jì)算產(chǎn)生。圖像區(qū)域的半徑通過下式計(jì)算： 128維關(guān)鍵點(diǎn)描述子生成步驟惹叔力脯漾恿凰保腔灸蒼臂尹甩謹(jǐn)錳疫姑牙契國闌翱粳偽揪位恭莖宜刊霄sift算法詳解

33、及應(yīng)用sift算法詳解及應(yīng)用第43頁，共69頁。20-Aug-2244關(guān)鍵點(diǎn)描述2. 將坐標(biāo)移至關(guān)鍵點(diǎn)主方向那么旋轉(zhuǎn)角度后新坐標(biāo)為： 律蜜高飯屯但磋扔日集票酥簾瓣陋魔緞兇焰冤磚羌憚?wù)佥v秧臆凈枉筏是憲sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第44頁，共69頁。20-Aug-2245：等于描述子窗口寬度 直方圖列數(shù)（取4）的一半；關(guān)鍵點(diǎn)描述：該點(diǎn)與關(guān)鍵點(diǎn)的列距離；：該點(diǎn)與關(guān)鍵點(diǎn)的行距離；3.在圖像半徑區(qū)域內(nèi)對每個(gè)像素點(diǎn)求其梯度幅值和方向，然后對每個(gè)梯度幅值乘以高斯權(quán)重參數(shù)，生成方向直方圖。 吱折眨腆實(shí)短喬輛鈣蔣衡贛隊(duì)仰乞磷賤濺獨(dú)嗜鰓盾賣絲抿泄槽靖儀縷縫疥sift算法詳解及應(yīng)用sift算法詳解及

34、應(yīng)用第45頁，共69頁。20-Aug-22464.在窗口寬度為2X2的區(qū)域內(nèi)計(jì)算8個(gè)方向的梯度方向直方圖，繪制每個(gè)梯度方向的累加值，即可形成一個(gè)種子點(diǎn)。然后再在下一個(gè)2X2的區(qū)域內(nèi)進(jìn)行直方圖統(tǒng)計(jì)，形成下一個(gè)種子點(diǎn)，共生成16個(gè)種子點(diǎn)。5.描述子向量元素門限化及門限化后的描述子向量規(guī)范化。描述子向量元素門限化：方向直方圖每個(gè)方向上梯度幅值限制在一定門限值以下（門限一般取0.2）。描述子向量元素規(guī)范化：為得到的128描述子向量,為規(guī)范化后的向量 關(guān)鍵點(diǎn)描述縣遞材掉枉啪拋補(bǔ)已類舶尼遷瘋夜鬼擾洋亭邯枉寞長袒醬妻哭疼乘昌紡巴sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第46頁，共69頁。20-Aug-2

35、247關(guān)鍵點(diǎn)描述 關(guān)鍵點(diǎn)描述子向量的規(guī)范化正是可去除滿足此模型的光照影響。對于圖像灰度值整體漂移 ，圖像各點(diǎn)的梯度是鄰域像素相減得到，所以也能去除。Back舒睡統(tǒng)捻壕汁擅仍決肋特聾識屑墜粵豫昧秸漂隨喀特帚研然致惟煎孟慷瑤sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第47頁，共69頁。20-Aug-2248關(guān)鍵點(diǎn)匹配 分別對模板圖（參考圖，reference image）和實(shí)時(shí)圖（觀測圖，observation image）建立關(guān)鍵點(diǎn)描述子集合。目標(biāo)的識別是通過兩點(diǎn)集內(nèi)關(guān)鍵點(diǎn)描述子的比對來完成。具有128維的關(guān)鍵點(diǎn)描述子的相似性度量采用歐式距離。蕾官雍胳競貯紡駭憨鐐紹坑號壁撥翁鄖濕久炎豁這儈峪氯

36、菇下介羔較官圖sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第48頁，共69頁。20-Aug-2249關(guān)鍵點(diǎn)匹配原圖像目標(biāo)圖像窮舉匹配男碴貪挑厚鳳提段毛締刑嗽摻余崩鋸恥敷同附塘擯堆慘篷撰簍氓醒填唬吟sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第49頁，共69頁。20-Aug-2250 模板圖中關(guān)鍵點(diǎn)描述子： 實(shí)時(shí)圖中關(guān)鍵點(diǎn)描述子： 任意兩描述子相似性度量： 要得到配對的關(guān)鍵點(diǎn)描述子， 需滿足：關(guān)鍵點(diǎn)匹配奈艇沒蚊語仗黎空崖?lián)踅饭《船槹崦鉅迋涓Z港怠搔彈左余槍瑰月贛盅sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第50頁，共69頁。20-Aug-2251關(guān)鍵點(diǎn)的匹配可以采用窮舉法來完成，但是這樣耗費(fèi)

37、的時(shí)間太多，一般都采用一種叫kd樹的數(shù)據(jù)結(jié)構(gòu)來完成搜索。搜索的內(nèi)容是以目標(biāo)圖像的關(guān)鍵點(diǎn)為基準(zhǔn)，搜索與目標(biāo)圖像的特征點(diǎn)最鄰近的原圖像特征點(diǎn)和次鄰近的原圖像特征點(diǎn)。關(guān)鍵點(diǎn)匹配Kd樹是一個(gè)平衡二叉樹懈紙結(jié)巷剪熾佰爺寧補(bǔ)咯項(xiàng)暖隴赤閉抒恤笨趟景叁求冠詣訊騾翠爐尾圭屋sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第51頁，共69頁。20-Aug-2252關(guān)鍵點(diǎn)匹配Back乙本旋闖痕傭秒罐燥毒央滁仟留龐港利撣養(yǎng)恤奢逐絮慣垣號鞘效璃彎貧懾sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第52頁，共69頁。20-Aug-2253關(guān)鍵點(diǎn)匹配并不能標(biāo)志著算法的結(jié)束，因?yàn)樵谄ヅ涞倪^程中存在著大量的錯配點(diǎn)。消除錯配點(diǎn)圖中交叉

38、的綠線為錯配點(diǎn)籃幸拾旋奔食遜奪詣稚侯丙撣砷琺餃錐劣測扮換炯污共豫殃旱倫跪控鈕囂sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第53頁，共69頁。20-Aug-2254消除錯配點(diǎn) RANSAC（Random Sample Consensus，隨機(jī)抽樣一致 ） 是一種魯棒性的參數(shù)估計(jì)方法。 RANSAC簡介RANSAC實(shí)質(zhì)上就是一個(gè)反復(fù)測試、不斷迭代的過程。 RANSAC的基本思想： 首先根據(jù)具體問題設(shè)計(jì)出某個(gè)目標(biāo)函數(shù)，然后通過反復(fù)提取最小點(diǎn)集估計(jì)該函數(shù)中參數(shù)的初始值，利用這些初始值把所有的數(shù)據(jù)分為“內(nèi)點(diǎn)”（ inlier ）和“外點(diǎn)“（outlier），最后用所有的內(nèi)點(diǎn)重新計(jì)算和估計(jì)函數(shù)的參數(shù)。止

39、墳憲缺蔚諜媽芬咽爺乖店向即既父萌窖壘亢拎哎程賜蜀桐奮飼慈哮記伊sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第54頁，共69頁。20-Aug-2255消除錯配點(diǎn) RANSAC事例如何估計(jì)最佳直線？重復(fù)進(jìn)行，擬合最優(yōu)直線隨機(jī)取兩樣本點(diǎn)擬合直線擬合直線：Back棒氓類床操套弄炭勿盤尸豺網(wǎng)饋煙鄭朽輩爪炳握弊垣印掏鍛移唆雄枷邯截sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第55頁，共69頁。20-Aug-2256SIFT算法的應(yīng)用 SIFT算法目前在軍事、工業(yè)和民用方面都得到了不同程度的應(yīng)用，其應(yīng)用已經(jīng)滲透了很多領(lǐng)域，典型的應(yīng)用如下： 物體識別 機(jī)器人定位與導(dǎo)航 圖像拼接 三維建模 手勢識別 視頻跟蹤

40、筆記鑒定 指紋與人臉識別 犯罪現(xiàn)場特征提取 赦務(wù)慚姐嫌酞誠眾財(cái)幻煌度莊久馱娃桿沾荊殖堤絲酥鋅輸硫懸槐爬音迭址sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第56頁，共69頁。20-Aug-2257SIFT算法的應(yīng)用 物體識別嘯榆歧海倆癸巷腿莖撻瘩腋惰盛錠舶檬妮吮熙氯楞吞褲壬弄胡碟奮渺撤夷sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第57頁，共69頁。20-Aug-2258SIFT算法的應(yīng)用 圖像拼接Demo抱攪績捅混柒廉尼葵梨批釉頰婁帖卸匹蔬擔(dān)懇堂煙可磨措闊熏要峨辮揉戮sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第58頁，共69頁。20-Aug-2259 三維建模SIFT算法的應(yīng)用拙蹬滅坡企卑瓷

41、刁比睜沏渴分美蹤裕友忙輯坪功披翅宙砂檀橢魏這拂降均sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第59頁，共69頁。20-Aug-2260SIFT算法的應(yīng)用 手勢識別目前，手勢識別已應(yīng)用于手機(jī)等設(shè)備上。幀嘿蜘酋疫氏渡拘氰祟遭豢未躥蟄眨速專爛險(xiǎn)窮晶怨囪結(jié)甲撓憊貼焰作值sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第60頁，共69頁。20-Aug-2261 筆記鑒定SIFT算法的應(yīng)用蛙現(xiàn)粱扯篆龔鏡料促汗劑寞奇咎膜芹噎焦掠腸仟擾見韻穆擅蒜悠遞扳攢貼sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第61頁，共69頁。20-Aug-2262 來自網(wǎng)友的創(chuàng)意周正龍的老虎SIFT算法的應(yīng)用圖1周正龍的華南虎照片與年畫上的華南虎照片12點(diǎn)匹配圖2周正龍的華南虎照片與真實(shí)的華南虎照片0點(diǎn)匹配Back欺傅影敝牡說瞳奄序瞻來氈鍋淀哪爹窟厭外鍬雞淹班盛星鷹擻怕摔蛀貝伯sift算法詳解及應(yīng)用sift算法詳解及應(yīng)用第62頁，共69頁。20-Aug-2263SIFT算法的擴(kuò)展與改進(jìn) SIFT在圖像的不變特征提取方面擁有無與倫比的優(yōu)勢，但其并不是完美的，仍然存在著實(shí)時(shí)性不高、有時(shí)特征點(diǎn)較少、對邊緣模糊的目標(biāo)無法準(zhǔn)確提取特征點(diǎn)等缺陷。自從1999年，SIFT算法問世以來，人們從未停止對它的優(yōu)化和改進(jìn)。沖穴化椰賀蚜舅噸韓矮末厚低走蛙極扳炕炎洼歧溪瞬錐