基于sift特征點(diǎn)的圖像匹配方法研究

基于sift特征點(diǎn)的圖像匹配方法研究第1頁/共76頁目錄圖像匹配介紹圖像匹配分類圖像匹配的一般步驟圖像匹配的主要方法部分匹配方法的實(shí)驗(yàn)結(jié)果

第2頁/共76頁1.圖像匹配介紹----圖像匹配的定義圖像匹配：

圖像匹配是指通過一定的匹配算法在兩幅或多幅圖像之間識別同名點(diǎn)，如二維圖像匹配中通過比較目標(biāo)區(qū)和搜索區(qū)中相同大小的窗口的相關(guān)系數(shù)，取搜索區(qū)中相關(guān)系數(shù)最大所對應(yīng)的窗口中心點(diǎn)作為同名點(diǎn)。其實(shí)質(zhì)是在基元相似性的條件下，運(yùn)用匹配準(zhǔn)則的最佳搜索問題。圖像匹配主要可分為以灰度為基礎(chǔ)的匹配和以特征為基礎(chǔ)的匹配。第3頁/共76頁圖像匹配是處理多源圖像信息融合、目標(biāo)識別等實(shí)際問題中的一個(gè)重要步驟。圖像匹配廣泛應(yīng)用于軍事、醫(yī)學(xué)、航空等多個(gè)重要科研領(lǐng)域。經(jīng)過圖像匹配后配準(zhǔn)，可以獲得質(zhì)量更高、清晰度更好、定位更準(zhǔn)確的目標(biāo)信息。

1.圖像匹配介紹----圖像匹配的意義第4頁/共76頁1.圖像匹配介紹----圖像匹配的應(yīng)用領(lǐng)域計(jì)算機(jī)視覺領(lǐng)域

--視頻監(jiān)控----對跟蹤的目標(biāo)區(qū)域進(jìn)行匹配跟蹤

第5頁/共76頁1.圖像匹配介紹----圖像匹配的應(yīng)用領(lǐng)域遙感領(lǐng)域--信息融合、環(huán)境監(jiān)視、圖像拼接、天氣預(yù)報(bào)以及地圖更新等第6頁/共76頁1.圖像匹配介紹----圖像配準(zhǔn)的應(yīng)用領(lǐng)域軍事領(lǐng)域--變化檢測、運(yùn)動(dòng)目標(biāo)指示、視點(diǎn)穩(wěn)定、大視場重構(gòu)、多通道融合、地形定位和導(dǎo)航

第7頁/共76頁1.圖像匹配介紹----圖像配準(zhǔn)的應(yīng)用領(lǐng)域醫(yī)學(xué)領(lǐng)域

--CT,MRT----圖像匹配后進(jìn)行融合可以得到更多的信息

第8頁/共76頁2.圖像匹配的分類第9頁/共76頁2.圖像匹配方法的分類2.1基于灰度的圖像匹配算法基于灰度的圖像匹配算法是直接利用匹配圖像的灰度值，選擇某種相似性度量函數(shù)，然后再通過圖像像素計(jì)算此度量值，最終根據(jù)計(jì)算結(jié)果進(jìn)行全局優(yōu)化后實(shí)現(xiàn)匹配。灰度匹配通過利用某種相似性度量度量函數(shù)可以是MMSE(最小均方誤差)、互相關(guān)值、SSDA

等。此類方法無需對圖像進(jìn)行分割和特征提取，自然避免了由這些預(yù)處理可能造成的圖像信息丟失而引起的匹配精度降低。這類方法主要的特點(diǎn)是在收斂速度、統(tǒng)計(jì)模型、匹配精度及最終的估計(jì)誤差方面均出現(xiàn)了較為成熟的研究成果，并且原理簡單容易理解。第10頁/共76頁2.1基于灰度的圖像匹配算法缺點(diǎn)：匹配速度比較慢；對圖像灰度值依賴性大；光照變化及噪聲等方面敏感度高。結(jié)論：正是由于此類方法沒有充分利用到灰度統(tǒng)計(jì)特性，因此不適應(yīng)匹配對象存在旋轉(zhuǎn)和縮放的情況下圖像的匹配問題，而且算法匹配計(jì)算量較大，效率偏低。第11頁/共76頁2.圖像匹配方法的分類2.2基于特征的圖像匹配算法基于特征的圖像匹配算法通常不直接依賴像素灰度值，而是會經(jīng)過較為復(fù)雜的圖像處理過程提取特征后再進(jìn)行匹配。特征匹配是指通過分別提取兩個(gè)或多個(gè)圖像的特征（點(diǎn)、線、面等特征），對特征進(jìn)行參數(shù)描述，然后運(yùn)用所描述的參數(shù)來進(jìn)行匹配的一種算法。其一般做法是利用兩幅圖像中對灰度變化、縮放、旋轉(zhuǎn)等均具有不變性的特征，用相似性度量函數(shù)對其進(jìn)行度量，從而得到相關(guān)值進(jìn)而完成圖像匹配。第12頁/共76頁2.2基于特征的圖像匹配算法優(yōu)點(diǎn)：能夠充分結(jié)合圖像灰度等相關(guān)特性，同時(shí)還可以有效去除因光照背景等條件不同時(shí)帶來的誤匹配問題。算法在圖像發(fā)生縮放變換和旋轉(zhuǎn)變換等現(xiàn)象時(shí)敏感度低，適應(yīng)性強(qiáng)，而對輕微扭曲或有一定噪聲的圖像較前者也有較好的匹配度。第13頁/共76頁2.2基于特征的圖像匹配算法缺點(diǎn)：算法涉及到大量的幾何和形態(tài)學(xué)方面的計(jì)算，使得計(jì)算量比較大，最終的計(jì)算時(shí)間太長而難以達(dá)到實(shí)時(shí)應(yīng)用的要求；由于此類算法通常需要針對不同的場合選擇合適的特征，所以并無統(tǒng)一模型可遵循。第14頁/共76頁3.匹配算法的一般步驟特征提取

特征匹配

估計(jì)變換模型

圖像重采樣及變換第15頁/共76頁3.匹配算法的一般步驟—特征提取特征提取是指分別提取兩幅圖像中共有的圖像特征。這種特征是出現(xiàn)在兩幅圖像中對比例、旋轉(zhuǎn)、平移等變換保持一致性的特征，如線交叉點(diǎn)、物體邊緣角點(diǎn)、虛圓閉區(qū)域的中心等可提取的特征。特征包括：點(diǎn)、線和面三類。

第16頁/共76頁點(diǎn)特征是最常采用的一種圖像特征，包括物體邊緣點(diǎn)、角點(diǎn)、線交叉點(diǎn)等；根據(jù)各特征點(diǎn)的興趣值將特征點(diǎn)分成幾個(gè)等級。對不同的目的，特征點(diǎn)的提取應(yīng)有所不同。

線特征是圖像中明顯的線段特征，如道路河流的邊緣，目標(biāo)的輪廓線等。線特征的提取一般分兩步進(jìn)行：首先采用某種算法提取出圖像中明顯的線段信息，然后利用限制條件篩選出滿足條件的線段作為線特征；面特征是指利用圖像中明顯的區(qū)域信息作為特征。在實(shí)際的應(yīng)用中最后可能也是利用區(qū)域的重心或圓的圓心點(diǎn)等作為特征。第17頁/共76頁3.匹配算法的一般步驟—特征提取特征點(diǎn)第18頁/共76頁3.匹配算法的一般步驟—特征提取直線第19頁/共76頁3.匹配算法的一般步驟—特征提取區(qū)域第20頁/共76頁3.1特征提取點(diǎn)特征提取方法

--Harris(HarrisCornerDetector)算法受信號處理中相關(guān)函數(shù)的啟發(fā)，給出與自相關(guān)函數(shù)相聯(lián)系的矩陣M，M矩陣的特征值是自相關(guān)函數(shù)的一階曲率，如果兩個(gè)曲率值都高，那么就認(rèn)為該點(diǎn)是角點(diǎn)，此方法對圖像旋轉(zhuǎn)、亮度變化、視角變化和噪聲的影響具有很好的魯棒性。

第21頁/共76頁3.1特征提取點(diǎn)特征提取方法--Susan(SusanCornerDetector)算法

SUSAN算法使用一個(gè)圓形的模板在圖像上滑動(dòng)，將位于圓形模板中心的待檢測的像素點(diǎn)稱為核心點(diǎn)。假設(shè)圖像為非紋理,核心點(diǎn)的鄰域被劃分為兩個(gè)區(qū)域:其一為亮度值等于(或相似于)核心點(diǎn)亮度的區(qū)域,稱為核值相似區(qū)(USAN),其二為亮度值不相似于核心點(diǎn)亮度的區(qū)域。第22頁/共76頁3.1特征提取點(diǎn)特征提取方法--Harris-LaplaceHarris算子能最穩(wěn)定地在圖像旋轉(zhuǎn)、光照變化、透視變換條件下提取二維平面特征點(diǎn)，但在三維尺度空間中，Harris探測子的重復(fù)探測性能不好，不同尺度Harris特征點(diǎn)存在位置誤差，Harris探測子不具有尺度和仿射不變性。而三維尺度空間中最穩(wěn)定高效的特征尺度探測算子是歸一化的Laplace算子。

第23頁/共76頁3.1特征提取點(diǎn)特征提取方法--Harris-LaplaceK.Mikolajczyk和C.Schmid結(jié)合了Harris和Laplace算子的優(yōu)點(diǎn)，提出了Harris-Laplace算子。Harris-Laplace特征點(diǎn)具有尺度和旋轉(zhuǎn)不變的特性，且對光照變換和小范圍視角變化具有穩(wěn)定性。第24頁/共76頁3.1特征提取點(diǎn)特征提取方法

--SIFT特征點(diǎn)提取使用DifferenceofGaussian(DoG)filter來建立尺度空間。在尺度空間上提取極值點(diǎn)。第25頁/共76頁3.1特征提取點(diǎn)特征提取方法--SURF特征點(diǎn)提取基于Hessian矩陣，它依靠Hessian矩陣行列式的局部最大值定位興趣點(diǎn)位置。對于圖像I中的某點(diǎn)X在尺度空間上的Hessian矩陣定義為:

其中，表示高斯二階偏導(dǎo)在X處與圖像I的卷積。、具有相似的含義。

第26頁/共76頁3.1特征提取點(diǎn)特征提取方法--FAST特征點(diǎn)提取

FAST(FeaturesfromAcceleratedSegmentTest)是對SUSAN角點(diǎn)提取算法的簡化，通過比較一個(gè)圓上16個(gè)像素點(diǎn)與中心像素點(diǎn)的灰度對比情況來判斷中心像素點(diǎn)是否為特征點(diǎn)。

第27頁/共76頁3.1特征提取點(diǎn)特征提取方法--Harris-Affine

--Hessian-Laplace--Hessian-Affine--Moravec算子

--Forstner算子

…第28頁/共76頁3.1特征提取線特征提取方法--Robert

--Sobel--Prewitt--Kirsch--Gauss-Laplace--Canny

…第29頁/共76頁3.1特征提取面特征提取方法--Mser使用不同的閾值對圖像進(jìn)行二值化，這個(gè)過程中，所有閾值圖像上形成的連接區(qū)域都是極小值區(qū)域，在閾值圖像的變化過程中，形成了一系列嵌套的極值區(qū)域組。在每組嵌套區(qū)域里，有一類性質(zhì)較為穩(wěn)定的區(qū)域，這類區(qū)域在較大閾值范圍內(nèi)具有較小的變化，被定義為“最穩(wěn)定極值區(qū)域”。第30頁/共76頁3.2特征匹配(2)利用相似度準(zhǔn)則進(jìn)行特征匹配

常用的相似性測度準(zhǔn)則:

歐氏距離,

馬氏距離,Hausdorff距離等。特征匹配

特征匹配分兩步：(1)對特征作描述

現(xiàn)有的主要特征描述子：SIFT特征描述子,SURF特征描述子，

對比度直方圖(CCH)，

DAISY特征描述子，

矩方法第31頁/共76頁3.2特征匹配特征描述

--SIFT特征描述子主要思想：一種基于圖像梯度分布的特征描述子。特點(diǎn)：抗干擾性好。但維數(shù)高，計(jì)算復(fù)雜度大。第32頁/共76頁3.2特征匹配特征描述

--SURF特征描述子主要思想：將特征點(diǎn)的周圍區(qū)域分成幾個(gè)子區(qū)域，用每個(gè)子區(qū)域內(nèi)像素點(diǎn)的X,Y方向的偏導(dǎo)和及其絕對值的和組成特征點(diǎn)的描述子。特點(diǎn)：有較好的抗亮度變化能力。但是該描述子要求使用積分圖像，限定了其應(yīng)用范圍。第33頁/共76頁3.2特征匹配特征描述

--對比度直方圖

主要思想：將特征點(diǎn)周圍區(qū)域的像素點(diǎn)與特征點(diǎn)的對比度形成直方圖來描述該特征點(diǎn)。特點(diǎn)：該方法比基于梯度的描述子要快。但描述力比基于梯度的要略微弱一點(diǎn)。第34頁/共76頁3.2特征匹配特征描述

--DAISY特征描述子主要思想：受SIFT算法和GLOH算法的啟發(fā)，將梯度加權(quán)和用幾個(gè)高斯方向偏導(dǎo)濾波器與原圖像進(jìn)行積分代替。特點(diǎn)：該描述子有和SIFT特征算子相似的優(yōu)點(diǎn)，但是速度比SIFT特征算子要快。第35頁/共76頁3.3估計(jì)變換模型空間變換模型是所有配準(zhǔn)技術(shù)中需要考慮的一個(gè)重要因素，各種配準(zhǔn)技術(shù)都要建立自己的變換模型，變換空間的選取與圖像的變形特性有關(guān)。常用的空間變換模型有：剛體變換、仿射變換、投影變換、非線性變換。第36頁/共76頁3.3估計(jì)變換模型3.3.1剛體變換模型剛體變換是平移、旋轉(zhuǎn)與縮放的組合，適用于具有相同視角，但拍攝位置不同的來自同一傳感器的兩幅圖像的配準(zhǔn)。剛體變換模型下，若點(diǎn)，分別為參考圖像和待配準(zhǔn)圖像中對應(yīng)的兩點(diǎn)，則它們之間滿足以下關(guān)系：第37頁/共76頁3.3估計(jì)變換模型3.3.2仿射變換模型如果第一幅圖像中的一條直線經(jīng)過變換后，映射到第二幅圖像上仍然為直線，且平行直線仍舊被映射為平行直線，這樣的變換稱為仿射變換。該變換保持直線間的平行關(guān)系，但由于引入了縮放參數(shù)，故它不能保持直線段的長度和角度

，若點(diǎn)，分別為參考圖像和待配準(zhǔn)圖像中對應(yīng)的兩點(diǎn)，則它們之間滿足以下關(guān)系：第38頁/共76頁3.3估計(jì)變換模型3.3.3投影變換模型如果第一幅圖像中的一條直線經(jīng)過變換后，映射到第二幅圖像上依然為直線，但平行關(guān)系不再保持，則稱這樣的變換稱為投影變換。投影變換具有8個(gè)參數(shù)，可以將成像設(shè)備的運(yùn)動(dòng)（如平移、旋轉(zhuǎn)、縮放等）描述得更為全面。若點(diǎn)，分別為參考圖像和待配準(zhǔn)圖像中對應(yīng)的兩點(diǎn)，則它們之間滿足以下關(guān)系：第39頁/共76頁3.3估計(jì)變換模型3.3.4非線性變換模型若第一幅圖像中的一條直線經(jīng)變換后，映射至第二幅圖像上不再是直線，我們把這樣的變換稱為非線性變換。在二維空間中，點(diǎn)經(jīng)非線性變換至點(diǎn)變換公式為：F表示把第一幅圖像映射到第二幅圖像上的任意一種函數(shù)形式。典型的非線性變換如多項(xiàng)式變換，在2D空間中，多項(xiàng)式函數(shù)可寫成如下形式：第40頁/共76頁3.4圖像重采樣及變換

在得到兩幅圖像間的變換參數(shù)后，要將輸入圖像做相應(yīng)參數(shù)的變換，使之與參考圖像處于同一坐標(biāo)系下，則校正后的輸入圖像與參考圖像可用作后續(xù)的圖像融合、目標(biāo)變化檢測處理或圖像鑲嵌；涉及輸入圖像變換后所得點(diǎn)坐標(biāo)不一定為整像素?cái)?shù)，則應(yīng)進(jìn)行插值處理。常用的插值算法有最近鄰域法、雙線性插值法和立方卷積插值法。第41頁/共76頁關(guān)鍵點(diǎn)的匹配可以采用窮舉法來完成，但是這樣耗費(fèi)的時(shí)間太多，一般都采用一種叫k-d樹的數(shù)據(jù)結(jié)構(gòu)來完成搜索。搜索的內(nèi)容是以目標(biāo)圖像的關(guān)鍵點(diǎn)為基準(zhǔn)，搜索與目標(biāo)圖像的特征點(diǎn)最鄰近的原圖像特征點(diǎn)和次鄰近的原圖像特征點(diǎn)。3.5關(guān)鍵點(diǎn)匹配K-d樹是一個(gè)平衡二叉樹第42頁/共76頁SIFT簡介

1999年BritishColumbia大學(xué)大衛(wèi).勞伊（DavidG.Lowe）教授總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測方法，并正式提出了一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子－SIFT（尺度不變特征變換），這種算法在2004年被加以完善。SIFT主要思想SIFT算法是一種提取局部特征的算法，在尺度空間尋找極值點(diǎn)，提取位置，尺度，旋轉(zhuǎn)不變量。4、匹配的主要算法-SIFT算法第43頁/共76頁基于點(diǎn)特征

--SIFT算法

SIFT特征匹配算法包括兩個(gè)階段，SIFT特征的生成與SIFT特征向量的匹配。SIFT特征向量的生成算法共包括4步：尺度空間極值檢測，以初步確定關(guān)鍵點(diǎn)位置和所在尺度；擬和三維二次函數(shù)精確確定位置和尺度，同時(shí)去除低對比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)；利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性；生成SIFT特征向量；4.匹配的主要算法-SIFT算法第44頁/共76頁SIFT算法具體步驟：（1）檢測尺度空間極值點(diǎn)（2）精確定位極值點(diǎn)（3）為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)（4）關(guān)鍵點(diǎn)描述子的生成4.匹配的主要算法-SIFT算法第45頁/共76頁尺度空間（scalespace）定義：

我們要精確表示的物體都是通過一定的尺度來反映的。現(xiàn)實(shí)世界的物體也總是通過不同尺度的觀察而得到不同的變化。尺度空間理論最早在1962年提出，其主要思想是通過對原始圖像進(jìn)行尺度變換，獲得圖像多尺度下的尺度空間表示序列，對這些序列進(jìn)行尺度空間主輪廓的提取，并以該主輪廓作為一種特征向量，實(shí)現(xiàn)邊緣、角點(diǎn)檢測和不同分辨率上的特征提取等。尺度空間中各尺度圖像的模糊程度逐漸變大，能夠模擬人在距離目標(biāo)由近到遠(yuǎn)時(shí)目標(biāo)在視網(wǎng)膜上的形成過程。

4.SIFT算法-尺度空間的生成第46頁/共76頁4.SIFT算法-尺度空間的生成尺度空間理論目的是模擬圖像數(shù)據(jù)的多尺度特征。高斯卷積核是實(shí)現(xiàn)尺度變換的唯一線性核，一副二維圖像的尺度空間定義為：其中是尺度可變的高斯函數(shù)，（x，y）是空間坐標(biāo)，是尺度坐標(biāo)。大小決定圖像的平滑程度，大尺度對應(yīng)圖像的概貌特征，小尺度對應(yīng)圖像的細(xì)節(jié)特征。大的值對應(yīng)粗糙尺度(低分辨率)，反之，對應(yīng)精細(xì)尺度(高分辨率)。為了有效的在尺度空間檢測到穩(wěn)定的關(guān)鍵點(diǎn)，提出了高斯差分尺度空間（DOGscale-space）。利用不同尺度的高斯差分核與圖像卷積生成。第47頁/共76頁4.SIFT算法-尺度空間的生成下圖所示不同σ下圖像尺度空間：關(guān)于尺度空間的理解說明：2kσ中的2是必須的，尺度空間是連續(xù)的。在Lowe的論文中，將第0層的初始尺度定為1.6（最模糊），圖片的初始尺度定為0.5（最清晰）。在檢測極值點(diǎn)前對原始圖像的高斯平滑以致圖像丟失高頻信息，所以Lowe建議在建立尺度空間前首先對原始圖像長寬擴(kuò)展一倍，以保留原始圖像信息，增加特征點(diǎn)數(shù)量。尺度越大圖像越模糊。第48頁/共76頁4.SIFT算法-圖像金字塔的構(gòu)建以多分辨率來解釋圖像的一種有效但概念簡單的結(jié)構(gòu)就是圖像金字塔。其優(yōu)勢很明顯，某種分辨率下無法發(fā)現(xiàn)的特性在另一種分辨率下將很容易被發(fā)現(xiàn)。圖像金字塔是一個(gè)圖像集合，集合中所有的圖像都源于同一個(gè)原始圖像，而且是通過對原始圖像連續(xù)降采樣獲得，直到達(dá)到某個(gè)中止條件才停止降采樣。（當(dāng)然，降為一個(gè)像素肯定是中止條件。）有兩種類型的圖像金字塔常常出現(xiàn)在文獻(xiàn)和應(yīng)用中：高斯金字塔用來向下降采樣圖像，而拉普拉斯金字塔則用來從金字塔低層圖像中向上采樣重建一個(gè)圖像。第49頁/共76頁4.SIFT算法-圖像金字塔的構(gòu)建要從金字塔第i層生成第i+1層，我們先要用高斯核對第i層進(jìn)行卷積，然后刪除所有偶數(shù)行和偶數(shù)列。當(dāng)然，新得到的圖像面積會變?yōu)樵磮D像的四分之一。按上述過程對輸入圖像循環(huán)執(zhí)行操作就可產(chǎn)生整個(gè)金字塔。Opencv為我們提供了從金字塔中上一級圖像生成下一級圖像的方法：cvPyrDown。同樣，我們可以通過后面相似的函數(shù)（但不是降采樣的逆操作）將現(xiàn)有的圖像在每個(gè)維度上都放大兩倍：cvPyrUp。在這種情況下，圖像首先在每個(gè)維度上都擴(kuò)大為原來的兩倍，新增的行（偶數(shù)行）以0填充。然后給指定的濾波器進(jìn)行卷積（實(shí)際上是一個(gè)在每一維上都擴(kuò)大為兩倍的過濾器）去估計(jì)”丟失“像素的近似值。我們之前注意到函數(shù)cvPyrUp并不是函數(shù)cvPyrDown的逆操作。之所以這樣是因?yàn)閏vPyrDown是一個(gè)會丟失信息的函數(shù)。為了恢復(fù)原來（更高的分辨率）的圖像，我們需要獲得由降采樣操作丟失的信息。第50頁/共76頁4.SIFT算法-圖像金字塔的構(gòu)建對于一幅圖像I,建立其在不同尺度(scale)的圖像，也成為子八度（octave），這是為了scale-invariant，也就是在任何尺度都能夠有對應(yīng)的特征點(diǎn)，第一個(gè)子八度的scale為原圖大小，后面每個(gè)octave為上一個(gè)octave降采樣的結(jié)果，即原圖的1/4（長寬分別減半），構(gòu)成下一個(gè)子八度（高一層金字塔）。第51頁/共76頁高斯金字塔4.SIFT算法-圖像金字塔的構(gòu)建第52頁/共76頁生成的高斯差分圖像4.SIFT算法-圖像金字塔的構(gòu)建第53頁/共76頁4.SIFT算法-空間極值點(diǎn)檢測為了尋找尺度空間的極值點(diǎn)，每一個(gè)采樣點(diǎn)要和它所有的相鄰點(diǎn)比較，看其是否比它的圖像域和尺度域的相鄰點(diǎn)大或者小。如下圖所示，中間的檢測點(diǎn)和它同尺度的8個(gè)相鄰點(diǎn)和上下相鄰尺度對應(yīng)的9×2個(gè)點(diǎn)共26個(gè)點(diǎn)比較，以確保在尺度空間和二維圖像空間都檢測到極值點(diǎn)。一個(gè)點(diǎn)如果在DOG尺度空間本層以及上下兩層的26個(gè)領(lǐng)域中是最大或最小值時(shí)，就認(rèn)為該點(diǎn)是圖像在該尺度下的一個(gè)特征點(diǎn)。DoG尺度空間局部極值檢測第54頁/共76頁4.SIFT算法-空間極值點(diǎn)檢測第55頁/共76頁通過擬和三維二次函數(shù)以精確確定關(guān)鍵點(diǎn)的位置和尺度（達(dá)到亞像素精度），同時(shí)去除低對比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)(因?yàn)镈oG算子會產(chǎn)生較強(qiáng)的邊緣響應(yīng))，以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力。4.SIFT算法-精確確定極值點(diǎn)位置第56頁/共76頁4.SIFT算法-關(guān)鍵點(diǎn)方向匹配利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。式中為梯度的模值，為方向公式。其中L所用的尺度為每個(gè)關(guān)鍵點(diǎn)各自所在的尺度。第57頁/共76頁4.SIFT算法-關(guān)鍵點(diǎn)方向匹配在實(shí)際計(jì)算時(shí)，我們在以關(guān)鍵點(diǎn)為中心的鄰域窗口內(nèi)采樣，并用直方圖統(tǒng)計(jì)鄰域像素的梯度方向。梯度直方圖的范圍是0～360度，其中每10度一個(gè)柱，總共36個(gè)柱。直方圖的峰值則代表了該關(guān)鍵點(diǎn)處鄰域梯度的主方向，即作為該關(guān)鍵點(diǎn)的方向，如下圖所示：至此，圖像的關(guān)鍵點(diǎn)已檢測完畢，每個(gè)關(guān)鍵點(diǎn)有三個(gè)信息：位置、所處尺度、方向。由此可以確定一個(gè)SIFT特征區(qū)域。由梯度方向直方圖確定主梯度方向第58頁/共76頁4.SIFT算法-特征點(diǎn)描述子生成首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向，以確保旋轉(zhuǎn)不變性。接下來以關(guān)鍵點(diǎn)為中心取8×8的窗口。下圖左部分的中央黑點(diǎn)為當(dāng)前關(guān)鍵點(diǎn)的位置，每個(gè)小格代表關(guān)鍵點(diǎn)鄰域所在尺度空間的一個(gè)像素，利用前面公式求得每個(gè)像素的梯度幅值,與梯度方向，箭頭方向代表該像素的梯度方向，箭頭長度代表梯度模值。然后在每4×4的小塊上計(jì)算8個(gè)方向的梯度方向直方圖，繪制每個(gè)梯度方向的累加值，即可形成一個(gè)種子點(diǎn)，如上圖右部分所示。此圖中一個(gè)關(guān)鍵點(diǎn)由2×2共4個(gè)種子點(diǎn)組成，每個(gè)種子點(diǎn)有8個(gè)方向向量信息。這種鄰域方向性信息聯(lián)合的思想增強(qiáng)了算法抗噪聲的能力，同時(shí)對于含有定位誤差的特征匹配也提供了較好的容錯(cuò)性。第59頁/共76頁當(dāng)兩幅圖像的SIFT特征向量生成后，下一步我們采用關(guān)鍵點(diǎn)特征向量的歐式距離來作為兩幅圖像中關(guān)鍵點(diǎn)的相似性判定度量。取圖像1中的某個(gè)關(guān)鍵點(diǎn)，并找出其與圖像2中歐式距離最近的前兩個(gè)關(guān)鍵點(diǎn)，在這兩個(gè)關(guān)鍵點(diǎn)中，如果最近的距離除以次近的距離少于某個(gè)比例閾值，則接受這一對匹配點(diǎn)。降低這個(gè)比例閾值，SIFT匹配點(diǎn)數(shù)目會減少，但更加穩(wěn)定。4.SIFT算法-特征匹配第60頁/共76頁4.SIFT算法-特征匹配過程第61頁/共76頁Sift特征是圖像的局部特征，對平移、旋轉(zhuǎn)、尺度縮放、亮度變化、遮擋和噪聲等具有良好的不變性，對視覺變化、仿射變換也保持一定程度的穩(wěn)定性。獨(dú)特性好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進(jìn)行快速、準(zhǔn)確的匹配。多量性，即使少數(shù)的幾個(gè)物體也可以產(chǎn)生大量Sift特征向量。速度相對較快，經(jīng)優(yōu)化的Sift匹配算法甚至可以達(dá)到實(shí)時(shí)的要求?？蓴U(kuò)展性強(qiáng)，可以很方便的與其他形式的特征向量進(jìn)行聯(lián)合。4.SIFT算法的特性第62頁/共76頁

4.實(shí)驗(yàn)結(jié)果－視角和旋轉(zhuǎn)變化視角變化旋轉(zhuǎn)+尺度變化第63頁/共76頁4.實(shí)驗(yàn)結(jié)果－光照和尺度變化光照變化尺度變化第64頁/共76頁

來自網(wǎng)友的創(chuàng)意——周正龍的老虎圖1周正龍的華南虎照片與年畫上的華南虎照片12點(diǎn)匹配圖2周正龍的華南虎照片與真實(shí)的華南虎照片0點(diǎn)匹配4.SIFT實(shí)驗(yàn)結(jié)果第65頁/共76頁

SIFT在圖像的不變特征提取方面擁有無與倫比的優(yōu)勢，但其并不是完美的，仍然存在著實(shí)時(shí)性不高、有時(shí)特征點(diǎn)較少、對邊緣模糊的目標(biāo)無法準(zhǔn)確提取特征點(diǎn)等缺陷。自從1999年，SIFT算法問世以來，人們從未停止對它的優(yōu)化和改進(jìn)。4.匹配算法的主要方法第66頁/共76頁4.匹配算法的主要方法基于點(diǎn)

--SIFT算法的幾種擴(kuò)展PCA-SIFT

PCA-SIFT與標(biāo)準(zhǔn)sift有相同的亞像素位置（sub-pixel），尺度（scale）和主方向（dominantorientations），但在第4步計(jì)算描述子的時(shí)候，它用特征點(diǎn)周圍的41×41的像元計(jì)算它的主元，并用PCA-SIFT將原來的2×39×39維的向量降成20維，以達(dá)到更精確的表示方式。

GLOH(Gradientlocation-orientationhistogram)

把原來SIFT中4×4棋盤格的locationbins改成仿射狀的同心圓的17locationbins來表示，并計(jì)算其中的梯度方向直方圖（梯度方向分為16種），因此共16×17＝272維，之后再作PCA將其降成128維，因此保有跟SIFT一樣精簡的表示方法。

第67頁/共76頁

CSIFT（Coloredscaleinvariantfeaturetransform）彩色尺度特征不變變換，可以針對彩色圖