sift算法講解課件.ppt

SIFT特征匹配技術(shù) 任甲元鄭舒穎金喆 圖像配準(zhǔn)結(jié)果 典型應(yīng)用 關(guān)鍵技術(shù) 局部特征提取 局部特征 感興趣區(qū)域檢測 描述子 感興趣區(qū)域 描述子 DavidLoweComputerScienceDepartment2366MainMallUniversityofBritishColumbiaVancouver B C V6T1Z4 CanadaE mail lowe cs ubc ca 作者簡介 SIFT概述 SIFT算法由D G Lowe1999年提出 2004年完善總結(jié) 此后Y Ke將其描述子部分用PCA代替直方圖的方式 對其進(jìn)行改進(jìn) 定義 SIFT算法是一種提取局部特征的算法 在尺度空間尋找極值點(diǎn) 提取位置 尺度 旋轉(zhuǎn)不變量 特點(diǎn) 1 SIFT特征是圖像的局部特征 其對旋轉(zhuǎn) 尺度縮放 亮度變化保持不變性 對視角變化 仿射變換 噪聲也保持一定程度的穩(wěn)定性 2 獨(dú)特性 Distinctiveness 好 信息量豐富 適用于在海量特征數(shù)據(jù)庫中進(jìn)行快速 準(zhǔn)確的匹配 3 多量性 即使少數(shù)的幾個(gè)物體也可以產(chǎn)生大量的SIFT特征向量 4 高速性 經(jīng)優(yōu)化的SIFT匹配算法甚至可以達(dá)到實(shí)時(shí)的要求 5 可擴(kuò)展性 可以很方便的與其他形式的特征向量進(jìn)行聯(lián)合 1 檢測尺度空間極值點(diǎn) 2 精確定位極值點(diǎn) 關(guān)鍵點(diǎn)檢測 3 為每個(gè)關(guān)鍵點(diǎn)指定方向 4 關(guān)鍵點(diǎn)描述子的生成 描述子生成 SIFT概述 2 精確定位極值點(diǎn) 關(guān)鍵點(diǎn)檢測 3 為每個(gè)關(guān)鍵點(diǎn)指定方向 4 關(guān)鍵點(diǎn)描述子的生成 描述子生成 1 檢測尺度空間極值點(diǎn) SIFT概述 尺度空間極值點(diǎn)檢測 尺度空間極值點(diǎn)檢測 尺度空間 二維尺度可變高斯核函數(shù) 濾波函數(shù) 高斯核和高斯微分是尺度空間分析的惟一平滑核 本實(shí)驗(yàn)采用一維高斯函數(shù) 空間坐標(biāo) 尺度空間因子 坐標(biāo) 二維圖像函數(shù) 高斯差分尺度空間 DOGscale space 是尺度歸一化LOG算子的近似 高斯金字塔的構(gòu)建 高斯金字塔共o 7 階 每階有s 6 層 下一階的圖像由上一階圖像降采樣得到 尺度空間極值點(diǎn)檢測 歸一化 歸一化 gray0 135791011 歸一化 gray0 135791011gray1 02468910 歸一化 gray0 135791011gray1 02468910gray2 02 104 106 108 109 101 歸一化 gray0 135791011gray1 02468910gray2 02 104 106 108 109 1010 gray2 1 放大一倍 放大一倍 放大一倍 放大一倍 放大一倍 放大一倍 放大一倍 放大一倍 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 在3x3x3鄰域內(nèi)選擇所有的極值中間的檢測點(diǎn)和尺度空間共26個(gè)點(diǎn)比較 尺度空間極值點(diǎn)檢測 關(guān)鍵點(diǎn)檢測 3 為每個(gè)關(guān)鍵點(diǎn)指定方向 4 關(guān)鍵點(diǎn)描述子的生成 描述子生成 SIFT概述 2 精確定位極值點(diǎn) 1 檢測尺度空間極值點(diǎn) x 采樣 極值點(diǎn)定位 兩步檢驗(yàn) 1 必須與周圍的像素有明顯的差異 即濾除低對比度的點(diǎn) 2 不能是邊緣點(diǎn) 因?yàn)镈OG算子會產(chǎn)生較強(qiáng)的邊緣響應(yīng) 目的 增強(qiáng)匹配穩(wěn)定性 提高抗噪聲能力 方法 擬合三維二次方程 找出低對比度的點(diǎn)泰勒序列展開式 其中 D是DOG計(jì)算的結(jié)果 x是候選關(guān)鍵點(diǎn)之一最小化的到真正的極值 偏移量 當(dāng) 則該點(diǎn)是低對比度的點(diǎn) 關(guān)鍵點(diǎn)濾除 低對比度點(diǎn)的濾除 關(guān)鍵點(diǎn)濾除 邊緣響應(yīng)的濾除 一個(gè)定義好的高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率 而在垂直邊緣的方向有較小的主曲率 主曲率 Hessian矩陣 D的主曲率和H的特征值成正比 令為最大特征值 為最小的特征值 為了檢測主曲率是否在某閾值r下 只需檢測 關(guān)鍵點(diǎn)濾除 邊緣響應(yīng)的去除 令 則 的值在兩個(gè)特征值相等的時(shí)候最小 隨著的增大而增大 文章中 若不滿足上式 則是邊緣的點(diǎn) 沒有進(jìn)行任何處理的關(guān)鍵點(diǎn) 去除了低對比度之后的點(diǎn) 去除邊界相應(yīng)的點(diǎn) 關(guān)鍵點(diǎn)檢測 4 關(guān)鍵點(diǎn)描述子的生成 描述子生成 SIFT概述 3 為每個(gè)關(guān)鍵點(diǎn)指定方向 1 檢測尺度空間極值點(diǎn) 2 精確定位極值點(diǎn) 選擇一系列好的關(guān)鍵點(diǎn)選擇每個(gè)關(guān)鍵點(diǎn)周圍的一個(gè)區(qū)域去除尺度和旋轉(zhuǎn)的影響 關(guān)鍵點(diǎn)方向分配 采用梯度直方圖來確定關(guān)鍵點(diǎn)的方向用點(diǎn)的尺度選擇正確的圖像用有限差分計(jì)算梯度的模值和方向 關(guān)鍵點(diǎn)方向分配 關(guān)鍵點(diǎn)方向分配 實(shí)際計(jì)算中 在以關(guān)鍵點(diǎn)為中心的鄰域窗口內(nèi)采樣 并用直方圖統(tǒng)計(jì)鄰域像素的梯度方向 梯度直方圖的范圍是0 360度 其中每10度一個(gè)柱 總共36個(gè)柱 直方圖的峰值代表關(guān)鍵點(diǎn)處鄰域梯度的主方向 即作為該關(guān)鍵點(diǎn)的方向 在梯度方向直方圖中 當(dāng)存在另一個(gè)相當(dāng)于主峰值80 能量的峰值時(shí) 則將這個(gè)方向認(rèn)為是該關(guān)鍵點(diǎn)的輔方向 一個(gè)關(guān)鍵點(diǎn)可能會被指定具有多個(gè)方向 一個(gè)主方向 一個(gè)以上輔方向 可以增強(qiáng)匹配的魯棒性 每個(gè)關(guān)鍵點(diǎn)有三個(gè)信息 位置 所處尺度 方向 由此可以確定一個(gè)SIFT特征區(qū)域 關(guān)鍵點(diǎn)方向分配 關(guān)鍵點(diǎn)檢測 3 為每個(gè)關(guān)鍵點(diǎn)指定方向 描述子生成 SIFT概述 4 關(guān)鍵點(diǎn)描述子的生成 1 檢測尺度空間極值點(diǎn) 2 精確定位極值點(diǎn) 特征點(diǎn)描述子 1 首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向 以確保旋轉(zhuǎn)不變性 2 以關(guān)鍵點(diǎn)為中心取8 8的窗口 3 在每4 4的小塊上計(jì)算8個(gè)方向的梯度方向直方圖 繪制每個(gè)梯度方向的累加值 即可形成一個(gè)種子點(diǎn) 鄰域方向性信息聯(lián)合的思想增強(qiáng)了算法抗噪聲的能力 同時(shí)對于含有定位誤差的特征匹配也提供了較好的容錯(cuò)性 特征點(diǎn)描述子 實(shí)際計(jì)算過程中 為了增強(qiáng)匹配的穩(wěn)健性 建議對每個(gè)關(guān)鍵字使用4 4共16個(gè)種子點(diǎn)來描述 這樣對于一個(gè)關(guān)鍵點(diǎn)就可以產(chǎn)生128個(gè)數(shù)據(jù) 最終形成128維SIFT特征向量 此時(shí)SIFT特征向量已經(jīng)去除了尺度變化 旋轉(zhuǎn)等幾何變化因素的影響 再繼續(xù)將特征向量的長度歸一化 則可以進(jìn)一步去除光照變化的影響 當(dāng)兩幅圖像的SIFT特征向量生成后 下一步采用關(guān)鍵點(diǎn)特征向量的歐式距離來作為兩幅圖像中關(guān)鍵點(diǎn)的相似性判定度量 取圖像1中的某個(gè)關(guān)鍵點(diǎn) 并找出其與圖像2中歐氏距離最近的前兩個(gè)關(guān)鍵