局部不變性特征描述子詳解演示文稿

局部不變性特征描述子詳解演示文稿當(dāng)前第1頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)優(yōu)選局部不變性特征描述子當(dāng)前第2頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)1.圖像分析的目的從圖像中獲取待研究目標(biāo)的有用信息，讓計(jì)算機(jī)機(jī)具有認(rèn)識(shí)、理解、識(shí)別圖像的能力圖像描述：用一組數(shù)字量或符號(hào)(描述子)來(lái)表征圖像中被描述物體的某些特征3.1基本概念當(dāng)前第3頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)圖像中的區(qū)域(目標(biāo))，可用其內(nèi)部(如組成區(qū)域的象素集合)表示，也可用其外部(如組成區(qū)域邊界的象素集合)表示關(guān)心區(qū)域的反射性質(zhì)如灰度、顏色、紋理等關(guān)心區(qū)域的形狀等選定了表達(dá)方法，還需要對(duì)目標(biāo)進(jìn)行描述，使計(jì)算機(jī)能充分利用所能獲得的分割或者其他結(jié)果表達(dá)是直接具體的表示目標(biāo)。好的表達(dá)方法應(yīng)具有節(jié)省存儲(chǔ)空間、易于特征計(jì)算等優(yōu)點(diǎn)描述是較抽象的表示目標(biāo)。好的描述應(yīng)在盡可能區(qū)別不同目標(biāo)的基礎(chǔ)上對(duì)目標(biāo)的尺度、平移、旋轉(zhuǎn)等不敏感當(dāng)前第4頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)2.特征提取的廣義定義根據(jù)待識(shí)別的圖像的特點(diǎn)，通過(guò)計(jì)算機(jī)的計(jì)算產(chǎn)生的一組原始特征來(lái)表示原始圖像，稱(chēng)之為特征形成，一般稱(chēng)為特征提取。3.狹義定義特征提?。涸谠继卣骰A(chǔ)上選擇一些主要特征作為判別用的特征，以達(dá)到降低特征空間維數(shù)的目的?？蓞^(qū)別性、可靠性、獨(dú)立性好、數(shù)量少特征選擇：原始樣本處于一個(gè)高維空間中，采用某種變換技術(shù)，將高維特征變換或映射到低維空間，得到最具代表性的較少的綜合低維特征。

當(dāng)前第5頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)色圖像特征形顏色特征亮度信息特征（光譜）幾何形狀邊緣特征紋理特征空間關(guān)系色調(diào)、顏色、陰影、反差形狀、大小、空間布局、紋理

圖像特征當(dāng)前第6頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)特征類(lèi)別像素級(jí)特征：從每一個(gè)像素點(diǎn)計(jì)算的特征，如顏色、位置局部特征：從局部的區(qū)域計(jì)算的特征，如關(guān)鍵點(diǎn)（興趣點(diǎn)）、局部區(qū)域，等全局特征：從整個(gè)圖像級(jí)提取的特征形態(tài)特征vs.紋理特征當(dāng)前第7頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)紋理特征紋理是一個(gè)模糊的概念，無(wú)統(tǒng)一的定義由許多互相接近的、互相編織的元素構(gòu)成，并常富有周期性，如小成分構(gòu)造，最典型的如紡織品纖維的結(jié)構(gòu)紋理描述很少用到邊緣檢測(cè)特點(diǎn)：不是基于像素點(diǎn)的特征，它需要在包含多個(gè)像素點(diǎn)的區(qū)域中進(jìn)行統(tǒng)計(jì)計(jì)算局部區(qū)域中像素位置之間的相關(guān)性當(dāng)前第8頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)局部特征不是關(guān)鍵，其若干不變性（旋轉(zhuǎn)不變性、尺度不變性、仿射不變性、灰度不變性等）才是局部特征研究發(fā)展的關(guān)鍵！熵、能量、部分矩具有旋轉(zhuǎn)不變性，還具有尺度不變性不變性：假設(shè)有一個(gè)函數(shù)f(x)和變換G，如果滿(mǎn)足f(G(x))=f(x)，也就是作用在自變量x上的變換并不改變函數(shù)的值，則稱(chēng)f具有G不變性。協(xié)變性：如果f和G滿(mǎn)足交換律，即f(G(x))=G(f(x))，則f對(duì)于變換G具有協(xié)變性。3.2局部特征當(dāng)前第9頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)幾何變形包括5部分：平移，Euclidean（平移+旋轉(zhuǎn)），相似（平移+旋轉(zhuǎn)+縮放），仿射變換，透視變換圖像幾何變換的實(shí)質(zhì)：改變像素的空間位置或估算新空間位置上的像素值圖像幾何變換的一般表達(dá)式其中，[u,v]為變換后圖像像素的笛卡爾坐標(biāo)，[x,y]為原始圖像中像素的笛卡爾坐標(biāo)。當(dāng)前第10頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)1）平移變換

若圖像像素點(diǎn)平移到，則變換函數(shù)為

寫(xiě)成矩陣表達(dá)式為：其中，和分別為x和y的坐標(biāo)平移量。注意：平移后的景物與原圖像相同，但“畫(huà)布”一定是擴(kuò)大了。否則就會(huì)丟失信息。當(dāng)前第11頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)2）比例縮放

若圖像坐標(biāo)縮放到()倍，則變換函數(shù)為：其中,分別x和y坐標(biāo)的縮放因子，其大于1表示放大，小于1表示縮小。當(dāng)前第12頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)3）旋轉(zhuǎn)變換

將輸入圖像繞笛卡爾坐標(biāo)系的原點(diǎn)逆時(shí)針旋轉(zhuǎn)θ角度，則變換后圖像坐標(biāo)為：這個(gè)計(jì)算公式計(jì)算出的值為小數(shù)，而坐標(biāo)值為正整數(shù)這個(gè)計(jì)算公式計(jì)算的結(jié)果值所在范圍與原來(lái)的值所在的范圍不同因此需要前期處理：擴(kuò)大畫(huà)布，取整處理，平移處理旋轉(zhuǎn)后處理：插值

當(dāng)前第13頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)4）仿射變換

圖像仿射變換提出的意義是采用通用的數(shù)學(xué)影射變換公式，來(lái)表示前面給出的幾何變換。平移、比例縮放和旋轉(zhuǎn)變換都是一種稱(chēng)為仿射變換的特殊情況。當(dāng)前第14頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)仿射變換性質(zhì)仿射變換有6個(gè)自由度（對(duì)應(yīng)變換中的6個(gè)系數(shù)），因此，仿射變換后互相平行直線(xiàn)仍然為平行直線(xiàn)，三角形映射后仍是三角形。但卻不能保證將四邊形以上的多邊形映射為等邊數(shù)的多邊形。仿射變換的乘積和逆變換仍是仿射變換。仿射變換能夠?qū)崿F(xiàn)平移、旋轉(zhuǎn)、縮放等幾何變換。當(dāng)前第15頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)5）透視變換把物體的三維圖像表示轉(zhuǎn)變?yōu)槎S表示的過(guò)程，稱(chēng)為透視變換，也稱(chēng)為投影映射，其表達(dá)式為:

透視變換也是一種平面映射，并且可以保證任意方向上的直線(xiàn)經(jīng)過(guò)透視變換后仍然保持是直線(xiàn)。透視變換具有9個(gè)自由度（其變換系數(shù)為9個(gè)），故可以實(shí)現(xiàn)平面四邊形到四邊形的映射。當(dāng)前第16頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)局部特征性質(zhì)局部圖像特征描述的核心問(wèn)題是不變性、魯棒性和可區(qū)分性。不變性：指局部特征不隨圖像大的變形而改變。對(duì)于大的圖像變形往往需要先對(duì)這些變形進(jìn)行建模，然后再設(shè)計(jì)不受這些變形影響的特征檢測(cè)算法。魯棒性：指局部特征對(duì)于小的變形應(yīng)該不敏感。這類(lèi)變形包括圖像噪聲、離散化效應(yīng)、壓縮、圖像模糊等，以及由于數(shù)學(xué)建模而引入的小的幾何或成像形變等。可區(qū)分性：特征具有區(qū)別不同類(lèi)別的能力?？蓞^(qū)分性的強(qiáng)弱往往和其不變性是矛盾的。一個(gè)具有眾多不變性的特征描述子，其區(qū)分局部圖像內(nèi)容的能力就稍弱；而如果一個(gè)非常容易區(qū)分不同局部圖像內(nèi)容的特征描述子，它的魯棒性往往比較低。當(dāng)前第17頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)局部特征應(yīng)用舉例圖像配準(zhǔn)圖像表示目標(biāo)識(shí)別全景圖像拼接。。。局部特征的發(fā)展趨勢(shì)快速、低存儲(chǔ)當(dāng)前第18頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)SIFT——里程碑式的工作SURF3.3典型算法當(dāng)前第19頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)尺度3.3.1尺度空間理論廣義尺度制圖尺度地圖比例尺圖上距離與實(shí)際距離之比大比例尺→小范圍、詳細(xì)信息地理尺度觀(guān)測(cè)尺度研究的空間范圍或大小如：大尺度覆蓋大的研究區(qū)域分辨率測(cè)量尺度區(qū)分目標(biāo)的最小可分辨單元(如：像元)運(yùn)行尺度有效尺度地學(xué)現(xiàn)象發(fā)生的空間范圍一定環(huán)境中發(fā)揮效應(yīng)的尺度如：森林比樹(shù)的運(yùn)行尺度大空間尺度時(shí)間尺度語(yǔ)義尺度當(dāng)前第20頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)尺度空間方法的基本思想：在視覺(jué)信息(圖像信息)處理模型中引入一個(gè)被視為尺度的參數(shù)，通過(guò)連續(xù)變化尺度參數(shù)獲得不同尺度下的視覺(jué)處理信息，然后綜合這些信息以深入地挖掘圖像的本質(zhì)特征。尺度空間方法將傳統(tǒng)的單尺度視覺(jué)信息處理技術(shù)納入尺度不斷變化的動(dòng)態(tài)分析框架中，因此更容易獲得圖像的本質(zhì)特征。圖像的尺度空間表達(dá)指的是圖像在所有尺度下的描述。3.3.1尺度空間理論當(dāng)前第21頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)尺度空間理論是通過(guò)對(duì)原始圖像進(jìn)行尺度變換，獲得圖像多尺度下的尺度空間表示序列，對(duì)這些序列進(jìn)行尺度空間主輪廓的提取，并以該主輪廓作為一種特征向量，實(shí)現(xiàn)邊緣、角點(diǎn)檢測(cè)和不同分辨率上的特征提取等。尺度空間表示是一種基于區(qū)域而不是基于邊緣的表達(dá)，它無(wú)需關(guān)于圖像的先驗(yàn)知識(shí)。尺度空間理論屬于CV中圖像的多分辨率分析。3.3.1尺度空間理論當(dāng)前第22頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)金字塔多分辨率一個(gè)金字塔表達(dá)，通常結(jié)合濾波和二次抽樣連續(xù)地減少圖像尺寸來(lái)生成。常用的金字塔結(jié)構(gòu)有Gaussian金字塔、Laplacian金字塔、小波金字塔等。金字塔影像是一種較老的尺度表示方法，結(jié)合了降采樣操作和平滑處理，它的一個(gè)很大的好處是：自下而上每一層的像素?cái)?shù)都不斷減少，這會(huì)大大減少計(jì)算量，而缺點(diǎn)是這種自下而上的金字塔在尺度量化方向顯得較為粗糙。當(dāng)前第23頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)金字塔影像圖像金字塔是以多分辨率來(lái)解釋圖像的一種結(jié)構(gòu)。一般按照2n(n=0,1,2…)取平均得到。最底層的影像對(duì)應(yīng)原始影像。通過(guò)每2x2=4個(gè)像素平均，即可構(gòu)成2級(jí)影像級(jí)，如此類(lèi)推，即可構(gòu)成多級(jí)金字塔影像。每一級(jí)(2i)影像的像素總數(shù)對(duì)于前一級(jí)(2i-1)影像以4的倍數(shù)縮小(也可通過(guò)3x3=9個(gè)平均像素來(lái)建立影像級(jí))。常采用的是高斯金字塔影像生成算法，構(gòu)成金字塔的層數(shù)，應(yīng)當(dāng)根據(jù)影像的分辨率、影像可能的噪聲、影像的大小及相關(guān)計(jì)算速度來(lái)確定。當(dāng)前第24頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)圖像的多尺度空間表達(dá)尺度空間表示是一種基于區(qū)域而不是邊緣的表達(dá)對(duì)于一個(gè)N維信號(hào)，它的尺度空間

定義為:

L(x:t)=K*f(x,t)其中t

為尺度參數(shù)，K

為尺度空間核。當(dāng)前第25頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)圖像的多尺度空間表達(dá)尺度空間表示通過(guò)平滑獲得，可描述為

空間，分別為位置參數(shù)和尺度參數(shù)。尺度參數(shù)可以是離散的，也可以是連續(xù)的。所有尺度上空間采樣點(diǎn)個(gè)數(shù)是相同的(尺度空間表示法在各個(gè)尺度上圖像的分辨率都是一樣的)。應(yīng)該具有尺度伸縮等不變性。

當(dāng)前第26頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)高斯尺度空間高斯函數(shù)作為卷積核生成的尺度空間是目前最完善的尺度空間之一，根據(jù)Koendrink和Lindeber的研究表明，在多種合理假設(shè)前提下，唯一可能的尺度空間核是Gaussian核。因此，一幅二維圖像的尺度空間可表示為：

當(dāng)前第27頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)高斯尺度空間當(dāng)采用不同尺度的平滑函數(shù)對(duì)同一圖像進(jìn)行濾波時(shí)，得到的一簇圖像就是原始圖像相對(duì)于該平滑函數(shù)的尺度空間，σ為尺度空間坐標(biāo)。構(gòu)建高斯尺度空間的主要思想是在精細(xì)尺度上的信息隨著尺度參數(shù)值的增加而逐漸地被抑制，尺度從粗到細(xì)的變化過(guò)程中，不會(huì)產(chǎn)生新的結(jié)構(gòu)。在高斯尺度空間下，只是對(duì)圖像作了卷積，圖像的分辨率和像素仍然沒(méi)有改變，只是細(xì)節(jié)平滑了，而傳統(tǒng)的影像金字塔關(guān)鍵在降采樣，顯然分辨率降底了。當(dāng)前第28頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)不同尺度因子下的圖像當(dāng)前第29頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)高斯尺度空間通過(guò)高斯濾波得到的尺度空間表示了圖像在不同尺度下的低頻信號(hào)，而代表邊緣以及角點(diǎn)等特征的高頻信號(hào)丟失。可以在不同分辨率層上通過(guò)在不同的尺度上應(yīng)用合適的函數(shù)來(lái)表示一個(gè)特征（如邊緣和角點(diǎn)）。在高斯尺度空間，同一類(lèi)型特征點(diǎn)和邊緣在不同的尺度上具有因果性，即當(dāng)尺度變化時(shí)，新的特征點(diǎn)可能出現(xiàn)，而老的特征點(diǎn)可能移位或消失。這種因果性帶來(lái)的含糊性是固有的，不可避免的，不能企求消除，但可以減小。當(dāng)前第30頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)3.3.2尺度不變特征變換ScaleInvariantFeatureTransform（SIFT）1999年BritishColumbia大學(xué)的大衛(wèi).勞伊（DavidG.Lowe）教授總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測(cè)方法，并正式提出了一種基于尺度空間的、對(duì)圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子－SIFT（尺度不變特征變換），這種算法在2004年被加以完善。DavidG.LoweComputerScienceDepartment

2366MainMall

UniversityofBritishColumbia

Vancouver,B.C.,V6T1Z4,CanadaE-mail:lowe@cs.ubc.ca

當(dāng)前第31頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)SIFT簡(jiǎn)介將一幅圖像映射（變換）為一個(gè)局部特征向量集；特征向量具有平移、縮放、旋轉(zhuǎn)不變性，同時(shí)對(duì)光照變化、仿射及投影變換也有一定不變性。OriginalimagecourtesyofDavidLowe當(dāng)前第32頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)SIFT特點(diǎn)SIFT特征是圖像的局部特征，其對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對(duì)于視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性。獨(dú)特性(Distinctiveness)好，信息量豐富，適用于在海量特征數(shù)據(jù)庫(kù)中進(jìn)行快速、準(zhǔn)確的匹配。多量性，即使少數(shù)的幾個(gè)物體也可以產(chǎn)生大量SIFT特征向量。經(jīng)過(guò)優(yōu)化的SIFT算法可滿(mǎn)足一定的速度需求。可擴(kuò)展性，可以很方便的與其他形式的特征向量進(jìn)行聯(lián)合。當(dāng)前第33頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)SIFT算法可以解決的問(wèn)題目標(biāo)的自身狀態(tài)、場(chǎng)景所處的環(huán)境和成像器材的成像特性等因素影響圖像配準(zhǔn)/目標(biāo)識(shí)別跟蹤的性能。SIFT算法在一定程度上可解決目標(biāo)的旋轉(zhuǎn)、縮放、平移（RST）圖像仿射/投影變換（視點(diǎn)viewpoint）光照影響（illumination）目標(biāo)遮擋（occlusion）雜物場(chǎng)景（clutter）噪聲當(dāng)前第34頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)SIFT算法實(shí)現(xiàn)步驟簡(jiǎn)述SIFT實(shí)質(zhì)可以歸為在不同尺度空間上查找特征點(diǎn)（關(guān)鍵點(diǎn)）的問(wèn)題。當(dāng)前第35頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)SIFT算法實(shí)現(xiàn)步驟檢測(cè)尺度空間極值點(diǎn)

精確定位極值點(diǎn)

為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)

關(guān)鍵點(diǎn)描述子的生成當(dāng)前第36頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)關(guān)鍵點(diǎn)檢測(cè)哪些是關(guān)鍵點(diǎn)（特征點(diǎn)）？

這些點(diǎn)是一些十分突出的點(diǎn)，不會(huì)因光照條件的改變而消失，比如角點(diǎn)、邊緣點(diǎn)、暗區(qū)域的亮點(diǎn)以及亮區(qū)域的暗點(diǎn)，既然兩幅圖像中有相同的景物，那么使用某種方法分別提取各自的穩(wěn)定點(diǎn)，這些點(diǎn)之間會(huì)有相互對(duì)應(yīng)的匹配點(diǎn)。所謂關(guān)鍵點(diǎn)，就是在不同尺度空間的圖像下檢測(cè)出的具有方向信息的局部極值點(diǎn)。特征點(diǎn)具有的三個(gè)特征：尺度，方向，大小當(dāng)前第37頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)高斯金字塔高斯金字塔的構(gòu)建過(guò)程可分為兩步：

1）對(duì)圖像做高斯平滑；

2）對(duì)圖像做降采樣。為了讓尺度體現(xiàn)其連續(xù)性，在簡(jiǎn)單下采樣的基礎(chǔ)上加上了高斯濾波。一幅圖像可以產(chǎn)生幾組（octave）圖像，一組圖像包括幾層（interval）圖像。上一組圖像的底層是由前一組圖像的倒數(shù)第二層圖像隔點(diǎn)采樣生成的。這樣可以保持尺度的連續(xù)性。當(dāng)前第38頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)當(dāng)前第39頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)高斯差分尺度函數(shù)為了有效的在尺度空間檢測(cè)到穩(wěn)定的關(guān)鍵點(diǎn)，提出了高斯差分（DifferenceofGaussian，DOG）尺度空間DOG在計(jì)算上只需相鄰尺度高斯平滑后圖像相減，因此簡(jiǎn)化了計(jì)算！當(dāng)前第40頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)高斯差分金字塔可以通過(guò)高斯差分圖像觀(guān)察圖像上的像素值變化情況。如果沒(méi)有變化，也就沒(méi)有特征。特征必須是變化盡可能多的點(diǎn)。DOG圖像描繪的是目標(biāo)的輪廓。當(dāng)前第41頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)當(dāng)前第42頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)1）DOG的局部極值點(diǎn)關(guān)鍵點(diǎn)是由DOG空間的局部極值點(diǎn)組成的。為了尋找DOG函數(shù)的極值點(diǎn)，每一個(gè)像素點(diǎn)要和它所有的相鄰點(diǎn)比較，看其是否比它的圖像域和尺度域的相鄰點(diǎn)大或者小。中間的檢測(cè)點(diǎn)和它同尺度的8個(gè)相鄰點(diǎn)和上下相鄰尺度對(duì)應(yīng)的9×2個(gè)點(diǎn)共26個(gè)點(diǎn)比較，以確保在尺度空間和二維圖像空間都檢測(cè)到極值點(diǎn)。一個(gè)點(diǎn)如果在DOG尺度空間本層以及上下兩層的26個(gè)鄰域中是最大或最小值時(shí)，就認(rèn)為該點(diǎn)是圖像在該尺度下的一個(gè)特征點(diǎn)。當(dāng)前第43頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)2）精確定位極值點(diǎn)通過(guò)擬和三維二次函數(shù)以精確確定關(guān)鍵點(diǎn)的位置和尺度（達(dá)到亞像素精度），同時(shí)去除低對(duì)比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)（因?yàn)镈OG算子會(huì)產(chǎn)生較強(qiáng)的邊緣響應(yīng)），以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力。當(dāng)前第44頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)2）精確定位極值點(diǎn)位置1）在檢測(cè)到極值點(diǎn)后，對(duì)差分算子進(jìn)行二階泰勒展開(kāi)，求泰勒公式的極大偏移量，精確定位檢測(cè)到的極值點(diǎn)。

求導(dǎo)，并令其為0，所得精確位置為：在求出極大偏移量后，若其值大于0.5則表示極值點(diǎn)更靠近相鄰的點(diǎn)；若小于0.5則不動(dòng)。當(dāng)前第45頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)去除低對(duì)比度極值點(diǎn)2）由于線(xiàn)性尺度空間不能保證對(duì)比度不變性，因此在精確定位好后，通過(guò)上面求得的式子，要去除低對(duì)比度點(diǎn)。計(jì)算公式如下：在Lowe的論文中提到當(dāng)D(X)小于0.3時(shí)就定義此極值點(diǎn)為低對(duì)比度點(diǎn)，此點(diǎn)將被去除掉。當(dāng)前第46頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)邊緣響應(yīng)的去除3）一個(gè)定義不好的高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率，而在垂直邊緣的方向有較小的主曲率。由于這樣的邊緣點(diǎn)容易受到圖像噪聲的影響，因此也要去除這些不穩(wěn)定的邊緣點(diǎn)。

主曲率通過(guò)一個(gè)2x2的Hessian矩陣H求出，在Hessian特征點(diǎn)檢測(cè)中有提到如何通過(guò)Hessian矩陣求邊緣點(diǎn)的方法。

當(dāng)前第47頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)3）為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)通過(guò)尺度不變性求極值點(diǎn)，可以使其具有縮放不變的性質(zhì)。利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。

像素的梯度表示：梯度幅值：

梯度方向：當(dāng)前第48頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)方向直方圖的生成

以關(guān)鍵點(diǎn)為中心的鄰域窗口內(nèi)采樣，并用直方圖統(tǒng)計(jì)鄰域像素的梯度方向。梯度直方圖的范圍是0～360度，其中每10度一個(gè)柱，總共36個(gè)柱。隨著距中心點(diǎn)越遠(yuǎn)的鄰域其對(duì)直方圖的貢獻(xiàn)也響應(yīng)減小。Lowe論文中還提到要使用高斯函數(shù)對(duì)直方圖進(jìn)行平滑，減少突變的影響。當(dāng)前第49頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)關(guān)鍵點(diǎn)的主方向與輔方向關(guān)鍵點(diǎn)主方向：極值點(diǎn)周?chē)鷧^(qū)域梯度直方圖的主峰值，也是特征點(diǎn)方向。關(guān)鍵點(diǎn)輔方向：在梯度方向直方圖中，當(dāng)存在另一個(gè)相當(dāng)于主峰值80%能量的峰值時(shí)，則將這個(gè)方向認(rèn)為是該關(guān)鍵點(diǎn)的輔方向。當(dāng)前第50頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)關(guān)鍵點(diǎn)檢測(cè)完畢圖像的關(guān)鍵點(diǎn)已檢測(cè)完畢，每個(gè)關(guān)鍵點(diǎn)有三個(gè)信息：位置、尺度、方向；同時(shí)也就使關(guān)鍵點(diǎn)具備平移、縮放、和旋轉(zhuǎn)不變性。當(dāng)前第51頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)4）關(guān)鍵點(diǎn)描述子的生成在局部特征的設(shè)計(jì)中最關(guān)鍵的一步就是特征描述符的設(shè)計(jì)，而判斷一個(gè)特征描述符好壞的重要依據(jù)就是其高可區(qū)分性。在關(guān)鍵點(diǎn)計(jì)算后，用一組向量將這個(gè)關(guān)鍵點(diǎn)描述出來(lái)，這個(gè)描述子不但包括關(guān)鍵點(diǎn)，也包括關(guān)鍵點(diǎn)周?chē)鷮?duì)其有貢獻(xiàn)的像素點(diǎn)。思路：通過(guò)對(duì)關(guān)鍵點(diǎn)周?chē)鷪D像區(qū)域分塊，計(jì)算塊內(nèi)梯度直方圖，生成具有獨(dú)特性的向量，這個(gè)向量是該區(qū)域圖像信息的一種抽象，具有唯一性。當(dāng)前第52頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)SIFT關(guān)鍵點(diǎn)描述子生成步驟旋轉(zhuǎn)主方向：將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向，以確保旋轉(zhuǎn)不變性。生成描述子：對(duì)于一個(gè)關(guān)鍵點(diǎn)產(chǎn)生128個(gè)數(shù)據(jù)，即最終形成128維的SIFT特征向量。歸一化處理：將特征向量的長(zhǎng)度歸一化，則可以進(jìn)一步去除光照變化的影響。當(dāng)前第53頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)關(guān)鍵點(diǎn)描述子生成舉例以關(guān)鍵點(diǎn)為中心取16×16的窗口。每一個(gè)小格都代表了特征點(diǎn)鄰域所在的尺度空間的一個(gè)像素，箭頭方向代表了像素梯度方向，箭頭長(zhǎng)度代表該像素的幅值。然后在每4×4的小塊上計(jì)算8個(gè)方向的梯度方向直方圖，繪制每個(gè)梯度方向的累加值，即可形成一個(gè)種子點(diǎn)。如下圖所示：一個(gè)特征點(diǎn)由4個(gè)種子點(diǎn)的信息所組成。當(dāng)前第54頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)Lowe實(shí)驗(yàn)結(jié)果表明：描述子采用4×4×8＝128維向量表征，綜合效果最優(yōu)（不變性與獨(dú)特性）。當(dāng)前第55頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)歸一化處理在求出4×4×8的128維特征向量后，此時(shí)SIFT特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響。而圖像的對(duì)比度變化相當(dāng)于每個(gè)像素點(diǎn)乘上一個(gè)因子，光照變化是每個(gè)像素點(diǎn)加上一個(gè)值，但這些對(duì)圖像歸一化的梯度沒(méi)有影響。因此將特征向量的長(zhǎng)度歸一化，則可以進(jìn)一步去除光照變化的影響。對(duì)于一些非線(xiàn)性的光照變化，SIFT并不具備不變性，但由于這類(lèi)變化影響的主要是梯度的幅值變化，對(duì)梯度的方向影響較小，因此作者通過(guò)限制梯度幅值的值來(lái)減少這類(lèi)變化造成的影響。當(dāng)前第56頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)描述子具體計(jì)算1）確定計(jì)算描述子所需的圖像區(qū)域

描述子梯度方向直方圖由關(guān)鍵點(diǎn)所在尺度的模糊圖像計(jì)算產(chǎn)生。圖像區(qū)域的半徑通過(guò)下式計(jì)算：

是關(guān)鍵點(diǎn)所在組（octave）的組內(nèi)尺度，當(dāng)前第57頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)描述子具體計(jì)算2）將坐標(biāo)移至關(guān)鍵點(diǎn)主方向

那么旋轉(zhuǎn)角度后新坐標(biāo)為：當(dāng)前第58頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)描述子具體計(jì)算3）將產(chǎn)生的圖像區(qū)域劃分成4×4的小塊，對(duì)每個(gè)小塊統(tǒng)計(jì)其每個(gè)像素的梯度值和方向，形成梯度直方圖。整個(gè)圖像塊就表示為4×4×8=128為的特征向量。4）描述子向量元素門(mén)限化及門(mén)限化后的描述子向量規(guī)范化。

當(dāng)前第59頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)實(shí)驗(yàn)結(jié)果當(dāng)前第60頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)原圖平滑后圖像實(shí)驗(yàn)結(jié)果——不同尺度當(dāng)前第61頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)實(shí)驗(yàn)結(jié)果——旋轉(zhuǎn)不變性當(dāng)前第62頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)關(guān)鍵點(diǎn)匹配分別對(duì)模板圖（參考圖，referenceimage）和實(shí)時(shí)圖（觀(guān)測(cè)圖，observationimage）建立關(guān)鍵點(diǎn)描述子集合。目標(biāo)的識(shí)別是通過(guò)兩點(diǎn)集內(nèi)關(guān)鍵點(diǎn)描述子的比對(duì)來(lái)完成。具有128維的關(guān)鍵點(diǎn)描述子的相似性度量采用歐式距離。當(dāng)前第63頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)關(guān)鍵點(diǎn)匹配窮舉匹配原圖像目標(biāo)圖像當(dāng)前第64頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)關(guān)鍵點(diǎn)匹配模板圖中關(guān)鍵點(diǎn)描述子：實(shí)時(shí)圖中關(guān)鍵點(diǎn)描述子：任意兩描述子相似性度量：要得到配對(duì)的關(guān)鍵點(diǎn)描述子，需滿(mǎn)足：當(dāng)前第65頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)關(guān)鍵點(diǎn)匹配關(guān)鍵點(diǎn)的匹配可以采用窮舉法來(lái)完成，但是這樣耗費(fèi)的時(shí)間太多。一般都采用一種叫kd樹(shù)的數(shù)據(jù)結(jié)構(gòu)來(lái)完成搜索。搜索的內(nèi)容是以目標(biāo)圖像的關(guān)鍵點(diǎn)為基準(zhǔn)，搜索與目標(biāo)圖像的特征點(diǎn)最鄰近的原圖像特征點(diǎn)和次鄰近的原圖像特征點(diǎn)。Kd樹(shù)是一個(gè)平衡二叉樹(shù)。當(dāng)前第66頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)實(shí)驗(yàn)結(jié)果當(dāng)前第67頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)SIFT應(yīng)用——物體識(shí)別當(dāng)前第68頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)SIFT應(yīng)用——圖像拼接當(dāng)前第69頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)SIFT應(yīng)用——筆跡鑒定當(dāng)前第70頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)SIFT應(yīng)用——匹配

來(lái)自網(wǎng)友的創(chuàng)意——周正龍的老虎圖1周正龍的華南虎照片與年畫(huà)上的華南虎照片12點(diǎn)匹配圖2周正龍的華南虎照片與真實(shí)的華南虎照片0點(diǎn)匹配當(dāng)前第71頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)改進(jìn)PCA-SIFTASIFT——AffineSIFTLPP-SIFT。。。當(dāng)前第72頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)PCA-SIFTPCA-SIFT與標(biāo)準(zhǔn)SIFT有相同的亞像素位置，尺度和主方向。但在第4步計(jì)算描述子的設(shè)計(jì)，采用了主成分分析的技術(shù)。用特征點(diǎn)周?chē)?1×41的像素計(jì)算它的主元，并用PCA-SIFT將原來(lái)的2×39×39維的向量降成20維，以達(dá)到更精確的表示方式。它的主要步驟為：對(duì)每一個(gè)關(guān)鍵點(diǎn)，在關(guān)鍵點(diǎn)周?chē)崛∫粋€(gè)41×41的像素于給定的尺度，旋轉(zhuǎn)到它的主方向

；計(jì)算39×39水平和垂直的梯度，形成一個(gè)大小為3042的矢量；用預(yù)先計(jì)算好的投影矩陣n×3042與此矢量相乘；這樣生成一個(gè)大小為n的PCA-SIFT描述子。當(dāng)前第73頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)3.3.3加速穩(wěn)健特征Speeded-UpRobustFeatures（SURF）2006年由HerbertBayetal.在ECCV會(huì)議提出，是一種穩(wěn)健的圖像識(shí)別和描述算法。SURF是SIFT的改進(jìn)，SURF標(biāo)準(zhǔn)版本比SIFT要快數(shù)倍——積分圖像Haar求導(dǎo)，并且其作者聲稱(chēng)在不同圖像變換方面比SIFT更穩(wěn)健。特點(diǎn)：使用積分圖像完成圖像卷積（相關(guān)）操作;使用Hessian矩陣檢測(cè)特征值；使用基于分布的描述符（局部信息）。當(dāng)前第74頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)SURF步驟搜尋圖像關(guān)鍵點(diǎn)采用Hessian矩陣的行列式在尺度空間搜尋主要的關(guān)鍵點(diǎn)非極大值抑制設(shè)置特征點(diǎn)的方向生成特征向量當(dāng)前第75頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)Hessian矩陣二維空間函數(shù)f(x,y)的Hessian矩陣為函數(shù)的偏導(dǎo)數(shù)組成：為對(duì)稱(chēng)矩陣每一個(gè)像素點(diǎn)都可以求出一個(gè)Hessian矩陣當(dāng)前第76頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)Hessian矩陣Hessian矩陣的行列式為：行列式的值是H矩陣的特征值的乘積，可以利用判定結(jié)果的符號(hào)將所有點(diǎn)分類(lèi)，根據(jù)行列式式取值的正負(fù)，來(lái)判別該點(diǎn)是或不是極值點(diǎn)：正數(shù)為極值點(diǎn)！可以通過(guò)設(shè)置行列式值的閾值來(lái)檢測(cè)主要的特征點(diǎn)。當(dāng)前第77頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)Hessian矩陣由于特征點(diǎn)需要具備尺度無(wú)關(guān)性，所以在進(jìn)行Hessian矩陣構(gòu)造前，需要對(duì)其進(jìn)行高斯濾波。經(jīng)過(guò)濾波后再進(jìn)行Hessian的計(jì)算，H(x,σ)在x方向尺度為σ的定義為：

其中，Lxx(x,σ)是高斯二階偏導(dǎo)數(shù)在x處與圖像I的卷積。當(dāng)前第78頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)變換圖像特征點(diǎn)是在原圖像的變換圖像上尋找，然后將其位置反映射到原圖中。在SURF中，是由原圖每個(gè)像素的Hessian矩陣行列式的近似值構(gòu)成。其行列式近似公式如下：

其中，0.9是作者給出的一個(gè)經(jīng)驗(yàn)值，也稱(chēng)為斑狀（Blob）響應(yīng)。當(dāng)前第79頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)變換圖像求Hessian時(shí)要先高斯平滑，然后求二階導(dǎo)數(shù)，這在離散的像素點(diǎn)是用模板卷積完成。兩種操作可以合在一起用一個(gè)模板代替。

高斯拉普拉斯（LaplaceofGaussian，LoG）模版示例：LxxLyyLxy當(dāng)前第80頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)DxxDyyDxyLoG近似為了加速卷積運(yùn)算，從SIFT中用DoG近似LoG的做法得到啟示，用盒子型濾波器（boxfilters）代替二階高斯差分模板進(jìn)行近似——因?yàn)榭梢圆捎梅e分圖快速算法！當(dāng)前第81頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)積分圖像積分圖像：指當(dāng)前像素點(diǎn)所在位置距原點(diǎn)（0,0）所包圍面的所有灰度之和。綠色的部分為當(dāng)前像素點(diǎn)，紅色為積分區(qū)域當(dāng)前第82頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)積分圖像計(jì)算圖像中任意一塊矩形區(qū)域的灰度之和S只需要利用矩形4個(gè)頂點(diǎn)（A，B，C，D）的積分值Si即可：優(yōu)點(diǎn)：任何一個(gè)垂直矩形區(qū)域的面積只需要進(jìn)行3次+/-法就能計(jì)算。卷積可以用積分圖實(shí)現(xiàn)快速計(jì)算。只需要在函數(shù)定義之前計(jì)算各個(gè)坐標(biāo)點(diǎn)的積分圖像，然后就能方便的求出hessian的特征值。當(dāng)前第83頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)Blob響應(yīng)實(shí)驗(yàn)結(jié)果當(dāng)前第84頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)在尺度空間搜尋主要的關(guān)鍵點(diǎn)SIFT：同一個(gè)組（octave）的層中的圖片尺寸(即大小)相同，但是尺度(即模糊程度)不同，而不同的octave中的圖片尺寸大小也不相同。即：高斯平滑+降采樣。每層圖像依賴(lài)于前一層圖像，并且圖像需要重設(shè)尺寸，因此，這種計(jì)算方法運(yùn)算量較大。SURF：申請(qǐng)?jiān)黾訄D像核的尺寸，這也是SIFT算法與SURF算法在使用金字塔原理方面的不同。允許尺度空間多層圖像同時(shí)被處理，不需對(duì)圖像進(jìn)行二次抽樣，從而提高算法性能。當(dāng)前第85頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)SIFT：在進(jìn)行高斯模糊時(shí)，高斯模板大小是始終不變的，只是在不同的octave之間改變圖片的大小。SURF：圖片的大小是一直不變的，不同的octave得到的待檢測(cè)圖片是改變高斯模糊尺寸大?。磳?duì)bobfilter進(jìn)行尺度變換）得到的。當(dāng)然，同一個(gè)octave中個(gè)的圖片用到的高斯模板尺度也不同。SURF采用這種方法節(jié)省了降采樣過(guò)程，其處理速度自然也就提上去了。構(gòu)建尺度空間當(dāng)前第86頁(yè)\共有94頁(yè)\編于星期二\21點(diǎn)說(shuō)明：假定初始模版大小為9×9，尺度為1.2，對(duì)應(yīng)于高斯核中的σ=1.2（第一層）。之后，不斷增加模版的大小，得到下一層。優(yōu)點(diǎn)：