計算機視覺學習初識SIFT算法

計算機視覺學習初識SIFT算法SIFT（Scale-invariantfeaturetransform），尺度不變特征。實質(zhì)是在不同的尺度空間上查找關(guān)鍵點(特征點)，并計算出關(guān)鍵點的方向。這些特征具有旋轉(zhuǎn)和不變性，而且能夠克服光照和視角的變化。SIFT算法思想尺度空間極值點的檢測關(guān)鍵點的定位關(guān)鍵點方向的分配關(guān)鍵點描述符算法思想尺度空間極值點的檢測高斯模糊尺度空間理論高斯金字塔的構(gòu)建檢測DOG尺度空間極值點尺度空間極值點的檢測：通過對原始圖像進行高斯濾波形，建立高斯金字塔，通過高斯差分來找到那些感興趣的點，也就是在以后的圖像匹配中可能發(fā)揮作用的特征點。尺度空間極值點的檢測高斯模糊SIFT算法是在不同的尺度空間上查找關(guān)鍵點，而尺度空間的獲取需要使用高斯模糊來實現(xiàn)，Lindeberg等人已證明高斯卷積核是實現(xiàn)尺度變換的唯一變換核，并且是唯一的線性核。高斯模糊是一種圖像濾波器，它使用正態(tài)分布(高斯函數(shù))計算模糊模板，并使用該模板與原圖像做卷積運算，達到模糊圖像的目的。N維空間正態(tài)分布函數(shù)：

是正態(tài)分布的標準差。值越大，圖像越模糊(平滑)。r為模糊半徑，模糊半徑是指模板元素到模板中心的距離。高斯模糊如二維模板大小為m*n，則模板上的元素(x，y)對應的高斯計算公式為：分布不為零的像素組成的卷積矩陣與原始圖像做變換。每個像素的值都是周圍相鄰像素值的加權(quán)平均。原始像素的值有最大的高斯分布值，所以有最大的權(quán)重，相鄰像素隨著距離原始像素越來越遠，其權(quán)重也越來越小。這樣進行模糊處理比其它的均衡模糊濾波器更高地保留了邊緣效果。高斯模糊在實際應用中，3之外的像素忽略不計。故一般計算的矩陣。

為了確保模板矩陣中的元素在[0,1]之間，需將模板矩陣歸一化。分離高斯模糊因為二維模版的關(guān)系，造成邊緣圖像的缺失

越大缺失像素越多，越大，計算量越大。分離高斯模糊，將二維高斯變換分為在x軸和y軸上的兩次一維高斯變換。分離高斯模糊

對用模板矩陣超出邊界的部分——虛線框，將不做卷積計算。如圖2.4中x方向的第一個模板1*5，將退化成1*3的模板，只在圖像之內(nèi)的部分做卷積。兩次一維的高斯卷積將消除二維高斯矩陣所產(chǎn)生的邊緣。計算復雜度兩次一維矩陣：二維不可分矩陣：尺度空間理論尺度空間理論的基本思想是：在圖像信息處理模型中引入一個被視為尺度的參數(shù)，通過連續(xù)變化尺度參數(shù)獲得多尺度下的尺度空間表示序列，對這些序列進行尺度空間主輪廓的提取，并以該主輪廓作為一種特征向量，實現(xiàn)邊緣、角點檢測和不同分辨率上的特征提取等。一個圖像的尺度空間定義為一個變化尺度的高斯函數(shù)與原圖像的卷積。是尺度空間因子，值越小，表示被平滑的就越少，相應的尺度也就越小。大尺度對應于圖像的概貌特征，小尺度對應于圖像的細節(jié)特征。高斯金字塔的構(gòu)建圖像的金字塔模型是指，將原始圖像不斷降階采樣（長，寬各減去一半），得到一系列大小不一的圖像，由大到小，從下到上構(gòu)成的塔狀模型。高斯金字塔的構(gòu)建分為兩部分：對圖像作不同程度的高斯模糊。對圖像做降采樣。高斯金字塔的構(gòu)建金字塔的層數(shù)根據(jù)圖像的原始大小和塔頂圖像的大小共同決定，其計算公式如下：其中M，N為原圖像的大小,t為塔頂圖像的最小維數(shù)的對數(shù)值。高斯金字塔的構(gòu)建將圖像金字塔每層的一張圖像使用不同參數(shù)做高斯模糊，使得金字塔的每層含有多張高斯模糊圖像，將金字塔每層多張圖像合稱為一組(Octave)，金字塔每層只有一組圖像，組數(shù)和金字塔層數(shù)相等。每組含有多張(也叫層Interval)圖像。尺度空間的所有取值，i為octave，即組數(shù)，s為每組層數(shù)：高斯金字塔的構(gòu)建降采樣時，高斯金字塔上一組圖像的初始圖像(底層圖像)是由前一組圖像的倒數(shù)第三張圖像隔點采樣得到的。第0組：0，1，2，3，4，5第1組：6，7，8，9，10，11第二組：則第二組第一張圖片就是是由9降采樣得到，其他類似。檢測DOG尺度空間極值點DifferenceofGaussian(DOG)是高斯函數(shù)的差分，是灰色圖像增強和角點檢測的方法，利用不同的高斯差分核與原圖像卷積。下圖所示不同σ下圖像尺度空間：檢測DOG尺度空間極值點一個點如果在DOG尺度空間本層以及上下兩層的26個領(lǐng)域中是最大或最小值時，就認為該點是圖像在該尺度下的一個特征點,如圖所示。

在極值比較的過程中，每一組圖像的首末兩層是無法進行極值比較的，為了滿足尺度變化的連續(xù)性，我們在每一組圖像的頂層繼續(xù)用高斯模糊生成了

3幅圖像，高斯金字塔有每組S+3層圖像。DOG金字塔每組有S+2層圖像.（s為每組層數(shù)）檢測DOG尺度空間極值點s=3的情況假設(shè)s=3

這樣在，GaussSpace里，有s+3項。在DOGSpace里，有s+2項。

尺度連續(xù)變化。檢測DOG尺度空間極值點在

Lowe的論文中，將第0層的初始尺度定為1.6（最模糊），圖片的初始尺度定為0.5（最清晰）.在檢測極值點前對原始圖像的高斯平滑以致圖像丟失高頻信息，所以Lowe建議在建立尺度空間前首先對原始圖像長寬擴展一倍（生成第-1層），以保留原始圖像信息，增加特征點數(shù)量。

尺度越大圖像越模糊。

SIFT（Scale-invariantfeaturetransform），尺度不變特征。實質(zhì)是在不同的尺度空間上查找關(guān)鍵點(特征點)，并計算出關(guān)鍵點的方向。這些特征具有旋轉(zhuǎn)和不變性，而且能夠克服光照和視角的變化。SIFT算法思想尺度空間極值點的檢測關(guān)鍵點的定位關(guān)鍵點方向的分配關(guān)鍵點描述符算法思想關(guān)鍵點的定位在上一步中找到的點，需要經(jīng)過穩(wěn)定的篩選才能成為真正的關(guān)鍵點，分為兩步：濾除對比度低的點濾除候選特征中對比度較低的點，這些點對于圖像噪聲比較敏感，不能用來作為穩(wěn)定的特征點。去除邊緣響應去除位于邊緣的候選特征點，因為邊緣處的特征點變換較大，也不適合作為穩(wěn)定的特征點。濾除對比度低的點離散空間的極值點并不是真正的極值點，利用已知的離散空間點插值得到的連續(xù)空間極值點的方法叫做子像素插值。需要對尺度空間DoG函數(shù)進行曲線擬合。利用DoG函數(shù)在某極值點A對D（x，y，σ）的Taylor展開式(擬合函數(shù))為：濾除對比度低的點擬合函數(shù)：其中，表示到點A的偏移，上式對X求導，當?shù)箶?shù)為零時得到局部極值點①②將②代人①中則有：如果大于0.5也就意味著這個極值點和另一個采樣點（圖像中的另一個像素）隔著較近。采用插值法求得極值點位置的估計值。濾除對比度低的點可以利用去除對比度低的點：在Low的論文中，這個閥值為0.03，及||<0.03的點而被剔除。去除邊緣響應DOG函數(shù)有著較強的邊緣響應，如果關(guān)鍵點被定位在邊緣，那么這個關(guān)鍵點很有可能是不穩(wěn)定的，尤其容易受到噪聲的影響，即使是少量的噪聲也會影響匹配的穩(wěn)定性。實踐發(fā)現(xiàn)邊緣處有較大的主曲率，而且在垂直方向有較小的主曲率的極值，通常都不是一個好的高斯差分算子極值點。根據(jù)這個特性，我們可以去除邊緣響應.主曲率的值可以通過計算

2×2維的Hessian矩陣H而得到，Tr求的是矩陣的跡，Det求的是矩陣轉(zhuǎn)為行列式后的值。去除邊緣響應設(shè)α和β為H的兩個特征值，且令α=rβ，r≥1則：當兩個特征值相等，即r=1，取得最小值。隨著r的增大，比例不斷增大。此時如果需要檢測兩個特征值低于某一閥值R，只需要判斷：在Lowe的文章中，R=10，高于這一值則去除。SIFT（Scale-invariantfeaturetransform），尺度不變特征。實質(zhì)是在不同的尺度空間上查找關(guān)鍵點(特征點)，并計算出關(guān)鍵點的方向。這些特征具有旋轉(zhuǎn)和不變性，而且能夠克服光照和視角的變化。SIFT算法思想尺度空間極值點的檢測關(guān)鍵點的定位關(guān)鍵點方向的分配關(guān)鍵點描述符算法思想關(guān)鍵點方向的分配上一步中確定了每幅圖中的特征點，為每個特征點計算一個方向，依照這個方向做進一步的計算，

利用關(guān)鍵點鄰域像素的梯度方向分布特性為每個關(guān)鍵點指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。

假設(shè)L（x，y）表示一幅圖像，則圖像中的任意一像素點的梯度值為m（x，y）和方向，可由下公示表示：其中L所用的尺度為每個關(guān)鍵點各自所在的尺度。至此，圖像的關(guān)鍵點已經(jīng)檢測完畢，每個關(guān)鍵點有三個信息：位置，所處尺度、方向，由此可以確定一個SIFT特征區(qū)域。關(guān)鍵點方向的分配按Lowe的建議，梯度的模值m(x,y)按

分布加成，按采樣尺度的原則，臨域窗口半徑為3*梯度直方圖將0~360度的方向范圍分為36個柱(bins)，其中每柱10度。關(guān)鍵點方向的分配直方圖的峰值則代表了該關(guān)鍵點處鄰域梯度的主方向，即作為該關(guān)鍵點的方向。直方圖中的峰值就是主方向，其他的達到最大值80%的方向可作為輔助方向。SIFT（Scale-invariantfeaturetransform），尺度不變特征。實質(zhì)是在不同的尺度空間上查找關(guān)鍵點(特征點)，并計算出關(guān)鍵點的方向。這些特征具有旋轉(zhuǎn)和不變性，而且能夠克服光照和視角的變化。SIFT算法思想尺度空間極值點的檢測關(guān)鍵點的定位關(guān)鍵點方向的分配關(guān)鍵點描述符算法思想關(guān)鍵點描述符SIFT描述子是關(guān)鍵點鄰域高斯圖像梯度統(tǒng)計結(jié)果的一種表示。通過對關(guān)鍵點周圍圖像區(qū)域分塊，計算塊內(nèi)梯度直方圖，生成具有獨特性的向量，這個向量是該區(qū)域圖像信息的一種抽象，具有唯一性。Lowe建議描述子使用在關(guān)鍵點尺度空間內(nèi)4*4的窗口中計算的8個方向的梯度信息，共4*4*8=128維向量表征。關(guān)鍵點描述符1.將坐標軸旋轉(zhuǎn)到特征點的主方向，以保證旋轉(zhuǎn)點具備旋轉(zhuǎn)不變性。假設(shè)旋轉(zhuǎn)旋轉(zhuǎn)后鄰域內(nèi)采樣點的新坐標為：關(guān)鍵點描述符2.在旋轉(zhuǎn)后的圖像中，以特征點為中心取16×16的鄰域窗口，如圖所示。每個小格代表特征點鄰域窗口中的一個像素，箭頭的長度為像素梯度的模值，指向為像素梯度的方向，此處所謂的方向是指旋轉(zhuǎn)后的像素梯度的方向，即此為8*8的鄰域，最后得到4個種子關(guān)鍵點描述3.圓圈代表高斯加權(quán)的范圍，在8*8鄰域（實際應用是16*16）中，每個關(guān)鍵點有4個種子點組成，每個種子點有8個方向的信息（0，45°，90°，135°，180，等等），實際中則為4*4*8=128維。關(guān)鍵點描述

SIFT算法的特點1.

SIFT特征是圖像的局部特征，其對旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪