圖像特征提取綜述

1、圖像特征提取的定位是計算機視覺和圖像處理里的一個概念，表征圖像的特性。輸入是一張圖像（二維的數(shù)據(jù)矩陣），輸出是一個值、一個向量、一個分布、一個函數(shù)或者是信號。提取特征的方法千差萬別，下面是圖像特征的一些特性：邊緣邊緣是兩個區(qū)域邊界的像素集合，本質(zhì)上是圖像像素的子集，能將區(qū)域分開。邊緣形狀是任意的，實踐中定義為大的梯度的像素點的集合，同時為了平滑，還需要一些算法進行處理。角顧名思義，有個突然較大的弧度。早起算法是在邊緣檢測的基礎(chǔ)上，分析邊緣的走向，如果突然轉(zhuǎn)向則被認(rèn)為是角。后來的算法不再需要邊緣檢測，直接計算圖像梯度的高度曲率（合情合理）。但會出現(xiàn)沒有角的地方也檢測到角的存在。區(qū)域區(qū)域性的結(jié)構(gòu)，

2、很多區(qū)域檢測用來檢測角。區(qū)域檢測可以看作是圖像縮小后的角檢測。脊長形的物體，例如道路、血管。脊可以看成是代表對稱軸的一維曲線，每個脊像素都有脊寬度，從灰梯度圖像中提取要比邊緣、角和區(qū)域都難。特征提取檢測到特征后提取出來，表示成特征描述或者特征向量。 常用的圖像特征： 顏色特征、紋理特征形狀特征空間關(guān)系特征。1.顏色特征1.1特點： 顏色特征是全局特征，對區(qū)域的方向、大小不敏感，但是不能很好捕捉局部特征。優(yōu)點：不受旋轉(zhuǎn)和平移變化的影響，如果歸一化不受尺度變化的影響。缺點：不能表達顏色空間分布的信息。1.2特征提取與匹配方法（1）顏色直方圖適用于難以自動分割的圖像，最常用的顏色空間：RGB和HSV

3、。匹配方法：直方圖相交法（相交即交集）、距離法、中心距法、參考顏色表法、累加顏色直方圖法。對顏色特征的表達方式有許多種，我們采用直方圖進行特征描述。常見的直方圖有兩種：統(tǒng)計直方圖，累積直方圖。我們將分別實驗兩種直方圖在圖像聚類和檢索中的性能。 統(tǒng)計直方圖       為利用圖像的特征描述圖像，可借助特征的統(tǒng)計直方圖。圖像特征的統(tǒng)計直方圖實際是一個1-D的離散函數(shù)，即：       上式中k代表圖像的特征取值，L是特征可取值個數(shù)，是圖像中具有特征值

4、為k的像素的個數(shù)，N是圖像像素的總數(shù)，一個示例如下圖：其中有8個直方條，對應(yīng)圖像中的8種灰度像素在總像素中的比例。累積直方圖 圖像特征統(tǒng)計的累積直方圖也是一個1-D的離散函數(shù)，即： 上式的各個參數(shù)含義同前，與上圖對應(yīng)的累積直方圖見下： 直方圖間的距離可使用一般的歐式距離函數(shù)來衡量：       我們可以實驗多種相似性度量準(zhǔn)則，研究它們之間的差異，找出對于某類圖像，那種相似性度量能更加準(zhǔn)確的描述兩幅圖像之間的相似程度。 （2）顏色集近似于顏色直方圖。將RGB顏色空間轉(zhuǎn)換為視覺均衡的顏色空間（如HS

5、V空間）將空間量化成若干個bin。將圖像分為若干區(qū)域，每個區(qū)域用顏色空間的某個顏色分量來索引，從而將圖像表達為二進制的顏色索引集。匹配方法：距離法和色彩區(qū)域的空間關(guān)系。（3）顏色矩數(shù)學(xué)基礎(chǔ)：任何顏色分布可以用矩來表示。由于顏色分布主要在低階矩，一般用一階矩（均值）、二階矩（方差）和三階矩（偏度：skewness）表示顏色分布。（4）顏色聚合向量核心思想：將屬于直方圖的每一個bin的像素分成兩部分，如果bin內(nèi)的某些像素的連續(xù)面積大于給定閾值，則為聚合像素，否則為非聚合像素。（5）顏色相關(guān)圖如果用顏色直方圖匹配的方法進行圖像匹配，在這種情況下：不同的圖片直方圖分部也是一致的，采用直方圖匹配的方法

6、則沒有效果。對于直方圖這種簡單的統(tǒng)計方法，這種情況的存在不可避免。2.紋理特征2.1特點：紋理特征也是全局特征，描述圖像的表面性質(zhì)。紋理特征不是像素點的特征，而是區(qū)域進行統(tǒng)計的結(jié)果。適用于檢索粗細(xì)有較大差別的紋理圖像。優(yōu)點：具有旋轉(zhuǎn)不變性，對噪聲有較強抵抗能力。缺點：分辨率變化紋理偏差大，受光照、反射的影響。2.2特征提取與匹配方法（1）統(tǒng)計法常用的是灰度共生矩陣分析方法，四個關(guān)鍵特征：能量、慣量、熵和相關(guān)性。另一個典型方法是自相關(guān)函數(shù)（圖像的能量譜函數(shù)），通過計算圖像的能量譜函數(shù)，提取紋理的粗細(xì)和方向等。Tamura 紋理特征基于灰度共生矩陣，提出6種屬性，即：粗糙度、對比度、方向度、線像度

7、、規(guī)整度和粗略度。（2）幾何法建立在基本的紋理元素上的方法。但由于圖像分割困難，不太常用。比較有影響的算法有：Voronio棋盤格特征法和結(jié)構(gòu)法。（3）模型法以圖像的構(gòu)造模型為基礎(chǔ)，模型的參數(shù)作為紋理特征。即將圖像表示成一個分布，典型方法是隨機場模型法，如馬爾科夫隨機場模型（MRF）和Gibbs隨機場模型法。自回歸紋理模型（SAR）是馬爾科夫隨機場模型的一種應(yīng)用實例。（4）信號處理法將圖像表示成信號，然后根據(jù)信號進行處理和匹配。3.形狀特征3.1特點：基于形狀的檢索方法可以比較有效利用圖像中感興趣的目標(biāo)進行檢索。缺點：基于形狀的檢索方法還缺乏比較完善的數(shù)學(xué)模型；目標(biāo)變形結(jié)果不可靠；對計算時間和

8、存儲有較高要求；特征空間的相似性和人感受到的相似性有差別；2D圖像是3D物體在某個平面的投影，由于視點變化，2D圖像反應(yīng)的形狀通常不是3D物體的真實形狀。3.2特征提取與匹配方法形狀特征有兩類表示方法：一類是輪廓特征，另一類是區(qū)域特征。（1）邊界特征法經(jīng)典方法：Hough變換和邊界方向直方圖。Hough變換是利用全局特性將邊緣像素連接起來組成區(qū)域封閉邊界的方法，基本思想是點線對偶性；邊界方向直方圖是微分圖像得到邊緣，然后得到邊緣大小和方向的直方圖，構(gòu)造圖像灰度梯度方向矩陣（2）傅里葉形狀描述符法傅里葉形狀描述符(Fourier shape deors)基本思想是用物體邊界的傅里葉變換作為形狀描

9、述，利用區(qū)域邊界的封閉性和周期性，將二維問題轉(zhuǎn)化為一維問題。由邊界點導(dǎo)出三種形狀表達，分別是曲率函數(shù)、質(zhì)心距離、復(fù)坐標(biāo)函數(shù)。（3）幾何參數(shù)法是一直區(qū)域特征的方法，如可以采用形狀度量（如矩、面積、周長等），在基于內(nèi)容的檢索系統(tǒng)中，利用圓度、偏心率、主軸方向和代數(shù)不變矩等參數(shù)，進行圖像檢索。依賴于圖像分割。（4）形狀不變矩是一直區(qū)域特征的方法，利用目標(biāo)區(qū)域的矩作為形狀參數(shù)。依賴于圖像分割。（5）其他在形狀的表示和匹配方面的工作還包括有限元法（Finite Element Method 或 FEM）、旋轉(zhuǎn)函數(shù)（Turning ）和小波描述符（Wavelet Deor）等方法。小波和相對矩的結(jié)合：用小

10、波變換模極大值得到多尺度邊緣圖像，對每一尺度計算7個不變矩，再轉(zhuǎn)換為10個相對矩，將所有尺度的相對矩作為特征向量。4.空間關(guān)系特征4.1特點：指分割出來的多個目標(biāo)間的相互位置關(guān)系，分為連接、交疊和包含關(guān)系等?？臻g信息分為兩類：相對空間位置信息和絕對空間位置信息。前一種強調(diào)目標(biāo)之間的相對情況，如上下左右；后一種強調(diào)目標(biāo)間的距離和方位。由絕對可以推出相對，但相對信息比較簡單。優(yōu)點：可加強圖像的描述區(qū)分能力缺點：對旋轉(zhuǎn)、尺度變換敏感，實際應(yīng)用中除了空間關(guān)系特征，還需要其他特征配合。4.2特征提取與匹配方法空間關(guān)系特征有兩類表示方法：一類是圖像自動分割劃分區(qū)域，根據(jù)區(qū)域提取特征建立索引；另一類是均勻劃

11、分若干子塊，根據(jù)區(qū)域提取特征建立索引。 從另一個角度來看，特征提取的主要目的是降維。特征抽取的主要思想是將原始樣本投影到一個低維特征空間，得到最能反應(yīng)樣本本質(zhì)或進行樣本區(qū)分的低維樣本特征。一般圖像特征可以分為四類：直觀性特征、灰度統(tǒng)計特征、變換系數(shù)特征與代數(shù)特征。1.直觀性特征主要是指幾何特征。優(yōu)點：幾何特征比較穩(wěn)定，受人臉姿態(tài)和光照影響小。缺點：不易抽取，測量精度不高，與圖像處理技術(shù)密切相關(guān)。2.代數(shù)特征基于統(tǒng)計學(xué)習(xí)抽取的特征。分為兩類：一類是線性投影特征抽?。涣硪活愂欠蔷€性特征抽取。優(yōu)點：具有較高的識別精度。2.1線性投影特征抽取基本思想是根據(jù)性能目標(biāo)尋找線性變換，使原始數(shù)據(jù)壓縮到低維空間

12、。包括主成分分析（PCA）和Fisher線性鑒別分析（LDA）。圍繞這兩種方法形成的特征抽取算法，已成為模式識別領(lǐng)域中最為經(jīng)典和廣泛使用的方法。優(yōu)點：這樣數(shù)據(jù)分布更加緊湊，同時計算復(fù)雜度大大降低。缺點：需要對大量已有樣本進行學(xué)習(xí)，對定位、光照和非線性變形敏感，采樣條件對識別性能影響較大。2.2非線性特征提取非線性特征提取也是研究熱點之一，“核技巧”最早應(yīng)用在SVM中，KPCA和KFA是核技巧的推廣應(yīng)用。核投影方法的基本思想是將原樣本空間通過非線性映射，變換到高維甚至是無窮維空間，再應(yīng)用線性分析方法求解，新空間的線性分析對應(yīng)原空間的非線性分析。缺點：幾何意義不明確，無法知道樣本在映射后變成什么分

13、布；核函數(shù)的參數(shù)選取沒有標(biāo)準(zhǔn)，大多數(shù)只能采取經(jīng)驗參數(shù)；不適合訓(xùn)練樣本很多，原因是經(jīng)過核映射后，樣本的維度與訓(xùn)練樣本的個數(shù)成正比，樣本數(shù)量多核映射后的向量維數(shù)很高，計算量大。2.3對比就應(yīng)用領(lǐng)域，KPCA遠(yuǎn)沒有PCA應(yīng)用廣泛。作為一般性的降維KPCA比PCA效果好，尤其是特征空間不是歐式空間。PCA可以通過大量自然圖片學(xué)習(xí)一個子空間，但KPCA不行。3.變換系數(shù)特征先對圖像進行Fourier變換、小波變換等，得到的系數(shù)后作為特征進行識別。   局部圖像特征描述的核心問題是不變性（魯棒性）和可區(qū)分性。由于使用局部圖像特征描述子的時候，通常是為了魯棒地處理各種圖像變換的情況。因此

14、，在構(gòu)建/設(shè)計特征描述子的時候，不變性問題就是首先需要考慮的問題。在寬基線匹配中，需要考慮特征描述子對于視角變化的不變性、對尺度變化的不變性、對旋轉(zhuǎn)變化的不變性等；在形狀識別和物體檢索中，需要考慮特征描述子對形狀的不變性。      然而，特征描述子的可區(qū)分性的強弱往往和其不變性是矛盾的，也就是說，一個具有眾多不變性的特征描述子，它區(qū)分局部圖像內(nèi)容的能力就稍弱；而如果一個非常容易區(qū)分不同局部圖像內(nèi)容的特征描述子，它的魯棒性往往比較低。舉個例子，假定我們需要對一個點周圍固定大小的局部圖像內(nèi)容進行描述。如果我們直接將圖像內(nèi)容展開成一個列向量對其進行描述，那么

15、只要局部圖像內(nèi)容發(fā)生了一點變化，就會使得它的特征描述子發(fā)生較大的變化，因此這樣的特征描述方式很容易區(qū)分不同的局部圖像內(nèi)容，但是對于相同的局部圖像內(nèi)容發(fā)生旋轉(zhuǎn)變化等情況，它同樣會產(chǎn)生很大的差異，即不變性弱。      而另一方面，如果我們通過統(tǒng)計局部圖像灰度直方圖來進行特征描述，這種描述方式具有較強的不變性，對于局部圖像內(nèi)容發(fā)生旋轉(zhuǎn)變化等情況比較魯棒，但是區(qū)分能力較弱，例如無法區(qū)分兩個灰度直方圖相同但內(nèi)容不同的局部圖像塊。      綜上所述，一個優(yōu)秀的特征描述子不僅應(yīng)該具有很強不變性，還應(yīng)該具有很強的可區(qū)分性。在諸

16、多的局部圖像特征描述子中，SIFT（Scale Invariant Feature Transform）是其中應(yīng)用最廣的，它在1999年首次提出，至2004年得到完善。SIFT的提出也是局部圖像特征描述子研究領(lǐng)域一項里程碑式的工作。由于SIFT對尺度、旋轉(zhuǎn)以及一定視角和光照變化等圖像變化都具有不變性，并且SIFT具有很強的可區(qū)分性，自它提出以來，很快在物體識別、寬基線圖像匹配、三維重建、圖像檢索中得到了應(yīng)用，局部圖像特征描述子在計算機視覺領(lǐng)域內(nèi)也得到了更加廣泛的關(guān)注，涌現(xiàn)了一大批各具特色的局部圖像特征描述子。       SURF（Speeded Up

17、Robust Features）是對SIFT的改進版本，它利用Haar小波來近似SIFT方法中的梯度操作，同時利用積分圖技術(shù)進行快速計算，SURF的速度是SIFT的3-7倍，大部分情況下它和SIFT的性能相當(dāng)，因此它在很多應(yīng)用中得到了應(yīng)用，尤其是對運行時間要求高的場合。       DAISY是面向稠密特征提取的可快速計算的局部圖像特征描述子，它本質(zhì)思想和SIFT是一樣的：分塊統(tǒng)計梯度方向直方圖，不同的是，DAISY在分塊策略上進行了改進，利用高斯卷積來進行梯度方向直方圖的分塊匯聚，這樣利用高斯卷積的可快速計算性就可以快速稠密地進行特征描述子的提取。比較

18、巧合的是，DAISY這種特征匯聚策略被一些研究者（Matthen Brown，Gang Hua，Simon Winder）通過機器學(xué)習(xí)的方法證明相對于其他幾種特征匯聚策略（卡迪爾坐標(biāo)下分塊、極坐標(biāo)下分塊）是最優(yōu)的。       ASIFT（Affine SIFT）通過模擬所有成像視角下得到的圖像進行特征匹配，可以很好地處理視角變化的情況，尤其是大視角變化下的圖像匹配。       MROGH（Multi-support Region Order-based Gradient Histogram）則是特征匯聚策略上尋

19、求創(chuàng)新，之前的局部圖像特征描述子，其特征匯聚策略都是基于鄰域內(nèi)點的幾何位置的，而MROGH基于點的灰度序進行特征匯聚。       BRIEF（Binary Robust Independent Element Feature）利用局部圖像鄰域內(nèi)隨機點對的灰度大小關(guān)系來建立局部圖像特征描述子，得到的二值特征描述子不僅匹配速度快，而且存儲要求內(nèi)存低，因此手機應(yīng)用中具有很好的應(yīng)用前景。其實，利用鄰域內(nèi)點對的灰度大小關(guān)系進行特征描述這一思想在SMD（ECCV08）中就已經(jīng)有了。      除了BRIEF，近兩年還提出了許

20、多二值特征描述子，例如ORB、BRISK、FREAK。上述這些特征描述子都是基于手動設(shè)計得到的，也有一些研究試圖利用機器學(xué)習(xí)的方法，通過數(shù)據(jù)驅(qū)動得到想要的特征描述子。這類特征描述子包括PCA-SIFT，Linear Discriminative Embedding，LDA-Hash等。當(dāng)然，除了提到的這些特征描述子之外，還有許多其他的特征描述子，在這就不再一一敘述了。 國際上研究局部圖像特征描述子比較著名的學(xué)者有：      英國Surrey大學(xué)的Mikolajzyk，他在INRIA做博后的時候，在寬基線應(yīng)用背景下，對SIFT、Shape Co

21、ntext、PCA-SIFT、不變矩等多種局部圖像描述子的性能進行了評測，相關(guān)論文發(fā)表在2005年P(guān)AMI上，他提出來的評測方法至今仍是局部圖像描述子研究領(lǐng)域中廣泛采用的性能評測方法。       INRIA的C. Schmid，她九十年代就開始研究局部圖像描述方法了，是這個領(lǐng)域內(nèi)的元老之一，不過這幾年她的團隊正在將重心轉(zhuǎn)向大規(guī)模圖像檢索和行為識別等應(yīng)用中。      比利時Leuven大學(xué)的Tinne Tuytelaars，她是著名的SURF描述子的提出者，SURF相關(guān)的論文于2011年獲得CVIU引用最多論文獎，她寫了三篇局部圖像特征描述相關(guān)的綜述文章，分別是“Local Invariant Feature Detectors: A Survey”，“Local Image Features”和“Wide baseline matching”。