圖像特征提取綜述

1、圖像特征提取的定位是計(jì)算機(jī)視覺和圖像處理里的一個(gè)概念，表征圖像的特性。輸入是一張圖像（二維的數(shù)據(jù)矩陣），輸出是一個(gè)值、一個(gè)向量、一個(gè)分布、一個(gè)函數(shù)或者是信號(hào)。提取特征的方法千差萬別，下面是圖像特征的一些特性：邊緣邊緣是兩個(gè)區(qū)域邊界的像素集合，本質(zhì)上是圖像像素的子集，能將區(qū)域分開。邊緣形狀是任意的，實(shí)踐中定義為大的梯度的像素點(diǎn)的集合，同時(shí)為了平滑，還需要一些算法進(jìn)行處理。角顧名思義，有個(gè)突然較大的弧度。早起算法是在邊緣檢測(cè)的基礎(chǔ)上，分析邊緣的走向，如果突然轉(zhuǎn)向則被認(rèn)為是角。后來的算法不再需要邊緣檢測(cè)，直接計(jì)算圖像梯度的高度曲率（合情合理）。但會(huì)出現(xiàn)沒有角的地方也檢測(cè)到角的存在。區(qū)域區(qū)域性的結(jié)構(gòu)，

2、很多區(qū)域檢測(cè)用來檢測(cè)角。區(qū)域檢測(cè)可以看作是圖像縮小后的角檢測(cè)。脊長形的物體，例如道路、血管。脊可以看成是代表對(duì)稱軸的一維曲線，每個(gè)脊像素都有脊寬度，從灰梯度圖像中提取要比邊緣、角和區(qū)域都難。特征提取檢測(cè)到特征后提取出來，表示成特征描述或者特征向量。 常用的圖像特征： 顏色特征、紋理特征形狀特征空間關(guān)系特征。1.顏色特征1.1特點(diǎn)： 顏色特征是全局特征，對(duì)區(qū)域的方向、大小不敏感，但是不能很好捕捉局部特征。優(yōu)點(diǎn)：不受旋轉(zhuǎn)和平移變化的影響，如果歸一化不受尺度變化的影響。缺點(diǎn)：不能表達(dá)顏色空間分布的信息。1.2特征提取與匹配方法（1）顏色直方圖適用于難以自動(dòng)分割的圖像，最常用的顏色空間：RGB和HSV

3、。匹配方法：直方圖相交法（相交即交集）、距離法、中心距法、參考顏色表法、累加顏色直方圖法。對(duì)顏色特征的表達(dá)方式有許多種，我們采用直方圖進(jìn)行特征描述。常見的直方圖有兩種：統(tǒng)計(jì)直方圖，累積直方圖。我們將分別實(shí)驗(yàn)兩種直方圖在圖像聚類和檢索中的性能。 統(tǒng)計(jì)直方圖       為利用圖像的特征描述圖像，可借助特征的統(tǒng)計(jì)直方圖。圖像特征的統(tǒng)計(jì)直方圖實(shí)際是一個(gè)1-D的離散函數(shù)，即：       上式中k代表圖像的特征取值，L是特征可取值個(gè)數(shù)，是圖像中具有特征值

4、為k的像素的個(gè)數(shù)，N是圖像像素的總數(shù)，一個(gè)示例如下圖：其中有8個(gè)直方條，對(duì)應(yīng)圖像中的8種灰度像素在總像素中的比例。累積直方圖 圖像特征統(tǒng)計(jì)的累積直方圖也是一個(gè)1-D的離散函數(shù)，即： 上式的各個(gè)參數(shù)含義同前，與上圖對(duì)應(yīng)的累積直方圖見下： 直方圖間的距離可使用一般的歐式距離函數(shù)來衡量：       我們可以實(shí)驗(yàn)多種相似性度量準(zhǔn)則，研究它們之間的差異，找出對(duì)于某類圖像，那種相似性度量能更加準(zhǔn)確的描述兩幅圖像之間的相似程度。 （2）顏色集近似于顏色直方圖。將RGB顏色空間轉(zhuǎn)換為視覺均衡的顏色空間（如HS

5、V空間）將空間量化成若干個(gè)bin。將圖像分為若干區(qū)域，每個(gè)區(qū)域用顏色空間的某個(gè)顏色分量來索引，從而將圖像表達(dá)為二進(jìn)制的顏色索引集。匹配方法：距離法和色彩區(qū)域的空間關(guān)系。（3）顏色矩?cái)?shù)學(xué)基礎(chǔ)：任何顏色分布可以用矩來表示。由于顏色分布主要在低階矩，一般用一階矩（均值）、二階矩（方差）和三階矩（偏度：skewness）表示顏色分布。（4）顏色聚合向量核心思想：將屬于直方圖的每一個(gè)bin的像素分成兩部分，如果bin內(nèi)的某些像素的連續(xù)面積大于給定閾值，則為聚合像素，否則為非聚合像素。（5）顏色相關(guān)圖如果用顏色直方圖匹配的方法進(jìn)行圖像匹配，在這種情況下：不同的圖片直方圖分部也是一致的，采用直方圖匹配的方法

6、則沒有效果。對(duì)于直方圖這種簡單的統(tǒng)計(jì)方法，這種情況的存在不可避免。2.紋理特征2.1特點(diǎn)：紋理特征也是全局特征，描述圖像的表面性質(zhì)。紋理特征不是像素點(diǎn)的特征，而是區(qū)域進(jìn)行統(tǒng)計(jì)的結(jié)果。適用于檢索粗細(xì)有較大差別的紋理圖像。優(yōu)點(diǎn)：具有旋轉(zhuǎn)不變性，對(duì)噪聲有較強(qiáng)抵抗能力。缺點(diǎn)：分辨率變化紋理偏差大，受光照、反射的影響。2.2特征提取與匹配方法（1）統(tǒng)計(jì)法常用的是灰度共生矩陣分析方法，四個(gè)關(guān)鍵特征：能量、慣量、熵和相關(guān)性。另一個(gè)典型方法是自相關(guān)函數(shù)（圖像的能量譜函數(shù)），通過計(jì)算圖像的能量譜函數(shù)，提取紋理的粗細(xì)和方向等。Tamura 紋理特征基于灰度共生矩陣，提出6種屬性，即：粗糙度、對(duì)比度、方向度、線像度

7、、規(guī)整度和粗略度。（2）幾何法建立在基本的紋理元素上的方法。但由于圖像分割困難，不太常用。比較有影響的算法有：Voronio棋盤格特征法和結(jié)構(gòu)法。（3）模型法以圖像的構(gòu)造模型為基礎(chǔ)，模型的參數(shù)作為紋理特征。即將圖像表示成一個(gè)分布，典型方法是隨機(jī)場(chǎng)模型法，如馬爾科夫隨機(jī)場(chǎng)模型（MRF）和Gibbs隨機(jī)場(chǎng)模型法。自回歸紋理模型（SAR）是馬爾科夫隨機(jī)場(chǎng)模型的一種應(yīng)用實(shí)例。（4）信號(hào)處理法將圖像表示成信號(hào)，然后根據(jù)信號(hào)進(jìn)行處理和匹配。3.形狀特征3.1特點(diǎn)：基于形狀的檢索方法可以比較有效利用圖像中感興趣的目標(biāo)進(jìn)行檢索。缺點(diǎn)：基于形狀的檢索方法還缺乏比較完善的數(shù)學(xué)模型；目標(biāo)變形結(jié)果不可靠；對(duì)計(jì)算時(shí)間和

8、存儲(chǔ)有較高要求；特征空間的相似性和人感受到的相似性有差別；2D圖像是3D物體在某個(gè)平面的投影，由于視點(diǎn)變化，2D圖像反應(yīng)的形狀通常不是3D物體的真實(shí)形狀。3.2特征提取與匹配方法形狀特征有兩類表示方法：一類是輪廓特征，另一類是區(qū)域特征。（1）邊界特征法經(jīng)典方法：Hough變換和邊界方向直方圖。Hough變換是利用全局特性將邊緣像素連接起來組成區(qū)域封閉邊界的方法，基本思想是點(diǎn)線對(duì)偶性；邊界方向直方圖是微分圖像得到邊緣，然后得到邊緣大小和方向的直方圖，構(gòu)造圖像灰度梯度方向矩陣（2）傅里葉形狀描述符法傅里葉形狀描述符(Fourier shape deors)基本思想是用物體邊界的傅里葉變換作為形狀描

9、述，利用區(qū)域邊界的封閉性和周期性，將二維問題轉(zhuǎn)化為一維問題。由邊界點(diǎn)導(dǎo)出三種形狀表達(dá)，分別是曲率函數(shù)、質(zhì)心距離、復(fù)坐標(biāo)函數(shù)。（3）幾何參數(shù)法是一直區(qū)域特征的方法，如可以采用形狀度量（如矩、面積、周長等），在基于內(nèi)容的檢索系統(tǒng)中，利用圓度、偏心率、主軸方向和代數(shù)不變矩等參數(shù)，進(jìn)行圖像檢索。依賴于圖像分割。（4）形狀不變矩是一直區(qū)域特征的方法，利用目標(biāo)區(qū)域的矩作為形狀參數(shù)。依賴于圖像分割。（5）其他在形狀的表示和匹配方面的工作還包括有限元法（Finite Element Method 或 FEM）、旋轉(zhuǎn)函數(shù)（Turning ）和小波描述符（Wavelet Deor）等方法。小波和相對(duì)矩的結(jié)合：用小

10、波變換模極大值得到多尺度邊緣圖像，對(duì)每一尺度計(jì)算7個(gè)不變矩，再轉(zhuǎn)換為10個(gè)相對(duì)矩，將所有尺度的相對(duì)矩作為特征向量。4.空間關(guān)系特征4.1特點(diǎn)：指分割出來的多個(gè)目標(biāo)間的相互位置關(guān)系，分為連接、交疊和包含關(guān)系等?？臻g信息分為兩類：相對(duì)空間位置信息和絕對(duì)空間位置信息。前一種強(qiáng)調(diào)目標(biāo)之間的相對(duì)情況，如上下左右；后一種強(qiáng)調(diào)目標(biāo)間的距離和方位。由絕對(duì)可以推出相對(duì)，但相對(duì)信息比較簡單。優(yōu)點(diǎn)：可加強(qiáng)圖像的描述區(qū)分能力缺點(diǎn)：對(duì)旋轉(zhuǎn)、尺度變換敏感，實(shí)際應(yīng)用中除了空間關(guān)系特征，還需要其他特征配合。4.2特征提取與匹配方法空間關(guān)系特征有兩類表示方法：一類是圖像自動(dòng)分割劃分區(qū)域，根據(jù)區(qū)域提取特征建立索引；另一類是均勻劃

11、分若干子塊，根據(jù)區(qū)域提取特征建立索引。 從另一個(gè)角度來看，特征提取的主要目的是降維。特征抽取的主要思想是將原始樣本投影到一個(gè)低維特征空間，得到最能反應(yīng)樣本本質(zhì)或進(jìn)行樣本區(qū)分的低維樣本特征。一般圖像特征可以分為四類：直觀性特征、灰度統(tǒng)計(jì)特征、變換系數(shù)特征與代數(shù)特征。1.直觀性特征主要是指幾何特征。優(yōu)點(diǎn)：幾何特征比較穩(wěn)定，受人臉姿態(tài)和光照影響小。缺點(diǎn)：不易抽取，測(cè)量精度不高，與圖像處理技術(shù)密切相關(guān)。2.代數(shù)特征基于統(tǒng)計(jì)學(xué)習(xí)抽取的特征。分為兩類：一類是線性投影特征抽取；另一類是非線性特征抽取。優(yōu)點(diǎn)：具有較高的識(shí)別精度。2.1線性投影特征抽取基本思想是根據(jù)性能目標(biāo)尋找線性變換，使原始數(shù)據(jù)壓縮到低維空間

12、。包括主成分分析（PCA）和Fisher線性鑒別分析（LDA）。圍繞這兩種方法形成的特征抽取算法，已成為模式識(shí)別領(lǐng)域中最為經(jīng)典和廣泛使用的方法。優(yōu)點(diǎn)：這樣數(shù)據(jù)分布更加緊湊，同時(shí)計(jì)算復(fù)雜度大大降低。缺點(diǎn)：需要對(duì)大量已有樣本進(jìn)行學(xué)習(xí)，對(duì)定位、光照和非線性變形敏感，采樣條件對(duì)識(shí)別性能影響較大。2.2非線性特征提取非線性特征提取也是研究熱點(diǎn)之一，“核技巧”最早應(yīng)用在SVM中，KPCA和KFA是核技巧的推廣應(yīng)用。核投影方法的基本思想是將原樣本空間通過非線性映射，變換到高維甚至是無窮維空間，再應(yīng)用線性分析方法求解，新空間的線性分析對(duì)應(yīng)原空間的非線性分析。缺點(diǎn)：幾何意義不明確，無法知道樣本在映射后變成什么分

13、布；核函數(shù)的參數(shù)選取沒有標(biāo)準(zhǔn)，大多數(shù)只能采取經(jīng)驗(yàn)參數(shù)；不適合訓(xùn)練樣本很多，原因是經(jīng)過核映射后，樣本的維度與訓(xùn)練樣本的個(gè)數(shù)成正比，樣本數(shù)量多核映射后的向量維數(shù)很高，計(jì)算量大。2.3對(duì)比就應(yīng)用領(lǐng)域，KPCA遠(yuǎn)沒有PCA應(yīng)用廣泛。作為一般性的降維KPCA比PCA效果好，尤其是特征空間不是歐式空間。PCA可以通過大量自然圖片學(xué)習(xí)一個(gè)子空間，但KPCA不行。3.變換系數(shù)特征先對(duì)圖像進(jìn)行Fourier變換、小波變換等，得到的系數(shù)后作為特征進(jìn)行識(shí)別。   局部圖像特征描述的核心問題是不變性（魯棒性）和可區(qū)分性。由于使用局部圖像特征描述子的時(shí)候，通常是為了魯棒地處理各種圖像變換的情況。因此

14、，在構(gòu)建/設(shè)計(jì)特征描述子的時(shí)候，不變性問題就是首先需要考慮的問題。在寬基線匹配中，需要考慮特征描述子對(duì)于視角變化的不變性、對(duì)尺度變化的不變性、對(duì)旋轉(zhuǎn)變化的不變性等；在形狀識(shí)別和物體檢索中，需要考慮特征描述子對(duì)形狀的不變性。      然而，特征描述子的可區(qū)分性的強(qiáng)弱往往和其不變性是矛盾的，也就是說，一個(gè)具有眾多不變性的特征描述子，它區(qū)分局部圖像內(nèi)容的能力就稍弱；而如果一個(gè)非常容易區(qū)分不同局部圖像內(nèi)容的特征描述子，它的魯棒性往往比較低。舉個(gè)例子，假定我們需要對(duì)一個(gè)點(diǎn)周圍固定大小的局部圖像內(nèi)容進(jìn)行描述。如果我們直接將圖像內(nèi)容展開成一個(gè)列向量對(duì)其進(jìn)行描述，那么

15、只要局部圖像內(nèi)容發(fā)生了一點(diǎn)變化，就會(huì)使得它的特征描述子發(fā)生較大的變化，因此這樣的特征描述方式很容易區(qū)分不同的局部圖像內(nèi)容，但是對(duì)于相同的局部圖像內(nèi)容發(fā)生旋轉(zhuǎn)變化等情況，它同樣會(huì)產(chǎn)生很大的差異，即不變性弱。      而另一方面，如果我們通過統(tǒng)計(jì)局部圖像灰度直方圖來進(jìn)行特征描述，這種描述方式具有較強(qiáng)的不變性，對(duì)于局部圖像內(nèi)容發(fā)生旋轉(zhuǎn)變化等情況比較魯棒，但是區(qū)分能力較弱，例如無法區(qū)分兩個(gè)灰度直方圖相同但內(nèi)容不同的局部圖像塊。      綜上所述，一個(gè)優(yōu)秀的特征描述子不僅應(yīng)該具有很強(qiáng)不變性，還應(yīng)該具有很強(qiáng)的可區(qū)分性。在諸

16、多的局部圖像特征描述子中，SIFT（Scale Invariant Feature Transform）是其中應(yīng)用最廣的，它在1999年首次提出，至2004年得到完善。SIFT的提出也是局部圖像特征描述子研究領(lǐng)域一項(xiàng)里程碑式的工作。由于SIFT對(duì)尺度、旋轉(zhuǎn)以及一定視角和光照變化等圖像變化都具有不變性，并且SIFT具有很強(qiáng)的可區(qū)分性，自它提出以來，很快在物體識(shí)別、寬基線圖像匹配、三維重建、圖像檢索中得到了應(yīng)用，局部圖像特征描述子在計(jì)算機(jī)視覺領(lǐng)域內(nèi)也得到了更加廣泛的關(guān)注，涌現(xiàn)了一大批各具特色的局部圖像特征描述子。       SURF（Speeded Up

17、Robust Features）是對(duì)SIFT的改進(jìn)版本，它利用Haar小波來近似SIFT方法中的梯度操作，同時(shí)利用積分圖技術(shù)進(jìn)行快速計(jì)算，SURF的速度是SIFT的3-7倍，大部分情況下它和SIFT的性能相當(dāng)，因此它在很多應(yīng)用中得到了應(yīng)用，尤其是對(duì)運(yùn)行時(shí)間要求高的場(chǎng)合。       DAISY是面向稠密特征提取的可快速計(jì)算的局部圖像特征描述子，它本質(zhì)思想和SIFT是一樣的：分塊統(tǒng)計(jì)梯度方向直方圖，不同的是，DAISY在分塊策略上進(jìn)行了改進(jìn)，利用高斯卷積來進(jìn)行梯度方向直方圖的分塊匯聚，這樣利用高斯卷積的可快速計(jì)算性就可以快速稠密地進(jìn)行特征描述子的提取。比較

18、巧合的是，DAISY這種特征匯聚策略被一些研究者（Matthen Brown，Gang Hua，Simon Winder）通過機(jī)器學(xué)習(xí)的方法證明相對(duì)于其他幾種特征匯聚策略（卡迪爾坐標(biāo)下分塊、極坐標(biāo)下分塊）是最優(yōu)的。       ASIFT（Affine SIFT）通過模擬所有成像視角下得到的圖像進(jìn)行特征匹配，可以很好地處理視角變化的情況，尤其是大視角變化下的圖像匹配。       MROGH（Multi-support Region Order-based Gradient Histogram）則是特征匯聚策略上尋

19、求創(chuàng)新，之前的局部圖像特征描述子，其特征匯聚策略都是基于鄰域內(nèi)點(diǎn)的幾何位置的，而MROGH基于點(diǎn)的灰度序進(jìn)行特征匯聚。       BRIEF（Binary Robust Independent Element Feature）利用局部圖像鄰域內(nèi)隨機(jī)點(diǎn)對(duì)的灰度大小關(guān)系來建立局部圖像特征描述子，得到的二值特征描述子不僅匹配速度快，而且存儲(chǔ)要求內(nèi)存低，因此手機(jī)應(yīng)用中具有很好的應(yīng)用前景。其實(shí)，利用鄰域內(nèi)點(diǎn)對(duì)的灰度大小關(guān)系進(jìn)行特征描述這一思想在SMD（ECCV08）中就已經(jīng)有了。      除了BRIEF，近兩年還提出了許

20、多二值特征描述子，例如ORB、BRISK、FREAK。上述這些特征描述子都是基于手動(dòng)設(shè)計(jì)得到的，也有一些研究試圖利用機(jī)器學(xué)習(xí)的方法，通過數(shù)據(jù)驅(qū)動(dòng)得到想要的特征描述子。這類特征描述子包括PCA-SIFT，Linear Discriminative Embedding，LDA-Hash等。當(dāng)然，除了提到的這些特征描述子之外，還有許多其他的特征描述子，在這就不再一一敘述了。 國際上研究局部圖像特征描述子比較著名的學(xué)者有：      英國Surrey大學(xué)的Mikolajzyk，他在INRIA做博后的時(shí)候，在寬基線應(yīng)用背景下，對(duì)SIFT、Shape Co

21、ntext、PCA-SIFT、不變矩等多種局部圖像描述子的性能進(jìn)行了評(píng)測(cè)，相關(guān)論文發(fā)表在2005年P(guān)AMI上，他提出來的評(píng)測(cè)方法至今仍是局部圖像描述子研究領(lǐng)域中廣泛采用的性能評(píng)測(cè)方法。       INRIA的C. Schmid，她九十年代就開始研究局部圖像描述方法了，是這個(gè)領(lǐng)域內(nèi)的元老之一，不過這幾年她的團(tuán)隊(duì)正在將重心轉(zhuǎn)向大規(guī)模圖像檢索和行為識(shí)別等應(yīng)用中。      比利時(shí)Leuven大學(xué)的Tinne Tuytelaars，她是著名的SURF描述子的提出者，SURF相關(guān)的論文于2011年獲得CVIU引用最多論文獎(jiǎng)，她寫了三篇局部圖像特征描述相關(guān)的綜述文章，分別是“Local Invariant Feature Detectors: A Survey”，“Local Image Features”和“Wide baseline matching”。