基于內(nèi)容的圖像檢索技術(shù)綜述

1、收稿日期:2004-12-18基金項(xiàng)目:華東交大科學(xué)基金項(xiàng)目(基于內(nèi)容的圖像檢索技術(shù)研究作者簡介:范自柱(1975-,男,安徽廬江人,講師.文章編號:1005-0523(200505-0147-04基于內(nèi)容的圖像檢索技術(shù)綜述范自柱(華東交通大學(xué)基礎(chǔ)科學(xué)學(xué)院,江西南昌330013摘要:近年來,隨著多媒體和網(wǎng)絡(luò)技術(shù)的迅速發(fā)展,基于內(nèi)容的圖像檢索技術(shù)(C BIR :C ontent -Based Image Retrieval 成為一個研究熱點(diǎn).本文介紹C BIR 研究中的一些關(guān)鍵問題,并對其主要方法如基于顏色、形狀、紋理等圖像檢索技術(shù)進(jìn)行了討論.關(guān)鍵詞:基于內(nèi)容的圖像檢索;顏色空間;多媒體技術(shù)中圖

2、分類號:TP391.4文獻(xiàn)標(biāo)識碼:A1引言傳統(tǒng)的圖像數(shù)據(jù)庫檢索采用基于關(guān)鍵詞或描述性文本的檢索方式,查詢時需要指明文本特征,要求用戶對文本特征的描述具有一定的準(zhǔn)確性和規(guī)范性.由于圖像內(nèi)容的豐富內(nèi)涵以及人們對圖像內(nèi)容進(jìn)行抽象時的主觀性,使得這種方法往往不能滿足人們的需要.基于內(nèi)容的檢索(C ontent -Based Image Re 2trieval ,C BIR 不同于傳統(tǒng)的檢索手段,它用于檢索的是反映圖像內(nèi)容并與圖像存儲在一起的各種量化特征,使用的是基于相似性度量的示例查詢(Query By Exam ple 方法.目前,國外許多機(jī)構(gòu)都在進(jìn)行相關(guān)的研究,并推出了以I BM 的QBIC 1和

3、MIT 的PhotoBook 2為代表的一系列成功的產(chǎn)品.2基于內(nèi)容的圖像檢索的主要索引技術(shù)書庫中查找到.而基于圖像的檢索就目前計(jì)算機(jī)和人工智能發(fā)展的水平來講,完全是一種基于相似性的度量.雖然查詢者的要求千差萬別,但是查找的層次基本可以分為三層25:基于原始數(shù)據(jù)的查找、基于特征的查找和基于語義的查找.第22卷第5期2005年10月華東交通大學(xué)學(xué)報(bào)Journal of East China Jiaotong University V ol.22N o.5Oct.,2005用顏色特征進(jìn)行圖像檢索可以追溯到S wain和Ballard3提出的顏色直方圖的方法.主要可以分為兩類24:全局顏色特征檢索和

4、局部顏色特征檢索.1全局色彩特征檢索全局色彩特征檢索方法目前采用最多的是色彩直方圖的方法,S wain的主要思想是根據(jù)色彩直方圖統(tǒng)計(jì)每種色彩在圖像中出現(xiàn)的概率,然后采用色彩直方圖的交來度量兩幅圖像色彩的相似性,其最大的缺點(diǎn)是完全丟失了圖像色彩的空間信息. Pass4等人提出以圖像的色彩聚合矢量CC V(color coherence vector來作為圖像的索引,它是圖像直方圖的一種演變,聚合矢量中的聚合信息在某種程度上保留了圖像色彩的空間信息.Stricker和Oreng o5提出了累計(jì)色彩直方圖方法,并且提出了色彩矩的方法,認(rèn)為色彩信息集中在圖像色彩的低階矩中.他們主要對每種色彩分量的一階

5、、二階和三階矩進(jìn)行統(tǒng)計(jì).2局部色彩特征檢索由于全局色彩特征檢索捕獲了整幅圖像色彩分布的信息,丟失了許多局部的色彩空間信息.目前從劃分局部區(qū)域的角度來說可分為:基于固定塊的圖像分割、基于手工的區(qū)域分割、采用交互的半自動的區(qū)域分割以及一些自動的色彩分割方法.局部區(qū)域中的色彩信息可以表示為平均色彩、主色彩、色彩直方圖和二進(jìn)制色彩集.H su6等人試圖結(jié)合圖像的色彩信息和圖像色彩的部分空間信息對色彩的直方圖進(jìn)行檢索.Smith和Chang7采用色彩的自動分割方法,形成一個二進(jìn)制的色彩索引集,在圖像匹配中,比較這些圖像色彩集的距離和色彩區(qū)域的空間信息.色彩的空間關(guān)系主要有色彩區(qū)域的分離、包含、交,每種關(guān)

6、系對應(yīng)一定的評分,查詢的空間距離是所有這些色彩區(qū)域所對應(yīng)的空間關(guān)系的評分和.關(guān)于圖像色彩直方圖之間的距離,目前主要有直方圖的交、直方圖的絕對值距離,Niblack和Bar2 ber8等人采用直方圖的歐幾里德距離的度量方法, Hafner9等人提出了色彩直方圖之間的加權(quán)距離作為直方圖之間的度量方法.綜上所述,人們對色彩索引方法的研究已經(jīng)相當(dāng)多,它們都分別從不同的方面對色彩檢索問題進(jìn)行了研究.但目前主要存在的問題是色彩空間選擇并不完全統(tǒng)一,有人使用RG B色彩空間,更多的人采用HS V,MUSHE LL等視覺意義上的色彩空間等,而且這些方法之間關(guān)于色彩之間的度量方法也不統(tǒng)一,給各種方法檢索效果的評

7、價帶來了一定的難度.色彩檢索方法僅僅是基于內(nèi)容檢索的一種方法,在實(shí)際應(yīng)用中和其它檢索方法相結(jié)合,效果可能更佳.2.2形狀檢索形狀描述是通過一些方法生成數(shù)值的描述子來描述形狀,描述子應(yīng)在盡可能區(qū)別不同目標(biāo)的基礎(chǔ)上對目標(biāo)的平移、旋轉(zhuǎn)和尺度變化不敏感.它的具體實(shí)現(xiàn)方法可以分為兩類:基于輪廓和基于區(qū)域方法.多邊形逼近是用多邊形線段來近似形狀邊緣,即是以最小誤差、最小多邊形周長、最小多邊形內(nèi)部面積,或最小多邊形外部面積作為近似準(zhǔn)則.這類方法中最常用的是分裂和合并法,在這個方法中,曲線分裂由幾個線段來表示直到誤差達(dá)到可以接受.同時分裂的線段又有可能融合,如果融合后的線段同原始曲線的誤差在允許的最大誤差范圍

8、內(nèi),線段即融合.Wu和Leou提出了另一種不同的準(zhǔn)則來獲取多邊形逼近,他們使用的多邊形逼近準(zhǔn)則是最大內(nèi)部面積、最小外部面積、最小面積偏差. Bengtss on和Eklundh13提出了一種層次化的多邊形逼近方法.分裂合并方法經(jīng)常用于多邊形逼近,尺度空間的方法則常常用于跟蹤曲線上的特征點(diǎn). Chung14等人開發(fā)了一種基于H opfield神經(jīng)網(wǎng)絡(luò)的形狀多邊形逼近方法.這種方法是將多邊形逼近定義為對神經(jīng)網(wǎng)絡(luò)能量函數(shù)的最小化問題,就是最小化曲線和多邊形的弧與弦之間的偏差.對于形狀的區(qū)域特征主要有形狀的無關(guān)矩、區(qū)域的面積、形狀的縱橫比、主軸方向、凹凸面積22等,這些特征得到了廣泛的應(yīng)用15.Fli

9、cker等人在I BM的QBIC圖像檢索系統(tǒng)中采用了形狀面積、圓841華東交通大學(xué)學(xué)報(bào)2005年度、離心率、主軸慣量以及高階無關(guān)矩,取得了滿意的效果.2.3紋理檢索紋理是圖像的又一重要特征,雖然尚無精確的定義,但卻受到廣泛研究.一般認(rèn)為紋理就是紋理元素有規(guī)律的排列組合,而把具有重復(fù)性、形狀簡單、強(qiáng)度一致的區(qū)域看作紋理元素23.視覺紋理特性主要有:粗糙度、對比度、方向度、粗略度等,圖像檢索用到的紋理特征表示方法主要有16:T amura法(反映了粗糙度、對比度、方向度等、MRS AR(multi -res olution simultaneous auto-regressive m odel、C

10、an2 ny角直方圖法、G abor變換.T amura法是對整幅圖像進(jìn)行處理,效果較差,改進(jìn)方法是采用直方圖.和其他方法(紋理的主分量分析、小波變換特征等的比較17可知,MRS AR18區(qū)分不同紋理模式的能力較強(qiáng),但計(jì)算開銷也較大.MRS AR與G abor方法雖然性能較好,但其復(fù)雜度較高、處理時間也較長,在圖像檢索中使用基于T WT、PWT的方法比較合適.3基于內(nèi)容圖像檢索技術(shù)發(fā)展趨勢目前的基于內(nèi)容圖像檢索技術(shù)主要是采用前一節(jié)所述的一種或多種方法,若采用多種方法,則給每種方法賦以一定的權(quán)值,再結(jié)合用戶檢索時的反饋信息19,20,21,不斷調(diào)整這些參數(shù)以達(dá)到最優(yōu)效果.但是無論是使用顏色,形狀

11、還是紋理特征,每種特征都有各自的不足之處.僅用顏色會使圖像的空間信息損失,形狀特征的提取本身就是一個難題,紋理又有其局限性,一個紋理特征集一般只對某個圖像數(shù)據(jù)庫可行,而對其他圖像庫不用定有效.比較可取的方法是把這三種特征綜合起來使用,但仍不能從根本上解決問題,因?yàn)檫@些都是圖像的低層特征,它們和人眼的主觀視覺特征存在著不一致的地方.綜上所述,未來的圖像檢索技術(shù)發(fā)展趨勢主要有以下幾個方面:1圖像檢索的快速算法.目前流行的大多算法,不論是基于那種特征都有計(jì)算量大這一缺點(diǎn),圖像自身數(shù)據(jù)量大是其一個原因.但是,若能夠采用更簡潔而又精確的方法來描述圖像,其計(jì)算復(fù)雜度就會降低.因此,在未來相當(dāng)長的一段時間內(nèi)

12、,圖像的快速檢索仍是一個重要的研究課題,這也是圖像檢索技術(shù)實(shí)用化的必然要求.2圖像的智能檢索.現(xiàn)今的很多圖像檢索技術(shù)或多或少的采用了智能方法,但還遠(yuǎn)沒有達(dá)到人們的要求.當(dāng)然,模式識別和人工智能等領(lǐng)域的理論技術(shù)還有待突破,但這并不妨礙我們借鑒這些領(lǐng)域的理論,如數(shù)據(jù)挖掘、神經(jīng)網(wǎng)絡(luò)、智能搜索以及蟻群算法、人工免疫等優(yōu)化方法.3圖像數(shù)據(jù)庫模型的建立.傳統(tǒng)的關(guān)系數(shù)據(jù)庫模型在處理圖像時會遇到很多問題,例如,怎樣快速的讀寫圖像數(shù)據(jù),查詢優(yōu)化,抽取和存儲圖像特征,相似度計(jì)算等等.這些問題的較好解決方法是建立面向?qū)ο髷?shù)據(jù)庫,但也有不少問題,如面向?qū)ο髷?shù)據(jù)庫技術(shù)還需要完善.即使完善了,面向?qū)ο髷?shù)據(jù)庫和關(guān)系數(shù)據(jù)庫還

13、會共存,它們之間相互存取操作問題還得解決.所以,這也是今后一個重要的研究方向.4反饋技術(shù).圖像檢索的效果很大程度上需要由用戶來評價,因此,用戶的反饋信息在檢索計(jì)算中不可忽視,它可以提高檢索的效率和效果.當(dāng)前的很多檢索算法也用到反饋技術(shù),但大部分算法都是將其作為輔助手段,這樣,反饋技術(shù)就不能很好地優(yōu)化檢索算法.怎樣設(shè)計(jì)用戶的反饋方式和充分利用反饋信息是一個值得關(guān)注的課題.4總結(jié)本文闡述了基于內(nèi)容的圖像檢索技術(shù)原理方法,圖像檢索綜合了圖像處理、模式識別、數(shù)據(jù)庫和人的認(rèn)知心理等多種技術(shù).它是計(jì)算機(jī)領(lǐng)域又一前沿技術(shù),并越來越受到人們的關(guān)注,它的發(fā)展也越來越快,本文只對其發(fā)展作了概括介紹.可以預(yù)見,在不

14、久的將來圖像檢索技術(shù)將會取得更大成果.參考文獻(xiàn):1Flickner M et al.Query by image and video contentJ.TheQBIC System.IEEE C om puter,1995,28(9:23-32.2Pentland A P,Picard R,Sclaroff S.Photobook:C ontent-based manipulation of image databasesJ.International Jour2 nal of C om puter Vis oon,1996,18(3:233-254.3S wain M,Ballard D.C

15、 olor indexingJ.International journalof C om puter Vision,1991,7(1:11-32.4G,Z abih R,M iller J.C om paring images using color coher2ence vectors.In:P roc of AC M Intern C on f Multimedia.Boston,M A,1996.5S trickerM A,O reng oM.S imilarity of co lo r images.In:Proc of SP IE:S torage and Retrieval for

16、 Image and Video Databases III.San Jose,C A,1995,2420:381392.941第5期范自柱:基于內(nèi)容的圖像檢索技術(shù)綜述6H su W,Chua T S,Pung H K.An integrated color-spatialapp roach to content-based image retrieval.In:P roc AC M M ultimedia95C on ference.San F rancisco,1995.305313.7Sm ith J R,Chang S F.T ools and techniques for co lo

17、 r imageretrieval.In:Proc of SPIE:S torage and Retrieval fo r Image and Video Database.San Jose,C A,1996,2670:426437.8Niblack W,Barber R et al.The QBIC project:Querying im2ages by content using color,texture and shape.In:P roc of SPIE:S torage and Retrieval for Image and Video Database.San Jose,C A,

18、1994.9Hafner J,Sawhney H,Equitz W et al.E fficient color his2togram indexing for quadratic form distance function.IEEE T rans on Pattern Analysis and Machine Intelligence,1995,17(7:129256.10C ohenFS,ZhuangZY ang.Invariant matching and identifica2tion of curves using B2splines curve representation.IE

19、EE T rans.Image Processing,1995,4(1:110.11Saint2Marc Philippe,R om Hillel,Medioni G erard.B2splinecontour representation and symmetry dectection.IEEE T rans.PAMI,1993,15(11:119111973.12Olkkonen Hannu.Discrete binomial splines.G MIP,1995,57(2:101106.13Bengtss onA,Eklundh J.Shape representation by mul

20、tiscalecontour approximation.IEEE T rans.PAMI,1991,13(1:85 944.14ChungP,TsaiC,ChenE,SunY.P olyg onal approximation us2ing com petitive H opfield neural netw ork.Pattern Recognition, 1994,27:15051512.15AngY H,LiZhao,OngSH.Image retrieval based on multidi2mensional feature properties.SPIE,1995,2420:47

21、57. 16Ma Weiying,Zhang H ongjiang.Bench marking of image fea2tures for content2based retrievalA.The Thirty2Second Asilomar C on ference on S ignals,System&C om putersC, California,US A:1998,1:253-257.17B S Manjunath,W Y Ma.T exture features for browsing andretrieval of image dataJ.IEEE T2PAMI,19

22、96,18(8:837 -842.18J Mao,A KJain.T exture classification and segmentation us2ing multires olution simultaneous autoregressive m odelsJ.Patter Recognition,1992,25(2:173-188.19H G reenspan,GDvir,and Y Rubner.Region correspondencefor image matching via E M D flow.In C VPR2000W orkshop on C ontent2Based Access of Image and Video Libraries,2000, pp.27-31.20-,Support vector machines for region2based image re2trieval.in Proc,IEEE Int.C on f.Multimedia&Expo,2003.21Feng Jing,M ingjing Li,etc.An E fficient and E ffective Re2gion2Based Image Retrieval Framew orkJ.IEEE T ransac2 tions o