基于內(nèi)容的圖象檢索方法研究

基于內(nèi)容的圖象檢索方法研究11.概述1.1意義1.2現(xiàn)狀1.3現(xiàn)有研究的局限性21.1意義理論意義

基于內(nèi)容的圖像檢索涉及智能信息處理、圖像處理、模式識(shí)別及數(shù)據(jù)庫技術(shù)，是一門交叉性學(xué)科。應(yīng)用價(jià)值

基于內(nèi)容的圖像檢索在衛(wèi)星地球資源照片的查找和分析、個(gè)人信息和產(chǎn)品形狀及商標(biāo)的查找、醫(yī)學(xué)圖像的存儲(chǔ)與檢索、新聞圖片查找以及公安領(lǐng)域人臉查找等領(lǐng)域有廣泛的應(yīng)用前景。31.2現(xiàn)狀4(1)傳統(tǒng)的圖像檢索方法解決方法：以往的圖像檢索方法：基于元數(shù)據(jù)檢索基于關(guān)鍵字的圖像檢索存在問題：圖象內(nèi)容難以客觀地用文本描述。標(biāo)簽的創(chuàng)建困難。手工輸入工作量大不支持相似性查詢?；趦?nèi)容的圖像檢索5(2)基于內(nèi)容的圖像檢索現(xiàn)有的工作MyronFlickner(IBM)RosalindW.Picard(MIT)ThomasS.Huang(Illinois)H.J.Zhang(MicrosoftResearch)J.K.Wu(新加坡國立大學(xué)）相關(guān)研究單位及本領(lǐng)域有影響的學(xué)者:6QBIC{}Virage{}PhotoBookMARS{}VisualSEEK{

}CORESTARRereievalWare{

}Netra{/Netra}典型系統(tǒng)71.3現(xiàn)有研究的局限性從理論研究角度講從系統(tǒng)設(shè)計(jì)角度講8

(1)很少考慮圖象的亮度變化。(2)圖象特征表示方法不完善。(3)多數(shù)系統(tǒng)只考慮按單一屬性索引，沒有考慮多種屬性的索引結(jié)構(gòu)建立。(4)用戶語義無法嵌入。(5)不能提供有效的查詢表達(dá)方式。從系統(tǒng)設(shè)計(jì)角度講:9尚需解決的關(guān)鍵技術(shù)圖像數(shù)據(jù)模型建立圖像相似性度量方法低層特征的自動(dòng)提取多維索引語義特征的自動(dòng)提取基于內(nèi)容的WWW圖像瀏覽器設(shè)計(jì)基于內(nèi)容的圖像檢索系統(tǒng)性能評(píng)價(jià)從理論研究角度講:102.主要研究內(nèi)容11圖像信息描述與檢索模型特征提取與描述方法相似性度量方法多維索引方法系統(tǒng)設(shè)計(jì)中的關(guān)鍵技術(shù)主要研究內(nèi)容122.1圖像信息描述與檢索模型13圖像信息描述模型14物理層的檢索其中：直接計(jì)算模板與目標(biāo)圖象的相關(guān)度：15特征層的檢索{fid,dclass,extrf,simf,ftype}16偽語義層的檢索單區(qū)域查詢多區(qū)域查詢空間對(duì)象關(guān)系的匹配17語義層的檢索

對(duì)象具有語義對(duì)象間關(guān)系比偽語義層更為明確特點(diǎn)語義對(duì)象查詢對(duì)象空間關(guān)系查詢查詢18語義層的空間關(guān)系操作表1二維空間操作符的定義符號(hào)含義A<BA與B不相接A=BA等于BA|BA與B邊接邊A%BA與B的無相同邊界且A包含BA[BA與B的左邊界相同且A包含BA]BA與B的右邊界相同且A包含BA/BA與B重疊表2相似度函數(shù)值SIM的定義SIM</[]%|=<10.400.500.70=0.4100.5000|0010.70.800.5%10.800.5[000.80.8100.6]0.7000010/000119語義層的相似度Q=(F,G,Rel,d,t)F：查詢時(shí)必選對(duì)象；G：查詢時(shí)可選對(duì)象；Rel=(Relx,Rely)：對(duì)象在x,y方向的空間關(guān)系；d:相似度t:相似度閾值,當(dāng)d>t時(shí)，表明兩圖象相似。其中，查詢圖象與虛圖象間的相似度d定義為相似的對(duì)象數(shù)和必選對(duì)象間的空間關(guān)系與總對(duì)象及其空間關(guān)系的比值：20相似度計(jì)算實(shí)例查詢圖象Q虛圖象Pvd(Q,Pv)=(2+1+1+2+2+2.8)/(2+2+5+4)=0.83設(shè)t=0.8,則d>t,兩幅圖象相似。21查詢結(jié)果的組合

22基于神經(jīng)網(wǎng)絡(luò)的組合查詢輸入層：按每層查詢時(shí)的相似度輸出層：整體相似度232.2顏色特征提取與表示24顏色直方圖顏色矩25缺點(diǎn)

RGB顏色空間與人的視覺不一致。對(duì)顏色分布的位置信息考慮不足。

對(duì)圖像光照變化也敏感。26直方圖歸一化算法步驟及特點(diǎn)步驟：(1)顏色空間轉(zhuǎn)換(2)光照歸一化(3)尺度歸一化(4)直方圖平滑特點(diǎn)：實(shí)現(xiàn)了亮度和尺度的歸一化27

仍存在的問題：沒有考慮位置信息上面兩幅圖像的傳統(tǒng)顏色直方圖完全一致，但它們實(shí)際上并不相似。28兩種子直方圖顏色表示方法（1）等權(quán)：權(quán)值相等（2）加權(quán)29實(shí)驗(yàn)結(jié)果與分析30傳統(tǒng)直方圖檢索結(jié)果注：第1幅為查詢圖象，后14幅為對(duì)應(yīng)的查詢結(jié)果31加權(quán)子直方圖檢索結(jié)果注：第1幅為查詢圖象，后14幅為對(duì)應(yīng)的查詢結(jié)果32歸一化后的加權(quán)子直方圖檢索結(jié)果注：第1幅為查詢圖象，后面為對(duì)應(yīng)的查詢結(jié)果33紋理2.3紋理特征的提取與表示方法34問題1：紋理描述的實(shí)質(zhì)是什么？

如何對(duì)紋理進(jìn)行描述？

問題2：為什么要對(duì)紋理分開描述？

問題3：如何對(duì)問題分開描述？

問題4：如何描述旋轉(zhuǎn)情況下的紋

理？35問題1：紋理描述的實(shí)質(zhì)是什么？

如何對(duì)紋理進(jìn)行描述？36經(jīng)典紋理描述方法(1)空間自相關(guān)函數(shù)的紋理結(jié)構(gòu)描述(2)灰度共生矩陣表示方法(3)Tamura(4)基于Fourier變換的紋理描述(5)基于DCT的紋理描述37問題2：為什么要對(duì)問題分開描述？減少信息冗余提高查詢效率38問題3：如何對(duì)紋理分開描述？解決方法：先基于Wold分解的紋理分類，再對(duì)紋理分開描述39理論依據(jù)：(1)人的視覺在感知紋理時(shí)，存在三種重要的感知元，即“重復(fù)性、方向性、粒度的復(fù)雜度”。(2)紋理圖像可以看成是一個(gè)二維的均勻隨機(jī)場，并能分解成相互正交的三個(gè)分量。(3)規(guī)則均勻隨機(jī)場的三個(gè)分量可通過分離譜分布函數(shù)獲得?；赪old分解的紋理分類40實(shí)現(xiàn)過程(1)諧波測試，目的是提供紋理圖像結(jié)構(gòu)化程度與非結(jié)構(gòu)化紋理判決依據(jù)（置信度）。(2)基于置信度進(jìn)行紋理分類。

41實(shí)際計(jì)算（簡化過程）42分類結(jié)果規(guī)則紋理不規(guī)則紋理43規(guī)則紋理和不規(guī)則紋理的描述44規(guī)則紋理圖像的紋理描述(1)在平滑后的自相關(guān)函數(shù)中尋找峰值并確定對(duì)應(yīng)位置。

(2)提取紋理基元。

(3)計(jì)算共生矩陣。

(4)從共生矩陣計(jì)算特征矢量，如能量、熵、相關(guān)、局部均勻性、慣性等。

45不規(guī)則紋理圖像的紋理描述(1)計(jì)算圖像的小波變換系數(shù)(2)計(jì)算像素r=(x,y)處的局部特征(3)用聚類算法獲取紋理圖像的整體特征46一種改進(jìn)的小波紋理描述采用策略：（1）采用半峰的幅度支撐集相互接觸的Gabor小波族。（2）計(jì)算小波變換系數(shù)的均值和標(biāo)準(zhǔn)偏差(3)生成特征矢量47問題4：如何描述旋轉(zhuǎn)情況下的紋

理？48基本思想：采用極坐標(biāo)表示Gabor函數(shù)，并將圖像轉(zhuǎn)換為Gabor空間中的近似表示。然后從相位信息和幅度信息中推導(dǎo)出旋轉(zhuǎn)不變特征。49計(jì)算過程50fA，fF，fY,是幅度、頻率、方向的包絡(luò)信息。fDA，fDF，fDY,是由相位導(dǎo)出的方向信息。51實(shí)驗(yàn)結(jié)果注：第1幅為查詢圖象，后9幅為對(duì)應(yīng)的查詢結(jié)果522.4形狀特征提取與描述方法研究53問題1：為什么進(jìn)行形狀特征的提取？問題2：如何進(jìn)行形狀提取？54基于HSL的彩色圖像分割方法算法思想：

首先將圖像轉(zhuǎn)換到與人的視覺一致的顏色空間，然后以色調(diào)為主進(jìn)行對(duì)象粗分。對(duì)具有相同色調(diào)的對(duì)象再按亮度或飽和度進(jìn)行細(xì)節(jié)劃分，并標(biāo)明不同區(qū)域。最后對(duì)這些區(qū)域進(jìn)行去噪，生成有意義的區(qū)域。

55算法步驟(1)顏色空間的選擇(2)HSL概率密度計(jì)算(3)基于聯(lián)合概率密度的顏色區(qū)域標(biāo)號(hào)(4)區(qū)域進(jìn)行合并

56實(shí)驗(yàn)結(jié)果(a)原圖像(b)色調(diào)分割圖(c)色調(diào)和亮度聯(lián)合分割圖(d)去噪聲后的分割圖像57(a)平滑處理前色調(diào)直方圖(b)平滑處理后色調(diào)直方圖(c)亮度直方圖(d)色調(diào)滿足一定條件的亮度直方圖58區(qū)域和邊緣相融合的邊緣檢測

基本思想:圖像邊緣反映了圖像變化的局部信息，它由一些細(xì)小的邊界點(diǎn)組成，而區(qū)域反映了對(duì)象在灰度上的一致性。對(duì)象的區(qū)域和對(duì)象的邊緣是高度相關(guān)的，因此，為了獲得有意義的對(duì)象邊緣，可以用邊緣元和對(duì)象區(qū)域相互補(bǔ)充來獲取對(duì)象邊緣。59算法5.4區(qū)域相融合的邊緣提取

(1)

對(duì)模極值二值化，生成邊緣點(diǎn)(2)以主對(duì)象為中心，選取長度超過給定長度邊緣段，并用(begin_line，end_line，code_line)表示，其中begin_line為邊緣段的起始位置(xb,yb)，end_line為邊緣段的終止位置(xe,ye)，code_line為邊緣段的鏈碼。(3)選定最長邊緣段，查找與begin_line最近的邊緣段的端點(diǎn)(x0,y0)，與end_line最近的邊緣段的(x1,y1)。(4)以(xb,yb)為起點(diǎn)，(x0,y0)為終點(diǎn)，連接成新的邊緣，以同樣的方法生成以(xe,ye)為起點(diǎn)，(x1,y1)為終點(diǎn)的新邊緣段，通過蟲隨法得到區(qū)域邊界，取新邊緣段和區(qū)域邊界的平均作為修正后的新邊緣。(5)

當(dāng)所有邊緣段處理完畢，算法結(jié)束，否則轉(zhuǎn)(3)。60實(shí)驗(yàn)結(jié)果612.5基于Hausdorff距離的邊緣形狀度量62問題的提出基于Hausdorff距離進(jìn)行度量。一般形狀匹配方法：將形狀表示成一個(gè)特征矢量，然后用歐氏距離、明氏距離等方法進(jìn)行度量。存在問題：在很多情況下，精確分割出圖像邊界輪廓并用特征矢量表示它們相當(dāng)困難。解決途徑：63基本思想(1)首先提取查詢圖像和數(shù)據(jù)庫中圖像的邊緣并二值化。(2)分別表示成點(diǎn)集A和B。(3)計(jì)算點(diǎn)集A和B之間的Hausdorff距離。(4)按Hausdorff距離選取最相似的圖像。特點(diǎn)：該方法不強(qiáng)調(diào)圖像中點(diǎn)對(duì)的一一匹配，點(diǎn)與點(diǎn)之間的關(guān)系是模糊的。

64實(shí)驗(yàn)結(jié)果對(duì)應(yīng)的二值圖像原圖像65采用Hausdorff距離度量的結(jié)果。第一列為模板，后五列為匹配結(jié)果662.6多維特征的索引結(jié)構(gòu)研究67(1)隨著特征維數(shù)增加查詢時(shí)間花費(fèi)以指數(shù)形式增加。(2)沒有嵌入視覺特性問題的提出解決方法(1)維數(shù)壓縮(2)多維索引68SS算法中視覺特征的嵌入將查詢向量于數(shù)據(jù)庫中的向量然后以權(quán)距離基本思想：轉(zhuǎn)換為權(quán)向量：為基礎(chǔ)按SS算法進(jìn)行索引。69等距索引算法的基本思想與實(shí)現(xiàn)M:模板圖像Q:查詢圖像F:數(shù)據(jù)庫中的圖像70順序搜索與等距索引平均花費(fèi)時(shí)間比較順序搜索平均花費(fèi)時(shí)間等距索引搜索平均花費(fèi)時(shí)間712.7圖像檢索系統(tǒng)設(shè)計(jì)方法研究72檢索系統(tǒng)的結(jié)構(gòu)73可視化查詢語言（1）一是利用查詢語言直接操縱信息

特點(diǎn)：描述精確，但界面不夠友好。

（2）即開發(fā)查詢接口特點(diǎn)：界面可視化，但描述不夠精確?，F(xiàn)有的信息獲取及其特點(diǎn)：74實(shí)現(xiàn)過程查詢語言中圖像信息的描述查詢的可視化提交可視化查詢到目標(biāo)查詢的轉(zhuǎn)換

75圖8.9查詢的可視化表達(dá)實(shí)例76相關(guān)反饋機(jī)制機(jī)制第一種：修改查詢矢量的相關(guān)反饋。第二種：修改數(shù)據(jù)庫概率分布的相關(guān)反饋。第三種：基于人工智能學(xué)習(xí)方法的相關(guān)反饋。分類77自適應(yīng)相關(guān)反饋的基本思想

用