信息檢索第八章課件

2023/7/221第八章圖像檢索技術(shù)8.1圖像檢索技術(shù)概述8.2基于圖像內(nèi)容特征提取的檢索技術(shù)8.3基于多特征的圖像檢索技術(shù)8.4基于視覺特征的圖像檢索系統(tǒng)8.5典型的圖像檢索系統(tǒng)8.6圖像檢索技術(shù)的發(fā)展方向2023/7/222前言圖像檢索技術(shù)通常分為兩大類：基于文本的圖像檢索技術(shù)和基于內(nèi)容的圖像檢索技術(shù)。隨著大規(guī)模數(shù)字圖像數(shù)據(jù)庫的出現(xiàn)，基于文本的圖像檢索技術(shù)依然落伍，基于內(nèi)容的檢索技術(shù)自動提取每幅圖像的視覺內(nèi)容特征作為其索引，如色彩、紋理、形狀等，它從一個新的視覺建立了圖像檢索的整體框架。2023/7/2238.1圖像檢索技術(shù)概述圖像的傳統(tǒng)管理方式是以文件系統(tǒng)為中心進(jìn)行展開的，我們一直采用的是以文件管理圖像的方式。基于圖像內(nèi)容的檢索技術(shù)提高了檢索精度。2023/7/224一、圖像檢索一般模型如下圖所示：2023/7/225主要包括以下幾個方面：2023/7/226二、基于文本方式的圖像檢索技術(shù)20世紀(jì)70年代TBIR（text-basedimageretrieval）基于文本的圖像檢索技術(shù)沿用了文本檢索技術(shù)，利用文本描述的方式表示圖像的特征2023/7/227早期的TBIR：手工對圖像進(jìn)行注釋，工作量相當(dāng)大，不可避免的會帶來主觀性和不準(zhǔn)確性Internet環(huán)境下的TBIR：網(wǎng)頁信息的自動采集和標(biāo)引技術(shù)索引方式：全文索引和關(guān)鍵詞索引Google、Yahoo和百度等搜索引擎所提供的圖像檢索服務(wù)，采用的都是TBIR技術(shù)2023/7/228TBIR的優(yōu)點：使用成熟的文本檢索和搜索引擎技術(shù)，符合人們的檢索習(xí)慣，實現(xiàn)簡單2023/7/229TBIR的缺點:標(biāo)注的準(zhǔn)確性差，也不能滿足用戶對圖像原始特征信息的檢索2023/7/2210三、基于知識和視覺特征的圖像檢索技術(shù)將人工智能領(lǐng)域的基于知識的處理方法引入到圖像處理領(lǐng)域，通過對圖像理解、只是表達(dá)、機(jī)器學(xué)習(xí)，并結(jié)合專家和用戶的先驗知識，建立圖像知識庫實現(xiàn)對圖像數(shù)據(jù)庫的智能檢索。主要涉及地理信息系統(tǒng)、病人X照片的歸檔、檢索和診斷系統(tǒng)，以及人臉識別和指紋識別系統(tǒng)。2023/7/2211地理信息系統(tǒng)2023/7/2212人臉識別系統(tǒng):看看我像那個明星2023/7/2213指紋識別系統(tǒng)2023/7/2214四、基于內(nèi)容的圖像檢索技術(shù)對圖像的內(nèi)容，主要的方法是根據(jù)圖像的色彩、紋理、圖像對象的形狀以及他們的空間關(guān)系等內(nèi)容特征作為圖像的索引，計算查詢圖像和目標(biāo)圖像的相似距離，按照相似度匹配進(jìn)行檢索。2023/7/2215圖像內(nèi)容的層次模型2023/7/2216基于內(nèi)容的圖像檢索技術(shù)—（CBIR,Content-BasedImageRetrieval）更有效、更直接地反映圖像視覺信息必須基于圖像本身的屬性?，F(xiàn)在基于內(nèi)容圖像檢索已經(jīng)融入了相關(guān)反饋技術(shù)，讓用戶參與到檢索過程中，從而獲得知覺、語義上更加有意義的檢索結(jié)果。2023/7/2217五、圖像內(nèi)容描述的標(biāo)準(zhǔn)化國際標(biāo)準(zhǔn)化組織ISO／IEC制定的MPEG-7國際標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)的正式名稱為“多媒體內(nèi)容描述接口”（MultimediaContentDescriptionInterface），為各類多媒體信息提供一種標(biāo)準(zhǔn)化的描述，并將該描述與所描述的內(nèi)容相關(guān)聯(lián)，極大地促進(jìn)了對各種多媒體信息的快速查詢和訪問。

2023/7/2218MPEG-7標(biāo)準(zhǔn)化的范圍包括：一系列的描述子（描述子是特征的表示法，一個描述子就是定義特征的語法和語義學(xué)）；一系列的描述結(jié)構(gòu)（詳細(xì)說明成員之間的結(jié)構(gòu)和語義）；一種詳細(xì)說明描述結(jié)構(gòu)的語言、描述定義語言（DDL）；一種或多種編碼描述方法。

2023/7/2219應(yīng)用：教育、娛樂、調(diào)查服務(wù)、地里信息系統(tǒng)、醫(yī)療應(yīng)用、電子購物、電影、視頻和無線廣播歸檔等。2023/7/22208.2基于圖像內(nèi)容特征提取的檢索技術(shù)圖像的特征是人對圖像視覺感受的量化描述。圖像特征從各個方面描述了圖像的內(nèi)在語義，從而可以作為圖像的抽象表示。圖像特征包括圖像的文本特征和圖像視覺特征。-視覺特征分為通用特征和領(lǐng)域相關(guān)特征，前者包括顏色、紋理和性轉(zhuǎn)特征；后者與具體的應(yīng)用緊密相關(guān)，如人的面部特征和指紋特征。2023/7/2221一、基于顏色特征的圖像檢索基于顏色特征的圖像檢索需要解決兩個問題：顏色的表示以及顏色特征的提取。顏色的表示取決于色彩空間的選擇，不同的場合采用的方式也是不同，常見的有HSV、RGB和YUV模型等。在基于顏色特征的索引算法中通常用顏色直方圖、累加直方圖，顏色矩和顏色集來表示圖像的顏色特征。2023/7/2222顏色特征優(yōu)勢和缺陷：是圖像物理特征中最直接的視覺特征，顏色特征非常穩(wěn)定，而且計算簡單。不能很好的描述對象的空間特征對包含不同顏色集兩圖像之間的相似性判定仍然需要進(jìn)一步研究。2023/7/2223不同特征的檢索結(jié)果2023/7/2224二、基于紋理特征的圖像檢索紋理特征是一種不依賴于顏色或亮度的反應(yīng)圖像中同質(zhì)現(xiàn)象的視覺特征。它是所有物體表面共有的內(nèi)在特性。2023/7/2225通常利用以下四個特征量來表示圖像的紋理特征：反差能量2023/7/2226熵相關(guān)2023/7/2227三、基于形狀特征的圖像檢索技術(shù)基于形狀的檢索包括兩種：一是基于輪廓線的檢索，二是直接針對特定形狀的圖形進(jìn)行檢索。基于邊界的表示：代表方法是傅里葉描述符。其基本思想是用對圖像進(jìn)行傅里葉變換得到的邊界作為形狀描述.其中一個優(yōu)點就是把二維問題簡化為一維問題。基于區(qū)域的表示：代表方法是形狀無關(guān)矩。問題：形狀邊界的自動提取困難。2023/7/22281、形狀特征提取的一般幾何原理(1).矩形度(2).圓形度致密度邊界能量2023/7/2229(3).球狀性(4).偏心率2023/7/22302、圖像形狀提取的的一般描述（1）.邊界鏈碼（2）.一階差分鏈碼2023/7/2231（3）.傅里葉描述傅里葉變換是個可逆線性變換，在變換過程中信息沒有任何增減。傅里葉變換的高頻分量對應(yīng)一些圖像形狀細(xì)節(jié)，而低頻分量對應(yīng)圖像總體形狀，因此用一些低頻分量的傅里葉系數(shù)足以近似描述邊界形狀。2023/7/2232四、基于空間特征的圖像檢索技術(shù)顏色、紋理和形狀等多種特征反映的都是圖像的整體特征，而無法體現(xiàn)圖像中所包含的對象或物體。比如藍(lán)色的天空或蔚藍(lán)的海洋。2023/7/2233圖像空間關(guān)系特征是指圖像中分割出來的多個目標(biāo)之間的相互的空間位置或相對方向關(guān)系?？臻g位置信息可以分為兩類：相對空間位置信息和絕對空間位置信息。前一種關(guān)系強(qiáng)調(diào)的是目標(biāo)之間的相對情況，如上下左右關(guān)系等。后一種關(guān)系強(qiáng)調(diào)的是目標(biāo)之間的距離大小以及方位。主要問題：如何保證各種空間關(guān)系與圖像的旋轉(zhuǎn)無關(guān)，如何實現(xiàn)空間特征的相似度量從定性到定量的轉(zhuǎn)變。2023/7/22348.3基于多特征的圖像檢索技術(shù)鑒于利用圖像單個特征檢索的缺點，可以綜合利用圖像的顏色、紋理、形狀和空間特征的方法，計算特征提取向量。用戶可以根據(jù)需要調(diào)整各個特征之間的權(quán)重關(guān)系，以便滿足不同應(yīng)用情況的查詢。2023/7/22351、綜合顏色和形狀特征用此方法，不僅克服了疊加噪聲的影響，而且提高了旋轉(zhuǎn)變化時的穩(wěn)定性，可以減少誤匹配，從而提高檢索的精確度和準(zhǔn)確率。2023/7/22362、綜合形狀和空間特征3、綜合形狀和紋理特征4、綜合顏色、形狀和空間其中，分別為顏色、形狀和空間的加權(quán)，分別為顏色、形狀和空間的相似度。2023/7/22378.4基于視覺特征的圖像檢索系統(tǒng)基于視覺特征的圖像檢索技術(shù)能夠自動提取每幅圖像的視覺特征作為其索引，如色彩、紋理和形狀等，查詢講根據(jù)圖像視覺特征進(jìn)行相似性計算。它一般可以通過可視化界面和用戶進(jìn)行頻繁的交互，便于用戶構(gòu)造查詢、評估和改進(jìn)檢索結(jié)果。2023/7/2238一、它的總體架構(gòu)如下：2023/7/2239二、圖像分割技術(shù)圖像分割是把圖像中互不相交，具有特殊含義的區(qū)域區(qū)分出來。因為分割與人的主觀認(rèn)識有密切聯(lián)系，因此，到目前為止還不存在一種通用的方法。分割算法有：1、基于特征空間的2、基于圖像域3、基于模糊理論4、基于特定理論工具2023/7/22401、基于特征空間的分割方法由于分割過程中考察的圖像像素總具有一定的特征，因而可以把這些像素映射為一定特征空間中的點，從而將圖像分割轉(zhuǎn)化為特征空間中點的分類問題。常用的手段包括特征閥值化技術(shù)和特征空間聚類技術(shù)。2023/7/22412、基于圖像域的分割方法根據(jù)采用的空間分組策略的不同，又可以細(xì)分為：分裂-合并技術(shù)、區(qū)域生長技術(shù)、基于區(qū)域邊緣檢測技術(shù)。由于邊緣檢測并不能直接得到圖像區(qū)域，還需要區(qū)域填充、裂縫彌合等復(fù)雜的后處理，并且在預(yù)處理過程中采取去噪措施，一般復(fù)雜度較大。2023/7/22423、基于模糊理論的分割方法Prewit最早提出在圖像分割中使用模糊集；Sugeno提出模糊測度和模糊積分的概念，模糊測度用于度量模糊程度，模糊積分可以理解為模糊期望。2023/7/22434、基于特定理論工具的分割方法主要有：基于數(shù)學(xué)形態(tài)學(xué)的、利用神經(jīng)網(wǎng)絡(luò)的、基于小波分析和變換的、基于遺傳算法的分割方法等。2023/7/2244存在的不足：1、只考慮了圖像視覺特征的一致性，引入高層特征的兌現(xiàn)分割方法處于起步階段；2、準(zhǔn)確性與通用性一般較差，分割精度有待提高；3、分割方法復(fù)雜度較高，分割所需的計算時間較長；4、缺乏通用有效的評價指標(biāo)2023/7/22455、相似性度量公式1．Minkowsky距離公式2．直方圖相交距離公式3．直方圖二次距離4．Mahalanobis距離公式（馬氏距離）2023/7/22466、圖像索引大致可以分六類：高維索引方法、降維方法、近似最近鄰方法、單一維空間映射方法、多重空間填充曲線方法和基于過濾的方法。2023/7/22478.5典型的圖像檢索系統(tǒng)簡介IBM的QBIC(QueryByImageContent)是第一個商業(yè)性的CBIR系統(tǒng)。目前QBIC系統(tǒng)的基于內(nèi)容檢索技術(shù)已經(jīng)在IBM數(shù)字圖書館中得到了應(yīng)用，實現(xiàn)了自動索引、歸并、對比、特征抽取和翻譯功能。還有哥倫比亞大學(xué)開發(fā)的Visual-SEEK，MIT多媒體實驗室開發(fā)的PhotoBook，UCBerkeley開發(fā)的Blobword系統(tǒng)等。2023/7/22488.6圖像檢索技術(shù)的研究熱點1.綜合特征檢索技術(shù)考慮到顏色、紋理、形狀和空間關(guān)系等特征各有特點，它們各自反映圖像某一方面的內(nèi)容，如果進(jìn)行綜合利用則有可能提高檢索性能。2.相關(guān)反饋檢索技術(shù)實現(xiàn)了人機(jī)交互，用戶根據(jù)先前檢索結(jié)果借助權(quán)重調(diào)整已有的查詢要求以給檢索系統(tǒng)提供更多更直接的信息，從而使系統(tǒng)能更好地滿足用戶的需求。2023/7/22493.基于語義的檢索技術(shù)人對圖像的理解主要是在語義層次