多媒體信息檢索技術課件

多媒體信息檢索技術與方法基于內(nèi)容的圖像檢索技術基于文本的信息檢索方法1精選ppt多媒體檢索概念理解多媒體檢索是一種基于內(nèi)容特征的檢索（CBR：content-basedretrieval）。所謂基于內(nèi)容的檢索是對媒體對象的內(nèi)容及上下文語義環(huán)境進行檢索，如圖像中的顏色、紋理、形狀，視頻中的鏡頭、場景、鏡頭的運動，聲音中的音調(diào)、響度、音色等。基于內(nèi)容的檢索突破了傳統(tǒng)的基于文本檢索技術的局限，直接對圖像、視頻、音頻內(nèi)容進行分析，抽取特征和語義，利用這些內(nèi)容特征建立索引并進行檢索。在這一檢索過程中，它主要以圖像處理、模式識別、計算機視覺、圖像理解等學科中的一些方法為部分基礎技術，是多種技術的合成。2精選ppt多媒體檢索的特點(1)相似性檢索：CBR采用一種近似匹配（或局部匹配）的方法和技術逐步求精來獲得查詢和檢索結(jié)果，摒棄了傳統(tǒng)的精確匹配技術，避免了因采用傳統(tǒng)檢索方法所帶來的不確定性。(2)直接從內(nèi)容中提取信息線索：CBR直接對文本、圖像、視頻、音頻進行分析，從中抽取內(nèi)容特征，然后利用這些內(nèi)容特征建立索引并進行檢索。(3)滿足用戶多層次的檢索要求：CBR檢索系統(tǒng)通常由媒體庫、特征庫和知識庫組成。媒體庫包含多媒體數(shù)據(jù)，如文本、圖像、音頻、視頻等；特征庫包含用戶輸入的特征和預處理自動提取的內(nèi)容特征；知識庫包含領域知識和通用知識，其中的知識表達可以更換，以適應各種不同領域的應用要求。(4)大型數(shù)據(jù)庫(集)的快速檢索：CBR往往擁有數(shù)量巨大、種類繁多的多媒體數(shù)據(jù)庫，能夠?qū)崿F(xiàn)對多媒體信息的快速檢索。3精選ppt基于內(nèi)容的多媒體信息檢索體系結(jié)構媒體數(shù)據(jù)特征提取目標標識媒體庫特征庫知識庫知識輔助用戶查詢接口檢索引擎索引/過濾數(shù)據(jù)庫特征提取子系統(tǒng)數(shù)據(jù)庫查詢子系統(tǒng)4精選ppt多媒體信息檢索過程用戶需求媒體資源內(nèi)容查詢內(nèi)容索引匹配5精選ppt多媒體信息檢索分類文本檢索多媒體檢索圖像檢索視頻檢索音頻檢索6精選ppt基于內(nèi)容的圖像檢索--圖像檢索的過程就是圖像特征的提取、分析及匹配。特征提取：提取各種特征，如顏色，紋理，形狀等。根據(jù)提取的特征不同，采取不同的處理，比如提取形狀特征，就需要先進行圖像分割和邊緣提取等步驟。選擇合適的算法，并在效率和精確性方面加以改進，以適應檢索的需要，實現(xiàn)特征提取模塊。特征分析：對圖像的各種特征進行分析，選擇提取效率高、信息濃縮性好的特征，或者將幾種特征進行組合，用到檢索領域。特征匹配：選擇何種模型來衡量圖像特征間的相似度。7精選ppt*基于內(nèi)容的圖像檢索工作原理圖像特征庫數(shù)字圖像源用戶相關反饋圖像檢索特征提取圖像索引8精選ppt基于內(nèi)容的圖像索引技術：圖像特征提取技術顏色特征紋理特征形狀特征圖像索引主要技術顏色直方圖、顏色矩顏色集、顏色聚合向量、顏色相關圖Tamura紋理特征自回歸紋理模型基于小波變換的紋理特征傅里葉性狀描述符形狀無關矩其他形狀特征空間關系特征基于圖像分割的方法基于圖像子塊方法9精選ppt圖像顏色特征顏色特征是在圖像檢索中應用最為廣泛的視覺特征，主要原因在于顏色往往和圖像中包含的物體或場景十分相關。此外，與其他特征相比，顏色特征計算簡單，同時對圖像本身的尺寸、方向、視角的依賴性較小，具有較好的緊致性。10精選ppt，定義如下：其中ni為圖像中顏色取值為i的像素個數(shù)，N為像素總數(shù)，K為可能的顏色取值范圍。

這樣計算得到的顏色直方圖就是一個K維的特征向量。顏色直方圖所描述的是不同色彩在整幅圖像中所占的比例，而并不關心每種色彩所處的空間位置，所以特別適合描述那些不需要考慮特定物體空間位置的圖像內(nèi)容。顏色特征——顏色直方圖11精選ppt顏色特征——顏色矩這種方法的數(shù)學基礎在于圖像中的任何顏色分布均可用他的矩來表示。由于顏色分布信息主要集中在低階矩中，所以只采用顏色的一階矩、二階矩和三階矩就可以表達圖像的顏色分布。與顏色直方圖比較，該方法的一個好處就是無需對于特征進行量化。設pij是圖像中第j個像素的第i個顏色分量，則該顏色分量上矩的計算如下：圖像的顏色矩一共有九個分量，每個顏色通道均有三個低階矩。顏色矩僅僅使用少數(shù)幾個矩，從而導致過多的虛警，因此顏色矩常和其他特征結(jié)合使用。12精選ppt顏色特征——顏色集

為了提高檢索的速度，Smith和Chang提出了用顏色集的方法，首先將RGB顏色空間轉(zhuǎn)換成視覺均衡的顏色空間（HSV），并將顏色空間量化成若干個bin，然后運用顏色自動分割技術將圖像分為若干個區(qū)域，每個區(qū)域用量化顏色空間的某個顏色分量來索引，從而將圖像表達成一個二進制的顏色索引表。在圖像匹配中，比較不同圖像顏色集之間的距離和顏色區(qū)域的空間關系。因為，顏色集表達為二進制的特征向量，可以構造二分查照樹來加快檢索速度，對大規(guī)模的圖象集合十分有力。13精選ppt顏色特征——顏色聚合向量針對顏色直方圖和顏色矩無法表達圖像色彩的空間位置的缺點，Pass提出了圖像的顏色聚合向量（colorcoherencevector）。它是顏色直方圖的一種演變，其核心思想是將屬于直方圖每一個bin的像素進行分為兩部分：如果該bin內(nèi)的某些像素所占據(jù)的連續(xù)區(qū)域的面積大于給定的閾值，則該區(qū)域內(nèi)的像素作為聚合像素，否則作為非聚合像素。由于包含了顏色分布的空間信息，顏色聚合向量相比顏色直方圖可以達到更好的檢索效果。

14精選ppt顏色特征——顏色相關圖顏色相關圖（colorcorrelogram）是圖像顏色分布的另一種表達方式。這種特征不但刻畫了某一種顏色的像素數(shù)量占整個圖像的比例，還反映了不同顏色對之間的空間相關性。實驗表明，顏色相關圖比顏色直方圖和顏色聚合向量具有更高的檢索效率，特別是查詢空間關系一致的圖像。

如果考慮到任何顏色之間的相關性，顏色相關圖會變得非常復雜和龐大(空間復雜度為O(N2d))。一種簡化的變種是顏色自動相關圖（colorauto-correlogram），它僅僅考察具有相同顏色的像素間的空間關系，因此空間復雜度降到O(Nd)。

15精選ppt紋理特征紋理特征也是一種全局特征，它也描述了圖像或圖像區(qū)域所對應景物的表面性質(zhì)。但由于紋理只是一種物體表面的特性，并不能完全反映出物體的本質(zhì)屬性，所以僅僅利用紋理特征是無法獲得高層次圖像內(nèi)容的。與顏色特征不同，紋理特征不是基于像素點的特征，它需要在包含多個像素點的區(qū)域中進行統(tǒng)計計算。在模式匹配中，這種區(qū)域性的特征具有較大的優(yōu)越性，不會由于局部的偏差而無法匹配成功。作為一種統(tǒng)計特征，紋理特征常具有旋轉(zhuǎn)不變性，并且對于噪聲有較強的抵抗能力。但是，紋理特征也有其缺點，一個很明顯的缺點是當圖像的分辨率變化的時候，所計算出來的紋理可能會有較大偏差。另外，由于有可能受到光照、反射情況的影響，從2-D圖像中反映出來的紋理不一定是3-D物體表面真實的紋理。16精選ppt紋理特征——Tamura紋理特征基于對紋理的視覺感知心理學研究，Tamura等人提出了紋理特征的表達方法。Tamura紋理特征的6個分量對應于心理學角度的紋理特征的6種屬性，分別是粗糙度（coarseness）、對比度（contrast）、方向度（directionality）、線像度（linelikeness）、規(guī)整度（regularity）、粗略度（roughness），其中粗糙度、方向度和對比度在檢索中最為重要。在Tamura表示中的所有紋理性質(zhì)都是有意義的，與人的主觀感受比較吻合，這使得Tamura紋理表示在圖象檢索中非常具有吸引力，而且可提供一個更有友好的用戶界面。17精選ppt形狀特征形狀是描述圖像內(nèi)容的一個重要特征。它常與目標聯(lián)系在一起，又一定的語義含義，因而可以看作是比顏色或紋理要高層一些的特征。但另一方面，對形狀的表達比對顏色或紋理的表達從本質(zhì)上要復雜得多，常需要先對圖像進行分割。由于當前的技術無法做到準確和通用的自動圖像分割，圖像檢索中的形狀特征只能在特定應用場合使用。在這些應用中，利用特定領域知識可以從圖像中分割獲得包含的目標（物體或區(qū)域）。18精選ppt形狀特征 一般來說，形狀特征有兩種表示方法，一種是輪廓特征，一種是區(qū)域特征。前者適用于對形狀邊界的描述，而后者則適用于表達形狀包含的整個區(qū)域。這兩類形狀特征的最典型方法分別是傅立葉描述符（FourierDescriptor）和形狀無關矩（MomentInvariants）。19精選ppt形狀特征——傅立葉描述符傅立葉描述符的主要思想是將經(jīng)過傅立葉變換后的邊界作為形狀特征。從輪廓上的任一點開始繞輪廓一周可以定義一個復數(shù)序列：對其進行離散傅立葉變換，就得到輪廓的傅立葉描述：在此基礎上，文獻提出了一種改進的傅立葉算法，這種算法不僅對噪音具有很好的魯棒性，而且對幾何變換具有不變性，更加適合圖像檢索的需要。20精選ppt圖像空間關系特征 圖像空間關系特征主要用來描述圖像中的對象或者物體。在圖像處理過程中有時會出現(xiàn)上面的特征相似的情況，此時就需要利用空間關系來描述圖像圖像空間關系特征的提取通常有兩種方法：一種是現(xiàn)對圖像進行自動分割，劃分出圖像中所包含的對象或者顏色區(qū)域，然后根據(jù)這些顏色區(qū)域來對圖像進行索引；另一種是將圖像均勻的劃分若干個規(guī)則的子塊，然后針對每個圖像子塊分別提取特征并建立索引21精選ppt基于內(nèi)容的圖像檢索方法基于圖例的圖像檢索方法外部圖像查詢內(nèi)部圖像查詢草圖查詢綜合檢索方法利用檢索系統(tǒng)外部圖像進行檢索查詢提問的圖像是檢索系統(tǒng)內(nèi)部的圖像用戶先畫出一幅草圖，再根據(jù)草圖在系統(tǒng)中查詢自己想要的圖像現(xiàn)有的圖像檢索系統(tǒng)通常都是綜合利用上述方法22精選ppt圖像綜合檢索方法示意圖草圖數(shù)字圖像抽象特征用戶輸入草圖檢索外部圖像檢索直接檢索瀏覽圖像綜合檢索示意圖圖像圖像圖像23精選ppt圖像相似度比較方法基于內(nèi)容的圖像檢索是通過計算查詢與候選圖像之間視覺特征的相似度來完成。在對圖像內(nèi)容進行描述的時候主要采用特征向量的方式，因此，常用的圖像相似度比較方法也是基于向量空間模型的，可以將向量特征看作是向量空間中的點，通過計算兩點之間的接近程度來衡量圖像之間的相似度。常用的圖像相似度比較方法如下：直方圖相交、二次距離、馬氏距離、歐拉距離、非幾何的相似度方法24精選ppt相關反饋相關反饋是一種查詢逐步求精技術，最初用于文本檢索系統(tǒng)中，主要特點是將用戶引入查詢過程，根據(jù)用戶的反饋信息調(diào)整查詢要求，從而進一步優(yōu)化查詢結(jié)果，直到用戶滿意為止。用戶的參與使系統(tǒng)能更好地揣測用戶的意圖，也使得在低層可視特征和高層語義概念之間建立某種聯(lián)系成為可能。圖象檢索中的相關反饋方法大致可以分為兩種類型：參數(shù)調(diào)整方法和機器學習方法25精選ppt基于內(nèi)容的圖像檢索系統(tǒng)舉例——IMEDIAIMEDIA按照數(shù)據(jù)庫的內(nèi)容劃分為五個功能系統(tǒng)。VisualRetrieval(generalistdatabases)、VisualRetrieval(biodiversitycollections)、VisualRetrievalwithrelevancefeedback（satelliteimages）、partialvisualqueries(localdescriptors)和3Dretrieval26精選ppt27精選pptIMEDIA之——VisualRetrieval圖像庫VisualRetrieval(generalistdatabases)和VisualRetrieval(biodiversitycollections)的界面是基本一致的，但是VisualRetrieval(biodiversitycollections)更加專業(yè)，主要是生物學圖像庫。下面以VisualRetrieval(biodiversitycollections)為例介紹一下該系統(tǒng)的界面操作。28精選pptVisualRetrieval(biodiversitycollections)界面示意圖29精選ppt利用fadebackmode檢索的結(jié)果30精選ppt該系統(tǒng)的最上角是settings系統(tǒng)設置按鈕，用來設置系統(tǒng)參數(shù)。點擊設置按鈕將進入一個設置面板，如下：31精選pptIMEDIA之—VisualRetrievalwithrelevancefeedback（satelliteimages）圖像庫在這個庫中存放的都是地圖衛(wèi)星照片，可以進行地理圖像檢索32精選ppt顯示與原圖之間的數(shù)值距離顯示的是圖片出自的數(shù)據(jù)庫顯示圖片名字33精選pptIMEDIA之—partialvisualqueries(localdescriptors)圖像庫該數(shù)據(jù)庫支持點模式，選擇摸個圖像之后就可以啟動點模式，在點模式下，用戶可以進行圖像區(qū)域檢索。支持點模式檢索34精選pptIMEDIA之—3Dretrieval圖像庫該庫中主要存儲3D圖像。該庫不支持各種擴展檢索35精選ppt補充一點基于文本檢索的方法的小技巧—以Google為例Google用減號“-”表示邏輯“非”操作。“A–B”表示搜索包含A但沒有B的網(wǎng)頁。示例：“搜索引擎歷史-文化-中國歷史-世界歷史”36精選pptGoogle用大寫的“OR”表示邏輯“或”操作。搜索“AORB”，意思就是說，搜索的網(wǎng)頁中，要么有A，要么有B，要么同時有A和B。實例：“搜索引擎現(xiàn)狀百度OR蜘蛛OR北大天網(wǎng)-文化-歷史”37精選pptGoogle對搜索的網(wǎng)站進行限制“site”表示搜索結(jié)果局限于某個具體網(wǎng)站或者網(wǎng)站頻道，如“”、“”，或者是某個域名，如“”、“com”等等。如果是要排除某網(wǎng)站或者域名范圍內(nèi)的頁面，只需用“-網(wǎng)站/域名”。示例：搜索新浪新聞中心（）上關于鳳凰女跳樓案的新聞報道。搜索：“鳳凰女跳樓site:”38精選ppt39精選pptGoogle在某一類文件中查找信息“filetype:”是Google開發(fā)的非常強大實用的一個搜索語法。也就是說，Google不僅能搜索一般的文字頁面，還能對某些二進制文檔進行檢索。目前，Google已經(jīng)能檢索微軟的Office文檔如.xls、.ppt、.doc，.rtf，WordPerfect文檔