多媒體信息檢索技術(shù)

多媒體信息檢索技術(shù)與方法基于內(nèi)容的圖像檢索技術(shù)基于文本的信息檢索方法多媒體檢索概念理解多媒體檢索是一種基于內(nèi)容特征的檢索（CBR：content-basedretrieval）。所謂基于內(nèi)容的檢索是對(duì)媒體對(duì)象的內(nèi)容及上下文語義環(huán)境進(jìn)行檢索，如圖像中的顏色、紋理、形狀，視頻中的鏡頭、場(chǎng)景、鏡頭的運(yùn)動(dòng)，聲音中的音調(diào)、響度、音色等。基于內(nèi)容的檢索突破了傳統(tǒng)的基于文本檢索技術(shù)的局限，直接對(duì)圖像、視頻、音頻內(nèi)容進(jìn)行分析，抽取特征和語義，利用這些內(nèi)容特征建立索引并進(jìn)行檢索。在這一檢索過程中，它主要以圖像處理、模式識(shí)別、計(jì)算機(jī)視覺、圖像理解等學(xué)科中的一些方法為部分基礎(chǔ)技術(shù)，是多種技術(shù)的合成。多媒體檢索的特點(diǎn)(1)相似性檢索：CBR采用一種近似匹配（或局部匹配）的方法和技術(shù)逐步求精來獲得查詢和檢索結(jié)果，摒棄了傳統(tǒng)的精確匹配技術(shù)，避免了因采用傳統(tǒng)檢索方法所帶來的不確定性。(2)直接從內(nèi)容中提取信息線索：CBR直接對(duì)文本、圖像、視頻、音頻進(jìn)行分析，從中抽取內(nèi)容特征，然后利用這些內(nèi)容特征建立索引并進(jìn)行檢索。(3)滿足用戶多層次的檢索要求：CBR檢索系統(tǒng)通常由媒體庫(kù)、特征庫(kù)和知識(shí)庫(kù)組成。媒體庫(kù)包含多媒體數(shù)據(jù)，如文本、圖像、音頻、視頻等；特征庫(kù)包含用戶輸入的特征和預(yù)處理自動(dòng)提取的內(nèi)容特征；知識(shí)庫(kù)包含領(lǐng)域知識(shí)和通用知識(shí)，其中的知識(shí)表達(dá)可以更換，以適應(yīng)各種不同領(lǐng)域的應(yīng)用要求。(4)大型數(shù)據(jù)庫(kù)(集)的快速檢索：CBR往往擁有數(shù)量巨大、種類繁多的多媒體數(shù)據(jù)庫(kù)，能夠?qū)崿F(xiàn)對(duì)多媒體信息的快速檢索?；趦?nèi)容的多媒體信息檢索體系結(jié)構(gòu)媒體數(shù)據(jù)特征提取目標(biāo)標(biāo)識(shí)媒體庫(kù)特征庫(kù)知識(shí)庫(kù)知識(shí)輔助用戶查詢接口檢索引擎索引/過濾數(shù)據(jù)庫(kù)特征提取子系統(tǒng)數(shù)據(jù)庫(kù)查詢子系統(tǒng)多媒體信息檢索過程用戶需求媒體資源內(nèi)容查詢內(nèi)容索引匹配多媒體信息檢索分類文本檢索多媒體檢索圖像檢索視頻檢索音頻檢索基于內(nèi)容的圖像檢索--圖像檢索的過程就是圖像特征的提取、分析及匹配。特征提?。禾崛「鞣N特征，如顏色，紋理，形狀等。根據(jù)提取的特征不同，采取不同的處理，比如提取形狀特征，就需要先進(jìn)行圖像分割和邊緣提取等步驟。選擇合適的算法，并在效率和精確性方面加以改進(jìn)，以適應(yīng)檢索的需要，實(shí)現(xiàn)特征提取模塊。特征分析：對(duì)圖像的各種特征進(jìn)行分析，選擇提取效率高、信息濃縮性好的特征，或者將幾種特征進(jìn)行組合，用到檢索領(lǐng)域。特征匹配：選擇何種模型來衡量圖像特征間的相似度。*基于內(nèi)容的圖像檢索工作原理圖像特征庫(kù)數(shù)字圖像源用戶相關(guān)反饋圖像檢索特征提取圖像索引基于內(nèi)容的圖像索引技術(shù)：圖像特征提取技術(shù)顏色特征紋理特征形狀特征圖像索引主要技術(shù)顏色直方圖、顏色矩顏色集、顏色聚合向量、顏色相關(guān)圖Tamura紋理特征自回歸紋理模型基于小波變換的紋理特征傅里葉性狀描述符形狀無關(guān)矩其他形狀特征空間關(guān)系特征基于圖像分割的方法基于圖像子塊方法圖像顏色特征顏色特征是在圖像檢索中應(yīng)用最為廣泛的視覺特征，主要原因在于顏色往往和圖像中包含的物體或場(chǎng)景十分相關(guān)。此外，與其他特征相比，顏色特征計(jì)算簡(jiǎn)單，同時(shí)對(duì)圖像本身的尺寸、方向、視角的依賴性較小，具有較好的緊致性。，定定義義如如下下：：其中中ni為圖圖像像中中顏顏色色取取值值為為i的像像素素個(gè)個(gè)數(shù)數(shù)，，N為像像素素總總數(shù)數(shù)，，K為可可能能的的顏顏色色取取值值范范圍圍。。這這樣樣計(jì)計(jì)算算得得到到的的顏顏色色直直方方圖圖就就是是一一個(gè)個(gè)K維的的特特征征向向量量。。顏顏色色直直方方圖圖所所描描述述的的是是不不同同色色彩彩在在整整幅幅圖圖像像中中所所占占的的比比例例，，而而并并不不關(guān)關(guān)心心每每種種色色彩彩所所處處的的空空間間位位置置，，所所以以特特別別適適合合描描述述那那些些不不需需要要考考慮慮特特定定物物體體空空間間位位置置的的圖圖像像內(nèi)內(nèi)容容。。顏色特征——顏色直方圖顏色特征——顏色矩這種方法的數(shù)數(shù)學(xué)基礎(chǔ)在于于圖像中的任任何顏色分布布均可用他的的矩來表示。。由于顏色分分布信息主要要集中在低階階矩中，所以以只采用顏色色的一階矩、、二階矩和三三階矩就可以以表達(dá)圖像的的顏色分布。。與顏色直方方圖比較，該該方法的一個(gè)個(gè)好處就是無無需對(duì)于特征征進(jìn)行量化。。設(shè)pij是圖像中第j個(gè)像素的第i個(gè)顏色分量，，則該顏色分分量上矩的計(jì)計(jì)算如下：圖像的顏色矩矩一共有九個(gè)個(gè)分量，每個(gè)個(gè)顏色通道均均有三個(gè)低階階矩。顏色矩矩僅僅使用少少數(shù)幾個(gè)矩，，從而導(dǎo)致過過多的虛警，，因此顏色矩矩常和其他特特征結(jié)合使用用。顏色特征——顏色集為了提高檢索索的速度，Smith和Chang提出了用顏色色集的方法，，首先將RGB顏色空間轉(zhuǎn)換換成視覺均衡衡的顏色空間間（HSV），并將顏色色空間量化成成若干個(gè)bin，然后運(yùn)用顏顏色自動(dòng)分割割技術(shù)將圖像像分為若干個(gè)個(gè)區(qū)域，每個(gè)個(gè)區(qū)域用量化化顏色空間的的某個(gè)顏色分分量來索引，，從而將圖像像表達(dá)成一個(gè)個(gè)二進(jìn)制的顏顏色索引表。。在圖像匹配配中，比較不不同圖像顏色色集之間的距距離和顏色區(qū)區(qū)域的空間關(guān)關(guān)系。因?yàn)?，，顏色集表達(dá)達(dá)為二進(jìn)制的的特征向量，，可以構(gòu)造二二分查照樹來來加快檢索速速度，對(duì)大規(guī)規(guī)模的圖象集集合十分有力力。顏色特征——顏色聚合向量量針對(duì)顏色直方方圖和顏色矩矩?zé)o法表達(dá)圖圖像色彩的空空間位置的缺缺點(diǎn)，Pass提出了圖像的的顏色聚合向向量（colorcoherencevector）。它是顏色色直方圖的一一種演變，其其核心思想是是將屬于直方方圖每一個(gè)bin的像素進(jìn)行分分為兩部分：：如果該bin內(nèi)的某些像素素所占據(jù)的連連續(xù)區(qū)域的面面積大于給定定的閾值，則則該區(qū)域內(nèi)的的像素作為聚聚合像素，否否則作為非聚聚合像素。由由于包含了顏顏色分布的空空間信息，顏顏色聚合向量量相比顏色直直方圖可以達(dá)達(dá)到更好的檢檢索效果。顏色特征——顏色相關(guān)圖顏色相關(guān)圖（（colorcorrelogram）是圖像顏色色分布的另一一種表達(dá)方式式。這種特征征不但刻畫了了某一種顏色色的像素?cái)?shù)量量占整個(gè)圖像像的比例，還還反映了不同同顏色對(duì)之間間的空間相關(guān)關(guān)性。實(shí)驗(yàn)表表明，顏色相相關(guān)圖比顏色色直方圖和顏顏色聚合向量量具有更高的的檢索效率，，特別是查詢?cè)兛臻g關(guān)系一一致的圖像。。如果考慮到任任何顏色之間間的相關(guān)性，，顏色相關(guān)圖圖會(huì)變得非常常復(fù)雜和龐大大(空間復(fù)雜度為為O(N2d))。一種簡(jiǎn)化的的變種是顏色色自動(dòng)相關(guān)圖圖（colorauto-correlogram），它僅僅考考察具有相同同顏色的像素素間的空間關(guān)關(guān)系，因此空空間復(fù)雜度降降到O(Nd)。紋理特征紋理特征也是是一種全局特特征，它也描描述了圖像或或圖像區(qū)域所所對(duì)應(yīng)景物的的表面性質(zhì)。。但由于紋理理只是一種物物體表面的特特性，并不能能完全反映出出物體的本質(zhì)質(zhì)屬性，所以以僅僅利用紋紋理特征是無無法獲得高層層次圖像內(nèi)容容的。與顏色色特征不同，，紋理特征不不是基于像素素點(diǎn)的特征，，它需要在包包含多個(gè)像素素點(diǎn)的區(qū)域中中進(jìn)行統(tǒng)計(jì)計(jì)計(jì)算。在模式式匹配中，這這種區(qū)域性的的特征具有較較大的優(yōu)越性性，不會(huì)由于于局部的偏差差而無法匹配配成功。作為為一種統(tǒng)計(jì)特特征，紋理特特征常具有旋旋轉(zhuǎn)不變性，，并且對(duì)于噪噪聲有較強(qiáng)的的抵抗能力。。但是，紋理理特征也有其其缺點(diǎn)，一個(gè)個(gè)很明顯的缺缺點(diǎn)是當(dāng)圖像像的分辨率變變化的時(shí)候，，所計(jì)算出來來的紋理可能能會(huì)有較大偏偏差。另外，，由于有可能能受到光照、、反射情況的的影響，從2-D圖像中反映出出來的紋理不不一定是3-D物體表面真實(shí)實(shí)的紋理。紋理特征——Tamura紋理特征基于對(duì)紋理的的視覺感知心心理學(xué)研究，，Tamura等人提出了紋紋理特征的表表達(dá)方法。Tamura紋理特征的6個(gè)分量對(duì)應(yīng)于于心理學(xué)角度度的紋理特征征的6種屬性，分別別是粗糙度（（coarseness）、對(duì)比度（（contrast）、方向度（（directionality）、線像度（（linelikeness）、規(guī)整度（（regularity）、粗略度（（roughness），其中粗糙糙度、方向度度和對(duì)比度在在檢索中最為為重要。在Tamura表示中的所有有紋理性質(zhì)都都是有意義的的，與人的主主觀感受比較較吻合，這使使得Tamura紋理表示在圖圖象檢索中非非常具有吸引引力，而且可可提供一個(gè)更更有友好的用用戶界面。形狀特征形狀是描述圖圖像內(nèi)容的一一個(gè)重要特征征。它常與目目標(biāo)聯(lián)系在一一起，又一定定的語義含義義，因而可以以看作是比顏顏色或紋理要要高層一些的的特征。但另另一方面，對(duì)對(duì)形狀的表達(dá)達(dá)比對(duì)顏色或或紋理的表達(dá)達(dá)從本質(zhì)上要要復(fù)雜得多，，常需要先對(duì)對(duì)圖像進(jìn)行分分割。由于當(dāng)當(dāng)前的技術(shù)無無法做到準(zhǔn)確確和通用的自自動(dòng)圖像分割割，圖像檢索索中的形狀特特征只能在特特定應(yīng)用場(chǎng)合合使用。在這這些應(yīng)用中，，利用特定領(lǐng)領(lǐng)域知識(shí)可以以從圖像中分分割獲得包含含的目標(biāo)（物物體或區(qū)域））。形狀特征一般來說，形形狀特征有兩兩種表示方法法，一種是輪輪廓特征，一一種是區(qū)域特特征。前者適適用于對(duì)形狀狀邊界的描述述，而后者則則適用于表達(dá)達(dá)形狀包含的的整個(gè)區(qū)域。。這兩類形狀狀特征的最典典型方法分別別是傅立葉描描述符（FourierDescriptor）和形狀無關(guān)關(guān)矩（MomentInvariants）。形狀特征——傅立葉描述符符傅立葉描述符符的主要思想想是將經(jīng)過傅傅立葉變換后后的邊界作為為形狀特征。。從輪廓上的的任一點(diǎn)開始始繞輪廓一周周可以定義一一個(gè)復(fù)數(shù)序列列：對(duì)其進(jìn)行離散散傅立葉變換換，就得到輪輪廓的傅立葉葉描述：在此基礎(chǔ)上，，文獻(xiàn)提出了了一種改進(jìn)的的傅立葉算法法，這種算法法不僅對(duì)噪音音具有很好的的魯棒性，而而且對(duì)幾何變變換具有不變變性，更加適適合圖像檢索索的需要。圖像空間關(guān)系系特征圖像空間關(guān)系系特征主要用用來描述圖像像中的對(duì)象或或者物體。在在圖像處理過過程中有時(shí)會(huì)會(huì)出現(xiàn)上面的的特征相似的的情況，此時(shí)時(shí)就需要利用用空間關(guān)系來來描述圖像圖像空間關(guān)系系特征的提取取通常有兩種種方法：一種種是現(xiàn)對(duì)圖像像進(jìn)行自動(dòng)分分割，劃分出出圖像中所包包含的對(duì)象或或者顏色區(qū)域域，然后根據(jù)據(jù)這些顏色區(qū)區(qū)域來對(duì)圖像像進(jìn)行索引；；另一種是將將圖像均勻的的劃分若干個(gè)個(gè)規(guī)則的子塊塊，然后針對(duì)對(duì)每個(gè)圖像子子塊分別提取取特征并建立立索引基于內(nèi)容的圖圖像檢索方法法基于圖例的圖像檢索方法法外部圖像查詢?cè)儍?nèi)部圖像查詢?cè)儾輬D查詢綜合檢索方法法利用檢索系統(tǒng)統(tǒng)外部圖像進(jìn)進(jìn)行檢索查詢提問的圖圖像是檢索系系統(tǒng)內(nèi)部的圖像用戶先畫出一一幅草圖，再再根據(jù)草圖在系統(tǒng)中查查詢自己想要要的圖像現(xiàn)有的圖像檢檢索系統(tǒng)通常常都是綜合利用上述述方法圖像綜合檢索索方法示意圖圖草圖數(shù)字圖像抽象特征用戶輸入草圖檢索外部圖像檢索索直接檢索瀏覽圖像綜合檢索索示意圖圖像圖像圖像圖像相似度比比較方法基于內(nèi)容的圖圖像檢索是通通過計(jì)算查詢?cè)兣c候選圖像像之間視覺特特征的相似度度來完成。在在對(duì)圖像內(nèi)容容進(jìn)行描述的的時(shí)候主要采采用特征向量量的方式，因因此，常用的的圖像相似度度比較方法也也是基于向量量空間模型的的，可以將向向量特征看作作是向量空間間中的點(diǎn)，通通過計(jì)算兩點(diǎn)點(diǎn)之間的接近近程度來衡量量圖像之間的的相似度。常常用的圖像相相似度比較方方法如下：直方圖相交、、二次距離、、馬氏距離、、歐拉距離、、非幾何的相相似度方法相關(guān)反饋相關(guān)反饋是一一種查詢逐步步求精技術(shù)，，最初用于文文本檢索系統(tǒng)統(tǒng)中，主要特特點(diǎn)是將用戶戶引入查詢過過程，根據(jù)用用戶的反饋信信息調(diào)整查詢?cè)円?，從而而進(jìn)一步優(yōu)化化查詢結(jié)果，，直到用戶滿滿意為止。用用戶的參與使使系統(tǒng)能更好好地揣測(cè)用戶戶的意圖，也也使得在低層層可視特征和和高層語義概概念之間建立立某種聯(lián)系成成為可能。圖象檢索中的的相關(guān)反饋方方法大致可以以分為兩種類類型：參數(shù)調(diào)調(diào)整方法和機(jī)機(jī)器學(xué)習(xí)方法法基于內(nèi)容的圖圖像檢索系統(tǒng)統(tǒng)舉例——IMEDIAIMEDIA按照數(shù)據(jù)庫(kù)的的內(nèi)容劃分為為五個(gè)功能系系統(tǒng)。VisualRetrieval(generalistdatabases)、VisualRetrieval(biodiversitycollections)、VisualRetrievalwithrelevancefeedback（satelliteimages）、partialvisualqueries(localdescriptors)和3DretrievalIMEDIA之——VisualRetrieval圖像庫(kù)VisualRetrieval(generalistdatabases)和VisualRetrieval(biodiversitycollections)的界面是基本本一致的，但但是VisualRetrieval(biodiversitycollections)更加專業(yè)，主主要是生物學(xué)學(xué)圖像庫(kù)。下下面以VisualRetrieval(biodiversitycollections)為例介紹一下下該系統(tǒng)的界界面操作。VisualRetrieval(biodiversitycollections)界面示意圖利用fadebackmode檢索的結(jié)果該系統(tǒng)的最上上角是settings系統(tǒng)設(shè)置按鈕鈕，用來設(shè)置置系統(tǒng)參數(shù)。。點(diǎn)擊設(shè)置按鈕鈕將進(jìn)入一一個(gè)設(shè)置面板板，如下：IMEDIA之—VisualRetrievalwithrelevancefeedback（satelliteimages）圖像庫(kù)在這個(gè)庫(kù)中存存放的都是地地圖衛(wèi)星照片片，可以進(jìn)行行地理圖像檢檢索顯示與原圖之之間的數(shù)值距距離顯示的是圖片片出自的數(shù)據(jù)據(jù)庫(kù)顯示圖片名字字IMEDIA之—partialvisualqueries(localdescriptors)圖像庫(kù)該數(shù)據(jù)庫(kù)支持持點(diǎn)模式，選選擇摸個(gè)圖像像之后就可以以啟動(dòng)點(diǎn)模式式，在點(diǎn)模式式下，用戶可可以進(jìn)行圖像像區(qū)域檢索。。支持點(diǎn)模式檢檢索IMEDIA之—3Dretrieval圖像庫(kù)該庫(kù)中主要存存儲(chǔ)3D圖像。該庫(kù)不支持各各種擴(kuò)展檢索索補(bǔ)充一點(diǎn)基于于文本檢索的的方法的小技技巧—以Google為例Google用減號(hào)“-”表示邏輯“非非”操作?！啊癆–B”表示搜索包含含A但沒有B的網(wǎng)頁。示例：“搜索索引擎歷史史-文化-中國(guó)歷史-世界歷史”Google用大寫的“OR”表示邏輯“或或”操作。搜搜索“AORB”，意思就是說說，搜索的網(wǎng)網(wǎng)頁中，要么么有A，要么有B，要么同時(shí)有有A和B。實(shí)例：“搜索索引擎現(xiàn)狀百百度OR蜘蛛OR北大天網(wǎng)-文化-歷史””Google對(duì)搜索索的網(wǎng)網(wǎng)站進(jìn)進(jìn)行限限制Google在某一一類文文件中中查找找信息息“filetype:”是Google開發(fā)的的非常常強(qiáng)大大實(shí)用用的一一個(gè)搜搜索語語法。。也就就是說說，Google不僅能能搜索索一般般的文文字頁頁面，，還能能對(duì)某某些二二進(jìn)制制文檔檔進(jìn)行行檢索索。目目前，，Google已經(jīng)能能檢索索微軟軟的Office文檔如如.xls、.ppt、.doc，.rtf，WordPerfect文檔，，Lotus1-2-3文檔，，Adobe的.pdf文檔，，ShockWave的.swf文檔（（Flash動(dòng)畫））等。。其中中最實(shí)實(shí)用的的文檔檔搜索索是PDF搜索。。示例：：搜索索幾個(gè)個(gè)資產(chǎn)產(chǎn)負(fù)債債表的的Office文檔。。搜索：：“資資產(chǎn)負(fù)負(fù)債表表filetype:docORf