多媒體信息檢索技術(shù)

1、多媒體檢索多媒體檢索基于內(nèi)容的圖像檢索技術(shù)基于內(nèi)容的圖像檢索技術(shù)基于文本的信息檢索方法基于文本的信息檢索方法多媒體檢索技術(shù)與方法多媒體檢索多媒體檢索 概念理解概念理解v多媒體檢索是一種基于內(nèi)容特征的檢索（多媒體檢索是一種基于內(nèi)容特征的檢索（CBR：content-based retrieval）。所謂基于內(nèi)容）。所謂基于內(nèi)容的檢索是對媒體對象的內(nèi)容及上下文語義環(huán)境進的檢索是對媒體對象的內(nèi)容及上下文語義環(huán)境進行檢索，行檢索，如圖像中的顏色、紋理、形狀，視頻中如圖像中的顏色、紋理、形狀，視頻中的鏡頭、場景、鏡頭的運動，聲音中的音調(diào)、響的鏡頭、場景、鏡頭的運動，聲音中的音調(diào)、響度、音色等。度、音色等

2、?；趦?nèi)容的檢索突破了傳統(tǒng)的基于基于內(nèi)容的檢索突破了傳統(tǒng)的基于文本檢索技術(shù)的局限，直接對圖像、視頻、音頻文本檢索技術(shù)的局限，直接對圖像、視頻、音頻內(nèi)容進行分析，抽取特征和語義，利用這些內(nèi)容內(nèi)容進行分析，抽取特征和語義，利用這些內(nèi)容特征建立索引并進行檢索。特征建立索引并進行檢索。在這一檢索過程中，在這一檢索過程中，它主要以圖像處理、模式識別、計算機視覺、圖它主要以圖像處理、模式識別、計算機視覺、圖像理解等學(xué)科中的一些方法為部分基礎(chǔ)技術(shù)，像理解等學(xué)科中的一些方法為部分基礎(chǔ)技術(shù)，是是多種技術(shù)的合成。多種技術(shù)的合成。 多媒體檢索技術(shù)與方法多媒體檢索的多媒體檢索的 特點特點v (1) 相似性檢索：相似性

3、檢索：CBR采用一種近似匹配（或局部匹配）的方法和采用一種近似匹配（或局部匹配）的方法和技術(shù)逐步求精來獲得查詢和檢索結(jié)果，摒棄了傳統(tǒng)的精確匹配技術(shù)，技術(shù)逐步求精來獲得查詢和檢索結(jié)果，摒棄了傳統(tǒng)的精確匹配技術(shù)，避免了因采用傳統(tǒng)檢索方法所帶來的不確定性。避免了因采用傳統(tǒng)檢索方法所帶來的不確定性。v (2) 直接從內(nèi)容中提取信息線索：直接從內(nèi)容中提取信息線索：CBR直接對文本、圖像、視頻、直接對文本、圖像、視頻、音頻進行分析，從中抽取內(nèi)容特征，然后利用這些內(nèi)容特征建立索引音頻進行分析，從中抽取內(nèi)容特征，然后利用這些內(nèi)容特征建立索引并進行檢索。并進行檢索。v (3) 滿足用戶多層次的檢索要求：滿足用戶

4、多層次的檢索要求：CBR檢索系統(tǒng)通常由媒體庫、特檢索系統(tǒng)通常由媒體庫、特征庫和知識庫組成。媒體庫包含多媒體數(shù)據(jù)，如文本、圖像、音頻、征庫和知識庫組成。媒體庫包含多媒體數(shù)據(jù)，如文本、圖像、音頻、視頻等；特征庫包含用戶輸入的特征和預(yù)處理自動提取的內(nèi)容特征；視頻等；特征庫包含用戶輸入的特征和預(yù)處理自動提取的內(nèi)容特征；知識庫包含領(lǐng)域知識和通用知識，其中的知識表達可以更換，以適應(yīng)知識庫包含領(lǐng)域知識和通用知識，其中的知識表達可以更換，以適應(yīng)各種不同領(lǐng)域的應(yīng)用要求。各種不同領(lǐng)域的應(yīng)用要求。v (4) 大型數(shù)據(jù)庫大型數(shù)據(jù)庫(集集)的快速檢索：的快速檢索：CBR往往擁有數(shù)量巨大、種類繁往往擁有數(shù)量巨大、種類繁多

5、的多媒體數(shù)據(jù)庫，能夠?qū)崿F(xiàn)對多媒體信息的快速檢索。多的多媒體數(shù)據(jù)庫，能夠?qū)崿F(xiàn)對多媒體信息的快速檢索。多媒體檢索技術(shù)與方法基于內(nèi)容的多媒體信息檢索體系結(jié)構(gòu)基于內(nèi)容的多媒體信息檢索體系結(jié)構(gòu)媒體數(shù)據(jù)特征提取目標標識媒體庫特征庫知識庫知識輔助用戶查詢接口檢索引擎索引/過濾數(shù)據(jù)庫特征提取子系統(tǒng)數(shù)據(jù)庫查詢子系統(tǒng)多媒體檢索技術(shù)與方法多媒體信息檢索過程多媒體信息檢索過程用戶需求媒體資源內(nèi)容查詢內(nèi)容索引匹配多媒體檢索技術(shù)與方法多媒體信息檢索分類多媒體信息檢索分類文本檢索多媒體檢索圖像檢索視頻檢索音頻檢索多媒體檢索技術(shù)與方法基于內(nèi)容的圖像檢索基于內(nèi)容的圖像檢索-圖像檢索的過程就是圖像特征圖像檢索的過程就是圖像特征的

6、提取、分析及匹配。的提取、分析及匹配。v特征提?。禾崛「鞣N特征，如顏色，紋理，形狀特征提?。禾崛「鞣N特征，如顏色，紋理，形狀等。根據(jù)提取的特征不同，采取不同的處理，比等。根據(jù)提取的特征不同，采取不同的處理，比如提取形狀特征，就需要先進行圖像分割和邊緣如提取形狀特征，就需要先進行圖像分割和邊緣提取等步驟。選擇合適的算法，并在效率和精確提取等步驟。選擇合適的算法，并在效率和精確性方面加以改進，以適應(yīng)檢索的需要，實現(xiàn)特征性方面加以改進，以適應(yīng)檢索的需要，實現(xiàn)特征提取模塊。提取模塊。v特征分析：對圖像的各種特征進行分析，選擇提特征分析：對圖像的各種特征進行分析，選擇提取效率高、信息濃縮性好的特征，或者

7、將幾種特取效率高、信息濃縮性好的特征，或者將幾種特征進行組合，用到檢索領(lǐng)域。征進行組合，用到檢索領(lǐng)域。v特征匹配：選擇何種模型來衡量圖像特征間的相特征匹配：選擇何種模型來衡量圖像特征間的相似度。似度。多媒體檢索技術(shù)與方法*基于內(nèi)容的圖像檢索工作原理基于內(nèi)容的圖像檢索工作原理圖像特征庫數(shù)字圖像源用戶相關(guān)反饋圖像檢索特征提取圖像索引多媒體檢索技術(shù)與方法基于內(nèi)容的圖像索引技術(shù)：基于內(nèi)容的圖像索引技術(shù)：圖像特征提取技術(shù)顏色特征紋理特征形狀特征圖像索引主要技術(shù)顏色直方圖、顏色矩顏色集、顏色聚合向量、顏色相關(guān)圖Tamura紋理特征自回歸紋理模型基于小波變換的紋理特征傅里葉性狀描述符形狀無關(guān)矩其他形狀特征空

8、間關(guān)系特征基于圖像分割的方法基于圖像子塊方法多媒體檢索技術(shù)與方法圖像顏色特征圖像顏色特征v顏色特征是在圖像檢索中應(yīng)用最為廣泛的視覺特顏色特征是在圖像檢索中應(yīng)用最為廣泛的視覺特征，主要原因在于顏色往往和圖像中包含的物體征，主要原因在于顏色往往和圖像中包含的物體或場景十分相關(guān)。此外，與其他特征相比，顏色或場景十分相關(guān)。此外，與其他特征相比，顏色特征計算簡單，同時對圖像本身的尺寸、方向、特征計算簡單，同時對圖像本身的尺寸、方向、視角的依賴性較小，具有較好的緊致性。視角的依賴性較小，具有較好的緊致性。多媒體檢索技術(shù)與方法v，定義如下：，定義如下：v其中其中ni為圖像中顏色取值為為圖像中顏色取值為i的像

9、素個數(shù)，的像素個數(shù)，N為像為像素總數(shù)，素總數(shù)，K為可能的顏色取值范圍。為可能的顏色取值范圍。 這樣計算得到的顏色直方圖就是一個這樣計算得到的顏色直方圖就是一個K維的特征維的特征向量。顏色直方圖所描述的是不同色彩在整幅圖向量。顏色直方圖所描述的是不同色彩在整幅圖像中所占的比例，而并不關(guān)心每種色彩所處的空像中所占的比例，而并不關(guān)心每種色彩所處的空間位置，所以特別適合描述那些不需要考慮特定間位置，所以特別適合描述那些不需要考慮特定物體空間位置的圖像內(nèi)容。物體空間位置的圖像內(nèi)容。KiNnihi, 1 , 0,)(顏色特征顏色直方圖多媒體檢索技術(shù)與方法顏色特征顏色矩v 這種方法的數(shù)學(xué)基礎(chǔ)在于圖像中的任何

10、顏色分布均可用他這種方法的數(shù)學(xué)基礎(chǔ)在于圖像中的任何顏色分布均可用他的矩來表示。由于顏色分布信息主要集中在低階矩中，所的矩來表示。由于顏色分布信息主要集中在低階矩中，所以只采用顏色的一階矩、二階矩和三階矩就可以表達圖像以只采用顏色的一階矩、二階矩和三階矩就可以表達圖像的顏色分布。與顏色直方圖比較，該方法的一個好處就是的顏色分布。與顏色直方圖比較，該方法的一個好處就是無需對于特征進行量化。設(shè)無需對于特征進行量化。設(shè)pij是圖像中第是圖像中第j個像素的第個像素的第i個顏色分量，則該顏色分量上矩的計算如下：個顏色分量，則該顏色分量上矩的計算如下：v 圖像的顏色矩一共有九個分量，每個顏色通道均有三個低圖

11、像的顏色矩一共有九個分量，每個顏色通道均有三個低階矩。顏色矩僅僅使用少數(shù)幾個矩，從而導(dǎo)致過多的虛警，階矩。顏色矩僅僅使用少數(shù)幾個矩，從而導(dǎo)致過多的虛警，因此顏色矩常和其他特征結(jié)合使用。因此顏色矩常和其他特征結(jié)合使用。 3/1132/1121)(1()(1(1NjiijiNjiijiNjijiupNsupNpNu多媒體檢索技術(shù)與方法顏色特征顏色集 為了提高檢索的速度，為了提高檢索的速度，Smith和和Chang提出了用提出了用顏色集的方法，首先將顏色集的方法，首先將RGB顏色空間轉(zhuǎn)換成視覺顏色空間轉(zhuǎn)換成視覺均衡的顏色空間（均衡的顏色空間（HSV），并將顏色空間量化成），并將顏色空間量化成若干個若

12、干個bin，然后運用顏色自動分割技術(shù)將圖像，然后運用顏色自動分割技術(shù)將圖像分為若干個區(qū)域，每個區(qū)域用量化顏色空間的某分為若干個區(qū)域，每個區(qū)域用量化顏色空間的某個顏色分量來索引，從而將圖像表達成一個二進個顏色分量來索引，從而將圖像表達成一個二進制的顏色索引表。在圖像匹配中，比較不同圖像制的顏色索引表。在圖像匹配中，比較不同圖像顏色集之間的距離和顏色區(qū)域的空間關(guān)系。因為，顏色集之間的距離和顏色區(qū)域的空間關(guān)系。因為，顏色集表達為二進制的特征向量，可以構(gòu)造二分顏色集表達為二進制的特征向量，可以構(gòu)造二分查照樹來加快檢索速度，對大規(guī)模的圖象集合十查照樹來加快檢索速度，對大規(guī)模的圖象集合十分有力。分有力。

13、多媒體檢索技術(shù)與方法顏色特征顏色聚合向量v針對顏色直方圖和顏色矩?zé)o法表達圖像色彩的空針對顏色直方圖和顏色矩?zé)o法表達圖像色彩的空間位置的缺點，間位置的缺點，Pass提出了圖像的顏色聚合向提出了圖像的顏色聚合向量（量（color coherence vector）。它是顏色）。它是顏色直方圖的一種演變，其核心思想是將屬于直方圖直方圖的一種演變，其核心思想是將屬于直方圖每一個每一個bin的像素進行分為兩部分：如果該的像素進行分為兩部分：如果該bin內(nèi)內(nèi)的某些像素所占據(jù)的連續(xù)區(qū)域的面積大于給定的的某些像素所占據(jù)的連續(xù)區(qū)域的面積大于給定的閾值，則該區(qū)域內(nèi)的像素作為聚合像素，否則作閾值，則該區(qū)域內(nèi)的像素作

14、為聚合像素，否則作為非聚合像素。由于包含了顏色分布的空間信息，為非聚合像素。由于包含了顏色分布的空間信息，顏色聚合向量相比顏色直方圖可以達到更好的檢顏色聚合向量相比顏色直方圖可以達到更好的檢索效果。索效果。多媒體檢索技術(shù)與方法顏色特征顏色相關(guān)圖v 顏色相關(guān)圖（顏色相關(guān)圖（color correlogram）是圖像顏色分布的）是圖像顏色分布的另一種表達方式。這種特征不但刻畫了某一種顏色的像素另一種表達方式。這種特征不但刻畫了某一種顏色的像素數(shù)量占整個圖像的比例，還反映了不同顏色對之間的空間數(shù)量占整個圖像的比例，還反映了不同顏色對之間的空間相關(guān)性。實驗表明，顏色相關(guān)圖比顏色直方圖和顏色聚合相關(guān)性。

15、實驗表明，顏色相關(guān)圖比顏色直方圖和顏色聚合向量具有更高的檢索效率，特別是查詢空間關(guān)系一致的圖向量具有更高的檢索效率，特別是查詢空間關(guān)系一致的圖像。像。v 如果考慮到任何顏色之間的相關(guān)性，顏色相關(guān)圖會變得非如果考慮到任何顏色之間的相關(guān)性，顏色相關(guān)圖會變得非常復(fù)雜和龐大常復(fù)雜和龐大(空間復(fù)雜度為空間復(fù)雜度為O(N2d)。一種簡化的變。一種簡化的變種是顏色自動相關(guān)圖（種是顏色自動相關(guān)圖（color auto-correlogram），），它僅僅考察具有相同顏色的像素間的空間關(guān)系，因此空間它僅僅考察具有相同顏色的像素間的空間關(guān)系，因此空間復(fù)雜度降到復(fù)雜度降到O(Nd)。多媒體檢索技術(shù)與方法紋理特征紋理

16、特征v 紋理特征也是一種全局特征，它也描述了圖像或圖像區(qū)域紋理特征也是一種全局特征，它也描述了圖像或圖像區(qū)域所對應(yīng)景物的表面性質(zhì)。但由于紋理只是一種物體表面的所對應(yīng)景物的表面性質(zhì)。但由于紋理只是一種物體表面的特性，并不能完全反映出物體的本質(zhì)屬性，所以僅僅利用特性，并不能完全反映出物體的本質(zhì)屬性，所以僅僅利用紋理特征是無法獲得高層次圖像內(nèi)容的。與顏色特征不同，紋理特征是無法獲得高層次圖像內(nèi)容的。與顏色特征不同，紋理特征不是基于像素點的特征，它需要在包含多個像素紋理特征不是基于像素點的特征，它需要在包含多個像素點的區(qū)域中進行統(tǒng)計計算。在模式匹配中，這種區(qū)域性的點的區(qū)域中進行統(tǒng)計計算。在模式匹配中，

17、這種區(qū)域性的特征具有較大的優(yōu)越性，不會由于局部的偏差而無法匹配特征具有較大的優(yōu)越性，不會由于局部的偏差而無法匹配成功。作為一種統(tǒng)計特征，紋理特征常具有旋轉(zhuǎn)不變性，成功。作為一種統(tǒng)計特征，紋理特征常具有旋轉(zhuǎn)不變性，并且對于噪聲有較強的抵抗能力。但是，紋理特征也有其并且對于噪聲有較強的抵抗能力。但是，紋理特征也有其缺點，一個很明顯的缺點是當(dāng)圖像的分辨率變化的時候，缺點，一個很明顯的缺點是當(dāng)圖像的分辨率變化的時候，所計算出來的紋理可能會有較大偏差。另外，由于有可能所計算出來的紋理可能會有較大偏差。另外，由于有可能受到光照、反射情況的影響，從受到光照、反射情況的影響，從2-D圖像中反映出來的紋圖像中反

18、映出來的紋理不一定是理不一定是3-D物體表面真實的紋理。物體表面真實的紋理。 多媒體檢索技術(shù)與方法紋理特征紋理特征Tamura紋理特征紋理特征v基于對紋理的視覺感知心理學(xué)研究，基于對紋理的視覺感知心理學(xué)研究，Tamura等等人提出了紋理特征的表達方法。人提出了紋理特征的表達方法。Tamura紋理特紋理特征的征的6個分量對應(yīng)于心理學(xué)角度的紋理特征的個分量對應(yīng)于心理學(xué)角度的紋理特征的6種種屬性，分別是粗糙度（屬性，分別是粗糙度（coarseness ）、對比）、對比度（度（contrast）、方向度（）、方向度（directionality）、）、線像度（線像度（linelikeness）、規(guī)整度

19、）、規(guī)整度（regularity）、粗略度（）、粗略度（roughness），其），其中粗糙度、方向度和對比度在檢索中最為重要。中粗糙度、方向度和對比度在檢索中最為重要。在在Tamura表示中的所有紋理性質(zhì)都是有意義的，表示中的所有紋理性質(zhì)都是有意義的，與人的主觀感受比較吻合，這使得與人的主觀感受比較吻合，這使得Tamura紋理紋理表示在圖象檢索中非常具有吸引力，而且可提供表示在圖象檢索中非常具有吸引力，而且可提供一個更有友好的用戶界面。一個更有友好的用戶界面。 多媒體檢索技術(shù)與方法形狀特征形狀特征v形狀是描述圖像內(nèi)容的一個重要特征。它常與目形狀是描述圖像內(nèi)容的一個重要特征。它常與目標聯(lián)系在一

20、起，又一定的語義含義，因而可以看標聯(lián)系在一起，又一定的語義含義，因而可以看作是比顏色或紋理要高層一些的特征。但另一方作是比顏色或紋理要高層一些的特征。但另一方面，對形狀的表達比對顏色或紋理的表達從本質(zhì)面，對形狀的表達比對顏色或紋理的表達從本質(zhì)上要復(fù)雜得多，常需要先對圖像進行分割。由于上要復(fù)雜得多，常需要先對圖像進行分割。由于當(dāng)前的技術(shù)無法做到準確和通用的自動圖像分割，當(dāng)前的技術(shù)無法做到準確和通用的自動圖像分割，圖像檢索中的形狀特征只能在特定應(yīng)用場合使用。圖像檢索中的形狀特征只能在特定應(yīng)用場合使用。在這些應(yīng)用中，利用特定領(lǐng)域知識可以從圖像中在這些應(yīng)用中，利用特定領(lǐng)域知識可以從圖像中分割獲得包含的

21、目標（物體或區(qū)域）。分割獲得包含的目標（物體或區(qū)域）。多媒體檢索技術(shù)與方法形狀特征形狀特征v一般來說，形狀特征有兩種表示方法，一種一般來說，形狀特征有兩種表示方法，一種是輪廓特征，一種是區(qū)域特征。前者適用于對形是輪廓特征，一種是區(qū)域特征。前者適用于對形狀邊界的描述，而后者則適用于表達形狀包含的狀邊界的描述，而后者則適用于表達形狀包含的整個區(qū)域。這兩類形狀特征的最典型方法分別是整個區(qū)域。這兩類形狀特征的最典型方法分別是傅立葉描述符（傅立葉描述符（Fourier Descriptor）和形狀）和形狀無關(guān)矩（無關(guān)矩（Moment Invariants）。）。多媒體檢索技術(shù)與方法形狀特征形狀特征傅立葉

22、描述符傅立葉描述符v傅立葉描述符的主要思想是將經(jīng)過傅立葉變換后傅立葉描述符的主要思想是將經(jīng)過傅立葉變換后的邊界作為形狀特征。從輪廓上的任一點開始繞的邊界作為形狀特征。從輪廓上的任一點開始繞輪廓一周可以定義一個復(fù)數(shù)序列：輪廓一周可以定義一個復(fù)數(shù)序列：v對其進行離散傅立葉變換，就得到輪廓的傅立葉對其進行離散傅立葉變換，就得到輪廓的傅立葉描述：描述：v在此基礎(chǔ)上，文獻提出了一種改進的傅立葉算法，在此基礎(chǔ)上，文獻提出了一種改進的傅立葉算法，這種算法不僅對噪音具有很好的魯棒性，而且對這種算法不僅對噪音具有很好的魯棒性，而且對幾何變換具有不變性，更加適合圖像檢索的需要。幾何變換具有不變性，更加適合圖像檢索

23、的需要。1, 1 , 0)()()(Nkkjykxku1, 1 , 0)/2exp()(1)(10NNkjkuNFNk多媒體檢索技術(shù)與方法圖像空間關(guān)系特征圖像空間關(guān)系特征 圖像空間關(guān)系特征主要用來描述圖像中的對象或者圖像空間關(guān)系特征主要用來描述圖像中的對象或者物體。在圖像處理過程中有時會出現(xiàn)上面的特征物體。在圖像處理過程中有時會出現(xiàn)上面的特征相似的情況，此時就需要利用空間關(guān)系來描述圖相似的情況，此時就需要利用空間關(guān)系來描述圖像像圖像空間關(guān)系特征的提取通常有兩種方法：一種是圖像空間關(guān)系特征的提取通常有兩種方法：一種是現(xiàn)對圖像進行自動分割，劃分出圖像中所包含的現(xiàn)對圖像進行自動分割，劃分出圖像中所包

24、含的對象或者顏色區(qū)域，然后根據(jù)這些顏色區(qū)域來對對象或者顏色區(qū)域，然后根據(jù)這些顏色區(qū)域來對圖像進行索引；另一種是將圖像均勻的劃分若干圖像進行索引；另一種是將圖像均勻的劃分若干個規(guī)則的子塊，然后針對每個圖像子塊分別提取個規(guī)則的子塊，然后針對每個圖像子塊分別提取特征并建立索引特征并建立索引多媒體檢索技術(shù)與方法基于內(nèi)容的圖像檢索方法基于內(nèi)容的圖像檢索方法基于圖例的圖像檢索方法外部圖像查詢內(nèi)部圖像查詢草圖查詢綜合檢索方法利用檢索系統(tǒng)外部圖像進行檢索查詢提問的圖像是檢索系統(tǒng)內(nèi)部的圖像用戶先畫出一幅草圖，再根據(jù)草圖在系統(tǒng)中查詢自己想要的圖像現(xiàn)有的圖像檢索系統(tǒng)通常都是綜合利用上述方法多媒體檢索技術(shù)與方法圖像綜

25、合檢索方法示意圖草圖數(shù)字圖像抽象特征用戶輸入草圖檢索外部圖像檢索直接檢索瀏覽圖像綜合檢索示意圖圖像圖像圖像多媒體檢索技術(shù)與方法圖像相似度比較方法圖像相似度比較方法v基于內(nèi)容的圖像檢索是通過計算查詢與候選圖像基于內(nèi)容的圖像檢索是通過計算查詢與候選圖像之間視覺特征的相似度來完成。在對圖像內(nèi)容進之間視覺特征的相似度來完成。在對圖像內(nèi)容進行描述的時候主要采用特征向量的方式，因此，行描述的時候主要采用特征向量的方式，因此，常用的圖像相似度比較方法也是基于向量空間模常用的圖像相似度比較方法也是基于向量空間模型的，可以將向量特征看作是向量空間中的點，型的，可以將向量特征看作是向量空間中的點，通過計算兩點之間

26、的接近程度來衡量圖像之間的通過計算兩點之間的接近程度來衡量圖像之間的相似度。常用的圖像相似度比較方法如下：相似度。常用的圖像相似度比較方法如下：直方直方圖相交、二次距離、馬氏距離、歐拉距離、非幾圖相交、二次距離、馬氏距離、歐拉距離、非幾何的相似度方法何的相似度方法多媒體檢索技術(shù)與方法相關(guān)反饋相關(guān)反饋v相關(guān)反饋是一種查詢逐步求精技術(shù)，最初用于文相關(guān)反饋是一種查詢逐步求精技術(shù)，最初用于文本檢索系統(tǒng)中，主要特點是將用戶引入查詢過程，本檢索系統(tǒng)中，主要特點是將用戶引入查詢過程，根據(jù)用戶的反饋信息調(diào)整查詢要求，從而進一步根據(jù)用戶的反饋信息調(diào)整查詢要求，從而進一步優(yōu)化查詢結(jié)果，直到用戶滿意為止。用戶的參與

27、優(yōu)化查詢結(jié)果，直到用戶滿意為止。用戶的參與使系統(tǒng)能更好地揣測用戶的意圖，也使得在低層使系統(tǒng)能更好地揣測用戶的意圖，也使得在低層可視特征和高層語義概念之間建立某種聯(lián)系成為可視特征和高層語義概念之間建立某種聯(lián)系成為可能?？赡?。v圖象檢索中的相關(guān)反饋方法大致可以分為兩種類圖象檢索中的相關(guān)反饋方法大致可以分為兩種類型：參數(shù)調(diào)整方法和機器學(xué)習(xí)方法型：參數(shù)調(diào)整方法和機器學(xué)習(xí)方法多媒體檢索技術(shù)與方法基于內(nèi)容的圖像檢索系統(tǒng)舉例基于內(nèi)容的圖像檢索系統(tǒng)舉例IMEDIAv IMEDIA按照數(shù)據(jù)庫的內(nèi)容劃分為五個功能系統(tǒng)。按照數(shù)據(jù)庫的內(nèi)容劃分為五個功能系統(tǒng)。 Visual Retrieval (generalist

28、databases)、 Visual Retrieval (biodiversity collections)、Visual Retrieval with relevance feedback（satellite images）、）、partial visual queries (local descriptors)和和3D retrieval多媒體檢索技術(shù)與方法多媒體檢索技術(shù)與方法IMEDIA之之Visual Retrieval圖像庫圖像庫v Visual Retrieval (generalist databases)和和Visual Retrieval (biodiversity col

29、lections)的界的界面是基本一致的，但是面是基本一致的，但是Visual Retrieval (biodiversity collections)更加專業(yè)，主要是生物學(xué)更加專業(yè)，主要是生物學(xué)圖像庫。圖像庫。 下面以下面以Visual Retrieval (biodiversity collections)為例介紹一下該系統(tǒng)的界面操作。為例介紹一下該系統(tǒng)的界面操作。多媒體檢索技術(shù)與方法Visual Retrieval (biodiversity collections)界界面示意圖面示意圖多媒體檢索技術(shù)與方法利用利用 fadeback mode 檢索的結(jié)果檢索的結(jié)果多媒體檢索技術(shù)與方法v

30、該系統(tǒng)的最上角是該系統(tǒng)的最上角是settings系統(tǒng)設(shè)置按鈕，用來設(shè)置系系統(tǒng)設(shè)置按鈕，用來設(shè)置系統(tǒng)參數(shù)。統(tǒng)參數(shù)。v 點擊設(shè)置按鈕點擊設(shè)置按鈕 將進入一個設(shè)置面板，如下：將進入一個設(shè)置面板，如下：多媒體檢索技術(shù)與方法IMEDIA之之Visual Retrieval with relevance feedback（satellite images）圖像庫）圖像庫v 在這個庫中存放的都是地圖衛(wèi)星照片，可以進行地理圖像檢索在這個庫中存放的都是地圖衛(wèi)星照片，可以進行地理圖像檢索多媒體檢索技術(shù)與方法顯示與原圖之間的數(shù)值距離顯示的是圖片出自的數(shù)據(jù)庫顯示圖片名字多媒體檢索技術(shù)與方法IMEDIA之之partia

31、l visual queries (local descriptors)圖像庫圖像庫v 該數(shù)據(jù)庫支持點模式，選擇摸個圖像之后就可以啟動點模該數(shù)據(jù)庫支持點模式，選擇摸個圖像之后就可以啟動點模式，在點模式下，用戶可以進行圖像區(qū)域檢索。式，在點模式下，用戶可以進行圖像區(qū)域檢索。支持點模式檢索多媒體檢索技術(shù)與方法IMEDIA之之3D retrieval圖像庫圖像庫v該庫中主要存儲該庫中主要存儲3D圖像。圖像。該庫不支持各種擴展檢索多媒體檢索技術(shù)與方法補充一點基于文本檢索的方法的小技巧補充一點基于文本檢索的方法的小技巧以以Google為例為例vGoogle用減號用減號“-”表示邏輯表示邏輯“非非”操作。

32、操作?！癆 B”表示搜索包含表示搜索包含A但沒有但沒有B的網(wǎng)頁。的網(wǎng)頁。 示例：“搜索引擎 歷史 -文化 -中國歷史 -世界歷史”多媒體檢索技術(shù)與方法vGoogle用大寫的用大寫的“OR”表示邏輯表示邏輯“或或”操作。操作。搜索搜索“A OR B”，意思就是說，搜索的網(wǎng)頁中，意思就是說，搜索的網(wǎng)頁中，要么有要么有A，要么有，要么有B，要么同時有，要么同時有A和和B。 實例：“搜索引擎現(xiàn)狀 百度 OR 蜘蛛 OR 北大天網(wǎng) -文化 -歷史”多媒體檢索技術(shù)與方法Google 對搜索的網(wǎng)站進行限制對搜索的網(wǎng)站進行限制“site”表示搜索結(jié)果局限于某個具體網(wǎng)站或者網(wǎng)表示搜索結(jié)果局限于某個具體網(wǎng)站或者網(wǎng)站頻道，如站頻道，如“”、“”，或者是某個域名，如，或者是某個域名，如“”、“com”等等。如果是要排除某網(wǎng)等等。如果是要排除某網(wǎng)站或者域名范圍內(nèi)的頁面，只需用站或者域名范圍內(nèi)的頁面，只需用“-網(wǎng)站網(wǎng)站/域域名名”。 示例：搜索新浪新聞中心（）上關(guān)于鳳凰女跳樓案的新聞報道。 搜索：“鳳凰女跳樓 site:”多媒體檢索技術(shù)與方法多媒體檢索技術(shù)與方法Google 在某一類文件中查找信息