基于內(nèi)容的多媒體檢索技術(shù)

1、基于內(nèi)容的多媒體檢索技術(shù)摘要：基于內(nèi)容檢索是多媒體研究中的新興熱點，會逐漸在很多領(lǐng)域中得到廣泛的應(yīng)用，本文主要介紹了基于內(nèi)容的多媒體信息檢索的概念、特點、查詢和檢索過程、基于內(nèi)容的檢索、基于視頻的檢索以及基于內(nèi)容的多媒體信息檢索的研究方向。關(guān)鍵詞：基于內(nèi)容的檢索；多媒體；圖像檢索；視頻檢索1. 引言多媒體技術(shù)和Internet的發(fā)展將人們帶入巨大的多媒體信息海洋，并進一步導(dǎo)致了超大型多媒體信息庫的產(chǎn)生，光憑關(guān)鍵詞是很難做到對多媒體信息的描述和檢索的，這就需要有一種針對多媒體的有效的檢索方式。如何有效的幫助人們快速、準確地找到所需要的多媒體信息，成了多媒體信息庫所要解決的核心問題。2. 多媒體檢

2、索技術(shù)原理與方法多多媒體檢索是一種基于內(nèi)容特征的檢索（CBR：content-based retrieval）。所謂基于內(nèi)容的檢索是對媒體對象的內(nèi)容及上下文語義環(huán)境進行檢索，如圖像中的顏色、紋理、形狀，視頻中的鏡頭、場景、鏡頭的運動，聲音中的音調(diào)、響度、音色等?；趦?nèi)容的檢索突破了傳統(tǒng)的基于文本檢索技術(shù)的局限，直接對圖像、視頻、音頻內(nèi)容進行分析，抽取特征和語義，利用這些內(nèi)容特征建立索引并進行檢索。在這一檢索過程中，它主要以圖像處理、模式識別、計算機視覺、圖像理解等學科中的一些方法為部分基礎(chǔ)技術(shù)，是多種技術(shù)的合成。與傳統(tǒng)的信息檢索相比，CBR有如下特點：(1)相似性檢索：CBR采用一種

3、近似匹配（或局部匹配）的方法和技術(shù)逐步求精來獲得查詢和檢索結(jié)果，摒棄了傳統(tǒng)的精確匹配技術(shù)，避免了因采用傳統(tǒng)檢索方法所帶來的不確定性。(2)直接從內(nèi)容中提取信息線索：CBR直接對文本、圖像、視頻、音頻進行分析，從中抽取內(nèi)容特征，然后利用這些內(nèi)容特征建立索引并進行檢索。(3)滿足用戶多層次的檢索要求：CBR檢索系統(tǒng)通常由媒體庫、特征庫和知識庫組成。媒體庫包含多媒體數(shù)據(jù)，如文本、圖像、音頻、視頻等；特征庫包含用戶輸入的特征和預(yù)處理自動提取的內(nèi)容特征；知識庫包含領(lǐng)域知識和通用知識，其中的知識表達可以更換，以適應(yīng)各種不同領(lǐng)域的應(yīng)用要求。(4)大型數(shù)據(jù)庫(集)的快速檢索：CBR往往擁有數(shù)量巨大、種類繁多的

4、多媒體數(shù)據(jù)庫，能夠?qū)崿F(xiàn)對多媒體信息的快速檢索?；趦?nèi)容的檢索體系通常如下圖所示:Figure 1基于內(nèi)容的檢索體系2.1基于內(nèi)容的靜態(tài)圖像檢索基于內(nèi)容的圖像檢索必須要對圖像進行基于內(nèi)容的識別和解釋，特征提取在圖像檢索中占有重要地位。圖像檢索所用到的基本特征有顏色、紋理、形狀、圖像的語義等等。2.2顏色檢索顏色是描述一幅圖像最直觀、有效的特征,由于顏色具有一定的穩(wěn)定性,所以是基于內(nèi)容的圖像檢索中應(yīng)用最廣泛的特征。對顏色進行檢索主要是利用顏色空間直方圖進行匹配。顏色數(shù)據(jù)在查詢時,顏色特征的提取主要有互補顏色空間直方圖、直方圖交叉法、直方圖距離比較法、二次型距離算法等。采用基于顏色分布的匹配將獲得更

5、接近于被檢索內(nèi)容的視覺效果。2.3紋理檢索紋理是描述圖像的另一重要特征,圖像的紋理特征主要包括粗糙性、規(guī)則性、線條相似性、凸凹性、方向性和對比度。常用的檢索方法有共生矩陣均值方差法、頻譜分析和結(jié)構(gòu)方法以及基于視覺模型的多分辨率分析、隨機場模型等。紋理檢索在圖像分析和識別中起著重要的作用，它被廣泛應(yīng)用于氣象云圖、衛(wèi)星遙測圖像等。2.4形狀檢索形狀是描述圖像的本質(zhì)特征之一，可用面積、離心率、圓形度、形狀矩、曲率、分形維等全局和局部特征來表示，基于形狀的檢索對象可以分為基于二維形狀和基于三維形狀的檢索。形狀檢索的基礎(chǔ)是圖像邊緣的提取，常用檢索方法有針對圖像邊緣輪廓線進行的檢索和針對圖形矢量特征進行的

6、檢索。2.5基于內(nèi)容的視頻檢索視頻又稱動態(tài)圖像，通常包含了動畫和影像，是一組序列圖像按時間順序的連續(xù)表現(xiàn)，其表示與圖像序列、時間關(guān)系都有關(guān)。幀、鏡頭和場景是視頻信息的基本組成部分，在視頻播放中，多個圖形按先后順序快速而連續(xù)地出現(xiàn)和消失，而這些單個的圖形就是組成視頻的最小單元幀，其中對動態(tài)畫面起到變化、轉(zhuǎn)折和決定作用的稱為關(guān)鍵幀；鏡頭表示通過攝像機的移動操作形成一個事件或連續(xù)的動作，它由一系列連續(xù)的幀組成；場景包含了多個鏡頭的組合，完整的視頻是由一個或多個場景組成的?；趦?nèi)容的視頻檢索就是要通過對視頻數(shù)據(jù)中所包含的視覺內(nèi)容進行分析和特征提取，查找到符合要求的相似內(nèi)容片段。因此，其處理技術(shù)包括視頻

7、結(jié)構(gòu)的分析、視頻數(shù)據(jù)的自動索引和視頻聚類。2.6基于內(nèi)容的音頻檢索音頻是另外一種重要的媒體。音頻可以分為三種類型：波形聲音、語音、音樂。波形聲音是將模擬聲音數(shù)字化后得到的數(shù)字音頻信號，它可以代表語音、音樂、自然界和合成的聲響；語音具有字詞、語法等語素，語音經(jīng)過識別可以轉(zhuǎn)換為文本,文本也是語音的一種腳本形式；音樂具有節(jié)奏、旋律或和聲等要素，是人聲和樂器音響等配合所構(gòu)成的一種聲音，可以用樂譜來表示。音頻信息檢索可以分為基于語音技術(shù)的檢索、音頻檢索和音樂檢索。語音檢索是以語音為中心的檢索，采用語音識別等處理技術(shù)；音頻檢索是以波形聲音為對象，用聲學特征來檢索；音樂檢索是以音樂為中心的檢索，利用音樂的音

8、符和旋律等音樂特性來檢索。3. 應(yīng)用前景基于內(nèi)容的多媒體檢索技術(shù)的日益成熟不僅將創(chuàng)造出巨大的社會價值，而且將改變?nèi)藗兊纳罘绞健Ｒ驗樗c傳統(tǒng)數(shù)據(jù)庫技術(shù)相結(jié)合，可以方便地實現(xiàn)海量多媒體數(shù)據(jù)的存儲和管理，與傳統(tǒng)Web搜索引擎技術(shù)相結(jié)合，它可以用來檢索HTML網(wǎng)頁中豐富的多媒體信息?；趦?nèi)容的多媒體檢索技術(shù)將會在以下領(lǐng)域中得到廣泛應(yīng)用:多媒體數(shù)據(jù)庫、知識產(chǎn)權(quán)保護、數(shù)字圖書館、數(shù)字檔案館、網(wǎng)絡(luò)多媒體搜索引擎、交互電視、藝術(shù)收藏和博物館管理、遙感和地球資源管理、遠程教育、遠程醫(yī)療、遠程購物、天氣預(yù)報、多媒體編輯(個人電子新聞業(yè)務(wù)、媒體寫作)以及軍事指揮系統(tǒng)等等。多媒體信息檢索技術(shù)的應(yīng)用使多媒體信息檢索系統(tǒng)、多媒體數(shù)據(jù)庫，可視信息系統(tǒng)、多媒體信息自動獲取和索引系統(tǒng)等應(yīng)用逐漸變?yōu)楝F(xiàn)實。4. 結(jié)語基于內(nèi)容的多媒體檢索是一個新興的研究領(lǐng)域，在國內(nèi)外仍處于研究、探索階段, 因此在基于內(nèi)容的檢索領(lǐng)域中仍然存在許多問題。這些問題主要包括多媒體特征的描述和特征的自動提取、多媒體的同步技術(shù)、匹配和結(jié)構(gòu)的選擇問題, 以及按多相似性特征為基礎(chǔ)的索引、查詢和檢索等。作為一個新興的研究領(lǐng)域，同時由于其檢索對象和范圍的多樣性，基于內(nèi)容的多媒體檢索還要解決多種檢索手段相結(jié)合的問題, 以提高檢索效率。此外，更好地理解檢索內(nèi)容以