第8章 多媒體數(shù)據(jù)庫(kù)

第8

章

多媒體數(shù)據(jù)庫(kù)引言8.1多媒體數(shù)據(jù)庫(kù)概述8.1.1傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)8.1.2多媒體數(shù)據(jù)庫(kù)的特點(diǎn)8.1.3多媒體數(shù)據(jù)庫(kù)的功能8.2多媒體數(shù)據(jù)庫(kù)的管理8.2.1多媒體數(shù)據(jù)的管理8.2.2多媒體數(shù)據(jù)庫(kù)管理系統(tǒng)的體系結(jié)構(gòu)8.3多媒體數(shù)據(jù)庫(kù)的檢索8.3.1基于文本的多媒體數(shù)據(jù)庫(kù)檢索8.3.2基于內(nèi)容的多媒體數(shù)據(jù)檢索技術(shù)概述8.3.3基于內(nèi)容檢索的應(yīng)用8.3.4多種類(lèi)型媒體對(duì)象檢索的應(yīng)用本章小結(jié)思考與練習(xí)引言與數(shù)值、字符等格式化數(shù)據(jù)不同，圖像、音頻、視頻等媒體信息所涉及的是非格式化數(shù)據(jù)，并且數(shù)據(jù)量相對(duì)龐大，我們一般稱(chēng)其為多媒體數(shù)據(jù)。

傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)在多媒體數(shù)據(jù)的處理、存儲(chǔ)和檢索上顯得力不從心，因此需要研究和建立一種新型數(shù)據(jù)庫(kù)技術(shù)——多媒體數(shù)據(jù)庫(kù)技術(shù)。

本章首先介紹了傳統(tǒng)數(shù)據(jù)庫(kù)的一些基本知識(shí)，然后介紹了多媒體數(shù)據(jù)庫(kù)涉及的主要內(nèi)容，最后對(duì)多媒體數(shù)據(jù)庫(kù)中的一個(gè)重要的研究?jī)?nèi)容：基于內(nèi)堂的數(shù)據(jù)檢索做了介紹。8.1多媒體數(shù)據(jù)庫(kù)概述數(shù)據(jù)庫(kù)（Database）是一個(gè)依照某種數(shù)據(jù)模型，組織、存儲(chǔ)和管理數(shù)據(jù)的數(shù)據(jù)集合。數(shù)據(jù)庫(kù)的兩層含義：1.數(shù)據(jù)庫(kù)基本概念是一個(gè)實(shí)體，能夠合理保管數(shù)據(jù)的“倉(cāng)庫(kù)”，用戶(hù)在“倉(cāng)庫(kù)”中存放要管理的事務(wù)數(shù)據(jù)。是數(shù)據(jù)管理的新方法和技術(shù)，能更合適的組織數(shù)據(jù)、更方便的維護(hù)數(shù)據(jù)、更嚴(yán)密的控制數(shù)據(jù)和更有效的利用數(shù)據(jù)。8.1.1傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)2.數(shù)據(jù)庫(kù)管理數(shù)據(jù)的特點(diǎn)數(shù)據(jù)結(jié)構(gòu)化：從全局整體觀點(diǎn)組織數(shù)據(jù)。描述數(shù)據(jù)時(shí)，既描述數(shù)據(jù)本身，又描述數(shù)據(jù)間關(guān)系；既考慮某個(gè)應(yīng)用的數(shù)據(jù)結(jié)構(gòu)，又考慮整個(gè)組織的數(shù)據(jù)結(jié)構(gòu)。數(shù)據(jù)具有高共享性、低冗余度：通過(guò)數(shù)據(jù)模型和數(shù)據(jù)控制機(jī)制提高數(shù)據(jù)共享性數(shù)據(jù)共享可以大大減少數(shù)據(jù)冗余數(shù)據(jù)和程序之間獨(dú)立性較高指數(shù)據(jù)的組織和存儲(chǔ)方法與應(yīng)用程序互不依賴(lài)、彼此獨(dú)立包括物理數(shù)據(jù)的獨(dú)立性和邏輯數(shù)據(jù)的獨(dú)立性?xún)蓚€(gè)方面。2.數(shù)據(jù)庫(kù)管理數(shù)據(jù)的特點(diǎn)數(shù)據(jù)的安全性和完整性較高數(shù)據(jù)庫(kù)系統(tǒng)通過(guò)數(shù)據(jù)保護(hù)措施防止數(shù)據(jù)破壞。數(shù)據(jù)庫(kù)系統(tǒng)能提供完整性檢查。數(shù)據(jù)可以并發(fā)使用并能保證數(shù)據(jù)的一致性數(shù)據(jù)庫(kù)系統(tǒng)提供并發(fā)機(jī)制和協(xié)調(diào)機(jī)制，允許在同一時(shí)間內(nèi)，多個(gè)用戶(hù)同時(shí)對(duì)數(shù)據(jù)實(shí)現(xiàn)多路存取，而不產(chǎn)生任何沖突，數(shù)據(jù)不遭到破壞。數(shù)據(jù)庫(kù)的故障恢復(fù)提供一套方法及時(shí)發(fā)現(xiàn)故障和修復(fù)故障，從而防止數(shù)據(jù)不被丟失或破壞。數(shù)據(jù)庫(kù)的運(yùn)行管理功能：核心功能，包括：多用戶(hù)環(huán)境下的并發(fā)控制安全性檢查和存取限制完整性條件檢查和執(zhí)行運(yùn)行日志組織管理事務(wù)管理和自動(dòng)恢復(fù)等數(shù)據(jù)庫(kù)操作功能：數(shù)據(jù)操作語(yǔ)言DML可進(jìn)行增刪改查等操作數(shù)據(jù)定義功能：DBMS提供數(shù)據(jù)定義語(yǔ)言DDL提供建庫(kù)機(jī)制，可建立和修改庫(kù)結(jié)構(gòu)、存儲(chǔ)結(jié)構(gòu)、數(shù)據(jù)間聯(lián)系，定義數(shù)據(jù)的完整性約束條件和保證完整性的觸發(fā)機(jī)制等。3.數(shù)據(jù)庫(kù)管理系統(tǒng)的主要功能數(shù)據(jù)庫(kù)維護(hù)功能：包括：數(shù)據(jù)庫(kù)數(shù)據(jù)的載入、轉(zhuǎn)儲(chǔ)和恢復(fù)，數(shù)據(jù)庫(kù)的維護(hù)及數(shù)據(jù)庫(kù)的功能、性能分析和檢測(cè)等。數(shù)據(jù)庫(kù)通信功能：與操作系統(tǒng)的聯(lián)機(jī)處理、分時(shí)系統(tǒng)及遠(yuǎn)程作業(yè)輸入的相關(guān)接口負(fù)責(zé)處理數(shù)據(jù)的傳送與網(wǎng)絡(luò)中其他軟件的通信以及數(shù)據(jù)庫(kù)之間的互操作3.數(shù)據(jù)庫(kù)管理系統(tǒng)的主要功能表示數(shù)據(jù)之間聯(lián)系的方法。先后經(jīng)歷了層次模型、網(wǎng)狀模型、關(guān)系模型和面向?qū)ο竽Ｐ偷入A段目前關(guān)系模型在實(shí)際應(yīng)用中處于主導(dǎo)地位，而面向?qū)ο竽Ｐ凸烙?jì)在不久的將來(lái)將會(huì)得到廣泛的應(yīng)用。4.數(shù)據(jù)模型滿足以下條件：有且僅有一個(gè)結(jié)點(diǎn)無(wú)父結(jié)點(diǎn)，這個(gè)結(jié)點(diǎn)稱(chēng)為根結(jié)點(diǎn)。除根結(jié)點(diǎn)之外，其他結(jié)點(diǎn)有且僅有一個(gè)父結(jié)點(diǎn)。層次模型滿足以下條件：允許一個(gè)以上的結(jié)點(diǎn)無(wú)父結(jié)點(diǎn)。一個(gè)結(jié)點(diǎn)可以有多個(gè)父結(jié)點(diǎn)。網(wǎng)狀模型數(shù)據(jù)：二維表中的元素，表格中每一行稱(chēng)作一個(gè)元組，相當(dāng)于一個(gè)記錄值；列：屬性值集，列的名字稱(chēng)為屬性名。關(guān)鍵字（Key）：能夠唯一識(shí)別一個(gè)元組的屬性。關(guān)系模型多媒體數(shù)據(jù)的數(shù)據(jù)量大，數(shù)據(jù)差異也大。媒體種類(lèi)多，且每種媒體數(shù)據(jù)在又演變出幾十種不同的媒體格式。多媒體數(shù)據(jù)具有模糊性。難以表達(dá)和描述。多媒體數(shù)據(jù)的分布性。多媒體事務(wù)的處理時(shí)間比傳統(tǒng)事務(wù)要長(zhǎng)。不同應(yīng)用系統(tǒng)對(duì)多媒體數(shù)據(jù)的傳輸、表現(xiàn)和存儲(chǔ)方式的質(zhì)量要求不一樣。多媒體信息涉及的版本眾多，包括歷史版本和選擇版本。數(shù)據(jù)量大，8.1.2多媒體數(shù)據(jù)庫(kù)的特點(diǎn)1.多媒體數(shù)據(jù)的特點(diǎn)需要設(shè)計(jì)合適的數(shù)據(jù)庫(kù)的組織和存儲(chǔ)方法。多種媒體類(lèi)型增加了數(shù)據(jù)處理的困難。數(shù)據(jù)庫(kù)的多解查詢(xún)。用戶(hù)接口的支持。多媒體信息的分布性影響多媒體數(shù)據(jù)庫(kù)體系。數(shù)據(jù)庫(kù)應(yīng)增加處理長(zhǎng)事務(wù)的能力。

對(duì)于不同應(yīng)用的不同的服務(wù)質(zhì)量的要求，要根據(jù)的情況進(jìn)行控制。版本控制的問(wèn)題。2.多媒體數(shù)據(jù)對(duì)數(shù)據(jù)庫(kù)的影響8.1.3多媒體數(shù)據(jù)庫(kù)的功能能表達(dá)和處理多種復(fù)雜的數(shù)據(jù)類(lèi)型。存儲(chǔ)技術(shù)具有數(shù)據(jù)壓縮和解壓等新功能。有能組織和管理各種媒體數(shù)據(jù)的特征和集成機(jī)制的時(shí)空關(guān)聯(lián)的方法。強(qiáng)調(diào)物理數(shù)據(jù)、邏輯數(shù)據(jù)和媒體數(shù)據(jù)獨(dú)立性。提供比傳統(tǒng)數(shù)據(jù)庫(kù)更強(qiáng)大的操作。提供網(wǎng)絡(luò)分布式數(shù)據(jù)功能。具有開(kāi)放功能。提供事務(wù)和版本管理功能。多媒體數(shù)據(jù)庫(kù)的恢復(fù)和安全機(jī)制功能。8.2多媒體數(shù)據(jù)庫(kù)的管理8.2.1多媒體數(shù)據(jù)的管理實(shí)現(xiàn)多媒體數(shù)據(jù)管理的三種途徑：1、擴(kuò)充關(guān)系數(shù)據(jù)庫(kù)2、面向?qū)ο髷?shù)據(jù)庫(kù)方式3、基于超文本和超媒體方式1.擴(kuò)充關(guān)系數(shù)據(jù)庫(kù)主要有三種：擴(kuò)展現(xiàn)有的數(shù)據(jù)類(lèi)型。增加一種大二進(jìn)制對(duì)象BLOB(BinarylargeObject)字段來(lái)支持對(duì)多媒體數(shù)據(jù)對(duì)象的存取。擴(kuò)充用戶(hù)自定義的數(shù)據(jù)類(lèi)型允許用戶(hù)自定義一個(gè)抽象數(shù)據(jù)類(lèi)型作為另一關(guān)系的列的值，而不僅僅是采用系統(tǒng)己定義的數(shù)據(jù)類(lèi)型。擴(kuò)充嵌套語(yǔ)義，采用NF2數(shù)據(jù)模型

2.面向?qū)ο髷?shù)據(jù)庫(kù)方式更接近人類(lèi)思維方式。面向?qū)ο髷?shù)據(jù)模式語(yǔ)義豐富，具有很強(qiáng)的抽象能力，具有良好的可擴(kuò)充性，可以很好地滿足復(fù)雜的多媒體對(duì)象的各種表示需求。以非線性的信息組織方來(lái)管理多媒體對(duì)象，較符合人們的思維方式，較適合制作電子文檔或電子出版物，但不適合一般用戶(hù)的資料管理。3.基于超文本和超媒體的方式8.2.2多媒體數(shù)據(jù)庫(kù)管理系統(tǒng)的體系結(jié)構(gòu)針對(duì)每一種媒體建立一個(gè)獨(dú)立的數(shù)據(jù)庫(kù)管理系統(tǒng)；這些數(shù)據(jù)庫(kù)通過(guò)相互通信來(lái)協(xié)調(diào)和執(zhí)行相應(yīng)操作；對(duì)每種多媒體數(shù)據(jù)的管理是分開(kāi)的。缺陷：當(dāng)多種媒體的聯(lián)合操作時(shí)，增加了用戶(hù)的負(fù)擔(dān)。如果各種媒體數(shù)據(jù)庫(kù)設(shè)計(jì)時(shí)沒(méi)有按照標(biāo)準(zhǔn)化的原則進(jìn)行，他們之間的通信和使用都會(huì)產(chǎn)生問(wèn)題。1.組合型多媒體數(shù)據(jù)庫(kù)結(jié)構(gòu)各種類(lèi)型的媒體統(tǒng)一建模，只用一個(gè)單一的多媒體數(shù)據(jù)庫(kù)進(jìn)行管理，并只用一個(gè)多媒體數(shù)據(jù)庫(kù)管理系統(tǒng)對(duì)這些媒體信息進(jìn)行操作，各種用戶(hù)需求被統(tǒng)一到一個(gè)多媒體用戶(hù)接口上，多媒體的查詢(xún)檢索結(jié)構(gòu)可以統(tǒng)一表現(xiàn)。缺陷：目前還沒(méi)有一個(gè)比較恰當(dāng)而且高效的方法來(lái)管理所有的多媒體數(shù)據(jù)，因此很難實(shí)現(xiàn)。2.集中型多媒體數(shù)據(jù)庫(kù)結(jié)構(gòu)多個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)組成的，每個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)之間沒(méi)有主從之分，只要求系統(tǒng)中每個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)能諧調(diào)地工作。缺陷：通信中必須首先解決每個(gè)成員多媒體數(shù)據(jù)庫(kù)系統(tǒng)的差異。3.協(xié)作型多媒體數(shù)據(jù)庫(kù)結(jié)構(gòu)適合網(wǎng)絡(luò)環(huán)境下的工作。系統(tǒng)對(duì)每一種媒體的操作各用一個(gè)服務(wù)器來(lái)實(shí)現(xiàn)，所有服務(wù)的綜合和操作也用一個(gè)服務(wù)器完成，與用戶(hù)的接口采用客戶(hù)進(jìn)程實(shí)現(xiàn)。客戶(hù)與服務(wù)器之間通過(guò)特定的中間系統(tǒng)連接。缺陷：要對(duì)服務(wù)器和客戶(hù)進(jìn)行仔細(xì)的規(guī)劃和統(tǒng)一的考慮，采用標(biāo)準(zhǔn)化和開(kāi)放的接口界面。4.客戶(hù)機(jī)-服務(wù)器型多媒體數(shù)據(jù)庫(kù)結(jié)構(gòu)8.3多媒體數(shù)據(jù)庫(kù)的檢索8.3.1基于文本的多媒體數(shù)據(jù)庫(kù)檢索利用人工對(duì)多媒體信息進(jìn)行分析，并抽取反映該多媒體數(shù)據(jù)的物理特性和內(nèi)容特性的文本信息；對(duì)這些文本信息按照學(xué)科領(lǐng)域分類(lèi)，或用關(guān)鍵字標(biāo)引，并建立類(lèi)似于文本文獻(xiàn)的標(biāo)引著錄數(shù)據(jù)庫(kù)。用戶(hù)則通過(guò)輸入關(guān)鍵字，匹配查詢(xún)(關(guān)鍵字)和多媒體信息的注釋來(lái)搜索相關(guān)數(shù)據(jù)。1.基于文本的多媒體數(shù)據(jù)庫(kù)檢索流程利用文件擴(kuò)展名和超文本標(biāo)識(shí)。將多媒體文件名和文字解說(shuō)中帶有的媒體信息作為關(guān)鍵詞。多媒體所在網(wǎng)頁(yè)的標(biāo)題或多媒體數(shù)據(jù)附近的文本。人工選擇或指定的某些多媒體信息內(nèi)容的關(guān)鍵詞。2.檢索途徑優(yōu)點(diǎn)：利用關(guān)鍵字匹配的多媒體檢索技術(shù)成熟，查詢(xún)效率高。缺點(diǎn)：人工注釋工作量大，在海量系統(tǒng)中幾乎是不現(xiàn)實(shí)的；支持的查詢(xún)復(fù)雜程度完全取決于人工標(biāo)注的詳盡程度，會(huì)出現(xiàn)同一對(duì)象描述程度不一的情況；人工標(biāo)注信息帶有很大的主觀性；文本描述無(wú)法完全揭示和表達(dá)多媒體信息的實(shí)質(zhì)內(nèi)容和語(yǔ)義之間的關(guān)系，難以充分揭示和描述多媒體數(shù)據(jù)中有代表性的特征；對(duì)于實(shí)時(shí)廣播流媒體，人工處理是完全不可行的3.基于文本檢索的優(yōu)缺點(diǎn)“內(nèi)容”的概念：概念級(jí)內(nèi)容：表達(dá)對(duì)象的語(yǔ)義，一般用文本形式來(lái)描述，通過(guò)分類(lèi)和目錄來(lái)組織層次瀏覽，用鏈來(lái)組織上下文關(guān)聯(lián)。感知特征：視覺(jué)特征，聽(tīng)覺(jué)特征等。邏輯關(guān)系：音頻、視頻對(duì)象的時(shí)間和空間關(guān)系，語(yǔ)義和上下文關(guān)聯(lián)等。信號(hào)特征：通過(guò)信號(hào)處理方法獲得的明顯的媒體區(qū)分特征。特定領(lǐng)域的特征：與應(yīng)用相關(guān)的媒體特征。8.3.2基于內(nèi)容的多媒體檢索技術(shù)概述特征抽取系統(tǒng)。將用戶(hù)或系統(tǒng)標(biāo)明的媒體對(duì)象的特征提取出來(lái)?？捎扇斯せ蛳到y(tǒng)自動(dòng)完成；可以是全局性的或針對(duì)某個(gè)目標(biāo)的。查詢(xún)系統(tǒng)。以示例查詢(xún)的方式向用戶(hù)提供檢索接口。主要是相似性檢索。1.基于內(nèi)容檢索系統(tǒng)的體系結(jié)構(gòu)（1）提交查詢(xún)要求。（2）相似性匹配。（3）返回候選結(jié)果。（4）特征調(diào)整。2.基于內(nèi)容檢索的過(guò)程（1）模式識(shí)別法用戶(hù)在查詢(xún)請(qǐng)求中給定圖像、聲音或視像數(shù)據(jù)，系統(tǒng)用模式識(shí)別技術(shù)，把該媒體對(duì)象與多媒體數(shù)據(jù)庫(kù)中存儲(chǔ)的同類(lèi)媒體對(duì)象進(jìn)行逐個(gè)匹配。（2）特征描述法給每個(gè)媒體對(duì)象附上一個(gè)特征描述數(shù)據(jù)，用這種特征描述來(lái)表達(dá)媒體數(shù)據(jù)的內(nèi)容。關(guān)鍵問(wèn)題是如何獲取這種特征描述數(shù)據(jù)。（3）特征向量法用圖像壓縮技術(shù)對(duì)圖像進(jìn)行分解并向量化。3.基于內(nèi)容的檢索方法直接從媒體內(nèi)容中提取信息線索?；趦?nèi)容的檢索是一種近似匹配，這一點(diǎn)與常規(guī)數(shù)據(jù)庫(kù)檢索的精確匹配方法有明顯不同，基于內(nèi)容的檢索只能是一種相似度的檢索。在應(yīng)用中要換取其他性能的提高(比如檢索速度)，因此不要求查詢(xún)結(jié)果一定是多媒體數(shù)據(jù)庫(kù)中滿足相似度和檢索結(jié)果集合大小限制的所有對(duì)象，而允許有所遺漏。特征提取和索引建立可由計(jì)算機(jī)自動(dòng)實(shí)現(xiàn)，避免了人工描述的主觀性，也大大減少了工作量。4.基于內(nèi)容檢索的特點(diǎn)關(guān)鍵技術(shù)顏色特征的提取顏色特征表達(dá)方法有顏色直方圖、顏色矩、顏色集、顏色聚合向量以及顏色相關(guān)圖等，而顏色直方圖是最常用一種方法。紋理特征的提取紋理特征的提取方法主要有結(jié)構(gòu)分析方法、統(tǒng)計(jì)分析方法和頻譜分析方法。形狀特征的提取形狀表示：基于邊界的和基于區(qū)域的。前者典型方法是傅立葉描述子；后者典型方法有不變矩等。8.3.3基于內(nèi)容檢索的應(yīng)用1.基于內(nèi)容的圖像檢索關(guān)鍵技術(shù)（1）鏡頭分割技術(shù)通過(guò)對(duì)鏡頭邊界的檢測(cè)將視頻分割為各個(gè)獨(dú)立的鏡頭。主要有基于全局特征的切變檢測(cè)、基于局部特征的切變檢測(cè)以及閩值法、光流法和模型法漸變檢測(cè)法。（2）關(guān)鍵幀提取技術(shù)有基于鏡頭邊界、基于圖像信息、基于運(yùn)動(dòng)分析、基于某種聚類(lèi)算法等各種方法。（3）動(dòng)態(tài)特征提取技術(shù)利用攝像機(jī)操作的表示來(lái)查詢(xún)鏡頭，可以利用運(yùn)動(dòng)方向和幅度特征來(lái)檢索運(yùn)動(dòng)的主體目標(biāo)。2.基于內(nèi)容的視頻檢索分類(lèi)：（1）語(yǔ)音檢索。語(yǔ)音檢索技術(shù)主要包括①基于關(guān)鍵詞檢出技術(shù)的語(yǔ)音檢索。②基于大詞表連續(xù)語(yǔ)音識(shí)別技術(shù)的語(yǔ)音檢索。③基于子詞基元的語(yǔ)音檢索。④基于說(shuō)話人的語(yǔ)音檢索技術(shù)。（2）音樂(lè)檢索?？梢圆捎煤叱?、節(jié)拍拍打、演奏輸入、樂(lè)譜錄入等多種方式提交查詢(xún)請(qǐng)求進(jìn)行檢索。（3）音頻例子檢索?？梢苑譃閮煞N：一種是將某類(lèi)音頻用一個(gè)模板表示出來(lái)，對(duì)于用戶(hù)提交查詢(xún)的音頻例子，先使用模板去進(jìn)行匹配，判斷其屬于模板，然后將這類(lèi)模板對(duì)應(yīng)的音頻例子按序反饋給用戶(hù)；另一種是對(duì)每個(gè)音頻例子建立模板，然后進(jìn)行相似匹配。3.基于內(nèi)容的音頻檢索查詢(xún)結(jié)果既能反映語(yǔ)義層次上的相似性，而能體