第八章.多媒體數(shù)據(jù)庫(kù)概述

1、第第 8 章章多媒體數(shù)據(jù)庫(kù)技術(shù)概述多媒體數(shù)據(jù)庫(kù)技術(shù)概述第第 8 章章多媒體數(shù)據(jù)庫(kù)技術(shù)概述多媒體數(shù)據(jù)庫(kù)技術(shù)概述8.1 多媒體數(shù)據(jù)管理的問(wèn)題結(jié)束結(jié)束38.1 多媒體數(shù)據(jù)管理的問(wèn)題計(jì)算機(jī)的世界真實(shí)世界設(shè)計(jì)者的映射表示法傳統(tǒng)數(shù)據(jù)庫(kù)傳統(tǒng)數(shù)據(jù)庫(kù)結(jié)束結(jié)束48.1 多媒體數(shù)據(jù)管理的問(wèn)題(續(xù))計(jì)算機(jī)的世界真實(shí)世界投影表示法多媒體數(shù)據(jù)庫(kù)多媒體數(shù)據(jù)庫(kù)圖像聲音視頻結(jié)束結(jié)束58.1 多媒體數(shù)據(jù)管理的問(wèn)題(續(xù))多媒體數(shù)據(jù)多媒體數(shù)據(jù)與與多媒體數(shù)據(jù)管理：多媒體數(shù)據(jù)管理：靜態(tài)與動(dòng)態(tài)數(shù)據(jù)靜態(tài)與動(dòng)態(tài)數(shù)據(jù) o 字符數(shù)據(jù)：同關(guān)系數(shù)據(jù)庫(kù)中的字符數(shù)據(jù)。字符數(shù)據(jù)：同關(guān)系數(shù)據(jù)庫(kù)中的字符數(shù)據(jù)。多媒體數(shù)據(jù)多媒體數(shù)據(jù)庫(kù)庫(kù)仍然需要對(duì)其進(jìn)行管理。仍然需

2、要對(duì)其進(jìn)行管理。o 文本數(shù)據(jù)：書籍、文獻(xiàn)、檔案等。文本數(shù)據(jù)：書籍、文獻(xiàn)、檔案等。o 聲音數(shù)據(jù)：音樂(lè)、語(yǔ)音等。聲音數(shù)據(jù)：音樂(lè)、語(yǔ)音等。o 圖形數(shù)據(jù)：圖形數(shù)據(jù)：GIS/CAD等。通常是用等。通常是用符號(hào)符號(hào)或特定的或特定的數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)結(jié)構(gòu)表示的。表示的。o 圖像數(shù)據(jù)：照片、圖片等。指圖像數(shù)據(jù)：照片、圖片等。指位圖式位圖式圖像。圖像。o 視頻數(shù)據(jù)：引入了視頻數(shù)據(jù)：引入了時(shí)間時(shí)間屬性，在時(shí)間空間上進(jìn)行管理。屬性，在時(shí)間空間上進(jìn)行管理。結(jié)束結(jié)束68.1 多媒體數(shù)據(jù)管理的問(wèn)題(續(xù))多媒體多媒體帶來(lái)的帶來(lái)的問(wèn)題問(wèn)題 o 數(shù)據(jù)數(shù)據(jù)量大量大（量的差異也大）（量的差異也大） o 媒體媒體種類多種類多 o 多解多解

3、查尋查尋(非精確匹配非精確匹配/相似性查詢相似性查詢) o 用戶接口的支持用戶接口的支持(操作與表示技術(shù)操作與表示技術(shù))o 多媒體信息分布多媒體信息分布(WWW網(wǎng)絡(luò)信息空間網(wǎng)絡(luò)信息空間)o 處理時(shí)間長(zhǎng)處理時(shí)間長(zhǎng) (長(zhǎng)事務(wù)長(zhǎng)事務(wù))o 服務(wù)質(zhì)量的要求服務(wù)質(zhì)量的要求(及時(shí)、逼真或滿意及時(shí)、逼真或滿意) o 版本控制問(wèn)題版本控制問(wèn)題(歷史版本歷史版本/選擇版本選擇版本)第第 8 章章多媒體數(shù)據(jù)庫(kù)技術(shù)概述多媒體數(shù)據(jù)庫(kù)技術(shù)概述8.2 多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)結(jié)束結(jié)束88.2 多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)多媒體數(shù)據(jù)庫(kù)多媒體數(shù)據(jù)庫(kù)的一般的一般結(jié)構(gòu)結(jié)構(gòu)形式形式 o聯(lián)邦型聯(lián)邦型 o集中統(tǒng)一型集中統(tǒng)一型 o客戶客戶/服務(wù)器型服

4、務(wù)器型 o超媒體型超媒體型結(jié)束結(jié)束98.2 多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù)) 聯(lián)邦型聯(lián)邦型結(jié)構(gòu)結(jié)構(gòu)o每一種媒體的數(shù)據(jù)庫(kù)都有自己每一種媒體的數(shù)據(jù)庫(kù)都有自己獨(dú)立的數(shù)據(jù)庫(kù)獨(dú)立的數(shù)據(jù)庫(kù)管理系統(tǒng)管理系統(tǒng)：每一種媒體數(shù)據(jù)庫(kù)的設(shè)計(jì)不必考：每一種媒體數(shù)據(jù)庫(kù)的設(shè)計(jì)不必考慮與其他媒體的匹配和協(xié)調(diào)。對(duì)多媒體的慮與其他媒體的匹配和協(xié)調(diào)。對(duì)多媒體的聯(lián)聯(lián)合操作交給用戶去完成合操作交給用戶去完成用戶有用戶有靈活性靈活性。但是，對(duì)多種媒體的但是，對(duì)多種媒體的聯(lián)合操作聯(lián)合操作、合成處理和概念、合成處理和概念查詢等都比較查詢等都比較難以實(shí)現(xiàn)難以實(shí)現(xiàn)，為此要求較高的標(biāo)準(zhǔn)化，為此要求較高的標(biāo)準(zhǔn)化程度。程度。結(jié)束結(jié)束108.2 多媒體數(shù)據(jù)庫(kù)

5、體系結(jié)構(gòu)(續(xù))用戶圖像 數(shù)據(jù)庫(kù)圖像 DBMSDBMS視頻 數(shù)據(jù)庫(kù)視頻 DBMSDBMS聲音 數(shù)據(jù)庫(kù)聲音 DBMSDBMS文本 數(shù)據(jù)庫(kù)文本 DBMSDBMS用戶應(yīng)用程序 聯(lián)邦型聯(lián)邦型結(jié)構(gòu)結(jié)構(gòu)結(jié)束結(jié)束118.2 多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))集中統(tǒng)一型集中統(tǒng)一型結(jié)構(gòu)結(jié)構(gòu)o 單一單一的多媒體數(shù)據(jù)的多媒體數(shù)據(jù)庫(kù)庫(kù)和單一的多媒體數(shù)據(jù)庫(kù)和單一的多媒體數(shù)據(jù)庫(kù)管理系管理系統(tǒng)統(tǒng)：各種媒體被各種媒體被統(tǒng)一地建模統(tǒng)一地建模，對(duì)各種媒體的管理與對(duì)各種媒體的管理與操縱被集中到一個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)操縱被集中到一個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)之之中，中，各種用戶的各種用戶的需求被統(tǒng)一到一個(gè)多媒體用戶接口需求被統(tǒng)一到一個(gè)多媒體用戶接口上，上，多

6、媒體的多媒體的查詢檢索結(jié)果可以統(tǒng)一地表現(xiàn)查詢檢索結(jié)果可以統(tǒng)一地表現(xiàn)。實(shí)際上實(shí)際上，這種多媒體數(shù)據(jù)庫(kù)系統(tǒng)是，這種多媒體數(shù)據(jù)庫(kù)系統(tǒng)是很難實(shí)現(xiàn)很難實(shí)現(xiàn)的，目前還沒(méi)的，目前還沒(méi)有一個(gè)比較恰當(dāng)而且效率比較高的方法來(lái)管理所有的多媒有一個(gè)比較恰當(dāng)而且效率比較高的方法來(lái)管理所有的多媒體數(shù)據(jù)。體數(shù)據(jù)。面向?qū)ο蠓椒嫦驅(qū)ο蠓椒榻⑦@樣的系統(tǒng)為建立這樣的系統(tǒng)帶來(lái)了一線曙光帶來(lái)了一線曙光。結(jié)束結(jié)束128.2 多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))用戶聲音數(shù)據(jù)文本數(shù)據(jù)多媒體數(shù)據(jù)庫(kù)管理系統(tǒng)視頻數(shù)據(jù)圖像數(shù)據(jù)其它媒體數(shù)據(jù)集中統(tǒng)一型集中統(tǒng)一型結(jié)構(gòu)結(jié)構(gòu)結(jié)束結(jié)束138.2 多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))客戶客戶/ /服務(wù)型服務(wù)型結(jié)構(gòu)結(jié)構(gòu)o 各種

7、單各種單媒體數(shù)據(jù)仍然相對(duì)獨(dú)立媒體數(shù)據(jù)仍然相對(duì)獨(dú)立，o 系統(tǒng)將系統(tǒng)將每一種媒體每一種媒體的管理與操縱的管理與操縱各用一個(gè)服務(wù)器各用一個(gè)服務(wù)器來(lái)來(lái)實(shí)現(xiàn)，實(shí)現(xiàn)，o 所有服務(wù)器的所有服務(wù)器的綜合和操作綜合和操作也也用一個(gè)服務(wù)器用一個(gè)服務(wù)器完成，完成，o 與與用戶的接口采用客戶進(jìn)程用戶的接口采用客戶進(jìn)程實(shí)現(xiàn)，實(shí)現(xiàn)，o 客戶與服務(wù)器之間客戶與服務(wù)器之間通過(guò)特定的通過(guò)特定的中件系統(tǒng)中件系統(tǒng)連接連接。o 這種體系結(jié)構(gòu)必須這種體系結(jié)構(gòu)必須采用標(biāo)準(zhǔn)化的和開(kāi)放的接口界面采用標(biāo)準(zhǔn)化的和開(kāi)放的接口界面，否則否則，對(duì)多種媒體的，對(duì)多種媒體的聯(lián)合操作聯(lián)合操作、合成處理和概念查、合成處理和概念查詢等都比較詢等都比較難以實(shí)現(xiàn)難

8、以實(shí)現(xiàn)。結(jié)束結(jié)束148.2 多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))客戶客戶/ /服務(wù)型服務(wù)型結(jié)構(gòu)結(jié)構(gòu)用戶圖像 數(shù)據(jù)庫(kù)圖像 服務(wù)器服務(wù)器視頻 數(shù)據(jù)庫(kù)視頻 服務(wù)器服務(wù)器聲音 數(shù)據(jù)庫(kù)聲音 服務(wù)器服務(wù)器文本 數(shù)據(jù)庫(kù)文本 服務(wù)器服務(wù)器用戶接口客戶進(jìn)程用戶用戶接口客戶進(jìn)程用戶接口客戶進(jìn)程用戶多媒體數(shù)據(jù)庫(kù)服務(wù)器及中間件結(jié)束結(jié)束158.2 多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))超媒體型超媒體型結(jié)構(gòu)結(jié)構(gòu)o 強(qiáng)調(diào)對(duì)數(shù)據(jù)強(qiáng)調(diào)對(duì)數(shù)據(jù)時(shí)空索引時(shí)空索引的的組織組織。依據(jù)如下：。依據(jù)如下：數(shù)據(jù)庫(kù)分散數(shù)據(jù)庫(kù)分散在網(wǎng)絡(luò)上（信息空間）在網(wǎng)絡(luò)上（信息空間）, ,沒(méi)有必要沒(méi)有必要建立一個(gè)建立一個(gè)統(tǒng)一多媒體數(shù)據(jù)庫(kù)系統(tǒng)統(tǒng)一多媒體數(shù)據(jù)庫(kù)系統(tǒng), ,能夠通過(guò)能夠通過(guò)

9、超鏈超鏈建立起各種數(shù)據(jù)的時(shí)空關(guān)系建立起各種數(shù)據(jù)的時(shí)空關(guān)系. .o 目前的目前的WWWWWW使我們看到了這種數(shù)據(jù)庫(kù)的使我們看到了這種數(shù)據(jù)庫(kù)的雛形雛形. .結(jié)束結(jié)束168.2 多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))多媒體數(shù)據(jù)庫(kù)的多媒體數(shù)據(jù)庫(kù)的層次結(jié)構(gòu)層次結(jié)構(gòu)結(jié)束結(jié)束178.2 多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))多媒體數(shù)據(jù)庫(kù)的多媒體數(shù)據(jù)庫(kù)的層次結(jié)構(gòu)層次結(jié)構(gòu)o 傳統(tǒng)數(shù)據(jù)庫(kù)傳統(tǒng)數(shù)據(jù)庫(kù)的層次的層次對(duì)抽象化的對(duì)抽象化的字符字符和和數(shù)值數(shù)值進(jìn)行進(jìn)行比較、排序、查找和增刪改比較、排序、查找和增刪改等操作等操作數(shù) 據(jù) 庫(kù)物理模式概念模式外部模式外部模式外部模式用戶用戶用戶結(jié)束結(jié)束188.2 多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))多媒體數(shù)據(jù)庫(kù)的多

10、媒體數(shù)據(jù)庫(kù)的層次結(jié)構(gòu)層次結(jié)構(gòu)o 多媒體數(shù)據(jù)庫(kù)多媒體數(shù)據(jù)庫(kù)的層次劃分的層次劃分（示例）（示例）. .最最高層高層支持多媒體的支持多媒體的綜合表現(xiàn)綜合表現(xiàn)和用戶的和用戶的查詢描述查詢描述： 多媒體用戶接口層多媒體用戶接口層：完成：完成查詢描述和結(jié)果描述查詢描述和結(jié)果描述。中間中間增加對(duì)多媒體數(shù)據(jù)的增加對(duì)多媒體數(shù)據(jù)的關(guān)聯(lián)和超鏈的處理關(guān)聯(lián)和超鏈的處理。（建立數(shù)據(jù)模型）。（建立數(shù)據(jù)模型） 概念數(shù)據(jù)模型層概念數(shù)據(jù)模型層：對(duì)：對(duì)現(xiàn)實(shí)世界現(xiàn)實(shí)世界用多媒體數(shù)據(jù)信息進(jìn)行用多媒體數(shù)據(jù)信息進(jìn)行的描述的描述。是在是在全局概念全局概念下的一個(gè)下的一個(gè)整體視圖整體視圖通過(guò)概念數(shù)據(jù)模型為上層的用戶接口、下層的多媒體數(shù)據(jù)存通過(guò)

11、概念數(shù)據(jù)模型為上層的用戶接口、下層的多媒體數(shù)據(jù)存儲(chǔ)和存取建立起一個(gè)在儲(chǔ)和存取建立起一個(gè)在邏輯上統(tǒng)一的通道邏輯上統(tǒng)一的通道。 存取與存儲(chǔ)數(shù)據(jù)模型層存取與存儲(chǔ)數(shù)據(jù)模型層：通過(guò)存取與存儲(chǔ)數(shù)據(jù)模型，描述媒體數(shù)：通過(guò)存取與存儲(chǔ)數(shù)據(jù)模型，描述媒體數(shù)據(jù)的邏輯位置安排、相互的內(nèi)容關(guān)聯(lián)、特征與數(shù)據(jù)的關(guān)系以及超據(jù)的邏輯位置安排、相互的內(nèi)容關(guān)聯(lián)、特征與數(shù)據(jù)的關(guān)系以及超鏈的建立等。鏈的建立等。完成完成多媒體數(shù)據(jù)的多媒體數(shù)據(jù)的邏輯存儲(chǔ)與存取邏輯存儲(chǔ)與存取。底層底層增加對(duì)多媒體數(shù)據(jù)的增加對(duì)多媒體數(shù)據(jù)的控制與支持控制與支持: : 媒體支持層媒體支持層: :建立在多媒體操作系統(tǒng)之上建立在多媒體操作系統(tǒng)之上, ,對(duì)不同性質(zhì)媒體

12、分別進(jìn)對(duì)不同性質(zhì)媒體分別進(jìn)行相應(yīng)的行相應(yīng)的分割、識(shí)別、變換等操作分割、識(shí)別、變換等操作。結(jié)束結(jié)束198.2 多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))多媒體數(shù)據(jù)庫(kù)的多媒體數(shù)據(jù)庫(kù)的層次結(jié)構(gòu)層次結(jié)構(gòu)o 多媒體數(shù)據(jù)庫(kù)多媒體數(shù)據(jù)庫(kù)的層次劃分的層次劃分（示例）（示例） . . 多媒體用戶接口層用戶第4層概念數(shù)據(jù)模型層第3層存取與存儲(chǔ)數(shù)據(jù)模型層第2層媒體支持層第1層第第 8 章章多媒體數(shù)據(jù)庫(kù)技術(shù)概述多媒體數(shù)據(jù)庫(kù)技術(shù)概述8.3 多媒體數(shù)據(jù)模型結(jié)束結(jié)束21數(shù)據(jù)模型：數(shù)據(jù)模型：結(jié)束結(jié)束22數(shù)據(jù)模型：數(shù)據(jù)模型：o 數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)結(jié)構(gòu)o 數(shù)據(jù)操縱數(shù)據(jù)操縱o 完整性約束規(guī)則完整性約束規(guī)則結(jié)束結(jié)束238.3 多媒體數(shù)據(jù)模型(續(xù))在關(guān)系模

13、式R中的每一個(gè)具體關(guān)系r中，如果每個(gè)屬性值 都是不可再分的最小數(shù)據(jù)單位，則稱R是第一范式的關(guān)系。（不允許表中表） 結(jié)束結(jié)束248.3 多媒體數(shù)據(jù)模型(續(xù))NFNF2 2 ( (Non First Normal Form)Non First Normal Form)數(shù)據(jù)模型數(shù)據(jù)模型: : 在關(guān)系模型的基礎(chǔ)上通過(guò)擴(kuò)展來(lái)提高關(guān)在關(guān)系模型的基礎(chǔ)上通過(guò)擴(kuò)展來(lái)提高關(guān)系數(shù)據(jù)庫(kù)處理多媒體數(shù)據(jù)的能力系數(shù)據(jù)庫(kù)處理多媒體數(shù)據(jù)的能力-打打破破關(guān)系數(shù)據(jù)庫(kù)中關(guān)于關(guān)系數(shù)據(jù)庫(kù)中關(guān)于1 1NFNF的要求，的要求，允許在允許在表中可以有表表中可以有表。結(jié)束結(jié)束258.3 多媒體數(shù)據(jù)模型(續(xù))o 主要手段主要手段：在：在關(guān)系數(shù)據(jù)庫(kù)

14、關(guān)系數(shù)據(jù)庫(kù)中引人中引人抽象數(shù)據(jù)類抽象數(shù)據(jù)類型型（如，標(biāo)準(zhǔn)的擴(kuò)展字段），能夠定義和表（如，標(biāo)準(zhǔn)的擴(kuò)展字段），能夠定義和表示多媒體信息對(duì)象。示多媒體信息對(duì)象。結(jié)束結(jié)束268.3 多媒體數(shù)據(jù)模型(續(xù))o 主要特點(diǎn)：主要特點(diǎn)：優(yōu)點(diǎn)優(yōu)點(diǎn)：利用：利用關(guān)系數(shù)據(jù)庫(kù)特有的優(yōu)勢(shì)關(guān)系數(shù)據(jù)庫(kù)特有的優(yōu)勢(shì)。缺點(diǎn)缺點(diǎn)：建模能力不強(qiáng)建模能力不強(qiáng)，在反映多媒體數(shù)，在反映多媒體數(shù)據(jù)各成分間的據(jù)各成分間的空間關(guān)系空間關(guān)系、時(shí)間關(guān)系時(shí)間關(guān)系和和媒體媒體對(duì)象的處理方法對(duì)象的處理方法方面仍方面仍有困難有困難。在特殊媒。在特殊媒體的體的基于內(nèi)容查詢方面基于內(nèi)容查詢方面、存儲(chǔ)效率方面存儲(chǔ)效率方面等，等，都都有很大的困難有很大的困難。結(jié)束結(jié)束

15、278.3 多媒體數(shù)據(jù)模型(續(xù))NFNF2 2 數(shù)據(jù)模型數(shù)據(jù)模型( (Non First Normal Form)Non First Normal Form)屬性CGeneral屬性A屬性B帶結(jié)構(gòu)數(shù)據(jù)對(duì)關(guān)系進(jìn)行擴(kuò)展可以利用標(biāo)準(zhǔn)的擴(kuò)展字段，例如： Fox pro in General 字段；Paradox for windows 的動(dòng)態(tài)注釋，格式注釋，圖形，BLOB（大二進(jìn)制對(duì)象, Binary Large Object ）等結(jié)束結(jié)束288.3 多媒體數(shù)據(jù)模型(續(xù))超媒體數(shù)據(jù)模型：超媒體數(shù)據(jù)模型：o 網(wǎng)狀結(jié)構(gòu)網(wǎng)狀結(jié)構(gòu)，由，由節(jié)點(diǎn)節(jié)點(diǎn)和和鏈鏈組成的有向圖。組成的有向圖。節(jié)點(diǎn)節(jié)點(diǎn)：信息單位（信息元）

16、。：信息單位（信息元）。鏈鏈：用來(lái)表示媒體間的時(shí)空關(guān)系。支持開(kāi)放性信息建模，：用來(lái)表示媒體間的時(shí)空關(guān)系。支持開(kāi)放性信息建模，支持瀏覽和搜索等新型操作。支持瀏覽和搜索等新型操作。AFBCDE結(jié)束結(jié)束298.3 多媒體數(shù)據(jù)模型(續(xù))文獻(xiàn)模型：文獻(xiàn)模型：層次狀樹(shù)形結(jié)構(gòu)。層次狀樹(shù)形結(jié)構(gòu)。例如：例如：邏輯結(jié)構(gòu)：教科書、章、節(jié)、小節(jié)、段落o 段落一般為頁(yè)塊對(duì)象。o 非頁(yè)塊對(duì)象須定義一個(gè)屬性，用來(lái)說(shuō)明該對(duì)象與它的下層子對(duì)象之間的從屬關(guān)系布局結(jié)構(gòu)：頁(yè)、框架和塊等結(jié)束結(jié)束308.3 多媒體數(shù)據(jù)模型(續(xù))文獻(xiàn)模型：文獻(xiàn)模型：嚴(yán)格地說(shuō)，文獻(xiàn)不是一種數(shù)據(jù)庫(kù)，而更像一嚴(yán)格地說(shuō)，文獻(xiàn)不是一種數(shù)據(jù)庫(kù)，而更像一個(gè)實(shí)際的應(yīng)用。

17、此結(jié)構(gòu)符合一般的文獻(xiàn)或文個(gè)實(shí)際的應(yīng)用。此結(jié)構(gòu)符合一般的文獻(xiàn)或文章的組織。章的組織。結(jié)束結(jié)束318.3 多媒體數(shù)據(jù)模型(續(xù))專有媒體數(shù)據(jù)模型：專有媒體數(shù)據(jù)模型：o 針對(duì)特定領(lǐng)域的多媒體數(shù)據(jù)庫(kù)建立針對(duì)特定領(lǐng)域的多媒體數(shù)據(jù)庫(kù)建立符合自己符合自己特性的數(shù)據(jù)模型特性的數(shù)據(jù)模型，以，以完成特定的任務(wù)完成特定的任務(wù)。例如，。例如，如下為如下為5級(jí)模式和級(jí)模式和4級(jí)映射的體系結(jié)構(gòu)：級(jí)映射的體系結(jié)構(gòu)：模式模式及及映射映射用戶視圖用戶視圖語(yǔ)意特征視圖語(yǔ)意特征視圖圖像特征視圖圖像特征視圖特征表示視圖特征表示視圖特征組織特征組織任務(wù)任務(wù)空間推理空間推理圖像知識(shí)圖像知識(shí) 形成結(jié)構(gòu)形成結(jié)構(gòu)圖像理解圖像理解圖像數(shù)據(jù)圖像數(shù)據(jù)

18、 形成結(jié)構(gòu)形成結(jié)構(gòu)圖像數(shù)據(jù)圖像數(shù)據(jù) 存儲(chǔ)檢索存儲(chǔ)檢索查尋查尋的例子的例子查尋查尋帶輪子的物體帶輪子的物體查尋查尋(image-object,wheel)查尋查尋( image-object,circle)查尋查尋( image-object,color-of-circle)查尋查尋( image-object,color-data-structure)結(jié)束結(jié)束328.3 多媒體數(shù)據(jù)模型(續(xù))o 多媒體對(duì)象多媒體對(duì)象：十分復(fù)雜：十分復(fù)雜o 面向?qū)ο髷?shù)據(jù)模型面向?qū)ο髷?shù)據(jù)模型：理想的多媒體數(shù)據(jù)模型表示方法：理想的多媒體數(shù)據(jù)模型表示方法面向?qū)ο髷?shù)據(jù)模型面向?qū)ο髷?shù)據(jù)模型 結(jié)束結(jié)束338.3 多媒體數(shù)據(jù)模

19、型(續(xù))面向?qū)ο髷?shù)據(jù)模型面向?qū)ο髷?shù)據(jù)模型 o 對(duì)象、屬性、方法、消息對(duì)象、屬性、方法、消息 o 對(duì)象類、類層次和繼承性對(duì)象類、類層次和繼承性 o 語(yǔ)意關(guān)聯(lián)語(yǔ)意關(guān)聯(lián)的描述：的描述：聚集、概括、相互作用關(guān)聯(lián)、示例聚集、概括、相互作用關(guān)聯(lián)、示例關(guān)聯(lián)、關(guān)聯(lián)、has_method/has_rulehas_method/has_rule關(guān)聯(lián)關(guān)聯(lián)等。等。 o 運(yùn)算體系運(yùn)算體系：類和對(duì)象的：類和對(duì)象的定義、查詢和操縱定義、查詢和操縱。結(jié)束結(jié)束348.3 多媒體數(shù)據(jù)模型(續(xù))面向?qū)ο蠖嗝襟w數(shù)據(jù)模型面向?qū)ο蠖嗝襟w數(shù)據(jù)模型的可以實(shí)現(xiàn)如下功能的可以實(shí)現(xiàn)如下功能：o 聚集層次聚集層次：不同媒體信息的：不同媒體信息的有機(jī)

20、組合有機(jī)組合o 關(guān)系建模設(shè)施關(guān)系建模設(shè)施：進(jìn)行復(fù)雜：進(jìn)行復(fù)雜交叉關(guān)系的建模交叉關(guān)系的建模o 方法管理方法管理：通過(guò)：通過(guò)具體媒體技術(shù)具體媒體技術(shù)實(shí)現(xiàn)多媒體數(shù)據(jù)的存取實(shí)現(xiàn)多媒體數(shù)據(jù)的存取o 多種屬性多種屬性的支持的支持和語(yǔ)義信息和語(yǔ)義信息的維護(hù)：構(gòu)造的維護(hù)：構(gòu)造包含語(yǔ)義信息包含語(yǔ)義信息的類的類屬屬性性及操作及操作方法方法的結(jié)構(gòu)的結(jié)構(gòu)o 支持支持特性傳播特性傳播：通過(guò)自動(dòng)：通過(guò)自動(dòng)繼承繼承超類的內(nèi)容，實(shí)現(xiàn)特性傳播超類的內(nèi)容，實(shí)現(xiàn)特性傳播o 支持支持模式的演進(jìn)模式的演進(jìn)：動(dòng)態(tài)修改動(dòng)態(tài)修改層次層次各節(jié)點(diǎn)各節(jié)點(diǎn)的的模式模式(如產(chǎn)品結(jié)構(gòu)更改如產(chǎn)品結(jié)構(gòu)更改)o 版本管理版本管理：支持：支持版本版本的的創(chuàng)建和

21、控制創(chuàng)建和控制、版本、版本變化的通知變化的通知o 并發(fā)控制和數(shù)據(jù)恢復(fù)并發(fā)控制和數(shù)據(jù)恢復(fù)：多用戶多用戶訪問(wèn)訪問(wèn)o 數(shù)據(jù)共享數(shù)據(jù)共享：進(jìn)行靈活的：進(jìn)行靈活的讀寫控制讀寫控制o 快速存儲(chǔ)和靈活交付快速存儲(chǔ)和靈活交付：實(shí)現(xiàn)：實(shí)現(xiàn)物理物理表示與表示與邏輯邏輯表示的表示的映射映射結(jié)束結(jié)束358.3 多媒體數(shù)據(jù)模型(續(xù))面向?qū)ο髷?shù)據(jù)模型面向?qū)ο髷?shù)據(jù)模型：人規(guī)則1姓名出生年月相片求年齡課程名課程學(xué)生學(xué)號(hào)選修選修教師工資選用擁有連環(huán)畫頁(yè)插圖頁(yè)號(hào)文字聲音說(shuō)明教材書名稱價(jià)錢作者h(yuǎn)as_rulehas_method第第 8 章章多媒體數(shù)據(jù)庫(kù)技術(shù)概述多媒體數(shù)據(jù)庫(kù)技術(shù)概述8.4 基于內(nèi)容檢索結(jié)束結(jié)束37web 上出現(xiàn)大量

22、多媒體信息上出現(xiàn)大量多媒體信息例如例如: 遙感、遙感、 醫(yī)療、安全、商業(yè)等部門，都會(huì)醫(yī)療、安全、商業(yè)等部門，都會(huì) 產(chǎn)生大量信息。產(chǎn)生大量信息。結(jié)束結(jié)束38基于內(nèi)容檢索o 所謂基于內(nèi)容的檢索（所謂基于內(nèi)容的檢索（Content Based Content Based RetrievalRetrieval，CBR)CBR)就是指就是指根據(jù)根據(jù)媒體和媒體對(duì)媒體和媒體對(duì)象的象的內(nèi)容語(yǔ)義內(nèi)容語(yǔ)義及及上下文聯(lián)系上下文聯(lián)系進(jìn)行進(jìn)行檢索檢索。多媒體數(shù)據(jù)庫(kù)多媒體數(shù)據(jù)庫(kù)特征特征/屬性屬性多媒體數(shù)據(jù)多媒體數(shù)據(jù)提取匹配結(jié)束結(jié)束39多媒體特征音頻靜態(tài)圖像視頻文本圖形難以用文字描述，但可以進(jìn)行關(guān)鍵字屬性描述結(jié)束結(jié)束40多

23、媒體特征（續(xù)）提取關(guān)鍵字屬性的方式手工方式簡(jiǎn)單方便；人員要求高；工作量大；不確定性高自動(dòng)方式混合方式自動(dòng)提取是人們研究和應(yīng)用的目標(biāo)結(jié)束結(jié)束41基本方法o 基于關(guān)鍵字的檢索基于關(guān)鍵字的檢索o 全文本檢索全文本檢索o 基于文件模型等方法基于文件模型等方法o 依據(jù)依據(jù)實(shí)例檢索實(shí)例檢索, ,分為分為: :準(zhǔn)確實(shí)例檢索準(zhǔn)確實(shí)例檢索準(zhǔn)確準(zhǔn)確查詢實(shí)例查詢實(shí)例模糊實(shí)例檢索模糊實(shí)例檢索 依照例子查找與它依照例子查找與它相似相似的圖像的圖像 描繪示例檢索描繪示例檢索 給出所需圖像的給出所需圖像的粗略結(jié)構(gòu)粗略結(jié)構(gòu)結(jié)束結(jié)束42系統(tǒng)實(shí)例IBM公司開(kāi)發(fā)的公司開(kāi)發(fā)的QBICo 通過(guò)友好的界面為用戶提供通過(guò)友好的界面為用戶提

24、供顏色、顏色、 紋理、草紋理、草圖、形狀圖、形狀等多種檢索方法。等多種檢索方法。 系統(tǒng)以系統(tǒng)以示例示例方式方式進(jìn)行查詢，查找進(jìn)行查詢，查找 物體的移動(dòng)，攝影機(jī)的物體的移動(dòng)，攝影機(jī)的操作。操作。結(jié)束結(jié)束43系統(tǒng)實(shí)例美國(guó)加州大學(xué)伯克利分校與加州水資源部美國(guó)加州大學(xué)伯克利分校與加州水資源部合作合作Chabot計(jì)劃計(jì)劃o 對(duì)水利資源部大對(duì)水利資源部大 量圖像提供基于內(nèi)容的有效量圖像提供基于內(nèi)容的有效檢索手檢索手 段段結(jié)束結(jié)束44系統(tǒng)實(shí)例麻省理工學(xué)院麻省理工學(xué)院Photo book o 可以利用人臉可以利用人臉Face (臉臉)、shape(形狀形狀)、texture(紋理紋理) 進(jìn)行基于內(nèi)容的檢索。進(jìn)

25、行基于內(nèi)容的檢索。Virage系統(tǒng)系統(tǒng) 又進(jìn)一步發(fā)展了將多種檢索特征的又進(jìn)一步發(fā)展了將多種檢索特征的 融融合。合。結(jié)束結(jié)束45系統(tǒng)實(shí)例澳大利亞澳大利亞 New South Wales的的NUTTAB系系統(tǒng)統(tǒng)o 用于食品成分?jǐn)?shù)據(jù)庫(kù)的檢索用于食品成分?jǐn)?shù)據(jù)庫(kù)的檢索結(jié)束結(jié)束468.4 基于內(nèi)容檢索多媒體數(shù)據(jù)的多媒體數(shù)據(jù)的用戶接口用戶接口結(jié)束結(jié)束47多媒體用戶接口層用戶第4層概念數(shù)據(jù)模式層第3層存取與存儲(chǔ)數(shù)據(jù)模型層第2層媒體支持層第1層所處層次所處層次結(jié)束結(jié)束488.4 基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的多媒體數(shù)據(jù)的用戶接口用戶接口o 字符數(shù)值型字符數(shù)值型接口接口o 示例型示例型接口接口o 用戶表現(xiàn)用戶表現(xiàn)

26、接口接口結(jié)束結(jié)束498.4 基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的多媒體數(shù)據(jù)的用戶接口用戶接口o 字符數(shù)值型字符數(shù)值型接口接口KeywordAttr1日出海邊海燕SELECT image to Win1:seg SELECT image to Win1:seg FROM FROM imageDBimageDB WHERE keyword=“WHERE keyword=“日出日出”結(jié)束結(jié)束508.4 基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的多媒體數(shù)據(jù)的用戶接口用戶接口o 示例型示例型接口接口示例圖像結(jié)果圖像示例圖像的查尋結(jié)束結(jié)束518.4 基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的多媒體數(shù)據(jù)的用戶接口用戶接口o 示例型示例型

27、接口接口語(yǔ)意結(jié)構(gòu)示例結(jié)束結(jié)束528.4 基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的多媒體數(shù)據(jù)的用戶接口用戶接口o 示例型示例型接口接口結(jié)構(gòu)示例的舉例查詢居民建筑物結(jié)束結(jié)束538.4 基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的多媒體數(shù)據(jù)的用戶接口用戶接口o 示例型示例型接口接口圖像數(shù)據(jù)庫(kù)圖像數(shù)據(jù)庫(kù)特征數(shù)據(jù)庫(kù)特征數(shù)據(jù)庫(kù)示例查詢模塊示例查詢模塊查詢格式化查詢格式化圖像數(shù)據(jù)庫(kù)的圖像數(shù)據(jù)庫(kù)的 示例接口示例接口知識(shí)輔助模塊知識(shí)輔助模塊插入模塊插入模塊用戶用戶示例示例圖像圖像新新圖像圖像圖像處理模塊圖像處理模塊結(jié)束結(jié)束548.4 基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的多媒體數(shù)據(jù)的用戶接口用戶接口o 用戶表現(xiàn)用戶表現(xiàn)接口接口查詢結(jié)果查詢結(jié)果

28、 表表 現(xiàn)現(xiàn)媒體數(shù)據(jù)庫(kù)的表現(xiàn)組織示例媒體數(shù)據(jù)庫(kù)的表現(xiàn)組織示例武裝裝備武裝裝備高級(jí)腳本高級(jí)腳本低級(jí)腳本低級(jí)腳本外部腳本外部腳本兵力部署兵力部署坦克坦克飛機(jī)飛機(jī)人數(shù)人數(shù)兵種兵種河流河流村莊村莊日期日期天氣天氣地理環(huán)境地理環(huán)境時(shí)間季節(jié)時(shí)間季節(jié)結(jié)束結(jié)束55主要實(shí)現(xiàn)途徑主要實(shí)現(xiàn)途徑傳統(tǒng)的數(shù)據(jù)庫(kù)檢索方法傳統(tǒng)的數(shù)據(jù)庫(kù)檢索方法基于信號(hào)處理理論基于信號(hào)處理理論8.4 基于內(nèi)容檢索(續(xù))結(jié)束結(jié)束56主要實(shí)現(xiàn)途徑（一）傳統(tǒng)數(shù)據(jù)庫(kù)檢索方法人工將內(nèi)容抽象為關(guān)鍵詞集合簡(jiǎn)單成熟信息高度抽象，查詢方式和范圍受限結(jié)束結(jié)束57主要實(shí)現(xiàn)途徑（二）基于信號(hào)處理理論特征提取；模式識(shí)別方式靈活，突破傳統(tǒng)方法的困難全自動(dòng)提取和識(shí)別的開(kāi)銷大

29、；識(shí)別難度大結(jié)束結(jié)束588.4 基于內(nèi)容檢索(續(xù))基于內(nèi)容的檢索系統(tǒng)基于內(nèi)容的檢索系統(tǒng)的一般的一般結(jié)構(gòu)結(jié)構(gòu)o 插入插入子系統(tǒng)：媒體子系統(tǒng)：媒體輸入、分割、對(duì)關(guān)鍵點(diǎn)進(jìn)行標(biāo)識(shí)輸入、分割、對(duì)關(guān)鍵點(diǎn)進(jìn)行標(biāo)識(shí)o 特征提取特征提取子系統(tǒng)：媒體對(duì)象子系統(tǒng)：媒體對(duì)象( (可以是內(nèi)部對(duì)象可以是內(nèi)部對(duì)象) )特征特征提取提取處理處理o 數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)：存儲(chǔ)存儲(chǔ)媒體數(shù)據(jù)和特征數(shù)據(jù)媒體數(shù)據(jù)和特征數(shù)據(jù)o 查詢查詢子系統(tǒng)：主要以子系統(tǒng)：主要以示例查詢示例查詢的方式的方式向用戶提供向用戶提供媒媒體對(duì)象（含子對(duì)象及其組合）體對(duì)象（含子對(duì)象及其組合）檢索接口檢索接口（主要是（主要是相相似性檢索似性檢索）結(jié)束結(jié)束598.4 基于內(nèi)

30、容檢索(續(xù))基于內(nèi)容的檢索基于內(nèi)容的檢索的一般的一般結(jié)構(gòu)結(jié)構(gòu)查詢模塊用戶查詢格式化媒體處理模塊知識(shí)輔助模塊插入模塊媒體1數(shù)據(jù)庫(kù)媒體特征庫(kù)媒體N數(shù)據(jù)庫(kù)媒體特征庫(kù)示例媒體新媒體對(duì)象多媒體數(shù)據(jù)庫(kù)中基于內(nèi)容檢索系統(tǒng)的結(jié)構(gòu)示意圖結(jié)束結(jié)束608.4 基于內(nèi)容檢索(續(xù))基于內(nèi)容的基于內(nèi)容的檢索方法檢索方法示意示意插入的 媒體對(duì)象媒體處理例程存儲(chǔ)的 特征值查詢特征查詢的 媒體對(duì)象計(jì)算 相似性結(jié)束結(jié)束618.4 基于內(nèi)容檢索(13)基于內(nèi)容檢索基于內(nèi)容檢索的過(guò)程的過(guò)程o 初始檢索說(shuō)明初始檢索說(shuō)明：形成檢索式，系統(tǒng)：形成檢索式，系統(tǒng)提取示例特征提取示例特征或或把用戶描述的特征把用戶描述的特征映射映射為對(duì)應(yīng)的為對(duì)應(yīng)

31、的查詢參數(shù)查詢參數(shù)o 相似性匹配相似性匹配：將滿足一定相似性的結(jié)果：將滿足一定相似性的結(jié)果按照相似度按照相似度大小排列大小排列返回給用戶返回給用戶o 特征調(diào)整特征調(diào)整：調(diào)整后形成：調(diào)整后形成新的查詢新的查詢o 重新檢索重新檢索：重復(fù)重復(fù)如上步驟直到滿意如上步驟直到滿意結(jié)束結(jié)束628.4 基于內(nèi)容檢索(續(xù))基于內(nèi)容檢索基于內(nèi)容檢索的過(guò)程的過(guò)程用戶的查詢說(shuō)明 l示例 l說(shuō)明計(jì)算特征并進(jìn)行相似性匹配修改檢索結(jié)果從檢索結(jié)果中選擇一個(gè)示例返回一組檢索的結(jié)果滿意？結(jié)束N第第 8 章章多媒體數(shù)據(jù)庫(kù)技術(shù)概述多媒體數(shù)據(jù)庫(kù)技術(shù)概述8.5 圖像及視頻檢索結(jié)束結(jié)束648.5 圖像及視頻檢索基于基于顏色直方圖顏色直方圖

32、的檢索的檢索 假設(shè)假設(shè)圖像圖像G的顏色（或灰度）由的顏色（或灰度）由N級(jí)級(jí)組成，每一種顏色值用組成，每一種顏色值用qi (i=1,2,N)表表示。在整幅圖像中，具有示。在整幅圖像中，具有qi 顏色值的像顏色值的像素?cái)?shù)為素?cái)?shù)為hi，則這一組像素統(tǒng)計(jì)值則這一組像素統(tǒng)計(jì)值h1，h2，hN 就是該就是該圖像圖像的的顏色直方圖顏色直方圖結(jié)束結(jié)束651223341234結(jié)束結(jié)束66基于顏色直方圖的檢索顏色直方圖顏色直方圖反映了像素顏色值在彩色空間反映了像素顏色值在彩色空間的分布狀況的分布狀況o是圖像中包含的所有對(duì)象的一個(gè)是圖像中包含的所有對(duì)象的一個(gè)綜合顏色綜合顏色分布特征分布特征。進(jìn)一步可以建立圖像中進(jìn)一

33、步可以建立圖像中某些部位某些部位的顏色分的顏色分布狀況，則能夠體現(xiàn)位置與對(duì)象間的粗略布狀況，則能夠體現(xiàn)位置與對(duì)象間的粗略對(duì)應(yīng)關(guān)系：對(duì)應(yīng)關(guān)系：即，將圖像分割為一系列區(qū)域，并獲取每個(gè)區(qū)即，將圖像分割為一系列區(qū)域，并獲取每個(gè)區(qū)域的顏色直方圖域的顏色直方圖結(jié)束結(jié)束67顏色直方圖顏色直方圖的的相似性匹配相似性匹配：假設(shè)示例圖：假設(shè)示例圖像直方圖用像直方圖用G(g1,g2,gN)表示，數(shù)據(jù)庫(kù)表示，數(shù)據(jù)庫(kù)中的目標(biāo)圖像直方圖用中的目標(biāo)圖像直方圖用S(s1,s2,sN)表示，表示，這兩個(gè)直方圖這兩個(gè)直方圖是否相似是否相似可以可以通過(guò)通過(guò)歐氏距歐氏距離離來(lái)描述：來(lái)描述：21)(),(NiiisgSGEd8.5 圖

34、像及視頻檢索（續(xù)）結(jié)束結(jié)束68基于基于骨架或輪廓骨架或輪廓的檢索的檢索 基于骨架或輪廓的檢索基于骨架或輪廓的檢索能使用戶通能使用戶通過(guò)勾勒?qǐng)D像的大致輪廓，從數(shù)據(jù)庫(kù)中檢過(guò)勾勒?qǐng)D像的大致輪廓，從數(shù)據(jù)庫(kù)中檢索出輪廓相似的圖像。索出輪廓相似的圖像。8.5 圖像及視頻檢索（續(xù)）結(jié)束結(jié)束69基于基于骨架或輪廓骨架或輪廓的檢索方法的檢索方法示例：示例：o 首先對(duì)圖像進(jìn)行首先對(duì)圖像進(jìn)行輪廓提取輪廓提取，并計(jì)算輪廓特征，并計(jì)算輪廓特征，存于特征庫(kù)中。存于特征庫(kù)中。o 用戶通過(guò)檢索接口的基本繪圖工具用戶通過(guò)檢索接口的基本繪圖工具生成查詢生成查詢要求要求。o 檢索時(shí)，通過(guò)檢索時(shí)，通過(guò)計(jì)算特征的相似距離計(jì)算特征的相似

35、距離來(lái)決定匹來(lái)決定匹配的程度。配的程度。8.5 圖像及視頻檢索（續(xù)）結(jié)束結(jié)束70基于基于紋理紋理的檢索的檢索o 紋理特征紋理特征粗糙性粗糙性方向性方向性對(duì)比度對(duì)比度o 分析方法分析方法統(tǒng)計(jì)方法：統(tǒng)計(jì)方法：根據(jù)像素間灰度的統(tǒng)計(jì)性質(zhì)根據(jù)像素間灰度的統(tǒng)計(jì)性質(zhì)結(jié)構(gòu)方法：結(jié)構(gòu)方法：根據(jù)紋理基元及其排列規(guī)則來(lái)描述紋理的結(jié)構(gòu)根據(jù)紋理基元及其排列規(guī)則來(lái)描述紋理的結(jié)構(gòu)及特征及特征o 由于紋理難以描述，因此，對(duì)紋理的檢索由于紋理難以描述，因此，對(duì)紋理的檢索都是基于都是基于示例的方式示例的方式。8.5 圖像及視頻檢索（續(xù)）結(jié)束結(jié)束718.5 圖像及視頻檢索（續(xù)）視頻媒體檢索視頻媒體檢索簡(jiǎn)介簡(jiǎn)介o 鏡頭鏡頭 由攝像機(jī)對(duì)某一場(chǎng)景不間斷地記錄時(shí)所獲取的視頻數(shù)據(jù)構(gòu)成，一個(gè)鏡頭所包含的各幀在內(nèi)容上有一定的相關(guān)性。視頻對(duì)象鏡頭 1#鏡頭 2#鏡頭 n#幀11幀12幀1m結(jié)束結(jié)束72視頻媒體檢索視頻媒體檢索簡(jiǎn)介簡(jiǎn)介o 為了實(shí)現(xiàn)視頻的檢索，應(yīng)為了實(shí)現(xiàn)視頻的檢索，應(yīng)檢測(cè)出鏡頭的分割點(diǎn)檢測(cè)出鏡頭的分割點(diǎn)，以，以對(duì)視頻序列進(jìn)行分類對(duì)視頻序列進(jìn)行分類o 對(duì)鏡頭分割的對(duì)鏡頭分割的關(guān)鍵關(guān)鍵是找到是找到鏡頭圖像之間的差別鏡頭圖像之間的差別。8.5 圖像及視頻檢索（續(xù)）結(jié)束結(jié)束73視頻媒體檢索視頻媒體檢索簡(jiǎn)介簡(jiǎn)介o 直方圖比較直方圖比較是一種簡(jiǎn)單的鏡頭分割方法，能夠檢測(cè)是一種簡(jiǎn)單的鏡頭分割方法，能夠