第9章-多媒體數(shù)據(jù)庫

第9章多媒體數(shù)據(jù)庫9.1多媒體數(shù)據(jù)庫概述9.2多媒體數(shù)據(jù)庫的發(fā)展9.3多媒體對數(shù)據(jù)庫的影響9.4多媒體數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)9.5多媒體數(shù)據(jù)庫的用戶接口9.6基于內(nèi)容的檢索與查詢9.1多媒體數(shù)據(jù)庫概述9.1.1基本概念9.1.2多媒體數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫的區(qū)別9.1.3多媒體數(shù)據(jù)庫管理系統(tǒng)的基本功能9.1.4數(shù)據(jù)庫技術(shù)的研究領(lǐng)域9.1.1基本概念1.數(shù)據(jù)與信息2.數(shù)據(jù)庫3.數(shù)據(jù)庫系統(tǒng)（1）硬件系統(tǒng)（2）數(shù)據(jù)庫集合（3）數(shù)據(jù)庫管理系統(tǒng)（4）相關(guān)軟件（5）數(shù)據(jù)庫管理員（6）用戶4.數(shù)據(jù)庫管理系統(tǒng)（DBMS）5.管理信息系統(tǒng)（MIS）6.多媒體數(shù)據(jù)庫9.1.2多媒體數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫的區(qū)別1.所管理的數(shù)據(jù)類型不同2.數(shù)據(jù)庫體系結(jié)構(gòu)不同3.檢索方法不同 多媒體數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫概念的比較如下頁所示。9.1.2多媒體數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫的區(qū)別9.1.3多媒體數(shù)據(jù)庫管理系統(tǒng)的基本功能（1）能表達和處理各種復(fù)雜多媒體數(shù)據(jù)，并能較準確地反映和管理各種媒體數(shù)據(jù)的特性和各種媒體數(shù)據(jù)之間的空間或時間的關(guān)聯(lián)，能為用戶提供定義新的數(shù)據(jù)類型和相應(yīng)操作的能力。（2）能保證多媒體數(shù)據(jù)庫的物理數(shù)據(jù)獨立性、邏輯數(shù)據(jù)獨立性和多媒體數(shù)據(jù)獨立性。（3）具有多媒體數(shù)據(jù)的操作功能。（4）具有多媒體數(shù)據(jù)庫系統(tǒng)的網(wǎng)絡(luò)功能。（5）提供系統(tǒng)開放功能，提供多媒體數(shù)據(jù)庫的應(yīng)用程序接口（API）。（6）多媒體數(shù)據(jù)庫具有處理長事務(wù)的能力，具備原子性、一致性、隔離性和持久性，提供事務(wù)和版本的控制管理。（7）具備錯誤檢測和數(shù)據(jù)恢復(fù)的功能。9.1.4數(shù)據(jù)庫技術(shù)的研究領(lǐng)域1.數(shù)據(jù)庫管理系統(tǒng)軟件開發(fā) 數(shù)據(jù)庫管理系統(tǒng)的研究與開發(fā)包括對數(shù)據(jù)庫管理系統(tǒng)本身的研究以及以數(shù)據(jù)庫管理系統(tǒng)為核心軟件系統(tǒng)的開發(fā)。2.數(shù)據(jù)庫設(shè)計研究數(shù)據(jù)庫設(shè)計的主要任務(wù)是根據(jù)需要在數(shù)據(jù)庫管理系統(tǒng)的支持下，設(shè)計一個結(jié)構(gòu)合理、使用方便、效率較高的數(shù)據(jù)庫及其應(yīng)用系統(tǒng)。3.數(shù)據(jù)庫理論數(shù)據(jù)庫理論的研究主要集中于理論模型研究。隨著人工智能與數(shù)據(jù)庫理論的結(jié)合，并行計算機的發(fā)展，數(shù)據(jù)庫邏輯演繹和知識推理、并行算法等理論研究以及演繹數(shù)據(jù)庫系統(tǒng)、知識庫系統(tǒng)等都已成為新的研究方向。9.2多媒體數(shù)據(jù)庫的發(fā)展

人工管理文件系統(tǒng)數(shù)據(jù)庫系統(tǒng)背景應(yīng)用背景科學(xué)計算科學(xué)計算、管理大規(guī)模管理硬件背景無直接存取存儲設(shè)備磁盤、磁鼓大容量磁盤等存儲介質(zhì)軟件背景沒有操作系統(tǒng)文件系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)處理方式批處理聯(lián)機實時處理，批處理

聯(lián)機實時處理，分布處理，批處理特點數(shù)據(jù)面向的對象某一應(yīng)用程序某一應(yīng)用程序整個應(yīng)用系統(tǒng)數(shù)據(jù)的共享程度無共享，冗余度極大共享性差,冗余度大共享性高，冗余度小數(shù)據(jù)的獨立性不獨立，完全依賴于程序獨立性差具有高度的物理獨立性和邏輯獨立性數(shù)據(jù)的結(jié)構(gòu)化無結(jié)構(gòu)記錄內(nèi)有結(jié)構(gòu)，整體無結(jié)構(gòu)整體結(jié)構(gòu)化，用數(shù)據(jù)模型描述數(shù)據(jù)控制能力應(yīng)用程序自己控制應(yīng)用程序自己控制由數(shù)據(jù)庫管理系統(tǒng)提供數(shù)據(jù)安全性、完整性、并發(fā)控制和恢復(fù)能力數(shù)據(jù)庫系統(tǒng)發(fā)展的三個階段，如下表所示。9.2多媒體數(shù)據(jù)庫的發(fā)展

如前表所示。數(shù)據(jù)庫系統(tǒng)先后經(jīng)歷了以下幾個階段。1.人工管理階段數(shù)據(jù)和程序不具有獨立性；數(shù)據(jù)也不能長期保存；系統(tǒng)也沒有對數(shù)據(jù)進行管理的軟件。2.文件系統(tǒng)階段對圖像、視像、聲音等多媒體信息存儲和檢索的局限表現(xiàn)在：（1）一個文件系統(tǒng)通常只存放一種信息類型，并常常作為一個檢索單位。9.2多媒體數(shù)據(jù)庫的發(fā)展（2）對信息的讀出和檢索操作都相對比較簡單。（3）文件之間的信息內(nèi)容相對比較獨立。3.數(shù)據(jù)庫系統(tǒng)階段數(shù)據(jù)庫系統(tǒng)的產(chǎn)生能夠?qū)崿F(xiàn)數(shù)據(jù)共享，減少數(shù)據(jù)冗余；采用特定的數(shù)據(jù)模型；具有較高的數(shù)據(jù)獨立性；有統(tǒng)一的數(shù)據(jù)控制功能和較高的數(shù)據(jù)安全性。用戶對數(shù)據(jù)的任何操作（如查詢、修改）不再是通過應(yīng)用程序直接進行，而必須通過向數(shù)據(jù)庫管理系統(tǒng)發(fā)請求實現(xiàn)。9.2多媒體數(shù)據(jù)庫的發(fā)展

數(shù)據(jù)庫管理系統(tǒng)（DBMS）一般被劃分為3層模式：物理模式、概念模式和表現(xiàn)模式（如下圖所示）。9.3多媒體對數(shù)據(jù)庫的影響9.3.1多媒體數(shù)據(jù)與數(shù)據(jù)庫管理9.3.2多媒體給數(shù)據(jù)庫帶來的問題9.3.1多媒體數(shù)據(jù)與數(shù)據(jù)庫管理

多媒體數(shù)據(jù)庫管理涉及以下幾種數(shù)據(jù)類型：1.字符數(shù)值型數(shù)據(jù)2.文本數(shù)據(jù)3.聲音數(shù)據(jù)4.圖形數(shù)據(jù)5.圖像數(shù)據(jù)6.視頻數(shù)據(jù)9.3.2多媒體給數(shù)據(jù)庫帶來的問題（1）數(shù)據(jù)量大且媒體之間數(shù)據(jù)量的大小差別極大。（2）實時性要求高。（3）媒體種類繁多。（4）多媒體改變了數(shù)據(jù)庫的接口形式和數(shù)據(jù)庫的操作形式。（5）具有處理長事務(wù)的能力。（6）多媒體數(shù)據(jù)庫管理更需要考慮版本控制問題。（7）服務(wù)質(zhì)量的要求高。（8）多媒體信息系統(tǒng)中，其數(shù)據(jù)常常具有分布性，是數(shù)據(jù)量大。9.4多媒體數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)9.4.1多媒體數(shù)據(jù)庫的層次結(jié)構(gòu)9.4.2多媒體數(shù)據(jù)庫的組織結(jié)構(gòu)9.4.1多媒體數(shù)據(jù)庫的層次結(jié)構(gòu)傳統(tǒng)數(shù)據(jù)庫的層次結(jié)構(gòu)ANSI把傳統(tǒng)數(shù)據(jù)庫分為物理模式、概念模式和外部模式三層模式。這種模式如下圖所示。9.4多媒體數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)1）物理模式

物理模式也叫存儲模式，是真正物理存在的。2）概念模式

概念模式借助數(shù)據(jù)模型來描述數(shù)據(jù)庫全部信息內(nèi)容，但不包含數(shù)據(jù)存取的細節(jié)。還有數(shù)據(jù)存取控制、合法權(quán)檢驗和有效過程的定義。3）外部模式

外部模式也稱子模式或用戶模式，是數(shù)據(jù)庫用戶的數(shù)據(jù)視圖，是與某一應(yīng)用有關(guān)的數(shù)據(jù)的邏輯表示。9.4.1多媒體數(shù)據(jù)庫的層次結(jié)構(gòu)2.多媒體數(shù)據(jù)庫的層次劃分

多媒體數(shù)據(jù)庫的層次如下圖所示。9.4.2多媒體數(shù)據(jù)庫的組織結(jié)構(gòu)1.集中型結(jié)構(gòu)集中型結(jié)構(gòu)如下圖所示。9.4.2多媒體數(shù)據(jù)庫的組織結(jié)構(gòu)2.主從型結(jié)構(gòu) 主從型結(jié)構(gòu)如下圖所示。9.4.2多媒體數(shù)據(jù)庫的組織結(jié)構(gòu)3.分布式結(jié)構(gòu) 分布式結(jié)構(gòu)如下圖所示。9.4.2多媒體數(shù)據(jù)庫的組織結(jié)構(gòu)4.客戶/服務(wù)器結(jié)構(gòu) 客戶/服務(wù)器結(jié)構(gòu)如下圖所示。9.4.2多媒體數(shù)據(jù)庫的組織結(jié)構(gòu)5.超媒體型結(jié)構(gòu) 這種多媒體數(shù)據(jù)庫體系結(jié)構(gòu)強調(diào)對數(shù)據(jù)時空索引的組織，強調(diào)所有的信息應(yīng)該連為一體并且信息能夠隨意擴展與訪問。它把數(shù)據(jù)庫分散到網(wǎng)絡(luò)上，把它看成一個信息空間，只要設(shè)計好訪問工具就能夠訪問和使用這些信息。9.5多媒體數(shù)據(jù)庫的用戶接口9.5.1字符數(shù)值型接口9.5.2自然語言接口9.5.3示例型接口9.5.4用戶表現(xiàn)接口9.5.1字符數(shù)值型接口字符數(shù)值型接口是通過表示類查詢來實現(xiàn)數(shù)據(jù)信息的查詢。這種基于表示形式的查詢與表示的數(shù)據(jù)類型和設(shè)計結(jié)構(gòu)有關(guān)，不需要對數(shù)據(jù)作任何分析。9.5.2自然語言接口自然語言接口本身具有變化大、抽象性強、可以表示不確定性要求等優(yōu)點，具體內(nèi)容如下：（1）共同性（2）抽象性（3）模糊性 當(dāng)然，實現(xiàn)自然語言接口有很大的難度。9.5.3示例型接口示例查詢就是指那些無法用形式化方法描述的查詢，通過給出一個示例，然后系統(tǒng)自動獲取其特征，再根據(jù)這些特征進行查詢。示例是直接對媒體進行處理和操作的。示例可以分為：文本示例圖像示例(圖像數(shù)據(jù)庫的示例接口如下頁所示.)聲音示例視頻示例結(jié)構(gòu)示例混合示例9.5.3示例型接口9.5.4用戶表現(xiàn)接口

多媒體數(shù)據(jù)庫可以為應(yīng)用提供一種表現(xiàn)復(fù)雜結(jié)構(gòu)的可能，如多媒體表現(xiàn)、敘事性用戶表現(xiàn)等。1.多媒體表現(xiàn)1）字符與文本表現(xiàn)2）圖像表現(xiàn)3）視頻表現(xiàn)4）聲音表現(xiàn)5）混合表現(xiàn)6）概念表現(xiàn)9.5.4用戶表現(xiàn)接口2.敘事表現(xiàn)敘事表現(xiàn)就是能將數(shù)據(jù)庫中有關(guān)的情節(jié)和任務(wù)組成一個故事，并表現(xiàn)出來。敘事表現(xiàn)依賴于數(shù)據(jù)庫中可用的內(nèi)容和其所限定的注釋，故事可以用模板事先限定，也可以提供某種過濾機制。9.6基于內(nèi)容的檢索與查詢9.6.1基于內(nèi)容檢索概述9.6.2基于內(nèi)容檢索系統(tǒng)的一般結(jié)構(gòu)9.6.3多媒體內(nèi)容分析9.6.4基于內(nèi)容檢索的過程和指標9.6.5基于內(nèi)容檢索系統(tǒng)的設(shè)計和實現(xiàn)9.6.6圖像的內(nèi)容處理與基于內(nèi)容檢索9.6.7音頻的內(nèi)容處理與基于內(nèi)容檢索9.6.8視頻的內(nèi)容處理與基于內(nèi)容檢索9.6.9基于內(nèi)容檢索的展望9.6.1基于內(nèi)容檢索概述

基于內(nèi)容的多媒體檢索是對多媒體數(shù)據(jù)（如視頻、音頻流等）所蘊涵的物理和語義的內(nèi)容進行計算機分析理解，以方便用戶查詢，其本質(zhì)是對無序的多媒體數(shù)據(jù)流結(jié)構(gòu)化，提取語義信息，保證多媒體內(nèi)容能被快速檢索。1.基于內(nèi)容的多媒體檢索原理與特點（1）根據(jù)媒體對象的語義和上下文聯(lián)系進行檢索。（2）使用人機交互方式查詢、檢索信息。（3）基于內(nèi)容的檢索是一種近似匹配，逐步求精的檢索方法。（4）滿足用戶多層次的檢索要求。（5）大型數(shù)據(jù)庫的快速檢索。9.6.1基于內(nèi)容檢索概述2.基于內(nèi)容的多媒體檢索的技術(shù)1）信息模型和表示2）信息壓縮和恢復(fù)3）信息存儲管理4）多媒體同步技術(shù)5）多媒體特征提取技術(shù)6）匹配相似性檢索技術(shù)9.6.1基于內(nèi)容檢索概述3.基于內(nèi)容的多媒體檢索的應(yīng)用基于內(nèi)容檢索技術(shù)的應(yīng)用領(lǐng)域非常廣泛，早期對罪犯面貌特征的識別和管理、指紋的識別和管理、全文信息檢索等?，F(xiàn)在這種技術(shù)將擴展到任何的媒體和更廣泛的領(lǐng)域，涉及到多媒體數(shù)據(jù)庫、知識產(chǎn)權(quán)保護、數(shù)字圖書館、網(wǎng)絡(luò)多媒體搜索引擎、交互電視、藝術(shù)收藏和博物館管理、遙感和地球資源管理、遠程醫(yī)療、天氣預(yù)報以及軍事指揮系統(tǒng)等具體的應(yīng)用。9.6.1基于內(nèi)容檢索概述

目前國內(nèi)外已開發(fā)出的基于內(nèi)容檢索的原型系統(tǒng)比較著名的有以下一些：（1）QBIC系統(tǒng)。（2）Photobook系統(tǒng)。（3）CORE系統(tǒng)。（4）VisualSEEK系統(tǒng)。9.6.2基于內(nèi)容檢索系統(tǒng)的一般結(jié)構(gòu)基于內(nèi)容檢索系統(tǒng)分為兩個子系統(tǒng)：特征抽取子系統(tǒng)和查詢子系統(tǒng)。下圖為多媒體數(shù)據(jù)庫中基于內(nèi)容檢索系統(tǒng)的結(jié)構(gòu)示意圖。9.6.2基于內(nèi)容檢索系統(tǒng)的一般結(jié)構(gòu)下圖為查詢方法的示意圖。9.6.2基于內(nèi)容檢索系統(tǒng)的一般結(jié)構(gòu)多媒體數(shù)據(jù)庫中基于內(nèi)容檢索系統(tǒng)包括以下功能模塊：1.目標識別2.特征抽取3.數(shù)據(jù)庫4.查詢接口（1）交互輸入方式。（2）模板選擇輸入方式。（3）用戶提交特征樣板輸入方式。5.檢索引擎6.索引/過濾9.6.3多媒體內(nèi)容分析對于多媒體數(shù)據(jù)的內(nèi)容概念可以從下面幾個層次上來理解：概念級內(nèi)容感知特感知特性邏輯關(guān)系信號特性特定領(lǐng)域的特征獲得媒體內(nèi)容的方式可以是人工方式和自動方式。9.6.3多媒體內(nèi)容分析多媒體內(nèi)容的語義和多媒體內(nèi)容的處理技術(shù)。1.多媒體內(nèi)容語義1）文本2）圖像3）視頻4）聲音2.多媒體內(nèi)容處理技術(shù) 多媒體內(nèi)容處理過程如下頁圖所示。9.6.3多媒體內(nèi)容分析9.6.4基于內(nèi)容檢索的過程和指標1.多媒體分析的步驟多媒體數(shù)據(jù)的分析過程如下圖所示：其中分割的實現(xiàn)有自動分割和人工分割兩種方法。9.6.4基于內(nèi)容檢索的過程和指標2.檢索過程（如下圖）

9.6.4基于內(nèi)容檢索的過程和指標3.指標由于基于內(nèi)容的檢索系統(tǒng)是采用相似性匹配算法實現(xiàn)的，檢索到的對象往往存在一定的誤差，這個誤差可以用查到率（Recall）和查準率（Precision）來衡量。 9.6.5基于內(nèi)容檢索系統(tǒng)的設(shè)計和實現(xiàn)1.檢索的方法1）基于內(nèi)容的文本檢索基于內(nèi)容的文本檢索方法有布爾模型、概率模型和向量空間模型三種方法。2）基于內(nèi)容的圖像檢索建立圖像的特征矢量為其索引。3）基于內(nèi)容的視頻檢索視頻檢索的方法主要有三種：（1）基于關(guān)鍵幀的檢索。（2）基于運動的檢索。（3）瀏覽。9.6.5基于內(nèi)容檢索系統(tǒng)的設(shè)計和實現(xiàn)4）基于內(nèi)容的音頻檢索（1）賦值查詢。（2）示例查詢。（3）組織瀏覽查詢。2.Internet上靜態(tài)圖像的基于內(nèi)容檢索的原型系統(tǒng)1）系統(tǒng)結(jié)構(gòu)系統(tǒng)結(jié)構(gòu)如下頁圖示。9.6.5基于內(nèi)容檢索系統(tǒng)的設(shè)計和實現(xiàn)9.6.5基于內(nèi)容檢索系統(tǒng)的設(shè)計和實現(xiàn)2）檢索查詢界面設(shè)計一個好的人機交互界面可以提高系統(tǒng)的檢索效率。系統(tǒng)界面結(jié)構(gòu)分為檢索特征預(yù)覽、檢索控制參數(shù)和特征輸入?yún)^(qū)三個組成部分。界面設(shè)計如下頁圖示。特征輸入手段有：（1）操縱交互輸入方式，用戶通過操縱工具調(diào)整特征值。（2）模板選擇輸入方式特征。（3）瀏覽檢索。（正在研究）（4）樣本檢索。（正在研究）9.6.5基于內(nèi)容檢索系統(tǒng)的設(shè)計和實現(xiàn)9.6.5基于內(nèi)容檢索系統(tǒng)的設(shè)計和實現(xiàn)3）提交特征分析（1）主顏色（2）紋理（3）色調(diào)立方圖（4）彩色立方圖（5）顏色分布（6）輪廓（7）主題9.6.5基于內(nèi)容檢索系統(tǒng)的設(shè)計和實現(xiàn)4）檢索關(guān)鍵技術(shù)本系統(tǒng)采用了兩種關(guān)鍵技術(shù)：（1）檢索表達。（2）快速檢索算法。3.QBIC（querybyimagecontent）系統(tǒng)1）QBIC系統(tǒng)概述

QBIC系統(tǒng)可以完成圖像、視頻的部分檢索操作。9.6.5基于內(nèi)容檢索系統(tǒng)的設(shè)計和實現(xiàn)

系統(tǒng)以示例方式對以下內(nèi)容進行查詢：（1）查找與用戶畫出的圖像輪廓和邊框相似的對象。（2）以圖像中特定的顏色和紋理模式進行查找。（3）查找物體的移動。（4）查找攝影機的操作。（5）其他圖形信息。2）數(shù)據(jù)庫生成3）快速搜索和索引

9.6.6圖像的內(nèi)容處理與基于內(nèi)容檢索基于內(nèi)容的圖像檢索系統(tǒng)的體系結(jié)構(gòu)如下圖所示。系統(tǒng)的核心是圖像特征數(shù)據(jù)庫。圖像特征的提取與表達是基于內(nèi)容的圖像檢索技術(shù)的基礎(chǔ)。9.6.6圖像的內(nèi)容處理與基于內(nèi)容檢索1.顏色特征的提取基于顏色特征的圖像檢索主要解決三個問題：顏色的表示、顏色特征的提取和基于顏色的相似度量。顏色特征的提取和檢索主要利用顏色空間直方圖進行匹配?；陬伾卣鞯臋z索方法主要有互補顏色空間直方圖、直方圖交叉法、直方圖距離比較法、二次型距離算法等。9.6.6圖像的內(nèi)容處理與基于內(nèi)容檢索2.紋理特征的提取把圖像這種局部的不規(guī)則而宏觀有規(guī)律的特性稱為紋理。根據(jù)紋理的粗糙性、方向性和對比度三個參數(shù)，可以采用示例查詢圖像的方法。分析紋理的常用方法有基于傳統(tǒng)數(shù)學(xué)模型的共生矩陣法、K-L變換、紋理譜分析等方法和基于視覺模型的多分辨率分析、小波方法等。對紋理的檢索一般采用示例查詢方法QBE（querybyexample）方式，即從樣本集（即一套預(yù)先存儲的紋理圖像）中選擇所要查詢的紋理。9.6.6圖像的內(nèi)容處理與基于內(nèi)容檢索3.形狀特征的提取形狀特征有兩種表示方法：一種是輪廓特征；一種是區(qū)域特征。對形狀特征分析的基礎(chǔ)是圖像邊緣的提取?；谛螤畹臋z索既包括傳統(tǒng)意義上的基于二維形狀的檢索，也包括在三維圖像中的基于三維形狀的檢索。形狀特征的表達必須以對圖像中物體或區(qū)域的劃分為基礎(chǔ)。對應(yīng)于形狀特征的兩種表示方法，最典型的方法分別是傅立葉形狀描述符和形狀無關(guān)矩。9.6.7音頻的內(nèi)容處理與基于內(nèi)容檢索

可以把音頻的內(nèi)容分為三個級別，即最低層的物理樣本級、中間層的聲學(xué)特征級和最高層的語義級，如下圖所示。9.6.7音頻的內(nèi)容處理與基于內(nèi)容檢索1.基于語音技術(shù)的檢索

1）利用大詞匯語音識別技術(shù)進行檢索2）基于子詞單元進行檢索3）基于識別關(guān)鍵詞進行檢索4）基于說話人的語言辨別進行檢索2.音頻檢索1）聲音訓(xùn)練和分類2）聽覺檢索3）音頻分割3.音樂檢索音樂檢索是利用節(jié)奏、音符、樂器等特征來檢索的。9.6.8視頻的內(nèi)容處理與基于內(nèi)容檢索視頻是一種動態(tài)圖像，是一組圖像按時間的有序連續(xù)表現(xiàn)，它的表示與圖像序列、時間關(guān)系有關(guān)。視頻數(shù)據(jù)可用幕