多媒體信息管理技術

多媒體信息管理技術SchoolofManagementTianjinUniversity第1頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術多媒體信息管理的問題多媒體應用系統(tǒng)關鍵問題就是對系統(tǒng)中數(shù)據(jù)進行有效地管理：對多媒體數(shù)據(jù)的有效管理能盡量減少開發(fā)費用；便于綜合利用、數(shù)據(jù)共享，降低成本、提高效益；對提高多媒體應用程序的執(zhí)行效率和運行質量也具有十分重要的意義。第2頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術1.多媒體數(shù)據(jù)的存儲環(huán)境對多媒體數(shù)據(jù)的存儲環(huán)境總的要求是：容量大、質量好、存取速度快、價格合適。主要有4類存儲介質：(1)可更換的硬盤；(2)磁帶備份介質；(3)光盤檔案介質；(4)磁盤陣列;第3頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術2.多媒體數(shù)據(jù)管理的軟件環(huán)境對多媒體數(shù)據(jù)資源的有效管理方法：(1)文件管理系統(tǒng)。(2)建立特定的邏輯目錄。(3)傳統(tǒng)的字符、數(shù)值數(shù)據(jù)庫管理系統(tǒng)。(4)多媒體數(shù)據(jù)庫管理系統(tǒng)。(5)超文本和超媒體。第4頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術多媒體數(shù)據(jù)庫管理系統(tǒng)依據(jù)獨立性原則，DBMS按層次劃分為3種模式：物理模式、概念模式和外部模式。物理模式定義數(shù)據(jù)存儲組織方法，如數(shù)據(jù)庫文件的格式、索引文件組織方法、數(shù)據(jù)庫在網(wǎng)絡上的分布方法等(存儲模式)。概念模式借助數(shù)據(jù)模型來描述，它定義抽象現(xiàn)實世界的方法。數(shù)據(jù)庫模型先后經(jīng)歷了網(wǎng)狀模型、關系模型和面向對象模型等階段。外部模式又叫視圖，它是概念模式對用戶有用的那一部分。第5頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術數(shù)據(jù)庫物理模式概念模式外部模式用戶用戶用戶DBMS的3層模式第6頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術多媒體數(shù)據(jù)對數(shù)據(jù)庫的影響(1)數(shù)據(jù)量大且媒體之間差異也極大，從而影響數(shù)據(jù)庫中的組織和存儲方法。(2)媒體種類增多增加了數(shù)據(jù)處理困難。(3)多媒體不僅改變了數(shù)據(jù)庫的接口，使其聲、文、圖并茂，而且也改變了數(shù)據(jù)庫的操作形式，其中最重要的是查詢機制和查詢方法。(4)傳統(tǒng)的事務一般都是短小精悍，在多媒體數(shù)據(jù)庫管理系統(tǒng)中也應盡可能采用短事務。為保證播放不致中斷，MDBMS應增加這種處理長事務的能力。(5)多媒體數(shù)據(jù)庫管理還有考慮版本控制的問題。第7頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術MDBMS多媒體數(shù)據(jù)庫管理系統(tǒng)的功能要求(1)MDBMS必須能表示和處理各種媒體數(shù)據(jù)，重點是不規(guī)則數(shù)據(jù)如圖形、圖像、聲音的表示方法(2)MDBMS必須能反映和管理各種媒體數(shù)據(jù)的特性，或各種媒體數(shù)據(jù)之間的空間或時間的關聯(lián)。(3)MDBMS除必須滿足物理數(shù)據(jù)獨立性和邏輯數(shù)據(jù)獨立性外，還應滿足媒體數(shù)據(jù)獨立性。物理數(shù)據(jù)獨立性指當物理數(shù)據(jù)組織改變時，不影響概念數(shù)據(jù)組織。邏輯數(shù)據(jù)獨立性指概念數(shù)據(jù)組織改變時，不影響用戶程序使用的視圖。第8頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術 媒體數(shù)據(jù)獨立性指在MDBMS的設計和實現(xiàn)時，要求系統(tǒng)能保持各種媒體獨立性和透明性。(4)MDBMS的數(shù)據(jù)操作功能。(5)MDBMS的網(wǎng)絡功能。應解決分布在網(wǎng)絡上的多媒體數(shù)據(jù)庫中數(shù)據(jù)的定義、存儲、操作問題，并對數(shù)據(jù)一致性、安全性、并發(fā)性進行管理。(6)MDBMS應具有開放功能，提供MDB的應用程序接口API，并提供獨立于外設和格式的接口。(7)MDBMS還應提供事務和版本管理功能。第9頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術集中型MDBMS 由單獨一個MDBMS來管理和建立不同媒體的數(shù)據(jù)庫，并由這個MDBMS來管理對象空間及目的數(shù)據(jù)的集成。MDBMS…圖像數(shù)據(jù)庫圖形數(shù)據(jù)庫音頻數(shù)據(jù)庫文本數(shù)據(jù)庫視頻數(shù)據(jù)庫第10頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術2.主從型MDBMS每個數(shù)據(jù)庫都有自己的管理系統(tǒng)，稱為從數(shù)據(jù)庫管理系統(tǒng)，它們各自管理自己的數(shù)據(jù)庫。這些從數(shù)據(jù)庫管理系統(tǒng)又受一個稱為主數(shù)據(jù)庫管理系統(tǒng)的控制和管理。第11頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術從MDBMS從MDBMS從MDBMS從MDBMSMDBMSMDBMS某種MDB某種MDB某種MDB某種MDB多媒體數(shù)據(jù)庫主從型MDBMS的組織結構第12頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術3.協(xié)作型MDBMS協(xié)作型MDBMS也是由多個數(shù)據(jù)庫管理系統(tǒng)來組成，每個數(shù)據(jù)庫管理系統(tǒng)之間沒有主從之分。要求系統(tǒng)中每個數(shù)據(jù)庫管理系統(tǒng)(稱為成員MDBMS)能協(xié)調地工作，但因每一成員MDBMS彼此有差異，所以在通信中必須首先解決這個問題。第13頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術成員MDBMS成員MDBMS成員MDBMSMDBMS

某種MDB

某種MDB

某種MDB

附加軟件

附加軟件

附加軟件

多媒體數(shù)據(jù)庫協(xié)作型MDBMS的組織結構第14頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術MDBMS的數(shù)據(jù)模型數(shù)據(jù)模型的概念數(shù)據(jù)模型通常由數(shù)據(jù)結構、數(shù)據(jù)操作和完整性約束三部分組成，也稱數(shù)據(jù)模型三要素。數(shù)據(jù)結構是對數(shù)據(jù)庫系統(tǒng)靜態(tài)特性的描述，是所研究的對象類型的集合。這些對象是數(shù)據(jù)庫的組成成分。數(shù)據(jù)庫系統(tǒng)通常按數(shù)據(jù)結構的類型來命名數(shù)據(jù)類型，如層次模型、網(wǎng)狀模型、關系模型和面向對象模型。第15頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術數(shù)據(jù)操作是對數(shù)據(jù)庫系統(tǒng)動態(tài)特性的描述，如數(shù)據(jù)庫中各種對象的實例、允許執(zhí)行的操作集合。數(shù)據(jù)的約束條件是實現(xiàn)數(shù)據(jù)庫完整性規(guī)則的集合，所謂完整性規(guī)則是指給定的數(shù)據(jù)模型中數(shù)據(jù)及它們之間關聯(lián)所具有的制約和依存規(guī)則，用以限定符合數(shù)據(jù)模型的數(shù)據(jù)庫狀態(tài)以及狀態(tài)的變化，以保證數(shù)據(jù)庫數(shù)據(jù)的正確、有效、相容和一致。數(shù)據(jù)模型應該提供定義數(shù)據(jù)完整性約束條件的機制，以反映數(shù)據(jù)必須遵守的特定的語義約束條件。第16頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術常用的數(shù)據(jù)模型早期DBMS采用層次模型，它利用樹型結構來表示實體及實體之間聯(lián)系。模型中節(jié)點為記錄型，表示某種類型的實體；節(jié)點之間的連線表示它們之間的關系。利用網(wǎng)狀結構來表示實體與實體之間聯(lián)系的數(shù)據(jù)模型稱為網(wǎng)狀模型，其節(jié)點為記錄型，用于表示某類實體。層次和網(wǎng)狀數(shù)據(jù)庫管理系統(tǒng)均不支持數(shù)據(jù)獨立性。數(shù)據(jù)庫結構的調整將使應用隨之變化，這就限制了數(shù)據(jù)庫系統(tǒng)及其應用的可擴展性、可重用性及可移植性。第17頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術關系模型克服了上述兩種模型的缺陷，利用二維的表來表示實體及實體之間的關系，每張二維表又稱為一個關系。擴充的原因：傳統(tǒng)的關系模型結構簡單，是單一的二維表，數(shù)據(jù)類型和長度也被局限在一個較小的子集中，又不支持新的數(shù)據(jù)類型和數(shù)據(jù)結構，很難實現(xiàn)空間數(shù)據(jù)和時態(tài)數(shù)據(jù)，缺乏演繹和推理操作，因此表達數(shù)據(jù)特性的能力受到限制。 在MDBMS中使用關系模型，必須對現(xiàn)有的關系模型進行擴充，使它不但能支持格式化數(shù)據(jù)，也能處理非格式化數(shù)據(jù)。第18頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術模型擴充主要有3種策略：(1)使關系數(shù)據(jù)庫管理技術和操作系統(tǒng)中文件系統(tǒng)功能相結合，實現(xiàn)對非格式化數(shù)據(jù)的管理。其主要方法是以存放非格式化數(shù)據(jù)的文件名代替。(2)將關系元組中格式化數(shù)據(jù)和非格式化數(shù)據(jù)裝在一起形成一個完整的元組，存放在數(shù)據(jù)頁面或數(shù)據(jù)頁面組中，統(tǒng)一管理(大系統(tǒng)采用)。(3)將元組中非格式化數(shù)據(jù)分成兩部分，一部分是格式化數(shù)據(jù)本身，另一部分是對非格式化數(shù)據(jù)的引用(小系統(tǒng)采用)。 3種策略的關鍵是要擴充數(shù)據(jù)類型，解決非格式化數(shù)據(jù)的語義解釋。第19頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術Paradox是由Borland公司開發(fā)的，Paradox增加了4種數(shù)據(jù)類型：動態(tài)注釋、格式注釋、圖形和大二進制對象(Blob)。對它們的處理采用應用程序處理，專門的OLE等方法。FoxPro是Microsoft公司的產(chǎn)品，它是在DBase基礎上發(fā)展起來的。為了處理多媒體數(shù)據(jù)，F(xiàn)oxPro2.5引入一個新的屬性類型General，它可以容納任何一種多媒體數(shù)據(jù)，包括文本、圖形、圖像或聲音數(shù)據(jù)。在Windows中，F(xiàn)oxPro相當于一個OLE客戶，通過在表中定義一個類型為General的字段，可以為鏈接或嵌入任何對象預留空間。

第20頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術關系型多媒體數(shù)據(jù)庫的應用某公司需要用Oracle8.1.6數(shù)據(jù)庫管理雇員資料，雇員信息包括工號、年齡、性別、月工資、所在部門、該部門經(jīng)理、雇員的免冠照片等屬性。

對這樣比較復雜結構的實體(雇員)，關系數(shù)據(jù)庫需要把它分解成最簡單實用的關系(雇員和部門)表示，實體的結構語義隱性地包含在兩個關系的相同屬性中。此例中雇員照片屬性的存儲可利用Oracle數(shù)據(jù)庫提供的LOB屬性類型實現(xiàn)的。LOB(LargeObject)就是存儲大對象的屬性類型，當數(shù)據(jù)量過大不能直接存入數(shù)據(jù)庫中時，可以使用LOB屬性類型。

第21頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術MainorvirtualmemoryTransformationandtypecheckingSecondarystorage第22頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術面向對象的數(shù)據(jù)庫模型

(1)面向對象模型支持“聚合”與“概括”的概念，從而更好地處理多媒體數(shù)據(jù)等復雜對象的結構語義。

(2)而向對象模型支持抽象數(shù)據(jù)類型和用戶定義的方法，便于系統(tǒng)支持定義新的數(shù)據(jù)類型和操作。

(3)面向對象系統(tǒng)的數(shù)據(jù)抽象、功能抽象與消息傳遞的特點使對象在系統(tǒng)中是獨立的，具有良好的封閉性，封閉了多媒體數(shù)據(jù)之間的類型及其他方面的巨大差異，并且容易實現(xiàn)并行處理，也便于系統(tǒng)模式的擴充和修改。第23頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術 (4)面向對象系統(tǒng)的對象類、類層次和繼承性的特點，不僅減少了冗余和由此引起的一系列問題，還非常有利于版本控制。

(5)面向對象系統(tǒng)中實體是獨立于值存在的，因而避免了關系數(shù)據(jù)庫中討論的各種異常。

(6)面向對象系統(tǒng)的查詢語言通常是沿著系統(tǒng)提供的內部固有聯(lián)系進行的，避免了大量的查詢優(yōu)化工作。第24頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術面向對象數(shù)據(jù)庫和擴展關系數(shù)據(jù)庫系統(tǒng)不同，它傾向于以數(shù)據(jù)模型入手，重新考慮不同于傳統(tǒng)DBMS的系統(tǒng)整體結構、對象類層次的存儲結構、存取方法和繼承性的實現(xiàn)方法、用戶定義的數(shù)據(jù)類型和方法的處理策略、必要的版本控制和友好的用戶界面，建立一個全新的DBMS。第25頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術1.對象類型的建立第26頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術MainorvirtualmemorySecondarystorage第27頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術2.面向對象數(shù)據(jù)庫系統(tǒng)結構根據(jù)系統(tǒng)模型的功能，設計適當?shù)南到y(tǒng)結構是面向對象的DBMS實現(xiàn)的重要環(huán)節(jié)。由MCC公司研制的ORION系統(tǒng)由4個子系統(tǒng)構成：(1)消息處理子系統(tǒng)；(2)對象子系統(tǒng)；(3)存儲子系統(tǒng)；(4)事務管理子系統(tǒng)。第28頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術ORION-1SX是一個客戶機/服務器數(shù)據(jù)庫系統(tǒng)，它有一個專用的服務器管理整個數(shù)據(jù)庫系統(tǒng)，而應用系統(tǒng)運行的所有其他節(jié)點(客戶)同這個服務器進行通信來存取數(shù)據(jù)庫。對象子系統(tǒng)和消息子系統(tǒng)完全放置在客戶機上。另一方面，通訊子系統(tǒng)以及部分事務和存儲子系統(tǒng)既放置于客戶機又放置于服務器中，通訊子系統(tǒng)負責打開、關閉和控制連接，接收和傳遞客戶機和服務器之間的消息。ORION-2是一個基于網(wǎng)絡的分布式數(shù)據(jù)庫系統(tǒng)，它由一個以上的節(jié)點進行管理，使得數(shù)據(jù)庫的物理布局對用戶來說是透明的。第29頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術消息處理子系統(tǒng)對象子系統(tǒng)事務子系統(tǒng)存儲子系統(tǒng)通信子系統(tǒng)服務器事務子系統(tǒng)服務器存儲子系統(tǒng)服務器客戶機第30頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術多媒體信息檢索技術－基于內容檢索如何使多媒體應用系統(tǒng)直接從各種媒體中獲取信息線索，并將這些線索用于數(shù)據(jù)庫中得檢索操作，幫助用戶從數(shù)據(jù)庫中檢索合適的多媒體信息對象－基于內容檢索（Content-basedRetrieval）定義：基于內容檢索就是從媒體數(shù)據(jù)中提取特定的信息線索，根據(jù)這些線索從大量得存儲在數(shù)據(jù)庫中的媒體中進行查找，檢索具有相似特征的媒體數(shù)據(jù)第31頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術具體說基于內容的檢索是對媒體對象的內容及上下文語義環(huán)境進行檢索，如圖像中的顏色、紋理、形狀，視頻中的鏡頭、場景、鏡頭的運動，聲音中的音調、響度、音色等?；趦热莸臋z索突破了傳統(tǒng)的基于文本檢索技術的局限，直接對圖像、視頻、音頻內容進行分析，抽取特征和語義，利用這些內容特征建立索引并進行檢索。在這一檢索過程中，它主要以圖像處理、模式識別、計算機視覺、圖像理解等學科中的一些方法為部分基礎技術，是多種技術的合成第32頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術與傳統(tǒng)的信息檢索相比，CBR有如下特點：(1)相似性檢索：CBR采用一種近似匹配（或局部匹配）的方法和技術逐步求精來獲得查詢和檢索結果，摒棄了傳統(tǒng)的精確匹配技術，避免了因采用傳統(tǒng)檢索方法所帶來的不確定性。(2)直接從內容中提取信息線索：CBR直接對文本、圖像、視頻、音頻進行分析，從中抽取內容特征，然后利用這些內容特征建立索引并進行檢索。第33頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術(3)滿足用戶多層次的檢索要求：CBR檢索系統(tǒng)通常由媒體庫、特征庫和知識庫組成。媒體庫包含多媒體數(shù)據(jù)，如文本、圖像、音頻、視頻等；特征庫包含用戶輸入的特征和預處理自動提取的內容特征；知識庫包含領域知識和通用知識，其中的知識表達可以更換，以適應各種不同領域的應用要求。(4)大型數(shù)據(jù)庫(集)的快速檢索：CBR往往擁有數(shù)量巨大、種類繁多的多媒體數(shù)據(jù)庫，能夠實現(xiàn)對多媒體信息的快速檢索。第34頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術媒體特征音頻

常利用的音頻特征包括基音，共振峰，線性預測倒譜系數(shù)、Mel倒譜系數(shù)(基于高斯混合模型的語音識別)等音頻低層特征，和聲紋、關鍵詞等高層特征。靜態(tài)圖像其底層特征包括顏色，紋理，幾何形狀，灰度統(tǒng)計特征；高層特征包括人臉部特征，表情特征，物體和景物特征。第35頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術視頻包含的信息最豐富復雜，其底層特征包括鏡頭切換類型，特技效果，攝像機運動，物體運動軌跡，代表幀，全景圖等；高層特征包括描述鏡頭內容的事件等。文本關鍵詞常被選為文本對象的內容屬性。圖形幾何體各種形狀特征、周長、面積、位置、幾何體間空間關系的類型等，常被選為圖形內容屬性。第36頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術多媒體內容的處理分為三大部分：內容獲取、內容描述和內容操縱。也可將其看成是內容處理的三個步驟，即先對原始媒體進行處理，提取內容，然后用標準形式對它們進行描述，以支持各種內容的操縱第37頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術 基于內容檢索系統(tǒng)的一般結構插入子系統(tǒng)特征提取子系統(tǒng)媒體數(shù)據(jù)庫和特征數(shù)據(jù)庫查詢子系統(tǒng)：提供給用戶檢索接口檢索過程是一個逐步求精的過程初始檢索相識性匹配特征調整重新檢索第38頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術多媒體信息關聯(lián)技術－超媒體技術超文本的概念超文本結構類似于人類的聯(lián)想記憶結構，采用一種非線性的網(wǎng)狀結構組織塊狀信息，沒有固定順序。超文本由若干個文本塊（信息單元）組成，每個信息單元稱為一個節(jié)點（node）每個節(jié)點都有指向其它節(jié)點或從其它節(jié)點指向該節(jié)點的指針，稱為“鏈”（link）用戶主動激活這些鏈時，將遷移到目的節(jié)點第39頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術下面是超文本結構示意圖ABCDEFGH第40頁，共46頁，2023年，2月20日，星期一SchoolofManagementTianjinUniversity多媒體信息管理技術什么是超媒體（hypermedia）?多媒體+超文本把多媒體信息引入超文本，有助于信息的表達和交互，可以增強和改善信息的交互程度和表達思想的準確性超媒體的組成要素節(jié)點（Node）:是圍繞一個特殊主題組織起來的數(shù)據(jù)集合節(jié)點的分類媒體類節(jié)點：存放各種媒體信息的來源