信息管理和信息系統(tǒng)第4章

1、第四章 多媒體信息存儲(chǔ)與檢索 本章目錄第一節(jié) 引言第二節(jié) 多媒體技術(shù)概述第三節(jié) 多媒體數(shù)據(jù)模型第四節(jié) 多媒體數(shù)據(jù)壓縮技術(shù)第五節(jié) 基于內(nèi)容的多媒體檢索技術(shù)2編輯ppt信息存儲(chǔ)與檢索第一節(jié) 引言隨著信息時(shí)代的到來，信息多元化程度加深，人們不再滿足于單一的文本交流。多媒體技術(shù)的出現(xiàn)，使得信息的表達(dá)方式更生動(dòng)、更容易被人們所理解，因此迅速成為信息存在的主要方式。3編輯ppt信息存儲(chǔ)與檢索第一節(jié) 引言傳統(tǒng)的信息檢索系統(tǒng)只處理文本和非結(jié)構(gòu)化的數(shù)據(jù)，信息是以離散的形式 (如字符、數(shù)字等) 存儲(chǔ)在關(guān)系數(shù)據(jù)庫中，并以結(jié)構(gòu)化查詢語言(SQL) 或超鏈接來進(jìn)行查詢檢索；而多媒體數(shù)據(jù)則是連續(xù)的、形式多樣的、海量的信息

2、，并且多媒體數(shù)據(jù) (如圖像、視頻) 在不同的人眼中可能有不同的理解，要把所有不同的解釋都用關(guān)鍵字(文本或數(shù)字) 來表示顯然是不可能的。另外，關(guān)鍵字不能有效地表示視頻數(shù)據(jù)的時(shí)序特征，也不支持語義關(guān)系，因此需要開發(fā)出一種新的檢索技術(shù)來檢索多媒體數(shù)據(jù)。為了適應(yīng)這一需求, 人們提出了基于內(nèi)容的多媒體信息檢索思想。4編輯ppt信息存儲(chǔ)與檢索第一節(jié) 引言為了適應(yīng)這一需求，人們提出了基于內(nèi)容的多媒體信息檢索思想?；趦?nèi)容的檢索是指根據(jù)媒體和媒體對(duì)象的內(nèi)容及上下文聯(lián)系在大規(guī)模多媒體數(shù)據(jù)庫中進(jìn)行檢索。他的研究目標(biāo)是提供在沒有人類參與的情況下能自動(dòng)識(shí)別或理解圖像重要特征的算法。目前，基于內(nèi)容的多媒體信息檢索的主要

3、工作集中在識(shí)別和描述圖像的顏色、紋理、形狀和空間關(guān)系上，對(duì)于視頻數(shù)據(jù)，還有視頻分割、關(guān)鍵幀提取、場(chǎng)景變換探測(cè)以及故事情節(jié)重構(gòu)等問題。由此可見，這是一門涉及面很廣的交叉學(xué)科，需要以圖像處理、模式識(shí)別、計(jì)算機(jī)視覺、圖像理解等領(lǐng)域的知識(shí)為基礎(chǔ)，還需從認(rèn)知科學(xué)、人工智能、數(shù)據(jù)庫管理系統(tǒng)、人機(jī)交互、信息檢索等領(lǐng)域引入新的媒體數(shù)據(jù)表示和數(shù)據(jù)模型，從而設(shè)計(jì)出可靠、有效的檢索算法、系統(tǒng)結(jié)構(gòu)以及友好的人機(jī)界面。5編輯ppt信息存儲(chǔ)與檢索第二節(jié) 多媒體技術(shù)概述 4.2.1 多媒體的概念14.2.2 多媒體技術(shù)的關(guān)鍵特征24.2.3 多媒體技術(shù)的主要研究?jī)?nèi)容36編輯ppt信息存儲(chǔ)與檢索4.2.1 多媒體的概念（一）

4、媒體的含義“媒體”一詞的含義很多，但在計(jì)算機(jī)領(lǐng)域中主要有兩層含義：一是指信息的物理載體，如磁盤、磁帶、光盤等；另一是指信息的表現(xiàn)或傳播形式，如聲音、文字、圖像、動(dòng)畫等。根據(jù)國(guó)際電信聯(lián)盟（ITU：International Telecommunication Union）電信標(biāo)準(zhǔn)部推出的ITU-TI.374建議的定義，可以將媒體劃分為如下五類：（1）感覺媒體（2）表示媒體（3）表現(xiàn)媒體（4）存儲(chǔ)媒體（5）傳輸媒體 7編輯ppt信息存儲(chǔ)與檢索4.2.1 多媒體的概念（一）媒體的含義(1)感覺媒體：指直接作用于人的感覺器官，使人產(chǎn)生直接感覺的媒體。如引起聽覺反應(yīng)的聲音，引起視覺反應(yīng)的圖像等。 (2)

5、表示媒體：指?jìng)鬏敻杏X媒體的中介媒體，即用于數(shù)據(jù)交換的編碼。如圖像編碼（JPEG、MPEG等）、文本編碼（ASCII碼、GB2312等）和聲音編碼等。 (3)表現(xiàn)媒體）：指進(jìn)行信息輸入和輸出的媒體。如鍵盤、鼠標(biāo)、掃描儀、話筒、攝像機(jī)等為輸入媒體；顯示器、打印機(jī)、喇叭等為輸出媒體。 (4)存儲(chǔ)媒體：指用于存儲(chǔ)表示媒體的物理介質(zhì)。如硬盤、軟盤、磁盤、光盤、ROM及RAM等。 (5)傳輸媒體：指?jìng)鬏敱硎久襟w的物理介質(zhì)。如電纜、光纜等。8編輯ppt信息存儲(chǔ)與檢索4.2.1 多媒體的概念（二）多媒體的含義在人們的日常談?wù)撝?，多媒體的“媒體”常常泛指“感覺媒體”，但多媒體技術(shù)所處理的“媒體”主要是指“表示媒

6、體”，而“多”則表示信息表示媒體的多樣化?，F(xiàn)在的多媒體技術(shù)往往與計(jì)算機(jī)聯(lián)系在一起，是指利用計(jì)算機(jī)技術(shù)把各種信息媒體綜合一體化，使它們建立起邏輯聯(lián)系，并進(jìn)行加工處理的技術(shù)。所謂加工處理主要是指對(duì)這些媒體的錄入、對(duì)信息進(jìn)行壓縮和解壓縮、存儲(chǔ)、顯示、傳輸?shù)?。因此，多媒體不是“混媒體”。盡管包含的媒體元素很多，但并非機(jī)械地將他們拼湊在一起。9編輯ppt信息存儲(chǔ)與檢索4.2.2 多媒體技術(shù)的關(guān)鍵特征 多媒體技術(shù)主要體現(xiàn)出綜合處理多種媒體信息的特點(diǎn)，包括信息載體的：（1）多樣性（2）集成性（3）交互性（4）實(shí)時(shí)性（5）互補(bǔ)性 這5個(gè)特性缺一不可。其中，多樣性、實(shí)時(shí)性和互補(bǔ)性是基礎(chǔ)，集成性是手段、方式或形式

7、，交互性是核心或靈魂。10編輯ppt信息存儲(chǔ)與檢索4.2.2 多媒體技術(shù)的關(guān)鍵特征 1. 信息載體多樣性指文字、文本、 圖形、圖像、視頻、語音等多種媒體信息于一體。2. 交互性多媒體的第二個(gè)關(guān)鍵特性是交互性。 所謂交互就是通過各種媒體信息, 使參與的各方(不論是發(fā)送方還是接收方)都可以進(jìn)行編輯、 控制和傳遞。 交互性將向用戶提供更加有效的控制和使用信息的手段和方法, 同時(shí)也為應(yīng)用開辟了更加廣闊的領(lǐng)域。交互可做到自由地控制和干預(yù)信息的處理, 增加對(duì)信息的注意力和理解, 延長(zhǎng)信息的保留時(shí)間。11編輯ppt信息存儲(chǔ)與檢索4.2.2 多媒體技術(shù)的關(guān)鍵特征 3. 互補(bǔ)性每一種媒體都有其自身規(guī)律, 各種媒

8、體之間必須有機(jī)地配合才能協(xié)調(diào)一致。 多種媒體之間的協(xié)調(diào)以及時(shí)間、空間的協(xié)調(diào)是多媒體的關(guān)鍵技術(shù)之一。 4. 實(shí)時(shí)性所謂實(shí)時(shí)就是在人的感官系統(tǒng)允許的情況下, 進(jìn)行多媒體交互, 就好像面對(duì)面(Face To Face)一樣, 圖像和聲音都是連續(xù)的。實(shí)時(shí)多媒體分布系統(tǒng)是把計(jì)算機(jī)的交互性、通信的分布性和電視的真實(shí)性有機(jī)地結(jié)合在一起。 5. 集成性多媒體技術(shù)是多種媒體的有機(jī)集成。它集文字、文本、 圖形、圖像、視頻、語音等多種媒體信息于一體。 12編輯ppt信息存儲(chǔ)與檢索4.2.3 多媒體技術(shù)的主要研究?jī)?nèi)容 多媒體技術(shù)的研究?jī)?nèi)容包括：多媒體數(shù)據(jù)處理技術(shù)，如多媒體數(shù)據(jù)模型、多媒體數(shù)據(jù)壓縮、多媒體數(shù)據(jù)存儲(chǔ)與檢索

9、技術(shù)等；多媒體數(shù)據(jù)傳輸技術(shù)，如多媒體網(wǎng)絡(luò)技術(shù)、多媒體視頻點(diǎn)播技術(shù)等；多媒體專用設(shè)備技術(shù)，如多媒體專用芯片技術(shù)、多媒體專用輸入/輸出技術(shù)等。本章內(nèi)容將只對(duì)多媒體數(shù)據(jù)處理技術(shù)作出闡述。13編輯ppt信息存儲(chǔ)與檢索第三節(jié) 多媒體數(shù)據(jù)模型 4.3.1 多媒體數(shù)據(jù)模型概述1 4.3.2 圖像的數(shù)據(jù)模型2 4.3.3 音頻的數(shù)據(jù)模型3 4.3.4 視頻的數(shù)據(jù)模型414編輯ppt信息存儲(chǔ)與檢索 4.3.1 多媒體數(shù)據(jù)模型概述（一）多媒體數(shù)據(jù)模型的概念數(shù)據(jù)模型是數(shù)據(jù)庫系統(tǒng)中的術(shù)語,用來表示實(shí)體以及實(shí)體間的聯(lián)系。數(shù)據(jù)庫的數(shù)據(jù)模型由三部分組成：數(shù)據(jù)庫的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)庫操作集合和完整性規(guī)則集合。其中，最重要的部分是

10、反映能夠數(shù)據(jù)庫邏輯結(jié)構(gòu)的數(shù)據(jù)結(jié)構(gòu)，因?yàn)閿?shù)據(jù)模型的作用就是能清晰地表示數(shù)據(jù)庫的邏輯結(jié)構(gòu)，以便使用戶更有效地存取數(shù)據(jù)。最著名的數(shù)據(jù)模型有層次模型、網(wǎng)狀模型和關(guān)系模型。15編輯ppt信息存儲(chǔ)與檢索 4.3.1 多媒體數(shù)據(jù)模型概述（一）多媒體數(shù)據(jù)模型的概念多媒體數(shù)據(jù)模型的基本任務(wù)是：能夠表示各種不同媒體數(shù)據(jù)的構(gòu)造及其屬性特征；同時(shí)能夠指出不同媒體數(shù)據(jù)之間的相互關(guān)系，包括相互之間的信息語義關(guān)系，以及媒體特性之間的關(guān)系，主要是時(shí)空特性關(guān)系。在多媒體信息檢索系統(tǒng)的框架下，如何進(jìn)行多媒體數(shù)據(jù)模型的構(gòu)建工作呢？注意兩方面的問題：第一，數(shù)據(jù)模型應(yīng)該根據(jù)用戶能夠指定的、存儲(chǔ)于系統(tǒng)的數(shù)據(jù)來定義。數(shù)據(jù)模型應(yīng)該能夠把常規(guī)

11、數(shù)據(jù)類型和多媒體類型進(jìn)行整合，而且應(yīng)該提供對(duì)這種數(shù)據(jù)進(jìn)行分析、檢索和查詢的方法。第二，系統(tǒng)應(yīng)該為多媒體數(shù)據(jù)的內(nèi)部表示提供一個(gè)模型，這個(gè)模型的定義對(duì)于有效的查詢處理來說是至關(guān)重要的。16編輯ppt信息存儲(chǔ)與檢索 4.3.1 多媒體數(shù)據(jù)模型概述（二）多媒體數(shù)據(jù)模型的體系結(jié)構(gòu) 一個(gè)完整的多媒體數(shù)據(jù)模型應(yīng)該是對(duì)多媒體信息系統(tǒng)的信息和數(shù)據(jù)的內(nèi)容、不同媒體對(duì)象或由它們合成的復(fù)合對(duì)象的表現(xiàn)、內(nèi)容與表現(xiàn)之間的映射/對(duì)應(yīng)關(guān)系進(jìn)行組織結(jié)構(gòu)上的抽象概括和規(guī)范描述的一個(gè)整體。內(nèi)容多媒體應(yīng)用多媒體信息元多媒體數(shù)據(jù)元表現(xiàn)上層腳本同步中層合成同步底層系統(tǒng)同步聯(lián)系握手圖4 - 1 多媒體數(shù)據(jù)模型的體系結(jié)構(gòu)資料來源：張維明，2

12、002.多媒體信息系統(tǒng).北京：電子工業(yè)出版社17編輯ppt信息存儲(chǔ)與檢索 4.3.1 多媒體數(shù)據(jù)模型概述（三）多媒體數(shù)據(jù)模型的種類 多媒體數(shù)據(jù)模型的分類沒有定則?；诓煌Y(jié)構(gòu)不同層次，可以將其分為超媒體模型、時(shí)基媒體模型、基于媒體內(nèi)容模型、文獻(xiàn)模型和信息元模型等?；谀Ｐ偷男再|(zhì)，又可以將其分為表現(xiàn)模型和同步模型?；诓煌慕７椒ǎ瑒t可將其分為NF2數(shù)據(jù)模型、面向?qū)ο髷?shù)據(jù)模型和對(duì)象-關(guān)系模型等。18編輯ppt信息存儲(chǔ)與檢索 4.3.2 圖像的數(shù)據(jù)模型 圖像可模型化為圖像和圖像對(duì)象，圖像可以包含許多圖像對(duì)象，并對(duì)圖像對(duì)象的解釋是領(lǐng)域相關(guān)的。 圖像數(shù)據(jù)模型可以分為三個(gè)層次：語義表現(xiàn)層、邏輯表現(xiàn)層和

13、物理表現(xiàn)層。1、物理表現(xiàn)層 物理表現(xiàn)層提供原始圖像數(shù)據(jù)，即圖像的物理表示及物理特性。物理特性和領(lǐng)域無關(guān)，可直接從物理表現(xiàn)中抽取或預(yù)先抽取存于計(jì)算機(jī)中。圖像的物理層特征主要包括顏色、紋理、輪廓等視覺信息。19編輯ppt信息存儲(chǔ)與檢索 4.3.2 圖像的數(shù)據(jù)模型2、邏輯表現(xiàn)層 邏輯表現(xiàn)層包括圖像邏輯屬性和圖像對(duì)象的邏輯屬性。用于描述一個(gè)集成實(shí)體圖像性質(zhì)的屬性稱為圖像邏輯屬性，如一副圖像中包含的對(duì)象數(shù)，對(duì)象間的空間關(guān)系等。用于描述圖像中的對(duì)象集合性質(zhì)的屬性稱為圖像對(duì)象邏輯屬性，如每個(gè)對(duì)象的最小邊界矩形，對(duì)象的空間位置等。3、語義表現(xiàn)層 圖像的語義表現(xiàn)層是用于描述圖像所表明的高層領(lǐng)域的概念，通常圖像的

14、主題、作者的創(chuàng)作意圖，個(gè)人的印象等，具有很大的不確定性。語義特征主要通過用戶從圖像本身進(jìn)行認(rèn)知，需要人工捕捉，主觀感受因素較強(qiáng)，常常會(huì)因人而異。對(duì)于圖像語義特征的提取和描述，可以加工成知識(shí)庫，提供智能檢索服務(wù)。 20編輯ppt信息存儲(chǔ)與檢索 4.3.2 圖像的數(shù)據(jù)模型語義1語義2語義3語義n語義表現(xiàn)層圖像邏輯表示圖像對(duì)象邏輯表示邏輯表現(xiàn)層物理表現(xiàn)層圖4-2 圖像數(shù)據(jù)模型的層次化表現(xiàn)資料來源：張維明，2002.多媒體信息系統(tǒng).北京：電子工業(yè)出版社21編輯ppt信息存儲(chǔ)與檢索 4.3.3 音頻的數(shù)據(jù)模型音頻信息也可以采用文本處理的方法，選擇主題詞、關(guān)鍵詞對(duì)音頻內(nèi)容加以人工標(biāo)引，揭示音頻的主題內(nèi)容及

15、特征，例如對(duì)于一首歌曲，歌詞就是它的內(nèi)容描述。但這些仍屬于傳統(tǒng)文本處理的范疇，它與基于音頻內(nèi)容的特征處理完全不同。所謂基于音頻內(nèi)容的特征處理方法，就是針對(duì)音頻信息的物理樣本、基本屬性等進(jìn)行分析處理，通過數(shù)學(xué)與統(tǒng)計(jì)學(xué)方法來獲得音頻信息物理、聽覺、語義等不同層次（或級(jí)別）上的特征，并揭示特征之間的相互關(guān)系。下面就介紹幾個(gè)通過短時(shí)處理技術(shù)得到的比較常用而且重要的特征:（一）音調(diào)（二）響度（三）過零率（四）亮度（五）帶寬22編輯ppt信息存儲(chǔ)與檢索 4.3.4 視頻的數(shù)據(jù)模型視頻就是一組連續(xù)的靜態(tài)圖像按照時(shí)間的順序連續(xù)更換形成的動(dòng)畫、影像等。簡(jiǎn)單地說，視頻數(shù)據(jù)是連續(xù)的圖像序列。在對(duì)視頻進(jìn)行分類和檢索之

16、前，必須了解視頻的數(shù)據(jù)結(jié)構(gòu)。視頻數(shù)據(jù)可用故事單元、場(chǎng)景、鏡頭、幀來描述。對(duì)于視頻文件來說，我們也可以利用與處理圖像和音頻相同的方法，進(jìn)行視頻外部特征信息的文本著錄，以實(shí)現(xiàn)簡(jiǎn)單的初級(jí)檢索。然而，與圖像、音頻一樣，只有對(duì)基于視頻內(nèi)容本身進(jìn)行處理才能獲得更有效的檢索。23編輯ppt信息存儲(chǔ)與檢索 4.3.4 視頻的數(shù)據(jù)模型視頻故事單元1故事單元2故事單元n場(chǎng)景1場(chǎng)景2場(chǎng)景m鏡頭1幀鏡頭2幀鏡頭3幀圖4-3 視頻的分層結(jié)構(gòu)描述資料來源：張維明，2002.多媒體信息系統(tǒng).北京：電子工業(yè)出版社24編輯ppt信息存儲(chǔ)與檢索第四節(jié) 多媒體數(shù)據(jù)壓縮技術(shù) 4.4.1 數(shù)據(jù)壓縮技術(shù)概述 1 4.4.2 圖像壓縮的標(biāo)

17、準(zhǔn) 2 4.4.3 音頻壓縮的標(biāo)準(zhǔn) 3 4.4.4 視頻壓縮的標(biāo)準(zhǔn) 425編輯ppt信息存儲(chǔ)與檢索4.4.1 數(shù)據(jù)壓縮技術(shù)概述 （一）多媒體數(shù)據(jù)壓縮的必要性和可能性 數(shù)據(jù)壓縮就是以一定的質(zhì)量損失為容限，按照某種方法從給定的信息源中推出簡(jiǎn)化的數(shù)據(jù)表述，它通過減少信號(hào)空間的量，使信號(hào)能安排到給定的信息集或樣本集中。 一般說來，多媒體數(shù)據(jù)中存在的數(shù)據(jù)冗余類型主要有以下幾種：（1）空間冗余（2）時(shí)間冗余（3）結(jié)構(gòu)冗余（4）視覺冗余（5）聽覺冗余（6）知識(shí)冗余26編輯ppt信息存儲(chǔ)與檢索4.4.1 數(shù)據(jù)壓縮技術(shù)概述 （一）多媒體數(shù)據(jù)壓縮的必要性和可能性 一、空間冗余是靜態(tài)圖像中存在的最主要的一種數(shù)據(jù)冗余

18、。同一景物表面上采樣點(diǎn)的顏色之間往往存在著空間連貫性，但是基于離散像素采樣來表示物體顏色的方式通常沒有利用這種連貫性。例如：圖像中有一片連續(xù)的區(qū)域，其像素為相同的顏色，空間冗余產(chǎn)生。 二、時(shí)間冗余是序列圖像中經(jīng)常包含的冗余。一組連續(xù)的畫面之間往往存在著時(shí)間和空間的相關(guān)性，但是基于離散時(shí)間采樣來表示運(yùn)動(dòng)圖像的方式通常沒有利用這種連貫性。例如：房間里的兩個(gè)人在聊天，在這個(gè)聊天的過程中，背景（房間和家具）一直是相同的，同時(shí)也沒有移動(dòng)，而且是同樣的兩個(gè)人在聊天，只有動(dòng)作和位置的變化。 27編輯ppt信息存儲(chǔ)與檢索4.4.1 數(shù)據(jù)壓縮技術(shù)概述 （一）多媒體數(shù)據(jù)壓縮的必要性和可能性三、結(jié)構(gòu)冗余是在某些場(chǎng)景

19、中，存在著明顯的圖像分布模式，這種分布模式稱作結(jié)構(gòu)。圖像中重復(fù)出現(xiàn)或相近的紋理結(jié)構(gòu)，結(jié)構(gòu)可以通過特定的過程來生成。例如：方格狀的地板，蜂窩，磚墻，草席等圖結(jié)構(gòu)上存在冗余。已知分布模式，可以通過某一過程生成圖像。 四、視覺冗余是人類的視覺系統(tǒng)對(duì)圖像場(chǎng)的敏感性是非均勻和非線性的。對(duì)亮度變化敏感，而對(duì)色度的變化相對(duì)不敏感；在高亮度區(qū)，人眼對(duì)亮度變化敏感度下降；對(duì)物體邊緣敏感，內(nèi)部區(qū)域相對(duì)不敏感；對(duì)整體結(jié)構(gòu)敏感，而對(duì)內(nèi)部細(xì)節(jié)相對(duì)不敏感?？梢愿鶕?jù)這些視覺特性對(duì)圖像信息進(jìn)行取舍。28編輯ppt信息存儲(chǔ)與檢索4.4.1 數(shù)據(jù)壓縮技術(shù)概述 （二）多媒體數(shù)據(jù)壓縮的基本要求 對(duì)多媒體數(shù)據(jù)進(jìn)行壓縮處理需要兩個(gè)過程。

20、一是編碼過程，即將原始數(shù)據(jù)經(jīng)過編碼進(jìn)行壓縮，以便于存儲(chǔ)和傳輸；另一是解碼過程，對(duì)編碼后的數(shù)據(jù)進(jìn)行解碼，還原為可以使用的數(shù)據(jù)。對(duì)數(shù)據(jù)進(jìn)行壓縮處理一般具有以下基本要求：（1）可還原（2）壓縮比高（3）重現(xiàn)質(zhì)量好（4）計(jì)算成本低（5）實(shí)時(shí)性好29編輯ppt信息存儲(chǔ)與檢索信息編碼Huffman編碼Huffman編碼時(shí)采取從后向前推，即以概率最小的向概率大的方向進(jìn)行編碼處理，最后建立一顆Huffman編碼樹。各個(gè)符號(hào)作為二叉樹的葉結(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)有一個(gè)權(quán)，它是符號(hào)出現(xiàn)的概率。30編輯ppt信息存儲(chǔ)與檢索信息編碼建立Huffman編碼樹的步驟描述如下：將信息集合中的各信息元素按概率依次從大到小排列。使概率最

21、小的二組信息元素分別對(duì)應(yīng)于碼和碼。將這兩個(gè)信息元素的概率相加，作為另一組信息元素出現(xiàn)的概率。再一次重新依次按概率大小排序。重復(fù)以上步驟，直到剩下最后一個(gè)元素，并將其作為樹根。31編輯ppt信息存儲(chǔ)與檢索4.1、信息編碼Huffman編碼舉例下面幾個(gè)圖可以看到Huffman編碼的構(gòu)造過程是一個(gè)反復(fù)比較的過程，它總是選擇兩個(gè)使用頻率較小的結(jié)點(diǎn)進(jìn)行合并，生成出一個(gè)樹，這個(gè)樹經(jīng)過編碼后就會(huì)得到Huffman編碼。32編輯ppt信息存儲(chǔ)與檢索信息編碼在上圖中各點(diǎn)中的數(shù)字代表各點(diǎn)的使用次數(shù)，您可以把這幾個(gè)方塊想成A，B，C，D，它們?cè)谀骋晃恼轮械氖褂妙l率為7次，5次，1次等等。33編輯ppt信息存儲(chǔ)與檢索

22、信息編碼選擇使用率小的兩個(gè)點(diǎn)1，3構(gòu)成新點(diǎn)4。 34編輯ppt信息存儲(chǔ)與檢索信息編碼在狀態(tài)1圖中選擇5，4（也是兩個(gè)最小的，注意不是1，3，因?yàn)?，3現(xiàn)在已經(jīng)歸在4里面了）進(jìn)行合并。 35編輯ppt信息存儲(chǔ)與檢索信息編碼在狀態(tài)2表中的最小兩個(gè)點(diǎn)已經(jīng)變?yōu)?，6了，這時(shí)合并它們兩個(gè)生成新點(diǎn)13。36編輯ppt信息存儲(chǔ)與檢索信息編碼只剩兩個(gè)點(diǎn)了，不管多少它們也是最小的了，合并了算了。 37編輯ppt信息存儲(chǔ)與檢索信息編碼請(qǐng)注意這個(gè)編碼，每個(gè)點(diǎn)下面有兩個(gè)分枝，分別編碼為0，1。至此編碼結(jié)束，所得到編碼即從最上面的點(diǎn)延線下行，至所要編碼的點(diǎn)，將沿路經(jīng)過的0和1記錄下來就是了。71161050030111

23、01038編輯ppt信息存儲(chǔ)與檢索信息編碼Huffman編碼所以能獲得高效編碼，原因就在于高概率的信息元素總是取短碼。由此也可以得出結(jié)論，即信源中各信息元素的概率分布越是不均勻， Huffman編碼的有效性越能發(fā)揮出來。而一旦信息元素發(fā)生的概率趨于平衡， Huffman編碼有效性也將隨之勢(shì)去。39編輯ppt信息存儲(chǔ)與檢索信息壓縮技術(shù)文本信息壓縮技術(shù)空格壓縮技術(shù)其壓縮思路是壓縮文本信息中連續(xù)出現(xiàn)的空格。具體的處理過程是掃描待壓縮的原始信息，統(tǒng)計(jì)出其中連續(xù)出現(xiàn)的空格，并用一個(gè)特殊的字符和數(shù)字表示這一串連續(xù)空格，其壓縮格式為：壓縮指示字符用來標(biāo)明在該處發(fā)生了空格壓縮，而連續(xù)空格計(jì)數(shù)則表示所壓縮的空格

24、數(shù)量，這樣，可以用兩個(gè)字符表示原始信息中的連續(xù)空格。40編輯ppt信息存儲(chǔ)與檢索信息壓縮技術(shù)位圖壓縮技術(shù)位圖壓縮方法是在文件中建立位圖來標(biāo)志某個(gè)字符的存在與否。凡在位圖中標(biāo)明為有效字符的位置，在壓縮的文件中對(duì)應(yīng)位置有相應(yīng)的字符出現(xiàn)。在壓縮后輸出文件中，這個(gè)無效字符不出現(xiàn)，釋放時(shí)再把這些無效字符按實(shí)際位置加到文件中。用位圖方法壓縮數(shù)據(jù)，首先要確定數(shù)據(jù)流中出現(xiàn)概率最大的一個(gè)字符。繼而要對(duì)源數(shù)據(jù)流中字符建立位圖字符，利用它標(biāo)志出事先所確定的、以最大概率出現(xiàn)的字符位置，并將其壓縮掉。41編輯ppt信息存儲(chǔ)與檢索信息壓縮技術(shù)游程編碼技術(shù)在游程編碼中需要標(biāo)出被壓縮的字符，也即要占用3B；第一個(gè)字節(jié)是壓縮指

25、示字符；第二個(gè)字節(jié)紀(jì)錄連續(xù)出現(xiàn)的字符；第三個(gè)字節(jié)紀(jì)錄重復(fù)字符出現(xiàn)的次數(shù)。42編輯ppt信息存儲(chǔ)與檢索信息壓縮技術(shù)前端/后端壓縮編碼技術(shù)前端壓縮技術(shù)，即當(dāng)下一個(gè)字段中有若干字符與上個(gè)字段中有重復(fù)時(shí)，則在下一個(gè)字段開頭用一個(gè)數(shù)字表示重復(fù)字符數(shù)。主要用于有序信息中存在大量重復(fù)字符串的情形。43編輯ppt信息存儲(chǔ)與檢索信息壓縮技術(shù)半字壓縮編碼技術(shù)半字壓縮是由位映像派生出來的一種壓縮方法。它對(duì)數(shù)字字符串的壓縮非常有效。ASCII碼的數(shù)字字符編碼的前4位完全相同，也就是說，在存儲(chǔ)數(shù)值型數(shù)據(jù)時(shí)，每個(gè)字節(jié)中有4位并不表示具體數(shù)值。利用這個(gè)特性，就可以把占2B的數(shù)字字符壓縮到1B中去，即壓縮掉1B中的4位，這就

26、是半字壓縮。半字壓縮也需要壓縮指示字符作為標(biāo)志，并有計(jì)數(shù)加以控制。44編輯ppt信息存儲(chǔ)與檢索信息壓縮技術(shù)多媒體信息壓縮技術(shù)圖像信息壓縮技術(shù)概述游程長(zhǎng)度壓縮：將一掃描行中的顏色值相同的相鄰像素用一個(gè)計(jì)數(shù)值和那些像素的顏色值來代替?；舴蚵幋a壓縮，其基本原理是頻繁使用的數(shù)據(jù)用較短的代碼代替，很少使用的數(shù)據(jù)用較長(zhǎng)的代碼代替，每個(gè)數(shù)據(jù)的代碼長(zhǎng)度各不相同。45編輯ppt信息存儲(chǔ)與檢索信息壓縮技術(shù)數(shù)據(jù)流壓縮技術(shù)COS（capacity optimized storage）壓縮技術(shù)的基本思想是：將數(shù)據(jù)流像積木一樣，分解為一個(gè)個(gè)組件，再分解的同時(shí)產(chǎn)生組件組裝的指令。重復(fù)的組件只保留一份，這樣很多重復(fù)的數(shù)據(jù)塊

27、便被剔除，因此可以節(jié)省大量的存儲(chǔ)空間。46編輯ppt信息存儲(chǔ)與檢索4.4.1 數(shù)據(jù)壓縮技術(shù)概述 （三）多媒體數(shù)據(jù)壓縮方法的分類（1）按照壓縮方法是否產(chǎn)生失真分類 根據(jù)解碼后數(shù)據(jù)與原始數(shù)據(jù)是否完全一致進(jìn)行分類，壓縮方法可被分為有失真編碼和無失真編碼兩（2）按照壓縮方法的原理分類 根據(jù)編碼原理進(jìn)行分類，大致有預(yù)測(cè)編碼、變換編碼、統(tǒng)計(jì)編碼、分析-合成編碼、混合編碼和其他一些編碼方法。其中統(tǒng)計(jì)編碼是無失真的編碼，其他編碼方法基本上都是有失真的編碼。47編輯ppt信息存儲(chǔ)與檢索4.4.2 圖像壓縮的標(biāo)準(zhǔn) （一）JPEG2000壓縮標(biāo)準(zhǔn)簡(jiǎn)介 國(guó)際標(biāo)準(zhǔn)化組織（ISO）和國(guó)際電工協(xié)會(huì)（IEC）聯(lián)合成立了一個(gè)聯(lián)

28、合圖像專家組（Joint Photographic Experts Group，簡(jiǎn)稱JPEG），經(jīng)過5年艱苦而細(xì)致的工作，與1991年3月提出了ISO CDIO918號(hào)建議草案多灰度靜止圖像的數(shù)字壓縮編碼，該草案經(jīng)批準(zhǔn)成為ISO10918標(biāo)準(zhǔn)，即通常所說的JPEG標(biāo)準(zhǔn)。JPEG標(biāo)準(zhǔn)是一個(gè)適用于彩色和單色多灰度的靜止數(shù)字圖像的壓縮技術(shù)標(biāo)準(zhǔn)。48編輯ppt信息存儲(chǔ)與檢索4.4.2 圖像壓縮的標(biāo)準(zhǔn) （二）JPEG2000的基本結(jié)構(gòu)源圖像數(shù)據(jù)正變換量化熵編碼壓縮圖像數(shù)據(jù)（a）編碼器源圖像數(shù)據(jù)逆變換量化熵解碼壓縮圖像數(shù)據(jù)（b）解碼器存儲(chǔ)或傳輸圖4-4 JPEG2000 的基本結(jié)構(gòu)資料來源：林福宗，200

29、2多媒體技術(shù)基礎(chǔ)北京：清華大學(xué)出版社49編輯ppt信息存儲(chǔ)與檢索4.4.2 圖像壓縮的標(biāo)準(zhǔn) （三）JPEG2000的特點(diǎn)（1）壓縮比高（2）支持無損壓縮（3）支持漸進(jìn)式傳輸（4）可自定義“感興趣區(qū)域”（5）可以描述多種色彩模式（6）圖像處理簡(jiǎn)單50編輯ppt信息存儲(chǔ)與檢索4.4.3 音頻壓縮的標(biāo)準(zhǔn) （一）音頻壓縮編碼的基本方法（二）電話質(zhì)量的語音壓縮標(biāo)準(zhǔn)（三）調(diào)幅廣播質(zhì)量的音頻壓縮標(biāo)準(zhǔn)（四）高保真立體聲音頻壓縮標(biāo)準(zhǔn)51編輯ppt信息存儲(chǔ)與檢索4.4.4 視頻壓縮的標(biāo)準(zhǔn) 視頻壓縮的一個(gè)重要標(biāo)準(zhǔn)是MPEG，即運(yùn)動(dòng)圖像專家組（Moving Picture Expert Group）。該專家組成立于1

30、988年，在國(guó)際標(biāo)準(zhǔn)化組織（ISO）和是國(guó)際電工委員會(huì)（IEC）的管轄之下。該組織現(xiàn)已公布的MPEG標(biāo)準(zhǔn)如下：52編輯ppt信息存儲(chǔ)與檢索4.4.4 視頻壓縮的標(biāo)準(zhǔn) MPEG-1（ISO/IEC1117），1993年8月公布，其全稱為“適于約1.5Mb/s以下數(shù)字存儲(chǔ)媒體的運(yùn)動(dòng)圖像及伴音的編碼”所謂數(shù)字存儲(chǔ)媒體（DSM）是指常見的數(shù)字存儲(chǔ)設(shè)備，如CD-ROM、DAT、硬盤、可寫光盤等。該標(biāo)準(zhǔn)也適于遠(yuǎn)程通信，如綜合業(yè)務(wù)數(shù)字網(wǎng)、局域網(wǎng)等。MPEG-1標(biāo)準(zhǔn)包括MPEG系統(tǒng)（ISO/IEC11172-1）、MPEG視頻（ISO/IEC11172-2）、MPEG音頻（ISO/IEC11172-3）和測(cè)試

31、驗(yàn)證（ISO/IEC11172-4）四大部分內(nèi)容。53編輯ppt信息存儲(chǔ)與檢索4.4.4 視頻壓縮的標(biāo)準(zhǔn) MPEG-2（ISO/IEC13818），1994年11月公布，其全稱為“運(yùn)動(dòng)圖像及其伴音通用編碼”。適用于多媒體計(jì)算機(jī)、多媒體數(shù)據(jù)庫、多媒體通信、常規(guī)電視數(shù)字化、高清晰度電視（HDTV）及交互式電視（ITV）等領(lǐng)域。MPEG-2標(biāo)準(zhǔn)包括MPEG系統(tǒng)、MPEG視頻、MPEG音頻和一致性四大部分內(nèi)容，它克服并解決了MPEG-1標(biāo)準(zhǔn)不能滿足的日益增長(zhǎng)的多媒體技術(shù)、數(shù)字電視技術(shù)、多媒體分辨率和傳輸率等方面的技術(shù)要求的缺陷。54編輯ppt信息存儲(chǔ)與檢索4.4.4 視頻壓縮的標(biāo)準(zhǔn) MPEG-4（IS

32、O/IEC14496）,1999年1月公布版本1（V1.0），同年12月公布版本2（V2.0）。該標(biāo)準(zhǔn)的初衷主要是面向電視會(huì)議、可視電話等超低碼率的壓縮編碼需求，在制定過程中，MPEG組織深深感受到人們對(duì)媒體信息，特別是對(duì)視頻信息的需求由播放型轉(zhuǎn)向基于內(nèi)容的訪問、檢索和操作。MPEG-4與MPEG-1、MPEG-2等有很大差異，它為多媒體數(shù)據(jù)壓縮編碼提供了更為廣闊的平臺(tái)，它定義的是一種格式、一種框架，而非具體算法，它希望建立一種更自由的通信與開發(fā)環(huán)境。于是MPEG-4的新目標(biāo)為：支持多種多媒體的應(yīng)用，特別是多媒體信息基于內(nèi)容的訪問和檢索，可根據(jù)不同的應(yīng)用需求，現(xiàn)場(chǎng)配置解碼器。編碼系統(tǒng)也是開放的

33、，可隨時(shí)加入新的有效的算法模塊。該標(biāo)準(zhǔn)適用于多媒體Internet、視頻會(huì)議和視頻電話、交互式視頻游戲、多媒體郵件、基于網(wǎng)絡(luò)的數(shù)據(jù)服務(wù)、光盤等交互式存儲(chǔ)媒體、遠(yuǎn)程緊急事件系統(tǒng)、遠(yuǎn)程視頻監(jiān)控及無線多媒體通信等。55編輯ppt信息存儲(chǔ)與檢索4.4.4 視頻壓縮的標(biāo)準(zhǔn) MPEG-7，于2000年11月公布，其全稱為“多媒體內(nèi)容描述接口”。它將為各種類型的多媒體信息規(guī)定一種標(biāo)準(zhǔn)化的描述，這種描述與多媒體信息的內(nèi)容一起，支持對(duì)用戶感興趣的圖形、圖像、3D模型、視頻、音頻等信息以及它們的組合的快速有效查詢，滿足實(shí)時(shí)、非實(shí)時(shí)以及推-拉應(yīng)用的需求。MPEG-7只規(guī)定信息內(nèi)容描述格式，而不規(guī)定如何從原始的多媒體

34、資料中抽取內(nèi)容描述的方法。MPEG-7的應(yīng)用領(lǐng)域有數(shù)字圖書館、多媒體目錄服務(wù)、圖像分析、音樂詞典、教育、多媒體編輯、多媒體業(yè)務(wù)引導(dǎo)等。56編輯ppt信息存儲(chǔ)與檢索第五節(jié) 基于內(nèi)容的多媒體檢索技術(shù) 4.5.1 基于內(nèi)容的多媒體信息檢索原理1 4.5.2 基于內(nèi)容的圖像檢索 2 4.5.3 基于內(nèi)容的音頻檢索 3 4.5.4 基于內(nèi)容的視頻檢索 457編輯ppt信息存儲(chǔ)與檢索4.5.1 基于內(nèi)容的多媒體信息檢索原理 （一）基于文本的多媒體信息檢索的局限性 目前，常用的多媒體信息檢索方法是基于文本的多媒體信息檢索方法（Text-Based Retrieval，簡(jiǎn)稱TBR）。該方法是針對(duì)多媒體的物理及

35、內(nèi)容特征，抽取出關(guān)鍵詞進(jìn)行著錄或標(biāo)引，建立類似于文本文獻(xiàn)信息檢索系統(tǒng)的索引數(shù)據(jù)庫。這樣，多媒體信息檢索實(shí)際上就轉(zhuǎn)化成為對(duì)多媒體信息進(jìn)行描述的關(guān)鍵詞檢索。常用的抽取關(guān)鍵詞的字段有文件名或目錄名、多媒體標(biāo)題、多媒體周圍文本信息或解說文字等。58編輯ppt信息存儲(chǔ)與檢索4.5.1 基于內(nèi)容的多媒體信息檢索原理 基于文本的多媒體信息檢索方法的主要優(yōu)點(diǎn)是技術(shù)簡(jiǎn)單，標(biāo)引和檢索方便。它的實(shí)質(zhì)就是文本檢索，只是檢索結(jié)果和輸出形式不同而已，因此它的應(yīng)用與實(shí)施方式簡(jiǎn)單，實(shí)現(xiàn)成本也比較低。59編輯ppt信息存儲(chǔ)與檢索4.5.1 基于內(nèi)容的多媒體信息檢索原理 然而，這種檢索方式的應(yīng)用是有局限性的。首先，它不能真正反映

36、信息的內(nèi)容。這種檢索采用文本來表達(dá)多媒體的內(nèi)容，檢索對(duì)象的不一致決定了在這種信息傳遞過程中必定會(huì)有大量信息的丟失，這樣就不可能完全反映信息的內(nèi)容；其次，多媒體信息是一種抽象程度很大、隨意性很強(qiáng)的信息，缺乏一般意義上的規(guī)范性，同樣的信息不同的人會(huì)有不同的理解，這樣便會(huì)使得在用文字描述多媒體信息時(shí)，不可能做出一個(gè)非常準(zhǔn)確而完整的描述。60編輯ppt信息存儲(chǔ)與檢索4.5.1 基于內(nèi)容的多媒體信息檢索原理 （二）基于內(nèi)容的多媒體信息檢索的特點(diǎn)及應(yīng)用 所謂基于內(nèi)容檢索（Content-Based Retrieval，簡(jiǎn)稱CBR），就是從媒體數(shù)據(jù)中提取出特定的信息線索，然后根據(jù)這些線索從大量存儲(chǔ)在數(shù)據(jù)庫中

37、的媒體中進(jìn)行查找，檢索出具有相似特征的媒體數(shù)據(jù)出來。 從技術(shù)上將，基于內(nèi)容的多媒體信息檢索具有如下特點(diǎn)：（1）直接從媒體內(nèi)容中提取特征線索。61編輯ppt信息存儲(chǔ)與檢索4.5.1 基于內(nèi)容的多媒體信息檢索原理 （2）基于內(nèi)容的檢索是一種近似匹配，與傳統(tǒng)信息檢索的精確匹配方法有明顯不同。（3）特征提取和索引建立可由計(jì)算機(jī)自動(dòng)實(shí)現(xiàn)，避免了人工描述的主觀性，也大大減少了工作量。（4）整個(gè)過程是一個(gè)逐步篩選和不斷求精的過程。62編輯ppt信息存儲(chǔ)與檢索4.5.1 基于內(nèi)容的多媒體信息檢索原理 （三）基于內(nèi)容的多媒體信息檢索系統(tǒng)的體系結(jié)構(gòu) 基于內(nèi)容檢索技術(shù)一般用于多媒體數(shù)據(jù)庫系統(tǒng)之中，也可以單獨(dú)建立應(yīng)用

38、系統(tǒng)，例如指紋系統(tǒng)、頭像系統(tǒng)或其他的應(yīng)用系統(tǒng)。從基于內(nèi)容檢索的角度出發(fā)，系統(tǒng)由組織媒體輸入的插入子系統(tǒng)、對(duì)媒體做特征提取的媒體處理子系統(tǒng)、儲(chǔ)存插入時(shí)獲得的特征和相應(yīng)媒體數(shù)據(jù)的數(shù)據(jù)庫以及支持對(duì)該媒體的查詢子系統(tǒng)等組成，同時(shí)需要相應(yīng)的知識(shí)輔助支持特定領(lǐng)域的內(nèi)容處理。多媒體數(shù)據(jù)庫中基于內(nèi)容檢索系統(tǒng)的結(jié)構(gòu)示意如圖：63編輯ppt信息存儲(chǔ)與檢索4.5.1 基于內(nèi)容的多媒體信息檢索原理 （三）基于內(nèi)容的多媒體信息檢索系統(tǒng)的體系結(jié)構(gòu) 媒體數(shù)據(jù)1 媒體特征媒體數(shù)據(jù)2 媒體特征 媒體數(shù)據(jù)n 媒體特征多媒體數(shù)據(jù)庫用戶檢索接口多媒體數(shù)據(jù)特征提取插入模塊知識(shí)輔助模塊查詢模塊圖4-7基于內(nèi)容的多媒體信息檢索系統(tǒng)的體系結(jié)

39、構(gòu)資料來源：張維明，2002.多媒體信息系統(tǒng).北京：電子工業(yè)出版社64編輯ppt信息存儲(chǔ)與檢索4.5.1 基于內(nèi)容的多媒體信息檢索原理 （三）基于內(nèi)容的多媒體信息檢索系統(tǒng)的體系結(jié)構(gòu) 1插入子系統(tǒng) 該子系統(tǒng)負(fù)責(zé)將媒體輸入到系統(tǒng)之中，同時(shí)根據(jù)需要為用戶提供一種工具，以全自動(dòng)或半自動(dòng)(即需用戶部分干預(yù))的方式對(duì)媒體進(jìn)行分割或分割，標(biāo)識(shí)出需要的對(duì)象或內(nèi)容關(guān)鍵點(diǎn)，以便有針對(duì)性地對(duì)目標(biāo)進(jìn)行特征提取。2特征提取子系統(tǒng) 對(duì)用戶或系統(tǒng)標(biāo)明的媒體對(duì)象進(jìn)行特征提取處理。特征提取可以由人完成，例如給出一些描述特征的關(guān)鍵字：也可以通過對(duì)應(yīng)的媒體處理例程完成，提取 些所關(guān)心的媒體特征。提取的特征可以是全局性的，如整幅圖像

40、或視頻鏡頭的顏色分布，也可以針對(duì)某個(gè)內(nèi)部的對(duì)象，如圖像中的子區(qū)域、視頻中的運(yùn)動(dòng)對(duì)象等。在提取特征時(shí)，往往需要知識(shí)處理模塊的輔助，由知識(shí)庫提供有關(guān)的領(lǐng)域知識(shí)。65編輯ppt信息存儲(chǔ)與檢索4.5.1 基于內(nèi)容的多媒體信息檢索原理 （三）基于內(nèi)容的多媒體信息檢索系統(tǒng)的體系結(jié)構(gòu) 3數(shù)據(jù)庫 媒體數(shù)據(jù)和插入時(shí)得到的特征數(shù)據(jù)分別存入媒體數(shù)據(jù)庫和特征數(shù)據(jù)庫。媒體庫包含各種媒體數(shù)據(jù)，如圖像、視頻、音頻、文本等。特征庫包含這種媒體用戶輸入的特征和預(yù)處理自動(dòng)提取的特征。數(shù)據(jù)庫通過組織與媒體類型相匹配的索引來達(dá)到快速搜索的目的，從而可以應(yīng)用到大規(guī)模多媒體數(shù)據(jù)檢索過程中。4查詢子系統(tǒng) 主要以示例查詢的方式向用戶提供檢索接口。檢索允許針對(duì)全局對(duì)象(如整幅圖像、視頻鏡頭等)，也允許針對(duì)其中的子對(duì)象以及任意組合形式來進(jìn)行。檢索返回的結(jié)果按相似程度進(jìn)行排列，如有必要可以進(jìn)步進(jìn)行查詢。檢索主要是相