計(jì)算機(jī)導(dǎo)論 第9章 多媒體與數(shù)字媒體技術(shù)

計(jì)算機(jī)導(dǎo)論教師：第9章多媒體與數(shù)字媒體技術(shù)99.1媒體的基礎(chǔ)知識(shí)9.2多媒體技術(shù)9.3多媒體計(jì)算機(jī)系統(tǒng)9.5多媒體技術(shù)的應(yīng)用領(lǐng)域目錄CONTENTS9.4多媒體技術(shù)的研究?jī)?nèi)容本章學(xué)習(xí)目標(biāo)了解媒體的含義、多媒體計(jì)算機(jī)系統(tǒng)掌握媒體的分類和媒體間的關(guān)系掌握多媒體技術(shù)的概念和特點(diǎn)理解多媒體技術(shù)的研究?jī)?nèi)容和應(yīng)用領(lǐng)域本章學(xué)習(xí)目標(biāo)媒體的含義媒體是一個(gè)使用頻率很高的詞，在當(dāng)今社會(huì)，強(qiáng)大的媒體系統(tǒng)對(duì)社會(huì)生活有著廣泛、深刻的影響。從語(yǔ)義上看，媒體（Media）是指信息的載體，其本質(zhì)是信息傳播的技術(shù)和手段。人們每天都在收聽(tīng)廣播，收看電視，閱讀報(bào)刊，獲取各種時(shí)政消息、財(cái)經(jīng)報(bào)道、娛樂(lè)新聞等，因此廣播、電視、報(bào)刊是非常典型的媒體。不過(guò)這3種媒體已經(jīng)伴隨人類很長(zhǎng)時(shí)間了，所以人們常把它們稱為傳統(tǒng)媒體，如圖9.1所示。

9.1媒體的基礎(chǔ)知識(shí)圖9.1傳統(tǒng)媒體媒體的含義隨著計(jì)算機(jī)、通信和數(shù)字技術(shù)的興起，人們?cè)絹?lái)越依賴Internet、PC、移動(dòng)終端等手段獲取信息。基于Internet、PC和移動(dòng)終端技術(shù)的數(shù)字媒體被稱為新媒體，如圖文網(wǎng)站、微博、微信、智能手機(jī)App、移動(dòng)電視、網(wǎng)絡(luò)視頻等。我們生活的信息時(shí)代，每時(shí)每刻都在傳播或接受紛繁多樣的信息。而信息是依附于人能感知的方式進(jìn)行傳播的，即信息的傳播必須有載體。媒體作為信息傳遞與傳輸?shù)妮d體，是人們?yōu)楸磉_(dá)思想或感情所使用的一種手段、方式或工具。

9.1媒體的基礎(chǔ)知識(shí)媒體的含義媒體包含以下兩個(gè)含義。一是指存儲(chǔ)信息的實(shí)體，如書本、報(bào)刊、穿孔紙帶、磁帶、磁盤、光盤、半導(dǎo)體存儲(chǔ)器；二是指承載信息所使用的符號(hào)系統(tǒng)，即信息的表現(xiàn)形式，如摩爾斯碼、數(shù)字、文字、聲音、圖形和圖像、二維碼、條形碼等，如圖9.2所示。

9.1媒體的基礎(chǔ)知識(shí)圖9.2表達(dá)信息使用的符號(hào)媒體的分類深化對(duì)媒體的認(rèn)識(shí)需要了解媒體的分類。國(guó)際電信聯(lián)盟（InternationalTelecommunicationUnion，ITU）早在1990年就對(duì)媒體進(jìn)行了詳細(xì)劃分。按照國(guó)際電信聯(lián)盟下屬的國(guó)際電報(bào)和電話咨詢委員會(huì)（InternationalTelegraphandTelephoneConsultativeCommittee，CCITT）的定義，媒體可分為5種：感覺(jué)媒體、表示媒體、顯示媒體、存儲(chǔ)媒體和傳輸媒體。

9.1媒體的基礎(chǔ)知識(shí)媒體的分類（1）感覺(jué)媒體（PerceptionMedium）：直接作用于人的感覺(jué)器官并使人產(chǎn)生直接感覺(jué)的媒體，其功能是反映人類對(duì)客觀世界的感知，表現(xiàn)為聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)、嗅覺(jué)、味覺(jué)等的感覺(jué)形式。這類媒體內(nèi)容有各種聲音、文字、語(yǔ)音、音樂(lè)、圖形和圖像、動(dòng)畫、影像等。例如，人們通過(guò)聽(tīng)覺(jué)器官（耳朵）可以感知聲音信息，通過(guò)視覺(jué)器官（眼睛）可以感知數(shù)字、文本、圖形和圖像等信息，通過(guò)嗅覺(jué)器官（鼻子）可以感知?dú)馕缎畔?，通過(guò)觸覺(jué)器官（神經(jīng)末梢）可以感知溫度、粗糙度等信息，通過(guò)味覺(jué)器官（舌頭）可以感知酸甜苦辣等信息。

9.1媒體的基礎(chǔ)知識(shí)媒體的分類（2）表示媒體（RepresentationMedium）：為了處理和傳輸感覺(jué)媒體而人為地研究、構(gòu)造出來(lái)的一類媒體，其目的是使計(jì)算機(jī)能夠方便、有效地加工、處理和傳輸感覺(jué)媒體，通常表現(xiàn)為各種感覺(jué)媒體的編碼，如圖像編碼（JPEG、MPEG）、文本編碼（ASCII碼、GB2312）和聲音編碼（PCM、MP3）等。由于感覺(jué)媒體的多樣性，人們可以聽(tīng)到聲音，看到文字和圖像，但是在計(jì)算機(jī)等硬件系統(tǒng)內(nèi)部，聲音和圖像是看不見(jiàn)摸不著的。表示媒體依據(jù)不同的編碼方式，呈現(xiàn)了多樣的發(fā)展趨勢(shì)。僅圖像就有JPEG、RAW、MPFG、BMP、PNG等多種不同的編碼方式。

9.1媒體的基礎(chǔ)知識(shí)媒體的分類（3）顯示媒體（PresentationMedium）：將編碼形式的媒體顯示成感覺(jué)媒體的設(shè)備或技術(shù)，以完成感覺(jué)媒體和計(jì)算機(jī)中電信號(hào)相互轉(zhuǎn)換的一類媒體，即用于將感覺(jué)媒體進(jìn)行計(jì)算機(jī)輸入輸出的設(shè)備。信息輸入媒體：鍵盤、鼠標(biāo)、話筒、掃描儀、攝像機(jī)、手寫筆等。信息輸出媒體：喇叭、顯示器、打印機(jī)、投影儀、繪圖儀等。嚴(yán)格地講，多媒體技術(shù)包含了上述這些硬件系統(tǒng)的工作原理和實(shí)現(xiàn)方法，但是，從開發(fā)與應(yīng)用的角度看硬件系統(tǒng)比較穩(wěn)定，而軟件系統(tǒng)則更加靈活，因此，人們會(huì)比較多地關(guān)注多媒體軟件的學(xué)習(xí)和研究。

9.1媒體的基礎(chǔ)知識(shí)媒體的分類（4）存儲(chǔ)媒體（StorageMedium）：用于存儲(chǔ)表示媒體（存儲(chǔ)將感覺(jué)媒體數(shù)字化以后的代碼）的物理介質(zhì)。常見(jiàn)的存儲(chǔ)媒體包括軟盤、U盤、硬盤等。曾經(jīng)大行其道的3.5英寸軟盤就屬于軟盤的一種。然而作為移動(dòng)存儲(chǔ)設(shè)備，軟盤無(wú)法克服容量小、速度慢、安全性差等弊端，現(xiàn)在已經(jīng)很少使用。U盤作為閃存芯片，具有體積小、重量輕、功能多、攜帶方便、不易損壞、容量相對(duì)小等特點(diǎn)，適合隨身攜帶，可以隨時(shí)隨地地進(jìn)行數(shù)據(jù)交換，作為理想的數(shù)據(jù)存儲(chǔ)媒體，目前被廣泛應(yīng)用。硬盤作為主要的存儲(chǔ)媒體，其技術(shù)也比較成熟，其中固態(tài)硬盤、機(jī)械硬盤、混合硬盤是較為常見(jiàn)的3種硬盤。

9.1媒體的基礎(chǔ)知識(shí)媒體的分類（5）傳輸媒體（TransmissionMedium）：媒體從一個(gè)地方傳輸?shù)搅硪粋€(gè)地方的物理介質(zhì)，是通信的信息載體，如雙絞線、同軸電纜、光纜、微波等都是常用的傳輸媒體。電磁波比較特殊，盡管也是看不見(jiàn)摸不著的，但確實(shí)是一種物質(zhì)存在，本質(zhì)就是電磁場(chǎng)。大部分媒體工程技術(shù)人員并不是只與同一種媒體技術(shù)打交道，而是需要綜合應(yīng)用多種類型的媒體技術(shù)來(lái)達(dá)到自己的目標(biāo)，這就需要了解各種媒體技術(shù)的特性及它們之間的相互關(guān)系。例如，高級(jí)Web應(yīng)用系統(tǒng)開發(fā)人員需要同時(shí)理解媒體的感知特性、編碼屬性、存儲(chǔ)方式、顯示模式和傳輸方法。可以看出，多媒體學(xué)科正是為實(shí)現(xiàn)這類綜合應(yīng)用發(fā)展起來(lái)的。

9.1媒體的基礎(chǔ)知識(shí)媒體間的關(guān)系在自然狀態(tài)下，感覺(jué)媒體直接作用于人的感覺(jué)器官。在計(jì)算機(jī)處理媒體信息的過(guò)程中，表示媒體是各類媒體的核心。首先需要通過(guò)顯示媒體的輸入設(shè)備將感覺(jué)媒體轉(zhuǎn)換成表示媒體，并存放在存儲(chǔ)媒體中，然后計(jì)算機(jī)從存儲(chǔ)媒體中獲取表示媒體信息后進(jìn)行加工處理，最后利用顯示媒體的輸出設(shè)備將表示媒體還原為感覺(jué)媒體，并最終反饋給應(yīng)用者。媒體間的關(guān)系如圖9.6所示。然而在多媒體技術(shù)中，所說(shuō)的媒體一般是指感覺(jué)媒體。

9.1媒體的基礎(chǔ)知識(shí)媒體間的關(guān)系

9.1媒體的基礎(chǔ)知識(shí)圖9.6媒體間的關(guān)系多媒體的構(gòu)成要素多媒體的構(gòu)成要素通常分為六大類，即文本、聲音、圖形、圖像、動(dòng)畫、視頻。多媒體是由兩種以上單一媒體融合而成的信息綜合表現(xiàn)形式，是多種媒體的綜合、處理和利用的結(jié)果。多媒體實(shí)質(zhì)上是先把文本、圖形、圖像、動(dòng)畫和聲音等不同表現(xiàn)形式的各類媒體信息數(shù)字化，然后利用計(jì)算機(jī)對(duì)數(shù)字化的媒體信息進(jìn)行加工和處理，通過(guò)邏輯連接形成有機(jī)的整體，并通過(guò)計(jì)算機(jī)進(jìn)行綜合處理和控制，使其能支持完成一系列交互式操作。

9.2多媒體技術(shù)計(jì)算機(jī)與多媒體傳統(tǒng)的媒體主要包括廣播、電視、報(bào)紙、雜志等，隨著科學(xué)技術(shù)的發(fā)展，基于傳統(tǒng)媒體，逐漸衍生出新的媒體，如IPTV、電子雜志等。計(jì)算機(jī)技術(shù)也逐漸成為信息社會(huì)的核心技術(shù)，基于計(jì)算機(jī)的多媒體技術(shù)得到越來(lái)越多人的關(guān)注。多媒體技術(shù)最早起源于20世紀(jì)80年代中期。1984年，美國(guó)Apple推出了世界上第一臺(tái)具有多媒體特性的Macintosh計(jì)算機(jī)，其具有圖形用戶界面，并可用鼠標(biāo)進(jìn)行交互。1985年，美國(guó)Commodore推出了世界上第一臺(tái)真正的多媒體系統(tǒng)Amiga，其具有完備的視聽(tīng)處理功能，CD-ROM則實(shí)現(xiàn)了大容量多媒體信息的存儲(chǔ)和處理。1986年，Philips和Sony聯(lián)合研制并推出了CD-I標(biāo)準(zhǔn)，使多媒體信息的存儲(chǔ)規(guī)范化和標(biāo)準(zhǔn)化，用戶可以通過(guò)交互的方式播放光盤中的內(nèi)容。

9.2多媒體技術(shù)計(jì)算機(jī)與多媒體1987年，美國(guó)無(wú)線電公司推出了交互式數(shù)字視頻系統(tǒng)，規(guī)范化和標(biāo)準(zhǔn)化了交互式視頻技術(shù)，用標(biāo)準(zhǔn)光盤來(lái)存儲(chǔ)和檢索靜止圖像、活動(dòng)圖像、聲音等多種信息媒體。1990年，Microsoft和Philips等14家知名廠商制定了多媒體個(gè)人計(jì)算機(jī)標(biāo)準(zhǔn)MPC1，對(duì)多媒體計(jì)算機(jī)所需配置的軟硬件規(guī)定了最低標(biāo)準(zhǔn)和量化指標(biāo)，隨后又陸續(xù)發(fā)布了MPC2、MPC3、MPC4標(biāo)準(zhǔn)。1996年，數(shù)字環(huán)繞音響AC97標(biāo)準(zhǔn)的推出，使聽(tīng)覺(jué)達(dá)到了環(huán)繞立體聲的效果。1997年，Intel推出了具有多媒體擴(kuò)展（MultimediaeXtension，MMX）技術(shù)的奔騰處理器，成為多媒體計(jì)算機(jī)的新標(biāo)準(zhǔn)。多媒體，一般被理解為多種媒體的綜合，但并不是各種媒體的簡(jiǎn)單疊加，而是代表數(shù)字控制和數(shù)字媒體的匯合。

9.2多媒體技術(shù)多媒體技術(shù)的概念多媒體的形成過(guò)程如圖9.10所示，可以看出，多媒體技術(shù)是一門綜合性的信息技術(shù)。它首先通過(guò)計(jì)算機(jī)數(shù)字技術(shù)和通信、廣播等技術(shù)對(duì)各種媒體元素進(jìn)行數(shù)字化存儲(chǔ)、傳輸、處理和控制；然后通過(guò)各種計(jì)算機(jī)軟硬件技術(shù)對(duì)不同的媒體元素進(jìn)行編輯并在它們之間建立邏輯連接，使之成為一個(gè)整體；最后通過(guò)用戶界面和交互技術(shù)（實(shí)質(zhì)上也是計(jì)算機(jī)軟硬件技術(shù)）進(jìn)行封裝之后展示在用戶面前。

9.2多媒體技術(shù)圖9.10多媒體的形成過(guò)程多媒體技術(shù)的特點(diǎn)多媒體技術(shù)的主要特點(diǎn)包括信息載體的多樣性、實(shí)時(shí)性、交互性和集成性。（1）多樣性。是指表示媒體的多樣性，體現(xiàn)在信息采集、傳輸、處理和顯示過(guò)程中，要涉及多種表示媒體的相互作用。（2）實(shí)時(shí)性。實(shí)時(shí)性指用戶可以通過(guò)操作命令（如語(yǔ)言、手勢(shì)或其他肢體動(dòng)作）實(shí)時(shí)控制相應(yīng)的多媒體信息，也指媒體元素之間的同步性，即在人的感官系統(tǒng)能夠接受的情況下進(jìn)行多媒體交互時(shí)，文字、圖像、聲音等媒體元素是連續(xù)的。（3）交互性。交互性使用戶在獲取和使用信息時(shí)變被動(dòng)為主動(dòng)，增加了對(duì)信息的注意和理解，延長(zhǎng)了信息的保留時(shí)間。（4）集成性。集成性是以計(jì)算機(jī)為中心綜合處理多種信息媒體的特性，即將不同的媒體信息有機(jī)地組合在一起，形成一個(gè)完整的整體。

9.2多媒體技術(shù)多媒體硬件系統(tǒng)圖9.11所示為一個(gè)典型的多媒體計(jì)算機(jī)硬件系統(tǒng)，它除包括一個(gè)基本的微型計(jì)算機(jī)的主要配置外，還包括音頻處理設(shè)備、視頻處理設(shè)備、圖像I/O設(shè)備、網(wǎng)絡(luò)連接設(shè)備等各種外部設(shè)備及與各種外部設(shè)備的控制接口卡。目前的多媒體系統(tǒng)中都運(yùn)用了多媒體數(shù)字化技術(shù)（計(jì)算機(jī)信息處理技術(shù)），因此多媒體計(jì)算機(jī)硬件系統(tǒng)是一切多媒體系統(tǒng)的基礎(chǔ)。

9.3多媒體計(jì)算機(jī)系統(tǒng)圖9.11一個(gè)典型的多媒體計(jì)算機(jī)硬件系統(tǒng)多媒體軟件系統(tǒng)多媒體計(jì)算機(jī)的軟件系統(tǒng)按功能劃分為系統(tǒng)軟件和應(yīng)用軟件。系統(tǒng)軟件在多媒體計(jì)算機(jī)系統(tǒng)中負(fù)責(zé)資源的配置和管理、多媒體信息的加工和處理；應(yīng)用軟件則是在多媒體創(chuàng)作平臺(tái)上設(shè)計(jì)、開發(fā)面向應(yīng)用領(lǐng)域的軟件系統(tǒng)。多媒體計(jì)算機(jī)軟件系統(tǒng)的層次結(jié)構(gòu)如圖9.12所示。

9.3多媒體計(jì)算機(jī)系統(tǒng)圖9.12多媒體計(jì)算機(jī)軟件系統(tǒng)的層次結(jié)構(gòu)多媒體外圍設(shè)備多媒體計(jì)算機(jī)除包括常規(guī)計(jì)算機(jī)硬件設(shè)備之外，還包括大容量存儲(chǔ)設(shè)備（如CD-ROMVCD、刻錄機(jī)、U盤存儲(chǔ)器、移動(dòng)硬盤、存儲(chǔ)卡、固態(tài)硬盤）、圖形圖像設(shè)備（如手寫板、掃描儀、攝像機(jī)、照相機(jī)）、音頻設(shè)備（如聲卡、麥克風(fēng)）、視頻設(shè)備（如顯卡、顯示器、視頻采集卡）、網(wǎng)絡(luò)連接設(shè)備（如網(wǎng)卡）等外圍設(shè)備。外圍設(shè)備（簡(jiǎn)稱“外設(shè)”）是計(jì)算機(jī)系統(tǒng)中輸入、輸出設(shè)備（包括外存儲(chǔ)器）的統(tǒng)稱，對(duì)數(shù)據(jù)和信息起傳輸、轉(zhuǎn)送和存儲(chǔ)的作用，是多媒體計(jì)算機(jī)系統(tǒng)中的重要組成部分。圖9.13列舉了常見(jiàn)的外圍設(shè)備。

9.3多媒體計(jì)算機(jī)系統(tǒng)圖9.13常見(jiàn)的外圍設(shè)備多媒體涉及的技術(shù)范圍很廣，技術(shù)很新、研究?jī)?nèi)容很深，是多種學(xué)科和多種技術(shù)交叉的領(lǐng)域。主要技術(shù)范疇如下。（1）多媒體表示與操作，包括數(shù)字聲音及處理、數(shù)字圖像及處理、數(shù)字視頻及處理、數(shù)字動(dòng)畫等技術(shù)。（2）多媒體壓縮，包括通用壓縮編碼、專門壓縮編碼（如聲音、圖像、視頻）等。（3）多媒體存儲(chǔ)與管理，包括光盤存儲(chǔ)（如CD、DVD）、媒體數(shù)據(jù)管理、多媒體版權(quán)保護(hù)等技術(shù)。（4）多媒體傳輸，包括流媒體、P2P等技術(shù)。多媒體技術(shù)研究的主要內(nèi)容包括以下幾個(gè)方面：多媒體數(shù)據(jù)壓縮技術(shù)、多媒體數(shù)據(jù)的組織與管理、多媒體信息的展現(xiàn)與交互、多媒體通信與分布處理、多媒體數(shù)據(jù)庫(kù)和基于內(nèi)容檢索、VR技術(shù)等。

9.4多媒體技術(shù)的研究?jī)?nèi)容多媒體數(shù)據(jù)壓縮技術(shù)在多媒體系統(tǒng)中，處理的媒體信息主要是非常規(guī)數(shù)據(jù)類型（如圖形和圖像、音頻、視頻），并且這些媒體信息數(shù)據(jù)量非常大。例如，一幅具有中等分辨率（640像素×480像素）的真彩色圖像（24位/像素），它每幀的數(shù)據(jù)量約為7.37Mbit。若要達(dá)到25幀/s的全動(dòng)態(tài)顯示要求，每秒所需的數(shù)據(jù)量為184Mbit，而且要求系統(tǒng)的數(shù)據(jù)傳輸速率必須達(dá)到184Mbit/s，這在目前是很難達(dá)到的。同時(shí)，媒體數(shù)據(jù)中間常存在一些多余成分，即冗余度。例如，在圖像中，某些顏色會(huì)重復(fù)出現(xiàn)，或某些顏色比其他顏色出現(xiàn)得更頻繁，這些冗余部分便可在數(shù)據(jù)編碼中被除去或減少。媒體數(shù)據(jù)中間尤其是相鄰的數(shù)據(jù)之間，常存在相關(guān)性，如視頻中相鄰兩幀之間可能只有少量的變化，音頻信號(hào)中具有一定的規(guī)律性和周期性等，可以利用某些變換來(lái)盡可能地去掉這些相關(guān)性。

9.4多媒體技術(shù)的研究?jī)?nèi)容多媒體數(shù)據(jù)壓縮技術(shù)此外，人們?cè)谛蕾p音像節(jié)目時(shí)，由于耳、目對(duì)信號(hào)的時(shí)間變化和幅度變化的感受能力都有一定的極限，如人眼對(duì)影視節(jié)目有視覺(jué)暫留效應(yīng)、人眼或人耳對(duì)低于某一極限的幅度變化已無(wú)法感知等，故可將信號(hào)中這部分感覺(jué)不出的分量壓縮掉或“掩蔽掉”。因此，為了使多媒體技術(shù)達(dá)到實(shí)用水平，除采用新技術(shù)手段增加存儲(chǔ)空間和通信帶寬外，對(duì)數(shù)據(jù)進(jìn)行有效壓縮是多媒體技術(shù)發(fā)展中必須要解決的最關(guān)鍵技術(shù)之一。壓縮技術(shù)經(jīng)過(guò)40多年的發(fā)展及研究，從PCM編碼理論開始，到現(xiàn)今成為多媒體數(shù)據(jù)壓縮標(biāo)準(zhǔn)的JPEG和MPEG，已經(jīng)產(chǎn)生了各種各樣針對(duì)不同用途的壓縮算法、壓縮手段和實(shí)現(xiàn)這些算法的大規(guī)模集成電路或計(jì)算機(jī)軟件。

9.4多媒體技術(shù)的研究?jī)?nèi)容多媒體數(shù)據(jù)的組織與管理多媒體數(shù)據(jù)具有數(shù)據(jù)類型繁多、數(shù)據(jù)量大、關(guān)系復(fù)雜等特點(diǎn)。傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)的能力和方法在處理多媒體數(shù)據(jù)時(shí)往往難以適用，如何組織存儲(chǔ)多媒體數(shù)據(jù)？以什么樣的數(shù)據(jù)模型表達(dá)和模擬這些多媒體信息空間？如何管理多媒體數(shù)據(jù)？如何操縱和查詢多媒體數(shù)據(jù)？因此多媒體數(shù)據(jù)的組織和管理是多媒體信息系統(tǒng)要解決的核心問(wèn)題。目前，人們利用面向?qū)ο蠓椒ê蜋C(jī)制開發(fā)了新一代面向?qū)ο髷?shù)據(jù)庫(kù)，結(jié)合超媒體技術(shù)的應(yīng)用，為多媒體信息的建模、組織和管理提供了有效方法。但是面向?qū)ο髷?shù)據(jù)庫(kù)和多媒體數(shù)據(jù)庫(kù)的研究還不成熟，這一課題是多媒體技術(shù)從業(yè)者的一個(gè)研究方向。

9.4多媒體技術(shù)的研究?jī)?nèi)容多媒體信息的展現(xiàn)與交互在多媒體系統(tǒng)中，各種媒體信息并存，適用于傳統(tǒng)文本式的“顯示”方式顯然已無(wú)法滿足視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、味覺(jué)和嗅覺(jué)等多種媒體信息的綜合與合成。同時(shí)，在多媒體系統(tǒng)開發(fā)時(shí)還要考慮各種媒體的時(shí)空安排和效應(yīng)，相互之間的同步和合成效果，相互作用的解釋和描述等問(wèn)題。盡管影視聲像技術(shù)被廣泛應(yīng)用，但多媒體的時(shí)空合成、同步效果，可視化、可聽(tīng)化及靈活的交互方法等仍是多媒體領(lǐng)域需要研究和解決的棘手問(wèn)題。

9.4多媒體技術(shù)的研究?jī)?nèi)容多媒體通信與分布處理由于多媒體信息數(shù)據(jù)量大、實(shí)時(shí)性強(qiáng)，因此電話網(wǎng)、廣播電視網(wǎng)和計(jì)算機(jī)網(wǎng)絡(luò)等通信網(wǎng)絡(luò)的傳輸性能都不能很好地滿足多媒體數(shù)據(jù)數(shù)字化通信的需求。計(jì)算機(jī)網(wǎng)絡(luò)及其在網(wǎng)絡(luò)上的分布式與協(xié)作操作是廣泛實(shí)現(xiàn)信息共享的前提。多媒體空間的合理分布和有效協(xié)作操作將縮小個(gè)體與群體、局部與全球的工作差距。超越時(shí)空限制、充分利用信息、協(xié)同合作、相互交流、節(jié)省時(shí)間和經(jīng)費(fèi)等是多媒體信息分布的基本目標(biāo)。多媒體通信與分布處理對(duì)多媒體產(chǎn)業(yè)的發(fā)展、普及和應(yīng)用有著舉足輕重的作用，構(gòu)成了整個(gè)產(chǎn)業(yè)發(fā)展的關(guān)鍵和瓶頸。

9.4多媒體技術(shù)的研究?jī)?nèi)容多媒體數(shù)據(jù)庫(kù)和基于內(nèi)容檢索隨著多媒體技術(shù)的迅速普及與應(yīng)用，Internet上涌現(xiàn)出大量的多媒體類型數(shù)據(jù)。例如，在遙感、醫(yī)療、安全、商業(yè)等部門中每天都會(huì)產(chǎn)生大量的圖像信息，這些信息的有效組織管理和檢索都依賴于基于圖像內(nèi)容的檢索?；趫D像內(nèi)容的檢索已成為近年來(lái)多媒體信息檢索領(lǐng)域中最為活躍的研究課題之一?；趫D像內(nèi)容的檢索是根據(jù)其可視特征，如顏色、紋理、形狀、位置、運(yùn)動(dòng)、大小等，從圖像庫(kù)中檢索出與所描述的圖像內(nèi)容相似的圖像。利用圖像可視特征索引，可以大大提高圖像系統(tǒng)的檢索能力。

9.4多媒體技術(shù)的研究?jī)?nèi)容多媒體數(shù)據(jù)庫(kù)和基于內(nèi)容檢索百度圖片等多個(gè)網(wǎng)絡(luò)搜索引擎都相繼推出了以圖搜圖功能，使圖形和圖像搜索更加便捷。常規(guī)的圖片搜索，是通過(guò)輸入關(guān)鍵詞的形式搜索Internet上相關(guān)的圖片資源的，而以圖搜圖則能實(shí)現(xiàn)用戶通過(guò)上傳圖片或輸入圖片的URL地址，從而搜索出Internet上與這張圖片相似的其他圖片資源，同時(shí)找到這張圖片的相關(guān)信息。在音頻方面，借助機(jī)器學(xué)習(xí)領(lǐng)域深度學(xué)習(xí)研究的發(fā)展，以及大數(shù)據(jù)語(yǔ)音材料的積累，語(yǔ)音識(shí)別技術(shù)得到了突飛猛進(jìn)的發(fā)展，新一代移動(dòng)智能終端已經(jīng)可以通過(guò)對(duì)話這一較自然的交流手段實(shí)現(xiàn)人機(jī)交互。語(yǔ)音識(shí)別領(lǐng)域的研究方興未艾，新算法、新思想和新的應(yīng)用系統(tǒng)不斷涌現(xiàn)。新的熱點(diǎn)包括對(duì)非特定人、大詞匯量、連續(xù)語(yǔ)音的聽(tīng)寫機(jī)系統(tǒng)和實(shí)用化系統(tǒng)的研究。

9.4多媒體技術(shù)的研究?jī)?nèi)容VR技術(shù)VR（VirtualReality，虛擬現(xiàn)實(shí)）技術(shù)是當(dāng)今多媒體技術(shù)研究中的熱點(diǎn)技術(shù)之一。它綜合了計(jì)算機(jī)圖形學(xué)、人機(jī)交互、傳感、人工智能等領(lǐng)域的最新成果，以生成一個(gè)具有逼真的三維視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)及嗅覺(jué)的模擬現(xiàn)實(shí)環(huán)境。圖9.14所示為利用VR技術(shù)模擬飛行實(shí)景。

9.4多媒體技術(shù)的研究?jī)?nèi)容圖9.14飛行模擬VR技術(shù)VR是由計(jì)算機(jī)硬件、軟件及各種傳感器所構(gòu)成的三維信息的人工環(huán)境，即虛擬環(huán)境，是可實(shí)現(xiàn)的和不可實(shí)現(xiàn)的物理上的、功能上的事物和環(huán)境，當(dāng)用戶投入這種環(huán)境中，就可與之進(jìn)行交互作用。沉浸、交互和構(gòu)想是VR的基本特征。VR在娛樂(lè)、醫(yī)療、工程和建筑、教育和培訓(xùn)、軍事模擬、科學(xué)和金融可視化等方面得到了應(yīng)用，有很大的發(fā)展空間。采用計(jì)算機(jī)技術(shù)建立感觀世界，包含三層含義：首先，VR是用計(jì)算機(jī)生成的一個(gè)逼真的實(shí)體，即能達(dá)到三維視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)等效果；其次，用戶可以通過(guò)人的自然技能（五官與四肢）與這個(gè)環(huán)境進(jìn)行交互；最后，VR往往要借助一些三維傳感技術(shù)為用戶提供一個(gè)逼真的操作環(huán)境。VR系統(tǒng)的硬件主要有數(shù)據(jù)手套、頭盔、軌跡追蹤裝置、語(yǔ)音識(shí)別裝置及攝像機(jī)等，VR軟件一般涉及數(shù)據(jù)輸入和準(zhǔn)備、仿真和顯示、交互媒體的設(shè)備及控制等功能。VR是多媒體發(fā)展的更高境界，具有更高層次的集成性和交互性，成為多媒體技術(shù)研究中十分活躍的一個(gè)領(lǐng)域。

9.4多媒體技術(shù)的研究?jī)?nèi)容教育與培訓(xùn)教育與培訓(xùn)是多媒體應(yīng)用最活躍的領(lǐng)域之一。人們大都認(rèn)可這樣一種說(shuō)法：學(xué)習(xí)者能夠記住20%他們聽(tīng)到的，40%他們同時(shí)聽(tīng)到和看到的；75%他們聽(tīng)到、看到，并且動(dòng)手做到的。顯然，采用多媒體技術(shù)的教學(xué)和培訓(xùn)能夠更有效地提高學(xué)習(xí)者的興趣，使學(xué)習(xí)者的注意力更加集中，并且能加快知識(shí)消化和吸收的速度。多媒體教學(xué)和培訓(xùn)的形式非常多樣，典型的是采用多媒體教室，教師可以利用如圖9.15所示的多媒體教學(xué)系統(tǒng)。

9.5多媒體技術(shù)的應(yīng)用領(lǐng)域圖9.15多媒體教學(xué)系統(tǒng)過(guò)程模擬科學(xué)家在設(shè)備運(yùn)行、洋流分布、天體演化、生物進(jìn)化等過(guò)程中采用多媒體技術(shù)進(jìn)行過(guò)程模擬，使人們生動(dòng)、形象地了解事物變化的原理和關(guān)鍵環(huán)節(jié)，為揭示事物變化規(guī)律和本質(zhì)起到重要作用。若進(jìn)一步實(shí)現(xiàn)智能過(guò)程模擬，則會(huì)獲得更好的效果和更理想的過(guò)程。例如，20世紀(jì)60年代發(fā)現(xiàn)的ras蛋白的基因，作為第一個(gè)發(fā)現(xiàn)的與人類癌癥相關(guān)的基因，研究發(fā)現(xiàn)有超過(guò)三分之一的癌癥與這個(gè)蛋白的突變相關(guān)。如果科學(xué)家能夠?qū)as蛋白形成的聚集簇及其相互作用的蛋白有更深入的了解，則會(huì)使我們對(duì)癌癥有進(jìn)一步的了解。研究人員利用德州高級(jí)計(jì)算中心的超級(jí)計(jì)算機(jī)對(duì)ras蛋白在細(xì)胞膜表面的形態(tài)做了動(dòng)態(tài)模擬，模擬發(fā)現(xiàn)了ras蛋白新的結(jié)合位點(diǎn)。研究人員試圖對(duì)一些新的結(jié)合位點(diǎn)做小分子的結(jié)合實(shí)驗(yàn)，以探究ras蛋白的活性，更進(jìn)一步地篩選可能的藥物來(lái)治療癌癥。這是多媒體技術(shù)在過(guò)程模擬應(yīng)用場(chǎng)景中的典型實(shí)例。

9.5多媒體技術(shù)的應(yīng)用領(lǐng)域商業(yè)廣告在商業(yè)活動(dòng)中，使用多媒體技術(shù)能夠圖文并茂地展示產(chǎn)品、游覽景點(diǎn)和其他宣傳內(nèi)容。用戶在與多媒體系統(tǒng)交互過(guò)程中，能獲取商品更多的信息，商家也可通過(guò)對(duì)商品的多媒體形象進(jìn)行選擇與加工，吸引潛在客戶。例如，淘寶電商在推銷某一商品時(shí)，可將該商品的外貌、材質(zhì)、用途、規(guī)格等用文字、圖形和圖像表現(xiàn)出來(lái)，還可制作多媒體視頻并加入對(duì)應(yīng)的解說(shuō)，顧客通過(guò)觀看商品網(wǎng)頁(yè)上的信息就可以對(duì)所購(gòu)商品有直觀的了解，從而最大程度地減少購(gòu)買后商品不適用的情況發(fā)生。

9.5多媒體技術(shù)的應(yīng)用領(lǐng)域影視娛樂(lè)隨著多媒體技術(shù)的發(fā)展，影視與游戲娛樂(lè)產(chǎn)業(yè)作為計(jì)算機(jī)應(yīng)用的一個(gè)重要領(lǐng)域也發(fā)生了翻天覆地的變化。傳統(tǒng)的電影大多采用真人演繹、實(shí)景拍攝制作完成。多媒體技術(shù)的出現(xiàn)，突破了現(xiàn)實(shí)的束縛，聲、文、圖并茂的實(shí)體模型或虛擬背景可以最大限度地實(shí)現(xiàn)主創(chuàng)人員的天馬行空，逼真的畫面與音效也為觀眾帶來(lái)了前所未有的視聽(tīng)盛宴。在游戲制作方面，多媒體技術(shù)的應(yīng)用簡(jiǎn)化了游戲開發(fā)環(huán)節(jié)，大量精良、價(jià)廉物美的游戲產(chǎn)品備受人們的歡迎，成為啟迪兒童智慧、豐富成年人娛樂(lè)活動(dòng)的有益補(bǔ)充。

9.5多媒體技術(shù)的應(yīng)用領(lǐng)域影視娛樂(lè)20世紀(jì)80年代開始，計(jì)算機(jī)多媒體技術(shù)開始在電影行業(yè)嶄露頭角。1982年，在電影《星際旅行2：可汗怒吼》中首度使用了全數(shù)字的動(dòng)畫技術(shù)。同年，《電子世界爭(zhēng)霸戰(zhàn)》成為第一部有明顯計(jì)算機(jī)動(dòng)畫場(chǎng)景的真人電影，片中包括了超過(guò)20分鐘的三維計(jì)算機(jī)動(dòng)畫。20世紀(jì)90年代，計(jì)算機(jī)動(dòng)畫特效開始大量用于真人電影中，較著名的例子有《魔鬼終結(jié)者》、《侏羅紀(jì)公園》、《阿甘正傳》及《泰坦尼克號(hào)》。同時(shí)，在動(dòng)畫片中也開始采用越來(lái)越多的計(jì)算機(jī)動(dòng)畫。1995年，皮克斯公司制作了第一部完全用三維計(jì)算機(jī)動(dòng)畫制作的劇情片《玩具總動(dòng)員》并獲得了空前的成功。21世紀(jì)，計(jì)算機(jī)動(dòng)畫特效越來(lái)越多地應(yīng)用于真人電影。最著名的例子之一就是《阿凡達(dá)》，雖然該影片僅25%的內(nèi)容使用了傳統(tǒng)的外景拍攝，但使用了大量的數(shù)字影像捕捉技術(shù)，由此來(lái)滿足現(xiàn)場(chǎng)和后期的高質(zhì)量影像合成的需要。

9.5多媒體技術(shù)的應(yīng)用領(lǐng)域旅游業(yè)旅游廣告的制作者與廣告受眾的互動(dòng)，向用戶提供了豐富的、立體化的、直接的信息，有效滿足了不同受眾、不同需要和習(xí)慣，實(shí)現(xiàn)了廣告的個(gè)性化。此外，數(shù)字多媒體呈現(xiàn)技術(shù)借助網(wǎng)絡(luò)社交媒體獲得了夢(mèng)寐以求的受眾資源。例如，2009年火爆全球的澳大利亞大堡礁“護(hù)島人”的全球選拔，這份“世界上最好的工作”，只需用6個(gè)月的時(shí)間在風(fēng)景如畫的島嶼上散散步、喂喂魚、寫寫博客，告訴外面的人自己在島嶼上的“探索之旅”，就可以得到15萬(wàn)澳元（約為70萬(wàn)人民幣）的薪酬。這個(gè)工作其實(shí)是昆士蘭旅游局精心策劃的大堡礁旅游產(chǎn)業(yè)推廣活動(dòng)。與其說(shuō)是護(hù)島人，其實(shí)是大堡礁的體驗(yàn)者。昆士蘭旅游局通過(guò)體驗(yàn)式營(yíng)銷的方式來(lái)向世界宣揚(yáng)大堡礁的美妙之處，同時(shí)充分利用招聘過(guò)程的吸引力成功進(jìn)行營(yíng)銷、造勢(shì)，以吸引全世界旅游者的關(guān)注，大大提升了大堡礁在全球的知名度。

9.5多媒體技術(shù)的應(yīng)用領(lǐng)域通信領(lǐng)域現(xiàn)代通信系統(tǒng)是人類為克服時(shí)空限制而發(fā)展的信息傳播技術(shù)。數(shù)字通信是用數(shù)字信號(hào)作為載體來(lái)傳輸信息的，或用數(shù)字信號(hào)先對(duì)載波進(jìn)行數(shù)字調(diào)制再傳輸?shù)耐ㄐ欧绞健Ｋ蓚鬏旊妶?bào)、數(shù)字?jǐn)?shù)據(jù)等數(shù)字信號(hào)，也可傳輸經(jīng)過(guò)數(shù)字化處理的語(yǔ)音和圖像等模擬信號(hào)。數(shù)字通信系統(tǒng)通常由用戶設(shè)備、編碼和解碼、調(diào)制和解調(diào)、加密和解密、傳輸和交換設(shè)備等組成。多媒體通信是指在一次呼叫過(guò)程中能同時(shí)提供多種媒體信息，如聲音、圖像、圖形、數(shù)據(jù)、文本等的新型通信方式，所以，它是通信技術(shù)和多