大學(xué)計算機(jī)基礎(chǔ)-多媒體技術(shù)基礎(chǔ)課件

1、第七章 多媒體技術(shù)基礎(chǔ)教學(xué)目標(biāo)了解多媒體的概念，掌握多媒體數(shù)據(jù)壓縮技術(shù)掌握多媒體信息的展現(xiàn)與交互掌握多媒體通信的關(guān)鍵技術(shù)，了解多媒體通信的應(yīng)用了解虛擬現(xiàn)實(shí)的定義、重要特征和硬軟件基礎(chǔ)，掌握虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)知識要點(diǎn)多媒體的概念和多媒體的基本特征多媒體數(shù)據(jù)壓縮技術(shù)，包括多媒體數(shù)據(jù)壓縮的必要性、可行性和方法多媒體信息的展現(xiàn)與交互虛擬現(xiàn)實(shí)技術(shù)的定義、特征，虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和主要應(yīng)用領(lǐng)域舉案引思1、物理課 有位高中物理老師在講授天體運(yùn)動規(guī)律，當(dāng)講解到星系繞太陽運(yùn)動的軌跡時，老師無論怎么解釋，學(xué)生們都好像在云里霧里，感覺似乎很抽象。有沒有能夠讓學(xué)生直觀感受的方法呢？2、電影片花 大家都看過電影

2、的宣傳片，那么有沒有人知道電影片花是如何制作成的呢？為什么電影片花能夠吸引人的眼球呢？3、故宮 你去過故宮嗎？你想去嗎？能不能在家里就可以感受旅游故宮的感覺呢？7.1 多媒體的概念1、多媒體概述一、感覺媒體 能直接作用于人的感覺器官、使人產(chǎn)生直接感覺的媒體。如圖像、文字、動畫、音樂等均屬于感覺媒體。二、顯示媒體 在通信中使電信號和感覺媒體之間產(chǎn)生轉(zhuǎn)換用的媒體。如鍵盤、鼠標(biāo)、顯示器、打印機(jī)等均屬于顯示的媒體。三、表示媒體 為了傳送感覺媒體而研究出來的媒體。如電報碼、語言編碼等均屬于表示媒體。四、存儲媒體 用于存儲信號的媒體。如磁盤、光盤、磁帶等均屬于存儲媒體。五、傳輸媒體 用于傳輸信號的媒體。如

3、光纜電纜等均屬于傳輸媒體。感覺媒體：它們直接作用于人的感官，使人能直接產(chǎn)生感覺。表示媒體：是信息在計算機(jī)中的表示，通常是信息的各種編碼。顯示媒體：用于表達(dá)信息，是信息的輸入和輸出設(shè)備。存儲媒體：用于存儲信息，是存放表示媒體的實(shí)體。傳輸媒體：用于信息的傳輸，是傳輸介質(zhì)。它是媒體從一處傳到另一處的物理載體。 多媒體技術(shù)中媒體主要是指信息的表示形式，即信息在計算機(jī)內(nèi)部的表示。1. 媒體幾種形式 例如，語言、聲音、文字、圖形、圖像和動畫等。例如,ASCII編碼、漢字編碼、語音編碼和圖像編碼等。 例如，鍵盤、鼠標(biāo)、攝像機(jī)、話筒、光筆、顯示器、掃描儀和打印機(jī)等。例如，軟盤、硬盤、磁帶、光盤和半導(dǎo)體存儲器等

4、。例如，雙絞線、同軸電纜和光纖等。 多媒體是文本、圖形、圖像、音頻、視頻和動畫等“多重媒體”的集合。多媒體信息從時效上可分為兩大類： 2. 多媒體 靜態(tài)媒體：包括文本、圖形和圖像。 動態(tài)媒體：包括音頻、視頻和動畫。 文本、圖形、圖像、音頻、視頻和動畫3. 多媒體信息的類型 文本（Text）：是計算機(jī)中基本的信息表示方式，包含數(shù)字、字母、符號和漢字。以文本文件形式存儲。可用文字處理軟件（如記事本和Word等）對文本進(jìn)行編輯，也可對文本進(jìn)行識別、翻譯和發(fā)聲等操作。圖形（Graphics）：一般是指由計算機(jī)通過繪圖軟件繪制的畫面，由點(diǎn)、線、面、體等組合而成，以矢量圖形文件形式存儲。圖像（Image）

5、：實(shí)際場景的靜止畫面，經(jīng)數(shù)字化后以位圖格式存儲。如照片和畫片等。音頻（Audio）：自然界的聲音經(jīng)數(shù)字化后以音頻文件格式存儲。視頻（Video）：是由攝像機(jī)等輸入設(shè)備獲取的活動畫面，數(shù)字化后以視頻文件格式存儲。動畫（Animation）：是利用了人眼的視覺特性所得到的，當(dāng)一系列形或像的畫面按一定時間在人的視線中經(jīng)過時，人腦就會產(chǎn)生物體運(yùn)動的印象。多媒體技術(shù)特點(diǎn) 多媒體技術(shù)是指利用計算機(jī)技術(shù)將多種媒體信息綜合一體化，使它們建立起邏輯聯(lián)系，并能進(jìn)行加工處理的技術(shù)?！凹庸ぬ幚怼敝饕菍@些媒體進(jìn)行錄入、壓縮、存儲、傳輸、解壓和顯示等。多媒體技術(shù)是一種基于計算機(jī)的、跨學(xué)科的綜合技術(shù)，具有許多特點(diǎn)。 多

6、樣性集成性交互性實(shí)時性數(shù)字化多媒體技術(shù)涉及到多樣化信息，多樣性是多媒體技術(shù)的主要特征 集成性是指以計算機(jī)為中心，綜合處理多種信息媒體的特性 交互性是指用戶與計算機(jī)之間進(jìn)行數(shù)據(jù)交換、媒體交換和控制權(quán)交換的一種特性。 意味著多媒體系統(tǒng)在處理信息時有著嚴(yán)格的時序要求和很高的速度要求。數(shù)字化是指各種媒體信息都以數(shù)字形式（0和1的方式）進(jìn)行存儲和處理 多媒體信息處理關(guān)鍵技術(shù) 多媒體信息處理與應(yīng)用需要一系列相關(guān)技術(shù)的支持，以下幾個方面是多媒體信息處理的關(guān)鍵技術(shù)，也是多媒體研究的熱點(diǎn)。 計算機(jī)系統(tǒng)技術(shù) 多媒體數(shù)據(jù)壓縮技術(shù) 多媒體數(shù)據(jù)存儲技術(shù) 多媒體數(shù)據(jù)庫技術(shù) 多媒體網(wǎng)絡(luò)與通信技術(shù)多媒體系統(tǒng)的物質(zhì)基礎(chǔ) 多媒體

7、技術(shù)中最關(guān)鍵的一環(huán) 模擬信號數(shù)字信號編碼壓縮CD-ROM光盤容量650MB左右DVD光盤，單面單密度容量為4.7GB，雙面雙密度容量可達(dá)17GB 多媒體數(shù)據(jù)庫存儲大量圖形、圖像、音頻和視頻等非結(jié)構(gòu)化數(shù)據(jù) 通過寬帶高速網(wǎng)絡(luò)系統(tǒng)將多個獨(dú)立的多媒體計算機(jī)連接成局域網(wǎng)，或者是跨地區(qū)的廣域網(wǎng)，實(shí)現(xiàn)多媒體通信和多媒體信息資源共享 2、多媒體的基本特征一、集成性 多媒體技術(shù)綜合利用了多種設(shè)備對各種信息進(jìn)行表現(xiàn)和集成。二、多維性 多媒體綜合利用了視頻處理技術(shù)、音頻處理技術(shù)、圖形處理技術(shù)、圖像處理技術(shù)、網(wǎng)絡(luò)通信技術(shù)，擴(kuò)大了人類處理信息的自由度，多媒體作品帶給人的感官刺激是多維的。三、交互性 多媒體是以計算機(jī)為中

8、心的，它具有很強(qiáng)的交互性。借助于鍵盤、鼠標(biāo)、聲音、觸摸屏等，通過計算機(jī)程序人們就可以控制各種媒體的播放。四、數(shù)字化 多媒體系統(tǒng)對各種媒體信息的處理、存儲過程是全數(shù)字化的。數(shù)字技術(shù)的優(yōu)越性使多媒體系統(tǒng)可以高質(zhì)量地實(shí)現(xiàn)圖像與聲音的再現(xiàn)、編輯和特技處理。7.2 多媒體數(shù)據(jù)壓縮技術(shù)1、多媒體數(shù)據(jù)壓縮的必要性 數(shù)字化信息的數(shù)據(jù)量十分龐大，無疑給存儲器的存儲量、通信干線的信道傳輸率以及計算機(jī)的速度都增加了極大的壓力。如果單純靠擴(kuò)大存儲器容量、增加通信干線傳輸率的辦法來解決問題是不現(xiàn)實(shí)的。 通過數(shù)據(jù)壓縮技術(shù)可以大大降低數(shù)據(jù)量，以壓縮的形式存儲和傳輸，既節(jié)約了存儲空間，又提高了通信干線的傳輸效率，同時也使計算

9、機(jī)得以實(shí)時處理音頻、視頻信息，保證播放出高質(zhì)量的視頻和音頻節(jié)目。2、多媒體數(shù)據(jù)壓縮的可行性一、空間冗余 在靜態(tài)圖像中有一塊表面顏色均勻的區(qū)域，在這個區(qū)域中所有點(diǎn)的光強(qiáng)和色彩以及色飽和度都相同，具有很大的空間冗余。二、時間冗余 電視圖像、動畫等序列圖片，當(dāng)其中物體有位移時，后一幀的數(shù)據(jù)與前一幀的數(shù)據(jù)有許多共同的地方，這種冗余稱為時間冗余。三、結(jié)構(gòu)冗余 在有些圖像的紋理區(qū)，圖像的像素值存在著明顯的分布模式。例如，方格狀的地板圖案等，稱此為結(jié)構(gòu)冗余。四、知識冗余 對于圖像中重復(fù)出現(xiàn)的部分，我們可以構(gòu)造出基本模型，并創(chuàng)建對應(yīng)各種特征的圖像庫，進(jìn)而使圖像的存儲只需要保存一些特征參數(shù)，從而可以大大減少數(shù)據(jù)

10、量。2、多媒體數(shù)據(jù)壓縮的可行性五、視覺冗余 人的視覺系統(tǒng)對圖像的敏感性是非均勻性和非線性的。在記錄原始的圖像數(shù)據(jù)時，對人眼看不見或不能分辨的部分進(jìn)行記錄顯然是不必要的。因此，大可利用人的視覺的非均勻性和非線性，降低視覺冗余。六、圖像區(qū)域的相同性冗余 是指在圖像中的兩個或多個區(qū)域所對應(yīng)的所有像素值相同或相近，從而產(chǎn)生的數(shù)據(jù)重復(fù)性存儲，這就是圖像區(qū)域的相似性冗余。3、多媒體數(shù)據(jù)壓縮方法一、無損壓縮：也稱為可逆壓縮、無失真編碼、熵編碼等。 工作原理為去除或減少冗余值，但這些被去除或減少的冗余值可以在解壓縮時重新插入到數(shù)據(jù)中以恢復(fù)原始數(shù)據(jù)。它大多使用在對文本和數(shù)據(jù)的壓縮上，壓縮比較低，大致在2:15:

11、1之間。典型算法有：哈夫曼編碼、香農(nóng)-費(fèi)諾編碼、算術(shù)編碼、游程編碼和Lenpel-Ziv編碼等。二、有損壓縮：也稱不可逆壓縮和熵壓縮等。 這種方法在壓縮時減少了數(shù)據(jù)信息是不能恢復(fù)的。在語音、圖像和動態(tài)視頻的壓縮中，經(jīng)常采用這類方法。它對自然景物的彩色圖像壓縮，壓縮比可達(dá)到幾十倍甚至上百倍。3、多媒體數(shù)據(jù)壓縮方法PCM自適應(yīng)式、固定式多媒體數(shù)據(jù)編碼算法預(yù)測編碼自適應(yīng)式、固定式（DPCM、M）混合編碼變換編碼傅里葉、離散余弦、離散正統(tǒng)、哈爾、斜變換、沃爾-哈達(dá)馬、卡胡南-勞夫（K-L）、小波統(tǒng)計編碼(熵編碼)哈夫曼編碼、算術(shù)編碼、費(fèi)諾編碼、香農(nóng)編碼、游程編碼（RLE）、LZW靜態(tài)圖像編碼方塊、逐漸

12、浮現(xiàn)、逐層內(nèi)插、比特平面、抖動電視編碼幀內(nèi)預(yù)測幀間編碼運(yùn)動估計、運(yùn)動補(bǔ)償、條件補(bǔ)充、內(nèi)插、幀間預(yù)測其他編碼矢量量化、子帶編碼、輪廓編碼、二值圖像多媒體數(shù)據(jù)壓縮技術(shù) 多媒體信息經(jīng)過數(shù)字化處理后其數(shù)據(jù)量是非常大的，如果不進(jìn)行數(shù)據(jù)壓縮處理，計算機(jī)系統(tǒng)就無法對它進(jìn)行存儲、傳輸和處理。 解決這一難題的有效方法就是數(shù)據(jù)壓縮編碼.數(shù)據(jù)壓縮的可行性 一般情況下，多媒體原始數(shù)據(jù)被壓縮后存放在磁盤上，或以壓縮形式來傳輸；當(dāng)使用時應(yīng)將其還原，稱為解壓縮。壓縮潛力1 數(shù)據(jù)中存在大量冗余（相關(guān)性）。如空間冗余、時間冗余、結(jié)構(gòu)冗余和知識冗余?？臻g冗余：在同一幅圖像中,規(guī)則物體和規(guī)則背景的表面物理特性具有相關(guān)性。時間冗余：

13、圖像序列中的兩幅相鄰的圖像之間有較大的相關(guān)性。初始文件壓縮文件解壓縮文件壓縮解壓縮數(shù)據(jù)壓縮和解壓縮的過程 結(jié)構(gòu)冗余：在有些圖像的紋理區(qū)，圖像的像點(diǎn)值存在著明顯的分布模式。 知識冗余：有許多圖像的理解與某些基礎(chǔ)知識有相當(dāng)大的相關(guān)性。 例如，人臉的圖像有固定的結(jié)構(gòu)。比如說嘴的上方有鼻子,鼻子的上方有眼睛,鼻子位于臉的中線上等等。 壓縮潛力2 對于圖像、音頻和視頻等，人的感知可容忍某些細(xì)節(jié)信息的丟失（失真）。如視覺冗余和聽覺冗余。視覺冗余：人類視覺系統(tǒng)并不是對圖像的任何變化都很敏感。事實(shí)上人類視覺系統(tǒng)一般分辨能力約為26灰度等級，而一般圖像量化采用28灰度等級，這類冗余稱為視覺冗余。 例如，人的視覺

14、對于邊緣的急劇變化不敏感，且人眼對圖像的亮度信息敏感，對顏色的分辨率弱等。聽覺冗余：人類聽覺系統(tǒng)對不同頻率聲音的敏感程度不同，而且受環(huán)境的影響，聲音之間還存在掩蔽效應(yīng)。比如，太高或太低的聲音都聽不到。在嘈雜的環(huán)境下，聽不到較低的聲音，別人的聲音可以蓋過你的聲音，這類冗余稱為聽覺冗余。 數(shù)據(jù)壓縮方法 數(shù)據(jù)壓縮是通過編碼技術(shù)減少數(shù)據(jù)冗余來降低數(shù)據(jù)存儲時所需空間，當(dāng)數(shù)據(jù)使用時，再進(jìn)行解壓縮。根據(jù)對壓縮數(shù)據(jù)經(jīng)解壓縮后是否能準(zhǔn)確地恢復(fù)壓縮前的數(shù)據(jù)來分類，分成無損壓縮和有損壓縮兩類。 衡量數(shù)據(jù)壓縮技術(shù)的好壞有四個主要指標(biāo)： 壓縮比要大：壓縮前后所需的存儲空間比要大。 算法要簡單：壓縮/解壓縮速度快，以滿足

15、實(shí)時性要求。 壓縮損失要少：失真小，即解壓恢復(fù)的效果要好。 開銷要?。簩?shí)現(xiàn)壓縮的軟硬件開銷要小。 當(dāng)四者不能兼得時，要綜合考慮。 無損壓縮 無損壓縮的壓縮過程是可逆的，也就是說，從壓縮后的數(shù)據(jù)能夠完全恢復(fù)出原來的數(shù)據(jù)，信息沒有任何丟失。原始數(shù)據(jù)還原成原始數(shù)據(jù)壓縮后數(shù)據(jù)壓縮解壓縮 無損壓縮的原理是統(tǒng)計被壓縮數(shù)據(jù)中重復(fù)數(shù)據(jù)的出現(xiàn)次數(shù)來進(jìn)行編碼。一般用于文本、數(shù)據(jù)、程序以及重要圖片和圖像數(shù)據(jù)（指紋圖像、醫(yī)學(xué)圖像等)的壓縮。 無損壓縮比一般為21到51，因此不適合實(shí)時處理圖像、視頻和音頻數(shù)據(jù)。 典型的無損壓縮編碼有哈夫曼編碼、行程編碼、Lempel zev編碼和算術(shù)編碼等。 哈夫曼編碼是一種統(tǒng)計編碼,

16、它是根據(jù)信源符號出現(xiàn)概率的分布特性而進(jìn)行壓縮編碼。 在信源符號和碼字之間建立明確的一一對應(yīng)關(guān)系，以便在恢復(fù)時能準(zhǔn)確地再現(xiàn)原信號，同時要使平均碼長或碼率盡量小。 一般數(shù)據(jù)都是用固定長度的編碼，例如，ASCII碼采用8位二進(jìn)制數(shù)來表示一個英文字母。 哈夫曼編碼是用不固定長度的二進(jìn)制編碼代替原始數(shù)據(jù)的，將那些出現(xiàn)頻率高的數(shù)據(jù)用較短的編碼來表示，而出現(xiàn)頻率低的那些數(shù)據(jù)用較長的編碼來表示，從而實(shí)現(xiàn)數(shù)據(jù)的壓縮。JPEG 圖形格式得壓縮就是通過哈夫曼編碼實(shí)現(xiàn)的。4、量化一、比特率 比特率是采樣率和量化過程中使用的比特數(shù)的產(chǎn)物。用例子說明更容易理解，電話通信中，語音信號的帶寬約3kHz，根據(jù)奈奎斯特定理，意味

17、著采樣頻率應(yīng)不低于6kHz。 為了留下一定余量可選擇標(biāo)準(zhǔn)采樣頻率為8kHz，使用一個8位的量化器，那么該電話通信所要求的比特率為：8K8=64Kb/s。二、量化原理 量化處理是使數(shù)據(jù)比特率下降的一個強(qiáng)有力的措施。脈沖編碼調(diào)制(PCM)的量化處理在采樣之后進(jìn)行，從原理分析的角度看，圖像灰度值是連續(xù)的數(shù)值，而我們實(shí)際看到的是用0255的整數(shù)表示的圖像灰度，這是經(jīng)過A/D轉(zhuǎn)換后的以256級灰度分層量化處理了的離散數(shù)值，這樣就可以用2256=8位表示一個圖像像素的灰度值?；蛏钚盘栔?，假設(shè)是彩色圖像。4、量化三、標(biāo)量量化器的設(shè)計（1）量化器的設(shè)計要求通常設(shè)計量化器有下述兩種情況：給定量化分層級數(shù)，滿足

18、量化誤差最小。限定量化誤差，確定分層級數(shù)，滿足用盡量小的平均比特數(shù)表示量化輸出的要求。顯然，這是一對相互矛盾的要求，設(shè)計量化器只能折衷處理。（2）量化方法和量化特性量化方法有標(biāo)量量化和矢量量化之分，標(biāo)量量化又可分為均勻量化、非均勻量化和自適應(yīng)量化。聲音特性當(dāng)物體在空氣中震動時，便會發(fā)出連續(xù)波，叫聲波，這種波傳到人的耳朵，引起耳膜震動，這就是人們聽到的聲音。 聲波在時間上和幅度（振幅）上都是連續(xù)變化的模擬信號，可用模擬正弦波形表示。 波形相對基線的最大位移稱為振幅A，反映聲音的音量;將波形中兩個相鄰波峰（或波谷）之間距離稱為震動周期T，周期的倒數(shù)1/T即為頻率f,以赫茲（Hz）為單位，是聲音每秒

19、鐘變化次數(shù)，周期和頻率反映了聲音的音調(diào)。 人們通常聽到的聲音并不是單一頻率聲音，而是許許多多個頻率的復(fù)合，將聲音信號的頻率范圍稱為帶寬。 聲音的波形表示、采樣和量化 聲源類型頻帶寬度(Hz)男聲語音100 9000女聲語音150 10000電話語音200 3400調(diào)頻廣播（FM）20 15000調(diào)幅廣播（AM）50 7000高級音響設(shè)備重放20 20000寬帶音響設(shè)備重放10 40000音頻信息表示 音頻信號在時間上和幅度上都是連續(xù)的，將在時間和幅度上都連續(xù)的信號稱為模擬信號。 1. 模擬音頻數(shù)字化 計算機(jī)對音頻信息處理，就要將模擬信號轉(zhuǎn)換成數(shù)字信號，將這一轉(zhuǎn)換過程稱為模擬音頻數(shù)字化。模擬音頻

20、數(shù)字化過程涉及到音頻采樣、量化和編碼。 采樣量化編碼聲音模擬信號聲音數(shù)字信號模擬音頻的數(shù)字化過程 采樣：是每隔一定時間間隔在模擬波形上取一個值，將時間上連續(xù)信號變成時間上離散信號。 如果時間間隔相等，則稱為均勻采樣，該時間間隔為采樣周期，其倒數(shù)為采樣頻率。 采樣頻率即每秒采樣次數(shù)，采樣頻率越高，數(shù)字化音頻質(zhì)量越好，但數(shù)據(jù)量越大。對于電話語音信號，最高頻率為3400Hz，所需采樣頻率至少為6800Hz，在實(shí)際應(yīng)用中，采樣頻率規(guī)定為8000Hz。 奈奎斯特理論：如果采樣頻率不低于信號最高頻率的兩倍，就能將數(shù)字表達(dá)的聲音還原成原來的模擬聲音。量化：量化是將每個采樣點(diǎn)得到的幅度值以數(shù)字形式存儲。 二倍

21、于最高頻率的采樣頻率是數(shù)字化聲音再現(xiàn)的必要條件，而非充分條件，它還與幅值的量化級別有關(guān)。 048 9 9840000111111111010001000011011 量化的位數(shù)越多，則可以更細(xì)膩的表現(xiàn)采樣點(diǎn)間的梯度，聲音質(zhì)量也越好，但聲音文件也越大。2. 數(shù)字音頻的存儲 數(shù)字化音頻質(zhì)量的指標(biāo)有三項(xiàng)：采樣頻率、量化位數(shù)（即采樣精度）和聲道數(shù)。 聲道數(shù)指聲音通道的個數(shù)。記錄聲音時，如果每次生成一個聲波數(shù)據(jù)，稱為單聲道；每次生成兩個聲波數(shù)據(jù)，稱為雙聲道，即立體聲。 編碼：存儲在計算機(jī)中的數(shù)字化聲音并不是聲音的真正幅值，而是幅值代碼。將采集的物理量轉(zhuǎn)換為計算機(jī)中代碼的過程稱為編碼。 在自然界中，聲音除

22、了音量音調(diào)屬性外，還存在一個聲源位置的問題， 聲音數(shù)字化的采樣頻率和量化級越高，聲道數(shù)越多，結(jié)果越接近原始聲音，但記錄數(shù)字聲音所需存儲空間也隨之增加。數(shù)據(jù)率（b/s）= 采樣頻率（Hz） 采樣精度（b） 聲道數(shù) 數(shù)字化1秒聲音所需數(shù)據(jù)位數(shù)（bit或b）稱為數(shù)據(jù)率。例如 用44.10kHz的采樣頻率，每個采樣點(diǎn)用16位的精度存儲，雙聲道， 則錄制1秒鐘的立體聲節(jié)目，數(shù)據(jù)率為：44100 16 2 = 1411200（b/s）采樣頻率（Hz） 采樣精度（b） 聲道數(shù) =數(shù)據(jù)率（b/s）7.3 多媒體信息的交互與展現(xiàn) 隨著信息技術(shù)的發(fā)展，傳統(tǒng)媒體已經(jīng)難以適應(yīng)大量信息集成、實(shí)時交互的要求，多媒體技術(shù)應(yīng)

23、運(yùn)而生。多媒體技術(shù)使得人們能夠?qū)⑽谋?、圖形、圖像、視頻、動畫、聲音等媒體整合在一起成為一個完整的交互系統(tǒng)，為信息傳播和大眾交流起到重要的作用。多媒體我們聽其名字來講就是聲音、圖像和數(shù)據(jù)的混合體，它是一種混合的數(shù)字信息，多種信息在此聚集，因此多媒體有集成性。多媒體還可以通過人機(jī)界面實(shí)現(xiàn)人和機(jī)器之間的信息交流、控制和傳播，這也就是多媒體的另一大特性交互性，它是多媒體技術(shù)的核心，也是我們主要研究的部分，它使多媒體技術(shù)其他特性的優(yōu)勢更突出，功能更強(qiáng)大。7.3 多媒體信息的交互與展現(xiàn) 多媒體的交互性其實(shí)就是指用戶能夠通過多種輸入輸出設(shè)備與系統(tǒng)進(jìn)行“對話”，銀行的觸摸式的電腦就是實(shí)現(xiàn)用戶和總機(jī)系統(tǒng)的互動，

24、系統(tǒng)根據(jù)客戶點(diǎn)擊的指令為客戶服務(wù)。所以交互設(shè)計其實(shí)是很重要的，為用戶提供一個可交互的界面是關(guān)鍵。交互設(shè)計不僅表現(xiàn)在信息的控制、組織、傳遞，更重要的是能對信息的內(nèi)容和形式進(jìn)行分解、加工、改造、轉(zhuǎn)換，創(chuàng)造出一種新的信息內(nèi)容和形式，受眾從這些變化中獲得新的知識或驗(yàn)證知識。7.4 多媒體通信技術(shù)1、多媒體通信的特點(diǎn)一、多媒體數(shù)據(jù)量大，類型多，因此要求有較大的存儲容量， 足夠的傳輸帶寬?？傮w上說，傳輸帶寬在100 Mb/s的網(wǎng)絡(luò)才能滿足各類多媒體數(shù)據(jù)（尤其是視頻）的傳輸。二、多媒體中的音頻、動畫、視頻等時基媒體對實(shí)時性有很高的要求，需要足夠帶寬的傳輸設(shè)備和適當(dāng)?shù)耐ㄐ艆f(xié)議及數(shù)據(jù)交換方式與之適應(yīng)。三、多媒體

25、中的各媒體不是獨(dú)立存在的，它們不僅在空間上，而且在時間上相互關(guān)聯(lián)， 彼此制約。 2、多媒體通信的應(yīng)用一、可視電話 多媒體通信的初級形式主要是可視電話，相距遙遠(yuǎn)的用戶能夠在通話的同時看到對方的形象，并傳輸所需的各種媒體信息。二、計算機(jī)支持的協(xié)同工作（CSCW） 多媒體通信技術(shù)不僅能讓處于不同地點(diǎn)的多個用戶通過屏幕看到對方的形象，自由地交談，而且還能在雙方的屏幕上同時顯示同一文件，對同一文件或圖表展開討論，進(jìn)行修改，在達(dá)成協(xié)議后再存儲或打印出來。三、視頻會議（Video Conference） 視頻通信與自動控制相結(jié)合，還可用于遠(yuǎn)距離現(xiàn)場監(jiān)測和指揮，用于現(xiàn)代軍事通信、交通控制和生產(chǎn)管理等方面，使指

26、揮或調(diào)度中心能根據(jù)現(xiàn)場情況準(zhǔn)確地做出判斷，并對現(xiàn)場進(jìn)行實(shí)時控制和指揮。2、多媒體通信的應(yīng)用四、遠(yuǎn)程醫(yī)療服務(wù) 它能將醫(yī)務(wù)人員的醫(yī)務(wù)活動輸入到以計算機(jī)為主體的各種設(shè)備中。醫(yī)務(wù)人員也可以通過這些設(shè)備充分利用各種形式的多媒體信息資源，以提高醫(yī)療效率和質(zhì)量，直到實(shí)現(xiàn)醫(yī)療的自動化和智能化。五、教學(xué)與培訓(xùn) 多媒體通信可以讓學(xué)生接受異地教師生動活潑的教育。學(xué)生與教師可以利用各自的多媒體終端進(jìn)行“面對面”的教學(xué)活動，達(dá)到雙向溝通的目的。六、多媒體郵件 多媒體郵件是在電子郵政的基礎(chǔ)上發(fā)展起來的，它能將數(shù)據(jù)、聲音、圖像等合在一起發(fā)送。用戶可以查詢多媒體郵件的狀態(tài)，并對郵箱的信息內(nèi)容實(shí)施控制。2、多媒體通信的應(yīng)用七、

27、在廣播與出版業(yè)中的應(yīng)用多媒體通信還可將廣播與出版業(yè)融為一體。例如，用戶可選擇實(shí)時出版的多媒體報紙或期刊，并檢索與閱讀所需的多媒體信息。多媒體報刊的發(fā)行部門還可利用多媒體通信系統(tǒng)發(fā)布多媒體電子新聞，出版多媒體期刊。八、咨詢服務(wù) 旅游、郵電、交通、商業(yè)、氣象等公共式信息以及賓館、百貨大樓的服務(wù)指南都能以圖文并茂的形式存放在多媒體數(shù)據(jù)庫中，隨時隨地向公眾或客戶提供“無人值守”的咨詢服務(wù)。用戶查詢時，既可獲得文字?jǐn)?shù)據(jù)說明，聽到解說，同時也可以看到有關(guān)的畫面。九、居家旅游和其它文化娛樂服務(wù) 多媒體通信與虛擬現(xiàn)實(shí)技術(shù)相結(jié)合，還可以向人們提供三維立體化的雙向影視服務(wù)，使人們足不出戶即能“進(jìn)入”世界著名的博物

28、館、美術(shù)館和旅游景點(diǎn)，并能根據(jù)自己的意愿選擇觀賞的場景，就象身臨其境一般。3、多媒體通信的關(guān)鍵技術(shù)一、不斷提高各種多媒體計算機(jī)芯片以及多媒體產(chǎn)品的質(zhì)量， 開發(fā)新的多媒體軟、硬件產(chǎn)品品種，降低它們的成本。二、實(shí)現(xiàn)系統(tǒng)中各種多媒體信息之間的相互轉(zhuǎn)換。例如， 利用語音識別和合成技術(shù)將語音轉(zhuǎn)換成文本，或?qū)⑽谋巨D(zhuǎn)換成語音。三、進(jìn)一步提高調(diào)制解調(diào)器的速度與通信線路的質(zhì)量，以滿足多媒體通信的要求。四、進(jìn)一步壓縮語音與圖像數(shù)據(jù)。例如，英、美兩國研究出的一種超低比特率的活動圖像壓縮標(biāo)準(zhǔn)（MPEG-4），這種專供電話線路傳送活動圖像用的新標(biāo)準(zhǔn)已經(jīng)投入使用。五、信息同步問題。 信息的時空同步問題伴隨著多媒體通信發(fā)展

29、的始終。如何保持各種媒體信息在時間上的一致性，是多媒體通信系統(tǒng)必須解決好的問題。3、多媒體通信的關(guān)鍵技術(shù)六、開發(fā)能傳送雙向圖像的寬頻技術(shù)。在美國， 各電話公司都在開發(fā)能傳送雙向圖像的寬頻帶技術(shù)。七、建立分布式多媒體系統(tǒng)。 分布式多媒體系統(tǒng)就是把多媒體信息的獲取、表示、傳輸、存儲、加工和處理集成一體，運(yùn)行在一個分布式計算機(jī)網(wǎng)絡(luò)環(huán)境中，以便把多媒體信息的綜合性、實(shí)時性、交互性和分布式計算機(jī)系統(tǒng)的資源分散性、工作并行性和系統(tǒng)透明性結(jié)合在一起。八、充分利用終端上的信息處理能力，以減少通信線路上的信息量，進(jìn)而減少通信費(fèi)用與成本。九、在標(biāo)準(zhǔn)化方面，應(yīng)盡量做到與國際標(biāo)準(zhǔn)銜接。目前美、日兩國都在積極開展多媒體

30、的標(biāo)準(zhǔn)化研究。國際電信咨詢委員會（CCITT）加緊進(jìn)行多媒體通信協(xié)議的標(biāo)準(zhǔn)化工作。7.5 虛擬現(xiàn)實(shí)技術(shù)1、虛擬現(xiàn)實(shí)的定義、重要特征和硬軟件基礎(chǔ)一、虛擬現(xiàn)實(shí)的定義虛擬現(xiàn)實(shí)技術(shù)可以定義為對現(xiàn)實(shí)世界進(jìn)行五維時空的仿真，即除了對三維空間和一維時間仿真外，還包含對自然交互方式的仿真. 它由計算機(jī)生成，通過視、聽、觸覺等作用于用戶，使之產(chǎn)生身臨其境的交互式場景仿真，是一種可以創(chuàng)造和體驗(yàn)虛擬世界的計算機(jī)系統(tǒng)。一個完整的虛擬現(xiàn)實(shí)系統(tǒng)包含一個逼真的三維虛擬環(huán)境和符合人們自然交互習(xí)慣的人機(jī)交互界面，分布式虛擬現(xiàn)實(shí)系統(tǒng)還要包含用于共享信息的人機(jī)交互界面。二、虛擬現(xiàn)實(shí)的重要特征1、多感知性(Multisensory)

31、 所謂多感知性就是除了一般計算機(jī)技術(shù)所具有的視覺感知之外，還有聽覺感知、觸覺感知、力覺感知、運(yùn)動感知，甚至包括味覺感知、嗅覺感知等。2、存在感(Presence) 在虛擬現(xiàn)實(shí)的環(huán)境中，用戶能感到自己成為了一個“發(fā)現(xiàn)者和行動者”。3、交互性( Interaction) 指用戶可以對模擬環(huán)境中的物體直接操作，并從環(huán)境得到信息或感受。4、自主性(Autonomy) 指虛擬環(huán)境中的對象具有依據(jù)物理定律動作的能力。三、虛擬現(xiàn)實(shí)的硬軟件基礎(chǔ)虛擬現(xiàn)實(shí)的主要硬件設(shè)備包括：高性能計算機(jī)；廣角(寬視野) 的立體顯示設(shè)備；觀察者(頭、眼) 的跟蹤設(shè)備；人體姿勢的跟蹤設(shè)備；立體聲設(shè)備；觸覺、力反饋；語言輸入輸出等硬件

32、設(shè)備。虛擬環(huán)境中采用的軟件有四類：(1)語言類:如C + + 、OpenGL 、VRWL 等。(2)建模軟件類：如AutoCAD、Solid Works、ProPEngineer、I - DEAS、CATIA 等。(3)應(yīng)用軟件類：指用戶自己的各種需求，選擇或者開發(fā)的自用軟件。(4)通用的商用工具軟件包：幫助用戶建立虛擬環(huán)境的通用和基本的軟件，可以使用戶顯著地加快虛擬現(xiàn)實(shí)系統(tǒng)的開發(fā)進(jìn)程?？捎糜诮⑻摂M環(huán)境的圖形軟件包有：WTK、OpenGL 、Java3D、VRML 等。2、虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)一、虛擬環(huán)境的系統(tǒng)結(jié)構(gòu)二、虛擬現(xiàn)實(shí)系統(tǒng)的組成模塊三、虛擬環(huán)境的實(shí)現(xiàn)方法產(chǎn)生虛擬環(huán)境的基本方法有兩種

33、,即基于圖像的方法（Image-Based Method）和基于模型的方法（Model-Based Method）。1、基于圖像的方法：全景圖生成技術(shù)是基于圖像方法的關(guān)鍵技術(shù)。了解全景圖要先了解兩個概念：其一，視點(diǎn)是指用戶某一時刻在虛擬實(shí)景空間中的觀察點(diǎn)，觀測時所用的焦距固定。其二，視點(diǎn)空間是指某一視點(diǎn)處用戶所觀察到的場景。2、基于模型的方法：又稱為基于景物幾何的方法，是以幾何實(shí)體建立虛擬環(huán)境。幾何實(shí)體可采用計算機(jī)圖形學(xué)技術(shù)繪制，也可用已有的建模工具如AutoCAD、3Dstudio 等建立模型，然后以統(tǒng)一數(shù)據(jù)格式輸出，進(jìn)行實(shí)時渲染。3、虛擬現(xiàn)實(shí)技術(shù)的主要應(yīng)用領(lǐng)域一、汽車制造業(yè)的應(yīng)用 近年來，虛擬現(xiàn)實(shí)技術(shù)在汽車制造業(yè)得到了廣泛的應(yīng)用。例如，美國通用汽車公司利用虛擬現(xiàn)實(shí)系統(tǒng)CAVE(Computer - Assisted Virtual Environment) 來體驗(yàn)置于汽車之中