大學計算機基礎多媒體技術基礎

第七章多媒體技術基礎大學計算機基礎多媒體技術基礎全文共56頁，當前為第1頁。教學目標了解多媒體的概念，掌握多媒體數(shù)據(jù)壓縮技術掌握多媒體信息的展現(xiàn)與交互掌握多媒體通信的關鍵技術，了解多媒體通信的應用了解虛擬現(xiàn)實的定義、重要特征和硬軟件基礎，掌握虛擬現(xiàn)實技術的體系結構大學計算機基礎多媒體技術基礎全文共56頁，當前為第2頁。知識要點多媒體的概念和多媒體的基本特征多媒體數(shù)據(jù)壓縮技術，包括多媒體數(shù)據(jù)壓縮的必要性、可行性和方法多媒體信息的展現(xiàn)與交互虛擬現(xiàn)實技術的定義、特征，虛擬現(xiàn)實技術的體系結構和主要應用領域大學計算機基礎多媒體技術基礎全文共56頁，當前為第3頁。舉案引思1、物理課有位高中物理老師在講授天體運動規(guī)律，當講解到星系繞太陽運動的軌跡時，老師無論怎么解釋，學生們都好像在云里霧里，感覺似乎很抽象。有沒有能夠讓學生直觀感受的方法呢？2、電影片花大家都看過電影的宣傳片，那么有沒有人知道電影片花是如何制作成的呢？為什么電影片花能夠吸引人的眼球呢？3、故宮你去過故宮嗎？你想去嗎？能不能在家里就可以感受旅游故宮的感覺呢？大學計算機基礎多媒體技術基礎全文共56頁，當前為第4頁。7.1多媒體的概念1、多媒體概述一、感覺媒體能直接作用于人的感覺器官、使人產生直接感覺的媒體。如圖像、文字、動畫、音樂等均屬于感覺媒體。二、顯示媒體在通信中使電信號和感覺媒體之間產生轉換用的媒體。如鍵盤、鼠標、顯示器、打印機等均屬于顯示的媒體。三、表示媒體為了傳送感覺媒體而研究出來的媒體。如電報碼、語言編碼等均屬于表示媒體。四、存儲媒體用于存儲信號的媒體。如磁盤、光盤、磁帶等均屬于存儲媒體。五、傳輸媒體用于傳輸信號的媒體。如光纜電纜等均屬于傳輸媒體。大學計算機基礎多媒體技術基礎全文共56頁，當前為第5頁。感覺媒體：它們直接作用于人的感官，使人能直接產生感覺。表示媒體：是信息在計算機中的表示，通常是信息的各種編碼。顯示媒體：用于表達信息，是信息的輸入和輸出設備。存儲媒體：用于存儲信息，是存放表示媒體的實體。傳輸媒體：用于信息的傳輸，是傳輸介質。它是媒體從一處傳到另一處的物理載體。

多媒體技術中媒體主要是指信息的表示形式，即信息在計算機內部的表示。1.媒體幾種形式

例如，語言、聲音、文字、圖形、圖像和動畫等。例如,ASCII編碼、漢字編碼、語音編碼和圖像編碼等。例如，鍵盤、鼠標、攝像機、話筒、光筆、顯示器、掃描儀和打印機等。例如，軟盤、硬盤、磁帶、光盤和半導體存儲器等。例如，雙絞線、同軸電纜和光纖等。大學計算機基礎多媒體技術基礎全文共56頁，當前為第6頁。多媒體是文本、圖形、圖像、音頻、視頻和動畫等“多重媒體”的集合。多媒體信息從時效上可分為兩大類：

2.

多媒體

靜態(tài)媒體：包括文本、圖形和圖像。

動態(tài)媒體：包括音頻、視頻和動畫。

文本、圖形、圖像、音頻、視頻和動畫大學計算機基礎多媒體技術基礎全文共56頁，當前為第7頁。3.多媒體信息的類型

文本（Text）：是計算機中基本的信息表示方式，包含數(shù)字、字母、符號和漢字。以文本文件形式存儲。可用文字處理軟件（如記事本和Word等）對文本進行編輯，也可對文本進行識別、翻譯和發(fā)聲等操作。圖形（Graphics）：一般是指由計算機通過繪圖軟件繪制的畫面，由點、線、面、體等組合而成，以矢量圖形文件形式存儲。大學計算機基礎多媒體技術基礎全文共56頁，當前為第8頁。圖像（Image）：實際場景的靜止畫面，經(jīng)數(shù)字化后以位圖格式存儲。如照片和畫片等。音頻（Audio）：自然界的聲音經(jīng)數(shù)字化后以音頻文件格式存儲。視頻（Video）：是由攝像機等輸入設備獲取的活動畫面，數(shù)字化后以視頻文件格式存儲。動畫（Animation）：是利用了人眼的視覺特性所得到的，當一系列形或像的畫面按一定時間在人的視線中經(jīng)過時，人腦就會產生物體運動的印象。大學計算機基礎多媒體技術基礎全文共56頁，當前為第9頁。多媒體技術特點

多媒體技術是指利用計算機技術將多種媒體信息綜合一體化，使它們建立起邏輯聯(lián)系，并能進行加工處理的技術?！凹庸ぬ幚怼敝饕菍@些媒體進行錄入、壓縮、存儲、傳輸、解壓和顯示等。多媒體技術是一種基于計算機的、跨學科的綜合技術，具有許多特點。

多樣性集成性交互性實時性數(shù)字化多媒體技術涉及到多樣化信息，多樣性是多媒體技術的主要特征集成性是指以計算機為中心，綜合處理多種信息媒體的特性交互性是指用戶與計算機之間進行數(shù)據(jù)交換、媒體交換和控制權交換的一種特性。意味著多媒體系統(tǒng)在處理信息時有著嚴格的時序要求和很高的速度要求。數(shù)字化是指各種媒體信息都以數(shù)字形式（0和1的方式）進行存儲和處理

大學計算機基礎多媒體技術基礎全文共56頁，當前為第10頁。多媒體信息處理關鍵技術

多媒體信息處理與應用需要一系列相關技術的支持，以下幾個方面是多媒體信息處理的關鍵技術，也是多媒體研究的熱點。

計算機系統(tǒng)技術

多媒體數(shù)據(jù)壓縮技術

多媒體數(shù)據(jù)存儲技術

多媒體數(shù)據(jù)庫技術

多媒體網(wǎng)絡與通信技術多媒體系統(tǒng)的物質基礎

多媒體技術中最關鍵的一環(huán)模擬信號—數(shù)字信號—編碼壓縮CD-ROM光盤容量650MB左右DVD光盤，單面單密度容量為4.7GB，雙面雙密度容量可達17GB

多媒體數(shù)據(jù)庫存儲大量圖形、圖像、音頻和視頻等非結構化數(shù)據(jù)

通過寬帶高速網(wǎng)絡系統(tǒng)將多個獨立的多媒體計算機連接成局域網(wǎng)，或者是跨地區(qū)的廣域網(wǎng)，實現(xiàn)多媒體通信和多媒體信息資源共享

大學計算機基礎多媒體技術基礎全文共56頁，當前為第11頁。2、多媒體的基本特征一、集成性多媒體技術綜合利用了多種設備對各種信息進行表現(xiàn)和集成。二、多維性多媒體綜合利用了視頻處理技術、音頻處理技術、圖形處理技術、圖像處理技術、網(wǎng)絡通信技術，擴大了人類處理信息的自由度，多媒體作品帶給人的感官刺激是多維的。三、交互性多媒體是以計算機為中心的，它具有很強的交互性。借助于鍵盤、鼠標、聲音、觸摸屏等，通過計算機程序人們就可以控制各種媒體的播放。四、數(shù)字化多媒體系統(tǒng)對各種媒體信息的處理、存儲過程是全數(shù)字化的。數(shù)字技術的優(yōu)越性使多媒體系統(tǒng)可以高質量地實現(xiàn)圖像與聲音的再現(xiàn)、編輯和特技處理。大學計算機基礎多媒體技術基礎全文共56頁，當前為第12頁。7.2多媒體數(shù)據(jù)壓縮技術1、多媒體數(shù)據(jù)壓縮的必要性數(shù)字化信息的數(shù)據(jù)量十分龐大，無疑給存儲器的存儲量、通信干線的信道傳輸率以及計算機的速度都增加了極大的壓力。如果單純靠擴大存儲器容量、增加通信干線傳輸率的辦法來解決問題是不現(xiàn)實的。

通過數(shù)據(jù)壓縮技術可以大大降低數(shù)據(jù)量，以壓縮的形式存儲和傳輸，既節(jié)約了存儲空間，又提高了通信干線的傳輸效率，同時也使計算機得以實時處理音頻、視頻信息，保證播放出高質量的視頻和音頻節(jié)目。大學計算機基礎多媒體技術基礎全文共56頁，當前為第13頁。2、多媒體數(shù)據(jù)壓縮的可行性一、空間冗余

在靜態(tài)圖像中有一塊表面顏色均勻的區(qū)域，在這個區(qū)域中所有點的光強和色彩以及色飽和度都相同，具有很大的空間冗余。二、時間冗余

電視圖像、動畫等序列圖片，當其中物體有位移時，后一幀的數(shù)據(jù)與前一幀的數(shù)據(jù)有許多共同的地方，這種冗余稱為時間冗余。三、結構冗余

在有些圖像的紋理區(qū)，圖像的像素值存在著明顯的分布模式。例如，方格狀的地板圖案等，稱此為結構冗余。四、知識冗余

對于圖像中重復出現(xiàn)的部分，我們可以構造出基本模型，并創(chuàng)建對應各種特征的圖像庫，進而使圖像的存儲只需要保存一些特征參數(shù)，從而可以大大減少數(shù)據(jù)量。大學計算機基礎多媒體技術基礎全文共56頁，當前為第14頁。2、多媒體數(shù)據(jù)壓縮的可行性五、視覺冗余人的視覺系統(tǒng)對圖像的敏感性是非均勻性和非線性的。在記錄原始的圖像數(shù)據(jù)時，對人眼看不見或不能分辨的部分進行記錄顯然是不必要的。因此，大可利用人的視覺的非均勻性和非線性，降低視覺冗余。六、圖像區(qū)域的相同性冗余是指在圖像中的兩個或多個區(qū)域所對應的所有像素值相同或相近，從而產生的數(shù)據(jù)重復性存儲，這就是圖像區(qū)域的相似性冗余。大學計算機基礎多媒體技術基礎全文共56頁，當前為第15頁。3、多媒體數(shù)據(jù)壓縮方法一、無損壓縮：也稱為可逆壓縮、無失真編碼、熵編碼等。工作原理為去除或減少冗余值，但這些被去除或減少的冗余值可以在解壓縮時重新插入到數(shù)據(jù)中以恢復原始數(shù)據(jù)。它大多使用在對文本和數(shù)據(jù)的壓縮上，壓縮比較低，大致在2:1～5:1之間。典型算法有：哈夫曼編碼、香農-費諾編碼、算術編碼、游程編碼和Lenpel-Ziv編碼等。二、有損壓縮：也稱不可逆壓縮和熵壓縮等。這種方法在壓縮時減少了數(shù)據(jù)信息是不能恢復的。在語音、圖像和動態(tài)視頻的壓縮中，經(jīng)常采用這類方法。它對自然景物的彩色圖像壓縮，壓縮比可達到幾十倍甚至上百倍。大學計算機基礎多媒體技術基礎全文共56頁，當前為第16頁。3、多媒體數(shù)據(jù)壓縮方法PCM自適應式、固定式多媒體數(shù)據(jù)編碼算法預測編碼自適應式、固定式（DPCM、ΔM）混合編碼變換編碼傅里葉、離散余弦、離散正統(tǒng)、哈爾、斜變換、沃爾-哈達馬、卡胡南-勞夫（K-L）、小波統(tǒng)計編碼(熵編碼)哈夫曼編碼、算術編碼、費諾編碼、香農編碼、游程編碼（RLE）、LZW靜態(tài)圖像編碼方塊、逐漸浮現(xiàn)、逐層內插、比特平面、抖動電視編碼幀內預測幀間編碼運動估計、運動補償、條件補充、內插、幀間預測其他編碼矢量量化、子帶編碼、輪廓編碼、二值圖像大學計算機基礎多媒體技術基礎全文共56頁，當前為第17頁。多媒體數(shù)據(jù)壓縮技術

多媒體信息經(jīng)過數(shù)字化處理后其數(shù)據(jù)量是非常大的，如果不進行數(shù)據(jù)壓縮處理，計算機系統(tǒng)就無法對它進行存儲、傳輸和處理。解決這一難題的有效方法就是數(shù)據(jù)壓縮編碼.數(shù)據(jù)壓縮的可行性

一般情況下，多媒體原始數(shù)據(jù)被壓縮后存放在磁盤上，或以壓縮形式來傳輸；當使用時應將其還原，稱為解壓縮。大學計算機基礎多媒體技術基礎全文共56頁，當前為第18頁。壓縮潛力1

數(shù)據(jù)中存在大量冗余（相關性）。如空間冗余、時間冗余、結構冗余和知識冗余?？臻g冗余：在同一幅圖像中,規(guī)則物體和規(guī)則背景的表面物理特性具有相關性。時間冗余：圖像序列中的兩幅相鄰的圖像之間有較大的相關性。初始文件壓縮文件解壓縮文件壓縮解壓縮數(shù)據(jù)壓縮和解壓縮的過程

大學計算機基礎多媒體技術基礎全文共56頁，當前為第19頁。

結構冗余：在有些圖像的紋理區(qū)，圖像的像點值存在著明顯的分布模式。知識冗余：有許多圖像的理解與某些基礎知識有相當大的相關性。例如，人臉的圖像有固定的結構。比如說嘴的上方有鼻子,鼻子的上方有眼睛,鼻子位于臉的中線上等等。

大學計算機基礎多媒體技術基礎全文共56頁，當前為第20頁。壓縮潛力2

對于圖像、音頻和視頻等，人的感知可容忍某些細節(jié)信息的丟失（失真）。如視覺冗余和聽覺冗余。視覺冗余：人類視覺系統(tǒng)并不是對圖像的任何變化都很敏感。事實上人類視覺系統(tǒng)一般分辨能力約為26灰度等級，而一般圖像量化采用28灰度等級，這類冗余稱為視覺冗余。例如，人的視覺對于邊緣的急劇變化不敏感，且人眼對圖像的亮度信息敏感，對顏色的分辨率弱等。大學計算機基礎多媒體技術基礎全文共56頁，當前為第21頁。聽覺冗余：人類聽覺系統(tǒng)對不同頻率聲音的敏感程度不同，而且受環(huán)境的影響，聲音之間還存在掩蔽效應。比如，太高或太低的聲音都聽不到。在嘈雜的環(huán)境下，聽不到較低的聲音，別人的聲音可以蓋過你的聲音，這類冗余稱為聽覺冗余。大學計算機基礎多媒體技術基礎全文共56頁，當前為第22頁。

數(shù)據(jù)壓縮方法

數(shù)據(jù)壓縮是通過編碼技術減少數(shù)據(jù)冗余來降低數(shù)據(jù)存儲時所需空間，當數(shù)據(jù)使用時，再進行解壓縮。根據(jù)對壓縮數(shù)據(jù)經(jīng)解壓縮后是否能準確地恢復壓縮前的數(shù)據(jù)來分類，分成無損壓縮和有損壓縮兩類。大學計算機基礎多媒體技術基礎全文共56頁，當前為第23頁。

衡量數(shù)據(jù)壓縮技術的好壞有四個主要指標：①

壓縮比要大：壓縮前后所需的存儲空間比要大。②

算法要簡單：壓縮/解壓縮速度快，以滿足實時性要求。③

壓縮損失要少：失真小，即解壓恢復的效果要好。④

開銷要?。簩崿F(xiàn)壓縮的軟硬件開銷要小。當四者不能兼得時，要綜合考慮。

大學計算機基礎多媒體技術基礎全文共56頁，當前為第24頁。無損壓縮

無損壓縮的壓縮過程是可逆的，也就是說，從壓縮后的數(shù)據(jù)能夠完全恢復出原來的數(shù)據(jù)，信息沒有任何丟失。原始數(shù)據(jù)還原成原始數(shù)據(jù)壓縮后數(shù)據(jù)壓縮解壓縮

無損壓縮的原理是統(tǒng)計被壓縮數(shù)據(jù)中重復數(shù)據(jù)的出現(xiàn)次數(shù)來進行編碼。一般用于文本、數(shù)據(jù)、程序以及重要圖片和圖像數(shù)據(jù)（指紋圖像、醫(yī)學圖像等)的壓縮。

大學計算機基礎多媒體技術基礎全文共56頁，當前為第25頁。

無損壓縮比一般為2∶1到5∶1，因此不適合實時處理圖像、視頻和音頻數(shù)據(jù)。典型的無損壓縮編碼有哈夫曼編碼、行程編碼、Lempelzev編碼和算術編碼等。哈夫曼編碼是一種統(tǒng)計編碼,它是根據(jù)信源符號出現(xiàn)概率的分布特性而進行壓縮編碼。在信源符號和碼字之間建立明確的一一對應關系，以便在恢復時能準確地再現(xiàn)原信號，同時要使平均碼長或碼率盡量小。大學計算機基礎多媒體技術基礎全文共56頁，當前為第26頁。一般數(shù)據(jù)都是用固定長度的編碼，例如，ASCII碼采用8位二進制數(shù)來表示一個英文字母。

哈夫曼編碼是用不固定長度的二進制編碼代替原始數(shù)據(jù)的，將那些出現(xiàn)頻率高的數(shù)據(jù)用較短的編碼來表示，而出現(xiàn)頻率低的那些數(shù)據(jù)用較長的編碼來表示，從而實現(xiàn)數(shù)據(jù)的壓縮。JPEG

圖形格式得壓縮就是通過哈夫曼編碼實現(xiàn)的。大學計算機基礎多媒體技術基礎全文共56頁，當前為第27頁。4、量化一、比特率比特率是采樣率和量化過程中使用的比特數(shù)的產物。用例子說明更容易理解，電話通信中，語音信號的帶寬約3kHz，根據(jù)奈奎斯特定理，意味著采樣頻率應不低于6kHz。

為了留下一定余量可選擇標準采樣頻率為8kHz，使用一個8位的量化器，那么該電話通信所要求的比特率為：8K×8=64Kb/s。二、量化原理量化處理是使數(shù)據(jù)比特率下降的一個強有力的措施。脈沖編碼調制(PCM)的量化處理在采樣之后進行，從原理分析的角度看，圖像灰度值是連續(xù)的數(shù)值，而我們實際看到的是用0～255的整數(shù)表示的圖像灰度，這是經(jīng)過A/D轉換后的以256級灰度分層量化處理了的離散數(shù)值，這樣就可以用㏒2256=8位表示一個圖像像素的灰度值。或色差信號值，假設是彩色圖像。大學計算機基礎多媒體技術基礎全文共56頁，當前為第28頁。4、量化三、標量量化器的設計（1）量化器的設計要求通常設計量化器有下述兩種情況：給定量化分層級數(shù)，滿足量化誤差最小。限定量化誤差，確定分層級數(shù)，滿足用盡量小的平均比特數(shù)表示量化輸出的要求。顯然，這是一對相互矛盾的要求，設計量化器只能折衷處理。（2）量化方法和量化特性量化方法有標量量化和矢量量化之分，標量量化又可分為均勻量化、非均勻量化和自適應量化。大學計算機基礎多媒體技術基礎全文共56頁，當前為第29頁。聲音特性當物體在空氣中震動時，便會發(fā)出連續(xù)波，叫聲波，這種波傳到人的耳朵，引起耳膜震動，這就是人們聽到的聲音。

聲波在時間上和幅度（振幅）上都是連續(xù)變化的模擬信號，可用模擬正弦波形表示。

大學計算機基礎多媒體技術基礎全文共56頁，當前為第30頁。波形相對基線的最大位移稱為振幅A，反映聲音的音量;將波形中兩個相鄰波峰（或波谷）之間距離稱為震動周期T，周期的倒數(shù)1/T即為頻率f,以赫茲（Hz）為單位，是聲音每秒鐘變化次數(shù)，周期和頻率反映了聲音的音調。人們通常聽到的聲音并不是單一頻率聲音，而是許許多多個頻率的復合，將聲音信號的頻率范圍稱為帶寬。

聲音的波形表示、采樣和量化

大學計算機基礎多媒體技術基礎全文共56頁，當前為第31頁。聲源類型頻帶寬度(Hz)男聲語音100～

9000女聲語音150～

10000電話語音200～

3400調頻廣播（FM）20～

15000調幅廣播（AM）50～

7000高級音響設備重放20～

20000寬帶音響設備重放10～

40000大學計算機基礎多媒體技術基礎全文共56頁，當前為第32頁。音頻信息表示

音頻信號在時間上和幅度上都是連續(xù)的，將在時間和幅度上都連續(xù)的信號稱為模擬信號。

1.模擬音頻數(shù)字化計算機對音頻信息處理，就要將模擬信號轉換成數(shù)字信號，將這一轉換過程稱為模擬音頻數(shù)字化。模擬音頻數(shù)字化過程涉及到音頻采樣、量化和編碼。

采樣量化編碼聲音模擬信號聲音數(shù)字信號模擬音頻的數(shù)字化過程

大學計算機基礎多媒體技術基礎全文共56頁，當前為第33頁。采樣：是每隔一定時間間隔在模擬波形上取一個值，將時間上連續(xù)信號變成時間上離散信號。如果時間間隔相等，則稱為均勻采樣，該時間間隔為采樣周期，其倒數(shù)為采樣頻率。

采樣頻率即每秒采樣次數(shù)，采樣頻率越高，數(shù)字化音頻質量越好，但數(shù)據(jù)量越大。對于電話語音信號，最高頻率為3400Hz，所需采樣頻率至少為6800Hz，在實際應用中，采樣頻率規(guī)定為8000Hz。奈奎斯特理論：如果采樣頻率不低于信號最高頻率的兩倍，就能將數(shù)字表達的聲音還原成原來的模擬聲音。大學計算機基礎多媒體技術基礎全文共56頁，當前為第34頁。量化：量化是將每個采樣點得到的幅度值以數(shù)字形式存儲。二倍于最高頻率的采樣頻率是數(shù)字化聲音再現(xiàn)的必要條件，而非充分條件，它還與幅值的量化級別有關。

048

9

9840000111111111010001000011011量化的位數(shù)越多，則可以更細膩的表現(xiàn)采樣點間的梯度，聲音質量也越好，但聲音文件也越大。大學計算機基礎多媒體技術基礎全文共56頁，當前為第35頁。2.數(shù)字音頻的存儲數(shù)字化音頻質量的指標有三項：采樣頻率、量化位數(shù)（即采樣精度）和聲道數(shù)。聲道數(shù)指聲音通道的個數(shù)。記錄聲音時，如果每次生成一個聲波數(shù)據(jù)，稱為單聲道；每次生成兩個聲波數(shù)據(jù)，稱為雙聲道，即立體聲。

編碼：存儲在計算機中的數(shù)字化聲音并不是聲音的真正幅值，而是幅值代碼。將采集的物理量轉換為計算機中代碼的過程稱為編碼。

在自然界中，聲音除了音量音調屬性外，還存在一個聲源位置的問題，聲音數(shù)字化的采樣頻率和量化級越高，聲道數(shù)越多，結果越接近原始聲音，但記錄數(shù)字聲音所需存儲空間也隨之增加。大學計算機基礎多媒體技術基礎全文共56頁，當前為第36頁。數(shù)據(jù)率（b/s）=采樣頻率（Hz）×采樣精度（b）×聲道數(shù)

數(shù)字化1秒聲音所需數(shù)據(jù)位數(shù)（bit或b）稱為數(shù)據(jù)率。例如用44.10kHz的采樣頻率，每個采樣點用16位的精度存儲，雙聲道，則錄制1秒鐘的立體聲節(jié)目，數(shù)據(jù)率為：44100×16×2=1411200（b/s）采樣頻率（Hz）×采樣精度（b）×聲道數(shù)

=數(shù)據(jù)率（b/s）大學計算機基礎多媒體技術基礎全文共56頁，當前為第37頁。7.3多媒體信息的交互與展現(xiàn)隨著信息技術的發(fā)展，傳統(tǒng)媒體已經(jīng)難以適應大量信息集成、實時交互的要求，多媒體技術應運而生。多媒體技術使得人們能夠將文本、圖形、圖像、視頻、動畫、聲音等媒體整合在一起成為一個完整的交互系統(tǒng)，為信息傳播和大眾交流起到重要的作用。多媒體我們聽其名字來講就是聲音、圖像和數(shù)據(jù)的混合體，它是一種混合的數(shù)字信息，多種信息在此聚集，因此多媒體有集成性。多媒體還可以通過人機界面實現(xiàn)人和機器之間的信息交流、控制和傳播，這也就是多媒體的另一大特性——交互性，它是多媒體技術的核心，也是我們主要研究的部分，它使多媒體技術其他特性的優(yōu)勢更突出，功能更強大。大學計算機基礎多媒體技術基礎全文共56頁，當前為第38頁。7.3多媒體信息的交互與展現(xiàn)多媒體的交互性其實就是指用戶能夠通過多種輸入輸出設備與系統(tǒng)進行“對話”，銀行的觸摸式的電腦就是實現(xiàn)用戶和總機系統(tǒng)的互動，系統(tǒng)根據(jù)客戶點擊的指令為客戶服務。所以交互設計其實是很重要的，為用戶提供一個可交互的界面是關鍵。交互設計不僅表現(xiàn)在信息的控制、組織、傳遞，更重要的是能對信息的內容和形式進行分解、加工、改造、轉換，創(chuàng)造出一種新的信息內容和形式，受眾從這些變化中獲得新的知識或驗證知識。大學計算機基礎多媒體技術基礎全文共56頁，當前為第39頁。7.4多媒體通信技術1、多媒體通信的特點一、多媒體數(shù)據(jù)量大，類型多，因此要求有較大的存儲容量，足夠的傳輸帶寬?？傮w上說，傳輸帶寬在100Mb/s的網(wǎng)絡才能滿足各類多媒體數(shù)據(jù)（尤其是視頻）的傳輸。二、多媒體中的音頻、動畫、視頻等時基媒體對實時性有很高的要求，需要足夠帶寬的傳輸設備和適當?shù)耐ㄐ艆f(xié)議及數(shù)據(jù)交換方式與之適應。三、多媒體中的各媒體不是獨立存在的，它們不僅在空間上，而且在時間上相互關聯(lián)，彼此制約。大學計算機基礎多媒體技術基礎全文共56頁，當前為第40頁。2、多媒體通信的應用一、可視電話多媒體通信的初級形式主要是可視電話，相距遙遠的用戶能夠在通話的同時看到對方的形象，并傳輸所需的各種媒體信息。二、計算機支持的協(xié)同工作（CSCW）多媒體通信技術不僅能讓處于不同地點的多個用戶通過屏幕看到對方的形象，自由地交談，而且還能在雙方的屏幕上同時顯示同一文件，對同一文件或圖表展開討論，進行修改，在達成協(xié)議后再存儲或打印出來。三、視頻會議（VideoConference）視頻通信與自動控制相結合，還可用于遠距離現(xiàn)場監(jiān)測和指揮，用于現(xiàn)代軍事通信、交通控制和生產管理等方面，使指揮或調度中心能根據(jù)現(xiàn)場情況準確地做出判斷，并對現(xiàn)場進行實時控制和指揮。大學計算機基礎多媒體技術基礎全文共56頁，當前為第41頁。2、多媒體通信的應用四、遠程醫(yī)療服務它能將醫(yī)務人員的醫(yī)務活動輸入到以計算機為主體的各種設備中。醫(yī)務人員也可以通過這些設備充分利用各種形式的多媒體信息資源，以提高醫(yī)療效率和質量，直到實現(xiàn)醫(yī)療的自動化和智能化。五、教學與培訓多媒體通信可以讓學生接受異地教師生動活潑的教育。學生與教師可以利用各自的多媒體終端進行“面對面”的教學活動，達到雙向溝通的目的。六、多媒體郵件多媒體郵件是在電子郵政的基礎上發(fā)展起來的，它能將數(shù)據(jù)、聲音、圖像等合在一起發(fā)送。用戶可以查詢多媒體郵件的狀態(tài)，并對郵箱的信息內容實施控制。大學計算機基礎多媒體技術基礎全文共56頁，當前為第42頁。2、多媒體通信的應用七、在廣播與出版業(yè)中的應用多媒體通信還可將廣播與出版業(yè)融為一體。例如，用戶可選擇實時出版的多媒體報紙或期刊，并檢索與閱讀所需的多媒體信息。多媒體報刊的發(fā)行部門還可利用多媒體通信系統(tǒng)發(fā)布多媒體電子新聞，出版多媒體期刊。八、咨詢服務旅游、郵電、交通、商業(yè)、氣象等公共式信息以及賓館、百貨大樓的服務指南都能以圖文并茂的形式存放在多媒體數(shù)據(jù)庫中，隨時隨地向公眾或客戶提供“無人值守”的咨詢服務。用戶查詢時，既可獲得文字數(shù)據(jù)說明，聽到解說，同時也可以看到有關的畫面。九、居家旅游和其它文化娛樂服務多媒體通信與虛擬現(xiàn)實技術相結合，還可以向人們提供三維立體化的雙向影視服務，使人們足不出戶即能“進入”世界著名的博物館、美術館和旅游景點，并能根據(jù)自己的意愿選擇觀賞的場景，就象身臨其境一般。大學計算機基礎多媒體技術基礎全文共56頁，當前為第43頁。3、多媒體通信的關鍵技術一、不斷提高各種多媒體計算機芯片以及多媒體產品的質量，開發(fā)新的多媒體軟、硬件產品品種，降低它們的成本。二、實現(xiàn)系統(tǒng)中各種多媒體信息之間的相互轉換。例如，利用語音識別和合成技術將語音轉換成文本，或將文本轉換成語音。三、進一步提高調制解調器的速度與通信線路的質量，以滿足多媒體通信的要求。四、進一步壓縮語音與圖像數(shù)據(jù)。例如，英、美兩國研究出的一種超低比特率的活動圖像壓縮標準（MPEG-4），這種專供電話線路傳送活動圖像用的新標準已經(jīng)投入使用。五、信息同步問題。信息的時空同步問題伴隨著多媒體通信發(fā)展的始終。如何保持各種媒體信息在時間上的一致性，是多媒體通信系統(tǒng)必須解決好的問題。大學計算機基礎多媒體技術基礎全文共56頁，當前為第44頁。3、多媒體通信的關鍵技術六、開發(fā)能傳送雙向圖像的寬頻技術。在美國，各電話公司都在開發(fā)能傳送雙向圖像的寬頻帶技術。七、建立分布式多媒體系統(tǒng)。分布式多媒體系統(tǒng)就是把多媒體信息的獲取、表示、傳輸、存儲、加工和處理集成一體，運行在一個分布式計算機網(wǎng)絡環(huán)境中，以便把多媒體信息的綜合性、實時性、交互性和分布式計算機系統(tǒng)的資源分散性、工作并行性和系統(tǒng)透明性結合在一起。八、充分利用終端上的信息處理能力，以減少通信線路上的信息量，進而減少通信費用與成本。九、在標準化方面，應盡量做到與國際標準銜接。目前美、日兩國都在積極開展多媒體的標準化研究。國際電信咨詢委員會（CCITT）加緊進行多媒體通信協(xié)議的標準化工作。大學計算機基礎多媒體技術基礎全文共56頁，當前為第45頁。7.5虛擬現(xiàn)實技術1、虛擬現(xiàn)實的定義、重要特征和硬軟件基礎一、虛擬現(xiàn)實的定義虛擬現(xiàn)實技術可以定義為對現(xiàn)實世界進行五維時空的仿真，即除了對三維空間和一維時間仿真外，還包含對自然交互方式的仿真.它由計算機生成，通過視、聽、觸覺等作用于用戶，使之產生身臨其境的交互式場景仿真，是一種可以創(chuàng)造和體驗虛擬世界的計算機系統(tǒng)。一個完整的虛擬現(xiàn)實系統(tǒng)包含一個逼真的三維虛擬環(huán)境和符合人們自然交互習慣的人機交互界面，分布式虛擬現(xiàn)實系統(tǒng)還要包含用于共享信息的人機交互界面。大學計算機基礎多媒體技術基礎全文共56頁，當前為第46頁。二、虛擬現(xiàn)實的重要特征1、多感知性(Multisensory)

所謂多感知性就是除了一般計算機技術所具有的視覺感知之外，還有聽覺感知、觸覺感知、力覺感知、運動感知，甚至包括味覺感知、嗅覺感知等。2、存在感(Presence)在虛擬現(xiàn)實的環(huán)境中，用戶能感到自己成為了一個“發(fā)現(xiàn)者和行動者”。3、交互性(Interaction)

指用戶可以對模擬環(huán)境中的物體直接操作，并從環(huán)境得到信息或感受。4、自主性(Autonomy)

指虛擬環(huán)境中的對象具有依據(jù)物理定律動作的能力。大學計算機基礎多媒體技術基礎全文共56頁，當前為第47頁。三、虛擬現(xiàn)實的硬軟件基礎虛擬現(xiàn)實的主要硬件設備包括：高性能計算機；廣角(寬視野)的立體顯示設備；觀察者(頭、眼)的跟蹤設備；人體姿勢的跟蹤設備；立體聲設備；觸覺、力反饋；語言輸入輸出等硬件設備。虛擬環(huán)境中采用的軟件有四類：(1)語言類:如C++、OpenGL、VRWL等。(2)建模軟件類：如AutoCAD、SolidWorks、ProPEngineer、I-DEAS、CATIA等。(3)應用軟件類：指用戶自己的各種需求，選擇或者開發(fā)的自用軟件。(4)通用的商用工具軟件包：幫助用戶建立虛擬環(huán)境的通用和基本的軟件，可以使用戶顯著地加快虛擬現(xiàn)實系統(tǒng)的開發(fā)進程?？捎糜诮⑻摂M環(huán)境的圖形軟件包有：WTK、OpenGL、Java3D、VRML等。大學計算機基礎多媒體技術基礎全文共56頁，當前為第48頁。2、虛擬現(xiàn)實技術的體系結構一、虛擬環(huán)境的系統(tǒng)結構大學計算機基礎多媒體技術基礎全文共56頁，當前為第49頁。二、虛擬現(xiàn)實系統(tǒng)的組成模塊大學計算機基礎多媒體技術基礎全文共56頁，當前為第50頁。三、虛擬環(huán)境的實現(xiàn)方法產生虛擬環(huán)境的基本方法有兩種,即基于圖像的方法（Image-BasedMethod）和基于模型的方法（Model-BasedMethod）。1、基于圖像的方法：全景圖生成技術是基于圖像方法的關鍵技術。了解全景圖要先了解兩個概念：其一，視點——是指用戶某一時刻在虛擬實景空間中的觀察點，觀測時所用的焦距固定。其二，視點空間——是指某一視點處用戶所觀察到的場景。2、基于模型的方法：又稱為基于景物幾何的方法，是以幾何實體建立虛擬環(huán)境。幾何實體可采用計算機圖形學技術繪制，也可用已有的建模工具如AutoCAD、3Dstudio等建立模型，然后以統(tǒng)一數(shù)據(jù)格式輸出，進行實時渲染。大學計算機基礎多媒體技術基礎全文共56頁，當前為第51頁。3、虛擬現(xiàn)實技術的主要應用領域一、汽車制造業(yè)