山東廣播電視大學直屬學院課件

多媒體技術基礎及應用

山東廣播電視大學直屬學院姓名吳同E-mail：wutong_jn@163.com1多媒體技術基礎及應用山東廣播電視大學直屬學院姓名吳關于本課程學時：6x3+上機(待定)教材：《多媒體技術基礎及應用》，鐘玉琢 清華大學出版社參考書：多媒體技術教材 輔導與實驗手冊；網站2關于本課程學時：6x3+上機(待定)233第一章多媒體技術概述多媒體技術基本概念

媒體的定義和分類多媒體的定義和特征多媒體信息處理的總目標多媒體計算機技術及其發(fā)展歷史多媒體技術的主要內容

多媒體的軟硬件平臺專用芯片多核處理器

數據壓縮及編碼技術多媒體同步多媒體技術的應用

多媒體技術促進了計算機、通訊和大眾媒體的融合

思考題多媒體網絡與分布式處理技術

信息的組織與管理

多媒體數據存儲

虛擬現實技術4第一章多媒體技術概述多媒體技術基本概念思考題多媒體網絡媒體的定義和分類什么是媒體？

媒體（Medium）在計算機領域中有兩種含義，一是指用以存儲信息的實體，如磁盤、磁帶、光盤和半導體存儲器；一是指信息的載體，如數字、文字、聲音、圖形圖像和視頻等。CCITT曾給媒體做了如下的分類：

感覺媒體（PerceptionMedium）

表示媒體（RepresentationMedium）

顯示媒體（PresentationMedium）

存儲媒體（StorageMedium）

傳輸媒體（TransmissionMedium）返回5媒體的定義和分類什么是媒體？返回5幾種媒體的關系CPUOutputDeviceStorageInputDevice表示媒體存儲媒體顯示媒體顯示媒體感覺媒體感覺媒體表示媒體傳輸媒體返回6幾種媒體的關系CPUOutputStorageInput表示感覺媒體感覺媒體是指能直接作用于人的感官，使人能直接產生感覺的一類媒體。感覺媒體有人類的各種語言、音樂，自然界的各種聲音、圖形、靜止和運動的圖像等。

7感覺媒體感覺媒體是指能直接作用于人的感官，使人能直感覺媒體視覺媒體文字景象聽覺媒體語言聲音觸覺媒體嗅覺媒體味覺媒體力,運動,溫度氣味滋味聲音景象類型名稱分類返回8感覺媒體視覺媒體文字景象聽覺媒體語言聲音觸覺媒體嗅覺媒表示媒體表示媒體是為了加工、處理和傳輸感覺媒體而人為地研究、構造出來的一種媒體。其目的是能將感覺媒體從一個地方向另一個地方傳送，以便于加工和處理。表示媒體有各種編碼方式如語音編碼、文本編碼、靜止和運動圖像編碼等。

9表示媒體表示媒體是為了加工、處理和傳輸感覺媒體而人表示媒體舉例時間屬性/空間屬性/生成屬性

圖象（image）圖形（graphics）文本（text）視頻（video）動畫（animation）合成語音MIDI音樂(MIDI)MP3音樂波形聲音(wave)10表示媒體舉例時間屬性/空間屬性/生成屬性圖象（image表示媒體的時間屬性time-independent(discrete)media（離散媒體，值不會隨著時間而變化）text,graphics,staticimage,….time-dependent(continuous)media（連續(xù)媒體，值隨著時間而變化）speech,music,video,animation,….11表示媒體的時間屬性time-independent(di表示媒體的空間屬性1D媒體單聲道speech,music,2D媒體雙聲道m(xù)usic;text,image,2Dgraphics,3D及多維媒體3Dgraphics,全景圖像,空間立體聲music,12表示媒體的空間屬性1D媒體12表示媒體的生成屬性自然媒體(使用數字化方法從現實世界獲取的媒體)取樣聲音,image,video合成媒體(使用計算機創(chuàng)建的媒體)合成語音,MIDI,graphics,animation13表示媒體的生成屬性自然媒體(使用數字化方法從現實世界獲取的媒自然媒體與合成媒體的區(qū)別

自然媒體合成媒體來源 獲取 創(chuàng)建表示方法 取樣表示 符號表示表現能力 真實感強 真實感有限可編輯性 有限 全部存儲 數據量很大 數據量很小檢索 困難 容易傳輸 要求高 要求低展現 處理容易 處理復雜返回14自然媒體與合成媒體的區(qū)別顯示媒體顯示媒體是指感覺媒體與用于通信的電信號之間轉換用的一類媒體。它包括輸入顯示媒體（如鍵盤、攝像機、話筒等）和輸出顯示媒體（如顯示器、喇叭和打印機等）。

返回15顯示媒體顯示媒體是指感覺媒體與用于通信的電信號之間存儲媒體存儲媒體是用來存放表示媒體，以方便計算機處理加工和調用，這類媒體主要是指與計算機相關的外部存儲設備。

返回16存儲媒體存儲媒體是用來存放表示媒體，以方便計算機處傳輸媒體傳輸媒體是用來將媒體從一個地方傳送到另一個地方的物理載體。傳輸媒體是通信的信息載體，如雙絞線、同軸電纜、光纖等。

返回17傳輸媒體傳輸媒體是用來將媒體從一個地方傳送到另一個多媒體的定義“多媒體”譯自20世紀80年代初產生的英文詞“multimedia”，最早出現于美國麻省理工學院(MIT)()遞交給國防部的一個項目計劃報告中。

多媒體是指信息表示媒體的多樣化，常見的多媒體有文字、圖形、圖像、聲音、音樂、視頻、動畫等多種形式。

多媒體技術是利用計算機技術把文本、聲音、視頻、動畫、圖形和圖像等多種媒體進行綜合處理，使多種信息之間建立邏輯連接，集成為一個完整的系統(tǒng)。

18多媒體的定義“多媒體”譯自20世紀80年代初產生的英文詞“m多媒體的特征多媒體從本質上來說具有三個最重要的特征:--多維化

--集成性

--交互性

除了以上三個特征，實際上多媒體還具有很多其它的特征，例如實時性，它主要指類似聲音和視頻這樣的媒體，它們具有很強的時間相關性。

返回19多媒體的特征多媒體從本質上來說具有三個最重要的特征多維化多維化是指信息媒體的多樣化。它使人們思想的表達不再限于順序的、單調的、狹小的范圍內，而有充分自由的余地。多媒體信息多維化不僅是指輸入，而且還指輸出，目前主要包括聽覺和視覺兩個方面。

返回20多維化多維化是指信息媒體的多樣化。它使人們思想的表達不再限于集成性這不僅是指多媒體設備集成，而且也包含多媒體信息集成或表現集成。

早期的各項技術都可以單一使用和應用，但很難有大的作為，因為它們是單一的、零散的，如聲音、圖像和交互式技術等。

信息空間的不完整（例如，僅有靜態(tài)圖像而無動態(tài)視頻、僅有聲音而無圖形等）都限制了信息空間中的信息組織，也就限制了信息的有效使用。

21集成性這不僅是指多媒體設備集成，而且也包含多媒體信息集成或表媒體食物(價值)鏈多媒體作品(文檔)媒體集成媒體編輯媒體準備媒體編輯媒體準備媒體編輯媒體準備媒體編輯媒體準備網絡媒體通信媒體消費文本圖像音頻視頻內容(content)媒體顯示媒體消費媒體顯示數字項(digitalitem)返回22媒體食物(價值)鏈多媒體作品(文檔)媒體媒體媒體媒體媒體媒體交互性這是人們獲取和使信息變被動為主動的最為重要的特征。

多媒體信息空間中的交互性向用戶提供更加有效地控制和使用信息的手段，同時也為應用開辟了更廣闊的領域，交互可以增加對信息的注意和理解，延長保留的時間。

返回23交互性這是人們獲取和使信息變被動為主動的最為重要的特征。返多媒體信息處理的總目標使能跨越各種不同網絡和設備,透明地、強化地使用多媒體資源。24多媒體信息處理的總目標使能跨越各種不同網絡和設備,透明地、多媒體信息處理空間離散媒體：text,image,…連續(xù)媒體：audio,video,...媒體處理媒體類型單媒體復合媒體應用模式單機應用模式網絡應用模式獲取(創(chuàng)建)編輯管理傳輸檢索描述展現說明編碼25多媒體信息處理空間離散媒體：媒體處理媒體類型單媒體復合媒體應多媒體計算機技術

及其發(fā)展歷史1984年Apple公司在蘋果機Macintosh(也稱為Mac)上引入了位圖(Bitmap)概念進行圖形處理，并使用了窗口(Windows)和圖標(Icon)作為用戶界面，標志了多媒體及多媒體技術的產生和應用。

1986年，Philips公司和Sony公司聯合推出了交互式緊湊光盤系統(tǒng)CD-I（CompactDiscInteractive），能夠將聲音、文字、圖形圖像等多媒體信息數字化并存儲到光盤片上

26多媒體計算機技術

及其發(fā)展歷史1984年Apple公司在蘋果多媒體計算機技術

及其發(fā)展歷史1987年，RCA公司推出了交互式數字視頻系統(tǒng)DVI(DigitalVideoInteractive)，以計算機為基礎，使用標準光盤來存儲、檢索多媒體數據；1989年IBM公司推出AVC系統(tǒng)(AudioVisualConnection)，提供了多媒體編輯功能;1990年Philips等十多家廠商成立了多媒體市場協會，并制定了MPC(多媒體計算機)的市場標準MPC127多媒體計算機技術

及其發(fā)展歷史1987年，RCA公司推出了交多媒體計算機技術

及其發(fā)展歷史1993年5月MPC聯盟又制定了第二代多媒體計算機標準－MPC2，主要是提高了基本部件的性能指標

1995年6月制定了MPC第三代的標準。增加了全屏幕、全動態(tài)(30幀/秒)視頻及增強版CD音質的視頻和音頻硬件標準

返回28多媒體計算機技術

及其發(fā)展歷史1993年5月MPC聯盟又制定項目MPC1MPC2MPC3RAM2MB4MB8MB運算處理器16MHz386SX25MHz486SX75MHzPentium同等級X86CD-ROM150kB/s最大尋址時間1s300kB/s最大尋址時間400msCD-ROMXA600kB/s最大尋址時間200msCD-ROMXA聲卡8bit數字聲音8個合成音MIDI16bit數字聲音8個合成音MIDI8bit數字聲音Wavetable(波表)MIDI顯示640×48016色640×48065536色640×48065536色硬盤容量30MB160MB540MB彩色視頻播放--352×24030fps輸入輸出端口MIDII/O,搖桿端口，串并聯端口MIDII/O,搖桿端口，串并聯端口MIDII/O,搖桿端口，串并聯端口返回29項目MPC1MPC2MPC3RAM2MB4MB8MB運算處理 隨著技術的不斷發(fā)展，1996年又發(fā)表了MPC4.0的技術標準及后來的MPC5.0等。隨著計算機硬件技術和多媒體技術的飛速發(fā)展，MPC的標準規(guī)范還在不斷升級，并且出現了將多媒體和通信功能集成到了CPU芯片中的MMX技術，形成了專用的多媒體微處理器，并支持DVD、具有TV功能及集成化網絡接口等.

MPC2.0MPC3.0MPC4.0CPU80486Pentium75Pentium133內存容量4MB8MB16MB硬盤容量160MB850MB1.6GBCD--ROM2x4x10x聲卡16位16位16位圖像16位彩色24位彩色32位真彩色分辨率640×480800×6001280×1024軟驅1.44MB1.44MB1.44MB操作系統(tǒng)Windows3.xWindows95Windows9530 隨著技術的不斷發(fā)展，1996年又發(fā)表了MPC4.0的技術標多媒體的軟硬件平臺軟件及硬件平臺是實現多媒體系統(tǒng)的物質基礎，其中每一項重要的技術突破都直接影響到多媒體的發(fā)展與應用的進程。

返回多媒體硬件視頻信號I/O接口卡音頻信號I/O接口板視頻、音頻壓縮解壓縮視頻、音頻信號實時處理驅動軟件(Driver)驅動器接口模板視頻/音頻支撐系統(tǒng)或視頻/音頻核心部件在初始化引導程序作用下把它安裝到系統(tǒng)RAM中常駐內存。一個驅動器對應一種硬件設備的接口。多媒體計算機的核心軟件31多媒體的軟硬件平臺軟件及硬件平臺是實現多媒體系統(tǒng)的物質基礎，專用芯片數字化后的音頻和視頻數據量非常大，因此必須進行壓縮并需要大容量的存儲器；音頻和視頻的輸入和輸出是實時的，需要高速度。要實現以上最基本的要求，在很多情況下，需要專用硬件支持。多媒體計算機專用芯片可歸納為兩種類型：一種是固定功能的芯片；一種是可編程的處理器

片上系統(tǒng)(Systemonachip,SOC)適應了人們對于提高性能、縮小尺寸、降低能耗、快速上市和降低成本等諸多方面的需求32專用芯片數字化后的音頻和視頻數據量非常大，因此必須進行壓縮并專用芯片NEC公司稱其已開發(fā)出了一種用于圖像識別的單芯片并行處理器。這種處理器每秒能處理50.2G(1G＝10億)條指令。這一速度是3GHz的PC處理器的4倍，能耗卻只有1/10這個由3270萬個晶體管構成的芯片由一個128個8位RISC處理單元和一個用于控制功能的16位處理器并行構成。每個處理單元只有100MHz的工作頻率，從而大幅降低了能耗，其每個處理單元都擁有2KB的存儲空間，用于存儲圖像數據這個處理器的功耗相當于PDA的處理器、圖形處理性能相當于4臺PC，而尺寸卻只有11×11毫米返回33專用芯片NEC公司稱其已開發(fā)出了一種用于圖像識別的單芯片并行多核處理器目前最快的PC處理器上晶體管的數目已經達到了5500萬個，保守一點估計，到2007年一個處理器將集成10億只晶體管（頻率大約是6GHz）。巨大的晶體管數量意味著巨大的能耗，隨之而來的散熱問題也日益凸顯。毫無疑問，工藝的提升有助于部分地解決散熱問題，但生產工藝提升本身就是一個耗資巨大（一條0.18微米的生產線造價大約是20億美元）的工程34多核處理器目前最快的PC處理器上晶體管的數目已經達到了550多核處理器從理論上講，由于將兩個或多個運算核封裝在一個芯片內部，首先節(jié)省了大量的晶體管和封裝成本（CPU的核很小，將多個核封裝在一起給外形尺寸帶來的變化并不顯著），同時還能顯著提高處理器的性能。多核處理器對外的“界面”還是統(tǒng)一的（有的多核產品甚至不會改變針腳數），所以整個計算機系統(tǒng)需要為此做出的改變就很有限，這意味著用戶不會在主板、硬件體系方面做大的改變，從兼容性和系統(tǒng)升級成本方面來考慮有諸多的優(yōu)勢35多核處理器從理論上講，由于將兩個或多個運算核封裝在一個芯片內多核處理器雙核或多核處理器早已有之，SOC、多媒體、網絡等一些嵌入式處理器中都采用了多核技術IBMPower4處理器一樣，將兩顆完全一樣的處理器封裝在一個芯片內，達到雙倍或接近雙倍的處理性能，由于共享了緩存和系統(tǒng)總線，因此這種做法的優(yōu)點是能節(jié)省運算資源。而Sun公司明年即將發(fā)布的雙核處理器UltraSPARCIV則將兩顆處理器集成在一個硅片上，這樣封裝面積更小，相對功耗也更低36多核處理器雙核或多核處理器早已有之，SOC、多媒體、網絡等一多核處理器采用0.13微米工藝的Madison芯片面積將降低到200～300mm2之間；到2004年采用0.09微米工藝的第五代安騰處理器Montecito的產品面積可能會進一步降低到150mm2；直到2005年65納米工藝誕生，IA64處理器的大小可能會降低到100mm2以下，屆時，這些技術進展會為Intel多核處理器的誕生打下堅實的基礎返回37多核處理器采用0.13微米工藝的Madison芯片面積將降低數據壓縮及編碼技術多媒體系統(tǒng)要求具有綜合處理聲、圖、文的能力，面臨的主要問題是巨大的數據量，尤其是對動態(tài)圖形和視頻圖像多媒體信源引起了“數據爆炸”如果不進行數據壓縮傳輸和存儲都難以實用化多媒體數據38數據壓縮及編碼技術多媒體系統(tǒng)要求具有綜合處理聲、圖、文的能力1分鐘數字音頻信號需要的存儲空間391分鐘數字音頻信號需要的存儲空間39分鐘數字視頻信號需要的存儲空間140分鐘數字視頻信號需要的存儲空間140時間域壓縮──迅速傳輸媒體信源頻率域壓縮──并行開通更多業(yè)務空間域壓縮──降低存儲費用能量域壓縮──降低發(fā)射功率數據壓縮的好處返回41數據壓縮的好處返回41多媒體同步多媒體信息本身的特點使得各種信息之間在時間上具有一定的相關性，最明顯的例子是聲音和圖像，二者都是時間的函數

在對多媒體數據進行綜合處理時，不僅要考慮到各種媒體的相對獨立性，為了達到較好的信息表示效果，還要注意保持媒體之間在時間和空間上的相關性

返回42多媒體同步多媒體信息本身的特點使得各種信息之間在時間上具有一多媒體網絡

與分布式處理技術多媒體單機系統(tǒng)的研究目前已相對成熟，但對多媒體計算機網絡的研究目前還不夠成熟

數字化的網絡集多媒體信息的獲取、存儲、處理、編輯、綜合、傳輸于一體，并運行于網絡上，網絡的任意節(jié)點都可以共享網上的多媒體信息多媒體技術要充分發(fā)展其對多媒體信息的處理能力，必須與網絡技術相結合

運行于網絡環(huán)境下多媒體系統(tǒng)，因為它能夠不受時空限制地使多個用戶透明地共享網上的數據，特別是多個用戶同時共同對一個數據文件進行編輯，這使得多媒體技術有了更廣泛的應用

返回43多媒體網絡

與分布式處理技術多媒體單機系統(tǒng)的研究目前已相對成信息的組織與管理信息及數據管理是信息系統(tǒng)的核心問題之一

多媒體的數據量巨大，種類繁多，每種媒體之間的差異又是那樣明顯，但這些信息又存在種種關聯性，這些都給數據與信息的管理帶來了新的問題

有一種新型的信息管理方法，即超媒體(Hypermedia)，有人稱之為天然的多媒體信息管理方法

44信息的組織與管理信息及數據管理是信息系統(tǒng)的核心問題之一44信息的組織與管理無邊無際的信息海洋中如何找到想要的信息，這真像大海撈針。探索者和研究者們早在20世紀60年代就已經開始了對“大海撈針”技術的研究與開發(fā)，并卓有成效。45信息的組織與管理無邊無際的信息海洋中如何找到想要的信息，這真信息的組織與管理IBM將推出一種新技術，這種被稱為非結構化的信息管理架構（UIMA）的技術是一種基于XML的數據檢索體系，它將極大地擴展和增強檢索技術。當人們面對越來越多的音頻、視頻、文本等數據時，這種人工智能技術將極大地改善用戶的數據存取狀況。一個典型的應用是網上的數據檢索，它將使用戶檢索到的數據只是用戶真正想要的內容，而不是現在這樣的數十頁甚至更多的信息。返回46信息的組織與管理IBM將推出一種新技術，這種被稱為非結構化的多媒體數據存儲隨著網絡技術的不斷發(fā)展，對那些網絡服務提供商而言，數據的增長速度促使硬件的存儲能力必須不斷提高，因此需要考慮存儲能力的可擴展性

目前一些新的技術，例如SAN(StorageAreaNetwork,存域網)已經在實際中得到應用，這些技術的應用為系統(tǒng)的不斷升級提供了可能

返回47多媒體數據存儲隨著網絡技術的不斷發(fā)展，對那些網絡服務提供商而虛擬現實技術所謂虛擬現實，就是采用計算機技術生成一個逼真的視覺、聽覺、觸覺及嗅覺的感覺世界，用戶可以用人的自然技能對這個生成的虛擬實體進行交互考察。這個概念包含三層含義：-虛擬實體用計算機來生成的一個逼真的實體；-用戶可以通過人的自然技能(人的頭部轉動、眼動、手勢或其它的身體動作)與這個環(huán)境交互；-要借助于一些三維傳感設備來完成交互動作，常用的如頭盔立體顯示器、數據手套、數據服裝、三維鼠標等。

48虛擬現實技術所謂虛擬現實，就是采用計算機技術生成一個虛擬現實技術它綜合集成了計算機圖形學、人機交互技術、傳感與測量技術、仿真、人工智能、微電子等科學技術虛擬現實技術主要應用于工程設計、數據可視化、飛行模擬、模擬實驗、多媒體遠程教育、遠程醫(yī)療、旅游娛樂等方面網絡通訊與虛擬現實技術的結合具有誘人的前景和巨大的潛在應用價值，它將在某種程度上改變人類的思維方式和時空觀，實現真正意義上的遠程交互式教育虛擬現實技術的發(fā)展必須有大容量的數據存儲，快速的數據處理和寬頻信息通道的技術支撐返回49虛擬現實技術它綜合集成了計算機圖形學、人機交互技術、傳感與測網絡多媒體技術的應用50網絡多媒體技術的應用50多媒體技術的應用多媒體宣傳演示系統(tǒng)多媒體信息咨詢系統(tǒng)地理信息系統(tǒng)服務行業(yè)多媒體應用多媒體教學系統(tǒng)多媒體訓練系統(tǒng)多媒體電子出版多媒體娛樂系統(tǒng)51多媒體技術的應用多媒體宣傳演示系統(tǒng)51IP視頻服務將進入高蜂期無線視頻服務將在兩年內興起，屆時，它將成為寬帶網絡的新亮點人們對基于寬帶網絡的服務已經成為美國高科技工業(yè)和布什政府在科技政策領域的關鍵目標。同時，視頻服務的增長也將為網絡建設的發(fā)展帶來強大的推動力。返回52IP視頻服務將進入高蜂期無線視頻服務將在兩年內興起，屆時，它多媒體技術促進了

計算機、通訊和大眾媒體的融合計算機中信息的表達最初只能用二進制的0、1來表示，它的目的純粹是為了計算

將字符處理過程引入到計算機中，不僅方便了用戶，而且也使計算機不再局限于計算的范圍，而進入了事務處理的領域

中文標準代碼的出現和使用很大程度上取決于計算機圖形技術和軟件技術的發(fā)展，使之能夠以一種圖形的方式來表達信息

隨后計算機開始能夠處理圖形、圖像、音樂，直至后來能夠處理影像視頻信息。

這個過程就是計算機多媒體化的過程

53多媒體技術促進了

計算機、通訊和大眾媒體的融合計算機中信息的多媒體技術促進了

計算機、通訊和大眾媒體的融合在通信領域，從郵政、電報、電話到現在的ADSL技術，技術的不斷創(chuàng)新其原動力很大程度上來源于多媒體信息傳輸的需求在大眾傳播及娛樂界，從印刷技術開始了電子化、數字化的過程，逐步發(fā)展了廣播、電影、電視、錄像、有線電視直至后來推出的CD-I和高清晰度電視HDTV，從另一個方面發(fā)展了信息的廣泛傳播技術，且逐漸地開始有交互能力。從信息系統(tǒng)的角度來看，這些各自目的不同、技術不同而又相互促進和支持的領域之間，由于技術發(fā)展的原因，對于最終用戶而言一直存在著較大的差別，但發(fā)展到今天，早已你中有我，我中有你。54多媒體技術促進了

計算機、通訊和大眾媒體的融合在通信領域，從計算機大眾傳播通信郵政電報電話計算機網ISDNB-ISDN0、1Text中文圖形圖像聲音影像、視頻MPC印刷材料報紙廣播電影電視交互式光盤DVD?ADSL多媒體信息系統(tǒng)計算機、通信和大眾傳播的融合返回55計算機大眾傳播通信郵政電報電話計算機網ISDNB-ISDN0思考題什么是多媒體？多媒體關鍵特性包含哪些方面？為什么說，利用多媒體是計算機技術發(fā)展的必然趨勢？為什么說，如果沒有數據壓縮的進步，多媒體計算機就難以得到實際的應用？就你個人的看法，多媒體技術要研究的內容還應包括哪些方面？除了本章介紹的多媒體技術的一些應用，你還了解哪些不同的應用？

56思考題什么是多媒體？56需要預習的內容第五章多媒體計算機硬件以及軟件系統(tǒng)結構57需要預習的內容第五章多媒體計算機硬件以及軟件系統(tǒng)結構57多媒體技術基礎及應用

山東廣播電視大學直屬學院姓名吳同E-mail：wutong_jn@163.com58多媒體技術基礎及應用山東廣播電視大學直屬學院姓名吳關于本課程學時：6x3+上機(待定)教材：《多媒體技術基礎及應用》，鐘玉琢 清華大學出版社參考書：多媒體技術教材 輔導與實驗手冊；網站59關于本課程學時：6x3+上機(待定)2603第一章多媒體技術概述多媒體技術基本概念

媒體的定義和分類多媒體的定義和特征多媒體信息處理的總目標多媒體計算機技術及其發(fā)展歷史多媒體技術的主要內容

多媒體的軟硬件平臺專用芯片多核處理器

數據壓縮及編碼技術多媒體同步多媒體技術的應用

多媒體技術促進了計算機、通訊和大眾媒體的融合

思考題多媒體網絡與分布式處理技術

信息的組織與管理

多媒體數據存儲

虛擬現實技術61第一章多媒體技術概述多媒體技術基本概念思考題多媒體網絡媒體的定義和分類什么是媒體？

媒體（Medium）在計算機領域中有兩種含義，一是指用以存儲信息的實體，如磁盤、磁帶、光盤和半導體存儲器；一是指信息的載體，如數字、文字、聲音、圖形圖像和視頻等。CCITT曾給媒體做了如下的分類：

感覺媒體（PerceptionMedium）

表示媒體（RepresentationMedium）

顯示媒體（PresentationMedium）

存儲媒體（StorageMedium）

傳輸媒體（TransmissionMedium）返回62媒體的定義和分類什么是媒體？返回5幾種媒體的關系CPUOutputDeviceStorageInputDevice表示媒體存儲媒體顯示媒體顯示媒體感覺媒體感覺媒體表示媒體傳輸媒體返回63幾種媒體的關系CPUOutputStorageInput表示感覺媒體感覺媒體是指能直接作用于人的感官，使人能直接產生感覺的一類媒體。感覺媒體有人類的各種語言、音樂，自然界的各種聲音、圖形、靜止和運動的圖像等。

64感覺媒體感覺媒體是指能直接作用于人的感官，使人能直感覺媒體視覺媒體文字景象聽覺媒體語言聲音觸覺媒體嗅覺媒體味覺媒體力,運動,溫度氣味滋味聲音景象類型名稱分類返回65感覺媒體視覺媒體文字景象聽覺媒體語言聲音觸覺媒體嗅覺媒表示媒體表示媒體是為了加工、處理和傳輸感覺媒體而人為地研究、構造出來的一種媒體。其目的是能將感覺媒體從一個地方向另一個地方傳送，以便于加工和處理。表示媒體有各種編碼方式如語音編碼、文本編碼、靜止和運動圖像編碼等。

66表示媒體表示媒體是為了加工、處理和傳輸感覺媒體而人表示媒體舉例時間屬性/空間屬性/生成屬性

圖象（image）圖形（graphics）文本（text）視頻（video）動畫（animation）合成語音MIDI音樂(MIDI)MP3音樂波形聲音(wave)67表示媒體舉例時間屬性/空間屬性/生成屬性圖象（image表示媒體的時間屬性time-independent(discrete)media（離散媒體，值不會隨著時間而變化）text,graphics,staticimage,….time-dependent(continuous)media（連續(xù)媒體，值隨著時間而變化）speech,music,video,animation,….68表示媒體的時間屬性time-independent(di表示媒體的空間屬性1D媒體單聲道speech,music,2D媒體雙聲道m(xù)usic;text,image,2Dgraphics,3D及多維媒體3Dgraphics,全景圖像,空間立體聲music,69表示媒體的空間屬性1D媒體12表示媒體的生成屬性自然媒體(使用數字化方法從現實世界獲取的媒體)取樣聲音,image,video合成媒體(使用計算機創(chuàng)建的媒體)合成語音,MIDI,graphics,animation70表示媒體的生成屬性自然媒體(使用數字化方法從現實世界獲取的媒自然媒體與合成媒體的區(qū)別

自然媒體合成媒體來源 獲取 創(chuàng)建表示方法 取樣表示 符號表示表現能力 真實感強 真實感有限可編輯性 有限 全部存儲 數據量很大 數據量很小檢索 困難 容易傳輸 要求高 要求低展現 處理容易 處理復雜返回71自然媒體與合成媒體的區(qū)別顯示媒體顯示媒體是指感覺媒體與用于通信的電信號之間轉換用的一類媒體。它包括輸入顯示媒體（如鍵盤、攝像機、話筒等）和輸出顯示媒體（如顯示器、喇叭和打印機等）。

返回72顯示媒體顯示媒體是指感覺媒體與用于通信的電信號之間存儲媒體存儲媒體是用來存放表示媒體，以方便計算機處理加工和調用，這類媒體主要是指與計算機相關的外部存儲設備。

返回73存儲媒體存儲媒體是用來存放表示媒體，以方便計算機處傳輸媒體傳輸媒體是用來將媒體從一個地方傳送到另一個地方的物理載體。傳輸媒體是通信的信息載體，如雙絞線、同軸電纜、光纖等。

返回74傳輸媒體傳輸媒體是用來將媒體從一個地方傳送到另一個多媒體的定義“多媒體”譯自20世紀80年代初產生的英文詞“multimedia”，最早出現于美國麻省理工學院(MIT)()遞交給國防部的一個項目計劃報告中。

多媒體是指信息表示媒體的多樣化，常見的多媒體有文字、圖形、圖像、聲音、音樂、視頻、動畫等多種形式。

多媒體技術是利用計算機技術把文本、聲音、視頻、動畫、圖形和圖像等多種媒體進行綜合處理，使多種信息之間建立邏輯連接，集成為一個完整的系統(tǒng)。

75多媒體的定義“多媒體”譯自20世紀80年代初產生的英文詞“m多媒體的特征多媒體從本質上來說具有三個最重要的特征:--多維化

--集成性

--交互性

除了以上三個特征，實際上多媒體還具有很多其它的特征，例如實時性，它主要指類似聲音和視頻這樣的媒體，它們具有很強的時間相關性。

返回76多媒體的特征多媒體從本質上來說具有三個最重要的特征多維化多維化是指信息媒體的多樣化。它使人們思想的表達不再限于順序的、單調的、狹小的范圍內，而有充分自由的余地。多媒體信息多維化不僅是指輸入，而且還指輸出，目前主要包括聽覺和視覺兩個方面。

返回77多維化多維化是指信息媒體的多樣化。它使人們思想的表達不再限于集成性這不僅是指多媒體設備集成，而且也包含多媒體信息集成或表現集成。

早期的各項技術都可以單一使用和應用，但很難有大的作為，因為它們是單一的、零散的，如聲音、圖像和交互式技術等。

信息空間的不完整（例如，僅有靜態(tài)圖像而無動態(tài)視頻、僅有聲音而無圖形等）都限制了信息空間中的信息組織，也就限制了信息的有效使用。

78集成性這不僅是指多媒體設備集成，而且也包含多媒體信息集成或表媒體食物(價值)鏈多媒體作品(文檔)媒體集成媒體編輯媒體準備媒體編輯媒體準備媒體編輯媒體準備媒體編輯媒體準備網絡媒體通信媒體消費文本圖像音頻視頻內容(content)媒體顯示媒體消費媒體顯示數字項(digitalitem)返回79媒體食物(價值)鏈多媒體作品(文檔)媒體媒體媒體媒體媒體媒體交互性這是人們獲取和使信息變被動為主動的最為重要的特征。

多媒體信息空間中的交互性向用戶提供更加有效地控制和使用信息的手段，同時也為應用開辟了更廣闊的領域，交互可以增加對信息的注意和理解，延長保留的時間。

返回80交互性這是人們獲取和使信息變被動為主動的最為重要的特征。返多媒體信息處理的總目標使能跨越各種不同網絡和設備,透明地、強化地使用多媒體資源。81多媒體信息處理的總目標使能跨越各種不同網絡和設備,透明地、多媒體信息處理空間離散媒體：text,image,…連續(xù)媒體：audio,video,...媒體處理媒體類型單媒體復合媒體應用模式單機應用模式網絡應用模式獲取(創(chuàng)建)編輯管理傳輸檢索描述展現說明編碼82多媒體信息處理空間離散媒體：媒體處理媒體類型單媒體復合媒體應多媒體計算機技術

及其發(fā)展歷史1984年Apple公司在蘋果機Macintosh(也稱為Mac)上引入了位圖(Bitmap)概念進行圖形處理，并使用了窗口(Windows)和圖標(Icon)作為用戶界面，標志了多媒體及多媒體技術的產生和應用。

1986年，Philips公司和Sony公司聯合推出了交互式緊湊光盤系統(tǒng)CD-I（CompactDiscInteractive），能夠將聲音、文字、圖形圖像等多媒體信息數字化并存儲到光盤片上

83多媒體計算機技術

及其發(fā)展歷史1984年Apple公司在蘋果多媒體計算機技術

及其發(fā)展歷史1987年，RCA公司推出了交互式數字視頻系統(tǒng)DVI(DigitalVideoInteractive)，以計算機為基礎，使用標準光盤來存儲、檢索多媒體數據；1989年IBM公司推出AVC系統(tǒng)(AudioVisualConnection)，提供了多媒體編輯功能;1990年Philips等十多家廠商成立了多媒體市場協會，并制定了MPC(多媒體計算機)的市場標準MPC184多媒體計算機技術

及其發(fā)展歷史1987年，RCA公司推出了交多媒體計算機技術

及其發(fā)展歷史1993年5月MPC聯盟又制定了第二代多媒體計算機標準－MPC2，主要是提高了基本部件的性能指標

1995年6月制定了MPC第三代的標準。增加了全屏幕、全動態(tài)(30幀/秒)視頻及增強版CD音質的視頻和音頻硬件標準

返回85多媒體計算機技術

及其發(fā)展歷史1993年5月MPC聯盟又制定項目MPC1MPC2MPC3RAM2MB4MB8MB運算處理器16MHz386SX25MHz486SX75MHzPentium同等級X86CD-ROM150kB/s最大尋址時間1s300kB/s最大尋址時間400msCD-ROMXA600kB/s最大尋址時間200msCD-ROMXA聲卡8bit數字聲音8個合成音MIDI16bit數字聲音8個合成音MIDI8bit數字聲音Wavetable(波表)MIDI顯示640×48016色640×48065536色640×48065536色硬盤容量30MB160MB540MB彩色視頻播放--352×24030fps輸入輸出端口MIDII/O,搖桿端口，串并聯端口MIDII/O,搖桿端口，串并聯端口MIDII/O,搖桿端口，串并聯端口返回86項目MPC1MPC2MPC3RAM2MB4MB8MB運算處理 隨著技術的不斷發(fā)展，1996年又發(fā)表了MPC4.0的技術標準及后來的MPC5.0等。隨著計算機硬件技術和多媒體技術的飛速發(fā)展，MPC的標準規(guī)范還在不斷升級，并且出現了將多媒體和通信功能集成到了CPU芯片中的MMX技術，形成了專用的多媒體微處理器，并支持DVD、具有TV功能及集成化網絡接口等.

MPC2.0MPC3.0MPC4.0CPU80486Pentium75Pentium133內存容量4MB8MB16MB硬盤容量160MB850MB1.6GBCD--ROM2x4x10x聲卡16位16位16位圖像16位彩色24位彩色32位真彩色分辨率640×480800×6001280×1024軟驅1.44MB1.44MB1.44MB操作系統(tǒng)Windows3.xWindows95Windows9587 隨著技術的不斷發(fā)展，1996年又發(fā)表了MPC4.0的技術標多媒體的軟硬件平臺軟件及硬件平臺是實現多媒體系統(tǒng)的物質基礎，其中每一項重要的技術突破都直接影響到多媒體的發(fā)展與應用的進程。

返回多媒體硬件視頻信號I/O接口卡音頻信號I/O接口板視頻、音頻壓縮解壓縮視頻、音頻信號實時處理驅動軟件(Driver)驅動器接口模板視頻/音頻支撐系統(tǒng)或視頻/音頻核心部件在初始化引導程序作用下把它安裝到系統(tǒng)RAM中常駐內存。一個驅動器對應一種硬件設備的接口。多媒體計算機的核心軟件88多媒體的軟硬件平臺軟件及硬件平臺是實現多媒體系統(tǒng)的物質基礎，專用芯片數字化后的音頻和視頻數據量非常大，因此必須進行壓縮并需要大容量的存儲器；音頻和視頻的輸入和輸出是實時的，需要高速度。要實現以上最基本的要求，在很多情況下，需要專用硬件支持。多媒體計算機專用芯片可歸納為兩種類型：一種是固定功能的芯片；一種是可編程的處理器

片上系統(tǒng)(Systemonachip,SOC)適應了人們對于提高性能、縮小尺寸、降低能耗、快速上市和降低成本等諸多方面的需求89專用芯片數字化后的音頻和視頻數據量非常大，因此必須進行壓縮并專用芯片NEC公司稱其已開發(fā)出了一種用于圖像識別的單芯片并行處理器。這種處理器每秒能處理50.2G(1G＝10億)條指令。這一速度是3GHz的PC處理器的4倍，能耗卻只有1/10這個由3270萬個晶體管構成的芯片由一個128個8位RISC處理單元和一個用于控制功能的16位處理器并行構成。每個處理單元只有100MHz的工作頻率，從而大幅降低了能耗，其每個處理單元都擁有2KB的存儲空間，用于存儲圖像數據這個處理器的功耗相當于PDA的處理器、圖形處理性能相當于4臺PC，而尺寸卻只有11×11毫米返回90專用芯片NEC公司稱其已開發(fā)出了一種用于圖像識別的單芯片并行多核處理器目前最快的PC處理器上晶體管的數目已經達到了5500萬個，保守一點估計，到2007年一個處理器將集成10億只晶體管（頻率大約是6GHz）。巨大的晶體管數量意味著巨大的能耗，隨之而來的散熱問題也日益凸顯。毫無疑問，工藝的提升有助于部分地解決散熱問題，但生產工藝提升本身就是一個耗資巨大（一條0.18微米的生產線造價大約是20億美元）的工程91多核處理器目前最快的PC處理器上晶體管的數目已經達到了550多核處理器從理論上講，由于將兩個或多個運算核封裝在一個芯片內部，首先節(jié)省了大量的晶體管和封裝成本（CPU的核很小，將多個核封裝在一起給外形尺寸帶來的變化并不顯著），同時還能顯著提高處理器的性能。多核處理器對外的“界面”還是統(tǒng)一的（有的多核產品甚至不會改變針腳數），所以整個計算機系統(tǒng)需要為此做出的改變就很有限，這意味著用戶不會在主板、硬件體系方面做大的改變，從兼容性和系統(tǒng)升級成本方面來考慮有諸多的優(yōu)勢92多核處理器從理論上講，由于將兩個或多個運算核封裝在一個芯片內多核處理器雙核或多核處理器早已有之，SOC、多媒體、網絡等一些嵌入式處理器中都采用了多核技術IBMPower4處理器一樣，將兩顆完全一樣的處理器封裝在一個芯片內，達到雙倍或接近雙倍的處理性能，由于共享了緩存和系統(tǒng)總線，因此這種做法的優(yōu)點是能節(jié)省運算資源。而Sun公司明年即將發(fā)布的雙核處理器UltraSPARCIV則將兩顆處理器集成在一個硅片上，這樣封裝面積更小，相對功耗也更低93多核處理器雙核或多核處理器早已有之，SOC、多媒體、網絡等一多核處理器采用0.13微米工藝的Madison芯片面積將降低到200～300mm2之間；到2004年采用0.09微米工藝的第五代安騰處理器Montecito的產品面積可能會進一步降低到150mm2；直到2005年65納米工藝誕生，IA64處理器的大小可能會降低到100mm2以下，屆時，這些技術進展會為Intel多核處理器的誕生打下堅實的基礎返回94多核處理器采用0.13微米工藝的Madison芯片面積將降低數據壓縮及編碼技術多媒體系統(tǒng)要求具有綜合處理聲、圖、文的能力，面臨的主要問題是巨大的數據量，尤其是對動態(tài)圖形和視頻圖像多媒體信源引起了“數據爆炸”如果不進行數據壓縮傳輸和存儲都難以實用化多媒體數據95數據壓縮及編碼技術多媒體系統(tǒng)要求具有綜合處理聲、圖、文的能力1分鐘數字音頻信號需要的存儲空間961分鐘數字音頻信號需要的存儲空間39分鐘數字視頻信號需要的存儲空間197分鐘數字視頻信號需要的存儲空間140時間域壓縮──迅速傳輸媒體信源頻率域壓縮──并行開通更多業(yè)務空間域壓縮──降低存儲費用能量域壓縮──降低發(fā)射功率數據壓縮的好處返回98數據壓縮的好處返回41多媒體同步多媒體信息本身的特點使得各種信息之間在時間上具有一定的相關性，最明顯的例子是聲音和圖像，二者都是時間的函數

在對多媒體數據進行綜合處理時，不僅要考慮到各種媒體的相對獨立性，為了達到較好的信息表示效果，還要注意保持媒體之間在時間和空間上的相關性

返回99多媒體同步多媒體信息本身的特點使得各種信息之間在時間上具有一多媒體網絡

與分布式處理技術多媒體單機系統(tǒng)的研究目前已相對成熟，但對多媒體計算機網絡的研究目前還不夠成熟

數字化的網絡集多媒體信息的獲取、存儲、處理、編輯、綜合、傳輸于一體，并運行于網絡上，網絡的任意節(jié)點都可以共享網上的多媒體信息多媒體技術要充分發(fā)展其對多媒體信息的處理能力，必須與網絡技術相結合

運行于網絡環(huán)境下多媒體系統(tǒng)，因為它能夠不受時空限制地使多個用戶透明地共享網上的數據，特別是多個用戶同時共同對一個數據文件進行編輯，這使得多媒體技術有了更廣泛的應用

返回100多媒體網絡

與分布式處理技術多媒體單機系統(tǒng)的研究目前已相對成信息的組織與管理信息及數據管理是信息系統(tǒng)的核心問題之一

多媒體的數據量巨大，種類繁多，每種媒體之間的差異又是那樣明顯，但這些信息又存在種種關聯性，這些都給數據與信息的管理帶來了新的問題

有一種新型的信息管理方法，即超媒體(Hypermedia)，有人稱之為天然的多媒體信息管理方法

101信息的組織與管理信息及數據管理是信息系統(tǒng)的核心問題之一44信息的組織與管理無邊無際的信息海洋中如何找到想要的信息，這真像大海撈針。探索者和研究者們早在20世紀60年代就已經開始了對“大海撈針”技術的研究與開發(fā)，并卓有成效。102信息的組織與管理無邊無際的信息海洋中如何找到想要的信息，這真信息的組織與管理IBM將推出一種新技術，這種被稱為非結構化的信息管理架構（UIMA）的技術是一種基于XML的數據檢索體系，它將極大地擴展和增強檢索技術。當人們面對越來越多的音頻、視頻、文本等數據時，這種人工智能技術將極大地改善用