第7章-多媒體技術(shù)基礎(chǔ)

第7章

多媒體技術(shù)基礎(chǔ)7.1多媒體技術(shù)概述

近年來，多媒體技術(shù)取得了令人矚目的成績，它給人類帶來了深刻的影響，正迅速滲透到社會各個領(lǐng)域。在計算機信息領(lǐng)域中泛指一切信息載體，此時有兩種具體含義，一種指信息的存儲實體，如磁帶、磁盤、光盤和半導體存儲器；另一種指信息的表現(xiàn)形式或多種信息的載體，概括為聲音、文字、圖像、圖形、數(shù)據(jù)5類。7.1多媒體技術(shù)概述

多媒體技術(shù)使計算技能同時處理音頻、視頻和文本等多種信息。所以說，多媒體是數(shù)字、文字、聲音、圖形、圖像和動畫等各種媒體的有機組合，并與先進的計算機、通信和廣播電視技術(shù)相結(jié)合，形成一個可組織、存儲、操縱和控制多媒體信息的集成環(huán)境和交互系統(tǒng)。簡單地說，是利用計算機綜合處理聲、文、圖等信息，構(gòu)造具有集成性和交互性系統(tǒng)的技術(shù)。把一臺普通的計算機變成多媒體計算機要解決的關(guān)鍵技術(shù)是視頻、音頻信號的獲取技術(shù)和多媒體數(shù)據(jù)壓縮、編碼、解碼技術(shù)。7.1.1多媒體技術(shù)的基礎(chǔ)知識

1．數(shù)字聲音聲音是攜帶信息的重要媒體，是多媒體技術(shù)研究中的一個重要內(nèi)容。聲音的種類繁多，如人的話音、樂器聲、動物發(fā)出的聲音、機器產(chǎn)生的聲音，以及自然界的雷聲、風聲和雨聲等。這些聲音有許多共同的特性，也有它們各自的特性。用計算機處理這些聲音時，既要考慮它們的共性，又要利用它們各自的特性。7.1.1多媒體技術(shù)的基礎(chǔ)知識（1）聲音的特性聲音是通過空氣傳播的一種連續(xù)的波，叫聲波。聲音的兩個基本參數(shù)是幅度和頻率。人們通常聽到的聲音并不是單一頻率的聲音，而是許多頻率不同的音頻信號組成的，聲音信號的頻率范圍稱為帶寬，如高保真聲音的頻率范圍為10Hz～20000Hz，它的帶寬約為20kHz。

7.1.1多媒體技術(shù)的基礎(chǔ)知識亞音信號：音頻信號：話音信號：超音頻信號：頻率小于20Hz的信號

頻率范圍為20Hz～20kHz的信號

人的發(fā)音器官發(fā)出的聲音頻率大約是80Hz一3400Hz，人說話時信號頻率通常為300Hz～3000Hz

高于20kHz的信號

7.1.1多媒體技術(shù)的基礎(chǔ)知識

（2）數(shù)字音頻數(shù)字音頻基礎(chǔ)知識包括音頻數(shù)據(jù)采樣、加工處理、壓縮、存儲及音頻文件格式、數(shù)字音頻處理軟件功能等。聲音是連續(xù)的震動的波，通常用隨時間變化的連續(xù)波形模擬表示。一般有3個物理量描述:振幅、周期、頻率。振幅:波形的最高點（或最低點）與基線間距離為振幅，振幅表示聲音的強弱。周期:兩個連續(xù)波峰間時間的長度為周期。頻率:一秒鐘內(nèi)出現(xiàn)的周期數(shù)即震動次數(shù)，以Hz為單位。

7.1.1多媒體技術(shù)的基礎(chǔ)知識代表聲音的模擬信息是一個連續(xù)的正弦波，不能由計算機直接處理，必須將其數(shù)字化。數(shù)字化過程如圖7.1所示。7.1.1多媒體技術(shù)的基礎(chǔ)知識

采樣:按規(guī)則的時間間隔對模擬信號進行測量叫做采樣，在采樣時刻獲得的幅度值為模擬信號的振幅，其時間間隔為采樣周期。如圖7.2所示。7.1.1多媒體技術(shù)的基礎(chǔ)知識奈奎斯特理論指出:采樣頻率不應低于聲音信號最高頻率的兩倍，這樣就能把以數(shù)字表達的聲音還原成原來的聲音，這叫做無損數(shù)字化。采樣定律為:Fs≥2F或Ts≤T/2其中:F為被采樣信號的最高頻率。

T為被采樣信號的周期。7.1.1多媒體技術(shù)的基礎(chǔ)知識

（3）音頻文件格式采樣后的聲音以文件方式存儲后，方可進行聲音處理。聲音文件有多種格式，目前常用的有四種:1)波形音頻文件擴展名.wav。2)數(shù)字樂器MIDI音頻文件擴展名.mid。3)光盤數(shù)字音頻文件(CD-DA)擴展名.cda。4)網(wǎng)絡數(shù)字音頻文件擴展名.au。7.1.1多媒體技術(shù)的基礎(chǔ)知識2.計算機中的顏色模型自然界多姿多彩的景物通過人們的視覺器官在大腦中留下印象，這就是圖像。圖像是計算機中一類重要而常用的多媒體信息。為了了解人的視覺系統(tǒng)如何認識色彩，計算機中如何表示彩色圖像，我們介紹表示數(shù)字彩色圖像所需要的基本知識。7.1.1多媒體技術(shù)的基礎(chǔ)知識（1）視覺系統(tǒng)對顏色的感知顏色的實質(zhì)是一種光波，是視覺系統(tǒng)對可見光的感知結(jié)果。它的存在是因為有3個實體，即光線、被觀察的對象以及觀察者。人眼對顏色的感知是把顏色當作由被觀察對象吸收或者反射不同波長的光波形成的?？梢姽馐遣ㄩL在380nm～780nm之間的電磁波，人們看到的大多數(shù)光不是一種波長的光，而是由許多不同波長的光組合成的。7.1.1多媒體技術(shù)的基礎(chǔ)知識自然界中的任何一種顏色都可以由-紅、綠、藍(R，G，B)這3種顏色值之和來確定，它們構(gòu)成一個三維的RGB矢量空間。這就是說，R，G，B的數(shù)值不同，混合得到的顏色就不同，也就是光波的波長不同。

7.1.1多媒體技術(shù)的基礎(chǔ)知識（2）圖像的顏色模型理論上，任何一種顏色都可用紅、綠、藍3種基本顏色按不同的比例混合得到，稱為相加混色。相加混色是計算機應用中定義顏色的基本方法。一個能發(fā)出光波的物體稱為有源物體，它的顏色由該物體發(fā)出的光波決定，并且使用RGB相加混色模型。

7.1.1多媒體技術(shù)的基礎(chǔ)知識在計算機中，將紅、綠、藍3種顏色分別按光強度(深淺)的不同分為256個級別，0級實際上是黑色，255級是純色(紅、綠或藍)，分別用8位二進制數(shù)表示，每個像素占24位。7.1.1多媒體技術(shù)的基礎(chǔ)知識除了RGB模型之外，還可以用顏色的3個特性來區(qū)分顏色，它們是色調(diào)，飽和度和明度，稱為HSB顏色模型。色調(diào)又稱為色相，指顏色的外觀，用于區(qū)別顏色的名稱或顏色的種類。飽和度是指顏色的純潔性，它可用來區(qū)別顏色明暗的程度。明度是視覺系統(tǒng)對可見物體輻射或者發(fā)光多少的感知屬性。7.1.1多媒體技術(shù)的基礎(chǔ)知識

如果對連續(xù)圖像f(x，y)的坐標按一定順序進行等間隔的采樣，而對每一點的灰度也用等間隔進行整量，并且假設(shè)在(x，y)方向上均取N個間隔，那么就可以得到一個N×N的數(shù)組，便把它稱為數(shù)字圖像(digitalimage)。數(shù)組中的每一個數(shù)據(jù)都是數(shù)字圖像的一個元素，稱為圖像元素，簡稱像素(pixel)或者像元。7.1.1多媒體技術(shù)的基礎(chǔ)知識這就是一幅灰度圖像在計算機中的表示，通常是將這些數(shù)據(jù)一行一行地存放在圖像文件中。7.1.1多媒體技術(shù)的基礎(chǔ)知識在計算機中，表示圖像有兩種方法，一種是用一系列的計算機指令來表示一幅圖。如對于直線，圖像文件中記錄line，start-point，end-point；對于圓，圖像文件中記錄circle，center_x，center_y，radius，這樣記錄的文件不會隨圖像的尺寸改變而改變，也不存在采樣分辨率的問題，只與顯示的尺寸和顯示分辨率有關(guān)，這樣的圖像稱為矢量圖像，或矢量圖，而矢量圖像通常叫做圖形。7.1.1多媒體技術(shù)的基礎(chǔ)知識對于復雜的圖像，很難用數(shù)學方法對其進行描述，比如一幅照片，這時就使用記錄每一個離散點的顏色的方法(就是前面介紹的采樣、量化和編碼)來描述圖像，這種圖像叫位圖圖像。位圖圖像把一幅圖分成許許多多的像素，每個像素用若干個二進制位來表示該像素的顏色和亮度。7.1.1多媒體技術(shù)的基礎(chǔ)知識

位圖圖像按顏色又分為灰度圖像和彩色圖像，灰度圖像的顏色只有黑白和濃淡之分，只有黑白兩種顏色的稱為單色圖像?；叶葓D像還有16級、256級灰度。彩色圖像有紅、綠、藍等豐富的色彩，有16色、256色和24位真彩色之分。7.1.1多媒體技術(shù)的基礎(chǔ)知識

4.圖像文件格式（1）BMP（bitmap-file）位圖文件位圖文件后綴名以bmp結(jié)尾，是微軟公司為其Windows環(huán)境設(shè)置的標準圖像格式，在Windows系統(tǒng)中提供了一系列支持BMP圖像處理的APl函數(shù)。隨著Windows在世界范圍內(nèi)的不斷普及，BMP文件格式無疑也已經(jīng)成為PC機上的流行圖像文件格式。在每個BMP文件中只能存放一幅圖像。BMP圖像質(zhì)量較高，沒有數(shù)據(jù)損失。BMP圖像文件格式可以存儲單色、16色、256色以及真彩色四種圖像數(shù)據(jù)。7.1.1多媒體技術(shù)的基礎(chǔ)知識（2）GIF(graphicsinterchangeformat圖形交換格式)GIF是一種常用的跨平臺的位圖文件格式，存儲的是8位圖像文件，最多為256色，常用于網(wǎng)絡傳輸。GIF是CompuServe公司開發(fā)的圖像文件存儲格式。7.1.1多媒體技術(shù)的基礎(chǔ)知識（3）JPEG(JointPhotographicExpertsGroup)JPEG是一個由ISO(InternationalStandardOrganization國際標準化組織)和IEC(InternationalElectrotechnicsCommittee國際電工委員會)聯(lián)合組成的一個專家組，負責制定靜態(tài)的數(shù)字圖像數(shù)據(jù)壓縮編碼標準，這個專家組開發(fā)的算法稱為了JPEG算法，并且成為國際上通用的標準，因此又稱為JPEG標準，相應的文件存儲格式為.jpg格式。JPEG是一個適用范圍很廣的靜態(tài)圖像數(shù)據(jù)壓縮標準，既可用于灰度圖像又可用于彩色圖像。7.1.1多媒體技術(shù)的基礎(chǔ)知識

5.視頻文件格式（1）AVI(audiovideointerleave)AVI是一種音頻視像交插記錄的數(shù)字視頻文件格式。（2）RMRM格式是RealNetworks公司開發(fā)的一種流媒體視頻文件格式，它主要包含RealAudio，RealVideo和RealFlash3部分。RealMedia可以根據(jù)網(wǎng)絡數(shù)據(jù)傳輸?shù)牟煌俾手贫ú煌膲嚎s比率，從而實現(xiàn)在低速率的Internet上進行視頻文件的實時傳送和播放。（3）ASF(advancedstreamingformat)ASF是由Microsoft公司推出的一種高級流媒體格式，也是一個可以在Internet上實現(xiàn)實時播放的標準，7.1.1多媒體技術(shù)的基礎(chǔ)知識（4）DV(digitalvideo)DV格式是一種國際通用的數(shù)字視頻標準，由SONY和Panasonic等10余家公司共同開發(fā)的，可以在一盤1/4英寸的金屬蒸鍍帶(MiniDV格式)上記錄高質(zhì)量的數(shù)字視音頻信號。7.1.2多媒體計算機系統(tǒng)的組成

多媒體系統(tǒng)是一個能處理多媒體信息的計算機系統(tǒng)。它是在現(xiàn)有PC計算機基礎(chǔ)上加上硬件板卡和相應的軟件，使其具有綜合處理聲音、文字、圖像、視頻等多種媒體信息的多功能計算機。可見，多媒體系統(tǒng)是計算機和視覺、聽覺等多種媒體系統(tǒng)的綜合。多媒體計算機系統(tǒng)與普通計算機一樣，也是由多媒體硬件和多媒體軟件兩部分組成。7.1.2多媒體計算機系統(tǒng)的組成

1．多媒體系統(tǒng)的硬件結(jié)構(gòu)多媒體計算機的硬件系統(tǒng)是由主機、視頻部分、音頻部分、基本輸入/輸出部分、高級多媒體設(shè)備等5部分組成，如圖7.6所示:

圖7.6多媒體系統(tǒng)的硬件結(jié)構(gòu)7.1.2多媒體計算機系統(tǒng)的組成

(1)主機(2)視頻部分(3)音頻部分(4)基本輸入/輸出設(shè)備(5)高級多媒體設(shè)備主機是多媒體計算機的核心，可以是大/中型計算機，也可以是工作站，用的最多的還是微機。目前主機主板上可能集成有多媒體專用芯片。

視頻部分負責多媒體計算機圖像和視頻信息的數(shù)字化攝取和回放。主要包括視頻壓縮卡(也稱視頻卡)、電視卡、加速顯示卡等。完成視頻信號的A/D和D/A轉(zhuǎn)換及數(shù)字視頻的壓縮和解壓縮功能。音頻部分主要完成音頻信號的A/D和D/A轉(zhuǎn)換及數(shù)字音頻的壓縮、解壓縮及播放等功能，主要包括聲卡、外接音箱、話筒、耳麥、MIDI設(shè)備等。

多媒體輸入/輸出設(shè)備十分豐富，按功能分為視頻/音頻輸入設(shè)備、視頻/音頻輸出設(shè)備、人機交互設(shè)備、數(shù)據(jù)存儲設(shè)備。隨著科技的進步，出現(xiàn)了一些新的輸入/輸出設(shè)備，比如用于傳輸手勢信息的數(shù)據(jù)手套，用于虛擬現(xiàn)實能夠產(chǎn)生較好的沉浸感的數(shù)字頭盔和立體眼鏡等設(shè)備。7.1.2多媒體計算機系統(tǒng)的組成

2．多媒體軟件系統(tǒng)多媒體軟件系統(tǒng)按功能可分為系統(tǒng)軟件和應用軟件。系統(tǒng)軟件是多媒體系統(tǒng)的核心，它不僅具有綜合使用各種媒體、靈活調(diào)度多媒體數(shù)據(jù)進行媒體傳輸和處理的能力，而且要控制各種媒體硬件設(shè)備協(xié)調(diào)地工作。多媒體系統(tǒng)軟件主要包括多媒體操作系統(tǒng)、媒體素材制作軟件及多媒體函數(shù)庫、多媒體創(chuàng)作工具與開發(fā)環(huán)境、多媒體外部設(shè)備驅(qū)動軟件和驅(qū)動器接口程序等。7.1.2多媒體計算機系統(tǒng)的組成

應用軟件是在多媒體創(chuàng)作平臺上設(shè)計開發(fā)的面向應用領(lǐng)域的軟件系統(tǒng)，通常由應用領(lǐng)域的專家和多媒體開發(fā)人員共同協(xié)作、配合完成。開發(fā)人員利用開發(fā)平臺、創(chuàng)作工具，制作組織各種多媒體素材，生成最終的多媒體應用程序，并在應用中測試、完善，形成最終的多媒體產(chǎn)品。例如，教育軟件、電子圖書等。7.1.2多媒體計算機系統(tǒng)的組成

3．多媒體系統(tǒng)的層次結(jié)構(gòu)多媒體系統(tǒng)的層次結(jié)構(gòu)與計算機系統(tǒng)的結(jié)構(gòu)在原則上是相同的，由底層的硬件系統(tǒng)和其上的各層軟件系統(tǒng)組成，只是考慮多媒體的特性各層次的內(nèi)容有所不同，如圖7.7所示。7.1.3多媒體關(guān)鍵技術(shù)多媒體技術(shù)的研究涉及到諸多問題，其中主要有以下幾個方面:1

1.數(shù)據(jù)壓縮2．數(shù)據(jù)的組織與管理3．多媒體信息的展現(xiàn)與交互4．多媒體通信與分布處理5．虛擬現(xiàn)實技術(shù)7.2多媒體數(shù)據(jù)編碼及壓縮

編碼是指將語音或視頻模擬信號改編成數(shù)字信號的過程。解碼是指將數(shù)字信號轉(zhuǎn)換成模擬信號的過程。數(shù)據(jù)編碼的前提是數(shù)字化，它包括空間、時間采樣和幅度量化。數(shù)據(jù)壓縮的目的是為了便于存儲和傳輸，而為了對數(shù)據(jù)進行還原，還必須進行解壓縮，因此，數(shù)據(jù)壓縮通常包含對數(shù)據(jù)的編碼和解碼。隨著多媒體技術(shù)的發(fā)展，數(shù)據(jù)壓縮技術(shù)的研究受到人們越來越多的重視。在計算機系統(tǒng)中，大量信息需要在有限的硬盤上存儲；在計算機網(wǎng)絡中，這些海量信息需要在較窄的信道中傳輸。如何有效地減少存儲量和提高傳輸速度就成為一個關(guān)鍵問題。數(shù)據(jù)壓縮是解決這一問題的有效方法。7.2.1數(shù)據(jù)壓縮的必要性為什么數(shù)據(jù)需要壓縮呢?

這是因為多媒體技術(shù)是面向三維圖像以及動畫、音頻、視頻等的處理技術(shù)，為了達到令人滿意的視頻畫面質(zhì)量和音頻的聽覺效果，必須對視頻和音頻做到實時處理。而實時處理技術(shù)的首要問題便是如何解決計算機系統(tǒng)對龐大的視頻、音頻等數(shù)據(jù)的獲取、傳輸和存儲問題。也就是龐大的數(shù)據(jù)量要求人們必須對數(shù)據(jù)進行壓縮。

下面的幾個例子說明了不壓縮時，數(shù)據(jù)存儲所需要的空間?！纠?.1】計算存儲3分30秒的一首CD音質(zhì)的立體聲歌曲所需的存儲空間。解:在CD的音質(zhì)下采樣頻率為44.1KHz，振幅量子化為2B，再考慮立體聲，1秒鐘的數(shù)據(jù)量為:44.1KHz×2B×2＝176.4KB3分30秒的一首歌需要的存儲空間為:176.4KB×210秒＝37044KB＝36.2M7.2.1數(shù)據(jù)壓縮的必要性【例7.2】計算存儲一幅352×288的靜態(tài)真彩色圖像需要的存儲空間。解:存儲時，記錄每一個像素點的RGB值，對真彩色來講，每一個像素用3B來記錄，因此該圖像需要的存儲空間為:352×288×3B＝304.13KB【例7.3】計算1分鐘視頻所需的存儲空間。分辨率為352×288，每秒25幀。不含音頻數(shù)據(jù)。解:由上題，所占有的存儲空間為304.13KB×25×60＝456195KB＝456.2MB7.2.2數(shù)據(jù)壓縮與編碼1．無損壓縮多余的信息，在技術(shù)上稱為信息冗余。能夠?qū)Χ嗝襟w信息進行壓縮的前提就是因為數(shù)據(jù)中存在大量的冗余，尤其是聲音和圖像。數(shù)據(jù)壓縮的目的就是盡可能地消除這些冗余?！纠?.4】在靜態(tài)圖像中存在的空間冗余。如大部分區(qū)域是白色的背景。當連續(xù)出現(xiàn)8000個白色像素時，原始信息要連續(xù)記錄8000個白色的RGB值（255.255.255）。如果改用一個簡單的記法:用“8000個白色像素”這樣一句話來替代8000個白色的RGB值，信息量將會大大減少。8000個白色的RGB值：3B×8000＝24000B＝24KB8000個白色像素：2B＋3B＝5B

7.2.2數(shù)據(jù)壓縮與編碼【例7.5】在動態(tài)視頻中存在的時間冗余。視頻序列中相鄰的幀具有相同的畫面或者幾乎相同的畫面，此時就沒有必要記錄同樣的畫面，或者只記錄兩幅畫面之間的差別即可。【例7.4】和【例7.5】中，數(shù)據(jù)的壓縮利用了原始信息中的相關(guān)性。具有相關(guān)性是信息可以壓縮的一個重要的原因。利用信息相關(guān)性進行的數(shù)據(jù)壓縮，并不損失原信息的內(nèi)容，因此可實現(xiàn)無損壓縮。無損壓縮是一種可逆壓縮，即經(jīng)過壓縮后可以將原來文件中包含的信息完全保留的一種數(shù)據(jù)壓縮方式。7.2.2數(shù)據(jù)壓縮與編碼2.行程編碼RELRLE是無損壓縮的編碼。現(xiàn)實中有許多這樣的圖像，在一幅圖像中具有許多顏色相同的像素。連續(xù)許多行上都具有相同的顏色，或者在一行上有許多連續(xù)的像素都具有相同的顏色值。在這種情況下就不需要存儲每一個像素的顏色值，實際上，僅存儲一個像素的顏色值，以及具有相同顏色的像素數(shù)目就可以了，或者存儲一個像素的顏色值，以及具有相同顏色值的行數(shù)。這種壓縮編碼稱為行程編碼(runlengthencoding，RLE)。7.2.2數(shù)據(jù)壓縮與編碼原來所需的存儲空間為:50×3B+2×3B+1×3B+9×3B+72×3B＝402B編碼后需要的存儲空間為(假設(shè)行程的長度值用2B來存儲):2B+3B+2B+3B+3B+2B+3B+2B+3B＝23B編碼前后的數(shù)據(jù)量之比大約為17.5:1。7.2.2數(shù)據(jù)壓縮與編碼3.音頻波形的PCM編碼PCM是概念上最簡單，理論上最完善的編碼系統(tǒng)。采樣和量化本身就是一個編碼和壓縮的過程。將音頻數(shù)字化，最常見的方式是脈沖編碼調(diào)制PCM(pulsecodemodulation)。在圖7.9中的曲線表示了原始的音頻波形。7.2.2數(shù)據(jù)壓縮與編碼【例7.7】在圖7.9中，采用了20個采樣點；使用了4位量化。各采樣點的數(shù)據(jù)如表7.2所示。表7.2PCM編碼后的數(shù)據(jù)7.2.3多媒體數(shù)據(jù)壓縮標準

前面介紹了數(shù)據(jù)壓縮的基本概念和基本方法，隨著數(shù)據(jù)壓縮技術(shù)的發(fā)展，一些經(jīng)典編碼方法趨于成熟，為使數(shù)據(jù)壓縮走向?qū)嵱没彤a(chǎn)業(yè)化，近年來一些國際標準組織成立了數(shù)據(jù)壓縮和通信方面的專家組，制定了幾種數(shù)據(jù)壓縮編碼標準，并且很快得到了產(chǎn)業(yè)界的認可。目前已公布的數(shù)據(jù)壓縮標準有:用于靜止圖像壓縮的JPEG標準；用于視頻和音頻編碼的MPEG系列標準(包括MPEG-1、MPEG-2、MPEG-4等)；用于視頻和音頻通信的H.261標準；用于二值圖像編碼的JBIG標準等。7.3多媒體硬件基礎(chǔ)多媒體系統(tǒng)在硬件方面，根據(jù)應用不同，其配置也各異，基本配置見圖7.5。其中有些設(shè)備是多媒體系統(tǒng)必需的，如光盤、光盤驅(qū)動器、視頻、音頻信息數(shù)字化、壓縮及還原設(shè)備、AGP適配器、音樂設(shè)備數(shù)字接口MIDI等。有的尚可配置觸摸屏、話筒、攝像機、錄像機、掃描儀等設(shè)備。對于多媒體創(chuàng)作系統(tǒng)，則應配置可讀寫的光盤等等。

7.3.1音頻卡7.3.1音頻卡工作過程如下:(1)MIC輸入的音頻信號經(jīng)放大器進行放大，或由線路輸入(Linein)的信號經(jīng)A/D以設(shè)置的速率進行采樣并量化變成數(shù)字信號，然后將該信號送數(shù)字聲音處理器進行處理。(2)數(shù)字聲音處理器對數(shù)字音頻信號進行PCM、DPCM或ADPCM壓縮，在Windows下形成后綴為wav的文件，經(jīng)總線接口和控制器進行存盤。當播放存盤的wav文件時，再通過PC總線經(jīng)總線接口和控制器送入數(shù)字聲音處理器進行解壓縮，將解壓縮后的數(shù)字音頻信號送D/A轉(zhuǎn)換器。(3)由D/A轉(zhuǎn)換器將數(shù)字音頻信號轉(zhuǎn)換成模擬音頻信號，再經(jīng)功率放大器放大后，送揚聲器放音。7.3.1音頻卡工作過程如下:(4)MIDI樂器接口(MIDI，MusicallnstrumentDeviceInterface)可傳送MIDI消息，使音樂合成器根據(jù)MIDI消息合成音樂，也可將由MIDI設(shè)備產(chǎn)生的音樂以MIDI文件形式存盤，MIDI文件所占的存儲量比對同一音樂進行采樣并以wav文件存盤所占存儲量要少得多。(5)音樂合成器有兩種，合成器分為基本型合成器和擴展合成器。從MIDI文件或MIDI鍵盤來的MIDI消息，由合成器將其轉(zhuǎn)換成合成音樂送揚聲器放音。(6)通過游戲桿可玩游成，并配合音響效果，使得游戲更能吸引人。(7)在CD-ROM中的音頻信號，也可直接由聲卡放大送揚聲器放音。7.3.1音頻卡2.音頻卡的性能指標（1）數(shù)據(jù)轉(zhuǎn)換位數(shù)分為8位、16位、32位等，配置多媒體計算機時，最好采用16位以上聲卡。（2）采樣頻率指單位時間對聲音信號的采樣次數(shù)。采樣頻率越高，聲音失音度越小，但產(chǎn)生的數(shù)據(jù)量越大。配置多媒體計算機時，最好采支持44.1kHZ采樣頻率的聲卡。（3）兼容性兼容性好的聲卡可以與更多的軟件較好地配合工作。7.3.2視頻卡

基于視頻處理器VxP500的視頻采集卡的功能模塊主要包括:VxP500視頻處理模塊、A/D轉(zhuǎn)換模塊、D/A轉(zhuǎn)換模塊、DRAM緩存、VGAFeature連接器、ISA總線接口等，如圖7.11所示：7.3.2視頻卡

視頻解碼器(A/D)接口視頻源可以是攝像機、錄像機、攝像頭等所輸出的視頻信號，它們可分別插在視頻采集卡的輸入插孔上，通過軟件選中所需的視頻源，送到視頻解碼器接口。視頻輸入解碼器有一個模數(shù)轉(zhuǎn)換器，其任務是對視頻信號解碼和數(shù)字化。7.3.3顯示卡

顯示卡是工作在CPU和顯示器之間的顯示適配器的簡稱。通常顯示卡是以附加獨立卡的形式安裝在電腦主板的擴展槽中，或集成在主板上。與集成在主板上的顯示卡相比，獨立顯示卡性能優(yōu)越、工作穩(wěn)定。7.3.3顯示卡

1．顯示卡的顯示模式與接口顯卡的接口是連接顯卡和CPU的通道，按照圖像顯示模式，顯示卡可分為2類,PCI模式和AGP模式。PCI模式：PCI總線結(jié)構(gòu)，以1/2或1/3的系統(tǒng)總線頻率工作，通常為33Hz。如果要在處理圖像數(shù)據(jù)的同時處理其它數(shù)據(jù)，那么流經(jīng)PCI總線的全部數(shù)據(jù)就必須分別第進行處理，這樣勢必存在數(shù)據(jù)滯留現(xiàn)象。AGP模式：AGP接口是一種顯示接口，具有獨占總線的特性。只有圖像數(shù)據(jù)才能通過AGP接口，有效地解決了在數(shù)據(jù)量大時PCI模式的數(shù)據(jù)滯留問題。7.3.3顯示卡

2．顯示卡的功能分類顯示卡按功能分類:(1)

一般顯示卡完成顯示基本功能，其性能由品牌、工藝質(zhì)量、顯存容量等因素確定。(2)圖形加速卡目前以AGP顯示卡為主，帶有圖形加速器，顯示復雜圖像、三維圖像速度快。(3)3D圖形卡專為帶有3D圖形的應用開發(fā)的顯示卡(如高檔游戲)，三維坐標變換速度快，圖形動態(tài)顯示反應靈敏、清晰。7.3.4多媒體I/O設(shè)備

１．觸摸屏觸摸屏作為多媒體輸入設(shè)備，已被廣泛用于各個行業(yè)的控制、信息查詢及其他方面。用手指在屏幕上指點以獲取所需的信息，具有直觀、方便的特點，就是從未接觸過計算機的人也能立即使用。觸摸屏引入后可以改善人機交互方式，同時提高人機交互效率。(1)觸摸屏的適用領(lǐng)域(2)觸摸屏基本原理(3)觸摸屏組成(4)觸摸屏種類

自動控制及檢測，用于管理或控制系統(tǒng)中最低層、最高層人員的人機接口；展示與演示系統(tǒng)，用于大型博覽會、展銷會的產(chǎn)品演示、介紹；信息檢索和查詢，用于銀行、醫(yī)療、交通、商場、酒店等公共場所的各種信息查詢；培訓和教育，提供直觀、快速的學習方式。

觸摸屏是一種定位設(shè)備，當用戶用手觸摸安裝在計算機顯示器前的觸摸屏時，觸摸到的位置被觸摸屏控制器檢測到，并通過串行口或其它接口送到CPU，從而確定用戶所輸入的信息。

傳感器、控制器、驅(qū)動程序。傳感器用于探測用戶的觸摸動作。當有觸摸發(fā)生時，觸摸信號通過控制器轉(zhuǎn)換為數(shù)字信號，傳送給計算機。觸摸屏系統(tǒng)可以通過鍵盤端口、RS-232及專用控制器與計算機實現(xiàn)連接。

觸摸屏的工作原理根據(jù)使用的介質(zhì)不同而不同，比較流行的有電阻式