第四章多媒體技術(shù)

4.1多媒體技術(shù)基本概念1什么是多媒體計算機技術(shù)第四章

多媒體技術(shù)計算機領域的媒體包括了兩種含義：(1)是指存儲信息的實體，即介質(zhì)，比如磁盤、磁帶、光盤、優(yōu)盤等；(2)是指傳遞信息的載體，比如數(shù)字、文字、聲音、音樂、動畫片、視頻、圖形和圖像等。多媒體計算機技術(shù)中的媒體，指的是后者。

1人們通常講的“多媒體”，指的就是多媒體計算機技術(shù)。

媒體包括文字、圖形、圖像、聲音、動畫和影視。

多媒體技術(shù)是指能夠同時獲取、處理、編輯、存儲和展示兩個以上不同類型信息媒體的技術(shù)。2（1）集成性（2）交互性（雙向）（3）實時性（4）信息媒體多樣化和處理方式多樣化以計算機為中心，綜合處理多種信息媒體。媒體、硬件、軟件的集成。用戶可以通過與計算機內(nèi)的多媒體信息進行交互的方式，來控制和使用多媒體信息。聲音媒體與視頻媒體與時間密切相關(guān)信息媒體包括文字、聲音、音樂、動畫、視頻、圖形和圖像處理方式包括一維、二維、三維2多媒體技術(shù)的基本特點3（1）信息壓縮及編碼技術(shù)（3）大容量的光盤技術(shù)（2）超大規(guī)模集成(VLSI)電路制造技術(shù)聲音壓縮有去掉重復碼和去掉無聲碼。圖像壓縮采用JPEG壓縮標準。視頻壓縮有MPEG、DVI、H.261算法。CD-ROM存儲650MDVD存儲4.7G或17G本項技術(shù)促成了數(shù)字信號處理器(DSP)芯片的發(fā)展。3多媒體信息的關(guān)鍵技術(shù)壓縮原因：數(shù)據(jù)量、運算速度、冗余度4（5）多媒體網(wǎng)絡技術(shù)（6）多媒體信息檢索技術(shù)MPEG-7是解決檢索系統(tǒng)中快速定位的一個標準。正式名稱是：“多媒體內(nèi)容描述接口”指的是多媒體信息的時間和空間的同步技術(shù)。解決網(wǎng)絡中大容量存儲設備和數(shù)據(jù)庫管理等問題。（4）多媒體同步技術(shù)51圖形、圖像信息的數(shù)字化和存儲（1）圖形一般指由計算機產(chǎn)生的畫面?？梢允侵本€、圓、矩形、圖表，以及由這些基本形狀組成的場景。計算機中的矢量圖就是圖形。3DSMax產(chǎn)生的圖形

特點：1圖形用一些指令描述。2圖形放大縮小不會變形。3圖形由計算機繪制而成。4容易移動、縮放、旋轉(zhuǎn)和扭曲。圖形處理的典型軟件有：AutoCAD、CorelDraw、3dsMax4.2多媒體信息的數(shù)字化6經(jīng)由數(shù)字圖像設備輸入，并轉(zhuǎn)換成一些排列成行列的數(shù)字點（像素），這些信息稱為圖像。計算機中的位圖就是圖像。經(jīng)掃描儀輸入的圖像

特點：1由數(shù)字設備輸入的畫面2經(jīng)放大后會變形或損失信息。圖像處理的典型軟件有：Windows中的“畫圖”PhotoshopPhotoStyle影響圖像質(zhì)量的因素：1分辨率：顯示分辨率、圖像分辨率2色彩位數(shù)（2）圖像7分辨率是多媒體技術(shù)中一個重要的基本概念。

顯示分辨率是指顯示一幅圖像的屏幕像素點數(shù)目。例：640*480、1024*768、512*512顯示分辨率：組成一幅圖像的像素點數(shù)。例：200*400、24*24圖像分辨率：設備性能參數(shù)：掃描儀：dpi(每英寸點數(shù))4800dpi打印機：dpi(每英寸點數(shù))360dpi顯示器：0.21mm、0.26mm(點距)8高分辨位圖同樣尺寸顯示一幅圖，圖像的像素數(shù)目越多，即顯示分辨率越高，圖像越清晰。

低分辨位圖9放大后圖像變形。

原始圖像放大16倍圖像10同樣尺寸顯示一幅圖，顯示的像素數(shù)目越多，即顯示分辨率越高，圖像越清晰。

同樣的顯示分辨率，顯示時，圖像的像素數(shù)目越多，圖像的分辨率越高，圖像越大(存儲量越大)。修改顯示器分辨率：600*8001024*76811每一像素所用的位數(shù)稱為色彩位數(shù)。有時稱為顏色(灰度)分辨率、顏色深度。顏色分辨率(位)顏色數(shù)

通常對應圖像

一般使用場合

12黑/白打印機、圖形、單色顯示屏

244色偽彩色

圖像處理結(jié)果

41616色偽彩色

圖像處理結(jié)果

8256256級灰度黑白照片

黑白照片

1665536低彩色分辨率

彩色照片

2416777216高彩色分辨率

彩色照片

常用顏色深度與實際應用

色彩位數(shù)：12復習一多媒體的定義、特點多媒體關(guān)鍵技術(shù)圖形的數(shù)字化和存儲圖像的數(shù)字化和存儲分辨率色彩位數(shù)131聲音是一種連續(xù)的模擬量。2聲音是一種波(聲波)。波的振幅表示響度(用分貝db量度)，聲音的頻率表示音調(diào)(用赫茲Hz量度)，頻率越高，音調(diào)越高模擬音頻信號

（1）聲音的基本概念：2音頻信息的數(shù)字化和存儲141振幅(A):人可以接受的聲音大小的范圍在0db—120db之間2頻率(f):表示音調(diào)聲波頻率是指信號（空氣分子）每秒鐘震蕩次數(shù)。根據(jù)人們對聲音的接受能力，將聲波分成幾個層次：-次聲：頻率小于20Hz的聲音。達不到一定頻率的聲波，人類無法感知。-可聽聲：頻率在20Hz和20,000Hz之間的聲音。這是人耳可聽到的聲音。-超聲：頻率大于20,000Hz的聲音。這就是通常所說的超聲波。3周期(T):信號以一定的時間間隔重復波動，這個時間間隔稱為聲波的周期，周期與頻率成反比：T=1/f聲波的基本參數(shù)：15采樣是以特定的時間間隔對連續(xù)的模擬信號不斷采集。采樣所得到的數(shù)據(jù)是一連串離散的數(shù)據(jù)，是數(shù)字量（見下圖）。

采樣點音頻信號的采樣

影響聲音質(zhì)量的因素：1采樣頻率2采樣精度3聲道數(shù)將采集的數(shù)據(jù)按一定的大小進行存儲的過程稱量化。（2）聲音的采樣與量化16單位時間內(nèi)的采樣個數(shù)稱為采樣頻率，單位用Hz(采樣次數(shù)/秒)表示。

時間間隔越小，即采樣頻率越高，聲音的保真度越高。如果要有效還原原波形，采樣頻率至少為原波形頻率的兩倍采樣精度：采樣精度是指每個采樣值需要用多少個二進制數(shù)來表示，它反映出度量聲音波形幅度值的精確程度。

聲道數(shù)：采集聲波的個數(shù)稱聲道數(shù)。采集兩個聲波數(shù)據(jù)，稱雙聲道。采樣頻率：17計算存儲容量的公式(單位：字節(jié))：存儲量=采樣頻率*量化位數(shù)*聲道數(shù)*采樣時間/8例:常見的CD唱片存儲量計算：采樣頻率：44,100Hz量化位數(shù)：16位聲道數(shù)：2一分鐘聲音的存儲量(字節(jié))：44100*16*2*60/8=10,584,000前例中量化、編碼與存儲示意:數(shù)值量量化(4位)編碼值7.37011110.21010106.8701118.5910017.4701111.4100015.4501018.181000將量化的值用二進制位表示，稱為編碼。（3）聲音的編碼與存儲183視頻信息的數(shù)字化和存儲視頻(video)是由一幅一幅(幀frame)畫面組成。每秒顯示12幀：12fps1色彩空間的表示RGB(紅綠藍):最常用YUV和YIQ：由亮度信號和色差信號組成。（前者用于PAL制式，后者用于NTSC制式）2視頻信號的數(shù)字化數(shù)字化：以一定的頻率對視頻信號進行捕獲并采樣后形成數(shù)字化數(shù)據(jù)的過程附：常用的計算機顏色存儲19視頻標準制式名稱使用地區(qū)每秒幀數(shù)(fps)彩色空間掃描線每行象素NTSC美國、日本、中國臺灣30YIQ525240-400PAL中國大陸、部分歐洲25YUV625240-400SECAN法國、俄羅斯、非洲25YUV62562520復習二聲音的基本概念聲音的采集聲音存儲

視頻的數(shù)字化211硬件系統(tǒng)（1）CPU（2）聲卡（3）視頻卡帶多媒體數(shù)據(jù)處理功能采集或播放聲音（采集頻率，量化位)類型：視頻疊加卡、視頻捕捉卡、電視編碼卡、MPEG卡、TV卡4.3多媒體計算機（MPC）22分類：DVD-ROM：只讀DVD-R：刻錄機，可寫入一次，可讀出多次DVD-RW：可重復讀寫千次左右DVD-RAM：可重復讀寫十萬次以上DVD區(qū)碼：驅(qū)動器的地區(qū)范圍（5）DVD驅(qū)動器（4）CD-ROM驅(qū)動器分類：只讀光驅(qū)(CD-ROM)一次寫多次讀光驅(qū)(CD-R)可擦寫光驅(qū)(CD-RW)23標準名MPC-1(1990)MPC-2(1993)MPC-3(1995)MPC-4(1996)MPC-5RAM2MB4MB8MB16MB32MB/64MBCPU16MHz386SX25MHz486SX75MHzPentium133MHzPentiumPentiumⅡ/Ⅲ硬盤80MB160MB850MB1.6GB3.1GB/6.4GBCD-ROM150KB/s最大尋址時間1s(1x)300KB/s最大尋址時間400msCD-ROMXA600KB/s最大尋址時間200msCD-ROMXA10x20x/40x聲卡8Bit數(shù)字聲音8個合成音MIDI16Bit數(shù)字聲音8個合成音MIDI16Bit數(shù)字聲音WaveTable(波表)MIDI16Bit16Bit/32Bit顯卡640×48016色640×48065536色800×60065536色1280×102416位真彩色1280×102432位真彩色多媒體計算機標準24（1）操作系統(tǒng)中支持多媒體的功能：

多任務、多進程大容量存儲器虛擬內(nèi)存即插即用（2）多媒體信息處理常用工具a.文字處理：寫字板和記事本、WPS、WORD等b.圖形圖像：Photoshop、PhotoDraw、CorelDraw等c.聲音：Windows的Recorder、UleadAudioEdit、Creative錄音大師等d.動畫：3DSMAX、MAYA、Flashe.視頻：UleadVideoEdit、AdobePremieref.多媒體集成工具：Authorware、ToolBook、FrontPage、Dreamweaver以及語言VB、VC++、Delphi2軟件系統(tǒng)25（3）應用軟件開發(fā)過程a.項目內(nèi)容和框架的確定b.腳本的編寫和改編c.媒體素材的準備和計算機處理d.計算機多媒體集成和軟件測試（1）應用軟件包括 輔助教學 游戲 電子書籍……（2）應用軟件特點

多種媒體的集成 超媒體結(jié)構(gòu) 交互操作應用軟件開發(fā)過程流程圖3應用軟件261常見聲音文件格式：WAVE(波形)文件：WAV、VOC、AU通過聲卡采集的一種波形文件。缺點：文件大由兩部分組成：格式和數(shù)據(jù)4.4音頻信號的處理質(zhì)量的優(yōu)劣與聲卡有關(guān)（采集頻率、量化位數(shù)、聲道數(shù)）。格式部分包括：采樣頻率、采樣精度、聲道數(shù)等；數(shù)據(jù)部分包括：實際采樣波形數(shù)據(jù)；WAV文件制作27MIDI(樂器數(shù)字接口)文件：MID通過合成器播放聲音的文件。合成器是一種能發(fā)出各種樂器的聲音的電子裝置合成器分為兩類：MIDI文件存儲的是一系列指令，它指定了鍵、力度、音量、延遲時間和通道編號（樂器類型）等。-調(diào)頻(FM)合成器：保存電子模仿的聲音-波表合成器（軟/硬）：保存采集的聲音MID文件制作MID文件格式舉例：波形文件：22.05kHz，8位，1.8秒需317.52K位MID文件：51秒樂曲，需18K位28-基于音頻數(shù)據(jù)的統(tǒng)計特性進行編碼（波形編碼）-基于音頻的聲學參數(shù)進行參數(shù)編碼（參數(shù)編碼）-混合編碼，以上兩種方法的結(jié)合常用編碼方法無損壓縮：Huffman編碼、行程編碼有損壓縮：波形編碼、參數(shù)編碼、混合編碼2音頻數(shù)據(jù)的編碼與壓縮：使得語音波形保持原形使得音頻保持原音頻特性按壓縮方法分類：PCM(脈沖編碼調(diào)制方法):最常用的波形編碼29MP3是MPEGlayer3的縮寫MP3采用有損壓縮技術(shù)。MP3在各種音質(zhì)下的性能聲音質(zhì)量帶寬(KHz)聲道比特率(Kbps)壓縮比電話2.5單聲道896:1優(yōu)于短波4.5單聲道1648:1優(yōu)于調(diào)頻廣播7.5單聲道3224:1類似調(diào)頻廣播11立體聲56-6424~26:1接近CD15立體聲9616:1CD>15立體聲112-12810~12:1MPEG壓縮標準介紹MPEG是一種波形音頻文件的壓縮標準30（2）語音識別（聲音輸入技術(shù)）利用聲音輸出信息的技術(shù)稱為語音合成技術(shù)ViaVoice是IBM公司的中文連續(xù)語音識別系統(tǒng)（1）語音合成（聲音輸出技術(shù)）用語言代替鍵盤輸入文字-發(fā)出預先存入的語音：“一字一字”蹦出來。實現(xiàn)方式：-模擬人類發(fā)音：機器人語言。3語音處理合成技術(shù)的目標：可懂、清晰、自然、具有表現(xiàn)力。31-可以播放波形音頻文件或?qū)?shù)字音頻進行編輯和效果處理。-通過CD--音頻、麥克風、錄音機等輸入源錄制波形文件（.WAV）。-可以進行復制、插入、與其他聲音混合、刪除等編輯操作。

（1）功能：播放搜索到尾搜索到頭停止播放錄音錄音機

播放時間播放位置聲音波形4音頻處理（Windows的“錄音機”的使用）32-更改放音速度：效果萊單上選擇“加速（按100％）”或“減速（按50％）”-更改聲音文件的音量：效果菜單上選擇“提高音量（按25%）”或“降低音量（按25%）”。

-“反向”回放聲音文件：效果萊單上選擇“反向”，然后單擊播放按鈕

-在聲音文件中添加回音：打開聲音文件，在效果菜單上選擇“添加回音”。

（3）文件菜單的操作(和其他Windows的類似菜單功能相同)-新建-打開-保存-另存為-恢復（2）效果菜單的操作33錄音數(shù)據(jù)的屬性

當按“開始轉(zhuǎn)換(C)”按鈕時，出現(xiàn)“選擇聲音”對話框。查看聲音文件的屬性：按菜單項“文件”/“屬性”轉(zhuǎn)換聲音數(shù)據(jù)的格式（4）屬性對話框34轉(zhuǎn)換聲音數(shù)據(jù)的格式

這是為錄音質(zhì)量設計的對話框：名稱：可以選擇CD質(zhì)量、收音機質(zhì)量、電話質(zhì)量等音頻質(zhì)量的名稱。格式：決定聲音文件的格式。屬性：選擇采樣頻率、采樣位數(shù)、單聲道（或立體聲）、每秒采樣字節(jié)。（5）選擇聲音35復制:將當前文件放到剪貼板上。（“復制”后要“新建”）粘貼插入：將剪貼板上的音頻插入到當前位置。粘貼混合：將剪貼板上的音頻混入到當前位置。插入文件：把另一個音頻文件插入到當前位置。與文件混音：把另一個音頻文件混入到當前位置。刪除當前位置之前的內(nèi)容：刪除當前位置之前的部分。刪除當前位置之后的內(nèi)容：刪除當前位置之后的部分。音頻屬性：打開多媒體設置的“音頻屬性”對話框。（6）編輯菜單的操作36（7）設置多媒體屬性37復習三1音頻信號的文件類型2音頻信號的壓縮3語音處理4錄音機381各種圖像文件格式的特點（1）PCX：使用游程長度編碼壓縮方法，帶有一個128字節(jié)的文件頭。（2）BMP：Windows下的基本位圖格式。文件大，在單機上廣泛使用（3）GIF：采用無損壓縮方法，最多處理256色(8位)圖像，可表示多幅兩維畫面。文件小，可漸進傳輸，網(wǎng)上的標準格式一般不適用于照片4.5圖像信息的處理Windows3.X用得很多。39（4）JPEG：采用有損壓縮。用最少的磁盤空間得到較好的圖像質(zhì)量。很高的壓縮比，適用于網(wǎng)上的照片（5）TIF：工業(yè)標準格式，有壓縮格式、非壓縮格式。

圖像格式復雜、存貯信息多（6）WMF：矢量圖形格式。Windows的圖形格式。（7）PCD：電子照片格式。Kodak公司的電子照片格式JPEG2000：JPEG的升級版，壓縮率比JPEG高約30%左右。采用有損和無損壓縮、支持漸進傳輸、指定區(qū)域指定壓縮質(zhì)量40附：不經(jīng)過壓縮的媒體信息存儲表多媒體信息分辨率位/每采樣點采樣范圍容量(字節(jié))聲音11.02KHz8一分鐘661K聲音(立體聲)48KHz16一分鐘11.5M圖片12點/mm24A4紙26M顯示屏圖像1640*48024一幅922K顯示屏圖像21024*76824一幅2.36M視頻(動畫)200*2502420秒(25幅/秒)75M2圖像數(shù)據(jù)的壓縮41游程長度編碼（RLE）方法：用兩個數(shù)替代連續(xù)重復的像素值，一個是重復像素個數(shù)，一個是重復的像素值。例子1：11111111111111565656565612012012012012012000000下面是圖像的一行像素值(23個值)：用游程長度編碼（RLE）方法壓縮后的數(shù)據(jù)(8個值)：711556612050例子2：下面是圖像的一行像素值：11……115656565656120……1200000020個400個用RLE方法(8位)壓縮后的數(shù)據(jù)：20115561271201271201271201912050（1）無損壓縮42用游程長度編碼（RLE）方法壓縮后的數(shù)據(jù)：201155612712012712012712019120500001010000001011000001010011100001111111011110000111111101111000011111110111100000001011011110000000010100000000123456789101112131420115561271201271201271201912050壓縮比：14/430=3.3%43RLE方法要注意：下面是圖像的一行像素值：11111156320017120……12000000150個用游程長度編碼（RLE）方法(非單純)壓縮后的數(shù)據(jù)：3115563200171271202312050第八位是“1”3每個重復數(shù)最大為127（例2）。1三個或三個以上連續(xù)相同值用兩個值代替。例子3：2若鄰值不同或連續(xù)兩個像素值相同，用一個第8位是“1”的值表示本值后有幾個不連續(xù)相同的值(例3)44JPEG方法:丟棄高頻成分，保留低頻成分?？蛇x擇壓縮比：Photoshop分11級；一般壓縮為10:1~40:1根據(jù)：人的眼睛對高頻變化不敏感，注意力會停留在低頻部分。人眼感覺壓縮后的圖像與壓縮前的圖像不會有太大的差異。方法介紹：將圖像劃分成若干個像素塊(比如每塊8*8個象素)，像素塊處理比對整個圖像處理要快得多。3數(shù)字圖像的處理圖像顏色模式變換；部分圖像對象選擇；大小縮放、剪切、翻轉(zhuǎn)、旋轉(zhuǎn)、扭曲；多幅圖像的編輯、合成；特殊效果：模糊、玻璃化、水印、馬賽克；圖像文件格式轉(zhuǎn)換和圖像打??；（2）有損壓縮45視頻信息的處理技術(shù)一數(shù)字視頻文件格式AVI：Windows中比較通用的視頻格式，壓縮比較高MOV：Apple公司的QuickTime視頻處理軟件選用的視頻文件格式MPG文件：用MPEG方法壓縮，比AVI格式所占存儲空間小DAT文件：VCD數(shù)據(jù)文件的擴展名SWF文件：Macromedia公司的Flash制作的動畫輸出格式DIR格式：Macromedia公司使用的Director多媒體著作工具產(chǎn)生的電影文件格式46視頻信息的處理技術(shù)二視頻信息壓縮基本原理為什么要壓縮：數(shù)據(jù)量過大，存在冗余數(shù)據(jù)壓縮處理一般包括兩個部分：編碼和解碼壓縮方法分為兩類：可逆編碼方法（無損壓縮）不可逆編碼方法（有損壓縮）MPEG標準分：MPEG視頻、MPEG音頻和視頻音頻同步三個部分三視頻信息的處理視頻信息的獲?。豪靡曨l捕捉卡，將攝像機或錄像機中的模擬信息傳輸?shù)接嬎銠C中視頻信息的處理：常用的視頻處理軟件有：VideoForWindowsAdobePremiere、QuickTime、UleadVideoEditor47視頻信息的處理技術(shù)四動畫處理技術(shù)－Flash文件格式：有fla和swf兩種，其中fla為源文件格式，可以在Flash軟件環(huán)境中進行修改，swf為導出的影片文件格式，生成后不能修改元件、庫和實例：元件相當于電影中的“演員”，存放在庫中的元件可以重復使用，庫中的元件放入場景變成為了一個實例幀、關(guān)鍵幀和空白關(guān)鍵幀：逐幀動畫：每一幀都是關(guān)鍵幀，都必須制作補間動畫：只制作關(guān)鍵幀，其余幀由補間自動生成，補間分為動作補間和形狀補間（用于變形動畫，必須把對象打散為“點點狀”，習題二、四、八為形變動畫）48視頻信息的處理技術(shù)四動畫處理技術(shù)－Flash圖層：在Flash中，一個圖層只能放置一個運動的對象，若是多個對象同時運動則必須設置多個圖層，教材中的習題5、910、12、13、14、15為多層動畫對象（實例）的編輯：放大、縮小、翻轉(zhuǎn)、平移、顏色的設置（包括亮度、色調(diào)和Alpha的設置）、動作補間中縮放和旋轉(zhuǎn)的設置習題分析：1、放大動畫，同時修改對象的透明度，操作要點：按F11出現(xiàn)庫面板使用工具欄上的自由變形工具進行縮放選中對象，在下方屬性面板的顏色設置中修改Alpha的值49復習四1、圖像文件的格式2、無損壓縮3、有損壓縮4、數(shù)字圖像處理50嘉16*16點陣：32字節(jié)6763個漢字：3.3MB64*64點陣：512字節(jié)6763個漢字：3382KB24*24點陣：72字節(jié)51聲音質(zhì)量

采樣頻率（kHz）

采樣精度（位）

聲道數(shù)

存儲量(位/分鐘)電話音質(zhì)8813849K調(diào)幅廣播音質(zhì)

11.025815292K調(diào)頻廣播音質(zhì)

22.0516242336KCD音質(zhì)44.116284672K各類聲音信息的存儲量52分辨率:每英寸所能分辨的像素點數(shù)(單位：dpi)。掃描幅面：可分為A4幅面，A3幅面和A0幅面接口：SCSI接口、EPP接口和USB接口。掃描位：24位、3