多媒體基本知識概述

1、多媒體專題1、多媒體知識：1.1 多媒體知識概述基本概念多媒體信息一般指用文本、圖形、圖像、動畫、音頻和視頻影像等形式表示的信息。多媒體計算機(jī)技術(shù)是指利用計算機(jī)交互地綜合處理相互之間有聯(lián)系的文本、圖形、圖像、動畫、音頻、視頻等多種信息。多媒體的主要特性表現(xiàn)在信息載體的多樣性、交互性和集成性。多媒體技術(shù)是指能對多種載體上的信息和多種存儲體上的信息進(jìn)行處理的技術(shù)；而媒體是指承載信息的載體；多媒體具有交互性而媒體不具備交互性；屏幕更新頻率：顯示器每秒更新的次數(shù)；彩數(shù)：顯示畫面的色彩數(shù)；(bpp 是指表示每個像素所需的2 進(jìn)制位數(shù) )分辨率：顯示畫面的細(xì)膩程度；關(guān)鍵技術(shù)在多媒體的研究與開放中，利用了許

2、多關(guān)鍵技術(shù)，這些技術(shù)是支持多媒體研究與開發(fā)的核心。數(shù)據(jù)壓縮技術(shù)數(shù)字化的聲音和圖像包含了大量的數(shù)據(jù) 。如果不進(jìn)行數(shù)據(jù)壓縮 ，實時處理數(shù)字化的聲音和圖像信息所需要的存儲容量、傳輸率和計算速度都是目前計算機(jī)難以承受的。所以數(shù)據(jù)壓縮技術(shù)一直是多媒體各項研究的重點。大規(guī)模集成電路（VLSI）制造技術(shù)進(jìn)行聲音和圖像信息的壓縮處理要求進(jìn)行大量的計算。VLSI 技術(shù)的發(fā)展讓我們可以生產(chǎn)低廉的數(shù)字信號處理器（DSP）芯片用硬件來完成復(fù)雜的計算處理。大容量的光盤存儲器（CD-ROM）多媒體信息雖然經(jīng)過了壓縮處理，但還是含有大量的數(shù)據(jù)，所以需要有大容量的存儲設(shè)備來保存這些信息。實時多任務(wù)操作系統(tǒng)多媒體技術(shù)需要同時處

3、理聲音、文字、圖像等多種媒體信息，其中聲音和視頻圖像還要求實時處理，需要有能支持對多媒體信息進(jìn)行實時處理的操作系統(tǒng)。構(gòu)成通常，多媒體系統(tǒng)由以下4 個部分構(gòu)成。硬件系統(tǒng)最重要是根據(jù)多媒體技術(shù)標(biāo)準(zhǔn)而研制生產(chǎn)的多媒體信息處理芯片、板卡和光盤驅(qū)動器等。多媒體操作系統(tǒng)這是多媒體的核心，具有實時任務(wù)調(diào)度、多媒體數(shù)據(jù)轉(zhuǎn)換和同步控制、對多媒體設(shè)備的驅(qū)動和控制，以及圖形用戶界面管理等。媒體處理系統(tǒng)工具它是多媒體重要的組成部分，也稱為多媒體系統(tǒng)開發(fā)工具軟件。用戶應(yīng)用軟件1.2 圖形和圖像基本原理亮度、色調(diào)和飽和度亮度：表示光的明亮程度，它與被觀察物體的發(fā)光強(qiáng)度和人類視覺系統(tǒng)的視敏功能有關(guān)。色調(diào)：反映的是顏色的種類

4、，是決定顏色的基本特性。飽和度：指顏色的純度，即摻入白光的程度，或者說是顏色的深淺程度。色調(diào)和飽和度通稱為色度。彩色空間在多媒體技術(shù)中，用得最多的是RGB彩色空間表示。而一般在彩色電視系統(tǒng)中，采用的是YUV彩色空間。另外，還有CIE XYZ、 CIE LAB、 CCIR601-2YCb Cr 彩色空間等。圖形圖像文件圖形是指用計算機(jī)繪制工具繪制的畫面，包括直線、曲線，圓/ 圓弧，方框等成分。圖形一般按各個成分的參數(shù)形式存儲，可以對各個成分進(jìn)行移動、縮放、旋轉(zhuǎn)和扭曲等變換，可以在繪圖儀上將各個成分輸出。圖像是由輸入設(shè)備捕捉的實際場景或以數(shù)字化形式存儲的任意畫面。圖像可以用位圖或矢量圖形式存儲。位

5、圖也叫黑白圖象 ，它是按圖像點陣形式存儲各像素的顏色編碼或灰度級。位圖適于表現(xiàn)含有大量細(xì)節(jié)的畫面，并可直接、快速地顯示或印出。其存儲量大，一般需要壓縮存儲。矢量圖它用一組指令或參數(shù)來描述其中的各個成分，易于對各個成分進(jìn)行移動、縮放、旋轉(zhuǎn)和扭曲等變換。矢量圖適于描述由多種比較規(guī)則的圖形元素構(gòu)成的圖形，但輸出圖像畫面時將轉(zhuǎn)換成位圖形式。圖形圖像的主要指標(biāo)有分辨率、色彩數(shù)、圖形灰度。分辨率有屏幕分辨率和輸出分辨率。前者用每英寸行數(shù)和列數(shù)表示，后者是以每英寸的像點數(shù)表示。圖形圖像的色彩數(shù)和灰度級則是用位來表示。真彩： 24 位圖形和圖像文件格式很多，以下主要介紹幾種常見的格式。BMP： PC機(jī)上最常見

6、的位圖格式，尤其在Windows系統(tǒng)中使用特別廣泛。GIF：主要用于在不同平臺上進(jìn)行圖像交換，是經(jīng)過壓縮的圖形格式。GIF 文件最大64MB，顏色數(shù)最多256 色。JPEG：文件壓縮比較高，文件比較小。雖然它采用的是有損壓縮算法，但對圖形圖像的損失影響并非很大。其色彩數(shù)最高可達(dá)到24 位。TIF ：有壓縮和非壓縮兩大類，是許多圖像應(yīng)用軟件所支持的主要文件格式之一，其最高支持的色彩數(shù)可達(dá)16M。PSD： PhotoshopCDR： CorelDraw中的標(biāo)準(zhǔn)文件格式，專門為的文件格式。Photoshop而優(yōu)化。注： Photoshop 和 CorelDraw 都是目前最流行的圖形圖像處理軟件。1

7、.3 音頻基本概念模擬錄音方式直接記錄音頻信號的波形，重放時用磁頭拾取信號。目前模擬錄音動態(tài)范圍可達(dá)到貝，信噪比的單位） ，為進(jìn)一步提高音質(zhì)，采用數(shù)字音頻技術(shù)。計算機(jī)內(nèi)的音頻必須是數(shù)字形式的。數(shù)字聲音是一個數(shù)據(jù)序列，是一種采樣的聲音，它是由模擬聲音經(jīng)抽樣、量化和編碼后得到的。在對音頻數(shù)據(jù)進(jìn)行壓縮時，需要從語音質(zhì)量、數(shù)據(jù)率和計算量3 個方面來加以考慮。語音壓縮編碼從壓縮方法來看，可分為3 類。80db（分波形編碼：采用這種編碼可獲得高質(zhì)量語音，但數(shù)據(jù)率不易降低。參數(shù)編碼：該方法的數(shù)據(jù)率低，但質(zhì)量又不高?；旌暇幋a：綜合前面兩種方法的編碼方法。語音、語言和音樂合成語音合成從合成采用的技術(shù)來講可分為：

8、發(fā)音參數(shù)合成聲道模型參數(shù)合成波形編輯合成如果從合成策略上又可分為：頻譜逼近波形逼近實現(xiàn)計算機(jī)語音輸出有兩種方法：一. 錄音 / 重放；二 . 文- 與轉(zhuǎn)換；語言合成目前和僅處于文字到語音轉(zhuǎn)換的層次上。文 - 語轉(zhuǎn)換（ TTS）是一種智能型的語音合成，需要建立語音參數(shù)數(shù)據(jù)庫、發(fā)音規(guī)則庫等。音樂合成技術(shù)有兩種。調(diào)頻（ FM）合成FM合成方式是將多個頻率的簡單聲音合成復(fù)合音來模擬各種樂器的聲音。FM合成方式是早期使用的方法，用這種方法產(chǎn)生的聲音音色少、音質(zhì)差。波形表（ Wave Table ）合成這種方法是先把各種真正樂器的聲音錄下來，再進(jìn)行數(shù)字化處理形成波形數(shù)據(jù)，然后將各種波形數(shù)據(jù)存儲在只讀存儲器

9、中。發(fā)音時通過查表找到所選樂器的波形數(shù)據(jù)，再經(jīng)過調(diào)制、濾波、再合成等處理形成立體聲送去發(fā)音。存儲聲音樣本的 ROM容量的大小對波表合成效果影響很大。MIDI:MIDI （ musical instrument digital interface）是數(shù)字樂器接口的國際標(biāo)準(zhǔn)，它定義了電子音樂設(shè)備與計算機(jī)的通訊接口，規(guī)定了使用數(shù)字編碼來描述音樂樂譜的規(guī)范。常見的 MIDI 設(shè)備有電子琴等 。計算機(jī)中以MID 為擴(kuò)展名的文件稱為MIDI 文件，其中存放的是對即每個音符的頻率、音量、通道號等指示信息。最后播出的聲音是由MIDI 設(shè)備根據(jù)這些信息產(chǎn)生的。MIDI 設(shè)備的命令 ，MIDI 聲音可以用于配音，

10、它的缺點是對回放設(shè)備的依賴太強(qiáng)，還有就是不能記錄人聲；常見音頻格式：名稱擴(kuò)展名WAVEWAVMODMOD、 ST3、 XT 、S3M、 FAR 和669等MPEG-3MP3Real AudioRACreateMusicalCMFFormat特點缺點完整記錄聲音的波形，不使用壓縮文件太大文件中不僅存放了樂譜，還存放了樂曲使用低音效果差的各種音色樣本。回放效果明確，音色種類永無止境。目前最流行的格式，壓縮較大。有損壓縮，音質(zhì)不完美壓縮比高，失真度小有損壓縮，音質(zhì)并不好Creative公司專用音樂格式。兼容性差CD AudioCDA唱片采用格式，記錄的是波形流無法編輯、文件太大MIDIMID音樂工業(yè)

11、的數(shù)據(jù)標(biāo)準(zhǔn)不能記錄語音1.4 視頻動畫（視頻）動態(tài)圖像，包括動畫和視頻信息，是連續(xù)漸變的靜態(tài)圖像或圖形序列，沿時間軸順次更換顯示，從而構(gòu)成運動視感的媒體。當(dāng)序列中每幀圖像是由人工或計算機(jī)產(chǎn)生的圖像時，稱為動畫。當(dāng)序列中每幀圖像是通過實時攝取自然景象或活動對象時，稱為視頻。動畫是以每秒1520 幀的速度順序的播放靜止圖像幀來產(chǎn)生運動的錯覺。比較流行的格式有兩種。蘋果公司的 Quicktime ：軟件壓縮和解壓縮（注意幾個數(shù)字參數(shù)） ；微軟的 AVI：特點是可伸縮性，1.5 數(shù)據(jù)壓縮和編碼技術(shù)標(biāo)準(zhǔn) H.261H.261 是用于音頻視頻服務(wù)的視頻編碼解碼器，也稱為 P× 64 標(biāo)準(zhǔn)。由 C

12、CITT（ ITU-T ）制定。其應(yīng)用目標(biāo)是可視電話和視頻會議系統(tǒng)。含有此標(biāo)準(zhǔn)的系統(tǒng)必須能實時的按標(biāo)準(zhǔn)進(jìn)行編碼和解碼。H.261 于 JPEG、 MPEG標(biāo)準(zhǔn)的區(qū)別在于它是為動態(tài)使用而設(shè)計的，并提供完全包含的組織的高水平的交互控制。 JPEGJPEG是靜止圖像壓縮和解壓縮算法的標(biāo)準(zhǔn)，它是基于DCT的有損算法，是ISO 的國際標(biāo)準(zhǔn)。MPEG在三方面優(yōu)于其他的壓縮/ 解壓方案：開始就是一個國際化的標(biāo)準(zhǔn)，兼容性很好；比其他算法有更高的壓縮比，最高可達(dá)到200： 1；在提供高壓縮比的同時，對數(shù)據(jù)的損失很??； MPEGMPEG-X是一組由ITU 和 ISO 制定發(fā)布的視頻、音頻和數(shù)據(jù)的壓縮標(biāo)準(zhǔn)。 MPE

13、G-1制定于 1992 年，傳輸率最高可達(dá)4Mbps5Mbps，質(zhì)量級別與VHS相當(dāng)。可用于記錄媒體或是在Internet上傳輸音頻。 MPEG-2制定于 1994 年，傳輸率在3Mbps10Mbps之間， DVD指定標(biāo)準(zhǔn)。 MPEG-4傳輸率要求在4800bps64000bps 之間。其主要特點是交互性和綜合性。更適合交互AV 服務(wù)記憶即遠(yuǎn)程監(jiān)控，是第一個使觀眾由被動變主動的動態(tài)圖象標(biāo)準(zhǔn)。 DVIDVI 視頻圖像壓縮算法的性能與MPEG相當(dāng)，圖像質(zhì)量可達(dá)到VHS的水平。壓縮以后的圖像傳輸率約為1.5Mbps。1.6多媒體應(yīng)用開發(fā)過程多媒體創(chuàng)作系統(tǒng)是多媒體電腦技術(shù)的嚴(yán)格重要組成部分，它介于多媒

14、體工作平臺于應(yīng)用軟件之間，是支持應(yīng)用開發(fā)人員進(jìn)行多媒體應(yīng)用軟件創(chuàng)作的工具，因此也稱為多媒體創(chuàng)作工具。多媒體創(chuàng)作工具的初衷是非計算機(jī)領(lǐng)域的專家對計算機(jī)技術(shù)的不了解，因此就需要一種工具，使應(yīng)用開發(fā)人員不用編程也能做出很優(yōu)秀的多媒體軟件產(chǎn)品，這種工具稱之為多媒體創(chuàng)作工具，用這種工具做出來的產(chǎn)品稱為節(jié)目。多媒體創(chuàng)作工具是能夠用來集成各種媒體、并可設(shè)計閱讀信息內(nèi)容方式的軟件。其功能日趨完善，總結(jié)起來，以下幾個方向和功能是多媒體創(chuàng)作工具應(yīng)具備的：1編輯能力及環(huán)境編輯能力主要是支持用戶對節(jié)目所需要的外部媒體資料的生成、增刪、修改于管理能力。這些功能不是通過用戶編程來實現(xiàn)，而是在系統(tǒng)中通過可視化的界面，幫助用

15、戶使用簡便操作來達(dá)到相同的效果。2. 媒體數(shù)據(jù)輸入能力即處理靜態(tài)和動態(tài)的多媒體的能力，支持的格式越多越好。3. 交互能力從最簡單的設(shè)置按鈕來連接事件，道后來的超鏈接功能，再道現(xiàn)在的菜單交互、可視媒體對象交互、文字輸入交互等，隨著多媒體創(chuàng)作工具對系統(tǒng)硬件的控制能力的加強(qiáng)，語音交互、觸控交互、三維立體觸控交互以及未來的智能判斷交互都是交互能力的新技術(shù)。4. 功能擴(kuò)充能力為了滿足高層次節(jié)目的需求，媒體創(chuàng)作工具提供外部接口，可以連入其他的高級對象和組件，這樣就實現(xiàn)了三級用戶開發(fā)環(huán)境，這三級用戶是不懂編程的普通用戶、稍懂編程的用戶和富有豐富編程經(jīng)驗的用戶。5. 調(diào)試能力目前還制停留再放映節(jié)目的范圍，未來

16、的調(diào)試工具應(yīng)該是多斷點、逆向回放等功能 ，再調(diào)試過程中顯示調(diào)試信息。6. 動態(tài)數(shù)據(jù)交換能力使用變量給某些媒體構(gòu)件賦予屬性，并且可以通過程序改變變量，從而達(dá)到動態(tài)改變媒體屬性的目的。7. 數(shù)據(jù)庫功能應(yīng)具有數(shù)據(jù)庫的查詢、排序、更新、刪除和增加等功能。8. 網(wǎng)絡(luò)組件及模板套用能力能有效支持一組人通力制作一個節(jié)目的創(chuàng)作工具稱為組件版本，支持異構(gòu)電腦系統(tǒng)之間的互連和資料傳遞，。模板功能是提高擁護(hù)編輯效率的一個重要手段，方便用戶大量制作某一類型的節(jié)目。9. 其他能力2多媒體重點和難點1圖形和圖象的各種格式、幾個主要的概念：2音頻采集計算：聲音文件的存儲量=采樣頻率×采樣位數(shù)×聲道數(shù)3視

17、頻圖象的容量計算和國家標(biāo)準(zhǔn)：圖像文件的存儲量=分辨率×色彩數(shù)（位） 。4視頻的幾種集中壓縮格式：例題 1：MPEG-I編碼器輸出視頻的數(shù)據(jù)率大約為_C_。PAL 制式下其圖像亮度信號的分辨率為_A_，幀速為 _B_。 （多媒體）(44)A 128Kb/sB 320Kb/sC 1.5Mb/sD15Mb/s(45)A352×288B 576×352C 720×576D1024×720(46)A16 幀/ 秒B25 幀/ 秒C30幀/秒D50 幀/ 秒例題 2：在多媒體的音頻處理中，由于人所敏感的聲頻最高為A 赫茲（Hz），因此數(shù)字音頻文件對音頻的采

18、樣頻率為B 赫茲（Hz）。對一個雙聲道的立體聲，保持1 秒鐘聲音，其波形文件所需的字節(jié)數(shù)為C，這里假設(shè)每個采樣點的量化位數(shù)為8 位。MIDI 文件是最常用的數(shù)字音頻文件之一，MIDI 是一種 D，它是該領(lǐng)域國際上的一個E。A：5010k22k44kB：44.1k20.05k10k88kC：2205088200176400 44100D：語音數(shù)字接口語音模擬接口E： 控制方式管理規(guī)范通信標(biāo)準(zhǔn)樂器數(shù)字接口樂器模擬接口輸入格式在音頻處理中，采樣頻率是決定音頻質(zhì)量的一個重要因素，它決定了頻率響應(yīng)范圍。對聲音進(jìn)行采樣的三種標(biāo)準(zhǔn)以及采樣頻率分別為：語音效果（11kHz）、音樂效果（ 22kHz）、高保真效

19、果（44.1kHz），目前聲卡的最高采樣率為 44.1KHz。另外，一般人的聽覺帶寬為20Hz20kHz，人敏感的聲頻最高為22kHz。信號編碼的位數(shù)是決定音頻質(zhì)量的另一個重要因素，它決定數(shù)字采樣的可用動態(tài)范圍和信噪比。采樣位數(shù)就是16。聲音文件的存儲量等于采樣頻率×采樣位數(shù)×聲道數(shù)。如本題所求波形文件的字節(jié)數(shù)計算公式如下：44.1kHz ×8bit × 2× 1 秒 =705.6Mbit/8=88.2MB=88200Byte16 位聲卡的 答案A： B ：C ：D ： E ： 例題 3：多媒體應(yīng)用需要對龐大的數(shù)據(jù)進(jìn)行壓縮，常見的壓縮編碼方法可分為兩大類，一類是無損壓縮法，另一類是有損壓縮法，也稱 _(47)_ 。 _