軟件設(shè)計(jì)師考試必備專題四：多媒體專題(精)

1、系統(tǒng)分析師 (軟件設(shè)計(jì)師計(jì)算機(jī)學(xué)科部分經(jīng)典教材專題四 :多媒體專題1 、多媒體知識 :1.1 多媒體知識概述基本概念多媒體信息一般指用文本、圖形、圖像、動畫、音頻和視頻影像等形式表示的信息。多媒體計(jì)算機(jī)技術(shù)是指利用計(jì)算機(jī)交互地綜合處理相互之間有聯(lián)系的文本、圖形、圖像、動畫、音頻、視頻等多種信息。多媒體的主要特性表現(xiàn)在信息載體的多樣性、交互性和集成性。多媒體技術(shù)是指能對多種載體上的信息和多種存儲體上的信息進(jìn)行處理的技術(shù);而媒體是指承載信息的載體;多媒體具有交互性而媒體不具備交互性;屏幕更新頻率 :顯示器每秒更新的次數(shù) ;彩數(shù) :顯示畫面的色彩數(shù) ; (bpp 是指表示每個像素所需的 2 進(jìn)制位數(shù)

2、 分辨率 :顯示畫面的細(xì)膩程度 ;關(guān)鍵技術(shù)在多媒體的研究與開放中 ,利用了許多關(guān)鍵技術(shù) ,這些技術(shù)是支持多媒體研究與開發(fā)的核心。數(shù)據(jù)壓縮技術(shù)數(shù)字化的聲音和圖像包含了大量的數(shù)據(jù)。如果不進(jìn)行數(shù)據(jù)壓縮 ,實(shí)時處理數(shù)字化的聲音和圖像信息所需要的存儲容量、傳輸率和計(jì)算速度都是目前計(jì)算機(jī)難以承受的。所以數(shù)據(jù)壓縮技術(shù)一直是多媒體各項(xiàng)研究的重點(diǎn)。大規(guī)模集成電路 (VLSI 制造技術(shù)進(jìn)行聲音和圖像信息的壓縮處理要求進(jìn)行大量的計(jì)算。 VLSI 技術(shù)的發(fā)展讓我們可以生產(chǎn)低廉的數(shù)字信號處理器 (DSP 芯片用硬件來完成復(fù)雜的計(jì)算處理。大容量的光盤存儲器 (CD-ROM多媒體信息雖然經(jīng)過了壓縮處理 ,但還是含有大量的數(shù)

3、據(jù) ,所以需要有大容量的存儲設(shè)備來保存這些信息。實(shí)時多任務(wù)操作系統(tǒng)多媒體技術(shù)需要同時處理聲音、文字、圖像等多種媒體信息 ,其中聲音和視頻圖像還要求實(shí)時處理 ,需要有能支持對多媒體信息進(jìn)行實(shí)時處理的操作系統(tǒng)。構(gòu)成通常 ,多媒體系統(tǒng)由以下4 個部分構(gòu)成。硬件系統(tǒng)最重要是根據(jù)多媒體技術(shù)標(biāo)準(zhǔn)而研制生產(chǎn)的多媒體信息處理芯片、板卡和光盤驅(qū)動器等。多媒體操作系統(tǒng)這是多媒體的核心 ,具有實(shí)時任務(wù)調(diào)度、多媒體數(shù)據(jù)轉(zhuǎn)換和同步控制、對多媒體設(shè)備的驅(qū)動和控制 ,以及圖形用戶界面管理等。媒體處理系統(tǒng)工具它是多媒體重要的組成部分,也稱為多媒體系統(tǒng)開發(fā)工具軟件。用戶應(yīng)用軟件1.2 圖形和圖像基本原理亮度、色調(diào)和飽和度亮度

4、:表示光的明亮程度 ,它與被觀察物體的發(fā)光強(qiáng)度和人類視覺系統(tǒng)的視敏功能有關(guān)。色調(diào) :反映的是顏色的種類 ,是決定顏色的基本特性。飽和度 :指顏色的純度 ,即摻入白光的程度 ,或者說是顏色的深淺程度。色調(diào)和飽和度通稱為色度。彩色空間在多媒體技術(shù)中 ,用得最多的是 RGB 彩色空間表示。而一般在彩色電視系統(tǒng)中,采用的是 YUV 彩色空間。另外 ,還有 CIE XYZ 、CIE LAB 、 CCIR601-2YCbCr 彩色空間等。圖形圖像文件圖形是指用計(jì)算機(jī)繪制工具繪制的畫面 ,包括直線、曲線 ,圓/圓弧 ,方框等成分。圖形一般按各個成分的參數(shù)形式存儲 ,可以對各個成分進(jìn)行移動、縮放、旋轉(zhuǎn)和扭曲等

5、變換 ,可以在繪圖儀上將各個成分輸出。圖像是由輸入設(shè)備捕捉的實(shí)際場景或以數(shù)字化形式存儲的任意畫面。圖像可以用位圖或矢量圖形式存儲。位圖共5頁第1頁系統(tǒng)分析師 (軟件設(shè)計(jì)師計(jì)算機(jī)學(xué)科部分經(jīng)典教材也叫黑白圖象 ,它是按圖像點(diǎn)陣形式存儲各像素的顏色編碼或灰度級。位圖適于表現(xiàn)含有大量細(xì)節(jié)的畫面 ,并可直接、快速地顯示或印出。其存儲量大,一般需要壓縮存儲。矢量圖它用一組指令或參數(shù)來描述其中的各個成分 ,易于對各個成分進(jìn)行移動、縮放、旋轉(zhuǎn)和扭曲等變換。矢量圖適于描述由多種比較規(guī)則的圖形元素構(gòu)成的圖形 ,但輸出圖像畫面時將轉(zhuǎn)換成位圖形式。圖形圖像的主要指標(biāo)有分辨率、色彩數(shù)、圖形灰度。分辨率有屏幕分辨率和輸出

6、分辨率。前者用每英寸行數(shù)和列數(shù)表示 ,后者是以每英寸的像點(diǎn)數(shù)表示。圖形圖像的色彩數(shù)和灰度級則是用位來表示。真彩 :24 位圖形和圖像文件格式很多,以下主要介紹幾種常見的格式。BMP:PC 機(jī)上最常見的位圖格式 ,尤其在 Windows 系統(tǒng)中使用特別廣泛。GIF:主要用于在不同平臺上進(jìn)行圖像交換,是經(jīng)過壓縮的圖形格式。GIF 文件最大64MB, 顏色數(shù)最多 256 色。JPEG:文件壓縮比較高 ,文件比較小。雖然它采用的是有損壓縮算法,但對圖形圖像的損失影響并非很大。其色彩數(shù)最高可達(dá)到24 位。TIF:有壓縮和非壓縮兩大類,是許多圖像應(yīng)用軟件所支持的主要文件格式之一,其最高支持的色彩數(shù)可達(dá) 1

7、6M。PSD:Photoshop中的標(biāo)準(zhǔn)文件格式 ,專門為 Photoshop 而優(yōu)化。CDR:CorelDraw 的文件格式。注:Photoshop和 CorelDraw 都是目前最流行的圖形圖像處理軟件。1.3 音頻基本概念模擬錄音方式直接記錄音頻信號的波形 ,重放時用磁頭拾取信號。目前模擬錄音動態(tài)范圍可達(dá)到80db(分貝 ,信噪比的單位 ,為進(jìn)一步提高音質(zhì) ,采用數(shù)字音頻技術(shù)。計(jì)算機(jī)內(nèi)的音頻必須是數(shù)字形式的。數(shù)字聲音是一個數(shù)據(jù)序列,是一種采樣的聲音 ,它是由模擬聲音經(jīng)抽樣、量化和編碼后得到的。在對音頻數(shù)據(jù)進(jìn)行壓縮時 ,需要從語音質(zhì)量、數(shù)據(jù)率和計(jì)算量 3 個方面來加以考慮。語音壓縮編碼從壓

8、縮方法來看,可分為 3 類。波形編碼 :采用這種編碼可獲得高質(zhì)量語音,但數(shù)據(jù)率不易降低。參數(shù)編碼 :該方法的數(shù)據(jù)率低 ,但質(zhì)量又不高?；旌暇幋a :綜合前面兩種方法的編碼方法。語音、語言和音樂合成語音合成從合成采用的技術(shù)來講可分為:發(fā)音參數(shù)合成聲道模型參數(shù)合成波形編輯合成如果從合成策略上又可分為:頻譜逼近波形逼近實(shí)現(xiàn)計(jì)算機(jī)語音輸出有兩種方法:一.錄音 /重放 ;二 .文-與轉(zhuǎn)換 ;語言合成目前和僅處于文字到語音轉(zhuǎn)換的層次上。文 -語轉(zhuǎn)換 (TTS 是一種智能型的語音合成 ,需要建立語音參數(shù)數(shù)據(jù)庫、發(fā)音規(guī)則庫等。音樂合成技術(shù)有兩種。調(diào)頻 (FM 合成FM 合成方式是將多個頻率的簡單聲音合成復(fù)合音來

9、模擬各種樂器的聲音。FM 合成方式是早期使用的方法,用這種方法產(chǎn)生的聲音音色少、音質(zhì)差。波形表 (Wave Table 合成這種方法是先把各種真正樂器的聲音錄下來 ,再進(jìn)行數(shù)字化處理形成波形數(shù)據(jù) , 然后將各種波形數(shù)據(jù)存儲在只讀存儲器中。發(fā)音時通過查表找到所選樂器的波形數(shù)據(jù),再經(jīng)過調(diào)制、濾波、再合成等處理形成立體聲送去發(fā)音。存儲聲音樣本的ROM 容量的大小對波表合成效果影響很大。MIDI:MIDI(musical instrument digital interface 是數(shù)字樂器接口的國際標(biāo)準(zhǔn),它定義了電子音樂設(shè)備與計(jì)算機(jī)的通訊接口 ,規(guī)定了使用數(shù)字編碼來描述音樂樂譜的規(guī)范。常見的 MIDI

10、 設(shè)備有電子琴等。計(jì)算機(jī)中以MID 為擴(kuò)展名的文件稱為MIDI 文件 ,其中存放的是對 MIDI 設(shè)備的命令 ,即每個音符的頻率、音量、通道號等指示信息。最后播出的聲音是由 MIDI 設(shè)備根據(jù)這些信息產(chǎn)生的。MIDI 聲音可以用于配音 ,它的缺點(diǎn)是對回放設(shè)備的依賴太強(qiáng),還有就是不能記錄人聲 ;常見音頻格式 :共5頁第2頁系統(tǒng)分析師 (軟件設(shè)計(jì)師計(jì)算機(jī)學(xué)科部分經(jīng)典教材名稱擴(kuò)展名特點(diǎn)缺點(diǎn)WAVEWAV完整記錄聲音的波形 ,不使用壓縮文件太大MODMOD 、ST3、XT 、S3M、 文件中不僅存放了樂譜 ,還存放了樂曲使用低音效果差FAR 和 669 等的各種音色樣本。回放效果明確,音色種類永無止境

11、。MPEG-3MP3目前最流行的格式 ,壓縮較大。有損壓縮 ,音質(zhì)不完美Real AudioRA壓縮比高 ,失真度小有損壓縮 ,音質(zhì)并不好Create Musical CMFCreative 公司專用音樂格式。兼容性差FormatCD AudioCDA唱片采用格式 ,記錄的是波形流無法編輯、文MIDIMID音樂工業(yè)的數(shù)據(jù)標(biāo)準(zhǔn)不能記錄語音1.4 視頻動畫 (視頻動態(tài)圖像 ,包括動畫和視頻信息 ,是連續(xù)漸變的靜態(tài)圖像或圖形序列 ,沿時間軸順次更換顯示 ,從而構(gòu)成運(yùn)動視感的媒體。當(dāng)序列中每幀圖像是由人工或計(jì)算機(jī)產(chǎn)生的圖像時,稱為動畫。當(dāng)序列中每幀圖像是通過實(shí)時攝取自然景象或活動對象時,稱為視頻。動畫

12、是以每秒 1520 幀的速度順序的播放靜止圖像幀來產(chǎn)生運(yùn)動的錯覺。比較流行的格式有兩種。蘋果公司的 Quicktime:軟件壓縮和解壓縮 (注意幾個數(shù)字參數(shù) ;微軟的 AVI: 特點(diǎn)是可伸縮性 ,1.5 數(shù)據(jù)壓縮和編碼技術(shù)標(biāo)準(zhǔn) H.261H.261 是用于音頻視頻服務(wù)的視頻編碼解碼器,也稱為 P ×64 標(biāo)準(zhǔn)。由CCITT(ITU-T 制定。其應(yīng)用目標(biāo)是可視電話和視頻會議系統(tǒng)。含有此標(biāo)準(zhǔn)的系統(tǒng)必須能實(shí)時的按標(biāo)準(zhǔn)進(jìn)行編碼和解碼。H.261 于 JPEG、MPEG 標(biāo)準(zhǔn)的區(qū)別在于它是為動態(tài)使用而設(shè)計(jì)的,并提供完全包含的組織的高水平的交互控制。JPEGJPEG 是靜止圖像壓縮和解壓縮算法的

13、標(biāo)準(zhǔn),它是基于 DCT 的有損算法 ,是 ISO的國際標(biāo)準(zhǔn)。MPEG 在三方面優(yōu)于其他的壓縮/解壓方案 :開始就是一個國際化的標(biāo)準(zhǔn),兼容性很好 ;比其他算法有更高的壓縮比,最高可達(dá)到 200:1;在提供高壓縮比的同時 ,對數(shù)據(jù)的損失很小 ;MPEGMPEG-X 是一組由 ITU 和 ISO 制定發(fā)布的視頻、音頻和數(shù)據(jù)的壓縮標(biāo)準(zhǔn)。MPEG-1制定于 1992 年,傳輸率最高可達(dá) 4Mbps5Mbps,質(zhì)量級別與 VHS 相當(dāng)?？捎糜谟涗浢襟w或是在 Internet 上傳輸音頻。MPEG-2制定于 1994 年,傳輸率在 3Mbps10Mbps 之間 ,DVD 指定標(biāo)準(zhǔn)。MPEG-4傳輸率要求在

14、4800bps64000bps之間。其主要特點(diǎn)是交互性和綜合性。更適合交互 AV 服務(wù)記憶即遠(yuǎn)程監(jiān)控,是第一個使觀眾由被動變主動的動態(tài)圖象標(biāo)準(zhǔn)。DVI 視頻圖像壓縮算法的性能與MPEG 相當(dāng) ,圖像質(zhì)量可達(dá)到VHS 的水平。壓縮以后的圖像傳輸率約為1.5Mbps。1.6 多媒體應(yīng)用開發(fā)過程共5頁第3頁系統(tǒng)分析師 (軟件設(shè)計(jì)師計(jì)算機(jī)學(xué)科部分經(jīng)典教材多媒體創(chuàng)作系統(tǒng)是多媒體電腦技術(shù)的嚴(yán)格重要組成部分 ,它介于多媒體工作平臺于應(yīng)用軟件之間 ,是支持應(yīng)用開發(fā)人員進(jìn)行多媒體應(yīng)用軟件創(chuàng)作的工具,因此也稱為多媒體創(chuàng)作工具。多媒體創(chuàng)作工具的初衷是非計(jì)算機(jī)領(lǐng)域的專家對計(jì)算機(jī)技術(shù)的不了解 ,因此就需要一種工具 ,使

15、應(yīng)用開發(fā)人員不用編程也能做出很優(yōu)秀的多媒體軟件產(chǎn)品 ,這種工具稱之為多媒體創(chuàng)作工具 ,用這種工具做出來的產(chǎn)品稱為 節(jié)目。多媒體創(chuàng)作工具是能夠用來集成各種媒體、并可設(shè)計(jì)閱讀信息內(nèi)容方式的軟件。其功能日趨完善 ,總結(jié)起來 ,以下幾個方向和功能是多媒體創(chuàng)作工具應(yīng)具備的:1.編輯能力及環(huán)境編輯能力主要是支持用戶對節(jié)目所需要的外部媒體資料的生成、增刪、修改于管理能力。這些功能不是通過用戶編程來實(shí)現(xiàn) ,而是在系統(tǒng)中通過可視化的界面 ,幫助用戶使用簡便操作來達(dá)到相同的效果。2. 媒體數(shù)據(jù)輸入能力即處理靜態(tài)和動態(tài)的多媒體的能力,支持的格式越多越好。3. 交互能力從最簡單的設(shè)置按鈕來連接事件,道后來的超鏈接功能

16、 ,再道現(xiàn)在的菜單交互、可視媒體對象交互、文字輸入交互等 ,隨著多媒體創(chuàng)作工具對系統(tǒng)硬件的控制能力的加強(qiáng) ,語音交互、觸控交互、三維立體觸控交互以及未來的智能判斷交互都是交互能力的新技術(shù)。4. 功能擴(kuò)充能力為了滿足高層次節(jié)目的需求 ,媒體創(chuàng)作工具提供外部接口 ,可以連入其他的高級對象和組件 ,這樣就實(shí)現(xiàn)了三級用戶開發(fā)環(huán)境 ,這三級用戶是不懂編程的普通用戶、稍懂編程的用戶和富有豐富編程經(jīng)驗(yàn)的用戶。5. 調(diào)試能力目前還制停留再放映節(jié)目的范圍,未來的調(diào)試工具應(yīng)該是多斷點(diǎn)、逆向回放等功能 ,再調(diào)試過程中顯示調(diào)試信息。6.動態(tài)數(shù)據(jù)交換能力使用變量給某些媒體構(gòu)件賦予屬性,并且可以通過程序改變變量,從而達(dá)到

17、動態(tài)改變媒體屬性的目的。7.數(shù)據(jù)庫功能應(yīng)具有數(shù)據(jù)庫的查詢、排序、更新、刪除和增加等功能。8.網(wǎng)絡(luò)組件及模板套用能力能有效支持一組人通力制作一個節(jié)目的創(chuàng)作工具稱為組件版本 ,支持異構(gòu)電腦系統(tǒng)之間的互連和資料傳遞 ,。模板功能是提高擁護(hù)編輯效率的一個重要手段 ,方便用戶大量制作某一類型的節(jié)目。9.其他能力2. 多媒體重點(diǎn)和難點(diǎn)1. 圖形和圖象的各種格式、幾個主要的概念 :2.音頻采集計(jì)算 :聲音文件的存儲量 =采樣頻率 ×采樣位數(shù) ×聲道數(shù)3.視頻圖象的容量計(jì)算和國家標(biāo)準(zhǔn):圖像文件的存儲量 =分辨率 ×色彩數(shù) (位。4.視頻的幾種集中壓縮格式:例題 1:MPEG-I

18、編碼器輸出視頻的數(shù)據(jù)率大約為_C_。PAL 制式下其圖像亮度信號的分辨率為 _A_,幀速為 _B_。(多媒體(44A.128Kb/sB.320Kb/sD.15Mb/s(45A.352 ×288B.576 ×352C.720 ×576D.1024 ×720(46A.16 幀/秒B.25 幀/秒C.30 幀/秒D.50 幀/秒例題 2:在多媒體的音頻處理中 ,由于人所敏感的聲頻最高為 A 赫茲 (Hz, 因此數(shù)字音頻文件對音頻的采樣頻率為 B 赫茲 (Hz。對一個雙聲道的立體聲 ,保持 1 秒鐘聲音 ,其波形文件所需的字節(jié)數(shù)為 C,這里假設(shè)每個采樣點(diǎn)的量化位

19、數(shù)為8 位。MIDI 文件是最常用的數(shù)字音頻文件之一,MIDI 是一種 D,它是該領(lǐng)域國際上的一個 E。A : 50 10k 22k 44k B : 44.1k 20.05k 10k 88k C:2205088200176400 44100D: 語音數(shù)字接口 樂器數(shù)字接口共5頁第4頁系統(tǒng)分析師 (軟件設(shè)計(jì)師計(jì)算機(jī)學(xué)科部分經(jīng)典教材語音模擬接口 樂器模擬接口E:控制方式管理規(guī)范通信標(biāo)準(zhǔn) 輸入格式在音頻處理中 ,采樣頻率是決定音頻質(zhì)量的一個重要因素 ,它決定了頻率響應(yīng)范圍。對聲音進(jìn)行采樣的三種標(biāo)準(zhǔn)以及采樣頻率分別為:語音效果 (11 kHz、音樂效果 (22 kHz、高保真效果 (44.1 kHz,目前聲卡的最高采樣率為44.1KHz。另外 ,一般人的聽覺帶寬為20Hz20kHz,人敏感的聲頻最高為22kHz。信號編碼的位數(shù)是決定音頻質(zhì)量的另一個重要因素 ,它決定數(shù)字采樣的可用動態(tài)范圍和信噪比。16 位聲卡的采樣位數(shù)就是16。聲音文件的存儲量等于采樣頻率 ×采樣位數(shù) ×聲道數(shù)。如本題所求波形文件的字節(jié)數(shù)計(jì)算公式如下 : 44.1kHz ×8bit ×2×