四川大學(xué)多媒體課件2

1、第2章 多媒體信息數(shù)據(jù)描述2.1 聲音2.2 文本2.3 圖像12.1 聲音2.1.1聲音信號數(shù)字化 2.1.2聲音文件格式2.1.3聲音處理、播放軟件22.1.1 聲音信號數(shù)字化 聲音的種類：人的話音、樂器聲、動物發(fā)出的聲音、自然界的雷聲、風(fēng)聲、雨聲、閃電聲、機(jī)器產(chǎn)生的聲音等聲音電信號在時間和幅度上都是連續(xù)的模擬信號 聲音信號的兩個基本參數(shù)：頻率：信號每秒鐘變化的次數(shù)，用Hz表示。 幅度：信號的強(qiáng)度32.1.1 聲音信號數(shù)字化時間和幅度都用離散的數(shù)字表示的信號就稱為數(shù)字信號。聲音信號數(shù)字化：將聲音模擬信號轉(zhuǎn)換成數(shù)字信號4 2.1.1 聲音信號數(shù)字化聲音信號數(shù)字化步驟：采樣(sampling)

2、 ：某些特定的時刻對聲音模擬信號的幅度值進(jìn)行測量。均勻采樣(uniform sampling）：每隔相等的一小段時間采樣一次。 量化(quantization):把采樣得到的信號幅度轉(zhuǎn)換成數(shù)值。線性量化（均勻量化）：幅度的劃分等間隔非線性量化（非均勻量化）:幅度的劃分不等間隔5問題：每秒鐘需要采集多少個聲音樣本？采樣頻率(fs)每個聲音樣本的位數(shù)(bit per sample，bps)是多少？量化精度2.1.1 聲音信號數(shù)字化6 2.1.1 聲音信號數(shù)字化采樣頻率奈奎斯特理論(Nyquist theory)：采樣頻率不應(yīng)低于聲音信號最高頻率的兩倍。這樣就能把以數(shù)字表達(dá)的聲音還原成原來的聲音無損

3、數(shù)字化(lossless digitization)。采樣定律公式： fs 2f 或者： Ts T/2 其中f為被采樣信號的最高頻率例：聲音信號：看成由許許多多正弦波組成，一個正弦波至少需要兩個采樣樣本表示。電話話音：信號頻率約為3.4 kHz，采樣頻率就選為8 kHz。 72.1.1 聲音信號數(shù)字化采樣精度聲音樣本的位數(shù)bit/s(即bps) 反映度量聲音波形幅度的精度。例如：每個聲音樣本用16位(2字節(jié))表示，測得的聲音樣本值是在065536的范圍里，它的精度就是輸入信號的1/65536。位數(shù)越多，聲音的質(zhì)量越高，而需要的存儲空間也越多；位數(shù)越少，聲音的質(zhì)量越低，需要的存儲空間越少。采樣精

4、度的另一種表示方法是信號噪聲比，簡稱為信噪比(signal-to-noise ratio，SNR) ：SNR 10 log (Vsignal)2 / (Vnoise)220 log (Vsignal / Vnoise)其中，Vsignal表示信號電壓，Vnoise表示噪聲電壓；SNR的單位為分貝(db)82.1.2 聲音文件格式常見的聲音文件格式有：WAV,VOC,MIDI,CMF,MOD,MP3WAV文件是Windows所使用的標(biāo)準(zhǔn)數(shù)字音頻文件，稱為波形文件。MP3文件是近幾年產(chǎn)生的音樂文件，是以音頻壓縮標(biāo)準(zhǔn)MPEG Layer 3壓縮編碼的一種音頻格式文件。9波形音頻素材的通過以下途徑獲取

5、：（1）利用麥克風(fēng)直接錄音，獲取數(shù)字化的語音和音樂素材。（2）家用音響設(shè)備、錄音機(jī)、收音機(jī)、電視機(jī)以及所有聲源的音頻輸出信號接入聲卡的線路輸入端，利用音頻處理軟件將對其進(jìn)行錄音，以此獲得是數(shù)字音頻信號。（Line in）（3）將音樂光盤放入ROM驅(qū)動器中，對音軌進(jìn)行聲音采樣，轉(zhuǎn)化為數(shù)字音頻信號。（4）利用專用軟件，將mp3格式的壓縮音頻文件轉(zhuǎn)換成波形音頻文件。2.1.2 聲音文件格式102.1.2 聲音文件格式WAV音頻文件的特點(diǎn)采樣頻率越高，數(shù)字化聲音與聲源的聲音效果越接近，音質(zhì)越好。采樣精度越高，數(shù)據(jù)的表達(dá)越精確，音質(zhì)越好。可選擇數(shù)字音頻信號的立體聲或單聲道形式，立體聲比單聲道的數(shù)據(jù)量大一

6、倍。 采樣頻率和采樣精度越高，音頻信號數(shù)據(jù)量就越大。數(shù)據(jù)記錄詳盡，音頻數(shù)據(jù)基本上沒有經(jīng)過壓縮處理，數(shù)據(jù)量大。112.1.2 聲音文件格式MIDI（Musical Instrument Digital Interface “電子樂器數(shù)字接口”）用于在音樂合成器(music synthesizers)、樂器(musical instruments)和計算機(jī)之間交換音樂信息的一種標(biāo)準(zhǔn)協(xié)議。MIDI優(yōu)點(diǎn)：生成的文件比較小，因為MIDI文件存儲的是命令，而不是聲音波形；容易編輯，因為編輯命令比編輯聲音波形要容易得多；可以作背景音樂，和其它的媒體，如數(shù)字電視、圖形、動畫、話音等一起播放，加強(qiáng)演示效果。12

7、2.1.2 聲音文件格式產(chǎn)生MIDI樂音的方法（用得較多的兩種）FM(frequency modulation頻率調(diào)制 )合成法： 波形用數(shù)字來表達(dá)，用數(shù)字計算機(jī)它們組合起來，通過數(shù)模轉(zhuǎn)換器(digital to analog convertor，DAC)來生成樂音。 樂音樣本合成法，也稱為波形表(Wavetable)合成法： 真實樂器發(fā)出的聲音以數(shù)字的形式記錄下來，播放時改變播放速度，從而改變音調(diào)周期，生成各種音階的音符。 132.1.3 聲音處理、播放軟件聲音軟件的作用：是把聲音數(shù)字化，并對其進(jìn)行編輯加工、合成多個聲音素材，制作某種聲音效果，以及保存聲音文件等。常用聲音工具：Easy CD

8、-DA Extractor , Real Jukebox , ColdWave , Cool Edit Pro , Acid WAV， RealOne Player等14 2.1.3 聲音處理、播放軟件Windows的錄音器152.2 文本2.2.1 文本的文件格式2.2.2 文字處理軟件162.2.1 文本的文件格式文本文件可以分兩大類：純文本文件和有格式文本文件純文本文件是由ASCII字符和其他字符標(biāo)準(zhǔn)（如漢字編碼標(biāo)準(zhǔn)GB2312）字符構(gòu)成的文件。如DOS下的TXT文件、各種程序設(shè)計語言的源程序文件、數(shù)據(jù)文件等。172.2.1 文本的文件格式格式的文本文件中不僅包含上述字符，而且還含有文字

9、格式（如字體、字號、顏色、下劃線、加粗、斜體等）和排版格式（如段落縮進(jìn)、行間距、邊框底紋等）等信息。許多字符處理軟件如MS Word,Word Star ,WPS ,CCED 等生產(chǎn)的文檔文件均屬此類。182.2.2 文字處理軟件：功能：輸入和編輯文字，并具有圖形文字混合排版、制表、表格運(yùn)算等功能常用：Word2000,wps2000等193 圖像3.1 圖像的顏色模型3.2 圖像的三個基本屬性3.3 圖像的種類 3.4 圖象的文件格式3.5 圖像處理軟件203.1 圖像的顏色模型顏色是視覺系統(tǒng)對可見光的感知結(jié)果 自然界中的任何一種顏色都可以由R，G，B這3種顏色值之和來確定，它們構(gòu)成一個3維

10、的RGB矢量空間。這就是說，R，G，B的數(shù)值不同混合得到的顏色就不同，也就是光波的波長不同。 213.1 圖像的顏色模型組合這三種光波以產(chǎn)生特定顏色稱為相加混色，稱為RGB相加混色模型。顏色R(紅色的百分比)G(綠色的百分比)B(藍(lán)色的百分比)有源物體 （如顯示器）用RGB模型色調(diào)-飽和度-亮度(hue-saturation-lightness，HSL)顏色模型同RGB223.1 圖像的顏色模型任何一種顏色都可以用三種基本顏料：青色(Cyan)、品紅(Magenta)和黃色(Yellow)按一定比例混合得到，稱為CMY相減混色模型。（它減少了為視覺系統(tǒng)識別顏色所需要的反射光。）無源物體 （如打

11、印機(jī)、彩色印刷）用CMY模型233.1 圖像的顏色模型相加色與相減色的對應(yīng)關(guān)系關(guān)系（表5-4）相加混色相減混色生成的顏色RGBCMY000111黑001110藍(lán)010101綠011100青100011紅101010品紅110001黃111000白243.2 圖像的三個基本屬性3.2.1 分辨率1. 顯示分辨率顯示屏上能夠顯示出的像素數(shù)目. (如640480） 2. 圖像分辨率組成一幅圖像的像素密度的度量方法。 (如300 DPI) 253.2 圖像的三個基本屬性3.2.2 像素深度存儲每個像素所用的位數(shù)，它也是用來度量圖像的分辨率。 如：RGB 8:8:8，像素的深度為24 263.2 圖像的

12、三個基本屬性3.2.3 真彩色、偽彩色與直接色1. 真彩色(true color)每個像素值中，有R，G，B三個基色分量，每個基色分量直接決定顯示設(shè)備的基色強(qiáng)度 ，這樣產(chǎn)生的彩色稱為真彩色。如：RGB 5:5:5來表示，每個彩色分量占5個位，再加1位顯示屬性控制位共2個字節(jié)，生成的真顏色數(shù)目為215 = 32K。真彩色通常指 RGB 8:8:8（顏色數(shù)224 ），也稱全彩色。273.2 圖像的三個基本屬性2. 偽彩色(pseudo color)把像素值當(dāng)作彩色查找表(color look-up table，CLUT)的表項入口地址，去查找一個顯示圖像時使用的R，G，B強(qiáng)度值，用查找出的R，G，

13、B強(qiáng)度值產(chǎn)生的彩色稱為偽彩色。 283.2 圖像的三個基本屬性3. 直接色(direct color)每個像素值分成R，G，B分量，每個分量作為單獨(dú)的索引值對它做變換。也就是通過相應(yīng)的彩色變換表找出基色強(qiáng)度，用變換后得到的R，G，B強(qiáng)度值產(chǎn)生的彩色稱為直接色。（對每個基色進(jìn)行變換） 293.3 圖像的種類 3.3.1 矢量圖與點(diǎn)位圖表達(dá)圖像和計算機(jī)生成的圖形圖像，有兩種常用的方法：一種叫做是矢量圖(vector based image)法，另一種叫點(diǎn)位圖(bit mapped image)法 303.3 圖像的種類 矢量圖是用一系列計算機(jī)指令來表示一幅圖，如畫點(diǎn)、畫線、畫曲線、畫圓、畫矩形等。

14、這種方法實際上是數(shù)學(xué)方法來描述一幅圖，然后變成許多的數(shù)學(xué)表達(dá)式，再編程，用語言來表達(dá)。在計算顯示圖時，也往往能看到畫圖的過程。 313.3 圖像的種類點(diǎn)位圖法 是把一幅彩色圖分成許多的像素，每個像素用若干個二進(jìn)制位來指定該像素的顏色、亮度和屬性。因此一幅圖由許多描述每個像素的數(shù)據(jù)組成，這些數(shù)據(jù)通常稱為圖像數(shù)據(jù)，而這些數(shù)據(jù)作為一個文件來存儲，這種文件又稱為圖像文件。323.3 圖像的種類矢量圖與點(diǎn)位圖相比較：顯示點(diǎn)位圖文件比顯示矢量圖文件要快；矢量圖側(cè)重于“繪制”、去創(chuàng)造，而點(diǎn)位圖偏重于“獲取”、去“復(fù)制”；矢量圖和點(diǎn)位圖之間可以用軟件進(jìn)行轉(zhuǎn)換，由矢量圖轉(zhuǎn)換成點(diǎn)位圖采用光柵化(rasterizi

15、ng)技術(shù)，這種轉(zhuǎn)換也相對容易；由點(diǎn)位圖轉(zhuǎn)換成矢量圖用跟蹤(tracing)技術(shù)，這種技術(shù)在理論上說是容易，但在實際中很難實現(xiàn)，對復(fù)雜的彩色圖像尤其如此。 333.3 圖像的種類3.3.2 灰度圖與彩色圖灰度圖(gray-scale image) 按照灰度等級的數(shù)目來劃分。只有黑白兩種顏色的圖像稱為單色圖像圖中的每個像素的像素值用1位存儲，它的值只有“0”或者“1”，一幅640480的單色圖像需要占據(jù)37.5 KB的存儲空間。343.3 圖像的種類5.5.2 灰度圖與彩色圖標(biāo)準(zhǔn)灰度圖像如果每個像素的像素值用一個字節(jié)表示，灰度值級數(shù)就等于256級，每個像素可以是0255之間的任何一個值，一幅64

16、0480的灰度圖像就需要占據(jù)300 KB的存儲空間。 353.3 圖像的種類彩色圖像(color image)可按照顏色的數(shù)目來劃分，例如256色圖像和真彩色(22416 777 216種顏色)等。如：彩色圖像的每個像素的R、G和B值用一個字節(jié)來表示，一幅640480的8位彩色圖像需要307.2 KB的存儲空間；一幅640480的真彩色圖像需要921.6 KB的存儲空間。 363.4 圖象的文件格式1. BMP文件格式位圖文件格式BMP(Bitmap-File)是最普遍的點(diǎn)陣圖格式之一，也是WINDOWS系統(tǒng)下的標(biāo)準(zhǔn)格式，我們利用WINDOWS的調(diào)色盤繪圖，就是存成BMP格式，擴(kuò)展名是 .bm

17、p373.4 圖象的文件格式BMP文件組成：位圖文件頭(bitmap-)、位圖信息頭(bitmap-information header)、彩色表(color table)定義位圖的字節(jié)陣列 383.4 圖象的文件格式位圖文件頭包含有關(guān)于文件類型、文件大小、存放位置等信息。位圖信息頭包含有位圖文件的大小、壓縮類型（沒有壓縮/RLE壓縮）、顏色格式 。彩色表包含的元素與位圖所具有的顏色數(shù)相同，像素的顏色用RGBQUAD結(jié)構(gòu)來定義。對于24位真彩色圖像就不使用彩色表。圖像數(shù)據(jù)字節(jié)陣列圖像的每一掃描行由表示圖像像素的連續(xù)的字節(jié)組成，每一行的字節(jié)數(shù)取決于圖像的顏色數(shù)目和用像素表示的圖像寬度。掃描行是由

18、底向上存儲 。 392 、GIF文件格式 圖形交換格式GIF（Graphics Interchange Format ）是Compuserve公司所制訂的格式，因為compuserve公司開放使用權(quán)限，所以廣為應(yīng)用。 GIF文件格式可在一個文件中存放多幅彩色圖形/圖像。如果在GIF文件中存放有多幅圖，它們可以像演幻燈片那樣顯示或者像動畫那樣演示。3.4 圖象的文件格式403.4 圖象的文件格式GFI圖像文件以數(shù)據(jù)塊(block)為單位來存儲圖像的相關(guān)信息。一個GIF文件由表示圖形/圖像的數(shù)據(jù)塊、數(shù)據(jù)子塊以及顯示圖形/圖像的控制信息塊組成，稱為GIF數(shù)據(jù)流(Data Stream)。數(shù)據(jù)流中的所

19、有控制信息塊和數(shù)據(jù)塊都必須在文件頭(Header)和文件結(jié)束塊(Trailer)之間。GIF文件格式采用了LZW(Lempel-Ziv Walch)壓縮算法來存儲圖像數(shù)據(jù)定義了允許用戶為圖像設(shè)置背景的透明(transparency)屬性。 413.4 圖象的文件格式3. JPEG格式 JPEG (Joint Photographic Experts Group)聯(lián)合圖象專家組是ISO和 IEC聯(lián)合組成的圖象權(quán)威機(jī)構(gòu)。使用比較廣泛的還是JPEG文件交換格式(JPEG Format，JFIF)版本號為1.02。 JPEG格式是一種高效率的壓縮文件，但并不適合放大觀看，輸出成印刷品時品質(zhì)也會受到影響

20、。JPEG文件使用的顏色空間是CCIR 601推薦標(biāo)準(zhǔn)進(jìn)行的彩色空間423.4 圖象的文件格式JPEG文件由下面的8個部分組成：(1) 圖像開始SOI(Start of Image)標(biāo)記(2) APP0標(biāo)記(Marker)(3) APPn標(biāo)記(Markers)，其中n=115(任選) (4) 一個或者多個量化表DQT(difine quantization table)(5) 幀圖像開始SOF0(Start of Frame)(6) 一個或者多個霍夫曼表DHT(Difine Huffman Table)(7) 掃描開始SOS(Start of Scan)(8) 圖像結(jié)束EOI(End of I

21、mage)433.4 圖象的文件格式4、 PNG格式 PNG （流式網(wǎng)絡(luò)圖形格式 Portable Network Graphic Format) ：是一種位圖文件(bitmap file)存儲格式。PNG用來存儲灰度圖像時，灰度圖像的深度可多到16位，存儲彩色圖像時，彩色圖像的深度可多到48位，并且還可存儲多到16位的通道數(shù)據(jù)。PNG使用從LZ77派生的無損數(shù)據(jù)壓縮算法。443.4 圖象的文件格式PNG文件格式保留GIF文件格式的下列特性：使用彩色查找表或者叫做調(diào)色板可支持256種顏色的彩色圖像。 流式讀/寫性能(streamability)：圖像文件格式允許連續(xù)讀出和寫入圖像數(shù)據(jù)，這個特性

22、很適合于在通信過程中生成和顯示圖像。 逐次逼近顯示(progressive display)：這種特性可使在通信鏈路上傳輸圖像文件的同時就在終端上顯示圖像，把整個輪廓顯示出來之后逐步顯示圖像的細(xì)節(jié)，也就是先用低分辨率顯示圖像，然后逐步提高它的分辨率。 453.4 圖象的文件格式透明性(transparency)：這個性能可使圖像中某些部分不顯示出來，用來創(chuàng)建一些有特色的圖像。 輔助信息(ancillary information)：這個特性可用來在圖像文件中存儲一些文本注釋信息。 獨(dú)立于計算機(jī)軟硬件環(huán)境。 使用無損壓縮。463.4 圖象的文件格式PNG文件格式中增加的GIF文件格式所沒有的特性

23、：每個像素為48位的真彩色圖像。 每個像素為16位的灰度圖像。 可為灰度圖和真彩色圖添加通道。 添加圖像的信息。 使用循環(huán)冗余碼(cyclic redundancy code，CRC)檢測損害的文件。 加快圖像顯示的逐次逼近顯示方式。 標(biāo)準(zhǔn)的讀/寫工具包。 可在一個文件中存儲多幅圖像。 473.4 圖象的文件格式文件結(jié)構(gòu)一個8字節(jié)的PNG文件署名域(PNG ) 和按照特定結(jié)構(gòu)組織的3個以上的數(shù)據(jù)塊(chunk)組成。PNG文件署名域（8字節(jié)）用來識別該文件是不是PNG文件。PNG數(shù)據(jù)塊兩種類型：關(guān)鍵數(shù)據(jù)塊(critical chunk)標(biāo)準(zhǔn)輔助數(shù)據(jù)塊(ancillary chunks)可選483.4 圖象的文件格式關(guān)鍵數(shù)據(jù)塊中的4個標(biāo)準(zhǔn)數(shù)據(jù)塊：(1) 文件頭數(shù)據(jù)塊IHDR(header chunk)：它包含有PNG文件中存儲的圖像數(shù)據(jù)的基本信息， (2) 調(diào)色板數(shù)據(jù)塊PLTE(palette chunk)：它包含有與索引彩色圖像相關(guān)的彩色變換數(shù)據(jù)， (3) 圖像數(shù)據(jù)塊IDAT(image