N計算機硬件技術(shù)基礎(chǔ)第8章課件

上課公用信息郵箱：上面有講課PPTEmail:Password:tju101tju101第八章多媒體技術(shù)8.1節(jié)多媒體技術(shù)概述一、多媒體及其相關(guān)名詞定義1.多媒體的定義：文本、圖像、音頻、視頻等混合信息。2.多媒體技術(shù)定義：

①把文本、圖像、音頻、視頻信息綜合在一起，使用計算機對其進行加工處理的技術(shù)。a.信息表示的多樣性b.信息載體或介質(zhì)的多樣性c.多媒體應(yīng)用技術(shù)的多樣性②數(shù)字化因為計算機只能處理數(shù)字化的信息。所以那些聲音和圖像必須轉(zhuǎn)化為數(shù)字化的形式才能使用與處理。③集成性a.多媒體信息的集成。多媒體文本。b.多媒體介質(zhì)或設(shè)備的集成③交互性④實時性4.多媒體技術(shù)的應(yīng)用（見書上P217）①②③④⑤3.多媒體計算機涉及的關(guān)鍵技術(shù)①數(shù)據(jù)壓縮技術(shù)②網(wǎng)絡(luò)與通訊技術(shù)③多媒體數(shù)據(jù)庫技術(shù)④大規(guī)模集成電路技術(shù)⑤人機交互設(shè)備技術(shù)和多媒體軟件技術(shù)三、多媒體數(shù)據(jù)壓縮和編碼技術(shù)1.概述①無損壓縮利用原始信息的冗余，用簡潔的方法來表示這些去除冗余的信息。②有損壓縮利用人視覺，聽覺的不敏感，舍棄一些非主要的細(xì)節(jié)，使其還原時仍有滿意的質(zhì)量。2.文本文件的壓縮主要是無損的冗余壓縮技術(shù)。3.圖形文件的壓縮可以是無損的冗余壓縮，也可以有損的算法壓縮。4.視頻文件壓縮①四種常用的視頻文件格式a.VideoforWindows*.avib.QuickTime*.movc.MPEG-1*.mpgd.MPEG-2*.mpg注：非常流行的Real-Networks的RM格式文件，因為使用的版權(quán)問題，所以不做討論。②減小視頻文件的其它途徑。a.減少每秒鐘播放的幀數(shù)。b.減小播放尺寸。c.計算只對幀差別變化的內(nèi)容編碼。VCD注：幀間圖像壓縮技術(shù)③MPEG動態(tài)圖象壓縮標(biāo)準(zhǔn)（MovingPictureExpertsGroupMPEG-1:碼率為1Mbit/s1.5Mbit/s幀內(nèi)采用JPEG大體相同的DCT壓縮算法。幀間采用預(yù)測法和插補法壓縮。c.MPEG分為MPEG視頻、MPEG音頻、視頻音頻同步三個部分。注：現(xiàn)在推出了MPEG-4⑤國際電聯(lián)的H.261和H.263a.采用基于塊的DCT進行殘差信號的壓縮編碼b.像素的每個8X8快映射到頻域產(chǎn)生64個頻率成分。四、多媒體系統(tǒng)的數(shù)據(jù)和文件格式1.圖形圖象和視頻表示①位圖格式a.把一幅圖象看成是由很多象素點構(gòu)成的。

b.每個象素點用一個數(shù)字來表示它的顏色。（其實指的調(diào)色板的編號）②矢量圖a.矢量圖象是一系列可以重構(gòu)圖象（redraw)的指令來表示的。最典型的畫線。不同的算法指令描述了不同的圖形。b.矢量圖象一般比位圖圖象占用存儲空間小，其大小依賴于圖象的復(fù)雜程度。

c.矢量圖形容易修改。比如改變圓半徑。③灰度圖和彩色圖a.單色圖象只用一個bit表示象素。要么亮（有色），要么暗（無色）。b.其實在亮與暗之間可以分很多層次（亮度）。用一個八位二進制數(shù)可以分成256層亮度。那樣的單色圖象叫灰度圖。（例：黑白照片）c.彩色圖用三個單色灰度圖RGB合成。如果每個單色都是8位，那樣每個象素要8X3=24位，又稱真彩色圖象。1677萬色d.所以位圖圖象主要由分辨率和象素深度決定。注：通過抖動技術(shù)（合并相近顏色）可以減少圖象的顏色數(shù)量，可以減小文件。2.常見的圖形圖象和視頻文件格式,見P24①BMP位圖文件（靜態(tài)圖象文件）a.是微軟公司為Windows環(huán)境設(shè)置的標(biāo)準(zhǔn)圖象格式。在PC機上最流行。b.Windows3.0以后的位圖文件格式與顯示設(shè)備無關(guān)。c.非壓縮格式的BMP是通用格式，最流行。d.BMP文件分為兩個部分：文件頭和圖象數(shù)據(jù)②PCX文件（靜態(tài)圖象文件）a.最早用于畫筆(PaintBrush)軟件。b.是一種壓縮過的圖象文件。（無損壓縮）③GIF文件（靜、動態(tài)圖象文件）a.是由CompuServe公司1987年推出的。是一種小巧的文件，主要用于網(wǎng)絡(luò)和BBS用戶瀏覽。b.采用壓縮的，多幀圖象結(jié)構(gòu)。里面有個控制塊，可以控制播放時間。⑤PNG文件（便攜式網(wǎng)絡(luò)圖片）a.支持256色調(diào)色板技術(shù)以產(chǎn)生小體積文件b.最高支持48位真彩色圖像以及16位灰度圖像。c.支持存儲附加文本信息，以保留圖像名稱、作者、版權(quán)、創(chuàng)作時間、注釋等信息。d.使用無損壓縮e.漸近顯示和流式讀寫，適合在網(wǎng)絡(luò)傳輸中快速顯示預(yù)覽效果后再展示全貌。f.使用CRC循環(huán)冗余編碼防止文件出錯。g.最新的PNG標(biāo)準(zhǔn)允許在一個文件內(nèi)存儲多幅圖像。⑥TIFF文件（標(biāo)簽圖像文件格式）a（TaggedImage，簡寫為TIFF）是一種主要用來存儲包括照片和藝術(shù)圖在內(nèi)的圖像的文件格式。b.它最初由Aldus公司與微軟公司一起為PostScript打印開發(fā)。c.TIFF與JPEG和PNG一起成為流行的高位彩色圖像格式。d.如Adobe公司的Photoshop這樣的桌面印刷和頁面排版應(yīng)用，e.掃描、傳真、文字處理、光學(xué)字符識別和其它一些應(yīng)用等都支持這種格式。f.從Aldus獲得了PageMaker印刷應(yīng)用程序的Adobe公司現(xiàn)在控制著TIFF規(guī)范。.⑦WMF文件（靜態(tài)圖象文件）a.是微軟為Windows提供的另一種圖形文件格式。b.是一種矢量圖形格式。*.wmf文件后綴。c.⑧RIFF文件(資源交換文件格式）a.ResourcesInterchange，RIFF文件是windows環(huán)境下大部分多媒體文件遵循的一種文件結(jié)構(gòu),RIFF文件所包含的數(shù)據(jù)類型由該文件的擴展名來標(biāo)識。b.能以RIFF文件存儲的數(shù)據(jù)包括：音頻視頻交錯格式數(shù)據(jù)（.AVI)波形格式數(shù)據(jù)（.WAV)位圖格式數(shù)據(jù)（.RDI)MIDI格式數(shù)據(jù)（.RMI)調(diào)色板格式（.PAL)多媒體電影（.RMN)動畫光標(biāo)（.ANI)其它RIFF文件（.BND)c.是一種基礎(chǔ)文件,對多媒體提供支持。⑨AVI文件（動態(tài)影象文件）a.是微軟開發(fā)的一種RIFF文件格式。b.用于實現(xiàn)數(shù)字視頻和音頻的同步化。⑩Indeo文件(動態(tài)影象文件）a.Intel開發(fā)的一種動態(tài)圖象的壓縮標(biāo)準(zhǔn)。常見的有4.5和5.10兩種。可以適應(yīng)不同帶寬的網(wǎng)絡(luò)，但必須有相應(yīng)的解碼插件才能順利地將下載作品進行播放。b.適合于裝了Intel公司MMX以上CPU的機器，回放效果優(yōu)秀。不安裝MPEG-1回放卡

c.動態(tài)影象文件*.avi和*.mov都用到了Indeo的格式。?MPEG(動態(tài)影象文件）a.運動圖片專家組開發(fā)。b.MPEG-1包含MPEG視頻，音頻和系統(tǒng)同步三部分。早期的VCD采用這個格式。c.MPEG-2采用720X572,可擴展1440X1152高清電視信號。DVD采用這個格式。?MOV文件（動態(tài)圖象文件）a.蘋果公司開發(fā)的動態(tài)影象文件。b.*.mov經(jīng)常用于DC的攝象?？梢赞D(zhuǎn)換的。?MIDI文件（音樂文件）a.音樂文件格式有兩種。（聲波和樂器）b.MIDI是樂器演奏文件。?RTF文件（多態(tài)文本格式文件）a.提供格式信息的文本。（RichText)b.Windows中寫字板和WORD都支持的。c.最初用于文本編輯，因為提供連接對多媒體對象支持。8.2節(jié)音頻技術(shù)一、數(shù)字音頻的基本概念1.聲音的定義①聲波是周期性的振蕩信號。a.頻率表示：聲音的尖度b.振幅表示音量的大?、趯嶋H看到的時域波形是各種頻率聲波的合成，比較雜亂的樣子。2.聲音的分類見書上P229①按頻率劃分。②原始聲源劃分。③按存儲形式劃分。3.音頻①人耳能聽到的20Hz到20KHz的聲波。②其中人耳對2KHz的音頻最為敏感。4.模擬音頻在時間和幅度上都是連續(xù)變化的聲音信號，自然界的各種聲音，大都是這樣的模擬音頻信號。5.數(shù)字音頻用一定的時間間隔對模擬音頻進行采樣，并對采集到的幅度值進行數(shù)字量化編碼。這樣得到的時間和幅度上斷續(xù)的、數(shù)字量化后音頻信號。①波形音頻把以上通過一定的采樣頻率采樣，數(shù)字量化后的聲音信號，以數(shù)據(jù)文件格式存儲。*.wav②MIDI音頻是一種用于在音樂合成器、樂器和計算機之間交換音樂信息的標(biāo)準(zhǔn)協(xié)議。它其實是一套指令，指示MIDI設(shè)備或帶MIDI接口的樂器，怎樣來還原、演奏音樂的聲音。文件格式為*.mid二、音頻數(shù)據(jù)的采樣和處理1.錄音以直接自然的振動信號的聲波作為音源，用麥克風(fēng)這樣的拾音器，從一個振動的音源獲取波形信息，將其轉(zhuǎn)化為電信號形式，然后對這個電信號進行記錄的過程。a.模擬錄音b.數(shù)字錄音2.采樣

以一定的時間間隔對聲音信號的幅度進行測量，得到離散化的幅值。見書上P231圖8.4①采樣的頻率越高，還原的波形越逼真。常用的采樣頻率有44.1KHz，22.05KHz,11.025KHz等。②采樣頻率越高，樣本值越多，文件就越大。3.量化

把采樣采集到的聲音樣本值，用數(shù)字化的量化值處理。①計算機用模/數(shù)轉(zhuǎn)換器(A/D)實現(xiàn)音頻的數(shù)字化。②A/D轉(zhuǎn)換器的位數(shù)，決定了量化的精讀。位數(shù)越高。最后形成的文件越大。3.編碼對聲音信號采樣、量化的結(jié)果以一定的格式進行表示、記錄的過程。通常會加入一些用于控制的代碼。①音頻的編碼有三種類型（書上P233）a.波形編碼b.參數(shù)編碼c.混合編碼4.數(shù)字音頻信號質(zhì)量的技術(shù)指標(biāo)

①采樣頻率②樣本的量化等級③通道個數(shù)④編碼方式5.數(shù)字音頻的存儲空間①未經(jīng)壓縮的數(shù)字音頻文件存儲容量：

采樣頻率x(轉(zhuǎn)換精度/8)x聲道數(shù)x時間b.MIDI文件只是個音樂符號系統(tǒng)。代表著用來重構(gòu)聲音的指令。本身不發(fā)聲音。c.需要聲卡來根據(jù)MIDI指令實現(xiàn)發(fā)聲。d.MIDI文件一般非常小，文件以*.mid,*.cmf,*.rol等作后綴。三、語音識別技術(shù)四、音頻處理的硬件和軟件1.聲卡的定義

實現(xiàn)聲波/數(shù)字音頻相互轉(zhuǎn)換的部件。

計算機中記錄和播放聲音的硬件設(shè)備。2.聲卡的工作原理見P236圖8.6注：漏了幾根關(guān)鍵的箭頭線3.聲卡的類型①適配卡式②主板集成式③外置式4.聲卡的結(jié)構(gòu)①大部分聲卡都集成在主板上了，適配卡式的聲卡結(jié)構(gòu)也比較簡單，主要就是一片聲音處理芯片。②主要看到的是聲卡的外部接口。見書上P237a.麥克風(fēng)輸入b.揚聲器輸出c.線路輸入d.線路輸出e.游戲/MIDI接口5.聲卡的性能指標(biāo)①A/D和D/A的轉(zhuǎn)換位數(shù)。8位和16位。②采樣頻率a.11KHz8bitMonoPCMb.22KHz8bitStereoPCMc.22KHz16bitStereoPCMd.44KHz16bitStereoPCM(標(biāo)準(zhǔn)CD音質(zhì)）③MIDI功能MIDI只是一種指令，要形成電腦音樂必須通過合成。a.FM合成（早期使用，簡單，表現(xiàn)一般。）b.波形表合成把各種真實樂器聲音采樣制成一個波表文件。用ROM存放波形數(shù)據(jù)，效果逼真。④信噪比SNR

信號和噪聲的振幅之比。⑤支持的聲道數(shù)⑥數(shù)字信號處理，

使用數(shù)字信號處理DSP技術(shù)實現(xiàn)回聲，和弦等音效。6.聲卡的選購。見書上P2397.聲音處理軟件見書上P239①MP3音樂a.一種音頻壓縮的數(shù)字聲音技術(shù)b.其核心技術(shù)是利用人耳朵的不敏感性，以犧牲某些細(xì)節(jié)達(dá)到數(shù)據(jù)壓縮的目的。8.3節(jié)數(shù)字視頻技術(shù)一、視頻的基本概念1.視頻的制式①PAL②NTSC2.視頻的數(shù)字化視頻信號的數(shù)字化和音頻信號類似，也是采樣捕獲，數(shù)字量化轉(zhuǎn)換，編碼保存。3.視頻編輯使用各種軟件對數(shù)字化視頻信號進行處理。二、視頻采集卡1.一種適配卡，用于將模擬攝象信號轉(zhuǎn)換成數(shù)字視頻信號的裝置。2.視頻采集卡的工作原理與分類。書上