《多媒體技術(shù)應》PPT課件.ppt

1,第 3 章 多媒體技術(shù)應用,2,本章概要,多媒體技術(shù)的基本含義、組成 音頻、視頻信號的處理 圖像處理技術(shù) 動畫處理技術(shù) 視頻信息處理技術(shù),3,多媒體技術(shù)使計算機具備了綜合處理文字、聲音、圖像和視頻等信息的能力。它以形象豐富的文、聲、圖等信息以及方便的交互性，極大的改善了人機界面，改變了人們使用計算機的方式，從而為計算機進入人類日常生活和生產(chǎn)領(lǐng)域打開了方便之門，給人們的工作、生活和娛樂帶來了深刻的變化。,4,多媒體定義、特性,媒體（Medium） 在計算機領(lǐng)域中有兩種含義，既可理解為存儲信息的實體，如磁帶、磁盤、光盤等；也可理解為信息的載體，如數(shù)字、文字、聲音、圖像、動畫、視頻等。 多媒體技術(shù)中的“媒體”是指后者。,多媒體（ Multimedia） 多媒體是指能夠同時獲取、處理、編輯、存儲和展示兩個以上不同類型信息媒體（文字、圖形、圖像、聲音、動畫和影視 ）的技術(shù) 。,5,多媒體計算機技術(shù)（ mpc）,多媒體計算機一般是指能夠綜合處理文字、聲音、圖形、圖像、動畫和視頻等多種媒體信息，并在它們之間建立邏輯關(guān)系，使之集成為一個交互式系統(tǒng)的計算機。 它融高質(zhì)量的視頻、音頻、圖像等多種媒體信息的處理于一身，并具有大容量的存儲器，能給人們帶來一種文、聲、圖、像并茂的視聽感受。,6,MPC的基本結(jié)構(gòu),主機,觸摸屏,鍵盤,鼠標,視頻輸出 外部存儲 攝像機 CD-ROM,視頻適配卡 音頻適配卡 圖形卡 壓縮卡,音頻微信號輸入： 麥克風，唱機拾音器,音頻、視頻輸入 CD-ROM盤 激光視盤 攝像機、錄像機,音頻輸出： 耳機、音箱 音響設(shè)備,顯示器,通信網(wǎng)絡(luò) 局域網(wǎng)絡(luò) 電話網(wǎng)絡(luò),7,本節(jié)要點： 波形聲音、MIDI聲音的特征 如何使用Windows中的工具錄制和編輯波形聲音 聲音壓縮的基本原理 各種聲音文件格式 語音合成與語音識別的基本原理,31 音頻信號的處理,8,多媒體計算機中產(chǎn)生聲音的方式主要有三種： 外部聲音源進行錄制和重放 MIDI音樂 CD-Audio,在Windows中稱為,Wave波形音頻,MIDI音頻,CD音頻,不同的音頻數(shù)字信息存儲在計算機中時，所使用的格式是不同的，常見的聲音文件格式有： WAVE文件、MIDI文件和MP3文件等。 其中Wave是波形文件，MP3是壓縮格式的音頻文件。,9,3.1.1 Wave音頻文件 1波形音頻的特征 波形音頻是多媒體計算機獲得聲音最直接、最簡便的方式。 工作原理是：麥克風（或立體聲錄音機或CD激光唱盤）等作為聲音信號的輸入源，聲卡以一定的采樣頻率和量化級別對輸入的聲音進行數(shù)字化采樣，將其從模擬信號轉(zhuǎn)換為數(shù)字信號，以適當?shù)母袷酱嬖谟脖P上，由于揚聲器只能接受模擬信號，記錄下來的聲音在重放時，需要由聲卡將文件中的數(shù)字信號還原成模擬信號，經(jīng)混音器混合后由揚聲器輸出。,10,工作原理如圖,圖3-1-1 模擬聲音轉(zhuǎn)換為數(shù)字聲音,模擬聲音轉(zhuǎn)換為數(shù)字聲音,11,采樣頻率：是指每秒從模擬聲波中選擇多少個點 的聲音樣本。 一般為：11.025kHz(指每秒采集聲音樣本11025 次）、22.05kHz、44.1 kHz和48kHz。 單位時間內(nèi)的采樣數(shù)Hz，（至少為波形頻率的兩倍）. 11.025 kHz的采樣頻率獲得的聲音稱為電話音質(zhì)； 22.05 kHz 稱為廣播音質(zhì)； 44.1kHz 稱為CD音質(zhì)。 采樣頻率越高，獲得的聲音質(zhì)量越好，相應占用的存儲空間也就越大。,12,聲音采樣的量化 量化：采樣數(shù)據(jù)按大小存儲的過程 量化級別： 8位、16位、32位等 聲道數(shù) 單聲道和立體聲 單聲道：聲音只能使一路喇叭發(fā)聲每次生成一個 聲波數(shù)據(jù) 立體聲（雙聲道）：聲音可以使兩路喇叭都發(fā)聲， 更能感受到空間效果每次生成兩個聲波數(shù)據(jù).,13,Wave文件所占存儲容量的公式： 存儲量(采樣頻率X量化位數(shù)X聲道)X時間8 (單位：字節(jié)數(shù)) 在Windows“錄音機”里，用最低的8kHz、8位、單聲道來保存，一秒鐘的聲音占的存儲空間為8KB。 若用48kHz、16位、立體聲來保存，一秒鐘的聲音需要188KB的存儲空間。 綜上所述，要使所錄制的聲音音質(zhì)好；其所占存儲量也會相應大。,例,例,14,2Wave音頻文件,Windows所使用的標準數(shù)字音頻是Wave波形文件，記錄了對實際聲音進行采樣的數(shù)據(jù)。 Wave音頻文件的主要缺點是產(chǎn)生的文件太大，不適合長時間記錄。如果應用系統(tǒng)使用CD音質(zhì)的Wave音頻文件配音，聲音內(nèi)容應盡可能簡潔。 由于原始聲音數(shù)據(jù)量太大，有必要采用硬件或軟件的方法進行壓縮處理，常用的軟件壓縮方法主要有ACM和PCM等。另一方面，一般人的講話聲音使用8位量化級、11025 kHz采樣頻率就能較好地還原，因此這種質(zhì)量較低的波形文件在應用中也不少見。,15,3. Wave音頻文件的制作工具,Windows中的“錄音機具有最基本的聲音錄制和編輯功能。 Windows本身所攜帶的“錄音機”軟件，是Wave音頻文件錄制、播放和進行一些簡單處理的基本工具。 啟動Windows “錄音機”,并打開一個Wave音頻文件后的界面，在其窗口的中間便可看到所打開聲音文件的波形。,16,錄音機,由于波形文件記錄的是數(shù)字化的音頻信號，可由計算機對其進行處理和分析，如刪除、插入混音等，又如加快、放慢聲音的播放速度，反向播放，將聲音重新組合等，如圖所示，從“效果”菜單中可以看到有關(guān)的操作命令，使用這些命令后，可以從波形上看到聲音的變化。,17,在錄音前，一般需要設(shè)定錄音時的采樣頻率和量化位數(shù)，這可通過聲音的“格式轉(zhuǎn)換”來設(shè)置，先在“選自”下拉列表中選擇“錄音格式”，然后單擊旁邊的“立即轉(zhuǎn)換”按鈕，出現(xiàn)如圖所示的對話框，用于設(shè)定不同的采樣頻率和量化位數(shù)。 另外不可忽略的是在進行錄音之前，還必須在系統(tǒng)“音量控制”的“選項”屬性中將調(diào)節(jié)音量設(shè)置為“錄音”方式。（具體操作見3.1.3）,有關(guān)錄音,18,如果想知道某個Wave音頻文件的數(shù)字聲音指標，可以選中該聲音文件后，通過使用“文件/ 屬性”命令打開“聲音屬性”對話框來可以了解。,19,3.1.2 MIDI合成音樂,MIDI（Musical Instrument Digital Interface） MIDI是音樂與計算機結(jié)合的產(chǎn)物 MIDI是樂器數(shù)字接口的縮寫，文件擴展名是 .MID，泛指數(shù)字標準，它始建于1982年。標準的多媒體PC平臺能夠通過內(nèi)部合成器或連接端口的外部合成器播放MIDI文件。 MIDI文件的特點：是一系列指令，而不是波形，所占存儲空間非常少 多媒體PC平臺能夠通過內(nèi)部合成器或連接到計算機MIDI端口的外部合成器播放MIDI文件,20,1.合成器,合成器是利用DSP或其他芯片來產(chǎn)生音樂或聲音的電子裝置 FM合成器 采用頻率調(diào)制的原理產(chǎn)生聲音 FM合成器能發(fā)出128種樂器的聲音 波表合成 對真實樂器聲采樣，制波表保存，由DSP查表調(diào)用處理 聲音效果與真實的樂器聲幾乎無差別 聲卡帶有波形表ROM的接口 或 本身帶有波形表ROM ROM的容量越大，可存儲的樂器音就越多 軟波形表 用CPU來實現(xiàn)波表合成器的部分功能降低對聲卡硬件要求,21,2. MIDI音樂產(chǎn)生原理 MIDI標準規(guī)定了裝置間連接的電纜、硬件標準和通信協(xié)議 MIDI指令信息 ： 由音符序列、定時和多達16個通道的演奏音符定義組成，演奏音符定義由鍵號、通道號、音長、音量和力度組成 建立MIDI文件：設(shè)備演奏時輸入或軟件編輯產(chǎn)生 MIDI文件的特點：是指令不是波形，文件小 端口 ：MIDI In（輸入口）、MIDI Out（輸出 口）、 MIDI Thru（轉(zhuǎn)送口）,22,由于MIDI文件是一系列指令，而不是波形，所以所占的存儲空間非常少，利用MIDI文件演奏音樂，所需的存儲量很少。 一個8位，2205kHz的波形文件，記錄18秒鐘的聲音需要3168KB空間，而演奏2分鐘樂曲的MIDI文件，其存儲空間不到8KB。 另外，預先裝載MIDI文件比波形文件容易得多。這樣，在設(shè)計多媒體節(jié)目時，音樂的設(shè)置就變得十分靈活。,例,23,在以下這些情況時，使用MIDI合成音樂將比波形音頻更合適： 需要播放長時間高質(zhì)量的音樂。 需要以音樂作為背景音響效果，同時從CD-ROM中裝載其他數(shù)據(jù)，如圖像、文字的顯示等。 需要以音樂作為背景音響效果，同時播放波形音頻，如音樂與語音同時輸出。,24,Windows中的媒體播放器可直接播放MIDI音樂,視聽,視聽,25,3.1.3 音頻處理,聲音的處理包括錄音、剪輯、去除雜音、混音、合成等等。 一般聲音處理的軟件有Ulead、 AudioEditor、Creative錄音大師、CakeWalk等。 Windows中的“錄音機具有最基本的聲音錄制和編輯功能。(見3.1.1 3.),26,3.1.4 音頻數(shù)據(jù)壓縮,1基本壓縮原理 由于音頻信號中存在著冗余，所以在計算機系統(tǒng)的音頻數(shù)據(jù)的存儲和傳輸中，數(shù)據(jù)壓縮是必須的，要在聲音質(zhì)量、數(shù)據(jù)率、計算量三個方面進行綜合考慮。 為了減少數(shù)據(jù)率，專家們致力于壓縮編碼的研究，國際電報電話咨詢委員會(CCITT)先后提出了一系列語音壓縮編碼的建議。,27,音頻信號的編碼方法通常有：,基于音頻數(shù)據(jù)的統(tǒng)計特性進行編碼，其典型技術(shù)是波形編碼，其目標是使重建語音波形保持原波形的形狀。 基于音頻的聲學參數(shù)進行參數(shù)編碼，可進一步提高壓縮比，其目標是使重建音頻保持原音頻的特性。 將上述兩種編碼結(jié)合起來，就是混合編碼的方法。 基于人的聽覺特性進行編碼，從人的聽覺特性出發(fā)，利用掩蔽效應，設(shè)計聲學心理模型。 從而實現(xiàn)更高效率的數(shù)字音頻的壓縮。其中以MPEG標準中的高頻編碼最有影響。,28,2MP3音樂 MP3是 MPEG layer 3 的縮寫 MPEG (Moving Picture Expert Group) ，運動圖像專家組，是國際標準化組織成員，專門制定MPEG壓縮標準中的音頻部分，也就是MPEG音頻層。 MP3是MPEG音頻壓縮算法中壓縮與解壓縮計算方式的一種，用來處理高壓縮率的聲音信息。它所生成的聲音文件音質(zhì)接近CD，而文件大小卻只有約其十二分之一。因此原本一張光盤上只能儲存十幾首CD格式的樂曲，若以MP3格式進行存儲，則可儲存100多首。,29,那么MP3為什么會有這樣神奇的效果呢?,原理: 一方面通過先進的編碼技術(shù)，讓未經(jīng)壓縮的原始聲音重新編碼壓縮；另一方面利用人耳的特點進行數(shù)據(jù)的縮減，由于人的耳朵對于超過15kHz的聲音就不是很靈敏了，所以將一些高頻的聲音信息刪掉不會對聲音效果有很大影響，這樣縮小聲音存儲所需占用的空間。 MP3格式的聲音仍屬于聲波的一種，它是將原有的聲波經(jīng)過壓縮形成MP3的文件格式。 所以一張MP3音樂光盤可以將十幾張的CD音樂放到里面。若以一張音樂CD專輯可以播放60分鐘來算，一張MP3音樂光盤將可以放十幾小時的音樂，簡直就像一個小型的音樂收藏柜一樣。,30,三個層次音頻的壓縮比和壓縮后所產(chǎn)生聲音的數(shù)據(jù)質(zhì)量,31,雖然MP3的好處很多，但由于采用壓縮格式，在音質(zhì)上畢竟還是有一定損失的。 音頻信號的壓縮方法通常分為,音頻信號壓縮,無損壓縮,有損壓縮,霍夫曼編碼,游程長度編碼,混合編碼,參數(shù)編碼,波形編碼,32,3.1.5 聲音文件的格式,在計算機中，聲音文件也稱為音頻文件。根據(jù)獲得的途徑和存儲的方式不同，聲音文件也有多種文件格式，不同格式的聲音文件具有不同的存儲特點。 常見的聲音文件格式有: WAV、MID 、MP3 CD格式、RM格式、WMA格式,33,1WAV格式 WAV格式的音頻文件是Windows中最常用的波形聲音文件格式，符合RIFF(resource interchange file format，資源交換文件格式)文件規(guī)范。 WAV格式支持多種壓縮算法。 由于WAV格式一般存放的是未經(jīng)壓縮處理的音頻數(shù)據(jù)，所以體積相對較大(1分鐘需要10MB)，不適合于在網(wǎng)絡(luò)上傳播。 2MP3格式 MP3格式誕生于20世紀80年代的德國，MPEG壓縮是一種有損壓縮，MPEG3音頻編碼具有10：112：1的高壓縮率，同時基本保持低音頻部分不失真，但是犧牲了聲音文件中12kHz到16kHz高音頻部分的質(zhì)量來換取文件的尺寸。 由于MP3文件尺寸小、音質(zhì)好，因而為發(fā)展提供了良好的條件。直到現(xiàn)在，這種格式仍風靡全球，其作為主流音頻格式的地位難以被撼動。,34,3MIDI文件 MIDI (musical instrument digital interface) MIDI文件的優(yōu)點是短小，一個6分多種、包含16個樂器的文件也只是80多KB； 缺點是播放效果因軟、硬件而異。 MIDI文件主要用于原始樂器作品、流行歌曲的業(yè)余表演、游戲音軌以及電子賀卡等。 4CD格式 “*CDA“格式，這就是CD音軌了，它是當今世界上音質(zhì)最好的數(shù)碼音頻格式。標準CD格式具有441kHz的采樣頻率，速率88k秒，16位量化位數(shù)。CD音軌近似無損，因此它的聲音基本上是忠于原聲的。,35,5RealAudio格式 RealAudio 主要適用于在網(wǎng)絡(luò)上的在線音樂欣賞。 Real文件的格式主要有：RA(RealAudio)、RM(RealMedia，RealAudio G2)和RMX(RealAudio Secured)等。這些格式的特點是可以隨網(wǎng)絡(luò)帶寬的不同而改變聲音的質(zhì)量，在保證大多數(shù)人聽到流暢聲音的前提下，令帶寬較富裕的聽眾獲得較好的音質(zhì)。 6WMA格式 WM