多媒體技術(shù)基礎(chǔ)及應(yīng)用

多媒體技術(shù)基礎(chǔ)及應(yīng)用北京聯(lián)合大學(xué)沈洪副教授1第二章音頻信息處理2.1數(shù)字音頻基礎(chǔ)2.2音頻卡的工作原理2.3音頻編碼基礎(chǔ)和標(biāo)準(zhǔn)2.4音樂合成和MIDI2.5語(yǔ)音識(shí)別2多媒體中音頻信息的應(yīng)用模擬音頻和數(shù)字音頻音頻的數(shù)字化音頻信號(hào)處理的特點(diǎn)2.1數(shù)字音頻基礎(chǔ)3多媒體中音頻信息的應(yīng)用在多媒體系統(tǒng)中，語(yǔ)音和音樂是不可少的。沒有音頻的視頻是不可接受的。4多媒體中音頻信息的應(yīng)用音頻和視頻同步，使視頻圖像更具真實(shí)性娓娓動(dòng)聽的音樂和解說，使靜態(tài)圖像變得更加豐富多彩可視電話、電視會(huì)議中的聲音更為重要5音頻是多媒體的重要媒體之一Audio音頻Speech語(yǔ)音言語(yǔ)Sound非語(yǔ)音聲音濁音

清音

爆破音樂音

雜音6語(yǔ)音是語(yǔ)言的物質(zhì)外殼（載體）。語(yǔ)言是人類社會(huì)特有的一種信息系統(tǒng)，社會(huì)交際工具的符號(hào)。非語(yǔ)音信號(hào)的特點(diǎn)是不具有復(fù)雜的語(yǔ)意和語(yǔ)法信息，信息量低、識(shí)別簡(jiǎn)單。7語(yǔ)言是人類通信最直接最自然的方式。從第一臺(tái)計(jì)算機(jī)誕生以來，專家們就為之付出了巨大的努力。人們期望以最自然

的方式與計(jì)算機(jī)交互8設(shè)計(jì)師為計(jì)算機(jī)安上了“嘴巴”（揚(yáng)聲器），讓計(jì)算機(jī)奏樂、講話；為計(jì)算機(jī)裝上了“耳朵”（麥克風(fēng)），讓計(jì)算機(jī)聽懂、理解人的講話。網(wǎng)絡(luò)專家還期望分布在不同地點(diǎn)的計(jì)算機(jī)成為“順風(fēng)耳”，實(shí)現(xiàn)音頻實(shí)時(shí)傳播。人們期望以最自然

的方式與計(jì)算機(jī)交互9音頻被用來傳遞消息、意向、情感，是人類最熟悉的傳遞消息的方式。音頻攜帶的信息量大、精細(xì)、準(zhǔn)確。10隨著多媒體信息處理技術(shù)的發(fā)展，計(jì)算機(jī)數(shù)據(jù)處理能力的增強(qiáng)，音頻處理技術(shù)受到重視，并得到了廣泛的應(yīng)用。如：11視頻圖像的配音、配樂；可視電話、電視會(huì)議中的話音；游戲中的音響效果；Internet電話、聲音欺騙系統(tǒng)、現(xiàn)代“芝麻開門”系統(tǒng)虛擬現(xiàn)實(shí)中的聲音模擬；電子讀物的有聲輸出等。12多媒體中音頻信息的應(yīng)用模擬音頻和數(shù)字音頻音頻的數(shù)字化音頻信號(hào)處理的特點(diǎn)2.1數(shù)字音頻基礎(chǔ)13模擬音頻和數(shù)字音頻什么是模擬音頻？聲音是機(jī)械振動(dòng)。振動(dòng)越強(qiáng)，聲音越大，話筒把機(jī)械振動(dòng)轉(zhuǎn)換成電信號(hào)，模擬音頻技術(shù)中以模擬電壓的幅度表示聲音強(qiáng)弱。模擬聲音在時(shí)間上是連續(xù)的。14什么是數(shù)字音頻？

在計(jì)算機(jī)內(nèi)，所有的信息均以數(shù)字表示。各種命令是不同的數(shù)字，各種幅度的物理量也是不同的數(shù)字。當(dāng)然，語(yǔ)音信號(hào)也是由一系列數(shù)字來表示，稱之為數(shù)字音頻。數(shù)字音頻的特點(diǎn)是保真度好，動(dòng)態(tài)范圍大。數(shù)字聲音在時(shí)間上是斷續(xù)的。

15在數(shù)字音頻技術(shù)中，把表示聲音強(qiáng)弱的模擬電壓用數(shù)字表示，如0.5V電壓用數(shù)字20表示，2V電壓用80表示。模擬電壓的幅度，即使在某電平范圍內(nèi)，仍然可以有無(wú)窮多個(gè)如1.21V，1.215V…。16

而用數(shù)字來表示音頻幅度時(shí)，只能把無(wú)窮多個(gè)電壓幅度用有限個(gè)數(shù)字表示。即把某一幅度范圍內(nèi)的電壓用一個(gè)數(shù)字表示，這稱之為量化。17計(jì)算機(jī)內(nèi)的基本數(shù)制是二進(jìn)制，為此我們也要把聲音數(shù)據(jù)寫成計(jì)算機(jī)的數(shù)據(jù)格式，這稱之為編碼，模擬電壓幅度、量化、編碼的關(guān)系舉例如下表。1819多媒體中音頻信息的應(yīng)用模擬音頻和數(shù)字音頻音頻的數(shù)字化音頻信號(hào)處理的特點(diǎn)2.1數(shù)字音頻基礎(chǔ)20音頻的數(shù)字化

計(jì)算機(jī)內(nèi)的音頻必須是數(shù)字形式的，因此必須把模擬音頻信號(hào)轉(zhuǎn)換成有限個(gè)數(shù)字表示的離散序列，即實(shí)現(xiàn)音頻數(shù)字化。在這一處理技術(shù)中，涉及到音頻的采樣、量化和編碼。

21

采樣：音頻實(shí)際上是連續(xù)信號(hào)，或稱連續(xù)時(shí)間函數(shù)x(t)。用計(jì)算機(jī)處理這些信號(hào)時(shí)，必須先對(duì)連續(xù)信號(hào)采樣，即按一定的時(shí)間間隔(T)取值,得到x(nT)(n為整數(shù))。T稱采樣周期，1/T稱為采樣頻率。稱x(nT)為離散信號(hào)。22離散信號(hào)x(nT)是從連續(xù)信號(hào)x(t)上取出的一部分值，那么能用x(nT)唯一地確一地恢復(fù)出x(t)嗎？一般是不行的。但在一定條件下可以的，即采樣要滿足采樣定理。

23

采樣定理:設(shè)連續(xù)信號(hào)x(t)的頻譜為x(f)，以采樣間隔T采樣得到離散信號(hào)x(nT),如果滿足：24可以由x(nT)完全確定連續(xù)信號(hào)x(f)當(dāng)采樣頻率等于1/2T時(shí),即fN=1/2T,稱fN為奈魁斯特頻率。

25常用的音頻采樣率有：8kHz、11.025kHz、22.05kHz、16kHz、37.8kHz、44.1kHz、48kHz。

26

量化：為了把采樣序列x(nT)存入計(jì)算機(jī)，必須將樣值量化成一個(gè)有限個(gè)幅度值的集合x(nT)。通常，用二進(jìn)制數(shù)字表示量化后的樣值是方便的。27

量化采樣的過程如下：先將整個(gè)幅度劃分成為有限個(gè)小幅度(量化階距)的集合，把落入某個(gè)階距內(nèi)的樣值歸為一類，并賦予相同的量化值。如果量化值是均勻分布的，我們稱之為均勻量化。28多媒體中音頻信息的應(yīng)用模擬音頻和數(shù)字音頻音頻的數(shù)字化音頻信號(hào)處理的特點(diǎn)2.1數(shù)字音頻基礎(chǔ)29音頻信號(hào)處理的特點(diǎn)音頻信息處理

信號(hào)處理的角度：將聲音看成是一種信號(hào)，通過對(duì)信號(hào)的認(rèn)識(shí)，來獲取信息。

信息論的角度：用它的消息內(nèi)容和信息來表示。30音頻信號(hào)處理的特點(diǎn)(1)音頻信號(hào)是時(shí)間依賴的連續(xù)媒體音頻信號(hào)是時(shí)間依賴的連續(xù)媒體。因此音頻處理的時(shí)序性要求很高。如果在時(shí)間上有25ms的延遲，人就會(huì)感到斷續(xù)。

31音頻信號(hào)處理的特點(diǎn)(2)理想的合成聲音應(yīng)是立體聲

由于人接收聲音有兩個(gè)通道（左耳、右耳），因此為使計(jì)算機(jī)模擬自然聲音，也應(yīng)有兩個(gè)聲道，即理想的合成聲音應(yīng)是立體聲。同時(shí)，也應(yīng)該包括位置信息（不同會(huì)場(chǎng)和不同角落的發(fā)的聲音）。真實(shí)感聲音的模擬：多通道、幅度、位置32音頻信號(hào)處理的特點(diǎn)(3)對(duì)語(yǔ)音信號(hào)的處理，要抽取語(yǔ)意等其它信息由于語(yǔ)音信號(hào)不僅僅是聲音的載體，同時(shí)還攜帶了情感的意向，故對(duì)語(yǔ)音信號(hào)的處理，不僅是信號(hào)處理問題，還要抽取語(yǔ)意等其它信息。因此可能會(huì)涉及到語(yǔ)言學(xué)、社會(huì)學(xué)、聲學(xué)……等。

33從人與計(jì)算機(jī)交互的角度來看音頻信號(hào)相應(yīng)的處理如下：（1）人與計(jì)算機(jī)通信（計(jì)算機(jī)接收音頻信號(hào)）：音頻獲??；語(yǔ)音識(shí)別與理解；

人與計(jì)算機(jī)交互34（2）計(jì)算機(jī)與人通信（計(jì)算機(jī)輸出音頻）音頻合成：包括音樂合成和語(yǔ)音合成；聲音定位：包括立體聲模擬；音頻/視頻同步；目的是讓計(jì)算機(jī)產(chǎn)生真實(shí)感聲音。

35（3）人—計(jì)算機(jī)—人通信：人通過網(wǎng)絡(luò)，與處于異地的人進(jìn)行語(yǔ)音通信，需要的音頻處理包括：語(yǔ)音采集、音頻編碼/解碼、音頻傳輸?shù)取＿@里音頻編/解碼技術(shù)是信道利用率的關(guān)鍵。

36第二章音頻信息處理2.1數(shù)字音頻基礎(chǔ)2.2音頻卡的工作原理2.3音頻編碼基礎(chǔ)和標(biāo)準(zhǔn)2.4音樂合成和MIDI2.5語(yǔ)音識(shí)別37音頻卡的功能和分類根據(jù)多媒體計(jì)算機(jī)(MPC)的技術(shù)標(biāo)準(zhǔn)，聲卡是多媒體技術(shù)中最基本的組成部分，是實(shí)現(xiàn)聲波/數(shù)字信號(hào)相互轉(zhuǎn)換的硬件電路。38音頻卡的功能和分類聲卡把來自話筒、磁帶、光盤的原始聲音信號(hào)加以轉(zhuǎn)換，輸出到耳機(jī)、揚(yáng)聲器、擴(kuò)音機(jī)、錄音機(jī)等聲響設(shè)備，或通過音樂設(shè)備數(shù)字接口(MIDI)使樂器發(fā)出美妙的聲音。39一、音頻卡的功能1、錄制(采集)數(shù)字聲音文件通過聲卡及相應(yīng)驅(qū)動(dòng)程序的控制，采集來自話筒(麥克風(fēng))、收錄機(jī)等音源的信號(hào)，壓縮后存放于微機(jī)系統(tǒng)的內(nèi)存或硬盤中。402、播放數(shù)字聲音文件將硬盤或激光盤片壓縮的數(shù)字化聲音文件還原，重建高質(zhì)量的聲音信號(hào)，放大后通過揚(yáng)聲器輸出。413、編輯與合成聲音文件對(duì)數(shù)字化的聲音文件進(jìn)行編輯加工，以達(dá)到某一特殊的效果。424、控制音源的音量控制音源的音量，對(duì)各種音源進(jìn)行混合，即聲卡具有混響器的功能。435、壓縮和解壓縮編碼和解碼。采集數(shù)據(jù)時(shí)，對(duì)數(shù)字化聲音信號(hào)進(jìn)行壓縮，以便存儲(chǔ)。播放時(shí)，對(duì)壓縮的數(shù)字化聲音文件進(jìn)行解壓。446、文語(yǔ)轉(zhuǎn)換（語(yǔ)音合成）通過文語(yǔ)轉(zhuǎn)換軟件，利用語(yǔ)音合成技術(shù)，通過聲卡朗讀文本信息，如讀英語(yǔ)單詞和句子、說英語(yǔ)、奏音樂。457、語(yǔ)音識(shí)別通過語(yǔ)音識(shí)別軟件，具有初步的語(yǔ)音識(shí)別功能，讓用戶用口令指揮計(jì)算機(jī)工作。468、提供MIDI功能提供MIDI(樂器數(shù)字接口)功能，使計(jì)算機(jī)可以控制多臺(tái)具有MIDI接口的電子樂器。同時(shí)，在驅(qū)動(dòng)程序的控制下，聲卡將以MIDI格式存放的文件輸出到相應(yīng)的電子樂器中，發(fā)出相應(yīng)的聲音。47二、音頻卡的分類聲卡的分類1．按應(yīng)用環(huán)境分類2.從技術(shù)角度分類3.根據(jù)采樣和量化

的位數(shù)分類48

3.根據(jù)采樣和量化的位數(shù)分類根據(jù)采樣量化的位數(shù)，常用有8位、16位和32位聲卡。位數(shù)越高，量化精度越高，質(zhì)量越好。

49音頻卡的工作原理采集聲音信號(hào)：聲卡從話筒中獲取模擬聲音信號(hào)，通過模數(shù)轉(zhuǎn)換器(ADC)，將聲波振幅信號(hào)采樣轉(zhuǎn)換成一串?dāng)?shù)字后存儲(chǔ)到計(jì)算機(jī)中。50音頻卡的工作原理重放聲音信號(hào)：將存儲(chǔ)到計(jì)算機(jī)中的數(shù)字信號(hào)送到數(shù)模轉(zhuǎn)換器(DAC)，以同樣的采樣速率還原為模擬波形，待放大后送到揚(yáng)聲器發(fā)聲，這一技術(shù)也稱為脈沖編碼調(diào)制技術(shù)(PCM)。51523電源穩(wěn)壓4運(yùn)放5晶振一塊SBLIVE聲卡DACDSP（DigitalSignalProcessing）數(shù)字信號(hào)處理聲音混合53第二章音頻信息處理2.1數(shù)字音頻基礎(chǔ)2.2音頻卡的工作原理2.3音頻編碼基礎(chǔ)和標(biāo)準(zhǔn)2.4音樂合成和MIDI2.5語(yǔ)音識(shí)別54音頻編碼基礎(chǔ)音頻編碼的目的在于壓縮數(shù)據(jù)。在多媒體音頻數(shù)據(jù)的存儲(chǔ)和傳輸中，數(shù)據(jù)壓縮是必須的。通常數(shù)據(jù)壓縮造成音頻質(zhì)量的下降、計(jì)算量的增加。因此，人們?cè)趯?shí)施數(shù)據(jù)壓縮時(shí)，要在音頻質(zhì)量、數(shù)據(jù)量、計(jì)算復(fù)雜度三方面進(jìn)行綜合考慮。

55根據(jù)統(tǒng)計(jì)分析結(jié)果，語(yǔ)音信號(hào)中存在多種冗余，其最主要部分可以分別從時(shí)域和頻域來考慮。另外，由于語(yǔ)音主要是給人聽的，所以也要考慮人的聽覺機(jī)理

從信息保持的角度講，只有當(dāng)信源本身有冗余時(shí)，才能對(duì)其進(jìn)行壓縮。56時(shí)域信息的冗余度頻域信息的冗余度人的聽覺感知機(jī)理57音頻編碼基礎(chǔ)音頻編碼的分類基于音頻數(shù)據(jù)的統(tǒng)計(jì)特性進(jìn)行編碼基于音頻的聲學(xué)參數(shù)進(jìn)行參數(shù)編碼混合編碼基于人的聽覺特性進(jìn)行編碼

58

基于音頻數(shù)據(jù)的統(tǒng)計(jì)特性進(jìn)行編碼，其典型技術(shù)是波形編碼。其目標(biāo)是使重建語(yǔ)音波形保持原波形的形狀。PCM（脈沖編碼調(diào)制）是最簡(jiǎn)單最基本的編碼方法。59

基于音頻的聲學(xué)參數(shù)進(jìn)行參數(shù)編碼，可進(jìn)一步降低數(shù)據(jù)率。其目標(biāo)是使重建音頻保持原音頻的特性。常用的音頻參數(shù)有共振峰、線性預(yù)測(cè)系數(shù)、濾波器組等。這種編碼技術(shù)的優(yōu)點(diǎn)是數(shù)據(jù)率低，但還原信號(hào)的質(zhì)量較差，自然度低。60

將上述兩種編碼算法很好地

結(jié)合起來，采用混合編碼的方法。這樣就能在較低的碼率上得到較高的音質(zhì)。如碼本激勵(lì)線性預(yù)測(cè)編碼（CELP）、多脈沖激勵(lì)線性預(yù)測(cè)編碼（MPLPC）等。

61

基于人的聽覺特性進(jìn)行編碼：從人的聽覺系統(tǒng)出發(fā)，利用掩蔽效應(yīng)，設(shè)計(jì)心理聲學(xué)模型，從而實(shí)現(xiàn)更高效率的數(shù)字音頻的壓縮。其中以MPEG標(biāo)準(zhǔn)中的高頻編碼和DolbyAC-3最有影響。

62音頻編碼標(biāo)準(zhǔn)國(guó)際電報(bào)電話咨詢委員會(huì)（CCITT）和國(guó)際標(biāo)準(zhǔn)化組織（ISO）先后提出一系列有關(guān)音頻編碼的建議，列出了一些音頻編碼算法和國(guó)際標(biāo)準(zhǔn)。6364自適應(yīng)脈沖編碼調(diào)制(ADPCM)這個(gè)建議用于64kbps的A律和μ律PCM與32kbps的ADPCM之間的轉(zhuǎn)換。

65ADPCM編碼器和解碼器的框圖

66第二章音頻信息處理2.1數(shù)字音頻基礎(chǔ)2.2音頻卡的工作原理2.3音頻編碼基礎(chǔ)和標(biāo)準(zhǔn)2.4音樂合成和MIDI2.5語(yǔ)音識(shí)別67音樂合成概述

隨著計(jì)算機(jī)的誕生，就實(shí)現(xiàn)了計(jì)算機(jī)奏樂，不過那僅僅是一個(gè)個(gè)單音，聽起來單調(diào)。如何讓計(jì)算機(jī)輸出優(yōu)美的音樂呢？最簡(jiǎn)單的方法是采取錄音/重放方式。68

音樂的頻帶寬，需要提高其采樣率和量化位數(shù)，因而數(shù)據(jù)率急劇增大。如用44.1K頻率抽樣，16位表示某立體聲音樂，那么每秒鐘的數(shù)據(jù)為176.4K字節(jié)。由此可見，若以此種方式存儲(chǔ)音樂，即使計(jì)算機(jī)數(shù)據(jù)傳輸率允許，也只能存很短時(shí)間的樂曲。

69

是否可以采取合成方式產(chǎn)生音樂呢？答案是肯定的，電子樂器的蓬勃發(fā)展也已經(jīng)證實(shí).

自1976年應(yīng)用調(diào)頻(FM)音樂合成技術(shù)以來，其樂音已經(jīng)很逼真。

1984年又開發(fā)出另一種更真實(shí)的音樂合成技術(shù)－－波形表(Wavetable)合成。目前這兩種音樂合成技術(shù)都應(yīng)用于多媒體計(jì)算機(jī)的音頻卡中。

70調(diào)頻音樂合成FM是使高頻振蕩波的頻率按調(diào)制信號(hào)規(guī)律變化的一種調(diào)制方式。采用不同調(diào)制波頻率和調(diào)制指數(shù)，就可以方便的合成具有不同頻譜分布的波形，再現(xiàn)某些樂器的音色。我們可以采用這種方法得到具有獨(dú)特效果的“電子模擬聲”，創(chuàng)造出豐富多彩的聲音，是真實(shí)樂器所不具備的音色，這也是FM音樂合成方法特有的魅力之一。

71調(diào)頻音樂合成

我們以音頻卡中常用的FM合成芯片YM3812為例，簡(jiǎn)述怎樣實(shí)現(xiàn)FM音樂合成？如何模擬各種樂器的音色？YM3812是一種廣泛使用的新型音樂合成芯片。它采用FM合成方式，能夠在軟件的控制下產(chǎn)生變化極為豐富的各種音色72

FM方式產(chǎn)生真實(shí)音響兩種工作模式：

9聲道同時(shí)發(fā)音

6種旋律加5種節(jié)奏樂內(nèi)置顫音振蕩器/調(diào)幅(AM)振蕩器可采用正弦波組合方式合成語(yǔ)音輸入/輸出為TTL電平

它的主要特點(diǎn)是：YM3812簡(jiǎn)介73使用YM3812構(gòu)成的音樂系統(tǒng)如下圖所示。74音樂系統(tǒng)框圖

由于YM3812輸出的是數(shù)字信號(hào),因此系統(tǒng)需要一數(shù)/模轉(zhuǎn)換，如YM3014。微機(jī)通過總線傳輸必要的數(shù)據(jù)，由YM3812將它們變成相應(yīng)的音高、音色、響度的數(shù)字頻信號(hào)，經(jīng)數(shù)/模轉(zhuǎn)換變成模擬量，再經(jīng)功率放大得到音響輸出。微機(jī)或微處理器地址數(shù)據(jù)總線總線控制YM3812DAC系統(tǒng)時(shí)鐘音頻放大75MIDIMIDI是音樂與計(jì)算機(jī)結(jié)合的產(chǎn)物。MIDI(MusicalInstrumentDigitalInterface)是樂器數(shù)字接口的縮寫，泛指數(shù)字音樂的國(guó)際標(biāo)準(zhǔn)，初始建于1982年。利用MIDI文件演奏音樂，所需的存儲(chǔ)量最少。如演奏2分鐘樂曲的MIDI文件只需不到8K的存儲(chǔ)空間。76MIDI標(biāo)準(zhǔn)規(guī)定了不同廠家的電子樂器與計(jì)算機(jī)連接的電纜和硬件。它還指定從一個(gè)裝置傳送數(shù)據(jù)到另一個(gè)裝置的通信協(xié)議。這樣，任何電子樂器，只要有處理MIDI信息的處理器和適當(dāng)?shù)挠布涌诙寄茏兂蒑IDI裝置。MIDI間靠這個(gè)接口傳遞消息(massage)而進(jìn)行彼此通信。實(shí)際上消息是樂譜(score)的數(shù)字描述。77樂譜由音符序列、定時(shí)和稱作合成音色(patches)的樂器定義所組成。當(dāng)一組MIDI消息通過音樂合成芯片演奏時(shí)，合成器解釋這些符號(hào)，并產(chǎn)生音樂。78第二章音頻信息處理2.1數(shù)字音頻基礎(chǔ)2.2音頻卡的工作原理2.3音頻編碼基礎(chǔ)和標(biāo)準(zhǔn)2.4音樂合成和MIDI2.5語(yǔ)音識(shí)別79

語(yǔ)音識(shí)別的研究領(lǐng)域比較廣，歸納起來，一