第二章音頻信息的獲取與處理

第二章音頻信息的獲取與處理1第1頁，共36頁，2023年，2月20日，星期三

考核目的：考核學(xué)生對數(shù)字音頻獲取與處理的基本原理、采樣量化的基本原理、音頻卡的組成及工作原理、音頻編碼標(biāo)準(zhǔn)以及音樂合成原理的理解和掌握。第2頁，共36頁，2023年，2月20日，星期三

考核的知識點(diǎn)：什么是數(shù)字音頻、數(shù)字音頻采樣和量化的基本原理、音頻卡的工作原理、音頻編碼標(biāo)準(zhǔn)和音樂合成的原理。第3頁，共36頁，2023年，2月20日，星期三

考核要求：掌握：數(shù)字音頻信息的獲取與處理的原理過程、音頻卡的工作原理。

理解：數(shù)字音頻采樣量化的原理過程、音樂合成的原理。了解：數(shù)字音頻編碼的標(biāo)準(zhǔn)。第4頁，共36頁，2023年，2月20日，星期三2-1數(shù)字音頻：在計(jì)算機(jī)內(nèi)，所有的信息均以數(shù)字表示。各種命令是不同的數(shù)字，各種幅度的物理量也是不同的數(shù)字。音頻信號也用一系列數(shù)字表示，稱之為數(shù)字音頻。數(shù)字音頻的特點(diǎn)是保真度好，動態(tài)范圍大。第5頁，共36頁，2023年，2月20日，星期三2-2采樣：模擬聲音在時(shí)間上是連續(xù)的，而數(shù)字音頻是一個數(shù)字序列，在時(shí)間上只能是斷續(xù)的。因此當(dāng)把模擬聲音變成數(shù)字聲音時(shí)，需要每隔一個時(shí)間間隔在模擬聲音波形上取一個幅度值，稱之為采樣，采樣的時(shí)間間隔稱為采樣周期。第6頁，共36頁，2023年，2月20日，星期三2-3量化：在數(shù)字音頻技術(shù)中，把采樣得到的表示聲音強(qiáng)弱的模擬電壓用數(shù)字表示。模擬電壓的幅值仍然是連續(xù)的，而用數(shù)字表示音頻幅度時(shí)，只能把無窮多個電壓幅度用有限個數(shù)字表示，即把某一幅度范圍內(nèi)的電壓用一個數(shù)字表示，這稱之為量化。第7頁，共36頁，2023年，2月20日，星期三2-4．奈奎斯特采樣定理

1927年，奈奎斯特確定了如果對某一帶寬的有限時(shí)間連續(xù)信號（模擬信號）進(jìn)行抽樣，且在抽樣率達(dá)到一定數(shù)值時(shí)，根據(jù)這些抽樣值可以在接收端準(zhǔn)確地恢復(fù)原信號。為不使原波形產(chǎn)生“半波損失”，采樣率至少應(yīng)為信號最高頻率的兩倍，這就是著名的奈奎斯特采樣定理。奈奎斯特1928年發(fā)表了《電報(bào)傳輸理論的一定論題》。

常用的音頻采樣率有：8kHz、11.025kHz、22.05kHz、16kHz、37.8kHz、44.1kHz、48kHz。第8頁，共36頁，2023年，2月20日，星期三均勻量化：就是將輸入數(shù)據(jù)的振幅進(jìn)行等值均分，優(yōu)點(diǎn)是計(jì)算處理簡單，缺點(diǎn)是量化誤差大；非均勻量化：就是將輸入數(shù)據(jù)的振幅，按照其變化曲線的曲率大小進(jìn)行不等值劃分。優(yōu)點(diǎn)是量化誤差大，缺點(diǎn)是計(jì)算處理復(fù)雜，需要較多的比特?cái)?shù)。自適應(yīng)量化：就是按照輸入數(shù)據(jù)的變化曲線的局部區(qū)域的特點(diǎn)，自適應(yīng)地修改和調(diào)整量化器的箱寬。優(yōu)點(diǎn)是量化誤差小，缺點(diǎn)是計(jì)算處理復(fù)雜。第9頁，共36頁，2023年，2月20日，星期三2-5數(shù)字音頻的文件格式.WAVMicrosoft公司的波形音頻文件格式。.MIDMIDI文件格式。.VOCCreative公司的波形音頻文件格式。.SNDNeXT計(jì)算機(jī)的波形音頻文件格式。.AIFApple計(jì)算機(jī)的波形音頻文件格式。.RMIMicrosoft公司的MIDI文件格式。它可以包括圖片、標(biāo)記和文本。第10頁，共36頁，2023年，2月20日，星期三2-6WAV文件儲存容量計(jì)算（教材24）WAV文件的字節(jié)數(shù)/每秒=采樣頻率（Hz）×量化位數(shù)（位）×聲道數(shù)/8第11頁，共36頁，2023年，2月20日，星期三2-7MIDI文件由于MIDI文件記錄的是一系列的計(jì)算指令而不是數(shù)據(jù)化后的波形數(shù)據(jù)，因此占用的存儲空間比WAV文件要小很多。所以預(yù)裝MIDI文件比裝入WAV文件要容易很多。這為設(shè)計(jì)多媒體應(yīng)用系統(tǒng)和指何時(shí)播放音樂帶來很大的靈活性。但是MIDI文件的錄制比較復(fù)雜，這要學(xué)習(xí)一些使用MIDI創(chuàng)作并改編作品的專業(yè)知識，并且還必須有專門工具，如鍵盤合成器等。第12頁，共36頁，2023年，2月20日，星期三2-8音頻信號處理的特點(diǎn)（教材P26）(1)音頻信號是時(shí)間依賴的連續(xù)媒體。(2)理想的合成聲音應(yīng)是立體聲。(3)對語音信號的處理，要抽取語意等其它信息，如可能會涉及到語言學(xué)、社會學(xué)、聲學(xué)等。第13頁，共36頁，2023年，2月20日，星期三2-9從人與計(jì)算機(jī)交互的角度來看音頻信號相應(yīng)的處理如下:

(1)人與計(jì)算機(jī)通信(接收音頻信號)音頻獲?。徽Z音識別與理解。(2)計(jì)算機(jī)與人通信(輸出音頻)音頻合成；聲音定位；音頻/視頻同步。(3)人—計(jì)算機(jī)—別人通信第14頁，共36頁，2023年，2月20日，星期三2-10音頻卡的主要功能（教材P28）音頻的錄制與播放、編輯與合成、MIDI接口、文語轉(zhuǎn)換、CD-ROM接口及游戲接口等。第15頁，共36頁，2023年，2月20日，星期三2-11音頻卡的分類音頻卡的分類主要根據(jù)數(shù)據(jù)采樣量化的位數(shù)來分，通常分為8位、16位和32位等幾類。位數(shù)越高，量化精度越高，音質(zhì)就越好。第16頁，共36頁，2023年，2月20日，星期三2-12音頻卡的工作原理（教材P33-55）音頻卡的組成平面圖(圖2.2)音頻卡的工作原理框圖(圖2.5)（1）聲音的合成與處理：這部分是音頻卡的核心，一般由數(shù)字聲音處理器、FM音樂合成器及MIDI控制器組成。它的主要任務(wù)是完成聲波信號的模/數(shù)、數(shù)/模轉(zhuǎn)換，利用調(diào)頻技術(shù)控制聲音的音調(diào)、音色、和幅度。第17頁，共36頁，2023年，2月20日，星期三（2）混合信號處理器及功率放大器：內(nèi)置數(shù)字/模擬混音器，混音器的聲源可以是MIDI信號、CD音頻、線輸入、話筒和PC的揚(yáng)聲器等，可以選擇輸入一個聲源或?qū)讉€不同的聲源進(jìn)行混合錄音。（3）計(jì)算機(jī)總線接口和控制器：總線接口和控制器是由數(shù)據(jù)總線雙向驅(qū)動器、總線接口控制邏輯、總線中斷邏輯及DMA（直接存儲器存?。┛刂七壿嫿M成。第18頁，共36頁，2023年，2月20日，星期三2-13音頻卡硬件的安裝步驟:（1）將電腦電源關(guān)閉，拔下供電電源和所有外接線插頭；（2）打開機(jī)箱外殼，選擇一個空閑的16位擴(kuò)展槽并將聲卡插入擴(kuò)展槽，聲卡一般應(yīng)盡可能遠(yuǎn)離顯示卡，以防兩者互相干擾；（3）連接來自CD-ROM驅(qū)動器的音頻線及聲卡的輸入/輸出線和游戲棒等；（4）如果需要，將CD-ROM驅(qū)動器的接口電纜插在卡上相應(yīng)的接口上，并將CD-ROM的音頻輸出線接到聲卡的針形輸入線上；（5）連接諸如麥克風(fēng)、外部音源和游戲棒等其它設(shè)備；（6）蓋上機(jī)箱外殼，并將電源插頭插回，待全部調(diào)試通過后再將固定螺絲擰緊。第19頁，共36頁，2023年，2月20日，星期三2-14音頻編碼基礎(chǔ)從信息保持的角度講,只有當(dāng)信源本身具有冗余度,才能對其進(jìn)行壓縮。根據(jù)統(tǒng)計(jì)分析結(jié)果，語音信號存在著多種冗余度，其最主要部分可以分別從時(shí)域和頻域來考慮。另外由于語音主要是給人聽的，所以考慮了人的聽覺機(jī)理，也能對語音信號實(shí)行壓縮。（教材P41）第20頁，共36頁，2023年，2月20日，星期三2-15音頻編碼的分類（教材P44）（1）基于音頻數(shù)據(jù)的統(tǒng)計(jì)特性進(jìn)行編碼,其典型技術(shù)是波形編碼。（2）基于音頻的聲學(xué)參數(shù)，進(jìn)行參數(shù)編碼,可進(jìn)一步降低數(shù)據(jù)率。其目標(biāo)是使重建音頻保持原音頻的特性。（3）基于人的聽覺特性進(jìn)行編碼：從人的聽覺系統(tǒng)出發(fā)，利用掩蔽效應(yīng)，設(shè)計(jì)心理聲學(xué)模型，從而實(shí)現(xiàn)更高效率的數(shù)字音頻的壓縮。其中以MPEG標(biāo)準(zhǔn)中的高頻編碼和DoldyAC-3最有影響。第21頁，共36頁，2023年，2月20日，星期三音頻編碼的分類如下：1）基于音頻數(shù)據(jù)的統(tǒng)計(jì)特性進(jìn)行編碼典型技術(shù)是波形編碼：PCM（脈沖編碼調(diào)制）DPCM（線性預(yù)測或差值脈沖編碼調(diào)制）APCM（自適應(yīng)量化編碼）ADPCM（自適應(yīng)差分脈沖編碼調(diào)制）2）基于音頻的聲學(xué)參數(shù)，進(jìn)行參數(shù)編碼3）基于人的聽覺特性進(jìn)行編碼第22頁，共36頁，2023年，2月20日，星期三2-16音頻編碼算法和標(biāo)準(zhǔn)（表2.2）CCITT,ISO（1）G.711、G.721、G.722、G.728（2）MPEG中的音頻編碼（3）AC-3編碼和解碼第23頁，共36頁，2023年，2月20日，星期三μ律μ律壓擴(kuò)的數(shù)學(xué)解析式：

其中：x為輸入信號的歸一化值；y為壓擴(kuò)后的信號。對話音信號編碼，常采用μ=255，這樣適量化信噪比改善約24dB。2、A律其特性可表示為：

很明顯，小信號時(shí)為線性特性，大信號時(shí)近似為對數(shù)特性。這種壓擴(kuò)特性常把壓縮、量化和編碼合為一體。A律可用13段折線逼近（相當(dāng)于A=87.6），便于用數(shù)字電路實(shí)現(xiàn)。第24頁，共36頁，2023年，2月20日，星期三2-17AC-3編碼和解碼（教材P49-53）(1)AC-3編碼(2)AC-3解碼第25頁，共36頁，2023年，2月20日，星期三AC-3可編程解碼器（圖2.15）AC-3編碼器框圖（圖2.16）AC-3編碼流程圖（圖2.17）同步幀結(jié)構(gòu)圖（圖2.18）AC-3解碼器框圖（圖2.19）

第26頁，共36頁，2023年，2月20日，星期三2-18音樂合成音的分類:樂音、噪音根據(jù)音振動狀態(tài)的規(guī)則與不規(guī)則，音被分為樂音與噪音兩類。音樂中使用的主要是樂音，但噪音在是音樂表現(xiàn)中必不可少。如架子鼓發(fā)出的聲響就是一種噪音，不過，這種噪音有一定的規(guī)律。一個樂音，包括必備的三要素：音高、音色和響度。若把一個樂音放在運(yùn)動的旋律中，它還應(yīng)具備時(shí)值—持續(xù)時(shí)間。這些要素的理想配合是產(chǎn)生優(yōu)美動聽的旋律的必要條件。第27頁，共36頁，2023年，2月20日，星期三

音高：音高指聲波的基頻?；l越低，給人的感覺越低沉。音階與頻率的對應(yīng)關(guān)系音色：聲音的音質(zhì)。由聲音的頻譜決定的：各階諧波的比例不同，隨時(shí)間衰減的程度不同，音色就不同。響度：響度是對聲音強(qiáng)度的衡量，它是聽判樂音的基礎(chǔ)。第28頁，共36頁，2023年，2月20日，星期三音樂合成技術(shù)的種類：

調(diào)頻(FM)音樂合成技術(shù)。FM是使高頻震蕩波的頻率按調(diào)制信號規(guī)律變化的一種調(diào)制方式。第29頁，共36頁，2023年，2月20日，星期三

波形表(Wavetable)音樂合成技術(shù)。樂器發(fā)出的聲音進(jìn)行采樣后，將數(shù)字音頻信號存儲在ROM芯片或硬盤中，進(jìn)行合成時(shí)將再將相應(yīng)樂器的波形記錄播放出來，即波形表音樂合成技術(shù)。音樂系統(tǒng)框圖（P55－圖2.21）第30頁，共36頁，2023年，2月20日，星期三2-19MIDI規(guī)范（教材P55）MIDI(MusicalInstrumentDigitalInterface)是樂器數(shù)字接口的縮寫，泛指數(shù)字音樂的國際標(biāo)準(zhǔn)。MIDI標(biāo)準(zhǔn)規(guī)定了不同廠家的電子樂器與計(jì)算機(jī)連接的電纜和硬件。它還指定從一個裝置傳送數(shù)據(jù)到另一個裝置的通信協(xié)議。這樣，任何電子樂器，只要有處理MIDI信息的處理器和適當(dāng)?shù)挠布涌诙寄茏兂蒑IDI裝置。MIDI間靠這個接口傳遞消息而進(jìn)行彼此通信。第31頁，共36頁，2023年，2月20日，星期三MIDI是音樂與計(jì)算機(jī)結(jié)合的產(chǎn)物。什么時(shí)候使用MIDI？長時(shí)間高質(zhì)量音樂以音樂做背景音響效果，同時(shí)從CD—ROM中裝載其他數(shù)據(jù)以音樂做背景音響效果，同時(shí)播放波形音頻或?qū)崿F(xiàn)文語轉(zhuǎn)換，以實(shí)現(xiàn)音樂和語音同時(shí)輸出。第32頁，共36頁，2023年，2月20日，星期三2-20MIDI的技術(shù)規(guī)范1988年，MIDI制造商協(xié)會正式公布MIDI技術(shù)規(guī)范第一版（MIDI1.0），作為數(shù)字式音樂的國際標(biāo)準(zhǔn)。

MIDI是由軟件和硬件兩部分共同組成的系統(tǒng)規(guī)范，它定義了電子合成器、定序器、節(jié)拍器、個人計(jì)算機(jī)和其他電子樂器的相互連接性和通信協(xié)議。相互連接性定義了使這些不同的MIDI儀器能夠相互連接的接線方式、連接器類型，和輸入輸出線路。通信協(xié)議定義了能夠控制樂器聲音和消息(包括：發(fā)出反應(yīng)，發(fā)出狀態(tài)，及發(fā)出系統(tǒng)獨(dú)有)的標(biāo)準(zhǔn)多字節(jié)消息。第33頁，共36頁，2023年，2月