第5章53數(shù)字聲音及應(yīng)用

1、5.3 數(shù)字聲音及應(yīng)用數(shù)字聲音及應(yīng)用5.3.1 波形聲音的獲取與播放波形聲音的獲取與播放5.3.2 波形聲音的表示與壓縮編碼波形聲音的表示與壓縮編碼5.3.3 波形聲音的編輯波形聲音的編輯5.3.4 計算機合成聲音計算機合成聲音25.3 數(shù)字聲音及應(yīng)用5.3.1 波形聲音的獲取與播放波形聲音的獲取與播放35.3 數(shù)字聲音及應(yīng)用聲音的特性聲音的特性和類型和類型n聲音由振動產(chǎn)生，通過空氣進行傳播聲音由振動產(chǎn)生，通過空氣進行傳播n聲音是一種波，它由許多不同頻率的聲音是一種波，它由許多不同頻率的諧波組成諧波組成n諧波的頻率范圍稱為聲音的諧波的頻率范圍稱為聲音的“帶寬帶寬”n計算機處理的聲音類型：計算機

2、處理的聲音類型：n話音或語音話音或語音(speech)，專指人的說話聲音，帶寬僅為，專指人的說話聲音，帶寬僅為3003400Hzn全頻帶聲音全頻帶聲音(如音樂聲、風雨聲、汽車聲等如音樂聲、風雨聲、汽車聲等)，其帶寬可達到，其帶寬可達到20Hz20kHz n人耳可聽到的聲音統(tǒng)稱人耳可聽到的聲音統(tǒng)稱“可聽聲可聽聲”(audio) ，20Hz20kHz45.3 數(shù)字聲音及應(yīng)用數(shù)字波形聲音的獲取數(shù)字波形聲音的獲取方法：方法：2. 量化（量化（quantization，模數(shù)轉(zhuǎn)換，模數(shù)轉(zhuǎn)換 )3. 編碼編碼（encoding）1. 取樣（取樣（sampling）取取 樣樣模擬聲音信號模擬聲音信號取樣的目的

3、是把時間上連取樣的目的是把時間上連續(xù)的信號轉(zhuǎn)換成時間上離續(xù)的信號轉(zhuǎn)換成時間上離散的信號散的信號量量 化化量化是把每個樣本從模擬量化是把每個樣本從模擬量轉(zhuǎn)換成為數(shù)字量量轉(zhuǎn)換成為數(shù)字量(8位或位或16位整數(shù)表示位整數(shù)表示)數(shù)字數(shù)字聲音聲音01100011001編編 碼碼將所有樣本的二進制將所有樣本的二進制代碼組織在一起，并代碼組織在一起，并進行數(shù)據(jù)壓縮進行數(shù)據(jù)壓縮55.3 數(shù)字聲音及應(yīng)用數(shù)字波形聲音的獲取設(shè)備數(shù)字波形聲音的獲取設(shè)備n聲音的聯(lián)機獲取設(shè)備聲音的聯(lián)機獲取設(shè)備(聲卡聲卡)麥克風麥克風（microphone）聲音卡聲音卡（sound card）聲波轉(zhuǎn)換聲波轉(zhuǎn)換為電信號為電信號取樣、量化、取樣

4、、量化、壓縮和編碼壓縮和編碼模擬聲音模擬聲音數(shù)字聲音數(shù)字聲音n聲音的脫機獲取設(shè)備：數(shù)碼錄音筆聲音的脫機獲取設(shè)備：數(shù)碼錄音筆65.3 數(shù)字聲音及應(yīng)用聲卡的功能與組成聲卡的功能與組成波形聲音的獲取與編碼波形聲音的獲取與編碼波形聲音的重建與播放波形聲音的重建與播放MIDI消息的輸入消息的輸入MIDI音樂的合成音樂的合成DSPDMA接口接口PC總線總線取樣，量化取樣，量化D/A重建，濾波重建，濾波聲音輸出聲音輸出聲音輸入聲音輸入音樂合成器音樂合成器mixerMIDI接口接口聲卡的主要功能聲卡的主要功能注：當前注：當前PC機的聲卡已機的聲卡已經(jīng)與主板芯片組集成在一經(jīng)與主板芯片組集成在一起，不再做成獨立的

5、插卡起，不再做成獨立的插卡 75.3 數(shù)字聲音及應(yīng)用聲音的重建與播放聲音的重建與播放n計算機輸出聲音分為兩步：計算機輸出聲音分為兩步：1 聲音的重建：把聲音從數(shù)字形式轉(zhuǎn)換成模擬信號形式，由聲聲音的重建：把聲音從數(shù)字形式轉(zhuǎn)換成模擬信號形式，由聲卡完成卡完成2 聲音播放：將模擬聲音信號經(jīng)處理和放大后送到音箱聲音播放：將模擬聲音信號經(jīng)處理和放大后送到音箱(揚聲器揚聲器)n關(guān)于音箱：關(guān)于音箱：n普通音箱普通音箱接收的是重建的模擬聲音信號接收的是重建的模擬聲音信號n數(shù)字音箱數(shù)字音箱可直接接收數(shù)字聲音信號，聲音失真更小可直接接收數(shù)字聲音信號，聲音失真更小 重建的模擬重建的模擬聲音信號聲音信號數(shù)字數(shù)字聲音聲

6、音011010011101插插 值值數(shù)模轉(zhuǎn)換數(shù)模轉(zhuǎn)換解解 碼碼把壓縮編碼的數(shù)字把壓縮編碼的數(shù)字聲音恢復(fù)為壓縮編聲音恢復(fù)為壓縮編碼前的狀態(tài)碼前的狀態(tài)把聲音樣本從把聲音樣本從數(shù)字量轉(zhuǎn)換為數(shù)字量轉(zhuǎn)換為模擬量模擬量把時間上離散的一組把時間上離散的一組樣本轉(zhuǎn)換成在時間上樣本轉(zhuǎn)換成在時間上連續(xù)的模擬聲音信號連續(xù)的模擬聲音信號85.3 數(shù)字聲音及應(yīng)用5.3.2 波形聲音的表示波形聲音的表示 與壓縮編碼與壓縮編碼95.3 數(shù)字聲音及應(yīng)用數(shù)字波形聲音的表示及參數(shù)數(shù)字波形聲音的表示及參數(shù)n數(shù)字波形聲音是使用二進位表示的一種串行比特流，其數(shù)數(shù)字波形聲音是使用二進位表示的一種串行比特流，其數(shù)據(jù)按時間順序進行組織，文件

7、擴展名為據(jù)按時間順序進行組織，文件擴展名為“.wav”n數(shù)字波形聲音的主要參數(shù)有：數(shù)字波形聲音的主要參數(shù)有：n取樣頻率：取樣頻率：n語音的取樣頻率低，一般為語音的取樣頻率低，一般為8kHzn全頻帶聲音（如音樂）的取樣頻率高，一般為全頻帶聲音（如音樂）的取樣頻率高，一般為44.1kHzn量化位數(shù)：通常為量化位數(shù)：通常為8位、位、12位或位或16位位n聲道數(shù)目：單聲道為聲道數(shù)目：單聲道為1，雙聲道為，雙聲道為2n碼率碼率(比特率比特率)，每秒鐘的數(shù)據(jù)量，每秒鐘的數(shù)據(jù)量105.3 數(shù)字聲音及應(yīng)用數(shù)字波形聲音碼率的計算數(shù)字波形聲音碼率的計算n未壓縮時數(shù)字波形聲音的碼率計算公式未壓縮時數(shù)字波形聲音的碼率

8、計算公式 碼率碼率 = 取樣頻率取樣頻率 量化位數(shù)量化位數(shù) 聲道數(shù)聲道數(shù) n例：例：聲音類型聲音類型聲音信號帶寬聲音信號帶寬(Hz)取樣頻率取樣頻率(kHz)量化位數(shù)量化位數(shù)(bits)聲道聲道數(shù)數(shù)未壓縮時的未壓縮時的碼率碼率數(shù)字語音數(shù)字語音3003 40088164 kb/sCD立體聲立體聲2020 00044.11621141.2(kb/s)n壓縮編碼之后數(shù)字波形聲音的碼率為：壓縮編碼之后數(shù)字波形聲音的碼率為： 壓縮后的碼率壓縮后的碼率 = 未壓縮時的碼率未壓縮時的碼率/ /壓縮倍數(shù)壓縮倍數(shù) n例：上面例：上面CD唱片的立體聲音樂壓縮為唱片的立體聲音樂壓縮為MP3后，若壓縮倍數(shù)后，若壓縮倍

9、數(shù)是是10倍，則該倍，則該MP3音樂的碼率是：音樂的碼率是：114kb/s左右左右115.3 數(shù)字聲音及應(yīng)用數(shù)字波形聲音的數(shù)據(jù)壓縮數(shù)字波形聲音的數(shù)據(jù)壓縮n數(shù)字波形聲音的數(shù)據(jù)量很大，例如：數(shù)字波形聲音的數(shù)據(jù)量很大，例如：n數(shù)字語音數(shù)字語音1小時的數(shù)據(jù)量大約是小時的數(shù)據(jù)量大約是30MBnCD立體聲高保真的數(shù)字音樂立體聲高保真的數(shù)字音樂1小時的數(shù)據(jù)量大約是小時的數(shù)據(jù)量大約是635MBn數(shù)據(jù)壓縮的必要性：數(shù)據(jù)壓縮的必要性：n為了降低存儲成本和提高在網(wǎng)絡(luò)上的傳輸效率為了降低存儲成本和提高在網(wǎng)絡(luò)上的傳輸效率n數(shù)據(jù)壓縮的可能性：數(shù)據(jù)壓縮的可能性：n聲音中包含了大量冗余信息；人耳的靈敏度有限，允許有一聲音中包

10、含了大量冗余信息；人耳的靈敏度有限，允許有一定失真定失真n數(shù)字波形聲音壓縮編碼的方法：數(shù)字波形聲音壓縮編碼的方法：n全頻帶聲音：國際標準全頻帶聲音：國際標準MPEG；工業(yè)標準；工業(yè)標準Dolby AC-3 n數(shù)字語音：固定電話使用數(shù)字語音：固定電話使用ADPCM編碼編碼 移動電話使用高效率的混合編碼技術(shù)移動電話使用高效率的混合編碼技術(shù)125.3 數(shù)字聲音及應(yīng)用全頻帶數(shù)字音頻編碼的標準全頻帶數(shù)字音頻編碼的標準n所謂所謂“MP3音樂音樂”就是一種采用就是一種采用MPEG-1層層3編碼的高質(zhì)量數(shù)字聲音編碼的高質(zhì)量數(shù)字聲音, 它它能以能以10倍左右的壓縮比降低高保真數(shù)字倍左右的壓縮比降低高保真數(shù)字聲音

11、的存儲量，使一張普通聲音的存儲量，使一張普通CD光盤上光盤上可以存儲大約可以存儲大約100首首MP3歌曲歌曲 標準名稱標準名稱壓縮后的碼率壓縮后的碼率(每個聲道每個聲道)聲道數(shù)目聲道數(shù)目主要應(yīng)用主要應(yīng)用MPEG-1 audio層層1192 kbps （壓縮（壓縮4倍）倍）2數(shù)字盒式錄音帶數(shù)字盒式錄音帶MPEG-1 audio層層2128 kbps（壓縮（壓縮6倍）倍）2DAB,VCD,MPEG-1 audio層層364kbps（壓縮（壓縮12倍）倍）2Internet，MP3音樂音樂MPEG-2 audio與與MPEG-1層層1,層層2,層層3相同相同5.1, 7.1同同MPEG-1Dolby

12、 AC-364 kbp5.1, 7.1DVD, DTV，家庭影院，家庭影院135.3 數(shù)字聲音及應(yīng)用附：附：MP3播放器的結(jié)構(gòu)與原理播放器的結(jié)構(gòu)與原理程序程序存儲器存儲器閃爍閃爍存儲器存儲器液晶顯示液晶顯示D/A轉(zhuǎn)換轉(zhuǎn)換嵌入式處理器嵌入式處理器及及DSP聲音輸出聲音輸出控制按鍵控制按鍵USB接口接口嵌入式處理器用于運行控制程序，控制各個部件嵌入式處理器用于運行控制程序，控制各個部件協(xié)調(diào)工作：它接收控制按鍵的操作命令，從閃爍協(xié)調(diào)工作：它接收控制按鍵的操作命令，從閃爍存儲器讀取存儲器讀取MP3音樂數(shù)據(jù)送到音樂數(shù)據(jù)送到DSP去解碼；顯示去解碼；顯示播放器的工作狀態(tài)；負責與主機連接并交換數(shù)據(jù)播放器的工

13、作狀態(tài)；負責與主機連接并交換數(shù)據(jù)等等等等數(shù)字信號處理器數(shù)字信號處理器DSP完成完成MP3數(shù)據(jù)流的解碼操作，并數(shù)據(jù)流的解碼操作，并輸出波形格式的數(shù)字音頻信輸出波形格式的數(shù)字音頻信號，經(jīng)數(shù)模轉(zhuǎn)換和功率放大號，經(jīng)數(shù)模轉(zhuǎn)換和功率放大之后，用戶即可聽到聲音之后，用戶即可聽到聲音 存放存放MP3音樂數(shù)音樂數(shù)據(jù)，容量越大，據(jù)，容量越大，可存放的歌曲數(shù)可存放的歌曲數(shù)目就越多目就越多 存放存放MP3播放器的播放器的控制程序控制程序顯示顯示MP3播放器的播放器的工作狀態(tài)工作狀態(tài)和歌曲的和歌曲的歌詞歌詞145.3 數(shù)字聲音及應(yīng)用什么是流媒體？什么是流媒體？n在因特網(wǎng)上收聽在因特網(wǎng)上收聽(看看)音音(視視)頻節(jié)目的頻

14、節(jié)目的2種方式：種方式：i下載存儲方式：先下載存儲在計算機中，下載完畢后再播放（缺點：下載存儲方式：先下載存儲在計算機中，下載完畢后再播放（缺點：需要等待很長時間，并需要較大的存儲容量）需要等待很長時間，并需要較大的存儲容量）i流式傳輸方式：邊下載、邊播放（優(yōu)點：只需要下載一部分數(shù)據(jù)之流式傳輸方式：邊下載、邊播放（優(yōu)點：只需要下載一部分數(shù)據(jù)之后后, 就可以開始一邊播放一邊下載，等待時間短、存儲需求?。┚涂梢蚤_始一邊播放一邊下載，等待時間短、存儲需求小）n流媒體技術(shù)就是允許在網(wǎng)絡(luò)上讓用戶一邊下載一邊收看流媒體技術(shù)就是允許在網(wǎng)絡(luò)上讓用戶一邊下載一邊收看(聽聽)音視頻媒體的一種技術(shù)音視頻媒體的一種技

15、術(shù)n目前主要有目前主要有3個公司的流媒體產(chǎn)品：個公司的流媒體產(chǎn)品：1.Real Networks公司的公司的 Real Media2.微軟公司的微軟公司的 Windows Media 3.蘋果公司的蘋果公司的 Quick Time155.3 數(shù)字聲音及應(yīng)用附：流媒體是如何工作的？附：流媒體是如何工作的？流媒體流媒體播放軟件播放軟件 Web服務(wù)器服務(wù)器Web 瀏覽器瀏覽器流媒體流媒體專用服務(wù)器專用服務(wù)器 音頻音頻(視頻視頻)流媒體文件流媒體文件 網(wǎng)網(wǎng) 頁頁 （客戶計算機）（客戶計算機）http協(xié)議3 點擊點擊流媒體流媒體節(jié)目，節(jié)目，啟動流啟動流媒體播媒體播放程序放程序RTSP/TCPRTP/UD

16、P6 播放器播放器可以邊播可以邊播放邊接收放邊接收數(shù)據(jù)，并數(shù)據(jù)，并可以控制可以控制播放、暫播放、暫停、快進停、快進、快倒等、快倒等5 將音將音(視視)頻頻節(jié)目傳輸給客節(jié)目傳輸給客戶計算機戶計算機RTCP/UDPHTML網(wǎng)頁1 請求網(wǎng)頁請求網(wǎng)頁2 服務(wù)器送回網(wǎng)頁服務(wù)器送回網(wǎng)頁4 向流媒體服向流媒體服務(wù)器發(fā)出請求務(wù)器發(fā)出請求165.3 數(shù)字聲音及應(yīng)用數(shù)字波形聲音的主要文件格式數(shù)字波形聲音的主要文件格式n.wav波形聲音文件波形聲音文件 n.pcm使用使用PCM編碼的聲音文件編碼的聲音文件n.mp2MPEG 層層 1 或?qū)踊驅(qū)? 編碼的聲音文件編碼的聲音文件n.mp3MPEG 層層3 編碼的聲音文件

17、編碼的聲音文件n.rm，.ra(RealAudio)RealNetworks的流式聲音文件的流式聲音文件n.wma微軟公司的流式聲音文件微軟公司的流式聲音文件n.aif (Audio Interchangeable File Format)蘋果公司的蘋果公司的聲音文件聲音文件175.3 數(shù)字聲音及應(yīng)用5.3.3 波形聲音的編輯波形聲音的編輯185.3 數(shù)字聲音及應(yīng)用波形聲音編輯軟件的功能波形聲音編輯軟件的功能主要功能：主要功能：1 編輯聲音：如聲音剪編輯聲音：如聲音剪輯、復(fù)制、調(diào)節(jié)音量輯、復(fù)制、調(diào)節(jié)音量2 聲音的效果處理：如聲音的效果處理：如混響、回聲等混響、回聲等3 錄音錄音4 聲音的格式轉(zhuǎn)

18、換聲音的格式轉(zhuǎn)換5 播放聲音播放聲音數(shù)字聲音數(shù)字聲音的參數(shù)的參數(shù)左聲道左聲道信號波形信號波形右聲道右聲道信號波形信號波形淡入淡入淡出淡出時間刻度時間刻度播放標尺播放標尺聲音編輯軟件的聲音編輯軟件的典型用戶界面典型用戶界面195.3 數(shù)字聲音及應(yīng)用5.3.4 計算機合成聲音計算機合成聲音205.3 數(shù)字聲音及應(yīng)用什么是計算機合成聲音？什么是計算機合成聲音？n計算機合成聲音就是計算機模仿人說話或演奏音樂計算機合成聲音就是計算機模仿人說話或演奏音樂n計算機合成聲音有兩類：計算機合成聲音有兩類：n計算機合成語音：計算機合成語音：n計算機模仿人把一段文字朗讀出來，即把文字轉(zhuǎn)換為語音計算機模仿人把一段文字

19、朗讀出來，即把文字轉(zhuǎn)換為語音（簡稱為（簡稱為 TTS）n應(yīng)用：有聲查詢、文稿校對、語言學(xué)習、語音秘書、自動報應(yīng)用：有聲查詢、文稿校對、語言學(xué)習、語音秘書、自動報警、殘疾人服務(wù)等警、殘疾人服務(wù)等n計算機合成音樂：計算機合成音樂：n計算機模擬各種樂器發(fā)聲并按照樂譜演奏音樂計算機模擬各種樂器發(fā)聲并按照樂譜演奏音樂n應(yīng)用：計算機作曲、配器等應(yīng)用：計算機作曲、配器等215.3 數(shù)字聲音及應(yīng)用例：計算機合成的語音例：計算機合成的語音nHello，everybody （1）n你好，我是貝爾實驗室的中文語音合成系統(tǒng)你好，我是貝爾實驗室的中文語音合成系統(tǒng)（BellTTS1）n南京大學(xué)計算機系南京大學(xué)計算機系20

20、02年招收了年招收了202名本科生，名本科生，22名博士名博士生，生，130多名碩士生。多名碩士生。（中科大訊飛公司）（中科大訊飛公司） （Bell）n安徽中科大訊飛信息科技有限公司是專門從事中文語音及安徽中科大訊飛信息科技有限公司是專門從事中文語音及語言技術(shù)軟件語言技術(shù)軟件 （訊飛）（訊飛）n我們都是同行，我們一路同行，去參加人參培植研討會我們都是同行，我們一路同行，去參加人參培植研討會 （訊飛）（訊飛） （Bell）需要進一步提高之處：發(fā)音和斷句要正確，提高自然度，豐富表現(xiàn)力需要進一步提高之處：發(fā)音和斷句要正確，提高自然度，豐富表現(xiàn)力225.3 數(shù)字聲音及應(yīng)用計算機合成音樂（計算機合成音樂

21、（MIDI）音樂音樂合成器合成器音樂音樂MIDI文件文件媒體媒體播放器播放器MIDI消息消息n計算機合成音樂需要三個要素：樂器、樂譜和計算機合成音樂需要三個要素：樂器、樂譜和“演奏員演奏員” 聲卡上的音樂合成聲卡上的音樂合成器能像電子琴一樣器能像電子琴一樣模仿幾十種不同的模仿幾十種不同的樂器發(fā)出聲音，它樂器發(fā)出聲音，它按照按照MIDI消息合成消息合成出不同音色和音調(diào)出不同音色和音調(diào)的音符，通過揚聲的音符，通過揚聲器播放出音樂來器播放出音樂來 樂譜在計算機中使用樂譜在計算機中使用一種叫做一種叫做MIDI的音樂的音樂描述語言來表示。使描述語言來表示。使用用MIDI描述的音樂稱描述的音樂稱為為MIDI音樂。一首樂音樂。一首樂曲對應(yīng)一個曲對應(yīng)一個MIDI文件，文件，其文件擴展