計算機數(shù)字聲音及應(yīng)用

1、數(shù)字聲音及應(yīng)用數(shù)字聲音及應(yīng)用5.3.1 波形聲音的獲取與播放波形聲音的獲取與播放5.3.2 波形聲音的表示與應(yīng)用波形聲音的表示與應(yīng)用5.3.3 波形聲音的編輯波形聲音的編輯5.3.4 計算機合成聲音計算機合成聲音25.3 數(shù)字聲音及應(yīng)用5.3.1 波形聲音的獲取與播放波形聲音的獲取與播放35.3 數(shù)字聲音及應(yīng)用聲音的特性和類型聲音的特性和類型n聲音由振動產(chǎn)生，通過空氣進行傳播聲音由振動產(chǎn)生，通過空氣進行傳播n聲音是一種波，它由許多不同頻率的聲音是一種波，它由許多不同頻率的諧波組成諧波組成n諧波的頻率范圍稱為聲音的諧波的頻率范圍稱為聲音的“帶寬帶寬”n計算機處理的聲音類型：計算機處理的聲音類型：

2、n話音或語音話音或語音(speech)，專指人的說話聲音，帶寬僅為，專指人的說話聲音，帶寬僅為3003400Hzn全頻帶聲音全頻帶聲音(如音樂聲、風(fēng)雨聲、汽車聲等如音樂聲、風(fēng)雨聲、汽車聲等)，其帶寬可達到，其帶寬可達到20Hz20kHz n人耳可聽到的聲音統(tǒng)稱人耳可聽到的聲音統(tǒng)稱“可聽聲可聽聲”(audio) ，20Hz20kHz45.3 數(shù)字聲音及應(yīng)用數(shù)字波形聲音的獲取數(shù)字波形聲音的獲取步驟：步驟：2. 量化（量化（quantization，模數(shù)轉(zhuǎn)換，模數(shù)轉(zhuǎn)換 )3. 編碼（編碼（encoding）1. 取樣（取樣（sampling）取取 樣樣模擬聲音信號模擬聲音信號取樣的目的是把時間上連取

3、樣的目的是把時間上連續(xù)的信號轉(zhuǎn)換成時間上離續(xù)的信號轉(zhuǎn)換成時間上離散的信號散的信號量量 化化量化是把每個樣本從模擬量化是把每個樣本從模擬量轉(zhuǎn)換成為數(shù)字量量轉(zhuǎn)換成為數(shù)字量(8位或位或16位整數(shù)表示位整數(shù)表示)數(shù)字?jǐn)?shù)字聲音聲音01100011001編編 碼碼將所有樣本的二進制將所有樣本的二進制代碼組織在一起，并代碼組織在一起，并進行數(shù)據(jù)壓縮進行數(shù)據(jù)壓縮55.3 數(shù)字聲音及應(yīng)用數(shù)字波形聲音的獲取設(shè)備數(shù)字波形聲音的獲取設(shè)備n聲音的聯(lián)機獲取設(shè)備聲音的聯(lián)機獲取設(shè)備(聲卡聲卡)聲波轉(zhuǎn)換聲波轉(zhuǎn)換為電信號為電信號n聲音的脫機獲取設(shè)備：數(shù)碼錄音筆聲音的脫機獲取設(shè)備：數(shù)碼錄音筆麥克風(fēng)麥克風(fēng)（microphone）聲音

4、卡聲音卡（sound card）模擬聲音模擬聲音數(shù)字聲音數(shù)字聲音取樣、量取樣、量化和編碼化和編碼65.3 數(shù)字聲音及應(yīng)用聲音的重建與播放聲音的重建與播放n計算機輸出聲音分為兩步：計算機輸出聲音分為兩步：1 聲音的重建：把聲音從數(shù)字形式轉(zhuǎn)換成模擬信號形式，由聲聲音的重建：把聲音從數(shù)字形式轉(zhuǎn)換成模擬信號形式，由聲卡完成卡完成2 聲音播放：將模擬聲音信號經(jīng)處理和放大后送到音箱聲音播放：將模擬聲音信號經(jīng)處理和放大后送到音箱(揚聲器揚聲器)n關(guān)于音箱：關(guān)于音箱：n普通音箱普通音箱接收的是重建的模擬聲音信號接收的是重建的模擬聲音信號n數(shù)字音箱數(shù)字音箱直接接收數(shù)字聲音信號，失真更小直接接收數(shù)字聲音信號，失真

5、更小 數(shù)字?jǐn)?shù)字聲音聲音011010011101插插 值值數(shù)模轉(zhuǎn)換數(shù)模轉(zhuǎn)換解解 碼碼把壓縮編碼的數(shù)字把壓縮編碼的數(shù)字聲音恢復(fù)為壓縮編聲音恢復(fù)為壓縮編碼前的狀態(tài)碼前的狀態(tài)把聲音樣本從把聲音樣本從數(shù)字量轉(zhuǎn)換為數(shù)字量轉(zhuǎn)換為模擬量模擬量把時間上離散的一組把時間上離散的一組樣本轉(zhuǎn)換成在時間上樣本轉(zhuǎn)換成在時間上連續(xù)的模擬聲音信號連續(xù)的模擬聲音信號重建的模擬重建的模擬 聲音信號聲音信號75.3 數(shù)字聲音及應(yīng)用聲卡的功能與邏輯組成聲卡的功能與邏輯組成波形聲音的獲取與編碼波形聲音的獲取與編碼波形聲音的重建與播放波形聲音的重建與播放MIDI消息的輸入消息的輸入MIDI音樂的合成音樂的合成DSPDMA接口接口PC總線

6、總線取樣，量化取樣，量化D/A重建，濾波重建，濾波聲音輸出聲音輸出聲音輸入聲音輸入音樂合成器音樂合成器mixerMIDI接口接口聲卡的主要功能聲卡的主要功能85.3 數(shù)字聲音及應(yīng)用選講：選講： 聲卡的物理實現(xiàn)聲卡的物理實現(xiàn) 聲卡主要由聲卡主要由2塊芯片組成：塊芯片組成：主處理芯片：包括數(shù)字信號處理器、主處理芯片：包括數(shù)字信號處理器、MIDI控制、控制、I/O控制等控制等 CODEC芯片：負(fù)責(zé)多聲道取樣、芯片：負(fù)責(zé)多聲道取樣、A/D與與D/A轉(zhuǎn)換、混音處理等轉(zhuǎn)換、混音處理等音頻音頻主芯片主芯片音頻混合音頻混合芯片芯片運運 算算放大器放大器功功 率率放大器放大器MIDI/joystickMIC輸入

7、輸入/線路輸入線路輸入P C I 總總 線線 線路輸出線路輸出 揚聲器揚聲器Audio CODEC芯片芯片 當(dāng)前當(dāng)前PC機的聲卡大多已不再做成獨立的插卡形式，而是機的聲卡大多已不再做成獨立的插卡形式，而是與主板集成在一起，稱為集成聲卡與主板集成在一起，稱為集成聲卡2種音頻技術(shù)規(guī)范：種音頻技術(shù)規(guī)范：- AC97音頻技術(shù)規(guī)范音頻技術(shù)規(guī)范- HD Audio95.3 數(shù)字聲音及應(yīng)用選講：選講： 聲卡的幾種類型聲卡的幾種類型硬聲卡：硬聲卡：除除CODEC芯片外，主板上還芯片外，主板上還有有1塊音頻主處理芯片，很多音效處理塊音頻主處理芯片，很多音效處理任務(wù)無需任務(wù)無需CPU參與就可獨立完成參與就可獨立完

8、成 聲卡的類型聲卡的類型獨立聲卡：以擴展卡形式插在機箱中使用獨立聲卡：以擴展卡形式插在機箱中使用集成聲卡集成聲卡軟聲卡軟聲卡：主板上僅：主板上僅1塊塊CODEC芯片，芯片，負(fù)責(zé)取樣與量化處理，負(fù)責(zé)取樣與量化處理，I/O控制器部分控制器部分集成在主板上的南橋芯片中，集成在主板上的南橋芯片中，DSP的功的功能需由能需由CPU協(xié)助完成協(xié)助完成 聲卡的組成部聲卡的組成部分均集成在主分均集成在主板上板上105.3 數(shù)字聲音及應(yīng)用5.3.2 波形聲音的波形聲音的 表示與應(yīng)用表示與應(yīng)用115.3 數(shù)字聲音及應(yīng)用數(shù)字波形聲音的表示及其參數(shù)數(shù)字波形聲音的表示及其參數(shù)n數(shù)字波形聲音是使用二進位表示的一種串行比特流

9、，其數(shù)數(shù)字波形聲音是使用二進位表示的一種串行比特流，其數(shù)據(jù)按時間順序進行組織，文件擴展名為據(jù)按時間順序進行組織，文件擴展名為“.wav”n數(shù)字波形聲音的主要參數(shù)有：數(shù)字波形聲音的主要參數(shù)有：n取樣頻率：取樣頻率：n語音的取樣頻率低，一般為語音的取樣頻率低，一般為8k 16k Hzn全頻帶聲音全頻帶聲音(如音樂如音樂)取樣頻率高，一般為取樣頻率高，一般為44.1k 48k Hzn量化位數(shù)：通常為量化位數(shù)：通常為8位、位、12位或位或16位位n聲道數(shù)目：單聲道為聲道數(shù)目：單聲道為1，雙聲道為，雙聲道為2n碼率碼率(比特率比特率)，每秒鐘的數(shù)據(jù)量，每秒鐘的數(shù)據(jù)量125.3 數(shù)字聲音及應(yīng)用數(shù)字波形聲音

10、碼率的計算數(shù)字波形聲音碼率的計算n未壓縮時數(shù)字波形聲音的碼率計算公式未壓縮時數(shù)字波形聲音的碼率計算公式 碼率碼率 = 取樣頻率取樣頻率 量化位數(shù)量化位數(shù) 聲道數(shù)聲道數(shù) n例：例：聲音類型聲音類型聲音信號帶寬聲音信號帶寬(Hz)取樣頻率取樣頻率(kHz)量化位數(shù)量化位數(shù)(bits)聲道聲道數(shù)數(shù)未壓縮時的未壓縮時的碼率碼率數(shù)字語音數(shù)字語音3003 40088164 kb/sCD立體聲立體聲2020 00044.11621411.2(kb/s)n壓縮編碼之后數(shù)字波形聲音的碼率為：壓縮編碼之后數(shù)字波形聲音的碼率為： 壓縮后的碼率壓縮后的碼率 = 未壓縮時的碼率未壓縮時的碼率/ /壓縮倍數(shù)壓縮倍數(shù) n例

11、：上面例：上面CD唱片的立體聲音樂壓縮為唱片的立體聲音樂壓縮為MP3后，若壓縮倍數(shù)后，若壓縮倍數(shù)是是12倍，則該倍，則該MP3音樂的碼率是：音樂的碼率是：118 kb/s左右左右135.3 數(shù)字聲音及應(yīng)用數(shù)字波形聲音的數(shù)據(jù)壓縮數(shù)字波形聲音的數(shù)據(jù)壓縮n數(shù)據(jù)壓縮的必要性：數(shù)據(jù)壓縮的必要性：n為了降低存儲成本和提高在網(wǎng)絡(luò)上的傳輸效率為了降低存儲成本和提高在網(wǎng)絡(luò)上的傳輸效率n數(shù)據(jù)壓縮的可能性：數(shù)據(jù)壓縮的可能性：n聲音中包含有大量冗余信息；聲音中包含有大量冗余信息；n人耳靈敏度有限，允許有一定失真而不易察覺人耳靈敏度有限，允許有一定失真而不易察覺n數(shù)字波形聲音壓縮編碼的方法：數(shù)字波形聲音壓縮編碼的方法：

12、n全頻帶聲音：國際標(biāo)準(zhǔn)全頻帶聲音：國際標(biāo)準(zhǔn)MPEG；工業(yè)標(biāo)準(zhǔn)；工業(yè)標(biāo)準(zhǔn)Dolby AC-3 n數(shù)字語音：固定電話使用數(shù)字語音：固定電話使用ADPCM編碼編碼 手機使用高效率的混合編碼技術(shù)手機使用高效率的混合編碼技術(shù)所謂所謂“MP3音樂音樂”，它是一種采用，它是一種采用MPEG-1層層3編碼的高編碼的高質(zhì)量數(shù)字聲音質(zhì)量數(shù)字聲音, 壓縮比大約壓縮比大約1012倍，使一張普通倍，使一張普通CD光盤光盤上可以存儲大約上可以存儲大約100首首MP3歌曲，可連續(xù)播放歌曲，可連續(xù)播放10小時。小時。 145.3 數(shù)字聲音及應(yīng)用選講：選講： MP3播放器的結(jié)構(gòu)與原理播放器的結(jié)構(gòu)與原理程序程序存儲器存儲器閃爍閃

13、爍存儲器存儲器液晶顯示液晶顯示D/A轉(zhuǎn)換轉(zhuǎn)換嵌入式處理器嵌入式處理器及及DSP聲音輸出聲音輸出控制按鍵控制按鍵USB接口接口嵌入式處理器用于運行控制程序，控制各個部件嵌入式處理器用于運行控制程序，控制各個部件協(xié)調(diào)工作：它接收控制按鍵的操作命令，從閃爍協(xié)調(diào)工作：它接收控制按鍵的操作命令，從閃爍存儲器讀取存儲器讀取MP3音樂數(shù)據(jù)送到音樂數(shù)據(jù)送到DSP去解碼；顯示去解碼；顯示播放器的工作狀態(tài)；負(fù)責(zé)與主機連接并交換數(shù)據(jù)播放器的工作狀態(tài)；負(fù)責(zé)與主機連接并交換數(shù)據(jù)等等等等數(shù)字信號處理器數(shù)字信號處理器DSP完成完成MP3數(shù)據(jù)流的解碼操作，并數(shù)據(jù)流的解碼操作，并輸出波形格式的數(shù)字音頻信輸出波形格式的數(shù)字音頻信

14、號，經(jīng)數(shù)模轉(zhuǎn)換和功率放大號，經(jīng)數(shù)模轉(zhuǎn)換和功率放大之后，用戶即可聽到聲音之后，用戶即可聽到聲音 存放存放MP3音樂數(shù)音樂數(shù)據(jù)，容量越大，據(jù)，容量越大，可存放的歌曲數(shù)可存放的歌曲數(shù)目就越多目就越多 固定存放固定存放MP3播放器的控制播放器的控制程序程序顯示顯示MP3播放器的播放器的工作狀態(tài)工作狀態(tài)和歌曲的和歌曲的歌詞歌詞155.3 數(shù)字聲音及應(yīng)用波形聲音的文件類型及其應(yīng)用波形聲音的文件類型及其應(yīng)用 文件類型文件類型開發(fā)者開發(fā)者編碼類型編碼類型效果效果主要應(yīng)用主要應(yīng)用WAV微軟公司微軟公司未壓縮未壓縮聲音達到聲音達到CD品質(zhì)品質(zhì)支持多種采樣頻率和量化支持多種采樣頻率和量化位數(shù)，獲得廣泛支持位數(shù)，獲得

15、廣泛支持FLACXiph.Org基金會基金會無損壓縮無損壓縮壓縮比為壓縮比為2:1左右左右高品質(zhì)數(shù)字音樂高品質(zhì)數(shù)字音樂APEMatthew T. Ashland無損壓縮無損壓縮壓縮比為壓縮比為2:1左右左右高品質(zhì)數(shù)字音樂高品質(zhì)數(shù)字音樂M4A蘋果公司蘋果公司無損壓縮無損壓縮壓縮比為壓縮比為2:1左右左右QuickTime, iTunes, iPod，Real PlayerMP3ISO有損壓縮有損壓縮MPEG-1 audio層層3壓縮比為壓縮比為8:112:1因特網(wǎng)，因特網(wǎng)，MP3音樂音樂WMA微軟公司微軟公司有損壓縮有損壓縮壓縮比高于壓縮比高于MP3使用數(shù)字版權(quán)保護使用數(shù)字版權(quán)保護因特網(wǎng)，音樂因

16、特網(wǎng)，音樂AC3、AAC美國美國Dolby公司公司有損壓縮有損壓縮壓縮比可調(diào)，支持壓縮比可調(diào)，支持5.1、7.1聲道聲道DVD, 數(shù)字電視，家庭影數(shù)字電視，家庭影院等院等165.3 數(shù)字聲音及應(yīng)用什么是流媒體？什么是流媒體？n在因特網(wǎng)上收聽在因特網(wǎng)上收聽(看看)音音(視視)頻節(jié)目的頻節(jié)目的2種方式：種方式：i下載存儲方式：先下載存儲在計算機中，下載完畢后再播放（缺點：下載存儲方式：先下載存儲在計算機中，下載完畢后再播放（缺點：需要等待很長時間，并需要較大的存儲容量）需要等待很長時間，并需要較大的存儲容量）i流式傳輸方式：邊下載、邊播放（優(yōu)點：只需要下載一部分?jǐn)?shù)據(jù)之流式傳輸方式：邊下載、邊播放（

17、優(yōu)點：只需要下載一部分?jǐn)?shù)據(jù)之后后, 就可以開始一邊播放一邊下載，等待時間短、存儲需求?。┚涂梢蚤_始一邊播放一邊下載，等待時間短、存儲需求?。﹏流媒體流媒體就是一種允許在網(wǎng)絡(luò)上讓用戶一邊下載一邊收看就是一種允許在網(wǎng)絡(luò)上讓用戶一邊下載一邊收看(聽聽)音視頻媒體的音視頻媒體的媒體分發(fā)媒體分發(fā)(delivery)技術(shù)技術(shù)n目前流行的主要有目前流行的主要有3個公司的流媒體技術(shù)：個公司的流媒體技術(shù)：1.Real Networks公司的公司的 Real Media （RealAudio和和RealVideo）2.微軟公司的微軟公司的 Windows Media Services (WMA、WMV和和ASF)

18、3.蘋果公司的蘋果公司的 Quick Time175.3 數(shù)字聲音及應(yīng)用選講：選講： 流媒體是如何工作的？流媒體是如何工作的？流媒體流媒體播放軟件播放軟件 Web服務(wù)器服務(wù)器Web 瀏覽器瀏覽器流媒體流媒體專用服務(wù)器專用服務(wù)器 音頻音頻(視頻視頻)流媒體文件流媒體文件 網(wǎng)網(wǎng) 頁頁 （客戶計算機）（客戶計算機）http協(xié)議3 點擊點擊流媒體流媒體節(jié)目，節(jié)目，啟動流啟動流媒體播媒體播放程序放程序RTSP/TCPRTP/UDP6 播放器播放器可以邊播可以邊播放邊接收放邊接收數(shù)據(jù)，并數(shù)據(jù)，并可以控制可以控制播放、暫播放、暫停、快進停、快進、快倒等、快倒等5 將音將音(視視)頻頻節(jié)目傳輸給客節(jié)目傳輸給客

19、戶計算機戶計算機RTCP/UDPHTML網(wǎng)頁1 請求網(wǎng)頁請求網(wǎng)頁2 服務(wù)器送回網(wǎng)頁服務(wù)器送回網(wǎng)頁4 向流媒體服向流媒體服務(wù)器發(fā)出請求務(wù)器發(fā)出請求185.3 數(shù)字聲音及應(yīng)用5.3.3 波形聲音的編輯波形聲音的編輯195.3 數(shù)字聲音及應(yīng)用波形聲音編輯軟件的功能波形聲音編輯軟件的功能主要功能：主要功能：1 編輯聲音：如聲音剪編輯聲音：如聲音剪輯、復(fù)制、調(diào)節(jié)音量輯、復(fù)制、調(diào)節(jié)音量2 聲音的效果處理：如聲音的效果處理：如混響、回聲、淡入、混響、回聲、淡入、淡出等淡出等3 錄音錄音4 聲音的格式轉(zhuǎn)換聲音的格式轉(zhuǎn)換5 播放聲音播放聲音數(shù)字聲音數(shù)字聲音的參數(shù)的參數(shù)左聲道左聲道信號波形信號波形右聲道右聲道信號

20、波形信號波形淡入淡入淡出淡出時間刻度時間刻度播放標(biāo)尺播放標(biāo)尺聲音編輯軟件的聲音編輯軟件的典型用戶界面典型用戶界面205.3 數(shù)字聲音及應(yīng)用5.3.4 計算機合成聲音計算機合成聲音215.3 數(shù)字聲音及應(yīng)用什么是計算機合成聲音？什么是計算機合成聲音？n計算機合成聲音就是計算機模仿人說話或演奏音樂計算機合成聲音就是計算機模仿人說話或演奏音樂n計算機合成聲音有兩類：計算機合成聲音有兩類：n計算機合成話音（語音）：計算機合成話音（語音）：n計算機模仿人把一段文字朗讀出來，即把文字轉(zhuǎn)換為說話聲計算機模仿人把一段文字朗讀出來，即把文字轉(zhuǎn)換為說話聲音（簡稱為音（簡稱為 TTS）n應(yīng)用：有聲查詢、文稿校對、語

21、言學(xué)習(xí)、語音秘書、自動報應(yīng)用：有聲查詢、文稿校對、語言學(xué)習(xí)、語音秘書、自動報警、殘疾人服務(wù)等警、殘疾人服務(wù)等n計算機合成音樂：計算機合成音樂：n計算機模擬各種樂器發(fā)聲并按照樂譜演奏音樂計算機模擬各種樂器發(fā)聲并按照樂譜演奏音樂n應(yīng)用：計算機作曲、配器等應(yīng)用：計算機作曲、配器等225.3 數(shù)字聲音及應(yīng)用例：計算機合成的語音例：計算機合成的語音nHello，everybody （1）n你好，我是貝爾實驗室的中文語音合成系統(tǒng)你好，我是貝爾實驗室的中文語音合成系統(tǒng)（BellTTS1）n南京大學(xué)計算機系南京大學(xué)計算機系2002年招收了年招收了202名本科生，名本科生，22名博士名博士生，生，130多名碩士

22、生。多名碩士生。（中科大訊飛公司）（中科大訊飛公司） （Bell）n安徽中科大訊飛信息科技有限公司是專門從事中文語音及安徽中科大訊飛信息科技有限公司是專門從事中文語音及語言技術(shù)軟件語言技術(shù)軟件 （訊飛）（訊飛）n我們都是同行，我們一路同行，去參加人參培植研討會我們都是同行，我們一路同行，去參加人參培植研討會 （訊飛）（訊飛） （Bell）需要進一步提高之處：發(fā)音和斷句要正確，提高自然度，豐富表現(xiàn)力需要進一步提高之處：發(fā)音和斷句要正確，提高自然度，豐富表現(xiàn)力235.3 數(shù)字聲音及應(yīng)用計算機合成音樂（計算機合成音樂（MIDI）音樂音樂合成器合成器音樂音樂MIDI文件文件媒體媒體播放器播放器MIDI

23、消息消息n計算機合成音樂需要三個要素：樂器、樂譜和計算機合成音樂需要三個要素：樂器、樂譜和“演奏員演奏員” 聲卡上的音樂合成聲卡上的音樂合成器能像電子琴一樣器能像電子琴一樣模仿幾十種不同的模仿幾十種不同的樂器發(fā)出聲音，它樂器發(fā)出聲音，它按照按照MIDI消息合成消息合成出不同音色和音調(diào)出不同音色和音調(diào)的音符，通過揚聲的音符，通過揚聲器播放出音樂來器播放出音樂來 樂譜在計算機中使用樂譜在計算機中使用一種叫做一種叫做MIDI的音樂的音樂描述語言來表示。使描述語言來表示。使用用MIDI描述的音樂稱描述的音樂稱為為MIDI音樂。一首樂音樂。一首樂曲對應(yīng)一個曲對應(yīng)一個MIDI文件，文件，其文件擴展名其文件

24、擴展名為為 .MID或或 .MIDI媒體播放器軟件相當(dāng)媒體播放器軟件相當(dāng)于于“演奏員演奏員”。播放。播放MIDI音樂時，它先從音樂時，它先從磁盤上讀入磁盤上讀入.MID文件，文件，解釋其內(nèi)容，然后以解釋其內(nèi)容，然后以MIDI消息的形式向聲消息的形式向聲卡上的音樂合成器發(fā)卡上的音樂合成器發(fā)出各種指令出各種指令245.3 數(shù)字聲音及應(yīng)用選講：選講： 音樂合成器音樂合成器nPC機聲卡一般都帶有機聲卡一般都帶有MIDI音源（音樂合成器）音源（音樂合成器）nMIDI音源有兩種：音源有兩種：n調(diào)頻合成器調(diào)頻合成器（一種受控的電子振蕩器）。音色單調(diào)，效果較（一種受控的電子振蕩器）。音色單調(diào)，效果較差，已很少使用差，已很少使用n波表合成器波表合成器。音色豐富，效果很好，可擴展，現(xiàn)廣泛使用。音色豐富，效果很好，