數(shù)字聲音及應(yīng)用ppt課件

1、5.3 數(shù)字聲音及運(yùn)用數(shù)字聲音及運(yùn)用5.3.1 波形聲音的獲取與播放波形聲音的獲取與播放5.3.2 波形聲音的表示與緊縮編碼波形聲音的表示與緊縮編碼5.3.3 波形聲音的編輯波形聲音的編輯5.3.4 計(jì)算機(jī)合成聲音計(jì)算機(jī)合成聲音25.3.1 波形聲音的獲取與播放波形聲音的獲取與播放3聲音的特性和類(lèi)型聲音的特性和類(lèi)型n聲音由振動(dòng)產(chǎn)生，經(jīng)過(guò)空氣進(jìn)展傳播聲音由振動(dòng)產(chǎn)生，經(jīng)過(guò)空氣進(jìn)展傳播n聲音是一種波，它由許多不同頻率的聲音是一種波，它由許多不同頻率的諧波組成諧波組成n諧波的頻率范圍稱(chēng)為聲音的諧波的頻率范圍稱(chēng)為聲音的“帶寬帶寬n計(jì)算機(jī)處置的聲音類(lèi)型：計(jì)算機(jī)處置的聲音類(lèi)型：n話(huà)音或語(yǔ)音話(huà)音或語(yǔ)音(spe

2、ech)，專(zhuān)指人的說(shuō)話(huà)聲音，帶寬僅為，專(zhuān)指人的說(shuō)話(huà)聲音，帶寬僅為3003400Hzn全頻帶聲音全頻帶聲音(如音樂(lè)聲、風(fēng)雨聲、汽車(chē)聲等如音樂(lè)聲、風(fēng)雨聲、汽車(chē)聲等)，其帶寬可到，其帶寬可到達(dá)達(dá)20Hz20kHz n人耳可聽(tīng)到的聲音統(tǒng)稱(chēng)人耳可聽(tīng)到的聲音統(tǒng)稱(chēng)“可聽(tīng)聲可聽(tīng)聲(audio) ，20Hz20kHz4數(shù)字波形聲音的獲取數(shù)字波形聲音的獲取方法：方法：2. 量化量化quantization，模數(shù)轉(zhuǎn)換，模數(shù)轉(zhuǎn)換 )3. 編碼編碼encoding1. 取樣取樣sampling取取 樣樣模擬聲音信號(hào)模擬聲音信號(hào)取樣的目的是把時(shí)間上延取樣的目的是把時(shí)間上延續(xù)的信號(hào)轉(zhuǎn)換成時(shí)間上離續(xù)的信號(hào)轉(zhuǎn)換成時(shí)間上離散的信

3、號(hào)散的信號(hào)量量 化化量化是把每個(gè)樣本從模擬量化是把每個(gè)樣本從模擬量轉(zhuǎn)換成為數(shù)字量量轉(zhuǎn)換成為數(shù)字量(8位或位或16位整數(shù)表示位整數(shù)表示)數(shù)字?jǐn)?shù)字聲音聲音01100011001編編 碼碼將一切樣本的二進(jìn)制將一切樣本的二進(jìn)制代碼組織在一同，并代碼組織在一同，并進(jìn)展數(shù)據(jù)緊縮進(jìn)展數(shù)據(jù)緊縮5數(shù)字波形聲音的獲取設(shè)備數(shù)字波形聲音的獲取設(shè)備n聲音的聯(lián)機(jī)獲取設(shè)備聲音的聯(lián)機(jī)獲取設(shè)備(聲卡聲卡)麥克風(fēng)麥克風(fēng)microphone聲音卡聲音卡sound card聲波轉(zhuǎn)換聲波轉(zhuǎn)換為電信號(hào)為電信號(hào)取樣、量化、取樣、量化、緊縮和編碼緊縮和編碼模擬聲音模擬聲音數(shù)字聲音數(shù)字聲音n聲音的脫機(jī)獲取設(shè)備：數(shù)碼錄音筆聲音的脫機(jī)獲取設(shè)備：數(shù)

4、碼錄音筆6聲卡的功能與組成聲卡的功能與組成波形聲音的獲取與編碼波形聲音的獲取與編碼波形聲音的重建與播放波形聲音的重建與播放MIDI音訊的輸入音訊的輸入MIDI音樂(lè)的合成音樂(lè)的合成DSPDMA接口接口PC總線(xiàn)總線(xiàn)取樣，量化取樣，量化D/A重建，濾波重建，濾波聲音輸出聲音輸出聲音輸入聲音輸入音樂(lè)合成器音樂(lè)合成器mixerMIDI接口接口聲卡的主要功能聲卡的主要功能注：當(dāng)前注：當(dāng)前PC機(jī)的聲卡曾機(jī)的聲卡曾經(jīng)與主板芯片組集成在一經(jīng)與主板芯片組集成在一同，不再做成獨(dú)立的插卡同，不再做成獨(dú)立的插卡 7聲音的重建與播放聲音的重建與播放n計(jì)算機(jī)輸出聲音分為兩步：計(jì)算機(jī)輸出聲音分為兩步：n1 聲音的重建：把聲音

5、從數(shù)字方式轉(zhuǎn)換成模擬信號(hào)方式，聲音的重建：把聲音從數(shù)字方式轉(zhuǎn)換成模擬信號(hào)方式，由聲卡完成由聲卡完成2 聲音播放：將模擬聲音信號(hào)經(jīng)處置和放大后送到音箱聲音播放：將模擬聲音信號(hào)經(jīng)處置和放大后送到音箱(揚(yáng)聲器揚(yáng)聲器)關(guān)于音箱：關(guān)于音箱：普通音箱接納的是重建的模擬聲音信號(hào)普通音箱接納的是重建的模擬聲音信號(hào)數(shù)字音箱可直接接納數(shù)字聲音信號(hào)，聲音失真更小數(shù)字音箱可直接接納數(shù)字聲音信號(hào)，聲音失真更小 重建的模擬重建的模擬聲音信號(hào)聲音信號(hào)數(shù)字?jǐn)?shù)字聲音聲音011010011101插插 值值數(shù)模轉(zhuǎn)換數(shù)模轉(zhuǎn)換解解 碼碼把緊縮編碼的數(shù)字把緊縮編碼的數(shù)字聲音恢復(fù)為緊縮編聲音恢復(fù)為緊縮編碼前的形狀碼前的形狀把聲音樣本從把聲

6、音樣本從數(shù)字量轉(zhuǎn)換為數(shù)字量轉(zhuǎn)換為模擬量模擬量把時(shí)間上離散的一組把時(shí)間上離散的一組樣本轉(zhuǎn)換成在時(shí)間上樣本轉(zhuǎn)換成在時(shí)間上延續(xù)的模擬聲音信號(hào)延續(xù)的模擬聲音信號(hào)85.3.2 波形聲音的表示波形聲音的表示 與緊縮編碼與緊縮編碼9數(shù)字波形聲音的表示及參數(shù)數(shù)字波形聲音的表示及參數(shù)n數(shù)字波形聲音是運(yùn)用二進(jìn)位表示的一種串行比特流，其數(shù)數(shù)字波形聲音是運(yùn)用二進(jìn)位表示的一種串行比特流，其數(shù)據(jù)按時(shí)間順序進(jìn)展組織，文件擴(kuò)展名為據(jù)按時(shí)間順序進(jìn)展組織，文件擴(kuò)展名為“.wavn數(shù)字波形聲音的主要參數(shù)有：數(shù)字波形聲音的主要參數(shù)有：n取樣頻率：取樣頻率：n語(yǔ)音的取樣頻率低，普通為語(yǔ)音的取樣頻率低，普通為8kHzn全頻帶聲音如音樂(lè)的

7、取樣頻率高，普通為全頻帶聲音如音樂(lè)的取樣頻率高，普通為44.1kHzn量化位數(shù)：通常為量化位數(shù)：通常為8位、位、12位或位或16位位n聲道數(shù)目：?jiǎn)温暤罏槁暤罃?shù)目：?jiǎn)温暤罏?，雙聲道為，雙聲道為2n碼率碼率(比特率比特率)，每秒鐘的數(shù)據(jù)量，每秒鐘的數(shù)據(jù)量10數(shù)字波形聲音碼率的計(jì)算數(shù)字波形聲音碼率的計(jì)算n未緊縮時(shí)數(shù)字波形聲音的碼率計(jì)算公式未緊縮時(shí)數(shù)字波形聲音的碼率計(jì)算公式n 碼率碼率 = = 取樣頻率取樣頻率 量化位數(shù)量化位數(shù) 聲道數(shù)聲道數(shù) n例：例：聲音類(lèi)型聲音類(lèi)型聲音信號(hào)帶寬聲音信號(hào)帶寬(Hz)取樣頻率取樣頻率(kHz)量化位數(shù)量化位數(shù)(bits)聲道聲道數(shù)數(shù)未壓縮時(shí)的未壓縮時(shí)的碼率碼率數(shù)字語(yǔ)

8、音數(shù)字語(yǔ)音3003 40088164 kb/sCD立體聲立體聲2020 00044.11621141.2(kb/s)n緊縮編碼之后數(shù)字波形聲音的碼率為：緊縮編碼之后數(shù)字波形聲音的碼率為：n 緊縮后的碼率緊縮后的碼率 = = 未緊縮時(shí)的碼率未緊縮時(shí)的碼率/ /緊縮倍數(shù)緊縮倍數(shù) n例：上面例：上面CDCD唱片的立體聲音樂(lè)緊縮為唱片的立體聲音樂(lè)緊縮為MP3MP3后，假設(shè)緊縮倍數(shù)后，假設(shè)緊縮倍數(shù)是是1010倍，那么該倍，那么該MP3MP3音樂(lè)的碼率是：音樂(lè)的碼率是：114kb/s114kb/s左右左右11數(shù)字波形聲音的數(shù)據(jù)緊縮數(shù)字波形聲音的數(shù)據(jù)緊縮n數(shù)字波形聲音的數(shù)據(jù)量很大，例如：數(shù)字波形聲音的數(shù)據(jù)量

9、很大，例如：n數(shù)字語(yǔ)音數(shù)字語(yǔ)音1小時(shí)的數(shù)據(jù)量大約是小時(shí)的數(shù)據(jù)量大約是30MBnCD立體聲高保真的數(shù)字音樂(lè)立體聲高保真的數(shù)字音樂(lè)1小時(shí)的數(shù)據(jù)量大約是小時(shí)的數(shù)據(jù)量大約是635MBn數(shù)據(jù)緊縮的必要性：數(shù)據(jù)緊縮的必要性：n為了降低存儲(chǔ)本錢(qián)和提高在網(wǎng)絡(luò)上的傳輸效率為了降低存儲(chǔ)本錢(qián)和提高在網(wǎng)絡(luò)上的傳輸效率n數(shù)據(jù)緊縮的能夠性：數(shù)據(jù)緊縮的能夠性：n聲音中包含了大量冗余信息；人耳的靈敏度有限，允許有聲音中包含了大量冗余信息；人耳的靈敏度有限，允許有一定失真一定失真n數(shù)字波形聲音緊縮編碼的方法：數(shù)字波形聲音緊縮編碼的方法：n全頻帶聲音：國(guó)際規(guī)范全頻帶聲音：國(guó)際規(guī)范MPEG；工業(yè)規(guī)范；工業(yè)規(guī)范Dolby AC-3

10、n數(shù)字語(yǔ)音：固定運(yùn)用數(shù)字語(yǔ)音：固定運(yùn)用ADPCM編碼編碼n 挪動(dòng)運(yùn)用高效率的混合編碼技術(shù)挪動(dòng)運(yùn)用高效率的混合編碼技術(shù)12全頻帶數(shù)字音頻編碼的規(guī)范全頻帶數(shù)字音頻編碼的規(guī)范n所謂所謂“MP3音樂(lè)就是一種采用音樂(lè)就是一種采用MPEG-1層層3編碼的高質(zhì)量數(shù)字聲音編碼的高質(zhì)量數(shù)字聲音, 它能以它能以10倍左右的緊縮比降低高保真數(shù)字聲音的倍左右的緊縮比降低高保真數(shù)字聲音的存儲(chǔ)量，使一張普通存儲(chǔ)量，使一張普通CD光盤(pán)上可以存光盤(pán)上可以存儲(chǔ)大約儲(chǔ)大約100首首MP3歌曲歌曲 標(biāo)準(zhǔn)名稱(chēng)標(biāo)準(zhǔn)名稱(chēng)壓縮后的碼率壓縮后的碼率(每個(gè)聲道每個(gè)聲道)聲道數(shù)目聲道數(shù)目主要應(yīng)用主要應(yīng)用MPEG-1 audio層層1192 kb

11、ps （壓縮（壓縮4倍）倍）2數(shù)字盒式錄音帶數(shù)字盒式錄音帶MPEG-1 audio層層2128 kbps（壓縮（壓縮6倍）倍）2DAB,VCD,MPEG-1 audio層層364kbps（壓縮（壓縮12倍）倍）2Internet，MP3音樂(lè)音樂(lè)MPEG-2 audio與與MPEG-1層層1,層層2,層層3相同相同5.1, 7.1同同MPEG-1Dolby AC-364 kbp5.1, 7.1DVD, DTV，家庭影院，家庭影院13什么是流媒體？什么是流媒體？n在因特網(wǎng)上收聽(tīng)在因特網(wǎng)上收聽(tīng)(看看)音音(視視)頻節(jié)目的頻節(jié)目的2種方式：種方式：n下載存儲(chǔ)方式：先下載存儲(chǔ)在計(jì)算機(jī)中，下載終了后再播下

12、載存儲(chǔ)方式：先下載存儲(chǔ)在計(jì)算機(jī)中，下載終了后再播放缺陷：需求等待很長(zhǎng)時(shí)間，并需求較大的存儲(chǔ)容量放缺陷：需求等待很長(zhǎng)時(shí)間，并需求較大的存儲(chǔ)容量n流式傳輸方式：邊下載、邊播放優(yōu)點(diǎn)：只需求下載一部流式傳輸方式：邊下載、邊播放優(yōu)點(diǎn)：只需求下載一部分?jǐn)?shù)據(jù)之后分?jǐn)?shù)據(jù)之后, 就可以開(kāi)場(chǎng)一邊播放一邊下載，等待時(shí)間短、就可以開(kāi)場(chǎng)一邊播放一邊下載，等待時(shí)間短、存儲(chǔ)需求小存儲(chǔ)需求小n流媒體技術(shù)就是允許在網(wǎng)絡(luò)上讓用戶(hù)一邊下載一邊收看流媒體技術(shù)就是允許在網(wǎng)絡(luò)上讓用戶(hù)一邊下載一邊收看(聽(tīng)聽(tīng))音視頻媒體的一種技術(shù)音視頻媒體的一種技術(shù)n目前主要有目前主要有3個(gè)公司的流媒體產(chǎn)品：個(gè)公司的流媒體產(chǎn)品：nReal Networks

13、公司的公司的 Real Median微軟公司的微軟公司的 Windows Media n蘋(píng)果公司的蘋(píng)果公司的 Quick Time14數(shù)字波形聲音的主要文件格式數(shù)字波形聲音的主要文件格式n.wav波形聲音文件波形聲音文件 n.pcm運(yùn)用運(yùn)用PCM編碼的聲音文件編碼的聲音文件n.mp2MPEG 層層 1 或?qū)踊驅(qū)? 編碼的聲音文件編碼的聲音文件n.mp3MPEG 層層3 編碼的聲音文件編碼的聲音文件n.rm，.ra(RealAudio)RealNetworks的流式聲音文件的流式聲音文件n.wma微軟公司的流式聲音文件微軟公司的流式聲音文件n.aif (Audio Interchangeable

14、 File Format)蘋(píng)果公司的蘋(píng)果公司的聲音文件聲音文件155.3.3 波形聲音的編輯波形聲音的編輯16波形聲音編輯軟件的功能波形聲音編輯軟件的功能主要功能：主要功能：1 編輯聲音：如聲音剪編輯聲音：如聲音剪輯、復(fù)制、調(diào)理音量輯、復(fù)制、調(diào)理音量2 聲音的效果處置：如聲音的效果處置：如混響、回聲等混響、回聲等3 錄音錄音4 聲音的格式轉(zhuǎn)換聲音的格式轉(zhuǎn)換5 播放聲音播放聲音數(shù)字聲音數(shù)字聲音的參數(shù)的參數(shù)左聲道左聲道信號(hào)波形信號(hào)波形右聲道右聲道信號(hào)波形信號(hào)波形淡入淡入淡出淡出時(shí)間刻度時(shí)間刻度播放標(biāo)尺播放標(biāo)尺聲音編輯軟件的聲音編輯軟件的典型用戶(hù)界面典型用戶(hù)界面175.3.4 計(jì)算機(jī)合成聲音計(jì)算機(jī)合

15、成聲音18什么是計(jì)算機(jī)合成聲音？什么是計(jì)算機(jī)合成聲音？n計(jì)算機(jī)合成聲音就是計(jì)算機(jī)模擬人說(shuō)話(huà)或演奏音樂(lè)計(jì)算機(jī)合成聲音就是計(jì)算機(jī)模擬人說(shuō)話(huà)或演奏音樂(lè)n計(jì)算機(jī)合成聲音有兩類(lèi)：計(jì)算機(jī)合成聲音有兩類(lèi)：n計(jì)算機(jī)合成語(yǔ)音：計(jì)算機(jī)合成語(yǔ)音：n計(jì)算機(jī)模擬人把一段文字朗誦出來(lái)，即把文字轉(zhuǎn)換為語(yǔ)音計(jì)算機(jī)模擬人把一段文字朗誦出來(lái)，即把文字轉(zhuǎn)換為語(yǔ)音簡(jiǎn)稱(chēng)為簡(jiǎn)稱(chēng)為 TTSn運(yùn)用：有聲查詢(xún)、文稿校正、言語(yǔ)學(xué)習(xí)、語(yǔ)音秘書(shū)、自動(dòng)運(yùn)用：有聲查詢(xún)、文稿校正、言語(yǔ)學(xué)習(xí)、語(yǔ)音秘書(shū)、自動(dòng)報(bào)警、殘疾人效力等報(bào)警、殘疾人效力等n計(jì)算機(jī)合成音樂(lè)：計(jì)算機(jī)合成音樂(lè)：n計(jì)算機(jī)模擬各種樂(lè)器發(fā)聲并按照樂(lè)譜演奏音樂(lè)計(jì)算機(jī)模擬各種樂(lè)器發(fā)聲并按照樂(lè)譜演奏音樂(lè)

16、n運(yùn)用：計(jì)算機(jī)作曲、配器等運(yùn)用：計(jì)算機(jī)作曲、配器等19例：計(jì)算機(jī)合成的語(yǔ)音例：計(jì)算機(jī)合成的語(yǔ)音nHello，everybody 1n他好，我是貝爾實(shí)驗(yàn)室的中文語(yǔ)音合成系統(tǒng)他好，我是貝爾實(shí)驗(yàn)室的中文語(yǔ)音合成系統(tǒng)BellTTS1n南京大學(xué)計(jì)算機(jī)系南京大學(xué)計(jì)算機(jī)系2019年招收了年招收了202名本科生，名本科生，22名博士名博士生，生，130多名碩士生。中科大訊飛公司多名碩士生。中科大訊飛公司 Belln安徽中科大訊飛信息科技是專(zhuān)門(mén)從事中文語(yǔ)音及言語(yǔ)技術(shù)安徽中科大訊飛信息科技是專(zhuān)門(mén)從事中文語(yǔ)音及言語(yǔ)技術(shù)軟件軟件 訊飛訊飛n我們都是同行，我們一路同行，去參與人參培植研討會(huì)我們都是同行，我們一路同行，去

17、參與人參培植研討會(huì) 訊飛訊飛 Bell需求進(jìn)一步提高之處：發(fā)音和斷句要正確，提高自然度，豐富表現(xiàn)力需求進(jìn)一步提高之處：發(fā)音和斷句要正確，提高自然度，豐富表現(xiàn)力20計(jì)算機(jī)合成音樂(lè)計(jì)算機(jī)合成音樂(lè)MIDI音樂(lè)音樂(lè)合成器合成器音樂(lè)音樂(lè)MIDI文件文件媒體媒體播放器播放器MIDI音訊音訊n計(jì)算機(jī)合成音樂(lè)需求三個(gè)要素：樂(lè)器、樂(lè)譜和計(jì)算機(jī)合成音樂(lè)需求三個(gè)要素：樂(lè)器、樂(lè)譜和“演奏員演奏員 聲卡上的音樂(lè)合成聲卡上的音樂(lè)合成器能像電子琴一樣器能像電子琴一樣模擬幾十種不同的模擬幾十種不同的樂(lè)器發(fā)出聲音，它樂(lè)器發(fā)出聲音，它按照按照MIDI音訊合成音訊合成出不同音色和音調(diào)出不同音色和音調(diào)的音符，經(jīng)過(guò)揚(yáng)聲的音符，經(jīng)過(guò)揚(yáng)聲

18、器播放出音樂(lè)來(lái)器播放出音樂(lè)來(lái) 樂(lè)譜在計(jì)算機(jī)中運(yùn)用樂(lè)譜在計(jì)算機(jī)中運(yùn)用一種叫做一種叫做MIDI的音樂(lè)的音樂(lè)描畫(huà)言語(yǔ)來(lái)表示。運(yùn)描畫(huà)言語(yǔ)來(lái)表示。運(yùn)用用MIDI描畫(huà)的音樂(lè)稱(chēng)描畫(huà)的音樂(lè)稱(chēng)為為MIDI音樂(lè)。一首樂(lè)音樂(lè)。一首樂(lè)曲對(duì)應(yīng)一個(gè)曲對(duì)應(yīng)一個(gè)MIDI文件，文件，其文件擴(kuò)展名其文件擴(kuò)展名為為 .MID或或 .MIDI媒體播放器軟件相當(dāng)媒體播放器軟件相當(dāng)于于“演奏員。播放演奏員。播放MIDI音樂(lè)時(shí)，它先從音樂(lè)時(shí)，它先從磁盤(pán)上讀入磁盤(pán)上讀入.MID文件，文件，解釋其內(nèi)容，然后以解釋其內(nèi)容，然后以MIDI音訊的方式向聲音訊的方式向聲卡上的音樂(lè)合成器發(fā)卡上的音樂(lè)合成器發(fā)出各種指令出各種指令21例：計(jì)算機(jī)合成的例：計(jì)算機(jī)合成的MIDI音樂(lè)音樂(lè)n例例1 音樂(lè)之聲音樂(lè)之聲6KB n例例2 軍港之夜軍港之夜7KBnMIDI的優(yōu)點(diǎn)：的優(yōu)點(diǎn)：n數(shù)據(jù)量極小比數(shù)據(jù)量極小比CD立體聲少立體聲少3個(gè)數(shù)量級(jí)，比個(gè)數(shù)量級(jí)，比MP3少少3個(gè)數(shù)量個(gè)數(shù)量級(jí)級(jí)n易于制造和編輯修正易于制造和編輯修正n可以與波形聲音同時(shí)播放可以與波形聲音同時(shí)播放nMIDI的缺乏：的缺乏：n只能合成音樂(lè)，不能合成歌曲和言語(yǔ)只能合成音樂(lè)，不能合成歌曲和言語(yǔ)n音質(zhì)與硬件設(shè)備相