第三章-聲音的合成課件

第二章聲音的合成第二章聲音的合成1一、音頻信號一、音頻信號21.聲音是一種波聲波可以在空氣中傳播，也可以在液體及固體中傳播。聲音三要素(1)音調(diào)—(高低)(2)音強(qiáng)—(強(qiáng)弱)(3)音色—(特質(zhì))

1.聲音是一種波32.音質(zhì)

音質(zhì)與頻率范圍成正比，頻率范圍越寬音質(zhì)越好3.聲音采樣把聲音信號按固定的時(shí)間間隔，轉(zhuǎn)換成有限個(gè)數(shù)字表示的離散序列。2.音質(zhì)4第三章-聲音的合成ppt課件5第三章-聲音的合成ppt課件6第三章-聲音的合成ppt課件7第三章-聲音的合成ppt課件8000000010010001110011010101100000001001000111001101010119

常用聲音信號與采樣頻率

聲音信號CD音樂數(shù)字電話采樣頻率信號帶寬數(shù)字電話44.1K16K8K20K7K3.4K常用聲音信號與采樣頻率聲音信號CD音樂數(shù)字電話采樣頻率信10聲音采樣1101110011001101聲音采樣110111001100110111采樣頻率Hz數(shù)據(jù)長度bit數(shù)據(jù)量／分鐘11,02580.66MB22,05081.32MB44,10082.64MB11,025161.32MB22,050162.64MB44,100165.29MB音質(zhì)評價(jià)低一般良好中良好優(yōu)秀采樣頻率Hz數(shù)據(jù)長度bit數(shù)據(jù)量／分鐘11,02580.124.音頻文件的種類及特點(diǎn)(1)MIDI文件（電子樂器數(shù)字接口）是用于在音樂合成器、電子樂器、音序器和計(jì)算機(jī)之間交換音樂信息的一種標(biāo)準(zhǔn)協(xié)議。4.音頻文件的種類及特點(diǎn)13MIDI實(shí)質(zhì)上是由MIDI控制器（或MIDI文件）產(chǎn)生的指示電子音樂合成器要做什么、怎么做（如演奏某個(gè)音符、加大音量、生成音響效果）的一套標(biāo)準(zhǔn)指令。MIDI不是聲音信號，在MIDI電纜上傳送的不是聲音，而是動作指令。MIDI實(shí)質(zhì)上是由MIDI控制器（或MIDI文件）產(chǎn)生的指示14第三章-聲音的合成ppt課件15由于MIDI只是記錄音樂信息的數(shù)字代碼，所以生成的文件比較小，便于傳播，也便于編輯修改與Mp3、Wav等音頻格式不同的是MIDI的播放質(zhì)量很大程度上取決于硬件或軟件的音源環(huán)境，也就是說同樣的MIDI文件在不同的電腦上可能有非常明顯的效果差別，究其原因是因?yàn)樗鼈冋{(diào)用的波表音色庫不一樣由于MIDI只是記錄音樂信息的數(shù)字代碼，所以生成的文件比較小16聲音文件:24.9K聲音文件:16K聲音文件:24.9K聲音文件:16K17(2)WAVE(WaveformAudio)波形音頻文件多媒體系統(tǒng)、音樂光盤制作，記錄物理波形，數(shù)據(jù)量大WAVE格式文件是以RIFF為標(biāo)準(zhǔn)的在Windows中，把聲音文件存儲到硬盤上的擴(kuò)展名為WAV。WAV記錄的是聲音的本身，所以它占的硬盤空間大的很。例如：16位的44.1KHZ的立體聲聲音一分鐘要占用大約10MB的容量，和MIDI相比就差的很遠(yuǎn)。(2)WAVE(WaveformAudio)波形音頻文18標(biāo)準(zhǔn)格式的WAV文件和CD格式一樣，也是44.1K的采樣頻率，速率88K/秒，16位量化位數(shù)WAV格式的聲音文件質(zhì)量和CD相差無幾

標(biāo)準(zhǔn)格式的WAV文件和CD格式一樣，也是44.1K的采樣頻率19第三章-聲音的合成ppt課件20第三章-聲音的合成ppt課件21MP3也就是指的是MPEG標(biāo)準(zhǔn)中的音頻部分，也就是MPEG音頻層。根據(jù)壓縮質(zhì)量和編碼處理的不同分為3層，分別對應(yīng)“*.mp1”/“*.mp2”/“*.mp3”這3種聲音文件。MPEG音頻文件的壓縮是一種有損壓縮，MPEG3高壓縮率，基本保持低音頻部分不失真，但是犧牲了聲音文件中12KHz到16KHz高音頻這部分的質(zhì)量來換取文件的尺寸MP3也就是指的是MPEG標(biāo)準(zhǔn)中的音頻部分，也就是MPEG音22相同長度的音樂文件，用＊.mp3格式來儲存，一般只有＊.wav文件的1/10，而音質(zhì)要次于CD格式或WAV格式的聲音文件。文件尺寸小，音質(zhì)好相同長度的音樂文件，用＊.mp3格式來儲存，一般只有＊.wa23聲音文件●

WAV——Wave，波形音頻文件(.wav)WAV文件特點(diǎn)：[1]真實(shí)記錄自然聲波形[2]基本無數(shù)據(jù)壓縮[3]數(shù)據(jù)量大●

MIDI——MusicalInstrumentDigitalInterface，樂器數(shù)字化接口文件(.mid)MIDI文件特點(diǎn)：[1]紀(jì)錄音符、時(shí)值、通道[2]使用電子鍵盤樂器[3]數(shù)據(jù)量小教學(xué)進(jìn)程STOPSTOP聲音文件●WAV——Wave，波形音頻文件(.wav24二、錄音編輯二、錄音編輯251.基于句子和單詞的錄音編輯方式可以預(yù)先將句子、單詞作為錄音的單位，對錄音、講話所涉及的有關(guān)句子或單詞逐個(gè)進(jìn)行錄音并保存為了實(shí)現(xiàn)這種錄音編輯方式，應(yīng)事先存入大量的有關(guān)單詞、句子（即需要大量的存儲空間），聲音合成時(shí)還需要快速地檢出和呈現(xiàn)（需要高速的檢索和控制）。1.基于句子和單詞的錄音編輯方式可以預(yù)先將句子、262.基于音節(jié)的編輯合成方式在任何語言中，音節(jié)的數(shù)量比單詞的數(shù)量少很多；基于音節(jié)的編輯方式在合成時(shí)的檢索、控制變得十分方便；基于音節(jié)的合成方式的音質(zhì)較差，很難表現(xiàn)人們在講話時(shí)的各種情感和聲調(diào)的變化；根據(jù)發(fā)音耦合的原理和要求，人們對單詞的發(fā)音制定了一定的規(guī)則，基于這種規(guī)則進(jìn)行聲音合成，可以得到較好的聲音效果。2.基于音節(jié)的編輯合成方式在任何語言中，音節(jié)的數(shù)量比單詞的數(shù)273.錄音編輯聲音合成的分析（1）以錄音編輯的方式進(jìn)行聲音合成，需要大容量的存儲設(shè)備（2）為了讓一定容量的存儲設(shè)備能存儲更多的聲音信息，需要對聲音信息的數(shù)據(jù)量進(jìn)行壓縮（3）通過編碼的方式，減少聲音信息中的冗余性是實(shí)現(xiàn)聲音信息壓縮的基本方法。3.錄音編輯聲音合成的分析（1）以錄音編輯的方式進(jìn)行聲音合成28三、脈沖代碼調(diào)制PCM三、脈沖代碼調(diào)制PCM29脈沖代碼調(diào)制PCM（pulsecodemodulation）是一種對模擬信號的編輯聲音信號是一種模擬信號，經(jīng)PCM編碼后，變成數(shù)字信號通常所說的PCM錄音就是一種數(shù)字錄音。脈沖代碼調(diào)制PCM（pulsecodemodulati301.基本原理PCM編碼過程：（1）對模擬聲音信號進(jìn)行采樣1.基本原理PCM編碼過程：31第三章-聲音的合成ppt課件32采樣周期采樣信號t振幅采樣周期采樣信號t振幅33（2）將各個(gè)采樣點(diǎn)的聲音信號值通過模∕數(shù)變換（A∕D轉(zhuǎn)換）變換成由0和1組成的脈沖變換序列（2）將各個(gè)采樣點(diǎn)的聲音信號值通過模∕數(shù)變換（A∕D轉(zhuǎn)換340011001000010000111111101101正值負(fù)值模擬信號碼字序列0011正值負(fù)值模擬信號碼字序列35（3）在PCM（脈沖代碼調(diào)制）中所分配碼字的首位為符號位，信號為正時(shí)，首位為0信號為負(fù)時(shí)，首位為1（4）對聲音采樣的頻率稱為采樣頻率：f經(jīng)采樣后對每一個(gè)采樣點(diǎn)分配的碼字為a位，用于存儲1秒鐘的聲音信號所需的存儲容量為f·a，它也表示了傳遞聲音信號所需的速率。（3）在PCM（脈沖代碼調(diào)制）中所分配碼字的首位為符號位，36例：設(shè)聲音信號的采樣頻率為10KHz，PCM編碼所分配碼字長度為8bit，傳送該聲音信號所需的傳遞速率應(yīng)不低于10×103×8=8×104bit∕s例：37（5）PCM錄音及其聲音合成系統(tǒng)揚(yáng)聲器A∕D變換器錄音

話筒大容量存儲器D∕A變換器（5）PCM錄音及其聲音合成系統(tǒng)揚(yáng)聲器A∕D錄音話筒大容量382.采樣與量化（1）在PCM調(diào)制中，采樣頻率應(yīng)是聲音信號中最高頻率的兩倍以上（2）聲音信號中包括有多種不同的頻率成分，為使各種不同的頻率成分都能很好地傳遞、呈現(xiàn)，所需的帶寬應(yīng)是20Hz---20KHz采樣頻率應(yīng)選為40Hz（3）對于連續(xù)的聲音信息，由于其相關(guān)性，通過前、后的有關(guān)信息可以實(shí)現(xiàn)信息的預(yù)測和識別，聲音合成時(shí)采樣頻率選為8KHz就足夠了（至多10KHz）2.采樣與量化（1）在PCM調(diào)制中，采樣頻率應(yīng)是聲音信號中最39（4）PCM編碼中，除需要以一定的頻率進(jìn)行采樣外，還需要對每一個(gè)樣本進(jìn)行量化，分配一定的碼字（5）量化的精度，即分配碼字的長度，對聲音的失真度有很大影響。

（4）PCM編碼中，除需要以一定的頻率進(jìn)行采樣外，還需要對每40聲音信號與量化精度的關(guān)系聲音信號與量化精度的關(guān)系41量化噪音與量化精度，即分配碼字長度a之間有如下關(guān)系：6（a-1）dB例如：要求噪音的信噪比S∕N不低于60dB6（a-1）=60a=11說明：在PCM編碼時(shí)，分配的碼字長度應(yīng)不低于11bit量化噪音與量化精度，即分配碼字長度a之間有如下關(guān)系：42如采樣頻率為10kHz分配的碼字長度為11bit，記錄1秒鐘的聲音信息所需要的存儲容量為：11×10×103=110（kb）若以字節(jié)計(jì)算，記錄1分鐘的聲音信號所需存儲容量：110×103∕8=14（KB）40KB的存儲容量，只能存3秒鐘如采樣頻率為10kHz分配的碼字長度為11bit，記錄1秒433.高頻濾波為提高聲音合成效果，進(jìn)行預(yù)處理：采樣頻率為f將聲音信號中高于f∕2的高頻成分濾掉，這種處理是通過低通濾波器完成3.高頻濾波為提高聲音合成效果，進(jìn)行預(yù)處理：44低通濾波器低通濾波器45四、增量調(diào)制四、增量調(diào)制461.基本原理

增量調(diào)制是一種以最低的一位數(shù)進(jìn)行數(shù)據(jù)壓縮的編碼方式在DM系統(tǒng)中，應(yīng)預(yù)先確定具有一定振幅值的增量△，并根據(jù)當(dāng)前信號與基于預(yù)測編碼的預(yù)測值之間的差值進(jìn)行編碼。設(shè)當(dāng)前時(shí)刻n的聲音信號值為Sn，基于預(yù)測編碼的n-1時(shí)刻的聲音信號預(yù)測值為Sn-1其間的誤差值en為en=Sn-Sn-1en為預(yù)測誤差1.基本原理增量調(diào)制是一種以最低的一位數(shù)進(jìn)行數(shù)據(jù)47預(yù)測編碼是按照不斷減少預(yù)測誤差的方向進(jìn)行編碼的，通過編碼，使預(yù)測值Sn-1不斷逼近Sn在DM方式中，預(yù)測值是以Sn=Sn-1+△確定的下面以聲音信號采樣序列：4，5，1，0，3‥‥在編碼前，應(yīng)預(yù)先確定增量△，設(shè)△=2，并給定編碼的初始條件為S0=0預(yù)測編碼是按照不斷減少預(yù)測誤差的方向進(jìn)行編碼的，通過48第三章-聲音的合成ppt課件49n=1時(shí)刻：

聲音信號為4，由于初始條件為S0=0e1=S1-S0=4-0=4由于e1＞0

分配增量

△=2，以碼字0表示，

預(yù)測值為S1=S0+△=2n=1時(shí)刻：50n=2時(shí)刻：

聲音信號為5，預(yù)測誤差為e2=S2–S1=5-2=3由于e2＞0

分配增量

△=2，以碼字1表示，

預(yù)測值為S2=S1+△=4n=2時(shí)刻：51n=3時(shí)刻：

聲音信號為1，預(yù)測誤差為e3=S3–S2=1-4=-3由于e3﹤0

分配增量為-

△，以碼字0表示，

預(yù)測值為S3=S2-△=4-2=2聲音信號、預(yù)測值、預(yù)測誤差與碼字序列及其相互間的關(guān)系如下圖所示n=3時(shí)刻：52DM方式的信號波形DM方式的信號波形53通過上述DM編碼的過程，可得到聲音信號的DM編碼的0、1符號序列。根據(jù)這樣的符號序列，通過DM編碼的逆操作，可進(jìn)行解碼，恢復(fù)原聲音信號。例如，△=2的情況下，接收的碼字序列為“11011100”，當(dāng)碼字“1”到來時(shí)，進(jìn)行+2的操作，當(dāng)碼字“0”到來時(shí)，進(jìn)行-2的操作，由此可得到解調(diào)后的聲音信號為“2，4，2，4，6，8，6，4”。通過上述DM編碼的過程，可得到聲音信號的DM編碼的0、1符號54第三章-聲音的合成ppt課件552.粒狀噪聲與超載噪聲增量調(diào)制是一種一位數(shù)的編碼方式，它根據(jù)預(yù)測誤差的正、負(fù)分配相應(yīng)的△在很多情況下，信號的變化很小，甚至不變，在這種情況下，DM編碼仍然要分配+△或-△.2.粒狀噪聲與超載噪聲增量調(diào)制是一種一位數(shù)的編562.粒狀噪聲與超載噪聲2.粒狀噪聲與超載噪聲57如上圖，在原聲音信號不變，或緩慢變化時(shí)，DM編碼的碼字序列卻是010101…這樣變化的碼字序列。這種變化的0、1序列，經(jīng)解碼后產(chǎn)生一種噪聲，對原聲音符號的音質(zhì)造成一定的影響，稱這種噪聲為粒狀噪聲(GranularNoise)。為了減小粒狀噪聲的影響，應(yīng)減小增量的幅度。顯然，△的幅度越小，粒狀噪音越小。如上圖，在原聲音信號不變，或緩慢變化時(shí)，DM編碼的碼字序