語音信號處理 第4版 課件 第2章：語音信號處理的基礎(chǔ)知識

南京郵電大學(xué)

通信與信息工程學(xué)院

第2章語音信號處理的基礎(chǔ)知識語音發(fā)音及感知系統(tǒng)語音信號生成的數(shù)學(xué)模型語音基本概念和參數(shù)語音信號的數(shù)字化和預(yù)處理2.1語音發(fā)音及感知系統(tǒng)語音發(fā)音系統(tǒng)語音是由肺部呼出的氣流通過在喉頭至嘴唇的各種作用而發(fā)出的。（1）把肺部呼出的直氣流變?yōu)橐粼?；?）對音源其共振和反共振作用，使其帶有音色；（3）從嘴唇或鼻孔向空間輻射的作用；聲門：聲帶之間的部分，開啟或閉合，其開閉一次的時間為基音周期（倒數(shù)為基音頻率）；男性：50~250Hz，女性：100~500Hz聲道：從聲門到嘴唇的呼氣通道；發(fā)濁音時，聲門處氣流沖擊聲帶產(chǎn)生振動，通過聲道響應(yīng)變?yōu)檎Z音。發(fā)清音時，聲帶不振動。2.1語音發(fā)音及感知系統(tǒng)語音聽覺系統(tǒng)分為聽覺外周和聽覺中樞兩部分。聽覺外周（外耳、中耳、內(nèi)耳、蝸神經(jīng)）：完成聲音的采集、頻率分解、聲能轉(zhuǎn)換功能；聽覺中樞（位于聽神經(jīng)以上）：加工和分析聲音，包括感知聲音的音色、音調(diào)、聲強(qiáng)、判斷方位等。2.1語音發(fā)音及感知系統(tǒng)語音聽覺系統(tǒng)外耳：對聲音感知中起著聲源定位以及聲音放大作用；中耳：進(jìn)行聲阻抗變換；聽小骨對聲音進(jìn)行線性或非線性傳遞；內(nèi)耳：主要構(gòu)成器官是耳蝸，是聽覺的受納器，把聲音通過機(jī)械變換產(chǎn)生神經(jīng)發(fā)放信號。2.1語音發(fā)音及感知系統(tǒng)人耳聽覺特性基底膜的頻率響應(yīng)分布多通道濾波器實(shí)現(xiàn)人類能夠聽到的聲音頻率為20~20000Hz，強(qiáng)度為-5~130dB。耳蝸基底膜具有時頻分析儀的功能，將復(fù)雜信號分解為各種頻率分量。可由一組伽馬通濾波器實(shí)現(xiàn)，每個濾波器模擬基底膜不同部位最大位移處的響應(yīng)。2.1語音發(fā)音及感知系統(tǒng)人耳聽覺掩蔽效應(yīng)掩蔽效應(yīng)：在一個強(qiáng)信號附近，弱信號變得不可聞。最小可聽閾曲線：在安靜環(huán)境下，人耳對各種頻率聲音可以聽到的最低聲壓（人耳對低頻率和高頻率不敏感，在1kHz附近最為敏感）。由于位于1kHz頻率的掩蔽聲存在，使聽閾曲線發(fā)生了變化，本可以聽到的三個被掩蔽聲，變得聽不到了。

在掩蔽聲附近發(fā)生了掩蔽效應(yīng)。同時掩蔽：強(qiáng)信號和弱信號同時出現(xiàn)。頻率靠的越近，掩蔽聲越強(qiáng)，掩蔽效應(yīng)越明顯。短時掩蔽：強(qiáng)信號和弱信號不同時出現(xiàn)。又分為后向掩蔽和前向掩蔽。語音發(fā)音及感知系統(tǒng)語音信號生成的數(shù)學(xué)模型語音基本概念和參數(shù)語音信號的數(shù)字化和預(yù)處理2.2語音信號生成的數(shù)學(xué)模型語音信號的數(shù)字模型U(z)是激勵信號，濁音時U(z)是聲門脈沖，即，斜三角脈沖序列的z變換；清音時，U(z)是一個隨機(jī)噪聲的z變換。V(z)是聲道傳遞函數(shù)，可用聲管模型或共振峰模型來描述。R(z)為輻射模型，一般為一階高通形式。模擬了語音發(fā)音系統(tǒng)！2.2語音信號生成的數(shù)學(xué)模型激勵模型

G(z)是一個低通濾波器。濁音激勵模型可表示為以基音周期1/F0為周期的單位脈沖序列E(z)激勵G(z)，得到的U(z)是一個周期斜三角脈沖串：發(fā)清音時，可以模擬成隨機(jī)白噪聲（均值為0，方差為1，在時間或幅度上為白色分布的序列）。發(fā)濁音時，由于聲帶不斷張開和關(guān)閉，將產(chǎn)生間歇的脈沖波。首先，單個脈沖波（斜三角波）的時頻域波形（g(n),G(z)）如下：2.2語音信號生成的數(shù)學(xué)模型聲道模型（共振峰模型）把聲道視為一個諧振腔，共振峰為腔體的諧振頻率。一般地，元音用前3個共振峰表示，而對于較復(fù)雜的輔音或鼻音，需要用到前5個以上的共振峰。（實(shí)際中需要求出每個濁音/清音的共振峰頻率、帶寬、幅度等參數(shù)）級聯(lián)型：傳遞函數(shù)V(z)為全極點(diǎn)模型，結(jié)構(gòu)簡單，適用于一般濁音。并聯(lián)型：傳遞函數(shù)V(z)加入了零點(diǎn)，結(jié)構(gòu)復(fù)雜，適用于非一般濁音以及大部分清音。2.2語音信號生成的數(shù)學(xué)模型聲道模型（共振峰模型）混合型：將上述二者結(jié)合。研究表明，口唇端輻射在高頻較為顯著，在低頻端時影響較小，所以輻射模型R(z)是一階類高通濾波器的形式。輻射模型語音發(fā)音及感知系統(tǒng)語音信號生成的數(shù)學(xué)模型語音基本概念和參數(shù)語音信號的數(shù)字化和預(yù)處理2.3語音基本概念與參數(shù)基本參數(shù)聲壓與聲強(qiáng)：（1）聲壓、有效聲壓、聲壓級（SPL）；（2）聲強(qiáng)、聲強(qiáng)級（IL）；（3）聲壓與聲強(qiáng)的關(guān)系；響度：聲音的響亮程度頻率與音高：音高是以人的主觀感受來評價所聽到的聲音高低2.3語音基本概念與參數(shù)時域波形濁音[ou](B段),[e](D段)的波形具有明顯的周期性，且振幅較大，它們的周期與聲帶振動的頻率有關(guān)，即為基音周期清音[s](A段),[k](C段)的波形類似于白噪聲，振幅很小，沒有明顯的周期性2.3語音基本概念與參數(shù)頻域特性濁音[ou]的頻譜，可以看出其基音頻率為300Hz，與時域波形一致。另外可以看出其共振峰（頻譜中的凸起點(diǎn)）。清音頻譜峰點(diǎn)之間的間隔是隨機(jī)的，沒有周期分量2.3語音基本概念與參數(shù)語譜圖表示語音頻譜隨時間變化的波形?？v軸為頻率，橫軸為時間，任一給定頻率成分在給定時刻的強(qiáng)弱作用用相應(yīng)點(diǎn)的灰度濃淡來表示。--聲紋（反映說話人特性）橫杠：與時間軸平行的深黑色帶紋，對應(yīng)于短時譜中的共振峰，從橫杠對應(yīng)的頻率和帶寬可確定共振峰頻率帶寬。豎直條：與時間軸垂直的一條窄黑條，每個豎直條相當(dāng)于一個基音，條紋的起點(diǎn)對應(yīng)聲門脈沖的起點(diǎn)，條紋間的距離表示基音周期。亂紋：清音語譜圖表現(xiàn)為亂紋。語音發(fā)音及感知系統(tǒng)語音信號生成的數(shù)學(xué)模型語音基本概念和參數(shù)語音信號的數(shù)字化和預(yù)處理2.4語音信號的數(shù)字化和預(yù)處理語音信號的數(shù)字化包括：放大及增益控制、反混疊濾波、采樣、A/D轉(zhuǎn)換及編碼。（1）預(yù)濾波：抑制輸入信號各頻率分量中頻率超出fs/2的所有分量，以防止混疊干擾；抑制50Hz的電源工頻干擾。其常為帶通濾波器：上截止頻率為3400Hz左右，而下截止頻率為60~100Hz。（2）A/D轉(zhuǎn)換：會引起量化誤差（量化后信號與原信號之間的差值，又稱為量化噪聲）；通常采用12位的A/D轉(zhuǎn)換器。數(shù)字化的反過程：從數(shù)字化語音中重構(gòu)語音波形，通常在D/A后加一個平滑濾波器，對重構(gòu)的語音波形的高次諧波其平滑作用，以去除高次諧波失真。語音信號的預(yù)處理包括：預(yù)加重、加窗、分幀等。2.4語音信號的數(shù)字化和預(yù)處理語音信號的預(yù)處理包括：預(yù)加重、加窗、分幀等。為什么要預(yù)加重和去加重？語音信號低頻段能量大，高頻段能量小，而接收機(jī)鑒頻器輸出的低頻噪聲小，高頻噪聲大；造成信號低頻信噪比大，而高頻信號比小，使高頻傳輸困難