語音信號的頻域分析

第5章語音信號的頻域分析5.2基于濾波器組的頻域分析

5.1概述5.4STFT的實現(xiàn)5.3短時Fourier變換(STFT)的定義和性質(zhì)5.5短時Fourier譜的取樣5.6語音的短時合成技術(shù)5.7基于FFT的短時Fourier分析5.8頻域基音檢測5.9語音信號的時-頻表示（略）第5章語音信號的頻域分析5.1概述語音感知與語譜特性關(guān)系親密，人對語譜特性更敏感?！舴l譜特性相像的兩段語音，感知相像。◆語譜具有語言聲學(xué)意義，反應(yīng)了重要的語音特征；如共振峰頻率、帶寬等。進行語音頻譜分析是相識和處理語音信號的重要方法。Fourier分析是有效手段，是語音的重要分析工具。語音是非平穩(wěn)信號，源于發(fā)聲器官的物理運動過程?！粼诙虝r間段（如10~30ms）內(nèi)可認(rèn)為是平穩(wěn)的；◆用時間依靠處理方法分析處理。第5章語音信號的頻域分析5.1概述同濟大學(xué)電子與信息工程學(xué)院-2-趙曉群

教授短時Fourier分析（時間依靠Fourier變換）：用穩(wěn)態(tài)分析處理非平穩(wěn)信號的一種方法語音的頻域分析：包括語音信號的頻譜、功率譜、倒頻譜、頻譜包絡(luò)等，常用頻域分析方法：帶通濾波器組法、Fourier變換法、同態(tài)分析、線性預(yù)料法等。本章：帶通濾波器組法、Fourier變換法、頻域基音檢測、時-頻表示同濟大學(xué)電子與信息工程學(xué)院-3-趙曉群

教授第5章語音信號的頻域分析5.1概述第5章語音信號的頻域分析5.2基于濾波器組的頻域分析最早的頻譜分析：濾波器組來實現(xiàn)。特點：簡潔、實時性好、受外界影響小。常用模擬濾波器實現(xiàn)，也可用數(shù)字濾波器實現(xiàn)。◆寬帶帶通濾波器：平坦特性，可粗略求取語音頻譜，辨別率較低，相當(dāng)于短時處理時窄窗狀況。◆窄帶帶通濾波器：頻率辨別率較高，相當(dāng)于短時處理時寬窗較寬的狀況。

圖5.1：濾波器組法頻譜分析原理圖。圖5.1濾波器組法頻率分析原理圖f1f2fn

x1(t)x(t)x2(t)xn(t)同濟大學(xué)電子與信息工程學(xué)院-4-趙曉群

教授第5章語音信號的頻域分析5.2基于濾波器組的頻域分析第5章語音信號的頻域分析5.3短時Fourier變換(STFT)的定義和性質(zhì)5.3.1STFT的定義語音序列是時變的。分段方法：加一個沿時間軸滑動的窗函數(shù)；◆通常窗的寬度有限；◆對應(yīng)于不同的n值，窗處于不同位置；◆窗函數(shù)對語音信號的每個樣本進行加權(quán)。圖5.2：移動窗函數(shù)選取語音段的示意圖◆圖中運用的是非矩形窗，時刻n位于窗的中心同濟大學(xué)電子與信息工程學(xué)院-5-趙曉群

教授圖5.2用移動窗選取語音段示意圖第5章語音信號的頻域分析5.3短時Fourier變換(STFT)的定義和性質(zhì)x(m)的短時Fourier變換（STFT）Xn(ejω)的定義：式中，w(n)是窗函數(shù)?！魹槲挥趎處的窗口視察到的窗選語音短段的Fourier變換；◆n取不同值時，取出不同的語音短段；◆Xn(ejω)是頻率ω和時間n的函數(shù)；有時-頻性。要求：STFT存在，則對全部n值，確定確定可和?！粢虼皩捰邢?，或無限沖激響應(yīng)窗函數(shù)，其有效寬度有限，故滿足確定可和。同濟大學(xué)電子與信息工程學(xué)院-6-趙曉群

教授第5章語音信號的頻域分析5.3短時Fourier變換(STFT)的定義和性質(zhì)依據(jù)STFT，復(fù)原原語音信號x(m)的方法：式的逆變換為：若w(0)≠0，由上式得：◆精確地復(fù)原原信號的唯一約束條件是w(0)≠0。同濟大學(xué)電子與信息工程學(xué)院-7-趙曉群

教授第5章語音信號的頻域分析5.3短時Fourier變換(STFT)的定義和性質(zhì)由STFT的譜Xn(ejω)求解x(m)的Fourier變換X(ejω)方法。假設(shè)x(m)和w(m)的Fourier變換都存在，即：◆因Xn(ejω)是x(m)w(n-m)的Fourier變換，則Xn(ejω)是X(ejω)與ejωnW(e-jω)的卷積，即

為使Xn(ejω)精確代替X(ejω)，移動窗的W(ejω)應(yīng)是沖激函數(shù)；即要求移動窗無限寬。同濟大學(xué)電子與信息工程學(xué)院-8-趙曉群

教授第5章語音信號的頻域分析5.3短時Fourier變換(STFT)的定義和性質(zhì)留意：由于語音是時變的，故其Fourier變換可能不存在。通常，◆窗函數(shù)是有限時寬，故窗選語音段可看成從無限長的基本性質(zhì)持續(xù)不變的平穩(wěn)信號中截取出來的；◆對于爆破音等暫態(tài)音，則可看成在窗外取值為零。若把X(ejω)看成是基本性質(zhì)在窗外持續(xù)不變或窗外取值為零的某個平穩(wěn)信號的Fourier變換，則式就是有意義的。觀點：STFT是平穩(wěn)信號的Fourier變換經(jīng)加窗平滑的結(jié)果。同濟大學(xué)電子與信息工程學(xué)院-9-趙曉群

教授第5章語音信號的頻域分析5.3短時Fourier變換(STFT)的定義和性質(zhì)5.3.2窗函數(shù)及窗寬對STFT的影響圖5.3a：元音[i]的波形和短時頻譜圖。◆元音[i]的基音周期大約是13ms；短時頻譜圖有兩種變更：◆快變更：周期性激勵引起，基音頻率的各次諧波；◆慢變更：聲道共振特性引起，各共振峰的頻率和帶寬。兩個頻譜圖間的差別：◆矩形窗時：諧波各峰較尖銳，譜圖較裂開（類似于噪聲），主瓣較窄（較高頻率辨別率）；旁瓣較高，“泄漏”嚴(yán)峻；◆Hamming窗時：短時頻譜平滑些。短時譜分析，Hamming窗較普遍。同濟大學(xué)電子與信息工程學(xué)院-10-趙曉群

教授第5章語音信號的頻域分析5.3短時Fourier變換(STFT)的定義和性質(zhì)圖5.3a元音[i]的波形和短時頻譜圖(10kHz取樣，窗長256)分析窗寬對短時頻譜的影響：圖5.4(a)：元音[i]的波形和短時頻譜圖。◆窗寬6.4ms，元音[i]的基音周期大約是13ms；◆窗選語音段長不到一個基音周期，丟失了基音周期的信息；◆頻的快變更（諧波頻率）消逝?！纛l的慢變更（較寬的峰）保留，是聲道的共振特性。矩形窗比Hamming時，呈現(xiàn)較多的細(xì)致結(jié)構(gòu)，◆由于矩形窗比Hamming窗具有更高的頻率辨別率。同濟大學(xué)電子與信息工程學(xué)院-11-趙曉群

教授第5章語音信號的頻域分析5.3短時Fourier變換(STFT)的定義和性質(zhì)圖5.4a元音[i]的波形和短時頻譜圖(10kHz取樣，窗長64)圖5.3，5.4(b)：清輔音[j]短時頻譜圖?！魣D5.3(b)：窗較長，頻率辨別率高，很多快變更，反映了激勵源的白噪聲特性——隨機起伏?！艟匦未皶r，快變更尤為突出?！羧耘f看出聲道濾波器的共振特性。同濟大學(xué)電子與信息工程學(xué)院-12-趙曉群

教授第5章語音信號的頻域分析5.3短時Fourier變換(STFT)的定義和性質(zhì)圖5.3b清音[j]的波形和短時頻譜圖(10kHz取樣，窗長256)圖5.4b清音[j]的波形和短時頻譜圖(10kHz取樣，窗長64)5.3.3結(jié)論長窗具有較高的頻率辨別率，較低的時間辨別率；短窗具有較低的頻率辨別率，較高的時間辨別率；窗寬的選擇需折衷考慮；◆語音的基音周期值范圍很大，窗寬選擇應(yīng)考慮該因素。矩形窗和Hamming窗的頻譜特性都具有低通的性質(zhì)?！艚刂诡l率處都較尖銳，◆當(dāng)通帶較窄時（窗較寬），頻譜能很好靠近短時語音譜。窗越寬靠近效果越好。同濟大學(xué)電子與信息工程學(xué)院-13-趙曉群

教授第5章語音信號的頻域分析5.3短時Fourier變換(STFT)的定義和性質(zhì)第5章語音信號的頻域分析5.4STFT的實現(xiàn)STFT的定義：◆將窗函數(shù)的位置參數(shù)n看成是參變量，◆給定n，是連續(xù)變量ω的函數(shù)，為語音段的標(biāo)準(zhǔn)Fourier變換從不同角度來說明STFT，可得不同的實現(xiàn)方法。線性濾波的角度：ω為參變量，給定ω時，是n的函數(shù)。◆重寫定義式：表明：◆卷積實現(xiàn)，w(n)與x(n)e-jωn，◆序列x(n)e-jωn通過沖激響應(yīng)為w(n)的線性濾波器的輸出◆此時，ω看成是固定值。圖5.5：STFT的線性濾波實現(xiàn)同濟大學(xué)電子與信息工程學(xué)院-14-趙曉群

教授第5章語音信號的頻域分析5.4

STFT的實現(xiàn)圖5.5STFT的線性濾波實現(xiàn)w(n)x(n)e-jωnXn(ejωn)圖5.5：STFT的線性濾波實現(xiàn)圖5.6：圖5.5方案的實數(shù)運算◆圖5.6方案原理：

設(shè)：則可計算：同濟大學(xué)電子與信息工程學(xué)院-15-趙曉群

教授第5章語音信號的頻域分析5.4

STFT的實現(xiàn)圖5.5STFT的線性濾波實現(xiàn)w(n)x(n)e-jωnXn(ejω)圖5.6STFT分析用線性濾波實現(xiàn)cosωnan(ω)x(n)

bn(ω)sinωnw(n)w(n)令，代入式

將用

m

表示，得：

◆上式可用圖5.7方案實現(xiàn)；圖5.8：圖5.7方案的實數(shù)運算(推導(dǎo)略)同濟大學(xué)電子與信息工程學(xué)院-16-趙曉群

教授第5章語音信號的頻域分析5.4

STFT的實現(xiàn)圖5.7STFT分析線性濾器的另一種形式

w(n)ejωnx(n)e-jωnXn(ejω)圖5.8用實數(shù)實現(xiàn)圖5.7的方框圖x(n)sinωnw(n)sinωnw(n)cosωn⊕⊕cosωncosωn

an(ω)bn(ω)可推得：◆須要計算︱Xn(ejω)︳時，用圖5.8實現(xiàn)簡潔；◆須要計算an(ω)、bn(ω)時，用圖5.6實現(xiàn)較簡潔。線性濾波實現(xiàn)STFT的主要優(yōu)點：◆利用了成熟的線性濾波器的成果，實現(xiàn)方法特別簡潔?！艟€性濾波分有限沖激響應(yīng)的和無限沖激響應(yīng)的、因果的和非因果的線性濾波方法，◆相應(yīng)地，STFT或時變頻譜分析也可分成有限窗寬和無限窗寬、因果窗和非因果窗等類型。同濟大學(xué)電子與信息工程學(xué)院-17-趙曉群

教授第5章語音信號的頻域分析5.4

STFT的實現(xiàn)第5章語音信號的頻域分析5.5短時Fourier譜的取樣STFT譜：一維時變信號的二維時-頻表示，n和ω的函數(shù)。采樣定理：以不低于其最高頻率兩倍的取樣頻率取樣，由樣本精確復(fù)原出原始信號。STFT的取樣：是一個更困難的問題?！粼跁r-頻變量n和ω上同時進行，并保證不產(chǎn)生混疊失真。同濟大學(xué)電子與信息工程學(xué)院-18-趙曉群

教授第5章語音信號的頻域分析5.5短時Fourier譜的取樣

5.5.1時域取樣STFT線性濾波實現(xiàn)：圖5.5示。

w(n)：窄帶低通濾波器，帶寬為B。則：Xn(ejω)的帶寬也為B。在時域內(nèi)，以2B

速率對Xn(ejω)取樣，不產(chǎn)生混疊失真。

◆Hamming窗時：w(n)的帶寬B=2fs/N，(

fs

取樣頻率，N

窗寬)◆時域內(nèi)的取樣頻率≥

2B=4fs/N?！衾涸O(shè)N=100，fs=10kHz，則取樣頻率≥400Hz，語音信號每輸入25

個樣本計算一次短時譜即可。多數(shù)實際窗函數(shù)，頻帶寬度B

與fs/N

成正比例，即：式中，k

為比例常數(shù)。Hamming窗k=2，矩形窗k=1。在時域內(nèi)，Xn(ejω)的取樣頻率為：同濟大學(xué)電子與信息工程學(xué)院-19-趙曉群

教授第5章語音信號的頻域分析5.5短時Fourier譜的取樣圖5.5STFT的線性濾波實現(xiàn)w(n)x(n)e-jωnXn(ejω)5.5.2頻域取樣Xn(ejω)：角頻率ω的周期函數(shù)，周期2π。◆在2π范圍內(nèi)探討頻域取樣問題。0~2π內(nèi)勻整取樣L點，取樣角頻率ωk=2πk/L，k=0,1,…,L-1探討L取值：◆設(shè)w(n)的窗寬為N。◆由于Xn(ejω)是x(m)w(n-m)的Fourier變換，則其Fourier逆變換的寬度也應(yīng)當(dāng)為N（有限時寬）。頻域內(nèi)，在L個角頻率點上對Xn(ejω)取樣，依據(jù)樣本復(fù)原的信號應(yīng)當(dāng)是x(m)w(n-m)的周期延拓（周期2πk/ωk=L）。使復(fù)原的時域信號不產(chǎn)生混疊失真，要求：◆即：在0~2π范圍內(nèi)，頻域取樣至少有N點。◆例：若窗寬N=100，在頻域中Xn(ejω)的取樣≥100點。同濟大學(xué)電子與信息工程學(xué)院-20-趙曉群

教授第5章語音信號的頻域分析5.5短時Fourier譜的取樣5.5.3時域和頻域的總?cè)右驗椋骸魰r域取樣率：◆頻域取樣率：則：時頻域總?cè)勇剩簁值由窗函數(shù)確定，2k值稱為“過取樣比”。STFT：用數(shù)倍于信號波形取樣率的速率取樣，其代價有時是很值得的。◆同時在時、頻域取樣時，兩個域的取樣率可以相互調(diào)劑，供應(yīng)了敏捷性。欠取樣：可用低于2kfs的取樣率，雖發(fā)生混疊失真，但仍有方法精確復(fù)原出原語音信號（見5.6.2節(jié)）?！羧纾鹤V估計、基音和共振峰分析、數(shù)字譜圖以及聲碼器等應(yīng)用中。同濟大學(xué)電子與信息工程學(xué)院-21-趙曉群

教授第5章語音信號的頻域分析5.5短時Fourier譜的取樣第5章語音信號的頻域分析5.6語音的短時合成技術(shù)語音的短時合成：從STFT樣本中復(fù)原原始語音信號。5.6.1濾波器組相加法當(dāng)ω固定時，STFT的線性濾波說明有兩種；◆Xn(ejω)是序列x(n)e-jωn通過沖激響應(yīng)為w(n)的低通窄帶濾波器產(chǎn)生（見圖5.5）；◆Xn(ejω)是序列x(n)通過沖激響應(yīng)為w(n)ejωn的窄帶帶通濾波器后，再用e-jωn進行調(diào)制產(chǎn)生（見圖5.7）。已有的采樣結(jié)論：◆窗寬為N，頻域內(nèi)對Xn(ejω)進行N點取樣，不引起時域混疊失真?！鬝TFT可以用它在0~2π范圍內(nèi)N個等間隔頻率點ωk=2πk/L，k=0,1,…,L-1上的樣原來代替。同濟大學(xué)電子與信息工程學(xué)院-22-趙曉群

教授第5章語音信號的頻域分析5.6語音的短時合成技術(shù)圖5.9：語音的短時分析-合成系統(tǒng)◆圖5.7的STFT的線性濾波實現(xiàn)方案為圖5.9的左半部分；用N個濾波器（通道）：構(gòu)成的濾波器組進行短時Fourier分析。◆N個帶通濾波器的中心頻率在0~2π范圍內(nèi)是等間隔勻整分布，但也可以是非勻整分布?！舴莿蛘植紶顩r下，需滿足關(guān)于ω=π對稱的條件。同濟大學(xué)電子與信息工程學(xué)院-23-趙曉群

教授第5章語音信號的頻域分析5.6語音的短時合成技術(shù)⊕

傳輸h0(n)h1(n)hN-1(n)圖5.9語音短時分析?合成系統(tǒng)圖短時Fourier分析的合成問題：從短時Fourier分析的結(jié)果復(fù)原出原始語音信號x(n)的方法?！羰且驭豮為中心的帶通信號的低通表示。這說明，從復(fù)原原始信號，應(yīng)當(dāng)將低通信號搬回到帶通的位置去，即將零頻率搬到上去。◆合成原理：第k個通道的輸出應(yīng)乘以，并將N個通道的結(jié)果相加就可得到原始信號x(n)。短時分析?合成系統(tǒng)的輸出（見圖5.9）：◆從x(n)到y(tǒng)(n)的系統(tǒng)的沖激響應(yīng)h(n)和其頻率特性為：式中——分別是h(n)和hk(n)的頻率特性。同濟大學(xué)電子與信息工程學(xué)院-24-趙曉群

教授第5章語音信號的頻域分析5.6語音的短時合成技術(shù)◆W(ejω)——分析窗w(n)的頻率特性。由于，所以：◆W(ejω)的N個等間隔頻率點上取樣為，的逆變換為時間序列w(n)，是周期為N的延拓，即：◆由于，w(n)是寬度為N的有限時寬序列，W(ejω)的頻域取樣點在0~2π范圍內(nèi)有N個，所以，上式的逆變換得到的周期序列沒有重疊失真，其中的一個周期將精確等于w(n)?！袅頽=0，計算w(0)為：同濟大學(xué)電子與信息工程學(xué)院-25-趙曉群

教授第5章語音信號的頻域分析5.6語音的短時合成技術(shù)◆將頻率點

ωk換成另外N個頻率點ω-ωk，代入上頁式，得：◆由式，考慮上式關(guān)系，得：◆可見：聯(lián)系x(n)和y(n)的帶通濾波器組的總的沖激響應(yīng)

所對應(yīng)的頻率特性是一個取決于窗函數(shù)在n=0時的值，而與窗函數(shù)的形式無關(guān)的一個常量?！粲纱丝梢缘玫较鄳?yīng)的沖激響應(yīng)為：◆于是，短時分析?合成系統(tǒng)的輸出為：綜上，短時分析?合成系統(tǒng)的帶通濾波器組的約束條件為：同濟大學(xué)電子與信息工程學(xué)院-26-趙曉群

教授第5章語音信號的頻域分析5.6語音的短時合成技術(shù)5.6.2疊接相加法x(n)的短時譜為Xn(ejω)，是x(m)w(n-m)的Fourier變換；對Xn(ejω)求離散Fourier逆變換，可得x(n)。問題是，計算數(shù)據(jù)只有，而不是Xn(ejω)。公式推導(dǎo)如下：◆假設(shè)窗w(n-m)每次移動R個取樣間隔，即n=rR,r=…,0,1,…。于是可相繼復(fù)原出位于n=0,±R,±2R,..處各窗口內(nèi)的各N個取樣信號值，這些樣本可表示為：是窗口位于n=rR處的的值?！魧⒏鞔翱趦?nèi)復(fù)原出來的信號樣本中，相互重疊的樣本相加，得：同濟大學(xué)電子與信息工程學(xué)院-27-趙曉群

教授第5章語音信號的頻域分析5.6語音的短時合成技術(shù)◆假如w(m)是有限窗寬，且在時域內(nèi)滿足取樣定理，（矩形窗R≤N/2，Hamming窗R≤N/4）可以證明對于任何m值，恒有于是，有：可見，用疊接相加法的主要運算是逆離散Fourier變換。圖5.10：該算法流程圖。圖5.11：前5段語音疊接相加的狀況。同濟大學(xué)電子與信息工程學(xué)院-28-趙曉群

教授第5章語音信號的頻域分析5.6語音的短時合成技術(shù)圖5.10短時合成疊接相加法流程圖n=N/4,r=1x(n)w(rR-n)補點構(gòu)成L點序列L點FFT短時譜修正L點逆FFTy(m)=y(m)+yr(m)m=n-N+1,…,nn=n+N/4,r=r+1w(n)y(m)=0,所有m窗寬N加Hamming窗取R=N/4注：濾波器組相加法基于短時頻譜的線性濾波說明導(dǎo)出；疊接相加法基于短時頻譜的標(biāo)準(zhǔn)Fourier變換說明導(dǎo)；兩種算法恰成一種對偶關(guān)系。同濟大學(xué)電子與信息工程學(xué)院-29-趙曉群

教授第5章語音信號的頻域分析5.6語音的短時合成技術(shù)圖5.11用疊接相加法合成語音的示意圖第5章語音信號的頻域分析5.7基于FFT的短時Fourier分析x(m)的短時Fourier變換Xn(ejω)經(jīng)時頻采樣后，為離散信號，經(jīng)適當(dāng)處理，可以用快速FFT完成計算。推導(dǎo)過程（略）。計算步驟：◆由x(m)構(gòu)造序列xn(m)=x(n+m)w(-m)；◆依據(jù)m=Lr+q,(q=0,1,…,L-1;r=0,1,…,[N/L]-1)，將xn(m)分成長為L的[N/L]個短段，并將全部短段各對應(yīng)元素相加，得到長為L的序列un(q)；◆將un(q)循環(huán)移位n，得到un([m-n]L),(m=0,1,…,L)；◆用FFT計算以un([m-n]L)的L點DFT，得到同濟大學(xué)電子與信息工程學(xué)院-30-趙曉群

教授第5章語音信號的頻域分析5.7基于FFT的短時Fourier分析

第5章語音信號的頻域分析5.8頻域基音檢測頻域基音檢測：計算困難性較高。目前DSP技術(shù)，計算困難性變得不太重要。已用于編碼標(biāo)準(zhǔn)中，如海事衛(wèi)星系統(tǒng)INMARSAT-M。5.8.1諧波峰值基音檢測法頻域基音檢測方法：抽取基頻上的頻譜峰值。要求：語音中存在第一諧波重量；但預(yù)處理等可能丟失信息，更實際的方法：◆檢測全部的諧波峰值，◆運用這些諧波的公約數(shù)或者相鄰諧波的距離來測量基頻?？梢赃\用梳狀濾波器完成匹配工作。同濟大學(xué)電子與信息工程學(xué)院-31-趙曉群

教授第5章