短時傅里葉分析

關(guān)于短時傅里葉分析1第1頁，講稿共54頁，2023年5月2日，星期三24.1短時傅立葉變換--概述第2頁，講稿共54頁，2023年5月2日，星期三34.2.1短時傅立葉變換--定義定義：短時傅立葉變換也叫短時譜（加窗的方式）短時譜的特點(diǎn)：1)時變性：既是角頻率ω的函數(shù)又是時間n的函數(shù)2)周期性：是關(guān)于ω的周期函數(shù)，周期為2π短時傅立葉變換主要用于語音分析合成系統(tǒng)，由其逆變換可以精確地恢復(fù)語音波形；第3頁，講稿共54頁，2023年5月2日，星期三4短時傅里葉變換是窗選語音信號的標(biāo)準(zhǔn)傅里葉變換。下標(biāo)n區(qū)別于標(biāo)準(zhǔn)的傅里葉變換。w(n-m)是窗口函數(shù)序列。不同的窗口函數(shù)序列，將得到不同的傅里葉變換的結(jié)果。短時傅里葉變換有兩個自變量：n和ω，所以它既是關(guān)于時間n的離散函數(shù)，又是關(guān)于角頻率ω的連續(xù)函數(shù)。與離散傅里葉變換和連續(xù)傅里葉變換的關(guān)系一樣，若令ω＝2πk/N，則得離散的短時傅里葉變換,它實際上是在頻域的取樣。4.2.1短時傅立葉變換--定義第4頁，講稿共54頁，2023年5月2日，星期三5這兩個公式都有兩種解釋：①當(dāng)n固定不變時，它們是序列w(n-m)x(m)(-∞＜m＜∞)的標(biāo)準(zhǔn)傅里葉變換或標(biāo)準(zhǔn)的離散傅里葉變換。此時與標(biāo)準(zhǔn)傅里葉變換具有相同的性質(zhì)，而Xn(k)與標(biāo)準(zhǔn)的離散傅里葉變換具有相同的特性。②當(dāng)ω或k固定時，和Xn(k)看做是時間n的函數(shù)。它們是信號序列和窗口函數(shù)序列的卷積，此時窗口的作用相當(dāng)于一個濾波器。4.2.1短時傅立葉變換--定義第5頁，講稿共54頁，2023年5月2日，星期三64.2.1短時傅立葉變換--定義頻率分辨率Δf、取樣周期T、加窗寬度N三者關(guān)系：窗形狀對短時傅立葉變換的影響 －矩形窗——主瓣窄，衰減慢； －漢明窗——主瓣寬，衰減快；窗寬對短時頻譜的影響－窗寬長——頻率分辨率高，能看到頻譜快變化；－窗寬短——頻率分辨率低，看不到頻譜的快變化；第6頁，講稿共54頁，2023年5月2日，星期三74.2.2短時傅立葉變換--標(biāo)準(zhǔn)傅里葉變換的解釋短時傅里葉變換可寫為當(dāng)n取不同值時窗w(n-m)沿著x(m)序列滑動，所以w(n-m)是一個“滑動的”窗口。由于窗口是有限長度的，滿足絕對可和條件，所以這個變換是存在的。與序列的傅里葉變換相同，短時傅里葉變換隨著ω作周期變化，周期為2π。第7頁，講稿共54頁，2023年5月2日，星期三84.2.2短時傅立葉變換--標(biāo)準(zhǔn)傅里葉變換的解釋第8頁，講稿共54頁，2023年5月2日，星期三9根據(jù)功率譜定義，可以寫出短時功率譜與短時傅里葉變換之間的關(guān)系式中*表示復(fù)共軛運(yùn)算。同時功率譜是短時自相關(guān)函數(shù)的傅里葉變換。下面將短時傅里葉變換寫為另一種形式。設(shè)信號序列和窗口序列的標(biāo)準(zhǔn)傅里葉變換為

均存在。當(dāng)n取固定值時，w(n-m)的傅里葉變換為

4.2.2短時傅立葉變換--標(biāo)準(zhǔn)傅里葉變換的解釋第9頁，講稿共54頁，2023年5月2日，星期三104.2.2短時傅立葉變換--標(biāo)準(zhǔn)傅里葉變換的解釋根據(jù)傅里葉變換的頻域卷積定理，有第10頁，講稿共54頁，2023年5月2日，星期三11用波形乘以窗函數(shù)，不僅為了在窗口邊緣兩端不引起急劇變化，使波形緩慢降為零，而且還相當(dāng)于對信號譜與窗函數(shù)的傅里葉變換進(jìn)行卷積。為此窗函數(shù)應(yīng)具有如下特性：①頻率分辨率高，即主瓣狹窄、尖銳；（矩形窗）②通過卷積，在其他頻率成分產(chǎn)生的頻譜泄漏少，即旁瓣衰減大。（海明窗）這兩個要求實際上相互矛盾，不能同時滿足。窗口寬度N、取樣周期T和頻率分辨率Δf之間存在下列關(guān)系Δf＝1/NT可見：窗口寬度↑→頻率分辨率↑時間分辨率↓窗口寬度↓→頻率分辨率↓時間分辨率↑，因而二者是矛盾的。4.2.2短時傅立葉變換--標(biāo)準(zhǔn)傅里葉變換的解釋第11頁，講稿共54頁，2023年5月2日，星期三124.2.2短時傅立葉變換--標(biāo)準(zhǔn)傅里葉變換的解釋第12頁，講稿共54頁，2023年5月2日，星期三13第一個零點(diǎn)位置為2π/N，顯然它與窗口寬度成反比。矩形窗，雖然頻率分辨率很高，但由于第一旁瓣的衰減只有13.2dB，所以不適合用于頻譜成分動態(tài)范圍很寬的語音分析中。海明窗在頻率范圍中的分辨率較高，而且由于旁瓣的衰減大于42dB，具有頻譜泄漏少的優(yōu)點(diǎn)，頻譜中高頻分量弱、波動小，因而得到較平滑的譜。漢寧窗是高次旁瓣低，第一旁瓣衰減只有30dB。對語音波形乘以海明窗，壓縮了接近窗兩端的部分波形，等效于用作分析的區(qū)間縮短40%左右，因此，頻率分辨率下降40%左右。所以，即使在基音周期性明顯的濁音頻譜分析中，乘以合適的窗函數(shù)，也能抑制基音周期與分析區(qū)間的相對相位關(guān)系的變動影響，從而得到穩(wěn)定的頻譜。因為乘以窗函數(shù)將導(dǎo)致分幀區(qū)間縮短，所以為跟蹤隨時間變化的頻譜，要求一部分區(qū)間重復(fù)移動。4.2.2短時傅立葉變換--標(biāo)準(zhǔn)傅里葉變換的解釋第13頁，講稿共54頁，2023年5月2日，星期三144.2.2短時傅立葉變換--標(biāo)準(zhǔn)傅里葉變換的解釋第14頁，講稿共54頁，2023年5月2日，星期三15其中圖(a)是海明窗的窗選信號，圖(b)是其對數(shù)功率譜；圖(c)是矩形窗下的窗選信號，圖(d)是其對數(shù)功率譜。從圖(a)可以明顯看出時間波形的周期性，此周期性同樣在圖(b)中表現(xiàn)出來。圖中基頻及其諧波在頻譜中表現(xiàn)為等頻率間隔的窄峰。圖(b)中的頻譜大約在300～400Hz附近有較強(qiáng)的第一共振峰，而約在2000Hz附近有一個對應(yīng)于第二、三共振峰的寬峰。此外，還能在3800Hz附近看到第四個共振峰。最后，由于聲門脈沖譜的高頻衰減特性，頻譜在高頻部分表現(xiàn)出下降的趨勢。給出了N＝500時(取樣率10kHz，窗持續(xù)時間50ms)時直角窗及海明窗下濁音語音的頻譜。4.2.2短時傅立葉變換--標(biāo)準(zhǔn)傅里葉變換的解釋第15頁，講稿共54頁，2023年5月2日，星期三16將圖(b)和圖(d)比較可看出它們在基音諧波、共振峰結(jié)構(gòu)以及頻譜粗略形狀上的相似性，同樣也能看到其頻譜之間的差別。最明顯的是圖(d)中基音諧波尖銳度增加，這主要是由于矩形窗頻率分辨率較高。另一差別是矩形窗較高的旁瓣產(chǎn)生了一個類似于噪聲的頻譜。這是由于相鄰諧波的旁瓣在諧波間隔內(nèi)的相互作用(有時加強(qiáng)有時抵消)，因而在諧波間產(chǎn)生了隨機(jī)變化。這種相鄰諧波間不希望有的“泄漏”抵消了其主瓣較窄的優(yōu)點(diǎn)，因此在語音頻譜分析中極少采用矩形窗。給出了N＝500時(取樣率10kHz，窗持續(xù)時間50ms)時直角窗及海明窗下濁音語音的頻譜。4.2.2短時傅立葉變換--標(biāo)準(zhǔn)傅里葉變換的解釋第16頁，講稿共54頁，2023年5月2日，星期三17圖4-3給出了N＝50的比較結(jié)果(取樣率與圖4-2中相同，因而窗口持續(xù)時間為5ms)。由于窗口很短，因而時間序列(圖(a)和(c))及信號頻譜(圖(b)和(d))均不能反映信號的周期性。與圖4-2相反，圖4-3只大約在400、1400及2200Hz頻率上有少量較寬的峰值。它們與窗內(nèi)語音段的前三個共振峰相對應(yīng)。比較圖4-3(b)及(d)的頻譜后，再次表明矩形窗可以得到較高的頻率分辨率。4.2.2短時傅立葉變換--標(biāo)準(zhǔn)傅里葉變換的解釋第17頁，講稿共54頁，2023年5月2日，星期三18結(jié)論:窗口寬度與短時傅里葉變換特性之間的關(guān)系用窄窗可得到好的時間分辨率用寬窗可以得到好的頻率分辨率。但由于采用窗的目的是要限制分析的時間以使其中波形的特性沒有顯著變化，因而要折衷考慮。

4.2.2短時傅立葉變換--標(biāo)準(zhǔn)傅里葉變換的解釋第18頁，講稿共54頁，2023年5月2日，星期三19w(n)----------一個濾波器的單位函數(shù)響應(yīng)

-----該濾波器的輸出x(n)------濾波器的輸入過程:調(diào)制+濾波4.2.3短時傅立葉變換--濾波器的解釋一圖4-4短時傅里葉變換濾波器解釋的第一種形式(a)復(fù)數(shù)運(yùn)算第19頁，講稿共54頁，2023年5月2日，星期三204.2.3短時傅立葉變換--濾波器的解釋一用線性濾波實現(xiàn)短時傅立葉變換的第一種形式第20頁，講稿共54頁，2023年5月2日，星期三214.2.3短時傅立葉變換--濾波器的解釋二圖4-4短時傅里葉變換濾波器解釋的第一種形式(b)只有實數(shù)運(yùn)算第21頁，講稿共54頁，2023年5月2日，星期三22w(n)w(n)是窄帶低通濾波器假設(shè)

將x(n)的頻譜向左搬移了，或等效將頻率上的頻譜搬移到了零頻率處。因此為使輸出端有：w(n)是窄帶低通濾波器第22頁，講稿共54頁，2023年5月2日，星期三23第23頁，講稿共54頁，2023年5月2日，星期三24令令2.實數(shù)運(yùn)算實現(xiàn)短時譜的線性濾波表示窄帶帶通濾波器第24頁，講稿共54頁，2023年5月2日，星期三25

＋＋＋－

實數(shù)運(yùn)算實現(xiàn)短時譜的線性濾波表示第25頁，講稿共54頁，2023年5月2日，星期三26

為窄帶低通濾波器。第一種形式為低通濾波器；由于第二種形式中的濾波器單位函數(shù)響應(yīng)為，所以它為帶通濾波器。4.2.3短時傅立葉變換--濾波器的解釋第26頁，講稿共54頁，2023年5月2日，星期三27如果將w(n)的濾波運(yùn)算除外，短時傅里葉變換實際上是對信號的幅度調(diào)制。第一種形式是在輸入端進(jìn)行調(diào)制，x(n)乘以相當(dāng)于將x(n)的頻譜從ω移到零頻處；而w(n)(直角窗或海明窗等)為窄帶低通濾波器。后一種形式是在輸出端進(jìn)行調(diào)制，此時先對信號進(jìn)行帶通濾波，濾波器的單位函數(shù)響應(yīng)為w(n),而調(diào)制后輸出的是中心頻率為ω的短時譜。4.2.3短時傅立葉變換--濾波器的解釋第27頁，講稿共54頁，2023年5月2日，星期三28

恢復(fù)出x(n)的過程稱為短時傅里葉反變換，是由短時譜合成語音信號的問題由于是n和ω的二維函數(shù)，因而必須對在所涉及的兩個變量，即時域及頻域內(nèi)進(jìn)行取樣，取樣率的選取應(yīng)保證不產(chǎn)生混疊失真，從而能夠恢復(fù)原始語音信號x(n)。4.3短時傅立葉變換的取樣率第28頁，講稿共54頁，2023年5月2日，星期三29當(dāng)ω為固定值時，是一個單位函數(shù)響應(yīng)為w(n)的低通濾波器的輸出。設(shè)低通濾波器的帶寬為BHz，則具有與窗相同的帶寬。根據(jù)取樣定理，的取樣率至少為2B才不致混疊。低通濾波器的帶寬由w(n)的傅里葉變換的第一個零點(diǎn)位置ω01決定，因而B值取決于窗的形狀與長度。4.3短時傅立葉變換的取樣率---時間取樣率第29頁，講稿共54頁，2023年5月2日，星期三30正弦序列的表達(dá)式為幅值A(chǔ)、初相φ的含義與模擬正弦信號相同正弦序列的數(shù)字角頻率Ω0的含義與一般模擬信號模擬角頻率ω0的概念不同。離散信號定義的時間為kT，顯然有Ω0=ω0T，模擬角頻率ω0的單位是rad/s，數(shù)字角頻Ω0的單位為rad/s·s=rad。Ω0表示相鄰兩個樣值間弧度的變化量。

4.3短時傅立葉變換的取樣率---時間取樣率第30頁，講稿共54頁，2023年5月2日，星期三31以直角窗和海明窗為例，其第一個零點(diǎn)位置分別為2π／N和4π／N數(shù)字角頻率與模擬頻率F之間的關(guān)系為ω＝2πFT＝2πF／fs(其中T是信號取樣周期，fs是取樣率)，因而用模擬頻率表示的的帶寬為4.3短時傅立葉變換的取樣率---時間取樣率第31頁，講稿共54頁，2023年5月2日，星期三32每幀中語音信號個數(shù)為窗長N4.3短時傅立葉變換的取樣率---頻率取樣率第32頁，講稿共54頁，2023年5月2日，星期三334.3短時傅立葉變換的取樣率---總?cè)勇实?3頁，講稿共54頁，2023年5月2日，星期三344.3短時傅立葉變換的取樣率---總?cè)勇实?4頁，講稿共54頁，2023年5月2日，星期三354.4語音信號的短時綜合--濾波器組求和法

離散短時傅立葉反變換

離散短時傅立葉變換

離散短時傅立葉反變換在什么條件下由y(n)＝x(n)第35頁，講稿共54頁，2023年5月2日，星期三36一、濾波器組相加法窄帶帶通濾波器假設(shè)第36頁，講稿共54頁，2023年5月2日，星期三37用帶通濾波器組進(jìn)行短時傅立葉分析N個中心頻率處于的濾波器組成的濾波器組第37頁，講稿共54頁，2023年5月2日，星期三38第38頁，講稿共54頁，2023年5月2日，星期三392.頻域條件第39頁，講稿共54頁，2023年5月2日，星期三40第40頁，講稿共54頁，2023年5月2日，星期三410第41頁，講稿共54頁，2023年5月2日，星期三42

由于是寬度為N的有限時寬序列，而的頻率取樣在為N個。根據(jù)的周期性，故：第42頁，講稿共54頁，2023年5月2日，星期三434.4語音信號的短時綜合--快速傅里葉變換求和法第43頁，講稿共54頁，2023年5月2日，星期三444.4語音信號的短時綜合--快速傅里葉變換求和法第44頁，講稿共54頁，2023年5月2日，星期三454.4語音信號的短時綜合--快速傅里葉變換求和法第45頁，講稿共54頁，2023年5月2日，星期三464.4語音信號的短時綜合--快速傅里葉變換求和法第46頁，講稿共54頁，2023年5月2日，星期三474.4語音信號的短時綜合--快速傅里葉變換求和法第47頁，講稿共54頁，2023年5月2日，星期三48語音的時域分析和頻域分析是語音分析的兩種重要方法。這兩種方法均有局限性：時域分析對語音信號的頻率特性沒有直觀的了解；頻域特性中又沒有語音信號隨時間的變化關(guān)系。時間依賴于傅里葉分析的顯示圖形稱為語譜圖。語譜圖中顯示了大量的與語音的語句特性有關(guān)的信息，它綜合了頻譜圖和時域波形的優(yōu)點(diǎn)，明顯地顯示出語音頻譜隨時間的變化情況。4.5語譜圖第48頁，講稿共54頁，2023年5月2日，星期三49語譜圖實際上是一種動態(tài)的頻譜。語譜圖的縱軸為頻率，橫軸為時間。任一給定頻率成分在給定時刻的強(qiáng)弱用點(diǎn)的黑白度來表示，頻譜值大則記錄得濃黑一些，反之則淺淡一些。用語譜圖分析語音又稱為語譜分析，記錄語譜圖的儀器就是語譜儀。語譜儀實際上是使一個帶通濾濾器的中心頻率發(fā)生連續(xù)變化，來進(jìn)行語音的頻率分析。帶通濾波器有兩種帶寬：窄帶為45Hz，寬帶為300Hz。窄帶語譜圖有良好的頻率分辨率及較差的時間分辨率；而寬帶語譜圖具有良好的時間分辨率及較差的頻率分辨率。窄