語(yǔ)音信號(hào)處理第4講

1、4.1概述4.2語(yǔ)音分幀4.3語(yǔ)音信號(hào)的時(shí)域分析4.4語(yǔ)音信號(hào)的頻域分析語(yǔ)音信號(hào)分析語(yǔ)音信號(hào)分析 語(yǔ)音信號(hào)處理的前提和基礎(chǔ)，只有分析出可表示語(yǔ)音信語(yǔ)音信號(hào)處理的前提和基礎(chǔ)，只有分析出可表示語(yǔ)音信號(hào)特征的參數(shù)，才有可能利用這些參數(shù)進(jìn)行高效的語(yǔ)音通信、語(yǔ)音合成號(hào)特征的參數(shù)，才有可能利用這些參數(shù)進(jìn)行高效的語(yǔ)音通信、語(yǔ)音合成和語(yǔ)音識(shí)別等處理。和語(yǔ)音識(shí)別等處理。貫穿于語(yǔ)音分析全過(guò)程的是貫穿于語(yǔ)音分析全過(guò)程的是“短時(shí)分析技術(shù)短時(shí)分析技術(shù)” 語(yǔ)音信號(hào)從整體來(lái)看其特征及表征其本質(zhì)特征的參數(shù)均是隨時(shí)間而語(yǔ)音信號(hào)從整體來(lái)看其特征及表征其本質(zhì)特征的參數(shù)均是隨時(shí)間而變化的，所以它是一個(gè)變化的，所以它是一個(gè)非平衡態(tài)過(guò)程

2、非平衡態(tài)過(guò)程，不能用處理平衡信號(hào)的數(shù)字信號(hào)，不能用處理平衡信號(hào)的數(shù)字信號(hào)處理技術(shù)對(duì)其進(jìn)行分析處理。處理技術(shù)對(duì)其進(jìn)行分析處理。 但是在一個(gè)短時(shí)間范圍內(nèi)（一般認(rèn)為在但是在一個(gè)短時(shí)間范圍內(nèi)（一般認(rèn)為在10-30ms10-30ms的短時(shí)間內(nèi)），其的短時(shí)間內(nèi)），其特性基本保持不變即相對(duì)穩(wěn)定，因而可以將其看作是一個(gè)準(zhǔn)穩(wěn)態(tài)過(guò)程，特性基本保持不變即相對(duì)穩(wěn)定，因而可以將其看作是一個(gè)準(zhǔn)穩(wěn)態(tài)過(guò)程，即語(yǔ)音信號(hào)具有即語(yǔ)音信號(hào)具有短時(shí)平穩(wěn)性短時(shí)平穩(wěn)性。 根據(jù)所分析出的參數(shù)的性質(zhì)的不同可以分為： 時(shí)域分析、頻域分析、倒頻域分析,線性預(yù)測(cè)分析等;分析方法的不同： 模型分析方法和非模型分析方法不論是分析怎么樣的參數(shù)以及彩什么分

3、析方法，在按幀進(jìn)行語(yǔ)音分析，提取語(yǔ)音參數(shù)之前，有一些經(jīng)常使用的、共同的短時(shí)分析技術(shù)必須預(yù)先進(jìn)行，如語(yǔ)音信號(hào)的數(shù)字化、語(yǔ)音信號(hào)的端點(diǎn)檢測(cè)、預(yù)加重、加窗和分幀等，這些也是不可忽視的語(yǔ)音信號(hào)分析的關(guān)鍵技術(shù)。 4.2 4.2 語(yǔ)音分幀語(yǔ)音分幀進(jìn)行過(guò)預(yù)加重?cái)?shù)字濾波處理后，接下來(lái)就要進(jìn)行加窗分幀處理。一般每秒的幀數(shù)約為33-100幀，視實(shí)際情況而定。分幀雖然可以采用連續(xù)分段的方法，但一般要采用如圖3-1所示的交疊分段的方法，這是為了使幀與幀之間平滑過(guò)渡，保持其連續(xù)性。前一幀和后一幀的交疊部分稱為幀移。幀移與幀長(zhǎng)的比值一般取為0-1/2。分幀是用可移動(dòng)的有限長(zhǎng)度窗口進(jìn)行加權(quán)的方法來(lái)實(shí)現(xiàn)的，這就是用窗函數(shù)(n

4、)來(lái)乘s(n)，從而形成加窗語(yǔ)音信號(hào)s(n)=s(n) (n)。 語(yǔ)音分幀語(yǔ)音分幀幀長(zhǎng)與幀移： 取的點(diǎn)數(shù)為幀長(zhǎng)，乘以采樣周期得幀長(zhǎng)時(shí)間 兩幀間隔為幀移兩幀一定要有重疊，否則有參數(shù)突變 在語(yǔ)音信號(hào)數(shù)字處理中常用的窗函數(shù)是矩形窗和漢明窗等，它們的表達(dá)式如下（其中N為幀長(zhǎng)）： 矩形窗：矩形窗： 漢明窗：漢明窗：elsenNnn, 0) 1(0, 1)(elsenNnNnn, 0) 1(0),1/(2cos46. 054. 0)( 語(yǔ)音分幀語(yǔ)音分幀1.1.窗口的形狀窗口的形狀 雖然，不同的短時(shí)分析方法(時(shí)域、頻域、倒頻域分析)以及求取不同的語(yǔ)音特征參數(shù)可能對(duì)窗函數(shù)的要求不盡一樣， 一般來(lái)講，一個(gè)好的窗

5、函數(shù)的標(biāo)準(zhǔn)是：在時(shí)域因?yàn)槭钦Z(yǔ)音波形乘以窗函數(shù)，所以要減小時(shí)間窗兩端的坡度，使窗口邊緣兩端不引起急劇變化而平滑過(guò)渡到零，這樣可以使截取出的語(yǔ)音波形緩慢降為零，減小語(yǔ)音幀的截?cái)嘈?yīng)；在頻域要有較寬的3dB帶寬以及較小的邊帶最大值。 語(yǔ)音分幀語(yǔ)音分幀2.2.窗口的長(zhǎng)度采樣周期Ts=1/fs，窗口長(zhǎng)度N和頻率分辨率f之間存在下列關(guān)系：f=1/NTs可見(jiàn)，采樣周期一定時(shí)，f隨窗口寬度N的增加而減小，即頻率分辨率相應(yīng)得到提高，但同時(shí)時(shí)間分辨率降低；如果窗口取短，頻率分辨率下降，而時(shí)間分辨率提高，因而二者是矛盾的。應(yīng)該根據(jù)不同的需要選擇合適的窗口長(zhǎng)度。 語(yǔ)音分幀語(yǔ)音分幀有時(shí)窗口長(zhǎng)度的選擇，更重要的是要考慮語(yǔ)

6、音信號(hào)的基音周期。通常認(rèn)為在一個(gè)語(yǔ)音幀內(nèi)應(yīng)包含17個(gè)基音周期。然而不同人的基音周期變化很大，從女性和兒童的2ms到老年男子的14ms(即基音頻率的變化范圍為50070Hz)，所以N的選擇比較困難。通常在10kHz取樣頻率下，N折中選擇為100200點(diǎn)為宜(即1020ms持續(xù)時(shí)間)。這樣，經(jīng)過(guò)上面介紹的處理過(guò)程，語(yǔ)音信號(hào)就已經(jīng)被分割成一幀一幀的加過(guò)窗函數(shù)的短時(shí)信號(hào)，然后再把每一個(gè)短時(shí)語(yǔ)音幀看成平穩(wěn)的隨機(jī)信號(hào)，利用數(shù)字信號(hào)處理技術(shù)來(lái)提取語(yǔ)音特征參數(shù)。在進(jìn)行處理時(shí)，按幀從數(shù)據(jù)區(qū)中取出數(shù)據(jù)，處理完成后再取下一幀，等等，最后得到由每一幀參數(shù)組成的語(yǔ)音特征參數(shù)的時(shí)間序列。 語(yǔ)音信號(hào)的時(shí)域分析就是分析和提取

7、語(yǔ)音信號(hào)的時(shí)域參數(shù)。進(jìn)行語(yǔ)音分析時(shí)，最先接觸到并且也是最直觀的是它的時(shí)域波形。語(yǔ)音信號(hào)本身就是時(shí)域信號(hào)， 時(shí)域分析是最早使用，也是應(yīng)用最廣泛的一種分析方法，這種方法直接利用語(yǔ)音信號(hào)的時(shí)域波形。時(shí)域分析通常用于最基本的參數(shù)分析及應(yīng)用，如語(yǔ)音的分割、預(yù)處理、大分類等。特點(diǎn)是：表示語(yǔ)音信號(hào)比較直觀、物理意義明確。實(shí)現(xiàn)起來(lái)比較簡(jiǎn)單、運(yùn)算量少。可以得到語(yǔ)音的一些重要的參數(shù)。只使用示波器等通用設(shè)備，使用較為簡(jiǎn)單等。 短時(shí)平均能量及含義短時(shí)平均能量：每區(qū)一個(gè)n，得到一個(gè)112200( )( ) ()NNnnmmExmm x nmnE 短時(shí)能量及短時(shí)平均幅度分析短時(shí)能量及短時(shí)平均幅度分析E En n是一個(gè)度量

8、語(yǔ)音信號(hào)幅度值變化的函數(shù)，但它有一個(gè)缺陷，是一個(gè)度量語(yǔ)音信號(hào)幅度值變化的函數(shù)，但它有一個(gè)缺陷，即它對(duì)高電平非常敏感（因?yàn)樗?jì)算時(shí)用的是信號(hào)的平方即它對(duì)高電平非常敏感（因?yàn)樗?jì)算時(shí)用的是信號(hào)的平方) )。短時(shí)平均幅度函數(shù)短時(shí)平均幅度函數(shù)M Mn n，它定義為：它定義為：M Mn n也是一幀語(yǔ)音信號(hào)能量大小的表征，它與也是一幀語(yǔ)音信號(hào)能量大小的表征，它與E En n的區(qū)別在于計(jì)的區(qū)別在于計(jì)算時(shí)小取樣值和大取樣值不會(huì)因取平方而造成較大差異。算時(shí)小取樣值和大取樣值不會(huì)因取平方而造成較大差異。10)(NmnnmxM（1）區(qū)分清/濁音： 大，對(duì)應(yīng)濁音， 小，對(duì)應(yīng)清音。（2）在SNR高的情況下，能進(jìn)行有聲/

9、無(wú)聲判決 無(wú)聲時(shí)，背景噪聲的 小 有聲時(shí)， 顯著增大。判決時(shí)可設(shè)置一個(gè)門限（3）大致能定出濁音變?yōu)榍逡舻臅r(shí)刻，或反之。存在的問(wèn)題：短時(shí)能量函數(shù)對(duì)信號(hào)電平值過(guò)于敏感，在實(shí)際應(yīng)用中（如定點(diǎn)設(shè)備）很容易溢出。此時(shí)可以用平均幅度函數(shù)代替，單對(duì)清/濁音，有/無(wú)聲 的幅度差不如短時(shí)能量明顯。 ,nnE M,nnE M,nnE M,nnE M 短時(shí)過(guò)零率（短時(shí)過(guò)零率（ZCRZCR）分析）分析短時(shí)過(guò)零率：一幀語(yǔ)音中語(yǔ)音信號(hào)波形穿過(guò)橫軸短時(shí)過(guò)零率：一幀語(yǔ)音中語(yǔ)音信號(hào)波形穿過(guò)橫軸( (零電平零電平) )的的次數(shù)。次數(shù)。對(duì)于連續(xù)語(yǔ)音信號(hào)，過(guò)零即意味著時(shí)域波形通過(guò)時(shí)間軸；對(duì)于連續(xù)語(yǔ)音信號(hào)，過(guò)零即意味著時(shí)域波形通過(guò)時(shí)間

10、軸；對(duì)于離散信號(hào)，如果相鄰的取樣值改變符號(hào)則稱為過(guò)零。對(duì)于離散信號(hào)，如果相鄰的取樣值改變符號(hào)則稱為過(guò)零。過(guò)過(guò)零率就是樣本改變符號(hào)的次數(shù)零率就是樣本改變符號(hào)的次數(shù)。 短時(shí)過(guò)零率分析短時(shí)過(guò)零率分析定義語(yǔ)音信號(hào)定義語(yǔ)音信號(hào)x xn n(m)(m)的的短時(shí)過(guò)零率短時(shí)過(guò)零率Z Zn n為：為：式中，式中，sgnsgn是符號(hào)函數(shù)，即是符號(hào)函數(shù)，即10)1(sgn)(sgn21NmnnnmxmxZ) 0(, 1) 0(, 1sgnxxx 短時(shí)過(guò)零率分析短時(shí)過(guò)零率分析(1)(1)區(qū)分清區(qū)分清/ /濁音：濁音： 清音平均過(guò)零率高，集中在高頻端清音平均過(guò)零率高，集中在高頻端 濁音平均過(guò)零率低，集中在低頻端濁音平均

11、過(guò)零率低，集中在低頻端(2)(2)從背景噪聲中找出是否有語(yǔ)音。以及語(yǔ)音的起點(diǎn)。從背景噪聲中找出是否有語(yǔ)音。以及語(yǔ)音的起點(diǎn)。清音隨機(jī)噪聲，高頻濁音周期信號(hào)，低頻 短時(shí)過(guò)零率分析短時(shí)過(guò)零率分析在實(shí)際應(yīng)用中，短時(shí)平均過(guò)零率容易受到A/D轉(zhuǎn)換的直流偏移、50Hz交流電源的干擾以及噪聲的影響。減少這些干擾可以有兩種方法:(1)采用帶通濾波器消除信號(hào)中的直流和50Hz低頻分量(2)用過(guò)門限率來(lái)修改過(guò)零率，減少隨機(jī)噪聲的影響過(guò)門限率反應(yīng)了穿過(guò)正負(fù)門限的次數(shù)，如果存在隨機(jī)噪聲，只要信號(hào)沒(méi)有超過(guò)-T,T的范圍，就沒(méi)有過(guò)零率的產(chǎn)生 短時(shí)相關(guān)分析短時(shí)相關(guān)分析 相關(guān)分析是一種常用的時(shí)域波形分析方法，并有自相關(guān)和互相關(guān)

12、之分。這里主要討論自相關(guān)函數(shù)。 自相關(guān)函數(shù)具有一些性質(zhì)，如它是偶函數(shù)；假設(shè)序列具有周期性，則其自相關(guān)函數(shù)也是同周期的周期函數(shù)等。可以應(yīng)用于語(yǔ)音信號(hào)的時(shí)域分析中。 在語(yǔ)音信號(hào)分析中，采用的是短時(shí)自相關(guān)函數(shù)。 1 1短時(shí)自相關(guān)函數(shù)短時(shí)自相關(guān)函數(shù) 定義語(yǔ)音信號(hào)定義語(yǔ)音信號(hào)x xn n(m)(m)的的短時(shí)自相關(guān)函數(shù)短時(shí)自相關(guān)函數(shù)R Rn n(k)(k)的計(jì)算式如下：的計(jì)算式如下：這里這里K K是最大的延遲點(diǎn)數(shù)。是最大的延遲點(diǎn)數(shù)。 短時(shí)自相關(guān)函數(shù)具有以下短時(shí)自相關(guān)函數(shù)具有以下性質(zhì)性質(zhì)：(1)(1)如果如果x xn n(m)(m)是周期的是周期的( (設(shè)周期為設(shè)周期為N)N)，則自相關(guān)函數(shù)是同周期的周期函

13、數(shù)，則自相關(guān)函數(shù)是同周期的周期函數(shù)， 即即R Rn n(k)=R(k)=Rn n(k+N(k+Np p) )。(2)R(2)Rn n(k)(k)是偶函數(shù)，即是偶函數(shù)，即R Rn n(k)=R(k)=Rn n(-k)(-k)。(3)(3)當(dāng)當(dāng)k=0k=0時(shí)，自相關(guān)函數(shù)具有最大值，即時(shí)，自相關(guān)函數(shù)具有最大值，即R Rn n(0)|R(0)|Rn n(k)|(k)|，并且，并且R Rn n(0)(0)等于等于確定性信號(hào)序列的能量或隨機(jī)性序列的平均功率。確定性信號(hào)序列的能量或隨機(jī)性序列的平均功率。1010( )( )()=( )()(),)0NknnnmNkmR kx m x mkx mnx nmkm

14、kKmk 1 1短時(shí)自相關(guān)函數(shù)短時(shí)自相關(guān)函數(shù)短時(shí)自相關(guān)函數(shù)存在的問(wèn)題：隨著k的變化，參加運(yùn)算的項(xiàng)減少。極限k=N-1時(shí)無(wú)運(yùn)算！改進(jìn)方法：兩個(gè)不同長(zhǎng)度的窗2.2.修正的短時(shí)自相關(guān)函數(shù)修正的短時(shí)自相關(guān)函數(shù)矩形窗矩形窗1 1：矩形窗矩形窗2 2：10( )( ),) 0(NnnnmxmR kx mkkK其它值mNmm, 0) 1(0, 1)()0(),()()(Kkmnxmmxn)10(),()( )(KNkmnxmmxn其它值mKNmm, 0)1(0, 1)( 3 3相關(guān)函數(shù)的作用（1）區(qū)分清/濁音 濁音語(yǔ)音的自相關(guān)函數(shù)具有一定的周期性 清音語(yǔ)音的自相關(guān)函數(shù)不具有周期性，類似噪聲。（2）估計(jì)濁音語(yǔ)

15、音信號(hào)的周期，即估計(jì)基音周期 短時(shí)平均幅度差函數(shù)短時(shí)平均幅度差函數(shù)短時(shí)自相關(guān)函數(shù)是語(yǔ)音信號(hào)時(shí)域分析的重要參量。但是，計(jì)算自相關(guān)函數(shù)的運(yùn)算量很大，其原因是乘法運(yùn)算所需要的時(shí)間較長(zhǎng)。為了避免乘法，一個(gè)簡(jiǎn)單的方法就是利用差值。為此常常采用另一種與自相關(guān)函數(shù)有類似作用的參量，即短時(shí)平均幅度差函數(shù)(AMDF)。平均幅度差函數(shù)能夠代替自相關(guān)函數(shù)進(jìn)行語(yǔ)音分析的原理平均幅度差函數(shù)能夠代替自相關(guān)函數(shù)進(jìn)行語(yǔ)音分析的原理：如果信號(hào)是完全的周期信號(hào)如果信號(hào)是完全的周期信號(hào)( (設(shè)周期為設(shè)周期為N Np p) )，則相距為周期的整，則相距為周期的整數(shù)倍的樣點(diǎn)上的幅值是相等的，差值為零。數(shù)倍的樣點(diǎn)上的幅值是相等的，差值為

16、零。,.)2, 0( , 0)()()(ppNNkknxnxnd 短短時(shí)平均幅度差函數(shù)短時(shí)平均幅度差函數(shù)的定義：對(duì)于周期性的語(yǔ)音信號(hào)， 也呈周期性，與 相反的是： 在谷點(diǎn)時(shí)，對(duì)應(yīng)的 是峰值平均幅度差函數(shù)和自相關(guān)函數(shù)有密切的關(guān)系可由下式表達(dá)：kNmnnnkmxmxkF10)()()(2/1)()0()(2)(kRRkkFnnn( )nF k( )nR k( )nF k( )nR k 短時(shí)平均幅度差函數(shù)短時(shí)平均幅度差函數(shù) 語(yǔ)音信號(hào)的頻域分析就是分析語(yǔ)音信號(hào)的頻域特征。 從廣義上講，語(yǔ)音信號(hào)的頻域分析包括語(yǔ)音信號(hào)的頻譜、功率譜、倒頻譜、頻譜包絡(luò)分析等， 而常用的頻域分析方法有帶通濾波器組法、傅里葉變

17、換法、線性預(yù)測(cè)法等幾種。本章介紹的是語(yǔ)音信號(hào)的傅里葉分析法。 因?yàn)檎Z(yǔ)音波是一個(gè)非平穩(wěn)過(guò)程，因此適用于周期、瞬變或平穩(wěn)隨機(jī)信號(hào)的標(biāo)準(zhǔn)傅里葉變換不能用來(lái)直接表示語(yǔ)音信號(hào)，而應(yīng)該用短時(shí)傅里葉變換對(duì)語(yǔ)音信號(hào)的頻譜進(jìn)行分析，相應(yīng)的頻譜稱為“短時(shí)譜”。 利用語(yǔ)音的短時(shí)傅里葉變換求語(yǔ)音的短時(shí)譜利用語(yǔ)音的短時(shí)傅里葉變換求語(yǔ)音的短時(shí)譜對(duì)第n幀語(yǔ)音信號(hào)，短時(shí)傅里葉變換，其定義如下：可知函數(shù)是時(shí)間n的離散函數(shù)，又是角頻率 的連續(xù)函數(shù)，因此，可以從兩個(gè)角度解釋短時(shí)傅里葉變換的含義：（1）標(biāo)準(zhǔn)傅里葉變換（2）濾波器角度10)()(NmmjnjnemxeX( )() ( )nxmnm x m是窗口函數(shù)序列，不同的窗口函數(shù)

18、序列，將得到不同的傅里葉變換結(jié)果 討論（1 1）當(dāng)）當(dāng)n n取固定值時(shí)，記取固定值時(shí)，記 ，標(biāo)準(zhǔn)，標(biāo)準(zhǔn)傅里葉變換為：傅里葉變換為：（2 2）固定不變，記固定不變，記=L=L，相當(dāng)于一個(gè)濾波器，相當(dāng)于一個(gè)濾波器當(dāng)n取不同值時(shí)，窗 沿著 序列滑動(dòng)()()( )jj mmjnmmXex mnm ey m e ()jnXe( )( )() ( )ny mx mnm x m標(biāo)準(zhǔn)的標(biāo)準(zhǔn)的FTFT()( ) ()()( )( )( )( )jLjLmnmmjLmmjLmXex mnm enmZ mx mx mnmemeZ ()nm( )x m 離散的短時(shí)傅里葉變換令 則在語(yǔ)音信號(hào)數(shù)字處理中，都是采用 短時(shí)傅里葉變換也叫短時(shí)譜 特點(diǎn)：（1）時(shí)變性：即是角頻率的函數(shù)也是時(shí)間n的函數(shù)（2）周期性：是關(guān)于角頻率的周期函數(shù)，周期為 短時(shí)功率譜短時(shí)功率譜 功率譜功率譜: :函數(shù)的功率譜函數(shù)的功率譜=