語音信號處理語音識別.課件

1、9.1 概述語音識別（Speech Recognition）主要指讓機器聽懂人說的話，即在各種情況下，準確地識別出語音的內(nèi)容，從而根據(jù)其信息，執(zhí)行人的各種意圖。它是一門涉及面很廣的交叉學(xué)科，與計算機、通信、語音語言學(xué)、數(shù)理統(tǒng)計、信號處理、神經(jīng)生理學(xué)、神經(jīng)心理學(xué)和人工智能等學(xué)科都有著密切的關(guān)系。第1頁，共17頁。 一般語音識別系統(tǒng)按不同的角度有下面幾種分類方法。孤立詞、連接詞、連續(xù)語音識別系統(tǒng)以及語音理解和會話系統(tǒng)。大詞匯、中詞匯和小詞匯量語音識別系統(tǒng)。 特定人和非特定人語音識別系統(tǒng)。語音識別所采用的方法也可以作為語音識別系統(tǒng)分類的依據(jù)，因此，也有從識別方法上來對語音識別系統(tǒng)進行分類的。語音識別

2、方法一般有模板匹配法、隨機模型法和概率語法分析法三種。第2頁，共17頁。實用語音識別研究中存在的幾個主要問題和困難如下：（1）語音識別的一種重要應(yīng)用是自然語言的識別和理解。（2）語音信息的變化很大。（3）語音的模糊性。（4）單個字母及單個詞語發(fā)音時語音特性受上下文環(huán)境的影響，使相同字母有不同的語音特性。（5）環(huán)境的噪聲和干擾對語音識別有嚴重影響。 第3頁，共17頁。9.2 語音識別原理和識別系統(tǒng)的組成語音識別系統(tǒng)是建立在一定的硬件平臺和操作系統(tǒng)之上的一套應(yīng)用軟件系統(tǒng)。語音識別一般分兩個步驟。第一步是系統(tǒng)“學(xué)習(xí)”或“訓(xùn)練”階段。第二步是“識別”或“測試”階段。 語音識別技術(shù)加上各種外圍技術(shù)的組合

3、，才能構(gòu)成一個完整的實際應(yīng)用的語音識別系統(tǒng)。從語音識別系統(tǒng)的各個功能劃分的角度出發(fā)，語音識別系統(tǒng)可分為語音信號的預(yù)處理部分、語音識別系統(tǒng)的核心算法部分以及語音識別系統(tǒng)的基本數(shù)據(jù)庫等幾部分。第4頁，共17頁。一般語音識別系統(tǒng)框圖 第5頁，共17頁。 9.2.1預(yù)處理和參數(shù)分析語音信號預(yù)處理部分包括：語音信號的電壓放大、反混疊濾波、自動增益控制、模數(shù)變換、去除聲門激勵及口唇輻射的影響等。這里僅對個別需要注意的地方做一些介紹。話筒自適應(yīng)和輸入電平的設(shè)定：輸入語音信號的品質(zhì)對語音識別性能的影響很大，因此，對話筒的耐噪聲性能要求很高。選擇好的麥克風，不僅能提高輸入語音質(zhì)量，而且，還有助于提高整個系統(tǒng)的魯

4、棒性。為了保持高精度的語音分析，A/D變換的電平必需正確的設(shè)定。同時還要通過AGC來自動的調(diào)整輸入電平放大的倍數(shù)或者通過對于輸入數(shù)據(jù)進行規(guī)整處理來控制語音數(shù)據(jù)幅度的變化。第6頁，共17頁?？乖肼暎涵h(huán)境噪聲不可能完全消除。對于手自由的語音識別（Hand-Free），話筒與嘴有一定距離的時候，以及在汽車里或戶外等周圍環(huán)境噪聲大的時候必須對輸入信號進行降噪處理。對于平穩(wěn)噪聲，傳統(tǒng)的譜相減（SS）降噪聲技術(shù)是有效的，對于非平穩(wěn)噪聲也有通過兩個話筒分別輸入語音和噪聲相互抵消加以消除的方法。語音區(qū)間的端點檢測:端點檢測的目的是從包含語音的一段信號中確定出語音的起點以及終點。有效的端點檢測不僅能使處理時間減

5、到最小，而且能排除無聲段的噪聲干擾，從而使識別系統(tǒng)具有良好的識別性能。傳統(tǒng)的端點檢測方法是將語音信號的短時能量與過零率相結(jié)合加以判斷的。但這種端點檢測算法如果運用不好，將會發(fā)生漏檢或虛檢的情況。為了克服傳統(tǒng)端點檢測算法的缺點，已有很多改進方法被提出來。例如，可以考慮采用基于相關(guān)性的語音端點檢測算法。 第7頁，共17頁。語音參數(shù)分析:經(jīng)過預(yù)處理后的語音信號，就要對其進行特征參數(shù)分析，其目的是抽取語音特征，以使在語音識別時類內(nèi)距離盡量小，類間距離盡量大。識別參數(shù)可以選擇下面的某一種或幾種的組合：平均能量、過零數(shù)或平均過零數(shù)、頻譜、共振峰、倒譜、線性預(yù)測系數(shù)、PARCOR系數(shù)（偏自相關(guān)系數(shù)）、聲道形

6、狀的尺寸函數(shù)，以及音長、音高、聲調(diào)等超聲短信息函數(shù)。 現(xiàn)在，經(jīng)過FFT變換或者LPC得到功率譜以后再經(jīng)過對數(shù)變換和傅立葉反變換得到的倒譜參數(shù)是常用的語音識別特征參數(shù)。第8頁，共17頁。 9.2.2 語音識別語音識別是語音識別系統(tǒng)的核心部分。除包括語音的聲學(xué)模型以及相應(yīng)的語言模型的建立、參數(shù)匹配方法、搜索算法、話者自適應(yīng)算法，還包括增添新詞的功能、數(shù)據(jù)庫管理和友好的人機交互界面等等。語音模型:語音模型一般指的是用于參數(shù)匹配的聲學(xué)模型。語音聲學(xué)模型的好壞對語音識別的性能影響很大，現(xiàn)在公認的較好的概率統(tǒng)計模型是HMM模型。因為HMM可以吸收環(huán)境和話者引起的特征參數(shù)的變動，實現(xiàn)非特定人的語音識別。 識

7、別模型的基元單位的選擇對于識別性能也有很大的影響。對于日語和英語，以半音節(jié)、環(huán)境依存音素為模型的研究例子較多。對于漢語，則可用“聲母-韻母”，也可用音節(jié)字、詞等識別基元。第9頁，共17頁。連續(xù)語音的自動分段:連續(xù)語音的自動分段，是指從語音信號流中自動地分割出識別基元的問題。把連續(xù)的語音信號分成對應(yīng)于各音的區(qū)間叫做分割（Segmentation），分割的結(jié)果產(chǎn)生的區(qū)間叫做分割區(qū)間（Segment），給分割區(qū)間付與表示音種的符號叫做符號化。漢語自動分段是指根據(jù)漢語特點及其參數(shù)的統(tǒng)計規(guī)律，設(shè)置某些參數(shù)的閾值，用計算機程序自動的進行分段。通常可用的參數(shù)有：幀平均能量、幀平均過零數(shù)、線性預(yù)測的第一個反射

8、系數(shù)或其殘差序列、音調(diào)值等。從簡單、快速的要求而言，最好采用前兩種時域參數(shù)即幀平均能量FN和幀平均過零數(shù)ZN。 第10頁，共17頁。語音識別方法:當今語音識別技術(shù)的主流算法，主要有基于參數(shù)模型的隱馬爾可夫模型（HMM）的方法和基于非參數(shù)模型的矢量量化（VQ）的方法。另外，基于人工神經(jīng)網(wǎng)絡(luò)(ANN)的語音識別方法，也得到了很好的應(yīng)用。 傳統(tǒng)的基于動態(tài)時間伸縮的算法（DTW），在連續(xù)語音識別中仍然是主流方法。同時，在小詞匯量、孤立字（詞）識別系統(tǒng)中，也已有許多改進的DTW算法被提出。 用于語音識別的距離測度有多種，如歐氏距離及其變形的歐氏距離測度、似然比測度、加權(quán)的識別測度等。選擇什么樣的距離測度

9、與識別系統(tǒng)采用什么語音特征參數(shù)和什么樣的識別模型有關(guān)， 第11頁，共17頁。計算量和存儲量的削減：對于在有限的硬件和軟件資源下動作的語音識別系統(tǒng)，降低識別處理的計算量和存儲量非常重要。當用HMM作為識別模型時，特征矢量的輸出概率計算以及輸入語音和語音模型的匹配搜索將占用很大的時間和空間。為了減少計算量和存儲量，可以進行語音或者標準模式的矢量量化和聚類運算分析，利用代表語音特征的中心值進行匹配。在HMM語音識別系統(tǒng)中，識別運算時輸出概率計算所消耗的計算量較大，所以可以在輸出概率計算上采用快速算法。另外為了提高搜索效率，可以采用線搜索方法以及向前向后的組合搜索法等。 第12頁，共17頁。拒識別處理

10、：由于用戶發(fā)音的錯誤，可能出現(xiàn)系統(tǒng)詞匯表以外的單詞或者句子，同時，在噪聲環(huán)境下由噪音引起的語音區(qū)間檢測錯誤也可能產(chǎn)生許多誤識別的結(jié)果。所以在實際語音識別系統(tǒng)中，對信賴度低的識別結(jié)果的Rejection處理也是一個很重要的課題，可以考慮利用音節(jié)識別得到的得分補償?shù)姆绞竭M行拒識別處理，在這種方式中，利用在不限定識別對象的條件下求得的參考得分來補償?shù)淖R別結(jié)果，并用補償過的識別得分進行拒識別判定。 識別結(jié)果確認，候補選擇：為了避免由于誤識別而產(chǎn)生的Application的誤動作，可以讓用戶對識別結(jié)果進行確定，或者給用戶提供復(fù)數(shù)個識別結(jié)果侯選，讓用戶自己選擇正確的結(jié)果。 第13頁，共17頁。用戶設(shè)定：一

11、臺識別系統(tǒng)被多個用戶使用的場合。系統(tǒng)必須具有記憶和選擇每個用戶特定模型的功能。同時，每個用戶可以隨時在自己的詞典里增加或刪減單詞的功能，以及系統(tǒng)根據(jù)一定的特征信息自動進行不同用戶間的Application識別程序的切換的功能。第14頁，共17頁。 9.2.3 語音識別系統(tǒng)的基本數(shù)據(jù)庫 語音識別系統(tǒng)中包括大量的控制參數(shù)信息，這些參數(shù)以數(shù)據(jù)庫的方式存儲在計算機內(nèi),構(gòu)成了語音識別系統(tǒng)的基本數(shù)據(jù)庫。它們是通過“訓(xùn)練”（或叫“學(xué)習(xí)”）的方法，從單講話者或多講話者的多次重復(fù)發(fā)音的語音參數(shù)以及大量的語法規(guī)則中，經(jīng)過長時間的訓(xùn)練而聚類得到的。 需要指出的是，一個成功的語音識別系統(tǒng)的建立，一定要結(jié)合其具體的應(yīng)用

12、背景，選擇不同的識別策略、以及硬件平臺和軟件平臺。另外，更應(yīng)注意的是，語音識別系統(tǒng)的建立應(yīng)當結(jié)合語言的自然特點，否則，將很難達到較高的水平。第15頁，共17頁。單詞詞典和文法：一般來說，在多任務(wù)環(huán)境中，對于一個Application，要定義相應(yīng)的單詞集合，根據(jù)識別結(jié)果或Application的動作進行單詞集之間的切換。在文上法要根據(jù)具體的Application，首先設(shè)定和分析輸入語句的語義內(nèi)容；然后，根據(jù)語義內(nèi)容的句法表現(xiàn)、主、謂語的種類、語序、語的省略等，構(gòu)造單詞字典以及文法，同時，文法上的單詞間的語義依存關(guān)系可以利用依存關(guān)系表格表示。通過單詞詞典、文法以及聲學(xué)模型（如HMM）和句法分析搜索算法的共同編譯，得到用于識別的系統(tǒng)網(wǎng)絡(luò)。第16頁，共17