31520078104270_黃俊_語音識別技術(shù)

1、廈門大學(xué)智能系07級課學(xué)號：31520078104270指導(dǎo)老師：洪青陽-語音識別技術(shù)E-mail： HYPERLINK mailto: 2010/7/5一、基本概述人類利用語言相互交流信息，包括語音和文字兩種表達(dá)方式。通過語音相互傳遞信息，這是人類最重要的基本功能之一。隨著信息社會的發(fā)展，人與人之間，自不必說，即使在人與機器之間也每時每刻都需要進行大量的信息交換。語音識別技術(shù)，也被稱為自動語音識別AutomaticSpeechRecognition(ASR),語音識別是研究如何采用數(shù)字信號處理技術(shù)自動提取以及決定語音信號中最基本、最有意義的信息的一門新興的邊緣學(xué)科。它是語音信號處理學(xué)科的一個

2、分支。語音識別技術(shù)所涉及的領(lǐng)域包括：信號處理、模式識別、概率論和信息論、發(fā)聲機理和聽覺機理、人工智能等等，是一門十分實用的交叉前沿學(xué)科。從廣義上講，語音識別也包括了對說話人的識別，其主要內(nèi)容是提取語音信號中有關(guān)個人特征的信息、即語音的個性特征(如：音律特性等)。在這里專指有意義、有內(nèi)容的語音識別。計算機語音識別是智能計算機系統(tǒng)的重要特征。這一技術(shù)的應(yīng)用將從根本上改變計算機的人機界面，從而對計算機的發(fā)展以及推廣應(yīng)用產(chǎn)生深遠(yuǎn)的影響.二、發(fā)展歷程語音識別的研究工作大約開始于20世紀(jì)50年代，當(dāng)時AT&TBell實驗室基于共振峰提取技術(shù)實現(xiàn)了第一個可識別十個英文數(shù)字的語音識別系統(tǒng)udry系統(tǒng)。60年代

3、，計算機的應(yīng)用推動了語音識別的發(fā)展。這時期的重要成果是提出了動態(tài)時間規(guī)劃DP）和線性預(yù)測分析技術(shù)（LPC）,其中后者較好地解決了語音信號產(chǎn)生模型的問題，對語音識別的發(fā)展產(chǎn)生了深遠(yuǎn)影響。70年代，語音識別領(lǐng)域取得了較大進展。在理論上，LP技術(shù)得到進一步發(fā)展，動態(tài)時間歸正技術(shù)DTW）基本成熟，特別是提出了矢量量化（VQ）和隱馬爾可夫模型（HMM）理論。在實踐上，實現(xiàn)了基于線性預(yù)測倒譜和DTW技術(shù)的特定人孤立語音識別系統(tǒng)。80年代，MFCC的參數(shù)提取技術(shù)和HMM模型的深入使用使得語音識別技術(shù)得到進一步的發(fā)展，語音識別的問題逐步在理論體系上得到了比較完整和準(zhǔn)確的描述，同時在實踐上又逐步研發(fā)出效率較高的

4、解決算法。90年代以來，在美國國防部的Darpa測試、Ears計劃、近期的Gales計劃，以及我國863計劃等推動下，一大批高水平的研究機構(gòu)和企業(yè)加入到語音識別的研究領(lǐng)域，極大地推動了語音識別技術(shù)的發(fā)展和應(yīng)用。語音識別系統(tǒng)已經(jīng)從過去的小詞匯量、孤立詞識別、特定人識別、安靜環(huán)境等簡單任務(wù)逐步發(fā)展到大詞匯量、連續(xù)語音、非特定人、噪聲環(huán)境下的識別任務(wù)，從單純的語音識別任務(wù)發(fā)展到語音翻譯任務(wù)，從實驗室系統(tǒng)走向商用系統(tǒng)。三、關(guān)鍵技術(shù)下圖展示了人與人之間、人與機器之間的語音信息處理過程。（機肆）垃人與人之間的通信說話方收聽方（人）耆文本解析應(yīng)答文生咸語音通信問題第二類人機語音通信問題語音合成下面是常用的關(guān)

5、鍵技術(shù)和應(yīng)用：語音特征的采集大量的實驗研究發(fā)現(xiàn)語音信號主要存在以下兩個特點：在頻域內(nèi)，語音信號的頻譜分量主要集中在3003400Hz的范圍內(nèi)。利用這個特點，可以用一個帶通濾波器將此范圍內(nèi)的語音信號頻率分量取出，然后按8kHz的采樣率對語音信號進行采樣，就可以得到離散的語音信號。在時域內(nèi)，語音信號具有“短時性”的特點，即在總體上，語音信號的特征是隨著時間而變化的，但在一段較短的時間間隔內(nèi)，語音信號保持平穩(wěn)。在濁音段表現(xiàn)出周期信號的特征，在清音段表現(xiàn)出隨機噪聲的特征。因此我們對語音信號的分析處理就集中在這兩個特點上。其中預(yù)處理就包括了對聲音的采樣和編碼。聲學(xué)的參數(shù)分析這更多的時域和頻域方面，具體的

6、分析還會用到倒頻譜分析(采用MFCC或LPCC)。矢量量化(VQ)矢量量化是一種重要的信號壓縮方法，主要適用于小詞匯量、孤立詞的語音識別中。其過程是:將語音信號波形的k個樣點的每1幀，或有k個參數(shù)的每1參數(shù)幀，構(gòu)成k維空間中的1個矢量，然后對矢量進行量化。量化時，將k維無限空間劃分為M個區(qū)域邊界，然后將輸入矢量與這些邊界進行比較，并被量化為“距離”最小的區(qū)域邊界的中心矢量值。矢量量化器的設(shè)計就是從大量信號樣本中訓(xùn)練出好的碼書，從實際效果出發(fā)尋找到好的失真測度定義公式，設(shè)計出最佳的矢量量化系統(tǒng)，用最少的搜索和計算失真的運算量，實現(xiàn)最大可能的平均信噪比?；谀Ｊ狡ヅ浞绞降恼Z音識別技術(shù)失真測度幾種典

7、型的失真測度(1)歐氏距離D(x,y)二遼|xy|r/N,(01N-1)-均方誤差-絕對值平均誤差對數(shù)頻譜距離V(w)=log(f(3)-log(g(3)D(g,f)=/|V(w)|rdw如(3)倒譜距離D(x,y)=I(c一c)2,(1np)采用不同的測度會產(chǎn)生不同的匹配結(jié)果。動態(tài)時間規(guī)整法(DTW)為了解決語音模式匹配中匹配時音長不一致和線性匹配與非線性的問題，DTW技術(shù)被廣泛應(yīng)用。DTW是把時間規(guī)整和距離測度計算結(jié)合起來的一種非線性規(guī)整技術(shù)，是較早的一種模式匹配和模型訓(xùn)練技術(shù)。該方法成功解決了語音信號特征參數(shù)序列比較時時長不等的難題，在孤立詞語音識別中獲得了良好性能。下面是一個采用模式匹

8、配的方法完成的對孤立語音(例如電子門鎖等)的識別系統(tǒng)的工作流程圖。3基于統(tǒng)計模型(HMM)方式的語音識別技術(shù)隱馬爾可夫模型是20世紀(jì)70年代引入語音識別理論的，它的出現(xiàn)使得自然語音識別系統(tǒng)取得了實質(zhì)性的突破。目前大多數(shù)大詞匯量、連續(xù)語音的非特定人語音識別系統(tǒng)都是基于HMM模型的。HMM是對語音信號的時間序列結(jié)構(gòu)建立統(tǒng)計模型，將其看作一個數(shù)學(xué)上的雙重隨機過程：一個是用具有有限狀態(tài)數(shù)的Markov鏈來模擬語音信號統(tǒng)計特性變化的隱含的隨機過程，另一個是與Markov鏈的每一個狀態(tài)相關(guān)聯(lián)的觀測序列的隨機過程。前者通過后者表現(xiàn)出來，但前者的具體參數(shù)是不可測的。人的言語過程實際上就是一個雙重隨機過程，語音

9、信號本身是一個可觀測的時變序列，是由大腦根據(jù)語法知識和言語需要(不可觀測的狀態(tài))發(fā)出的音素的參數(shù)流。HMM合理地模仿了這一過程，很好地描述了語音信號的整體非平穩(wěn)性和局部平穩(wěn)性，是較為理想的一種語音模型。HMM模型可細(xì)分為離散隱馬爾可夫模型(DHMM)和連續(xù)隱馬爾可夫模型(CHMM)以及半連續(xù)隱馬爾可夫模型SCHMM)等3。4人工神經(jīng)元網(wǎng)絡(luò)(ANN)人工神經(jīng)元網(wǎng)絡(luò)在語音識別中的應(yīng)用是目前研究的又一熱點。ANN實際上是一個超大規(guī)模非線性連續(xù)時間自適應(yīng)信息處理系統(tǒng)它模擬了人類神經(jīng)元活動的原理，最主要的特征為連續(xù)時間非線性動力學(xué)、網(wǎng)絡(luò)的全局作用、大規(guī)模并行分布處理及高度的穩(wěn)健性和學(xué)習(xí)聯(lián)想能力。這些能力

10、是HMM模型不具備的。但ANN又不具有HMM模型的動態(tài)時間歸正性能。因此，人們嘗試研究基于HMM和ANN的混合模型，把兩者的優(yōu)點有機結(jié)合起來，從而提高整個模型的魯棒性，這也是目前研究的一個熱點。支持向量機（SVM）支持向量機是應(yīng)用統(tǒng)計學(xué)習(xí)理論的一種新的學(xué)習(xí)機模型，它采用結(jié)構(gòu)風(fēng)險最小化原理（SRM）,有效克服了傳統(tǒng)經(jīng)驗風(fēng)險最小化方法的缺點，在解決小樣本、非線性及高維模式識別方面有許多優(yōu)越的性能。其基本思想可以概括為：首先通過非線性變換將輸入空間變換到一個高維空間，然后在這個新空間中求取最優(yōu)線性分類面，而這種非線性變換是通過定義適當(dāng)?shù)膬?nèi)積函數(shù)實現(xiàn)的。目前，統(tǒng)計學(xué)習(xí)理論和支持向量機也是國際上機器學(xué)習(xí)

11、領(lǐng)域的研究熱點。孤立詞語音識別系統(tǒng)孤立詞語音識別系統(tǒng)系統(tǒng)是目前市場上常見簡單的語音識別裝置，這是因為它能實現(xiàn)在低成本的條件下，進行實時處理（一般W0.3S）且準(zhǔn)確率足夠高（一般為9%）。當(dāng)然他所能承擔(dān)的任務(wù)也是極其簡單的。當(dāng)下的這類系統(tǒng)多采用基于DTW技術(shù)的多樣板識別方式或基于VQ/HMM技術(shù)的識別方式。這兩種方式也是我們前面提到的，它們的實現(xiàn)較為簡單且運算速度快能更好地滿足實時性和低成本的要求。HMM訓(xùn)練識別X:特征矢量的時間序列0：基于VQ的觀察符號序列判決規(guī)則上圖是基于VQ/HMM技術(shù)的識別方式連續(xù)語音識別系統(tǒng)這是目前的學(xué)科前沿陣地，連續(xù)的語音識別是一項很復(fù)雜的過程即使是人類有時都無法正

12、確的理解一段連續(xù)的語音資料。連續(xù)單詞語音識別的技術(shù)難點：-單詞序列的長度未知-單詞序列中各單詞之間的邊界未知。-當(dāng)給定M個單詞參考模式和L長的待識語音模式時，就可能有ML種組合的匹配序列。下圖展示連續(xù)語音識別的過程，經(jīng)過語音識別后產(chǎn)生的文章和最左邊的原文章之間可能會有很大的不同。這就是上面的因素所造成的。目前常采用以下兩種算法來解決：-兩級DP法(Two-LevelDynamicProgramming)-分層構(gòu)造法(LevelBuilding)說話者ASR置聲學(xué)模型聲學(xué)信道(語言編碼)文章A發(fā)聲聲學(xué)參數(shù)分析文章W詞條模型-構(gòu)詞層音素模型語音層聲學(xué)層BEGIN句子模型句法層語音特征矢量序列詞條盤

13、2詞條A1詞條B1詞條E1詞條陽音素音素C上圖說明了在連續(xù)語音識別系統(tǒng)中的多層協(xié)作的過程。說話認(rèn)識別說話認(rèn)識別是目前應(yīng)用最廣泛的語音識別技術(shù)。其主要任務(wù)就是提取說話人的聲音特征，在使用前面提到的模式匹配、HHM等算法最終確認(rèn)說話人身份。說話人識別系統(tǒng)分為說話人辨認(rèn)(SpeakerIdentification)與說話人確認(rèn)(SpeakerVerification。對于說話人辨認(rèn)系統(tǒng)，其性能的評價標(biāo)準(zhǔn)主要是正確識別率。對于說話人確認(rèn)系統(tǒng)，其最重要的兩個參量是錯誤拒絕率(FRR)與錯誤接受率(RAR),前者是拒絕真實的說話人，又稱“拒真率”后者是接受冒認(rèn)者而造成的錯誤，又稱“認(rèn)假率”，兩者均與閾值的

14、設(shè)定相關(guān)。說話人1說話人2說話人訓(xùn)練語音:測試語音MFCC特征向量提取UBIvI模型MAP自適應(yīng)k-說話人2說話人目標(biāo)說話人模型：說話人1接受拒絕確認(rèn)對象模型確認(rèn)決策GMM-UBM說話人識別系統(tǒng)(MAP自適應(yīng))未來前景語音識別所面臨的問題盡管語音識別取得很大成功，但是距離真正的人機自由交流還有很大的距離。例如，目前計算機還需要對用戶做大量訓(xùn)練才能更準(zhǔn)確識別，用戶的語音識別率也并不是盡如人意。主要難題有以下幾個方面：識別系統(tǒng)的適應(yīng)性差。主要體現(xiàn)在對環(huán)境依賴性強，特別在高噪音環(huán)境下語音識別性能還不理想。語音識別系統(tǒng)從實驗室演示系統(tǒng)到商品的轉(zhuǎn)化過程中，還有許多具體問題需要解決。例如，識別速度、拒識等問題，還有連續(xù)語音中去除不必要語氣詞如“呃”、“啊”等語音的技術(shù)細(xì)節(jié)問題。語言學(xué)、生理學(xué)、心理學(xué)方面的研究成果已有不少，但如何把這些知識量化、建模并用于語音識別，還需要進一步研究。面對上面的困難，語音識別技術(shù)要做到真正成功，在任何環(huán)境中都能人機進行自由地對話，不僅需要語音識別基礎(chǔ)理論的突破，更需要大量的實際工作的積累。語音識別技術(shù)的前景展望語音作為當(dāng)前通信系統(tǒng)中最自然的通信媒介，語音識別技術(shù)是非常重要