語音識別技術(shù)人工智能

1、一：前沿語音識別技術(shù)是 2000 年至 2010 年間信息技術(shù)領(lǐng)域十大重要的 科技發(fā)展技術(shù)之一。 它是一門交叉學科， 正逐步成為信息技術(shù)中人機 接口的關(guān)鍵技術(shù)。語音識別 技術(shù)與語音合成技術(shù)結(jié)合使人們能夠甩 掉鍵盤，通過語音命令進行操作。 語音技術(shù)的應用已經(jīng)成為一個具有 競爭性的新興高技術(shù)產(chǎn)業(yè)。二：語音識別技術(shù)概述語音識別技術(shù)，也被稱為自動語音識別 Automatic SpeechRecognition, (ASR)，其目標是將人類的語音中的詞匯內(nèi)容轉(zhuǎn)換為計 算機可讀的輸入，例如按鍵、二進制編碼或者字符序列。與說話人識 別及說話人確認不同, 后者嘗試識別或確認發(fā)出語音的說話人而非其 中所包含的詞

2、匯內(nèi)容。 語音識別技術(shù)的應用包括語音撥號、 語音導航、 室內(nèi)設備控制、語音文檔檢索、簡單的聽寫數(shù)據(jù)錄入等。語音識別技 術(shù)與其他自然語言處理技術(shù)如機器翻譯及語音合成技術(shù)相結(jié)合, 可以 構(gòu)建出更加復雜的應用,例如語音到語音的翻譯。 語音識別技術(shù)所涉 及的領(lǐng)域包括：信號處理、模式識別、概率論和信息論、發(fā)聲機理和 聽覺機理、人工智能等等。語音識別是解決機器“聽懂”人類語言的一項技術(shù)。作為智能 計算機研究的主導方向和人機語音通信的關(guān)鍵技術(shù), 語音識別技術(shù)一 直受到各國科學界的廣泛關(guān)注。 如今,隨著語音識別技術(shù)研究的突破, 其對計算機發(fā)展和社會生活的重要性日益凸現(xiàn)出來。 以語音識別技術(shù) 開發(fā)出的產(chǎn)品應用領(lǐng)

3、域非常廣泛，如聲控電話交換、信息網(wǎng)絡查詢、 家庭服務、賓館服務、醫(yī)療服務、銀行服務、工業(yè)控制、語音通信系 統(tǒng)等，幾乎深入到社會的每個行業(yè)和每個方面。三語音識別的研究歷史語音識別的研究工作始于 20 世紀 50 年代， 1952 年 Bell 實驗室開發(fā)的 Audry 系統(tǒng)是第一個可以識別 10 個英文數(shù)字的語音識 別系統(tǒng)。1959 年，Rorgie 和 Forge 采用數(shù)字計算機識別英文元音和孤 立詞，從此開始了計算機語音識別。 60 年代，蘇聯(lián)的 Matin 等提出了 語音結(jié)束點的端點檢測，使語音識別水平明顯上升； Vintsyuk 提出了 動態(tài)編程，這一提法在以后的識別中不可或缺。 60

4、年代末、 70 年代 初的重要成果是提出了信號線性預測編碼 (LPC) 技術(shù)和動態(tài)時間規(guī)整 (DTW) 技術(shù)，有效地解決了語音信號的特征提取和不等長語音匹配問 題；同時提出了矢量量化 (VQ)和隱馬爾可夫模型 (HMM) 理論。80 年代語音識別研究進一步走向深入： HMM 模型和人 工神經(jīng)網(wǎng)絡(ANN)在語音識別中成功應用。1988 年，F(xiàn)ULEE Kai 等用 VQ/I-IMM方法實現(xiàn)了 997 個詞匯的非特定人連續(xù)語音識別系統(tǒng) SPHINX。這是世界上第 1 個高性能的非特定人、大詞匯量、連續(xù)語 音識別系統(tǒng)。進入 90 年代后，語音識別技術(shù)進一步成熟， 并開始向市 場提供產(chǎn)品。許多發(fā)達國

5、家如美國、日本、韓國以及 IBM 、 Apple、 AT&T、Microsoft 等公司都為語音識別系統(tǒng)的實用化開發(fā)研究投以巨資。同時漢語語音識別也越來越受到重視。 IBM 開發(fā)的 ViaVoice 和Microsoft 開發(fā)的中文識別引擎都具有了相當高的漢語語音識別水平。進入 21 世紀，隨著消費類電子產(chǎn)品的普及， 嵌入式語音 處理技術(shù)發(fā)展迅速 2 ?；谡Z音識別芯片的嵌入式產(chǎn)品也越來越多， 如Sensory 公司的 RSC 系列語音識別芯片、 Infineon 公司的 Unispeech 和Unilite 語音芯片等，這些芯片在嵌入式硬件開發(fā)中得到了廣泛的 應用。在軟件上，目前比較

6、成功的語音識別軟件有 :Nuance、 IBM 的 Viavoice 和Microsoft 的 SAPI 以及開源軟件 HTK ，這些軟件都是面 向非特定人、大詞匯量的連續(xù)語音識別系統(tǒng)。四國內(nèi)研究歷史及現(xiàn)狀我國語音識別研究工作起步于五十年代， 但近年來發(fā)展很快。 研究水平也從實驗室逐步走向?qū)嵱谩?1987 年開始執(zhí)行國家 863 計 劃后，國家 863 智 能計算機專家組為語音識別技術(shù)研究專門立項， 每兩年滾動一次。 我國語音識別技術(shù)的研究水平已經(jīng)基本上與國外同 步，在漢語語音識別技術(shù)上還有自己的特點與優(yōu)勢， 并達到國際先進 水平。中科院自動化所、聲學所、清華大學、北京大學、哈爾濱工業(yè) 大學

7、、上海交通大學、中國科技大學、北京郵電大學、華中科技大學 等科研機構(gòu)都有實驗室進行過語音識別方面的研究， 其中具有代表性 的研究單位為清華大學電子工程系與中科院自動化研究所模式識別 國家重點實驗室。 電子工程系語音技術(shù)與專用芯片設計課題組， 研發(fā) 的非特定人漢語數(shù)碼串連續(xù)語音識別系統(tǒng)的識別精度，達到 948 （不定長數(shù)字串）和 96 8（定長數(shù)字 串）。在有 5的拒識率情 況下，系統(tǒng)識別率可以達到 969（不定長數(shù)字串）和 987（定 長數(shù)字串），這是目前國際最好的識別結(jié)果之一， 其性能已經(jīng) 接近實 用水平。研發(fā)的 5000 詞郵包校核非特定人連續(xù)語音識別系統(tǒng)的識別 率達到 9873，前三選識

8、別率達 9996；并且可以識別普通話 與四川話兩 種語言，達到實用要求。 2000 年 7 月在北京自然博物館 新開設的動物展館中展出的具有語音識別口語對話功能“熊貓” ，采 用了我們研發(fā)非特定人連續(xù)語音識別系統(tǒng)，在展覽館 這樣高噪聲的 環(huán)境下，該識別系統(tǒng)的識別率也超過了 98， 達到實用要求。 通過 該系統(tǒng)觀眾與“熊貓”自然對話可以了解熊貓的生活習慣、生理結(jié)構(gòu) 等信息，其形 式生動、活潑，吸引了大量的學生與參觀者。五、語音識別的幾種基本方法一般來說 ,語音識別的方法有三種：基于聲道模型和語音知識的方法、 模板匹配的方法以及利用人工神經(jīng)網(wǎng)絡的方法。（1）基于語音學和聲學的方法該方法起步較早，

9、在語音識別技術(shù)提出的開始， 就有了這方面的 研究，但由于其模型及語音知識過于復雜， 現(xiàn)階段沒有達到實用的階 段。 通常認為常用語言中有有限個不同的語音基元，而且可以 通過其語音信號的頻域或時域特性來區(qū)分。這樣該方法分為兩步實 現(xiàn)： 第一步，分段和標號把語音信號按時間分成離散的段， 每段對應一個或幾個語音基元的聲學特性。 然后根據(jù)相應聲學特性對 每個分段給出相近的語音標號 第二步，得到詞序列 根據(jù)第 一步所得語音標號序列得到一個語音基元網(wǎng)格， 從詞典得到有效的詞 序列，也可結(jié)合句子的文法和語義同時進行。(2) 模板匹配的方法模板匹配的方法發(fā)展比較成熟， 目前已達到了實用階段。 在模板 匹配方法中

10、，要經(jīng)過四個步驟：特征提取、模板訓練、模板分類、判 決。常用的技術(shù)有三種：動態(tài)時間規(guī)整 (DTW) 、隱馬爾可夫( HMM ) 理論、矢量量化(VQ)技術(shù)。1、動態(tài)時間規(guī)整 (DTW)語音信號的端點檢測是進行語音識別中的一個基本步驟， 它是特征訓練和識別的基礎。 所謂端點檢測就 是在語音信號中的各種段落 (如音素、音節(jié)、詞素 )的始點和終點的位 置，從語音信號中排除無聲段。在早期，進行端點檢測的主要依據(jù)是 能量、振幅和過零率。但效果往往不明顯。 60 年代日本學者 Itakura 提出了動態(tài)時間規(guī)整算法(DTW: DynamicTimeWarping)。算法的思想 就是把未知量均勻的升長或縮短

11、 ,直到與參考模式的長度一致。在這 一過程中，未知單詞的時間軸要不均勻地扭曲或彎折， 以使其特征與 模型特征對正。2、隱馬爾可夫法 (HMM) 隱馬爾可夫法 (HMM) 是 70 年代引入 語音識別理論的， 它的出現(xiàn)使得自然語音識別系統(tǒng)取得了實質(zhì)性的突破。HMM 方法現(xiàn)已成為語音識別的主流技術(shù)，目前大多數(shù)大詞匯量、連續(xù)語音的非特定人語音識別系統(tǒng)都是基于HMM 模型的。HMM 是對語音信號的時間序列結(jié)構(gòu)建立統(tǒng)計模型， 將之看作一個數(shù)學上的雙 重隨機過程：一個是用具有有限狀態(tài)數(shù)的 Markov 鏈來模擬語音信號 統(tǒng)計特性變化的隱含的隨機過程，另一個是與 Markov 鏈的每一個狀 態(tài)相關(guān)聯(lián)的觀測序

12、列的隨機過程。 前者通過后者表現(xiàn)出來， 但前者的 具體參數(shù)是不可測的。人的言語過程實際上就是一個雙重隨機過程， 語音信號本身是一個可觀測的時變序列，是由大腦根據(jù)語法知識和言 語需要 (不可觀測的狀態(tài) )發(fā)出的音素的參數(shù)流?？梢?HMM 合理地模 仿了這一過程， 很好地描述了語音信號的整體非平穩(wěn)性和局部平穩(wěn)性 是較為理想的一種語音模型。3、矢量量化 (VQ)矢量量化(VectorQuantization)是一種重要的信號壓縮方法。與 HMM 相比,矢量 量化主要適用于小詞匯量、孤立詞的語音識別中。其過程是：將語音 信號波形的 k 個樣點的每一幀，或有 k 個參數(shù)的每一參數(shù)幀，構(gòu)成 k 維空間中的

13、一個矢量，然后對矢量進行量化。量化時，將 k 維無限空 間劃分為 M 個區(qū)域邊界，然后將輸入矢量與這些邊界進行比較，并 被量化為 “距離”最小的區(qū)域邊界的中心矢量值。 矢量量化器的設計就 是從大量信號樣本中訓練出好的碼書， 從實際效果出發(fā)尋找到好的失 真測度定義公式， 設計出最佳的矢量量化系統(tǒng)， 用最少的搜索和計算 失真的運算量，實現(xiàn)最大可能的平均信噪比。核心思想可以這樣理解：如果一個碼書是為某一特定的信源而優(yōu)化設計的， 那么由這 一信息源產(chǎn)生的信號與該碼書的平均量化失真就應小于其他信息的信號與該碼書的平均量化失真，也就是說編碼器本身存在區(qū)分能力。 在實際的應用過程中， 人們還研究了多種降低復

14、雜度的方法， 這些方 法大致可以分為兩類： 無記憶的矢量量化和有記憶的矢量量化。 無記 憶的矢量量化包括樹形搜索的矢量量化和多級矢量量化。(3) 神經(jīng)網(wǎng)絡的方法利用人工神經(jīng)網(wǎng)絡的方法是 80 年代末期提出的一種新的語音識 別方法。人工神經(jīng)網(wǎng)絡 (ANN) 本質(zhì)上是一個自適應非線性動力學系 統(tǒng)，模擬了人類神經(jīng)活動的原理，具有自適應性、并行性、魯棒性、 容錯性和學習特性，其強的分類能力和輸入 -輸出映射能力在語音識 別中都很有吸引力。但由于存在訓練、識別時間太長的缺點，目前仍 處于實驗探索階段。 由于ANN 不能很好的描述語音信號的時 間動態(tài)特性，所以常把 ANN 與傳統(tǒng)識別方法結(jié)合，分別利用各自

15、優(yōu) 點來進行語音識別。六、語音識別系統(tǒng)的結(jié)構(gòu)一個完整的基于統(tǒng)計的語音識別系統(tǒng)可大致分為三部分：(1)語音信號預處理 與特 征提取 ; (2)聲學 模型與 模式 匹配 ; (3)語言模型與語言處理、(1)語音信號預處理與特征提取選擇識別單元是語音識別研究的第一步。語音識別單元有單詞（句）、音節(jié)和音素三種，具體選擇哪一種，由具體的研究任務決定。 單詞（句）單元廣泛應用于中小詞匯語音識別系統(tǒng)，但不適合大詞匯 系統(tǒng)，原因在于模型庫太龐大，訓練模型任務繁重，模型匹配算法復 雜，難以滿足實時性要求。音節(jié)單元多見于漢語語音識別，主 要因為漢語是單音節(jié)結(jié)構(gòu)的語言，而英語是多音節(jié)， 并且漢語雖然有 大約 130

16、0 個音節(jié)，但若不考慮聲調(diào)，約有 408 個無調(diào)音節(jié)，數(shù)量相 對較少。因此，對于中、大詞匯量漢語語音識別系統(tǒng)來說，以音節(jié)為 識別單元基本是可行的。 音素單元以前多見于英語語音識別的 研究中，但目前中、大詞匯量漢語語音識別系統(tǒng)也在越來越多地采用。原因在于漢語音節(jié)僅由聲母（包括零聲母有 22 個）和韻母（共有 28 個）構(gòu)成，且聲韻母聲學特性相差很大。實際應用中常把聲母依后續(xù)韻母的不同而構(gòu)成細化聲母， 這樣雖然增加了模型數(shù)目， 但提高了易 混淆音節(jié)的區(qū)分能力。由于協(xié)同發(fā)音的影響，音素單元不穩(wěn)定，所以 如何獲得穩(wěn)定的音素單元，還有待研究。 語音識別一個根本的 問題是合理的選用特征。 特征參數(shù)提取的目

17、的是對語音信號進行分析 處理，去掉與語音識別無關(guān)的冗余信息， 獲得影響語音識別的重要信 息，同時對語音信號進行壓縮。在實際應用中，語音信號的壓縮率介 于 10-100 之間。語音信號包含了大量各種不同的信息，提取哪些信 息，用哪種方式提取，需要綜合考慮各方面的因素，如成本，性能， 響應時間，計算量等。非特定人語音識別系統(tǒng)一般側(cè)重提取反映語義 的特征參數(shù)， 盡量去除說話人的個人信息； 而特定人語音識別系統(tǒng)則 希望在提取反映語義的特征參數(shù)的同時， 盡量也包含說話人的個人信大小決定識別單元的大小以漢語為例：漢語按音素的發(fā)息。線性預測（LP）分析技術(shù)是目前應用廣泛的特征參數(shù)提取技術(shù)，許多成功的應用系統(tǒng)

18、都采用基于 LP 技術(shù)提取的倒譜參數(shù)。但 線性預測模型是純數(shù)學模型， 沒有考慮人類聽覺系統(tǒng)對語音的處理特 點。Mel 參數(shù)和基于感知線性預測（PLP）分析提取的感知線性預測倒譜，在一定程度上模擬了人耳對語音的處理特點， 應用了人耳 聽覺感知方面的一些研究成果。實驗證明，采用這種技術(shù)，語音識別 系統(tǒng)的性能有一定提高。 從目前使用的情況來看， 梅爾刻度式倒頻譜 參數(shù)已逐漸取代原本常用的線性預測編碼導出的倒頻譜參數(shù)， 原因是 它考慮了人類發(fā)聲與接收聲音的特性，具有更好的魯棒性 （ Robustness）。也有研究者嘗試把小波分析技術(shù)應用于特征提取，但目前性能難以與上述技術(shù)相比，有待進一步研究。（ 2

19、 ）聲學模型與模式匹配聲學模型通常是將獲取的語音特征使用訓練算法進行訓練后產(chǎn) 生。在識別時將輸入的語音特征同聲學模型 （模式）進行匹配與比較， 得到最佳的識別結(jié)果。聲學模型是識別系統(tǒng)的底層模型，并且是語音識別系統(tǒng)中最關(guān)鍵的一部分。 聲學模型的目的是提供一種有效 的方法計算語音的特征矢量序列和每個發(fā)音模板之間的距離。 聲學模 型的設計和語言發(fā)音特點密切相關(guān)。 聲學模型單元大?。ㄗ职l(fā)音模型、 半音節(jié)模型或音素模型）對語音訓練數(shù)據(jù)量大小、系統(tǒng)識別率，以及 靈活性有較大的影響。 必須根據(jù)不同語言的特點、 識別系統(tǒng)詞匯量的音特征分類分為輔音、單元音、復元音、復鼻尾音四種，按音節(jié)結(jié)構(gòu) 分類為聲母和韻母。并

20、且由音素構(gòu)成聲母或韻母。有時，將含有聲調(diào) 的韻母稱為調(diào)母。 由單個調(diào)母或由聲母與調(diào)母拼音成為音節(jié)。 漢語的 一個音節(jié)就是漢語一個字的音，即音節(jié)字。由音節(jié)字構(gòu)成詞，最后再 由詞構(gòu)成句子。漢語聲母共有 22 個，其中包括零聲母，韻母共 有 38 個。按音素分類，漢語輔音共有 22 個，單元音 13 個，復元音 13 個，復鼻尾音 16 個。 目前常用的聲學模型基元為聲韻母、 音節(jié)或詞， 根據(jù)實現(xiàn)目的不同來選取不同的基元。 漢語加上語氣詞共 有 412 個音節(jié)，包括輕音字，共有 1282個有調(diào)音節(jié)字，所以當在小 詞匯表孤立詞語音識別時常選用詞作為基元，在大詞匯表語音識別時 常采用音節(jié)或聲韻母建模，

21、而在連續(xù)語音識別時，由于協(xié)同發(fā)音的影 響，常采用聲韻母建模。 基于統(tǒng)計的語音識別模型常用的就是 HMM 模型入（N,M,n,A，涉及到 HMM 模型的相關(guān)理論包括模型的 結(jié)構(gòu)選取、模型的初始化、模型參數(shù)的重估以及相應的識別算法等。（3）語言模型與語言處理語言模型包括由識別語音命令構(gòu)成的語法網(wǎng)絡或由統(tǒng)計方法構(gòu) 成的語言模型，語言處理可以進行語法、語義分析。語言模型對中、大詞匯量的語音識別系統(tǒng)特別重要。 當分類發(fā)生錯誤時可以根 據(jù)語言學模型、語法結(jié)構(gòu)、 語義學進行判斷糾正，特別是一些同音字 則必須通過上下文結(jié)構(gòu)才能確定詞義。語言學理論包括語義結(jié)構(gòu)、語 法規(guī)則、語言的數(shù)學描述模型等有關(guān)方面。 目前比

22、較成功的語言模型 通常是采用統(tǒng)計語法的語言模型與基于規(guī)則語法結(jié)構(gòu)命令語言模型。語法結(jié)構(gòu)可以限定不同詞之間的相互連接關(guān)系， 減少了識別系統(tǒng)的搜 索空間，這有利于提高系統(tǒng)的識別。七. 突出成果近幾年來，特別是 2009 年以來，借助機器學習領(lǐng)域深度學習研 究的發(fā)展，以及大數(shù)據(jù)語料的積累，語音識別技術(shù)得到突飛猛進的發(fā) 展。1、技術(shù)新發(fā)展1）將機器學習領(lǐng)域深度學習研究引入到語音識別聲學模型訓練，使用帶 RBM 預訓練的多層神經(jīng)網(wǎng)絡，極大提高了聲學模型的準確率。 在此方面，微軟公司的研究人員率先取得了突破性進展， 他們使用深 層神經(jīng)網(wǎng)絡模型（DNN ）后，語音識別錯誤率降低了 30%，是近 20 年來語

23、音識別技術(shù)方面最快的進步。2）目前大多主流的語音識別解碼器已經(jīng)采用基于有限狀態(tài)機（WFST ）的解碼網(wǎng)絡，該解碼網(wǎng)絡可以把語言模型、詞典和聲學共 享音字集統(tǒng)一集成為一個大的解碼網(wǎng)絡， 大大提高了解碼的速度，為 語音識別的實時應用提供了基礎。3）隨著互聯(lián)網(wǎng)的快速發(fā)展，以及手機等移動終端的普及應用，目前可以從多個渠道獲取大量文本或語音方面的語料， 這為語音識別 中的語言模型和聲學模型的訓練提供了豐富的資源， 使得構(gòu)建通用大 規(guī)模語言模型和聲學模型成為可能。 在語音識別中，訓練數(shù)據(jù)的匹配 和豐富性是推動系統(tǒng)性能提升的最重要因素之一， 但是語料的標注和 分析需要長期的積累和沉淀，隨著大數(shù)據(jù)時代的來臨，

24、大規(guī)模語料資 源的積累將提到戰(zhàn)略高度。2、技術(shù)新應用近期，語音識別在移動終端上的應用最為火熱，語音對話機器人、語音助手、互動工具等層出不窮，許多互聯(lián)網(wǎng)公司紛紛投入人力、物 力和財力展開此方面的研究和應用，目的是通過語音交互的新穎和便 利模式迅速占領(lǐng)客戶群。目前，國外的應用一直以蘋果的 siri 為龍頭。而國內(nèi)方面，科大訊飛、云知聲、盛大、捷通華聲、搜狗語音助 手、紫冬口譯、百度語音等系統(tǒng)都采用了最新的語音識別技術(shù)，市面 上其他相關(guān)的產(chǎn)品也直接或間接嵌入了類似的技術(shù)。八. 語音識別主要有以下五個問題：1.對自然語言的識別和理解。首先必須將連續(xù)的講話分解為詞、 音素等單位，其次要建立一個理解語義的

25、規(guī)則。2語音信息量大。語音模式不僅對不同的說話人不同， 對同一說 話人也是不同的，例如，一個說話人在隨意說話和認真說話時的語音 信息是不同的。一個人的說話方式隨著時間變化。3. 語音的模糊性。說話者在講話時，不同的詞可能聽起來是相似 的。這在英語和 漢語中常見。4.單個字母或詞、字的語音特性受上下文的影響，以致改變了重 音、音調(diào)、音量和發(fā)音速度等。5. 環(huán)境噪聲和干擾對語音識別有嚴重影響， 致使識別率低。十.存在問題的解決方法。語音識別系統(tǒng)的性能受許多因素的影響，包括不同的說話人、說話方式、環(huán)境噪音、傳輸信道等等。提高系統(tǒng)魯棒性，是要提高系統(tǒng) 克服這些因素影響的能力，使系統(tǒng)在不同的應用環(huán)境、條

26、件下性能穩(wěn) 定；采用自適應的方法，根據(jù)不同的影響來源，自動地、有針對性地 對系統(tǒng)進行調(diào)整，在使用中逐步提高性能。以下對影響系統(tǒng)性能的不 同因素分別介紹解決辦法。解決辦法按針對語音特征的方法（以下稱特征方法）和模型調(diào)整 的方法（以下稱模型方法）分為兩類。前者需要尋找更好的、高魯棒 性的特征參數(shù)，或是在現(xiàn)有的特征參數(shù)基礎上，加入一些特定的處理 方法。后者是利用少量的自適應語料來修正或變換原有的說話人無關(guān)（SI）模型，從而使其成為說話人自適應（SA）模型。說話人自適應的特征方法有說話人規(guī)一化和說話人子空間法，模型方法有貝葉斯方法、變換法和模型合并法。語音系統(tǒng)中的噪聲，包括環(huán)境噪聲和錄音過程加入的電子噪聲。提高系統(tǒng)魯棒性的特征方法包括語音增強和尋找對噪聲干擾不敏感 的特征，模型方法有并行模型組合 PMC 方法和在訓練中人為加入噪 聲。信道畸變包括錄音時話筒的 距離、使用不同靈敏度的話筒、不同 增益的