語音識別中一種快速新詞增強(qiáng)方法

1、語音識別中一種快速新詞增強(qiáng)方法1. 背景介紹語音識別技術(shù)是信息技術(shù)領(lǐng)域十大重要的科技發(fā)展技術(shù)之一。它是一門交叉學(xué)科，正逐步成為信息技術(shù)中人機(jī)接口的關(guān)鍵技術(shù)。語音識別技術(shù)使人們能夠甩掉鍵盤，通過語音命令進(jìn)行操作。語音技術(shù)的應(yīng)用已經(jīng)成為一個具有競爭性的高技術(shù)產(chǎn)業(yè)。近二十年來，語音識別技術(shù)取得顯著進(jìn)步，開始從實驗室走向市場，并且已經(jīng)進(jìn)入工業(yè)、家電、通信、汽車電子、醫(yī)療、家庭服務(wù)、消費電子產(chǎn)品等各個領(lǐng)域。簡單地說，語音識別技術(shù)是將聲音轉(zhuǎn)變成文本的技術(shù)。一個語音識別系統(tǒng)基于一個語音模型和一個語言模型來表達(dá)識別語音所需要的知識，其中語音模型（通常用深度神經(jīng)網(wǎng)絡(luò)）用來描述語音在信號層的分布特性，而語言模型用

2、來表征語言信息，用以限制系統(tǒng)能識別的句子范圍。語言模型基于一個系統(tǒng)詞表，只有在詞表中出現(xiàn)的詞才有可能被識別出來。圖1給出了一個語音識別系統(tǒng)的基本框架。語音識別系統(tǒng)聲學(xué)模型語言模型系統(tǒng)詞表 你好.圖1: 語音識別框架2. 問題描述信息社會的快速發(fā)展給語音識別系統(tǒng)帶來了巨大挑戰(zhàn)，特別是隨著人們接收的信息越來越多，新詞不斷涌現(xiàn)，如“顏值”、“吐槽”等。這些新詞因為不在語音識別系統(tǒng)詞表中，因此很難被識別出來。傳統(tǒng)解決新詞的方法是收集每個新詞的訓(xùn)練語料，讓其與原語料合并，重新訓(xùn)練語言模型。這一方法需要大量的計算資源，無法適應(yīng)大規(guī)模在線系統(tǒng)的需求。3.發(fā)明要點3.1 基于FST附加邊的新詞增強(qiáng)方法本發(fā)明提

3、出一種基于有限狀態(tài)轉(zhuǎn)移機(jī)（FST）的新詞增強(qiáng)的方法，該方法將原始語言模型表示為FST，通過在FST圖上加入附加邊來代表新詞，從而使更新后的FST具有識別新詞的能力。由于現(xiàn)代語音識別系統(tǒng)多使用FST作為識別過程的數(shù)據(jù)結(jié)構(gòu)（解碼圖），因此我們的方法相當(dāng)于在構(gòu)造該數(shù)據(jù)結(jié)構(gòu)的過程中加入一個新詞增強(qiáng)步驟，從而提高系統(tǒng)對新詞的識別能力。如圖2所示。N-gram 語言模型語言模型到FST轉(zhuǎn)換FST新詞增強(qiáng)語言模型FST與其它FST組合解碼圖應(yīng)用于語音識別系統(tǒng)圖2: 基于FST的新詞增強(qiáng)示意圖具體而言，對一個待加入的新詞A，我們選擇它的一個近義詞A，尋找在語言模型FST中表示A的所有邊，并為每條邊加入一個“附

4、加邊”，這一附加邊的進(jìn)入和離開狀態(tài)和A的邊一致，但其標(biāo)注符號為新詞A，其權(quán)值表示為A賦予的出現(xiàn)概率。如圖3所示，其中紅色曲線和標(biāo)注表示新加入的附加邊。由于附加邊的加入，新詞A會出現(xiàn)在解碼圖中，可以在解碼過程中被識別。特別重要的是，因為附加邊是加在新詞的近義詞所對應(yīng)邊上，這意味著新詞增強(qiáng)事實上利用了近義詞在詞義和句法上的相似性，具有很強(qiáng)的針對性和精確性。A:0.212A:0.5圖3：對應(yīng)近義詞A的一個新詞A的附加邊3.2 基于詞向量的新詞增強(qiáng)方法上述附加邊新詞增強(qiáng)方法需要定義近義詞，即需要人為定義，這對大規(guī)模新詞加入很不方便。本發(fā)明進(jìn)一步提出基于詞向量的自動發(fā)現(xiàn)近義詞的方法。該方法將所有詞（系統(tǒng)

5、詞典中的詞和新詞）都映射到一個向量空間中，表示為詞向量，并利用在這一向量空間的中的余弦距離計算詞間的相似度。對任何一個新詞，可以通過該方法得到一個或若干個相似對，而不必人為定義。4. 發(fā)明內(nèi)容和系統(tǒng)實現(xiàn)4.1 系統(tǒng)架構(gòu)圖4為基于近義詞附加邊的新詞增強(qiáng)模型的系統(tǒng)結(jié)構(gòu)，該系統(tǒng)有兩種方式，一種是手動定義近義詞，一種是基于詞向量的自動計算近義詞。首先輸入n-gram語言模型，構(gòu)建FST?；贔ST，基于近義詞表加入附加邊表示新詞，生成可識別新詞的解碼圖。近義詞表由兩種方式生成，一種由手工定義近義詞，比較精確，但繁瑣，不適合大量新詞加入；另一種是基于詞向量的自動加入，方法快捷，但需要包含新詞的數(shù)據(jù)對詞向

6、量進(jìn)行訓(xùn)練。N-gram語言模型構(gòu)建FST模型手動定義近義詞用詞向量計算詞間距離自動生成近義詞生成新詞附加邊生成解碼圖圖4. 基于近義詞附加邊的新詞增強(qiáng)模型4.2基于FST附加邊的新詞增強(qiáng)設(shè)有一個新詞集X=,，需要增強(qiáng)，對于每一個都有一個近義詞集=，。對任意一個, 在FST中尋找所為標(biāo)注為的邊，加入附加邊并標(biāo)注為。為量化近義詞間的相似性，我們定義為與的相似度，并以該相似度作為新加入邊的權(quán)重。在基線系統(tǒng)中，近義詞集和相似度都由人為確定。圖5給出一個在FST中加入新詞c的過程，其中詞表內(nèi)詞a為新詞c的近義詞，且相似性定義為0.3。其中（a）表示在加入新詞前的FST，（b）表示加入新詞c后的FST。

7、012a:a/1012a:a/1b:b/2c:c/0.3b:b/2 （a） （b） 圖5：基于近義詞的新詞增強(qiáng)模型4.3基于詞向量的自動增加新詞方法在4.2節(jié)中，我們手動定義近義詞來增強(qiáng)新詞。當(dāng)面對大量新詞時，手動定義的時間成本較高，且定義近義詞容易發(fā)生錯誤。本發(fā)明提出利用詞向量自動發(fā)現(xiàn)近義詞的方法來代替人工定義，節(jié)省了大量的時間和精力。詞向量將詞表達(dá)為連續(xù)向量空間中的點，如圖6所示?？梢钥吹?，由于吃飯和進(jìn)食這兩個詞在詞義上比較接近，都表示吃飯這個動作，因此在詞向量空間距離較近；睡覺和吃飯詞義相差稍遠(yuǎn)，但同是休閑類動作，因此在詞向量空間相差不大。而蘋果和梨則都表示食物，它們兩個之間距離很近，但

8、和吃飯、進(jìn)食、睡覺距離都較遠(yuǎn)。吃飯進(jìn)食蘋果睡覺梨0 圖6：詞向量示意圖圖7是利用詞向量增強(qiáng)新詞的一個例子。我們通過詞向量，確定詞c的近義詞是a，并通過詞向量計算出其距離為1.045。在詞a的邊上加入表示c的附加邊，并將其權(quán)重賦為1.045。圖7中，（a）是在增強(qiáng)之前的FST，（b）是增強(qiáng)之后的FST。相比于4.2中提到手工定義近義詞的方法，這種基于詞向量的方法更為方便，可用于大規(guī)模新詞處理。a:a/1b:b/2210a:a/1b:b/2210 （a）c:c/1.045 （b） 圖7：基于詞向量的自動新詞增強(qiáng)模型 5. 發(fā)明優(yōu)勢l 本發(fā)明利用FST模型，可以在不用改變解碼器的前提下對新詞進(jìn)行增強(qiáng)，彌補(bǔ)了傳統(tǒng)n-gram模型