語(yǔ)音識(shí)別的流程

語(yǔ)音識(shí)別的技術(shù)原理是什么?簡(jiǎn)要給大家介紹一下語(yǔ)音怎么變文字的吧。首先說(shuō)一下作為輸入的時(shí)域波形。我們知道聲音實(shí)際上是一種波。常見(jiàn)的mp3、wmv等格式都是壓縮格式，必須轉(zhuǎn)成非壓縮的純波形文件，比如WindowsPCM文件，即wav文件來(lái)處理。wav文件里存儲(chǔ)的除了一個(gè)文件頭以外，就是聲音波形的一個(gè)個(gè)點(diǎn)了。采樣率越大，每毫秒語(yǔ)音中包含的點(diǎn)的個(gè)數(shù)就越多。另外聲音有單通道,雙通道之分，還有四通道的等等。對(duì)語(yǔ)音識(shí)別任務(wù)來(lái)說(shuō)，單通道就足夠了，多了浪費(fèi)，因此一般要把聲音轉(zhuǎn)成單通道的來(lái)處理。下圖是一個(gè)波時(shí)域的波形必須要分幀，也就是把波形切開(kāi)成一小段一小段，每小段稱(chēng)為一幀。分幀操作通常使用移動(dòng)窗函數(shù)來(lái)實(shí)現(xiàn)，分幀之前還要做一些預(yù)加重等操作，這里不詳述。幀與幀之間是有交疊的，就像下圖這樣：圖中，每幀的長(zhǎng)度為25毫秒，每?jī)蓭g有25-10=15毫秒的交疊。我們稱(chēng)為以幀長(zhǎng)25ms、幀移10ms分幀。圖中，每幀的長(zhǎng)度為25毫秒，每?jī)蓭g有25-10=15毫秒的交疊。我們稱(chēng)為以幀長(zhǎng)25ms、幀移10ms分幀。分幀后，語(yǔ)音就變成了很多小段。但波形在時(shí)域上幾乎沒(méi)有描述能力，因此必須將波形作變換。常見(jiàn)的一種變換方法是提取MFCC特征，把每一幀波形變成一個(gè)12維向量。這12個(gè)點(diǎn)是根據(jù)人耳的生理特性提取的，可以理解為這12個(gè)點(diǎn)包含了這幀語(yǔ)音的內(nèi)容信息。這個(gè)過(guò)程叫做聲學(xué)特征提取。實(shí)際應(yīng)用中，這一步有很多細(xì)節(jié)，比如差分、均值方差規(guī)整、高斯化、降維去冗余等，聲學(xué)特征也不止有MFCC這一種，具體就不詳述了。

至此，聲音就成了一個(gè)12行（假設(shè)聲學(xué)特征是12維）、N列的一個(gè)矩陣，稱(chēng)之為觀(guān)察序列，這里N為總幀數(shù)。觀(guān)察序列如下圖所示，圖中，每一幀都用一個(gè)12維的向量表示，色塊的顏色深淺表示向量值的大小。接下來(lái)就要介紹怎樣把這個(gè)矩陣變成文本了。首先要介紹三個(gè)概念：?jiǎn)卧~：英語(yǔ)中就是單詞，漢語(yǔ)中是漢字。音素：?jiǎn)卧~的發(fā)音由音素構(gòu)成。對(duì)英語(yǔ)，一種常用的音素集是卡內(nèi)基梅隆大學(xué)的一套由39個(gè)音素構(gòu)成的音素集，參見(jiàn)TheCMUPronouncingDictionaryo漢語(yǔ)一般直接用全部聲母和韻母作為音素集，另外漢語(yǔ)識(shí)別還分有調(diào)無(wú)調(diào)，不詳述。狀態(tài)：比音素更細(xì)致的語(yǔ)音單位。通常一個(gè)音素由3個(gè)狀態(tài)構(gòu)成。語(yǔ)音識(shí)別是怎么工作的呢？實(shí)際上一點(diǎn)都不神秘，無(wú)非是：第一步，把幀識(shí)別成狀態(tài)（難點(diǎn)）。第二步，把狀態(tài)組合成音素。第三步，把音素組合成單詞。如下圖所示：圖中，每個(gè)小豎條代表一幀，若干幀語(yǔ)音對(duì)應(yīng)一個(gè)狀態(tài)，每三個(gè)狀態(tài)組合成一個(gè)音素，若十個(gè)音素組合成一個(gè)單詞。也就是說(shuō)，只要知道每幀語(yǔ)音對(duì)應(yīng)哪個(gè)狀態(tài)

圖中，每個(gè)小豎條代表一幀，若干幀語(yǔ)音對(duì)應(yīng)一個(gè)狀態(tài)，每三個(gè)狀態(tài)組合成一個(gè)音素，若十個(gè)音素組合成一個(gè)單詞。也就是說(shuō)，只要知道每幀語(yǔ)音對(duì)應(yīng)哪個(gè)狀態(tài)了，語(yǔ)音識(shí)別的結(jié)果也就出來(lái)了。那每幀音素對(duì)應(yīng)哪個(gè)狀態(tài)呢？有個(gè)容易想到的辦法，看某幀對(duì)應(yīng)哪個(gè)狀態(tài)的概率最大，那這幀就屬于哪個(gè)狀態(tài)，這叫做'最大似然”。比如下面的示意圖，這幀對(duì)應(yīng)S3狀態(tài)的概率最大，因此就讓這幀屬于S3狀態(tài)。sP(o|sJ=0.45sP(o|s2)=0-25Pg)=0.75P(q|s4)=0,45P(c|i5)=0.25那這些用到的概率從哪里讀取呢？有個(gè)叫“聲學(xué)模型”的東西，里面存了一大堆參數(shù)，通過(guò)這些參數(shù)，就可以知道幀和狀態(tài)對(duì)應(yīng)的概率。聲學(xué)模型是使用巨大數(shù)量的語(yǔ)音數(shù)據(jù)訓(xùn)練出來(lái)的，訓(xùn)練的方法比較繁瑣，這里不講。但這樣做有一個(gè)問(wèn)題：每一幀都會(huì)得到一個(gè)狀態(tài)號(hào)，最后整個(gè)語(yǔ)音就會(huì)得到一堆亂七八糟的狀態(tài)號(hào)，相鄰兩幀間的狀態(tài)號(hào)基本都不相同。假設(shè)語(yǔ)音有1000幀，每幀對(duì)應(yīng)1個(gè)狀態(tài)，每3個(gè)狀態(tài)組合成一個(gè)音素，那么大概會(huì)組合成300個(gè)音素，但這段語(yǔ)音其實(shí)根本沒(méi)有這么多音素。如果真這么做，得到的狀態(tài)號(hào)可能根本無(wú)法組合成音素。實(shí)際上，相鄰幀的狀態(tài)應(yīng)該大多數(shù)都是相同的才合理，因?yàn)槊繋芏?。解決這個(gè)問(wèn)題的常用方法就是使用隱馬爾可夫模型(HiddenMarkovModel，HMM)。這東西聽(tīng)起來(lái)好像很高深的樣子，實(shí)際上很簡(jiǎn)單，無(wú)非是：第一步，構(gòu)建一個(gè)狀態(tài)網(wǎng)絡(luò)。第二步，從狀態(tài)網(wǎng)絡(luò)中尋找與聲音最匹配的路徑。這樣就把結(jié)果限制在預(yù)先設(shè)定的網(wǎng)絡(luò)中，避免了剛才說(shuō)到的問(wèn)題，當(dāng)然也帶來(lái)一個(gè)局限，比如你設(shè)定的網(wǎng)絡(luò)里只包含了“今天晴天”和“今天下雨”兩個(gè)句子的狀態(tài)路徑，那么不管說(shuō)些什么，識(shí)別出的結(jié)果必然是這兩個(gè)句子中的一句。具體是這樣的，首先構(gòu)造單詞級(jí)網(wǎng)絡(luò)，然后展開(kāi)成音素網(wǎng)絡(luò)，然后展開(kāi)成狀態(tài)網(wǎng)絡(luò)。然后在狀態(tài)網(wǎng)絡(luò)中搜索一條最佳路徑，這條路徑和語(yǔ)音之間的概率(稱(chēng)之為累積概率)最大。搜索的算法是一種動(dòng)態(tài)規(guī)劃剪枝的算法，稱(chēng)之為Viterbi算法，用于尋找全局最優(yōu)路徑。感興趣的同學(xué)可以到Wikipedia上搜一下。這里所說(shuō)的累積概率，由三部分構(gòu)成，分別是：觀(guān)察概率：每幀和每個(gè)狀態(tài)對(duì)應(yīng)的概率轉(zhuǎn)移概率：每個(gè)狀態(tài)轉(zhuǎn)移到自身或轉(zhuǎn)移到下個(gè)狀態(tài)的概率語(yǔ)言概率：根據(jù)語(yǔ)言統(tǒng)計(jì)規(guī)律得到的概率其中，前兩種概率從聲學(xué)模型中獲取，最后一種概率從語(yǔ)言模型中獲取。語(yǔ)言模型是使用大量的文本訓(xùn)練出來(lái)的，存儲(chǔ)的是任意單詞、任意兩個(gè)單詞、任意三個(gè)單詞（通常也就到三個(gè)單詞）在大量文本中的出現(xiàn)機(jī)率。這樣基本上語(yǔ)音識(shí)別過(guò)程就完成了。以上介紹的是傳統(tǒng)的基于HMM的語(yǔ)音識(shí)別。以上的文字不追求嚴(yán)謹(jǐn)，只是想讓大家容易理解。如果感興趣，想進(jìn)一步了解，HTKBook是非常好的入門(mén)書(shū)，這本書(shū)實(shí)際上是劍橋大學(xué)發(fā)布