第十講語音信號處理第5章

回顧5.5隱馬爾科夫模型的各種結(jié)構(gòu)類型5.6隱馬爾科夫模型的一些實際問題第5章隱馬爾科夫模型5.5隱馬爾可夫模型的各種結(jié)構(gòu)類型

按照HMM的狀態(tài)轉(zhuǎn)移概率矩陣（參數(shù)）分類各態(tài)歷經(jīng)型或遍歷型HMM（ErgodicHMM）

:嚴(yán)格的講，所謂的遍歷模型就是經(jīng)過有限步的轉(zhuǎn)移后，系統(tǒng)能達(dá)到任何一個狀態(tài)。即系統(tǒng)從一個狀態(tài)允許轉(zhuǎn)移到任何一個狀態(tài)。在某些應(yīng)用系統(tǒng)中，常遇到的是一步遍歷模型，即經(jīng)過一步跳轉(zhuǎn)，系統(tǒng)可達(dá)到任何一個狀態(tài)。這樣的HMM的狀態(tài)轉(zhuǎn)移矩陣中的每一個元素均為大于零的數(shù)，沒有零元素。顯然，各態(tài)歷經(jīng)型HMM不符合時間順序的要求，因為它可以回到以前到過的狀態(tài)，所以只能用于不要求時間順序的語音信號處理，如：與文本無關(guān)的說話人識別等。從左到右型HMM（Left-to-RightHMM）：所謂的從左到右模型，就是指隨著時間的增加，狀態(tài)的轉(zhuǎn)移只能是從左到右進(jìn)行或停留在原來的狀態(tài)，而不能出現(xiàn)返回到以前狀態(tài)的情況，即從編號高的狀態(tài)（如第狀態(tài)）到編號低的狀態(tài)（如第n-1或n-2等等狀態(tài)）跳轉(zhuǎn)的情況（這實際上是一個時序的問題，因為按照時間順序，總是從編號低的狀態(tài)向編號高的狀態(tài)轉(zhuǎn)移）。因此，其狀態(tài)轉(zhuǎn)移矩陣具有如下的形式，它是一個上三角矩陣，而表示終止?fàn)顟B(tài)的最后一行除了最后一個元素外全為零（當(dāng)終止?fàn)顟B(tài)沒有自轉(zhuǎn)移時，則最后一行全為零）。另外從狀態(tài)轉(zhuǎn)移結(jié)構(gòu)上HMM還有其他的一些變體，如由圖5-5（c）所示的由兩條并行的從左到右模型組成的HMM，又稱為HMM網(wǎng)絡(luò)。它不是一般的情況，是由標(biāo)準(zhǔn)模型組合的變體，用于特殊的應(yīng)用場合。這種模型較復(fù)雜，所以性能一般要比單個左右模型要好。

按照HMM的輸出概率分布（B參數(shù)）分類

離散HMM（DHMM）:離散HMM就是上面一直在介紹的HMM。在這種HMM中，每一個狀態(tài)的輸出概率是按觀察字符離散分布的，每一次轉(zhuǎn)移時狀態(tài)輸出的字符，是從一個有限的離散字符集中按照一定的離散概率分布選出的。在語音信號處理中，經(jīng)過特征分析后，語音信號先被分割成若干幀，每幀求取一個特征參數(shù)向量，即每幀是用一個特征參數(shù)向量表示的。此時若要使用離散HMM，則需要將語音特征參數(shù)向量的時間序列進(jìn)行矢量量化，通過矢量量化使每一幀語音信號由特征參數(shù)向量表示轉(zhuǎn)變?yōu)橛么a字符號表示的形式。

連續(xù)型HMM（ContinuousHMM，簡稱為CHMM）：在連續(xù)HMM中，由于可以輸出的是連續(xù)值，不是有限的，所以不能用矩陣表示輸出概率，而要改用概率密度函數(shù)來表示。即用表示：在和之間觀察矢量的輸出概率。這里稱為參數(shù)的概率密度分布函數(shù)，輸出的概率可以通過計算出來。一般用高斯概率密度函數(shù)，由于是多維矢量所以要用多元高斯概率密度函數(shù)根據(jù)協(xié)方差矩陣是全協(xié)方差矩陣還是對角協(xié)方差矩陣，可以把連續(xù)HMM分成全協(xié)方差矩陣CHMM和對角協(xié)方差矩陣CHMM。另一方面，由于在實際的語音信號處理系統(tǒng)中，往往用一個高斯概率密度函數(shù)不足以表示語音參數(shù)的輸出概率分布，所以一種常用于語音信號處理的概率密度函數(shù)，稱之為“高斯元混合密度”，即用多個高斯概率分布的加權(quán)組合來表示輸出概率密度函數(shù)。連續(xù)混合密度HMM為多個正態(tài)分布線性相加的HMM系統(tǒng)，當(dāng)M值較大（如M為4或5）時，系統(tǒng)的識別率較高，但其運(yùn)算量較大。另一方面，每個模型中每個狀態(tài)的概率密度由M個正態(tài)分布函數(shù)疊加而成，它比前者有更多的自由度，因而逼近實際分布的效果更好一些，這樣識別效果也會更佳，隨著詞匯量的增加，這一優(yōu)點(diǎn)更加突出，因而，對一些大詞匯量的與說話人無關(guān)的語音識別系統(tǒng)，連續(xù)混合密度HMM受到重視。半連續(xù)型HMM（Semi-ContinuousHMM：簡稱為SCHMM）：離散HMM的模型參數(shù)少，對訓(xùn)練數(shù)據(jù)量要求不高，而且離散HMM的計算量較少，易于實時實現(xiàn)，但是離散HMM的缺點(diǎn)是識別精度不高。連續(xù)型HMM雖然不使用離散概率分布不需要對輸入信號進(jìn)行量化，從而提高了識別率，但這是以運(yùn)算量的增加為代價的，而且連續(xù)型HMM尤其是連續(xù)混合密度HMM的模型參數(shù)教多，訓(xùn)練數(shù)據(jù)不夠時訓(xùn)練的模型精度較低。為了結(jié)合這兩種模型的優(yōu)點(diǎn)，彌補(bǔ)這兩種模型的缺點(diǎn)。人們提出了半連續(xù)型HMM，它的輸出概率的形式如下式所示：這樣，對于離散HMM，半連續(xù)型HMM用多個正態(tài)分布線性相加作為概率密度函數(shù)彌補(bǔ)了離散分布的誤差；對于連續(xù)型HMM，半連續(xù)型HMM用多個各狀態(tài)共有的正態(tài)分布線性相加作為概率密度函數(shù)彌補(bǔ)了參數(shù)數(shù)量多，計算量大的缺陷。

其他一些特殊的HMM的形式

空轉(zhuǎn)移（NullTransitions）:在這種類型的HMM中，系統(tǒng)的輸出是與轉(zhuǎn)移弧相聯(lián)系的，允許不產(chǎn)生輸出的轉(zhuǎn)移，即從一個狀態(tài)轉(zhuǎn)移到其他狀態(tài)時，無觀察符號（或矢量）輸出。這樣的轉(zhuǎn)移稱為空轉(zhuǎn)移。在連續(xù)語音識別系統(tǒng)中，單詞或語句的HMM都是由基元HMM的連接形成的，一般在連接時，一個基元HMM的終止?fàn)顟B(tài)和一個基元HMM的初始狀態(tài)相連接，這種連接產(chǎn)生的轉(zhuǎn)移弧就是空轉(zhuǎn)移，如圖5-6所示。所以在大詞匯連續(xù)語音識別系統(tǒng)中大量使用了這種模型。

基元HMM的連接

參數(shù)捆綁（Parametertieing）:參數(shù)捆綁的基本思想是在HMM的不同狀態(tài)轉(zhuǎn)移弧的參數(shù)之間建立一定的關(guān)系，使得不同狀態(tài)轉(zhuǎn)移弧使用相同的參數(shù)，其目的就是使模型中的獨(dú)立的狀態(tài)參數(shù)減少，從而使得參數(shù)估計變得較為簡單。參數(shù)捆綁是解決訓(xùn)練數(shù)據(jù)不足問題的重要方法，因為模型的參數(shù)越多，則需要的訓(xùn)練數(shù)據(jù)數(shù)量就越大，否則訓(xùn)練出的模型精度就不夠。所以可以通過參數(shù)捆綁來降低模型參數(shù)數(shù)量，減少對訓(xùn)練數(shù)據(jù)量的壓力。參數(shù)捆綁常用于兩個或多個狀態(tài)的輸出觀察向量的概率密度分布近似相同的情況，提取的語音特征參數(shù)可以認(rèn)為在這些狀態(tài)轉(zhuǎn)移弧上符合相同的分布。實際上，在如圖5-7所示的連續(xù)型HMM中，一個狀態(tài)的自轉(zhuǎn)移弧和互轉(zhuǎn)移弧的參數(shù)必須進(jìn)行參數(shù)捆綁，因為，對于一個訓(xùn)練參數(shù)的時間序列，實際上互轉(zhuǎn)移弧上只通過了一幀的語音數(shù)據(jù)，而用一幀的語音數(shù)據(jù)估計正態(tài)分布概率密度函數(shù)是不可能的。

具有參數(shù)捆綁的連續(xù)型HMM

5.6隱馬爾可夫模型的一些實際問題

下溢問題在計算HMM的三個問題時，需要計算前向變量和后向變量，他們是通過遞歸運(yùn)算求得的，例如在Viterbi算法中，計算前向變量所用的遞歸公式如下：

在上式中，和項均為小于的1數(shù)（甚至遠(yuǎn)小于1），因此在實際運(yùn)算中，較要小，隨著t的增加，就有明顯得降低，最后，該變量變得非常小，以致會超出計算動態(tài)范圍的下限，即使采用雙精度運(yùn)算，當(dāng)t相當(dāng)大時，幾乎所有的都趨向于0，后向變量的計算也有類似的情況，這就是計算中的下溢問題。因此，在進(jìn)行相關(guān)計算時，必須加入定標(biāo)過程。

參數(shù)的初始化問題

從理論上而言，基于標(biāo)準(zhǔn)ML(MaximumLikelihoodMethod，簡稱為ML法)判據(jù)的Baum-Welch前后向重估訓(xùn)練算法能夠給出似然函數(shù)的局部最大點(diǎn)，一個關(guān)鍵的問題是如何恰當(dāng)?shù)剡x擇HMM的初始參數(shù)，使局部最大值盡量的接近全局最優(yōu)點(diǎn)。此外，好的初值選擇還可以保證達(dá)到收斂所需的迭代次數(shù)最小，即計算效率較高。初始概率和狀態(tài)轉(zhuǎn)移系數(shù)矩陣的初值較易確定。由迭代算法可知，如果任何一個參數(shù)的初值定為0，那么以后的迭代運(yùn)算中恒為零。因此，通常對這兩組參數(shù)的初值設(shè)置為均勻分布之值或非零的隨機(jī)數(shù)，據(jù)有關(guān)文獻(xiàn)介紹，和的初值設(shè)置對識別率的影響不是太大。參數(shù)B的初值設(shè)置較其它兩組參數(shù)的設(shè)置更至關(guān)重要也更困難。對離散型HMM等較簡單的情況，B的設(shè)置較容易，可以采取均勻的或隨機(jī)的設(shè)置每一字符出現(xiàn)的概率初值。在連續(xù)分布HMM的B中，包含的參數(shù)越多越復(fù)雜，則參數(shù)初值的設(shè)置對于迭代計算的結(jié)果越至關(guān)重要，一種較簡單的B初值的設(shè)置方法是用手工對輸入的語音進(jìn)行狀態(tài)劃分并統(tǒng)計出相應(yīng)的概率分布作為初值，這適合于較小的語音單位。對于較大的語音單位，目前普遍采用分段K-均值算法，該算法的基本思想和計算流程如圖5-8所示。

用分段K-均值算法求模型的參數(shù)初值

提高HMM描述語音動態(tài)特性的能力為了保證HMM計算的有效性和訓(xùn)練的可實現(xiàn)性，基本的HMM模型本身隱含了以下三個假設(shè)：假設(shè)1：狀態(tài)轉(zhuǎn)移概率與觀察序列無關(guān)，且時不變；假設(shè)2：狀態(tài)觀察概率密度函數(shù)與過去狀態(tài)無關(guān)；假設(shè)3：狀態(tài)觀察概率密度函數(shù)與過去觀察無關(guān)。由于語音是發(fā)音系統(tǒng)連續(xù)變化所產(chǎn)生的，具有很強(qiáng)的相關(guān)性，以上基本HMM的假設(shè)無疑是不合理的。因此，雖然隱馬爾可夫模型是現(xiàn)在最流行的語音識別模型，然而基本型的HMM采用狀態(tài)輸出獨(dú)立假設(shè)是它的一個固有的缺陷。它影響了HMM描述語音信號時間上幀間相關(guān)動態(tài)特性的能力。

為了彌補(bǔ)這一缺陷，最早人們采用的方法是在利用語音靜態(tài)參數(shù)的同時，增加如下式（5-63）所示的語音的動態(tài)特性參數(shù)，即以時刻t（幀）為中心，（幀）為幅度的線性回歸系數(shù)：然而這些擴(kuò)展都沒有從根本上解決HMM假設(shè)的不合理性，因而其對識別性能的改進(jìn)也必然是有限的。因此，基于語音段的統(tǒng)計建模方法正是在此基礎(chǔ)上于八十年代末、九十年代初應(yīng)運(yùn)而生了，提出許多方法，如使用線性或非線性預(yù)測器法、利用多項式回歸函數(shù)法、利用條件概率HMM的方法和復(fù)數(shù)幀段輸入HMM方法等。

利用語音幀間相關(guān)信息最直接最簡便的方法，是采用相繼的復(fù)數(shù)幀組成的特征參數(shù)矢量作為輸入特征量的方法。這種方法最初是由井手等人提出，Ostendorf等人把這一方法推廣到了連續(xù)語音識別系統(tǒng)。利用這一設(shè)想，可以較好地改善傳統(tǒng)輸出獨(dú)立HMM的缺陷，是一種有效而簡便的利用幀間相關(guān)信息的方法。HMM訓(xùn)練方法的改進(jìn)

現(xiàn)在作為HMM的模型的代表性訓(xùn)練方法是被稱為Baum-Welch算法的最大似然推定法(ML法)。這種方法是以學(xué)習(xí)樣本生成的似然函數(shù)值最大為學(xué)習(xí)準(zhǔn)則，而沒有考慮各學(xué)習(xí)類別之間的關(guān)系，所以不能保證用ML法訓(xùn)練的模型產(chǎn)生的識別誤差率為最小，即模型間鑒別力最大。針對HMM的模型的訓(xùn)練方法的問題，提出了許多改進(jìn)的訓(xùn)練方法。其中，基于最小分類誤差基準(zhǔn)的學(xué)習(xí)方法（MinimumClassificationErrorMethod，以下簡稱MCE法）效果較好。

直接利用狀態(tài)持續(xù)時間分布概率的HMM系統(tǒng)

由Viterbi算法以及上面介紹的k-均值HMM訓(xùn)練法可以知道，實際上語音信號中各個穩(wěn)定段是與相應(yīng)的HMM狀態(tài)相對應(yīng)的。然而在標(biāo)準(zhǔn)HMM中，觀察符號（矢量