第十二講語音信號處理第101~105章

1、10.110.1概述概述10.210.2說話人識別方法和系統(tǒng)結構說話人識別方法和系統(tǒng)結構10.310.3應用應用DTWDTW的說話人確認系統(tǒng)的說話人確認系統(tǒng)10.410.4應用應用VQVQ的說話人識別系統(tǒng)的說話人識別系統(tǒng)10.510.5應用應用HMMHMM的說話人識別系統(tǒng)的說話人識別系統(tǒng)10.1 10.1 概述概述v自動說話人識別（自動說話人識別（Automatic Speaker Recognition Automatic Speaker Recognition 簡稱簡稱ASRASR），又稱為話者識別或聲紋識別，），又稱為話者識別或聲紋識別，是一種自動識別說話是一種自動識別說話人的過程。說話

2、人識別和語音識別的人的過程。說話人識別和語音識別的區(qū)別區(qū)別在于，它不注重包在于，它不注重包含在語音信號內的文字符號以及語意內容信息，而是著眼于含在語音信號內的文字符號以及語意內容信息，而是著眼于包含在語音信號中的個人特征，提取說話人的這些個人信息包含在語音信號中的個人特征，提取說話人的這些個人信息特征，以達到識別說別說話人的目的。特征，以達到識別說別說話人的目的。v按其最終完成的任務可以分為兩類：按其最終完成的任務可以分為兩類： * * 自動說話人自動說話人確認確認（ Automatic Speaker Verification Automatic Speaker Verification，簡

3、稱簡稱ASVASV）：確認一個人的身份，只涉及一個特定的參考模：確認一個人的身份，只涉及一個特定的參考模型和待識別模式之間的比較，只做型和待識別模式之間的比較，只做“是是”和和“不是不是”的判決。的判決。 * * 自動說話人自動說話人辨認辨認(Automatic Speaker Identification,(Automatic Speaker Identification,簡簡稱稱ASI)ASI)：必須辨認出待識別的語音是來自待考察人中的哪一：必須辨認出待識別的語音是來自待考察人中的哪一個，有時還要對這個人以外的語音做出拒絕的判決。個，有時還要對這個人以外的語音做出拒絕的判決。 10.2 1

4、0.2 說話人識別方法和系統(tǒng)說話人識別方法和系統(tǒng)結構結構v說話人識別說話人識別就是從說話人的一段語音中提取出說話人的個性就是從說話人的一段語音中提取出說話人的個性特征，通過對這些個人特征的分析和識別，從而達到對說話特征，通過對這些個人特征的分析和識別，從而達到對說話人進行辨認或者確認的目的。圖人進行辨認或者確認的目的。圖10-110-1是說話人識別系統(tǒng)的結是說話人識別系統(tǒng)的結構框圖，它由構框圖，它由預處理、特征提取、模式匹配和判決預處理、特征提取、模式匹配和判決等幾大部等幾大部分組成。分組成。v10.2.110.2.1預處理預處理 包括對輸入計算機的語音數(shù)據(jù)進行端點檢測、預加重、加窗、包括對輸

5、入計算機的語音數(shù)據(jù)進行端點檢測、預加重、加窗、分針等。分針等。v10.2.210.2.2說話人識別特征的選取說話人識別特征的選取 在說話人識別系統(tǒng)中特征提取是最重要的一環(huán)，特征提取就在說話人識別系統(tǒng)中特征提取是最重要的一環(huán)，特征提取就是從說話人的語音信號中提取出表示說話人個性的基本特征。是從說話人的語音信號中提取出表示說話人個性的基本特征。 在理想情況下，選取的特征應當滿足下述準則：在理想情況下，選取的特征應當滿足下述準則：v能夠有效地區(qū)分不同的說話人，但又能在同一說話人的語音能夠有效地區(qū)分不同的說話人，但又能在同一說話人的語音發(fā)生變化時相對保持穩(wěn)定。發(fā)生變化時相對保持穩(wěn)定。v易于從語音信號中

6、提取易于從語音信號中提取v不易被模仿不易被模仿盡量不隨時間和空間變化盡量不隨時間和空間變化v如果把說話人識別中常用的參數(shù)加以簡要歸類，可如果把說話人識別中常用的參數(shù)加以簡要歸類，可劃分為以下幾類：劃分為以下幾類：v線性預測參數(shù)及其派生參數(shù)線性預測參數(shù)及其派生參數(shù)v語音頻譜直接導出的參數(shù)語音頻譜直接導出的參數(shù)v混合參數(shù)混合參數(shù)v其他魯棒性參數(shù)其他魯棒性參數(shù) 上表是日本人上表是日本人Matui和和Furui在在1990年針對倒譜特征和基音特征所作的比較實驗結年針對倒譜特征和基音特征所作的比較實驗結果果所用特征所用特征誤識率誤識率/（%）倒譜差值倒譜基音差值基音倒譜與差值倒譜倒譜、差值倒譜與基音、差

7、值基音9.4311.8174.4285.887.932.89v10.2.310.2.3特征參量評估方法特征參量評估方法 F F比：比：在給定一種識別方法后，識別的效果主要取決于特征在給定一種識別方法后，識別的效果主要取決于特征參數(shù)的選取。對于某一維單個的參數(shù)而言，可以用參數(shù)的選取。對于某一維單個的參數(shù)而言，可以用F F來表征來表征它在說話人識別中的有效性。它在說話人識別中的有效性。F F越大表示越有效，即不同說話人的特征量的均值分布的離散越大表示越有效，即不同說話人的特征量的均值分布的離散程度分布得越散越好；而同一個人的越集中越好。程度分布得越散越好；而同一個人的越集中越好。2( )2,iii

8、aia iFx不同說話人特征參數(shù)均值的方差同一說話人特征方差的均值ii 是 指 對 第 個 說 話 人 的 特 征 參 數(shù) 作 平 均a 是指對某個說話人各次的特征參數(shù)作平均( )iaxia是 指 對 第 個 說 話 人 的 第次 特 征 參 數(shù)( )=iiaaxi是 指 第 個 說 話 人 的 各 次 特 征 的 估 計 平 均 值=iiiuu 是 指 所 有 說 話 人 的平 均 所 得 的 均 值v10.2.310.2.3特征參量評估方法特征參量評估方法 D D比：比：把F比的概念推廣到多維，用以衡量多維特征矢量在說話人識別系統(tǒng)中的有效性。F比沒有考慮到特征矢量中各維參數(shù)之間的相關性。定

9、義兩個協(xié)方差矩陣，即說話人間的協(xié)方差矩陣B和說話人內協(xié)方差矩陣W， TiiiB T( )( ),iiaiaia ixxWiiiDT1W定義對多維特征矢量的可分性測度散度 ，即D比為: v10.2.4模式匹配方法模式匹配方法v概率統(tǒng)計方法概率統(tǒng)計方法 通過對穩(wěn)態(tài)特征（基音、聲門增益、低階反射系數(shù)等）的統(tǒng)計分析，通過對穩(wěn)態(tài)特征（基音、聲門增益、低階反射系數(shù)等）的統(tǒng)計分析，利用均值、方差等統(tǒng)計量和概率密度函數(shù)進行分類判決。優(yōu)點：不用對特利用均值、方差等統(tǒng)計量和概率密度函數(shù)進行分類判決。優(yōu)點：不用對特征參量在時域上進行規(guī)整，適合與文本無關的說話人識別。征參量在時域上進行規(guī)整，適合與文本無關的說話人識別

10、。v動態(tài)時間規(guī)整方法（動態(tài)時間規(guī)整方法（DTW） 將識別模板與參考模板進行時間對比，按照某種距離測度得出兩個模將識別模板與參考模板進行時間對比，按照某種距離測度得出兩個模板之間的相似程度。常用的分法：基于最近鄰原則的動態(tài)時間規(guī)整。板之間的相似程度。常用的分法：基于最近鄰原則的動態(tài)時間規(guī)整。v矢量量化方法（矢量量化方法（VQ） 將每個人的特定文本訓練成碼本，識別時將測試文本按此碼本進行編碼將每個人的特定文本訓練成碼本，識別時將測試文本按此碼本進行編碼，以量化產(chǎn)生的失真度作為判決標準。優(yōu)點：速度快，識別精度不低。，以量化產(chǎn)生的失真度作為判決標準。優(yōu)點：速度快，識別精度不低。v10.2.4模式匹配方

11、法模式匹配方法v隱馬爾科夫模型方法（隱馬爾科夫模型方法（HMM） 為每個說話人建立發(fā)聲模型，通過訓練得到狀態(tài)轉移概率矩陣和符號輸為每個說話人建立發(fā)聲模型，通過訓練得到狀態(tài)轉移概率矩陣和符號輸出矩陣；識別時計算未知語音在狀態(tài)轉移過程中的最大概率，根據(jù)最大概出矩陣；識別時計算未知語音在狀態(tài)轉移過程中的最大概率，根據(jù)最大概率對應的模型進行判決。優(yōu)點：無需時間規(guī)整，精度高；缺點：訓練耗時率對應的模型進行判決。優(yōu)點：無需時間規(guī)整，精度高；缺點：訓練耗時較大。較大。v人工神經(jīng)網(wǎng)絡方法（人工神經(jīng)網(wǎng)絡方法（ANN） 人工神經(jīng)網(wǎng)絡在某種程度上模擬了生物的感知特性，是一種分布式并人工神經(jīng)網(wǎng)絡在某種程度上模擬了生物

12、的感知特性，是一種分布式并行處理結構的網(wǎng)絡模型，具有自組織和自學習能力、很強的復雜分類邊界行處理結構的網(wǎng)絡模型，具有自組織和自學習能力、很強的復雜分類邊界區(qū)分能力以及對不完全信息的魯棒性，其性能近似理想的分類器。缺點：區(qū)分能力以及對不完全信息的魯棒性，其性能近似理想的分類器。缺點：訓練時間長、動態(tài)規(guī)整能力弱、網(wǎng)絡隨說話人數(shù)碼的增加時可能大到難以訓練時間長、動態(tài)規(guī)整能力弱、網(wǎng)絡隨說話人數(shù)碼的增加時可能大到難以訓練的程度。訓練的程度。v10.2.510.2.5說話人識別中判別方法和閾值的選擇說話人識別中判別方法和閾值的選擇加快系統(tǒng)響應的判別分法：多門限判決、預分類技術。加快系統(tǒng)響應的判別分法：多門

13、限判決、預分類技術。說話人確認系統(tǒng)的閾值選擇：說話人確認系統(tǒng)的閾值選擇：確認錯誤由確認錯誤由誤拒率誤拒率（False Rejection, FR）和）和誤受率誤受率（False Acceptance, FA）表示。判決門限一般由表示。判決門限一般由FR和和FA的相等點附近來確定。的相等點附近來確定。v10.2.6說話人識別系統(tǒng)的評價說話人識別系統(tǒng)的評價 一個說話人識別系統(tǒng)的好壞是由一個說話人識別系統(tǒng)的好壞是由許多因素決定的。其中主要有許多因素決定的。其中主要有正確正確識別率（或出錯率）、訓練時間的識別率（或出錯率）、訓練時間的長短、識別時間、對參考參量存儲長短、識別時間、對參考參量存儲量的要求

14、、使用者適用的方便程度量的要求、使用者適用的方便程度等，實用中還有價格因素等，實用中還有價格因素。圖。圖10.3表示了說話人辨別與說話人確認系表示了說話人辨別與說話人確認系統(tǒng)性能與用戶數(shù)的關系。統(tǒng)性能與用戶數(shù)的關系。10.310.3應用應用DTWDTW的說話人確認系統(tǒng)的說話人確認系統(tǒng) 一個應用一個應用DTW說話人識別系統(tǒng)如圖說話人識別系統(tǒng)如圖10-4所示。它采用所示。它采用的識別特征是的識別特征是BPFG（附聽覺特征處理），匹配時采用（附聽覺特征處理），匹配時采用DTW技術。技術。10.410.4應用應用VQVQ的說話人識別系統(tǒng)的說話人識別系統(tǒng) 目前自動說話人識別的方法主要是基于參數(shù)模型的目前

15、自動說話人識別的方法主要是基于參數(shù)模型的HMM的的方法和基于非參數(shù)模型的方法和基于非參數(shù)模型的VQ的方法。應用的方法。應用VQ的說話人識別的說話人識別系統(tǒng)如圖系統(tǒng)如圖10-5所示。所示。v應用應用VQ的說話人識別過程的步驟如下：的說話人識別過程的步驟如下：v訓練過程訓練過程從訓練語音提取特征矢量，得到特征矢量集；從訓練語音提取特征矢量，得到特征矢量集；通過通過LBG算法生成碼本；算法生成碼本；重復訓練修正優(yōu)化碼本；重復訓練修正優(yōu)化碼本；存儲碼本存儲碼本v識別過程識別過程從測試語音提取特征矢量序列從測試語音提取特征矢量序列由每個模板依次對特征矢量序列進行矢量量化，計算各自的平均量由每個模板依次對

16、特征矢量序列進行矢量量化，計算各自的平均量化誤差：化誤差： 式中式中 是第是第i個碼本中第個碼本中第l個碼個碼本矢量，而本矢量，而 是待測矢量是待測矢量 和碼矢量和碼矢量 之間的距之間的距離離選擇平均量化誤差最小的碼本所對應的說話人作為系統(tǒng)識別結果。選擇平均量化誤差最小的碼本所對應的說話人作為系統(tǒng)識別結果。MnilnLliYXdMD11),(min1NiLlYiL,.2 , 1,.2 , 1,),(ilnYXdnXilY10.510.5應用應用HMMHMM的說話人識別系統(tǒng)的說話人識別系統(tǒng)v10.5.1 基于基于HMM的與文本有關的說話人識別的與文本有關的說話人識別 基于基于HMM的與文本有關的

17、說話人識別系統(tǒng)的結構如圖的與文本有關的說話人識別系統(tǒng)的結構如圖10-6所所示。示。v10.5.2基于基于HMM的與文本無關的說話人識別的與文本無關的說話人識別v10.5.3基于基于HMM的指定文本型說話人識別的指定文本型說話人識別 指定文本型說話人識別系統(tǒng)的基本構造如圖指定文本型說話人識別系統(tǒng)的基本構造如圖10-7所示。所示。文本內容不確定，一般采用文本內容不確定，一般采用各態(tài)歷經(jīng)各態(tài)歷經(jīng)HMM建立說話人模型。建立說話人模型。v10.5.4說話人識別說話人識別HMM的學習方法的學習方法v10.5.5魯棒的魯棒的HMM說話人識別技術說話人識別技術利用少量的登錄說話人學習數(shù)據(jù)的學習方法；利用非特定

18、人語音HMM和登錄說話人學習數(shù)據(jù)的學習方法。對于由信號傳輸信道、濾波器等引起的識別率下降，通過倒譜均值正規(guī)化法可以得到改善；由聲道特征、發(fā)音方式的時間變動等引起的識別率下降，可以通過似然度正規(guī)化法加以改善。10.610.6應用應用GMMGMM的說話人識別系統(tǒng)的說話人識別系統(tǒng) 混合高斯分布模型是只有一個狀態(tài)的模型，在這個狀態(tài)里具混合高斯分布模型是只有一個狀態(tài)的模型，在這個狀態(tài)里具有多個高斯分布函數(shù)有多個高斯分布函數(shù)v10.6.1GMM模型的基本概念模型的基本概念 高斯混合模型（高斯混合模型（GMM）可以看做一種）可以看做一種狀態(tài)數(shù)為狀態(tài)數(shù)為1的連續(xù)分布的連續(xù)分布隱馬爾科夫模型隱馬爾科夫模型CDH

19、MM。一個。一個M階混合高斯模型的概率密階混合高斯模型的概率密度函數(shù)是由度函數(shù)是由M個高斯概率密度函數(shù)加權求和得到，所示如下：個高斯概率密度函數(shù)加權求和得到，所示如下：MiiiXbXP1)()/()710( 其中其中 是一個是一個D維隨即向量，維隨即向量， 是子分布，是子分布， ，是混合權重。，是混合權重。 每個子每個子分布是分布是D維的聯(lián)合高斯概率分布，可表示為：維的聯(lián)合高斯概率分布，可表示為： 其中其中 是均值向量，是均值向量， 是協(xié)方差矩陣，混合權重值是協(xié)方差矩陣，混合權重值滿足以下條件：滿足以下條件： 完整的混合高斯模型由參數(shù)均值向量、協(xié)方差矩陣和混合完整的混合高斯模型由參數(shù)均值向量、

20、協(xié)方差矩陣和混合權重組成，表示為：權重組成，表示為： 對于給定的時間序列對于給定的時間序列 ，利，利用用GMM模型求得的對數(shù)似然度可定義如下：模型求得的對數(shù)似然度可定義如下：XMiXbti,.,1),(Mii,.,1, )()(21exp|)2(1)(12/12/iitiiDiXXXbii11MiiMiiii,.,1,TtXXt,.,2 , 1,TitXPTXL1)/(log1)/(v10.6.2GMM模型的參數(shù)估計模型的參數(shù)估計 GMM模型的訓練就是給定一組訓練數(shù)據(jù)，依據(jù)某種準則模型的訓練就是給定一組訓練數(shù)據(jù)，依據(jù)某種準則確定模型參數(shù)。最常用的參數(shù)估計方法是確定模型參數(shù)。最常用的參數(shù)估計方法

21、是最大似然（最大似然（ML）估計估計。對于一組長度為。對于一組長度為T的訓練矢量序列的訓練矢量序列 ，GMM的似然度可以表示為：的似然度可以表示為： 由于上式是參數(shù)由于上式是參數(shù) 的非線性函數(shù)，很難直接求出上式的的非線性函數(shù)，很難直接求出上式的最大值。因此，常常采用最大值。因此，常常采用EM算法算法估計參數(shù)估計參數(shù) 。EM算法算法的計算是從參數(shù)的計算是從參數(shù) 的一個初值開始，采用的一個初值開始，采用EM算法估計出算法估計出一個新的參數(shù)一個新的參數(shù) ，使得新的模型參數(shù)下的似然度，使得新的模型參數(shù)下的似然度 新的模型參數(shù)再作為當前參數(shù)進行訓練，這樣迭代運算直新的模型參數(shù)再作為當前參數(shù)進行訓練，這樣

22、迭代運算直到模型收斂。每一次迭代運算，下面的重估公式保證了模型到模型收斂。每一次迭代運算，下面的重估公式保證了模型似然度的單調遞增。似然度的單調遞增。,.,21TXXXX TttXPXP1)/()/()/()/(XPXPv混合權值的重估公式：混合權值的重估公式：v均值的重估公式：均值的重估公式：v方差的重估公式：方差的重估公式：其中，分量其中，分量i的后驗概率為：的后驗概率為：TttiXiPT1),/(1TtttTttiXiPXXiP11),/(),/(TttitTttiXiPXXiP1212),/()( ),/(MktkktiitXbXbXiP1)()(),/(v10.6.3訓練數(shù)據(jù)不充分的

23、問題訓練數(shù)據(jù)不充分的問題 由于訓練數(shù)據(jù)的不充分，由于訓練數(shù)據(jù)的不充分，GMM模型的協(xié)方差矩陣的一些模型的協(xié)方差矩陣的一些分量可能會很小，這些很小的值對模型參數(shù)的似然度函數(shù)影響分量可能會很小，這些很小的值對模型參數(shù)的似然度函數(shù)影響很大，嚴重影響系統(tǒng)的性能。為了避免小的值對系統(tǒng)性能的影很大，嚴重影響系統(tǒng)的性能。為了避免小的值對系統(tǒng)性能的影響，一種方法是在響，一種方法是在EM算法的迭代計算中，對協(xié)方差的值設置算法的迭代計算中，對協(xié)方差的值設置一個門限值，在訓練過程中領協(xié)方差的值不小于這個設定的門一個門限值，在訓練過程中領協(xié)方差的值不小于這個設定的門限值，否則用這個門限值代替。限值，否則用這個門限值代

24、替。v10.6.4GMM模型的識別問題模型的識別問題 給定一個語音樣本，說話人辨認的目的是要確定這個語音給定一個語音樣本，說話人辨認的目的是要確定這個語音屬于屬于N個說話人中的哪一個。基于個說話人中的哪一個。基于GMM的說話人辨認系統(tǒng)的說話人辨認系統(tǒng)結構框圖如圖結構框圖如圖10-8所示。所示。 根據(jù)根據(jù)Bayes理論，最大后驗概率可表示為：理論，最大后驗概率可表示為： 在這里：在這里： 其對數(shù)形式為：其對數(shù)形式為： 因為因為 的先驗概率未知，我們假定該語音信號出自的先驗概率未知，我們假定該語音信號出自封閉集里的每一個人的可能性相等，也就是說：封閉集里的每一個人的可能性相等，也就是說： (/)(

25、)(/)()iiiP XPPXP XTttXPXP1)/()/(TttXPXP1)/(log)/(log)(iPNiNPi1 ,1)( 對于一個確定的觀察值矢量對于一個確定的觀察值矢量X，P(X)是一個確定的常數(shù)值是一個確定的常數(shù)值，對所有說話人都相等。因此，求取后驗概率的最大值可以，對所有說話人都相等。因此，求取后驗概率的最大值可以通過求取通過求取 獲得，這樣，辨認該語音屬于語音獲得，這樣，辨認該語音屬于語音庫中的哪一種說話人可以表示為：庫中的哪一種說話人可以表示為： 其中其中 即為識別出的說話人。即為識別出的說話人。(/)iP X*arg m ax(/)iiiP X*i10.710.7說話

26、人識別尚需探索的問題及說話人識別尚需探索的問題及應用應用v基礎性的課題基礎性的課題關于語音中語意內容和說話人的分離，系統(tǒng)全面地進行關于語音中語意內容和說話人的分離，系統(tǒng)全面地進行研究的人還是很少的。研究的人還是很少的。究竟什么特征參數(shù)對說話人識別最有效？如何有效的利究竟什么特征參數(shù)對說話人識別最有效？如何有效的利用非聲道特征？用非聲道特征？說話人特征的變化和樣本選擇問題。說話人特征的變化和樣本選擇問題。用聽覺和視覺的說話人識別研究是用計算機進行說話人用聽覺和視覺的說話人識別研究是用計算機進行說話人識別的基礎。識別的基礎。v實用性的問題實用性的問題說話人識別系統(tǒng)設計的合理化及優(yōu)化問題。說話人識別

27、系統(tǒng)設計的合理化及優(yōu)化問題。如何處理長時和短時說話人的語音波動？如何區(qū)別有意如何處理長時和短時說話人的語音波動？如何區(qū)別有意模仿的聲音？模仿的聲音？說話人識別系統(tǒng)的性能評價問題。說話人識別系統(tǒng)的性能評價問題?？煽啃院徒?jīng)濟性?？煽啃院徒?jīng)濟性。目前說話人識別的主要研究主要集中在如下幾個方面：目前說話人識別的主要研究主要集中在如下幾個方面：語音特征參數(shù)的提取和混合語音特征參數(shù)的提取和混合HMM模型與其他模型混合，改善說話人識別系統(tǒng)的性能。模型與其他模型混合，改善說話人識別系統(tǒng)的性能。v說話人識別技術的應用說話人識別技術的應用電話信道罪犯緝拿、法庭中電話錄音信息的身份確認、電話信道罪犯緝拿、法庭中電話

28、錄音信息的身份確認、電話語音跟蹤，為用戶提供防盜門開啟功能等。電話語音跟蹤，為用戶提供防盜門開啟功能等。通信領域，說話人識別技術可以應用于諸如電話銀行、通信領域，說話人識別技術可以應用于諸如電話銀行、電話購物、數(shù)據(jù)庫訪問、信息服務、安全控制、計算機電話購物、數(shù)據(jù)庫訪問、信息服務、安全控制、計算機遠程登陸等領域。遠程登陸等領域。呼叫中心應用上，說話人識別技術同樣可以提供更加個呼叫中心應用上，說話人識別技術同樣可以提供更加個性化的人機交互界面。性化的人機交互界面。 10.810.8語種辨別的原理和應用語種辨別的原理和應用 語種辨別（語種辨別（Language Identification, LID）與語音識別）與語音識別和說話人識別有所不同，它是通過分析處理一個語言片段以和說話人識別有所不同，它是通過分析處理一個語言片段以判別其所屬語言的語種，本質上也是語音識別的一方面