語音信號處理第6章-說話人識別課件

第6章說話人識別應(yīng)用VQ的說話人識別系統(tǒng)應(yīng)用GMM的說話人識別系統(tǒng)概述說話人識別原理及系統(tǒng)結(jié)構(gòu)研究展望6.1概述自動說話人識別(ASR)是一種自動識別說話人的過程。說話人識別是從語音中提取不同特征，然后通過判斷邏輯來判定該語句的歸屬類別。說話人識別不注重包含在語音信號中的文字符號及其語義內(nèi)容信息，而是著眼于包含在語音信號中的個人特征，以達到識別說話人的目的。因此，相比于語音識別，說話人識別相對簡單。自動說話人識別按其最終完成的任務(wù)可分為兩類：自動說話人確認和自動說話人辨認。自動說話人確認是確認一個人的身份，只涉及一個特定的參考模型和待識別模式之間的比較，系統(tǒng)只需做出“是”或“不是”的二元判決；而對于自動說話人辨認，系統(tǒng)則必須辨認出待識別的語音是來自待考察的

個人中的哪一個，有時還要對這

個人以外的語音做出拒絕的判斷。6.1概述自動說話人識別按輸入的測試語音來分，可分為三類，即與文本無關(guān)、與文本有關(guān)和文本指定型：1）與文本無關(guān)的說話人識別指的是不規(guī)定說話內(nèi)容的說話人識別，即識別時不限定所用的語音內(nèi)容；2）與文本有關(guān)的說話人識別指的是規(guī)定內(nèi)容的說話人識別，即只能用規(guī)定內(nèi)容的語句進行識別。但是，這兩種識別存在一個問題，即如果事先用錄音裝置把說話人本人的講話內(nèi)容記錄下來，然后用于識別，則存在被識別裝置誤接受的危險；3）指定文本型說話人識別中，每一次識別時必須先由識別裝置向說話人指定需發(fā)音的文本內(nèi)容，只有在系統(tǒng)確認說話人對指定文本內(nèi)容正確發(fā)音時才可以被接受，這樣可減輕本人語聲被盜用的危險。010203聲紋監(jiān)聽多人識別聲紋比對銀行（電話，網(wǎng)上）證券銀行卡，身份卡聲紋密匙高檔酒店，會員俱樂部，貴族商城等玩具汽車個人電腦（家庭分級密碼）公安領(lǐng)域？金融領(lǐng)域？生活領(lǐng)域★潛在的應(yīng)用技術(shù)難題：跨信道、噪聲6.2

說話人識別原理及系統(tǒng)結(jié)構(gòu)說話人識別系統(tǒng)由預(yù)處理、特征提取、模式匹配和識別決策等幾大部分組成。除此之外，完整的說話人識別系統(tǒng)還應(yīng)包括模板庫的建立、專家知識庫的建立和判決閾值選擇等部分。6.2

說話人識別原理及系統(tǒng)結(jié)構(gòu)說話人識別系統(tǒng)可分為兩個階段：訓練（注冊）階段和識別階段。1）在訓練階段，系統(tǒng)的每一個使用者說出若干訓練語料，系統(tǒng)根據(jù)這些訓練語料，通過訓練學習建立每個使用者的模板或模型參數(shù)參考集。2）在識別階段，把從待識別說話人說出的語音信號中提取的特征參數(shù)，與在訓練過程中得到的參考參量集或模型模板加以比較，并且根據(jù)一定的相似性準則進行判定。6.2.1預(yù)處理1）話筒自適應(yīng)和輸入電平的設(shè)定輸入語音信號的品質(zhì)對語音識別性能的影響很大，因此，對話筒的耐噪聲性能要求很高。此外，為了保持識別性能穩(wěn)定，必須具備對話筒以及前端設(shè)備性能的測定以及根據(jù)測試結(jié)果對輸入語音的變形進行校正的功能。2）降噪當話筒與嘴有一定距離的時候，以及在汽車里或戶外等周圍環(huán)境噪聲大的時候必須對輸入信號進行降噪處理。3）語音區(qū)間的端點檢測端點檢測的目的是從語音信號流中自動地分割出識別基元，即用數(shù)字處理技術(shù)來找出語音信號中的各種段落的始點和終點的位置。6.2.1預(yù)處理端點檢測難度：1）由于電平的變化，難于設(shè)置對各次試驗都適用的閾值；2）咂嘴聲、呼吸氣流或其它某些雜音會使語音波形產(chǎn)生一個很小的尖峰，可能超過所設(shè)計門限值；3）突發(fā)性干擾會使短時參數(shù)變得很大，持續(xù)很短時間后又恢復(fù)為寂靜特性，這種干擾應(yīng)該計入寂靜段中；4）弱摩擦音和鼻音的特性與噪聲極為接近，其中鼻韻往往還拖得很長；5）如果輸入信號中有50Hz工頻干擾或者A/D變換點的工作點偏移時，用短時過零率區(qū)分無聲和清音的方法就變的不可靠。6.2.1預(yù)處理優(yōu)秀的端點檢測算法應(yīng)具有：1）門限值對對背景噪聲的變化有一定的適應(yīng)性；2）將短時沖擊噪聲和人的咂嘴等瞬間超過門限值的信號納入無聲段而不是有聲段；3）對于爆破音的寂靜段，應(yīng)將其納入語音的范圍而不是無聲段；4）應(yīng)該盡可能避免在檢測中丟失鼻韻和弱摩擦音等與噪聲特性相似、短時參數(shù)較少的語音；5）應(yīng)該避免使用過零率作為判決標準而帶來的負面影響。6.2.2說話人識別特征的選取特征提取就是從說話人的語音信號中提取出表示說話人個性的基本特征，是最重要的環(huán)節(jié)之一。選取的特征應(yīng)當滿足下述準則：1）能夠有效地區(qū)分不同的說話人，但又能在同一說話人的語音發(fā)生變化時相對保持穩(wěn)定；2）易于從語音信號中提??；3）不易被模仿；4）盡量不隨時間和空間變化。一般來說，同時滿足上述全部要求的特征通常是不可能找到的，只能使用折衷方案。6.2.2特征的選取說話人識別中常用的參數(shù)類別：1）線性預(yù)測參數(shù)及其派生參數(shù)：包括部分相關(guān)系數(shù)、聲道面積比函數(shù)、線譜對系數(shù)以及LPC倒譜系數(shù)等。2）語音頻譜直接導出的參數(shù)：包括功率譜、基音輪廓、共振峰及其帶寬、語音強度及其變化等。3）混合參數(shù)4）其他魯棒性參數(shù)：包括Mel頻率倒譜系數(shù)，以及經(jīng)過噪聲譜減或者信道譜減的去噪倒譜系數(shù)等。所用特征誤識率倒譜9.43%差值倒譜11.81%基音74.42%差值基音85.88%倒譜與差值倒譜7.93%倒譜、差值倒譜、基音、差值基音2.89%6.2.3特征參量評價方法同一說話人的不同語音會在參數(shù)空間映射出不同的點，若對同一人來說，這些點分布比較集中，而對不同說話人的分布相距較遠，則選取的參數(shù)就是有效的。1）兩種分布的方差之比（F比）：2）評價多維特征矢量的有效性的可分性測度（D比）：式中說話人內(nèi)特征矢量的協(xié)方差矩陣W為6.2.4模式匹配方法1）動態(tài)時間規(guī)整方法（DTW）將識別模板與參考模板進行時間對比時，需要按照某種距離測度得出兩模板間的相似程度。2）矢量量化方法(VQ)3）隱馬爾可夫模型方法(HMM)隱馬爾可夫模型是一種基于轉(zhuǎn)移概率和輸出概率的隨機模型，識別時計算未知語音在狀態(tài)轉(zhuǎn)移過程中的最大概率，根據(jù)最大概率對應(yīng)的模型進行判決。4）高斯混合模型（GMM）5）人工神經(jīng)網(wǎng)絡(luò)方法（ANN）人工神經(jīng)網(wǎng)絡(luò)是一種分布式并行處理結(jié)構(gòu)的網(wǎng)絡(luò)模型，其性能近似理想的分類器。其缺點是訓練時間長，動態(tài)時間規(guī)整能力弱。6.2.5判別方法和閾值的選擇對于要求快速處理的說話人確認系統(tǒng)，可以采用多門限判決和預(yù)分類技術(shù)來達到加快系統(tǒng)響應(yīng)時間而又不降低確認率的效果。1）多門限判決相當于一種序貫判決方法，它使用多個門限來作出接受還是拒絕的判決。2）在說話人辨認時，每個人的模板都要被檢查一遍，所以系統(tǒng)的響應(yīng)時間一般隨待識別的人數(shù)線性增加，但是如果按照某些特征參數(shù)預(yù)先地將待識別的人聚成幾類，那么在識別時，根據(jù)測試語音的類別，只要用該類的一組候選人的模板參數(shù)匹配，就可以大大減少模板匹配所需的次數(shù)和時間。6.2.5判別方法和閾值的選擇雖然在一般情況下，判決門限都應(yīng)該選取在FR和FA相等的點上，但這個點的確定需要較多數(shù)據(jù)的實驗結(jié)果，還不一定能得到正好相等的點。確認錯誤用錯誤拒絕率（FR）和錯誤接受率（FA）來表示。前者是拒絕真實的聲言者而造成的錯誤，后者則是把冒名頂替者錯認為其聲言者引起的錯誤。判決門限錯誤概率誤拒率FR誤受率FAabc06.2.6性能評價一個說話人識別系統(tǒng)的好壞是由許多因素決定的，主要有正確識別率（或出錯率）、訓練時間的長短、識別時間、對參考參量存儲量的要求、使用者使用的方便程度等，實用中還有價格因素。目前對說話人識別系統(tǒng)的性能評價還沒有統(tǒng)一的標準。一個系統(tǒng)所具有的識別性能盡管看起來很好，但是它們所依據(jù)的條件卻是差別很大的。為了給出統(tǒng)一的評價，需要建立一個測試數(shù)據(jù)庫。該數(shù)據(jù)庫應(yīng)該包含大量的說話人且具有不同發(fā)音風格和不同時間間隔的語音數(shù)據(jù)。此外，系統(tǒng)還應(yīng)該考慮語音經(jīng)不同信道傳輸后的影響。6.3

應(yīng)用VQ的說話人識別系統(tǒng)矢量量化（VQ）技術(shù)是七十年代后期發(fā)展起來的一種數(shù)據(jù)壓縮和編碼技術(shù)，廣泛應(yīng)用于語音編碼、語音合成、語音識別和說話人識別等領(lǐng)域。矢量量化在語音信號處理中占有十分重要的地位，在許多重要的研究課題中，矢量量化都起著非常重要的作用。當可用于訓練的數(shù)據(jù)量較小時，基于VQ的方法比連續(xù)的HMM方法有更大的魯棒性。同時，基于VQ的方法比較簡單，實時性也較好。因此，基于VQ的說話人識別方法，仍然是最常用的識別方法之一。6.3.1系統(tǒng)模型應(yīng)用VQ的說話人識別系統(tǒng)包含兩個步驟：一是利用每個說話人的訓練語音，建立參考模型碼本；二是對待識別話者的語音的每一幀和碼本碼字進行匹配。語種1碼本1語種N碼本N語種2碼本2參考模型…VQ失真計算特征提取辨識判決語音輸入識別結(jié)果6.3.1系統(tǒng)模型說話人識別系統(tǒng)可以將每個待識別的說話人看作是一個信源，用一個碼本來表征，碼本是從該說話人的訓練序列中提取的特征矢量聚類而生成，只要訓練的數(shù)據(jù)量足夠，就可以認為這個碼本有效的包含了說話人的個人特征，而與說話的內(nèi)容無關(guān)。識別時，首先對待識別的語音段提取特征矢量序列，然后用系統(tǒng)已有的每個碼本依次進行矢量量化，計算各自的平均量化失真。選擇平均量化失真最小的那個碼本所對應(yīng)的說話人作為系統(tǒng)識別的結(jié)果。在VQ法中模型匹配不依賴于參數(shù)的時間順序，因而匹配過程中無需采用動態(tài)時間規(guī)整技術(shù)；而且這種方法比應(yīng)用動態(tài)時間規(guī)整方法的參考模型存儲量小，即碼本碼字小。6.3.2

VQ基本原理將K維歐幾里德空間RK無遺漏地劃分成J個互不相交的子空間

，即滿足

這些子空間Rj稱為胞腔。在每一個子空間Rj找一個代表矢量Yj，則J個代表矢量可以組成矢量集為：

這樣，

Y就組成了一個矢量量化器，被稱為碼書或碼本；

Yj稱為碼矢或碼字；Y內(nèi)矢量的個數(shù)J，則叫作碼本長度或碼本尺寸。不同的劃分或不同的代表矢量選取方法就可以構(gòu)成不同的矢量量化器。6.3.2

VQ基本原理當矢量量化器輸入一個任意矢量Xi∈RK進行矢量量化時，矢量量化器首先判斷它屬于哪個子空間Rj

，然后輸出該子空間

Rj

的代表矢量Yj

。也就是說，矢量量化過程就是用Yj

代表Xi的過程，或者說把Xi量化成Yj

，即

式中，Q(Xi)為量化器函數(shù)。由此可知，矢量量化的全過程就是完成一個從K維歐幾里德空間RK中的矢量

到K維空間RK有限子集Y的映射：

6.3.2

VQ基本原理二維矢量量化器實例6.3.2

VQ基本原理矢量量化技術(shù)進行語音處理時的兩個要解決的問題：（1）設(shè)計一個好的碼本。關(guān)鍵是如何劃分

個區(qū)域邊界。這需要用大量的輸入信號矢量，經(jīng)過統(tǒng)計實驗才能確定。為了建立一個好的碼本，首先要求建立碼本的訓練數(shù)據(jù)不僅數(shù)據(jù)量要充分大，而且要有代表性；其次，要選擇一個好的失真度準則以及碼本優(yōu)化方法。（2）未知矢量的量化。對未知模式矢量，按照選定的失真測度準則，把未知矢量量化為失真測度最小的區(qū)域邊界的中心矢量值（碼字矢量），并獲得該碼字的序列號（碼子在碼本中的地址或標號）。對于兩矢量進行比較的測度問題，通常選用的測度就是兩矢量之間的距離，或以其中某一矢量為基準時的失真度。其次是未知矢量量化時的搜索策略，好的搜索策略可以減少量化時間。6.3.3失真測度在應(yīng)用VQ法進行說話人識別時，失真測度的選擇將直接影響到聚類結(jié)果，進而影響說話人識別系統(tǒng)的性能。失真測度（距離測度）是將輸入矢量

用碼本重構(gòu)矢量

來表征時所產(chǎn)生的誤差或失真的度量方法，它可以描述兩個或多個模型矢量間的相似程度。失真測度的選擇要根據(jù)所使用的參數(shù)類型來定，在語音信號處理采用的矢量量化中，最常用的失真測度是歐氏距離測度、加權(quán)歐氏距離測度、Itakura-Saito距離、似然比失真測度和識別失真測度等。6.3.3失真測度1）歐氏距離測度（1）均方誤差，其定義為：（2）r平均誤差，其定義式為：（3）最大平均誤差，其定義式為：（4）加權(quán)歐氏距離測度，其定義為：6.3.3失真測度2）線性預(yù)測失真測度當語音信號特征矢量是用線性預(yù)測方法求出的LPC系數(shù)時，此時僅由預(yù)測器系數(shù)的差值不能完全表征這兩個語音信息的差別，即不宜直接使用歐氏距離，可選用I-S距離測度、對數(shù)似然比失真測度和模型失真測度。（1）I-S距離測度（2）對數(shù)似然比失真測度（3）模型失真測度6.3.3失真測度3）識別失真測度頻譜與能量都攜帶有語音信號的信息，如果僅僅靠功率譜作為失真比較的參數(shù)，識別的性能將不夠理想。式中，E及E′分別為輸入信號矢量和碼書重構(gòu)矢量的歸一化能量，

α為加權(quán)因子，g(x)可取為：g(x)的作用是：當兩矢量的能量接近時，忽略能量差異引起的影響；當兩矢量的能量相差較大時，即進行線性加權(quán)；而當能量差超過門限xF時，則為某固定值。6.3.4系統(tǒng)的設(shè)計與實現(xiàn)在VQ算法中，碼本是非常關(guān)鍵的。最佳碼本設(shè)計的任務(wù)就是在一定的條件下，使得畸變E[d(X,Y)]的統(tǒng)計平均值

達到最小。為了實現(xiàn)這一目的，應(yīng)該遵循以下兩條原則：（1）根據(jù)X選擇相應(yīng)的碼字Yl時應(yīng)遵從最近鄰準則，即：（2）設(shè)所有選擇碼字Yl（即歸屬于Yl所表示的區(qū)域的）的輸入矢量X的集合為Sl

，那么

應(yīng)使此集合中的所有矢量與

之間的畸變值最小。如果X與Y之間的畸變值等于它們的歐氏距離，則Yl應(yīng)由下式表示：

6.3.4系統(tǒng)的設(shè)計與實現(xiàn)基于歐式距離的碼本設(shè)計的遞推算法——LBG算法a）設(shè)定碼本和迭代訓練參數(shù)：設(shè)全部輸入訓練矢量X的集合為

S；設(shè)置碼本的尺寸為J；設(shè)置迭代算法的最大迭代次數(shù)為L；設(shè)置畸變改進閾值為δ。b）設(shè)定初始化值：設(shè)置J個碼字的初值Y1(0)，…，YJ(0)；設(shè)置畸變初值D(0)=∞；設(shè)置迭代次數(shù)初值m=1。c）假定根據(jù)最近鄰準則將S分成了J個子集S1(m)，…，SJ(m)，即當X∈SJ(m)時，下式成立：d）計算總畸變

D(m)：

6.3.4系統(tǒng)的設(shè)計與實現(xiàn)e）計算畸變改進量ΔD(m)的相對值δ(m)

：

f）計算新碼本的碼字Y1(m)，…，YJ(m)

：

g）判斷δ(m)

是否小于δ。若是，轉(zhuǎn)入i)執(zhí)行；否則，轉(zhuǎn)入h)執(zhí)行。h）判斷m是否小于L。若否，轉(zhuǎn)入i）執(zhí)行；否則，m=m+1，轉(zhuǎn)入c）執(zhí)行。i）迭代終止；輸出

作為訓練成的碼本的碼字Y1(m)，…，YJ(m)

，并且輸出總畸變D(m)

。6.3.4系統(tǒng)的設(shè)計與實現(xiàn)從上面的LBG算法步驟可以看出，在開始迭代前，必須先確定一個初始碼本。這個初始碼本的設(shè)計對最佳碼本的設(shè)計有很大影響。初始碼本的構(gòu)造有許多方法：1）隨機碼本法：從訓練序列中隨機地選取J個矢量作為初始碼字，從而構(gòu)成初始碼本。優(yōu)點是簡單，缺點是這樣的碼字沒有代表性，會導致碼本訓練的收斂變慢或不能收斂；2）分裂碼本法：第一步求出S中全體訓練矢量X的質(zhì)心作為初始碼本的碼字Y1(0)；然后在S中找一個與此質(zhì)心的畸變最大的矢量Xj，再在S中找一個與Xj的誤差為最大的矢量Xk；以Xj和Xk為基準進行劃分，得到Sj和Sk兩個子集；對這兩個子集分別按同樣方法進行處理就可以得到四個子集。依此類推，若

J=2r則只要進行r次分裂就可以得到J個子集。6.3.4系統(tǒng)的設(shè)計與實現(xiàn)基于矢量量化的說話人識別系統(tǒng)的識別過程可概況為：1）從測試語音提取特征矢量序列

；2）每個模板依次對特征矢量序列進行矢量量化，計算各自的平均量化誤差：

式中，

是第i個碼本中第?個碼本矢量，而

是待測矢量和碼矢量之間的失真測度；3）選擇平均量化誤差最小的碼本所對應(yīng)的說話人作為系統(tǒng)的識別結(jié)果。6.4

應(yīng)用GMM的說話人識別系統(tǒng)在辨認任務(wù)中，目的是找到一個說話者i*

，其對應(yīng)的模型參數(shù)θ*使得待識別語音特征矢量組具有最大后驗概率P(θi/X)。6.4.1系統(tǒng)模型6.4.1系統(tǒng)模型根據(jù)貝葉斯理論，最大后驗概率可表示為：

假定該語音信號出自封閉集里的每個人的可能性相等，則P(θi)=1/N。對于一個確定的觀察值矢量

X，P(X)是一個確定的常數(shù)值，對所有說話人都相等。因此，求取后驗概率的最大值可以通過求取P(X/θi)獲得，這樣，辨認該語音屬于語音庫中的哪一個說話人可以表示為：6.4.2

GMM概述高斯混合模型是單一高斯機率密度函數(shù)的延伸，能夠平滑地近似任意形狀的密度分布，常被用在語音、圖像識別等。高斯密度函數(shù)估計是一種參數(shù)化模型。在聚類問題中，根據(jù)高斯概率密度函數(shù)參數(shù)的不同，每一個高斯模型可以看作一種類別，輸入一個樣本

，即可通過概率密度函數(shù)計算其值，然后通過一個閾值來判斷該樣本是否屬于高斯模型。多維高斯（正態(tài)）分布概率密度函數(shù)定義如下：將任意測試樣本

輸入，均可得到一個標量

N，然后根據(jù)閾值t來確定該樣本是否屬于該類別。閾值t可以為經(jīng)驗值，也可以通過實驗確定。6.4.2

GMM概述高斯混合模型的解釋：有一批觀察數(shù)據(jù)X，數(shù)據(jù)個數(shù)為S。假設(shè)每個點均由一個單高斯分布生成(具體參數(shù)μj和∑j未知)，而這一批數(shù)據(jù)共由M個單高斯模型生成，具體某個數(shù)據(jù)xi屬于哪個單高斯模型未知，且每個單高斯模型在混合模型中占的比例αj未知，將所有來自不同分布的數(shù)據(jù)點混在一起，該分布稱為高斯混合分布。高斯混合模型可以通過加權(quán)函數(shù)表示：6.4.2

GMM概述該GMM共有j個SGM模型，第j個SGM的概率密度函數(shù)可表示為：GMM需要確定的參數(shù)Θ包括影響因子αj、各類均值μj和各類協(xié)方差∑j。最佳的一組參數(shù)應(yīng)該是其所確定的概率分布生成的數(shù)據(jù)點的概率最大，這個概率實際上等于

，稱作似然函數(shù)。為防止小數(shù)連乘下溢，因此通常會對其取對數(shù)得到對數(shù)似然函數(shù)。通過對其求導并令導數(shù)等于零，然后解方程，完成參數(shù)估計。GMM的對數(shù)似然函數(shù)，即樣本X的概率公式為：6.4.3

GMM的參數(shù)估計說話人識別可以認為是一種聚類問題。因此可以假定現(xiàn)有數(shù)據(jù)是由GMM生成的，然后根據(jù)數(shù)據(jù)推出GMM的概率分布，GMM的

個高斯成分實際上就對應(yīng)

個聚類。根據(jù)數(shù)據(jù)來推算概率密度通常被稱作密度估計。特別地，當已知（或假定）概率密度函數(shù)的形式時，要估計其中的參數(shù)的過程被稱作“參數(shù)估計”。由于在對數(shù)函數(shù)里面又有求和，因此無法直接用求導辦法求得最大值。常用的方法是期望最大化算法（ExpectationMaximizationAlgorithm，EM）。6.4.3

GMM的參數(shù)估計EM算法的主要步驟：（1）估計步驟（E-step）αj的后驗概率為：為每個樣本點xi在該模型下的概率密度。（2）最大化步驟（M-step）更新權(quán)值更新均值更新方差矩陣6.4.3

GMM的參數(shù)估計在使用EM算法訓練GMM時，GMM模型的高斯分量的個數(shù)M的選擇是一個相當重要而困難的問題。高斯分量M的大小，很難從理論上推導出來，可以根據(jù)不同的識別系統(tǒng)，由實驗確定。在實驗應(yīng)用中，往往得不到大量充分的訓練數(shù)據(jù)對模型參數(shù)進行訓練。由于訓練數(shù)據(jù)的不充分，GMM模型的協(xié)方差矩陣的一些分量可能會很小，這些很小的值對模型參數(shù)的似然度函數(shù)影響很大，嚴重影響系統(tǒng)的性能。為了避免小的值對系統(tǒng)性能的影響，一種方法是在EM算法的迭代計算中，對協(xié)方差的值設(shè)置一個門限值，在訓練過程中令協(xié)方差的值不小于設(shè)定的門限值，否則用設(shè)置的門限值代替。門限值設(shè)置可通過觀察協(xié)方