第四章 矢量量化技術(shù)

1、第四章 矢量量化技術(shù)4.1概述4.2矢量量化的基本原理4.3矢量量化的失真測(cè)度4.4矢量量化器的最佳碼本設(shè)計(jì)4.5矢量量化技術(shù)的優(yōu)化設(shè)計(jì)4.1概述 矢量量化（Vector Quantization，VQ）技術(shù)是20世紀(jì)70年代后期發(fā)展起來的一種數(shù)據(jù)壓縮和編碼技術(shù)，廣泛應(yīng)用于語音編碼、語音合成、語音識(shí)別和說話人識(shí)別等領(lǐng)域。矢量量化在語音信號(hào)處理中占有十分重要的地位，在許多重要的研究課題中，矢量量化都起著非常重要的作用。4.2矢量量化的基本原理 一、矢量量化的基本原理 二、矢量量化在語音識(shí)別中的應(yīng)用 三、矢量量化的關(guān)鍵之處一、矢量量化的基本原理1、矢量的定義 若干個(gè)標(biāo)量數(shù)據(jù)組成一個(gè)矢量，標(biāo)量的個(gè)數(shù)

2、就為矢量的維數(shù)。如語音信號(hào)某一幀中提取的聲道參數(shù)，共K個(gè)，Xi=ai1,ai2,aiK。則Xi是一個(gè)K維矢量。設(shè)共有N個(gè)K維矢量X=X1,X2,XN,其中第i個(gè)矢量為Xi，i=1,2,N。類比過來，N個(gè)語音幀，每幀中共有K個(gè)聲道參數(shù)，共組成N個(gè)K維矢量。一、矢量量化的基本原理2、矢量空間的劃分 把K維歐幾里德空間 無遺漏的劃分為J個(gè)互不相交的子空間R1,R2RJ , 這些子空間Rj稱為胞腔。 在每一個(gè)子空間Rj找一個(gè)代表矢量Yj ，則J個(gè)代表矢量可以組成矢量集為 Y=Y1,Y2,YJ 這樣就組成了一個(gè)矢量量化器，在矢量量化里Y叫做碼書或碼本； Yj稱為碼矢或碼字；Y內(nèi)矢量的個(gè)數(shù)J則叫做碼本長(zhǎng)度

3、或者碼本尺寸。kR一、矢量量化的基本原理3、矢量量化的過程 當(dāng)給矢量量化器輸入一個(gè)任意矢量 進(jìn)行矢量量化時(shí)，矢量量化器首先判斷它屬于哪個(gè)子空間Rj ，然后輸出該子空間Rj的代表矢量Yj。矢量量化過程就是用Yj代替Xi的過程，或者說把Xi量化成了Yj ，即 YjQ(Xi)，1jJ，1iN 式中， Q(Xi)為量化器函數(shù)。從而矢量量化的全過程完成一個(gè)從K維歐幾里德空間 中的矢量Xi到K維空間有限子集Y的映射 Q： kiXRkR12 , ,., kJRXYY YY 一、矢量量化的基本原理4、判斷規(guī)則 當(dāng)給矢量量化器輸入一個(gè)任意矢量Xi進(jìn)行矢量量化時(shí)，首先要選擇一個(gè)合適的失真測(cè)度，而后根據(jù)最小失真原理

4、，分別計(jì)算用各碼矢Yj代替Xi所帶來的失真。其中產(chǎn)生最小失真的那個(gè)碼矢Yj，就是Xi的重構(gòu)矢量（或稱恢復(fù)矢量），或者稱為矢量Xi被量化成了那個(gè)碼矢。二、矢量量化在語音識(shí)別中的應(yīng)用 矢量量化技術(shù)在語音識(shí)別中應(yīng)用時(shí)，一般是先用矢量量化的碼本作為語音識(shí)別的參考模板，即系統(tǒng)詞庫中的每一個(gè)字（詞）做一個(gè)碼本作為該字（詞）的參考模板。識(shí)別時(shí)對(duì)于任意輸入的語音特征矢量序列X1,X2,XN ，計(jì)算該序列對(duì)每一個(gè)碼本的總平均的失真量化誤差，即語音每一幀特征矢量與碼本的失真之和除以該語音的長(zhǎng)度（幀數(shù)）。總平均失真誤差最小的碼本所對(duì)應(yīng)的字（詞）即為識(shí)別結(jié)果，這一過程如下圖所示。二、矢量量化在語音識(shí)別中的應(yīng)用三、矢量

5、量化的關(guān)鍵之處1、設(shè)計(jì)一個(gè)好的碼本關(guān)鍵在于如何劃分J個(gè)區(qū)域邊界。這需要大量的輸入信號(hào)矢量，經(jīng)過統(tǒng)計(jì)實(shí)驗(yàn)才能確定，這個(gè)過程稱為“訓(xùn)練”或“學(xué)習(xí)”。應(yīng)用聚類算法，按照一定的失真度準(zhǔn)則，對(duì)訓(xùn)練的數(shù)據(jù)進(jìn)行分類，從而把訓(xùn)練數(shù)據(jù)在多維空間中劃分成一個(gè)個(gè)以碼字為中心的胞腔，常用的是LBG算法來實(shí)現(xiàn)。三、矢量量化的關(guān)鍵之處2、未知矢量的量化對(duì)未知矢量，按照選定的失真測(cè)度準(zhǔn)則，把未知矢量量化為失真測(cè)度最小的區(qū)域邊界的中心矢量值（碼字矢量），并獲得該碼字的序列號(hào)。其次是未知矢量量化時(shí)的搜索策略，好的搜索策略可以減少量化時(shí)間。4.3矢量量化的失真測(cè)度 一、失真測(cè)度的定義 二、歐氏距離測(cè)度 三、線性預(yù)測(cè)失真測(cè)度 四、

6、識(shí)別失真測(cè)度一、失真測(cè)度的定義失真測(cè)度（距離測(cè)度）就是將輸入矢量Xi用碼本重構(gòu)矢量Yj來表征時(shí)所產(chǎn)生的誤差或失真的度量方法，它可以描述兩個(gè)或多個(gè)模型矢量之間的相似程度。K維語音特征矢量X和碼本Y的失真測(cè)度d(X,Y)需滿足下列條件： 1）對(duì)稱性 d(X,Y)d(Y,X) 2）正值性 d(X,Y)0 ；d(X,X)=0 3）d(X,Y)在頻域有物理意義 4）對(duì)d(X,Y)有高效率的計(jì)算方法最常用的失真測(cè)度是歐氏距離測(cè)度、加權(quán)歐氏距離測(cè)度、識(shí)別失真測(cè)度等。 ()XY二、歐氏距離測(cè)度 設(shè)未知模式的K維特征為X，與碼本中某個(gè)K維碼矢Y進(jìn)行比較， ， 分別表示X和Y的同一維分量( )，則幾種常用的歐氏距

7、離測(cè)度如下： 1）均方誤差歐氏距離 這里， 的下標(biāo)2表示平方誤差。 2）r方平均誤差 ixiy01i K 2211(,)()KiiidXYxyK2(, )dX Y11(,)()KrriiidXYxyK二、歐氏距離測(cè)度 3）r平均誤差 4）絕對(duì)值平均誤差 5）最大平均誤差111(,)KrrriiidX YxyK111(,)KiiidX YxyK11(, )lim(, )maxrMriiri KdX Yd X Yxy 二、歐氏距離測(cè)度 6）加權(quán)歐氏距離測(cè)度 式中， 稱為加權(quán)系數(shù)。 常用的加權(quán)系數(shù)有211(, )( )()Kiiid X Yw i xyK( )wi2( )( ),01( )1 (1)

8、sin(4) 2sw iiw iisw iki k 三、線性預(yù)測(cè)失真測(cè)度當(dāng)語音信號(hào)特征矢量是用線性預(yù)測(cè)方法求出的LPC系數(shù)時(shí)，為了比較用這種參數(shù)表征的矢量，不宜直接使用歐氏距離。因?yàn)?，僅由預(yù)測(cè)器系數(shù)的差值不能完全表征這兩個(gè)語音信息的差別。此時(shí)應(yīng)直接使用由這些系數(shù)所描述的信號(hào)模型的功率譜來進(jìn)行比較。I-S距離適用于LPC參數(shù)描述語音信號(hào)的情況。 當(dāng)預(yù)測(cè)器的階數(shù) ，信號(hào)與模型完全匹配，信號(hào)功率譜 式中， 表示信號(hào)的功率譜， 為預(yù)測(cè)誤差功率， 為預(yù)測(cè)逆濾波器的頻率響應(yīng)。 p222()()()jwPjwf wX eA e2()jwX e2P()jwA e三、線性預(yù)測(cè)失真測(cè)度 相應(yīng)地，設(shè)碼本中某重構(gòu)矢量

9、的功率譜為 則可定義I-S距離如下： 式中 ；R是 階的自相關(guān)矩陣，而222( )()()jwPjwfwX eA e2( ,)ln1TI Sa Radf f12(1,.,)Tpaa aa(1) (1)pp 1(0) (0)2( ) ( )PTaaia Rarrr i r i三、線性預(yù)測(cè)失真測(cè)度 這里 ， 其中，N為信號(hào) 的長(zhǎng)度， 為信號(hào)的自相關(guān)函數(shù)， 為預(yù)測(cè)系數(shù)的自相關(guān)函數(shù)。 是碼書重構(gòu)矢量的預(yù)測(cè)誤差功率 11( )( ) ()Nikr ix k x ki 0( )p iakkikr ia a(0,., )ip( )x n( )r i( )ar i221()( )2jwpA ef w dw1(

10、0) (0)2( )( )PTaaia Rarrr i ri三、線性預(yù)測(cè)失真測(cè)度又推導(dǎo)出以下兩種線性預(yù)測(cè)的失真測(cè)度，它們比上述 具有更好的性能。 1）對(duì)數(shù)似然比失真測(cè)度 2）模型失真測(cè)度ISd( ,)lnTLLRTa Radf fa Ra( ,)1TmTa Radf fa Ra四、識(shí)別失真測(cè)度將矢量量化技術(shù)用于語音識(shí)別時(shí)，對(duì)失真測(cè)度還應(yīng)有其他的一些考慮。例如，對(duì)兩矢量的功率譜的比較在使用LPC參數(shù)的似然比失真測(cè)度時(shí)，還應(yīng)考慮到能量。因?yàn)檠芯勘砻鳎l譜與能量都攜帶有語音信號(hào)的信息。為此，可采用如下的失真度定義 式中， 及 分別為輸入信號(hào)矢量和碼書重構(gòu)矢量的歸一化能量。 可取為 ( , )( ,

11、)()d f Ed f fg E EEE0()( )()()dFdFFxxg xxxxxxxx( )g x4.4矢量量化器的最佳碼本設(shè)計(jì) 一、最佳碼本設(shè)計(jì)的原則 二、LBG算法 三、初始碼本的生成一、最佳碼本的設(shè)計(jì)原則所謂最佳設(shè)計(jì)，就是從大量信號(hào)樣本中訓(xùn)練出好的碼本；從實(shí)際效果出發(fā)尋找到好的失真測(cè)度定義公式；用最少的搜索和計(jì)算失真的運(yùn)算量，來實(shí)現(xiàn)最大可能的平均信噪比。最佳碼本設(shè)計(jì)的兩條原則 1）遵從最鄰近準(zhǔn)則，即 2）所有選擇碼字Yl的輸入矢量X的集合為Sl，那么Yl是Sl中所有矢量的質(zhì)心，即 (,)min (,)ljjd X Yd X Y1,llNX SYXl二、LBG算法 LBG算法是一種

12、遞推算法，從一個(gè)事先選定的初始碼本開始迭代。若以歐氏距離計(jì)算兩個(gè)矢量的畸變，那么LBG的算法思想是：把訓(xùn)練序列按照碼本中的碼矢根據(jù)最鄰近準(zhǔn)則分組，對(duì)每一分組找質(zhì)心，得到新的碼本，又作為初始碼本，再進(jìn)行分組，重復(fù)上述過程，直到系統(tǒng)性能滿足要求和不再有明顯的改進(jìn)為止。三、初始碼本的生成1、隨機(jī)選取法從訓(xùn)練序列中隨機(jī)的選取J個(gè)矢量作為初始碼字，從而構(gòu)成初始碼本。優(yōu)點(diǎn)是簡(jiǎn)單，不需要初始化計(jì)算。問題是可能選到一些非典型的矢量作為碼字，使最終設(shè)計(jì)的碼本達(dá)不到最優(yōu)。三、初始碼本的生成2、分裂法 步驟如下 1）首先求出S中全體訓(xùn)練矢量X的質(zhì)心作為初始化碼本的碼字 。 2）將 分裂為新的初始碼本 、 ，利用LB

13、G算法進(jìn)行迭代計(jì)算，求得新碼本 、 。 3）重復(fù)上面的循環(huán)，經(jīng)過r次后，最終碼書容量 。(0)1Y(0)1Y(1)1Y(1)2Y(1)1Y(1)2Y2rJ 三、初始碼本的生成3、鏈映射法 步驟如下： 1)特征空間各矢量按規(guī)律排序：在待聚類的點(diǎn)中先任選一點(diǎn)，稱為X1，排作首位；求其最鄰近點(diǎn)稱為X2，列為第二位，以此類推，則得一矢量序列X1，X2，XN 。 2)設(shè)Xi, Xi-1間的距離為di ，則得距離序列d1，d2 dN-1 。做出的關(guān)系圖，這個(gè)圖稱為這批特征點(diǎn)的“鏈映射圖”。 3)鏈映射圖尖峰狀的位置代表特征性質(zhì)有突變的位置，故可以把在每?jī)上噜彿逯抵g的各點(diǎn)歸為一類。4.5矢量量化技術(shù)的優(yōu)化

14、設(shè)計(jì) 上面介紹的矢量量化技術(shù)用于語音信號(hào)處理時(shí)有其局限：實(shí)時(shí)性的問題碼本優(yōu)化問題 降低復(fù)雜度的優(yōu)化設(shè)計(jì)方法：引入模糊理論模糊c均值聚類算法模糊c均值聚類算法目標(biāo)函數(shù)為如下式所示： (4-29) 其中， 為某一訓(xùn)練觀察矢量序列； 為各類聚中心組成的碼本； 為一個(gè)模糊c均值隸屬度函數(shù)集，是第k個(gè)類聚中心即第k個(gè)碼字的隸屬度函數(shù)； 代表模糊度。,11(,)() ()NJmFCMkiiKikJX U YuXd X Y12 ,.,NXX XX12 ,.,NYY YY12 ,.,NUu uu1,m模糊c均值聚類算法根據(jù)目標(biāo)函數(shù)的模糊c均值類聚算式如下： (4-30)1121211(),1()()(),1,

15、1()NmkiiikNmkiiJmikijmiuXXYkJuXd Xu XkJiNd X kj,Y,Y模糊c均值聚類算法模糊矢量量化碼本估計(jì)的步驟如下： 1）設(shè)定初始碼本和每個(gè)碼字的初始隸屬度函數(shù) ，為了方便可以令每個(gè)碼字的初始隸屬度函數(shù)為相等的值； 2）對(duì)于訓(xùn)練觀察矢量序列 ，利用式（4-30）計(jì)算新的聚類中心 及新的隸屬度函數(shù) ； 3）利用式（4-29）的目標(biāo)函數(shù)，判斷迭代計(jì)算是否收斂。如果前后差值小于某個(gè)閾值，則迭代計(jì)算結(jié)束，由新的聚類中心和隸屬度函數(shù)集組成重估后的新碼本；否則繼續(xù)進(jìn)行下一輪迭代計(jì)算。ku12,.,NXXXXkYku模糊c均值聚類算法模糊矢量量化的步驟如下： 1）對(duì)于待矢量量化的輸入矢量 ，模糊矢量量化不是通過矢量量化把輸入矢量 量化成為某個(gè)碼字 ，而是把輸入矢量 量化成由隸屬度函數(shù)組成的矢量 ，它表示 分別屬于碼字 的程