信息論與編碼課程設(shè)計(jì)報(bào)告(語音編碼與測試)

語音編碼及測試一、摘要利用手機(jī)錄制18份小語音樣本共3分鐘，利用讀取語音音頻，并使用其統(tǒng)計(jì)函數(shù)對音頻進(jìn)行數(shù)據(jù)種類，個(gè)數(shù)及概率統(tǒng)計(jì)，利用統(tǒng)計(jì)得到的數(shù)據(jù)種類和概率進(jìn)行概率密度函數(shù)擬合，擬合得到兩段概率密度函數(shù)。同時(shí)使用Lloyds分類算法對統(tǒng)計(jì)好的數(shù)據(jù)進(jìn)行分類，共分為個(gè)類別，即512類，得到其相應(yīng)區(qū)間及質(zhì)心。對概率密度函數(shù)進(jìn)行對應(yīng)區(qū)間的積分得到區(qū)間對應(yīng)的概率，然后使用編碼進(jìn)行二元編碼，得到512個(gè)碼字與質(zhì)心對應(yīng)。測試階段利用碼字庫，對隨機(jī)錄制的一段小語音進(jìn)行編碼得到音頻對應(yīng)的碼字。關(guān)鍵字：概率密度函數(shù)、分類算法、編碼、碼字二、問題重述2.1語音編碼錄制一份語音，使用相應(yīng)的工具對其音頻進(jìn)行提取，對提取到的音頻進(jìn)行概率統(tǒng)計(jì)擬合出概率密度函數(shù)。選取適當(dāng)?shù)姆椒▽⒔y(tǒng)計(jì)好的音頻數(shù)字分為個(gè)類別，分類后相應(yīng)得到個(gè)區(qū)間及區(qū)間對應(yīng)的質(zhì)心，既碼字，概率密度函數(shù)進(jìn)行個(gè)區(qū)間積分，由此得到個(gè)碼字及其概率對應(yīng)，最后選取適當(dāng)?shù)木幋a方法得到質(zhì)心對應(yīng)的碼字，都成編碼庫2.2編碼測試錄制一段小語音利用上訴的碼字及其編碼庫，最終得到每個(gè)音頻數(shù)對應(yīng)的碼字。三、問題分析3.1語音編碼由于錄制的語音是作為實(shí)驗(yàn)得到碼書的樣本，因此語音的錄制面要廣且量應(yīng)盡可能的多才能保證實(shí)驗(yàn)的合理性。使用對語音進(jìn)行音頻讀取及相應(yīng)的概率統(tǒng)計(jì)，對統(tǒng)計(jì)后的結(jié)果利用中工具箱對數(shù)據(jù)及其概率進(jìn)行擬合，得到概率密度函數(shù)?？紤]到數(shù)據(jù)量及其較大的重復(fù)性，對于分類階段采用統(tǒng)計(jì)好的音頻數(shù)據(jù)，利用中算法函數(shù)按分類，其結(jié)果會(huì)得到個(gè)區(qū)間及區(qū)間對應(yīng)的質(zhì)心，既碼字。利用密度函數(shù)對個(gè)區(qū)間進(jìn)行積分得到個(gè)碼字對應(yīng)的概率，最后利用中編碼程序?qū)ζ涓怕蔬M(jìn)行0、1編碼。得到個(gè)碼書構(gòu)成本次實(shí)驗(yàn)的碼字庫。3.2編碼測試基于編碼階段得到的碼字庫，隨機(jī)錄取一小段語音讀出音頻，比較每個(gè)音頻數(shù)與質(zhì)心的距離大小，找到最小距離的質(zhì)心其對應(yīng)的碼書既為該音頻的編碼，以此可以得到全部音頻數(shù)的碼書。四、符號(hào)說明符號(hào)解釋采樣得到的音頻數(shù)據(jù)分類區(qū)間分類質(zhì)心平均碼長編碼效率碼字五、模型的建立及求解編碼是數(shù)據(jù)壓縮的關(guān)鍵,編碼就是基于由模型提供的概率分布來確定符號(hào)的輸出表達(dá)方式。對于以數(shù)據(jù)壓縮為目的的編碼,一般的想法是對于常見的符號(hào),編碼器輸出較短的碼字;而對于少見的符號(hào)則用較長的碼字表示。5.1語音的采樣及讀值以小組為單位，小組成員為語音的錄制對象，考慮到樣本需求量的廣及其對后續(xù)實(shí)驗(yàn)的準(zhǔn)確性把握。我們令每個(gè)小組成員讀三個(gè)相同的小片段并錄制其語音，由此我們小組得到了18小段、將近3分鐘的語音片段。由于手機(jī)錄制的原因，得到的語音格式為。我們借助語音轉(zhuǎn)化器將其轉(zhuǎn)化為采樣頻率的格式。然后在軟件平臺(tái)下，將這幾段音頻導(dǎo)入，利用中讀出音頻的程序讀取，得到一個(gè)的一維數(shù)組數(shù)據(jù)，即為所有語音的音頻，下面我們以表示采樣得到的音頻數(shù)據(jù)，相應(yīng)程序見附錄。5.2音頻統(tǒng)計(jì)及擬合概率密度函數(shù)由于采樣得到的音頻數(shù)據(jù)還是最初的語音形式，我們需要對其進(jìn)行處理統(tǒng)計(jì)其中不同數(shù)據(jù)的在總體數(shù)據(jù)的個(gè)數(shù)及占的比例，以利于我們對于概率密度函數(shù)的求解。因此我們利用中相應(yīng)統(tǒng)計(jì)數(shù)據(jù)的程序?qū)M(jìn)行數(shù)據(jù)統(tǒng)計(jì)，得到一個(gè)的矩陣，其部分?jǐn)?shù)據(jù)見下表：表1：統(tǒng)計(jì)結(jié)果數(shù)據(jù)個(gè)數(shù)概率-0.96389716.45875e-05-0.95910520.000129175-0.95883116.45875e-05-0.95803716.45875e-05-0.95724416.45875e-05由統(tǒng)計(jì)結(jié)果提取矩陣的第一列及第三列調(diào)用擬合工具箱對其進(jìn)行擬合概率密度函數(shù)，通過多次的擬合比較，將數(shù)據(jù)對半分?jǐn)M合成兩段概率密度函數(shù)的效果最佳，即、取值范圍為、，、取值范圍為、，得到其擬合的效果如下圖所示：圖1：擬合概率密度函數(shù)1其擬合得到的方差為，由此可得其擬合度較高，可作為概率密度函數(shù)1，其表達(dá)式為：圖2：擬合概率密度函數(shù)2其擬合得到的方差為，由此可得其擬合度較高，可作為概率密度函數(shù)2，其表達(dá)式為：5.3數(shù)據(jù)分類由于數(shù)據(jù)量的盤大及其相鄰間數(shù)據(jù)概率存在一定的相關(guān)性，為了簡化編碼量，提高編碼效率。需要對統(tǒng)計(jì)好的數(shù)據(jù)進(jìn)行相應(yīng)適當(dāng)?shù)姆诸?，得到相?yīng)的區(qū)間及其質(zhì)心，該區(qū)域進(jìn)行概率密度函數(shù)求積分得到概率與質(zhì)心相對應(yīng)，用該概率來代表對應(yīng)區(qū)域中各個(gè)數(shù)據(jù)的概率，最后利用每個(gè)區(qū)間得到的概率進(jìn)行編碼。這樣做可以大大減小編碼量，而且具有代表性。5.3.1Lloyds分類算法原理[1][2]最優(yōu)量化條件引出了一種量化器設(shè)計(jì)的最優(yōu)算法，將Lloyd算法擴(kuò)展到分布式信源編碼的量化器設(shè)計(jì)中，具體步驟如下：1、初始化。對于，選擇初始化量化器以及初始重建函數(shù)，并設(shè)，。2、選擇最優(yōu)速率度量函數(shù)，且。如表所示，可以任選其一。3、更新成本度量，它由和的概率分布決定，并計(jì)算成本的期望值，比較和的值，決定迭代是否停止，保證了是最小值。4、量化更新。對于每個(gè)，根據(jù)新的量化值、所有重建函數(shù)以及成本度量，計(jì)算下一步最優(yōu)量化。5、重建函數(shù)更新。對于每個(gè)，根據(jù)更新的重建函數(shù)、所有量化值以及成本度量，計(jì)算下一步最佳重建函數(shù)。自增1，返回步驟2。5.3.2Lloyds算法在該模型中的應(yīng)用運(yùn)用以上Lloyds算法原理借助軟件，對統(tǒng)計(jì)后的數(shù)據(jù)按個(gè)區(qū)間分類，其中表示碼字的平均長度，在本模型中經(jīng)過多次的運(yùn)行及比對之后并結(jié)合實(shí)際數(shù)據(jù)考慮，我們?nèi)?，表示編碼效率這里結(jié)合實(shí)際情況取值為0.9。因此我們利用編程將統(tǒng)計(jì)數(shù)據(jù)分為512個(gè)區(qū)間，用、分別表示劃分區(qū)間和質(zhì)心。其中部分?jǐn)?shù)據(jù)如下表所示：表2：分類數(shù)據(jù)區(qū)間質(zhì)心[-0.9639,-0.96009]-0.963897[-0.96009,-0.954653]-0.956283[-0.954653,-0.951607]-0.953024[-0.951607,-0.948754]-0.95019[-0.948754,-0.945731]-0.9473195.4區(qū)間積分利用Lloyds算法我們得到了統(tǒng)計(jì)后數(shù)據(jù)的512個(gè)劃分區(qū)間，接下來利用該區(qū)間結(jié)合概率密度函數(shù)通過逐一積分，得到了512個(gè)區(qū)間對應(yīng)的512個(gè)概率，其部分值如下表：表3：概率區(qū)間概率[-0.9639,-0.96009]2.07721e-08 [-0.96009,-0.954653]2.21761e-08[-0.954653,-0.951607]2.43394e-08[-0.951607,-0.948754]2.56395e-08[-0.948754,-0.945731]2.69173e-085.5Huffman編碼[3]5.5.1Huffman編碼原理Huffman編碼是一種變長編碼的方法，只要給定符號(hào)的概率分布，Huffman編碼算法就能夠計(jì)算出給定字符的代碼。對于給定概率分布的無前綴代碼，產(chǎn)生的碼字可以實(shí)現(xiàn)很好的壓縮效果。Huffman編碼通過從底向頂構(gòu)造解碼樹來解碼。其編碼算法為每一個(gè)符號(hào)創(chuàng)造一個(gè)包含了這個(gè)符號(hào)和概率值的葉結(jié)點(diǎn)（如圖1），然后把具有最小概率值的兩個(gè)葉結(jié)點(diǎn)排列在同一個(gè)父結(jié)點(diǎn)下，成為兄弟結(jié)點(diǎn)，父結(jié)點(diǎn)的概率值等于兩個(gè)子結(jié)點(diǎn)的概率值之和（如圖2）。CCBADEFG圖3：葉結(jié)點(diǎn)概率值忽略已連接的子結(jié)點(diǎn)，選擇兩個(gè)具有最小概率值的子結(jié)點(diǎn)重復(fù)進(jìn)行連接操作。例如，A與B已連接生成新的結(jié)點(diǎn)，下一步就是要把這個(gè)新的結(jié)點(diǎn)與結(jié)點(diǎn)C連接起來，產(chǎn)生一個(gè)概率為的結(jié)點(diǎn)。將這個(gè)過程重復(fù)下去，知道只有一個(gè)結(jié)點(diǎn)沒有父結(jié)點(diǎn)為止，這個(gè)結(jié)點(diǎn)即成為解碼樹的根（如圖3）。那么，兩個(gè)沒有葉結(jié)點(diǎn)的分支就被標(biāo)記為0和1（順序并不重要）從而形成樹。CCBADEFG0.10圖4：父結(jié)點(diǎn)概率值生成Huffman樹的具體步驟如下：（1） 根據(jù)給定的個(gè)權(quán)值為構(gòu)成棵二叉樹的集合，其中每棵二叉樹中只有一個(gè)帶權(quán)為的根結(jié)點(diǎn)，其左右子樹均空。CCBADEFG0.20.10.40.30.67BOOT圖3解碼樹（2） 在結(jié)點(diǎn)集中選取兩棵跟結(jié)點(diǎn)的權(quán)值最小的樹做為左右子樹構(gòu)造一棵新的二叉樹，且置新的二叉樹的結(jié)點(diǎn)的權(quán)值為其左右子樹上結(jié)點(diǎn)的權(quán)值之和。（3） 在結(jié)點(diǎn)集中刪除這兩棵樹，同時(shí)只含一棵樹為止，這棵樹便是Huffman樹。生成Huffman樹之后，在樹的左右分支上賦值1和0即可得到Huffman編碼。由于Huffman樹沒有度為1的結(jié)點(diǎn)，一棵有個(gè)葉子結(jié)點(diǎn)的Huffman樹共有個(gè)結(jié)點(diǎn)，可以以一個(gè)大小為的向量表示。由于在構(gòu)成Huffman樹之后，為求得編碼，需要從葉子結(jié)點(diǎn)出發(fā)走一條從葉到根的路徑；而為譯碼需從根出發(fā)走一條從根到葉子的路徑，則對每個(gè)結(jié)點(diǎn)而言，既需要=知道其雙親的信息，又需要知道其子結(jié)點(diǎn)的信息。譯碼的過程是，分解原文中字符串，從根結(jié)點(diǎn)出發(fā)，按字符0或1確定訪問子結(jié)點(diǎn)的路徑，直至葉結(jié)點(diǎn)，便求得該子串相對應(yīng)的字符。在Huffman編碼過程中，當(dāng)出現(xiàn)2個(gè)以上最小概率的結(jié)點(diǎn)時(shí)，若選擇樹中葉結(jié)點(diǎn)概率為最小者與葉結(jié)點(diǎn)概率為最大者進(jìn)行合并，則得到相應(yīng)編碼的平均偏離方差為最?。ㄗⅲ憾Φ哪娑ɡ聿徽妫Ｉ鲜龅腍uffman編碼是利用壓縮對象出現(xiàn)概率的不等性進(jìn)行編碼的一種常用的無損數(shù)據(jù)壓縮方法，不論從算法的復(fù)雜度還是在實(shí)現(xiàn)的難度以及對數(shù)據(jù)壓縮的效果來看，Huffman編碼都不失為一種較好的數(shù)據(jù)壓縮算法。1.2靜態(tài)Huffman編碼壓縮算法的程序?qū)崿F(xiàn)以下步驟是實(shí)現(xiàn)的靜態(tài)Huffman編碼的壓縮和解壓縮算法。（1） 掃描原文件的全部數(shù)據(jù)，完成字符出現(xiàn)概率的統(tǒng)計(jì)。（2） 依據(jù)字符概率建立Huffman樹。（3） 將Huffman樹的信息寫入輸出文件（壓縮后文件），以備解壓縮時(shí)使用。（4） 進(jìn)行第二遍掃描，將原文件所有字符轉(zhuǎn)化為Huffman編碼，并以ASCII字符形式保存到輸出文件。（5） 在輸出文件上做標(biāo)記以標(biāo)識(shí)壓縮文件，完成對原文件的壓縮。該程序的算法源于靜態(tài)Huffman編碼的經(jīng)典思想，即壓縮時(shí)，首先掃描原文件的全部數(shù)據(jù)，生成字符（ASCII字符）頻率表。然后構(gòu)造Huffman樹并生成與字符相對應(yīng)的不等長編碼。再將生成的Huffman編碼轉(zhuǎn)換為字符寫入文件中，最后，將文件結(jié)尾倒數(shù)第五個(gè)字符標(biāo)記為“H”，以標(biāo)識(shí)壓縮后的文件，解壓縮時(shí)，將Huffman編碼做逆變換后寫入文件即可。在數(shù)據(jù)通訊中，各碼字的平均偏離方差直接影響到接收端的預(yù)留數(shù)據(jù)緩沖器的容量，當(dāng)編碼器經(jīng)通信線路傳送壓縮數(shù)據(jù)流時(shí)，平均偏離方差很小的Huffman編碼近似于恒定速度把每位編碼送入緩沖器，增加了數(shù)據(jù)傳輸?shù)臏?zhǔn)確度，同時(shí)也只需很小容量的緩沖器即可；平均偏離方差很大時(shí)，將是導(dǎo)入編碼的輸出碼率不斷變化，使每位編碼進(jìn)入緩沖器的速度不恒定，產(chǎn)生錯(cuò)誤碼的幾率隨之增大，同時(shí)也需要較大容的緩沖器。5.5.2該模型的Huffman編碼由上面原理，我們借用平臺(tái)進(jìn)行編寫Huffman二元編碼的程序，將區(qū)間積分得到的概率代到程序中進(jìn)行Huffman二元編碼的部分碼字如下表，其平均碼長為2.98，編碼效率為0.387。表4：碼字質(zhì)心Huffman編碼得到的碼字-0.9638970001101011001000000101101-0.956283000011011100000000011000-0.953024000011011100000000011001-0.95019000101101100100000010110-0.947319000101101100100000010111由此，整個(gè)模型的編碼完成了，將得到的所有碼字存入文本中作為模型測試的碼字庫。六、模型測試6.1模型測試模型測試就是在得到碼字庫的前提之下，隨機(jī)的錄制一段小語音，將其通過軟件讀出音頻，對該音頻進(jìn)行操作得到對應(yīng)的碼字，其實(shí)現(xiàn)的算法為：1、錄制一段語音，通過讀出其音頻為。2、令中的某一個(gè)元素與上訴編碼得到的質(zhì)心中的一個(gè)元素求距離并比較距離間的大小，會(huì)得到一個(gè)最小距離，就是我們要找的所對應(yīng)的質(zhì)心，提取這個(gè)質(zhì)心在數(shù)組中的下標(biāo)。3、利用步驟2得到的所有下標(biāo)在編碼庫中尋找對應(yīng)下標(biāo)的碼字，就是我們需要的的碼字。根據(jù)上面算法編寫的程序見附錄。進(jìn)行實(shí)際測試，我們隨機(jī)錄制了一小段語音，使用將其讀取并調(diào)用程序得到的部分碼字見下表：表5：測試結(jié)果音頻碼字-0.9444000110101100100000010111-0.8231000101101100100000011-0.755410001110000011111001-0.6543101111000110001011-0.34561000100100010.5433000110101100100000010110000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000016.2譯碼實(shí)現(xiàn)想法實(shí)際上譯碼相當(dāng)于編碼的逆過程，已知在已經(jīng)知道碼字庫的前提下，對接受到的一串碼書進(jìn)行編譯。由于Huffman編碼得到的碼字是唯一，且效率較高。因此相應(yīng)的譯碼算法如下：1、用表示得到的碼書，從編碼庫中逐一的提取出碼字，對提取出來的碼字進(jìn)行遍歷并與身上的碼書從第一個(gè)開始比較，若相等上截?cái)嘣撟址?，既為分割出的碼字，重復(fù)以上步驟即可將碼書分解成對應(yīng)的碼字。2、由將碼書分割成碼字，于是可以找出碼字對應(yīng)的質(zhì)心，既為某一音頻。3、使用將音頻轉(zhuǎn)化成語音。以上就是整個(gè)譯碼的算法。七、模型評價(jià)由整個(gè)模型的建立、求解及其測試，可以看出整個(gè)模型的構(gòu)架是可行的，且其得到的結(jié)果也是確切的，能有利的用于實(shí)際生活中。但在模型的實(shí)現(xiàn)過程存在一些細(xì)節(jié)的問題，還需要進(jìn)一步的完善，有如下可繼續(xù)優(yōu)化的環(huán)節(jié)。1、本文中這樣直接對數(shù)據(jù)進(jìn)行處理編碼，會(huì)出現(xiàn)編碼效率較低并不突出的情況。因此我們可以采取DCT變換（正交變換）來實(shí)現(xiàn)數(shù)據(jù)壓縮，提高效率。1.1一維離散變換（DCT）的原理[4]所謂的DCT變換就是使能量按統(tǒng)計(jì)規(guī)律集中分布在一定的區(qū)域上，這樣我們就有可能利用此先驗(yàn)知識(shí)在質(zhì)量允許的情況下，舍棄一些能量較小的系數(shù)，從而使數(shù)據(jù)有較大的壓縮，實(shí)現(xiàn)高效率的壓縮編碼。一維DCT正交變換定義為：反變換為：其中：2、本模型的編碼是實(shí)現(xiàn)所有語音的可用性，因此在語音樣本的收集階段需要覆蓋面廣，最好要包括不同年齡段的。但由于實(shí)際條件，及電腦原因處理不了太大的數(shù)據(jù)量，因此本論文選取的樣本代表性較低。3、密度函數(shù)的擬合構(gòu)成，由于數(shù)據(jù)量大，求密度函數(shù)時(shí)，本論文知識(shí)單一的分為兩段其誤差還是較大的，得到的編碼效率較低，最好應(yīng)擴(kuò)大擬合量，使結(jié)構(gòu)更加精確。4、編碼過程中沒具體的分析及求解要分為個(gè)類的原因。參考文獻(xiàn)[1]仇佩亮、張朝陽、謝磊、余官定，《信息論與編碼》第二版，2011.4.[2]鄭婷一、程永強(qiáng)，一種分布式信源編碼中最優(yōu)量化器的設(shè)計(jì)，太原理工大學(xué)，通信技術(shù)研究室，山西太原030024，2013，37(7)[3]李曉飛，Huffman編解碼及其快速算法研究，陜西鐵路工程職業(yè)技術(shù)學(xué)院，陜西渭南714000，(2009)21-102-03[4]符曉娟、楊萬全，；利用離散余弦變換的語音信號(hào)壓縮方案，四川大學(xué)電子信息學(xué)院，信息技術(shù)，（2006）11-0074-03附錄附錄1：讀取語音音頻程序[sampledata,FS]=audioread('E:\信息論與編碼\錄音\1hrl.mp3');附錄2：統(tǒng)計(jì)程序b=tabulate(a(:));附錄3：分類程序[P,C]=lloyds(X,512);附錄4：積分程序[m,n]=size(p1);fori=1:1:mforj=1:1:nifj+1<=ns1(i,j)=quadl(inline('8.086*exp(-((x+1.806e-07)/1.416e-05).^2)+0.05748*exp(-((x-0.001184)/0.01651).^2)'),p1(i,j),p1(i,j+1));endendend附錄5：中Huffman二元編碼程序p=textread('E:\信息論與編碼\數(shù)據(jù)6.txt');;n=length(p);q=p;a=zeros(n-1,n);fori=1:n-1[q,l]=sort(q);a(i,:)=[l(1:n-i+1),zeros(1,i-1)];q=[q(1)+q(2),q(3:n),1];endfori=1:n-1c(i,1:n*n)=blanks(n*n);endc(n-1,n)='0';c(n-1,2*n)='1';fori=2:n-1c(n-i,1:n-1)=c(n-i+1,n*(find(a(n-i+1,:)==1))-(n-2):n*(find(a(n-i+1,:)==1)));c(n-i,n)='0';c(n-i,n+1:2*n-1)=c(n-i,1:n-1);c(n-i,2*n)='1';forj=1:i-1c(n-i,(j+1)*n+1:(j+2)*n)=c(n-i+1,n*(find(a(n-i+1,:)==j+1)-1)+1:n*find(a(n-i+1,:)==j+1));endendfori=1:nh(i,1:n)=c(1,n*(find(a(1,:)==i)-1)+1:find(a(1,:)==i)*n);ll(i)=length(find(abs(h(i,:))~=32));endl=sum(p.*ll);fprintf('\nhuffmancode:\n');hhh=sum(p.*(-log2(p)));fprintf('\nthehuffmaneffciency:\n');