第1章 信源與信源編碼

1、1通信原理信源與信源編碼信源與信源編碼 2信源與信源編碼信源與信源編碼 信源信源信道信道信宿信宿有效性指標(biāo)有效性指標(biāo)壓縮編碼：去除壓縮編碼：去除信源的統(tǒng)計(jì)多余信源的統(tǒng)計(jì)多余成分成分可靠性指標(biāo)可靠性指標(biāo)如如:我愛(ài)北京天安門(mén)我愛(ài)北京天安門(mén)3信源與信源編碼信源與信源編碼 l1.1信源分類(lèi)與統(tǒng)計(jì)特性描述信源分類(lèi)與統(tǒng)計(jì)特性描述 n離散信源與連續(xù)信源離散信源與連續(xù)信源u離散信源：文字、電報(bào)、各種數(shù)據(jù)等離散信源：文字、電報(bào)、各種數(shù)據(jù)等u連續(xù)信源：語(yǔ)音、圖像等連續(xù)信源：語(yǔ)音、圖像等n單符號(hào)信源與符號(hào)序列信源單符號(hào)信源與符號(hào)序列信源u單符號(hào)信源：僅輸出一個(gè)離散符號(hào)單符號(hào)信源：僅輸出一個(gè)離散符號(hào)u統(tǒng)計(jì)特性統(tǒng)計(jì)特性

2、11( )()( )()iniinxxxXP xP xP xP x 4信源與信源編碼信源與信源編碼 l1.1信源分類(lèi)與統(tǒng)計(jì)特性描述信源分類(lèi)與統(tǒng)計(jì)特性描述 n單符號(hào)信源與符號(hào)序列信源單符號(hào)信源與符號(hào)序列信源u符號(hào)序列信源：輸出一個(gè)離散符號(hào)序列符號(hào)序列信源：輸出一個(gè)離散符號(hào)序列u描述方法：用描述方法：用L 維隨機(jī)矢量表示維隨機(jī)矢量表示 樣值：樣值：u統(tǒng)計(jì)特性統(tǒng)計(jì)特性1lLXXXX1lLxxxx132112111( )( )()() () ()()lLLLPP xP xxxxxxP x PPPxx xxxXx5信源與信源編碼信源與信源編碼 l1.1信源分類(lèi)與統(tǒng)計(jì)特性描述信源分類(lèi)與統(tǒng)計(jì)特性描述 n單符

3、號(hào)信源與符號(hào)序列信源單符號(hào)信源與符號(hào)序列信源u統(tǒng)計(jì)特性統(tǒng)計(jì)特性u(píng)無(wú)記憶序列信源無(wú)記憶序列信源：序列中前后符號(hào)相互統(tǒng)計(jì)獨(dú)立序列中前后符號(hào)相互統(tǒng)計(jì)獨(dú)立u有記憶序列信源：序列中前后符號(hào)不是相互統(tǒng)計(jì)有記憶序列信源：序列中前后符號(hào)不是相互統(tǒng)計(jì)獨(dú)立的獨(dú)立的,可用馬爾可夫鏈表示可用馬爾可夫鏈表示11()()()( )LLLmnmnaaaXP aP aP aP x6信源與信源編碼信源與信源編碼 l1.2信息熵信息熵n信息的基本特征：不確定性。因此信息應(yīng)該是信息的基本特征：不確定性。因此信息應(yīng)該是概率概率P的函數(shù)的函數(shù)n信息的兩個(gè)特點(diǎn)信息的兩個(gè)特點(diǎn)u隨概率隨概率P的遞減性：概率越大，信息量越小的遞減性：概率越大

4、，信息量越小u可加性：兩個(gè)獨(dú)立消息的總信息量應(yīng)是兩個(gè)消息的可加性：兩個(gè)獨(dú)立消息的總信息量應(yīng)是兩個(gè)消息的信息量的和信息量的和n滿足這兩個(gè)條件的表示信息量的函數(shù)只有一種滿足這兩個(gè)條件的表示信息量的函數(shù)只有一種可能：對(duì)數(shù)函數(shù)可能：對(duì)數(shù)函數(shù)7信源與信源編碼信源與信源編碼 l1.2信息熵信息熵n單符號(hào)信源自信息量單符號(hào)信源自信息量u理解：消息出現(xiàn)概率越小，信息量越大n兩個(gè)單符號(hào)信源聯(lián)合自信息量?jī)蓚€(gè)單符號(hào)信源聯(lián)合自信息量8信源與信源編碼信源與信源編碼 l1.2信息熵信息熵n單符號(hào)信源信息熵單符號(hào)信源信息熵u前面定義的是一個(gè)具體消息的信息量，因?yàn)樾旁摧敵龅南⒂卸喾N可能性，所以可以把信息熵理解為這個(gè)輸出消息

5、（考慮多種可能性）的平均信息量u信息熵也可以理解為對(duì)信源的不確定性的平均度量u在各種可能性等概時(shí)，信源的信息熵最大9信源與信源編碼信源與信源編碼 l1.2信息熵信息熵n信息熵與信息量的關(guān)系信息熵與信息量的關(guān)系u信息熵表征信源的統(tǒng)計(jì)特性,是針對(duì)信源來(lái)說(shuō)的.u信息量是接收端從信源獲取的信息量.u兩者在概念上有區(qū)別,在數(shù)量上不相等.10信源與信源編碼信源與信源編碼 l1.2信息熵信息熵n兩個(gè)單符號(hào)信源的條件熵和聯(lián)合熵兩個(gè)單符號(hào)信源的條件熵和聯(lián)合熵11信源與信源編碼信源與信源編碼 l1.2信息熵信息熵n條件熵和聯(lián)合熵的性質(zhì)條件熵和聯(lián)合熵的性質(zhì)12信源與信源編碼信源與信源編碼 l1.2信息熵信息熵n信源

6、冗余度信源冗余度11()lim(/)LLLHXH XXX可以證明，13信源與信源編碼信源與信源編碼 l1.2信息熵信息熵n信源冗余度信源冗余度14信源與信源編碼信源與信源編碼 l1.2信息熵信息熵n信源冗余度信源冗余度u關(guān)于剩余度的理解關(guān)于剩余度的理解:uH是考慮全部信源統(tǒng)計(jì)特性后的最小信息熵，是是考慮全部信源統(tǒng)計(jì)特性后的最小信息熵，是信道傳送理論上的最佳值，只要在信道傳送信道傳送理論上的最佳值，只要在信道傳送H，在接收端利用信源統(tǒng)計(jì)關(guān)聯(lián)的記憶特性，可恢復(fù)出在接收端利用信源統(tǒng)計(jì)關(guān)聯(lián)的記憶特性，可恢復(fù)出全部信息全部信息.u由于存在著信源冗余由于存在著信源冗余,使得壓縮編碼成為可能使得壓縮編碼成為

7、可能.u信源冗余度是信源壓縮編碼的理論基礎(chǔ)信源冗余度是信源壓縮編碼的理論基礎(chǔ).15信源與信源編碼信源與信源編碼 l1.2信息熵信息熵n信源冗余度信源冗余度u例題：英文字母在英語(yǔ)中出現(xiàn)的概率統(tǒng)計(jì)如下，計(jì)例題：英文字母在英語(yǔ)中出現(xiàn)的概率統(tǒng)計(jì)如下，計(jì)算信源效率與信源冗余度。算信源效率與信源冗余度。16信源與信源編碼信源與信源編碼 l1.2信息熵信息熵n信源冗余度信源冗余度u例題例題:uH0=4.76b/符號(hào)符號(hào)uH1=4.03b/符號(hào)符號(hào)uH2=3.32b/符號(hào)符號(hào)uH3=3.1b/符號(hào)符號(hào)uH =1.4b/符號(hào)（符號(hào)（Shannon求得的推算值）求得的推算值）u結(jié)論：剩余度結(jié)論：剩余度0.7，說(shuō)明

8、壓縮編碼的必要。，說(shuō)明壓縮編碼的必要。17信源與信源編碼信源與信源編碼 l1.3互信息互信息n定義與理解18信源與信源編碼信源與信源編碼 l1.3互信息互信息n各種熵的關(guān)系19信源與信源編碼信源與信源編碼 l回顧回顧n信源分類(lèi)與統(tǒng)計(jì)特性u(píng)單符信源列舉狀態(tài)與概率u符號(hào)序列列舉狀態(tài)與概率，狀態(tài)數(shù)目？n信息熵u單符信源的自信息量、聯(lián)合自信息量、信息熵、聯(lián)合熵、條件熵u互信息u信源剩余度1212101213120()()()()()(),()(/),()(/)LLLLLLLLLX XX XHXHXHXHXHXH XHXH XXHXH XXX發(fā)出 個(gè)符號(hào)20信源與信源編碼信源與信源編碼 l1.4-1.5

9、無(wú)失真離散信源編碼無(wú)失真離散信源編碼n信源編碼u離散信源輸出的是各種離散消息和符號(hào)u模擬信源輸出的是模擬信號(hào)（連續(xù)信號(hào)）u離散數(shù)字信源存在信源冗余而必須進(jìn)行壓縮編碼；模擬信源為了進(jìn)行數(shù)字通信，必須進(jìn)行信源編碼，將信源輸出轉(zhuǎn)變成數(shù)字信息n信源編碼中考慮的兩個(gè)基本問(wèn)題u編碼輸出的信息速率（總是希望它盡可能小）u編碼所造成的失真盡可能小21信源與信源編碼信源與信源編碼 l1.4-1.5無(wú)失真離散信源編碼無(wú)失真離散信源編碼n無(wú)失真離散信源編碼u研究在無(wú)失真編譯碼條件下，傳送離散信源發(fā)出信息的最小編碼速率n兩種基本編碼方法u等長(zhǎng)編碼：編碼輸出的所有碼字長(zhǎng)度都相同u變長(zhǎng)編碼：編碼輸出碼字長(zhǎng)度不相同22信源

10、與信源編碼信源與信源編碼 l1.4-1.5無(wú)失真離散信源編碼無(wú)失真離散信源編碼n等長(zhǎng)編碼定理原理圖u無(wú)失真要求：nL=mK（無(wú)信息丟失）u有效性要求： mK盡可能小23信源與信源編碼信源與信源編碼 l1.4-1.5無(wú)失真離散信源編碼無(wú)失真離散信源編碼n等長(zhǎng)編碼定理原理u典型序列與非典型序列p信源序列中某些序列以概率1出現(xiàn)，且該集中的序列具有相同的出現(xiàn)概率。其它序列稱(chēng)為非典型序列。u編碼要求2222222logloglogloglog()loglogLKLKnmnmLnKmnKKH XLmLm非等概時(shí)24信源與信源編碼信源與信源編碼 l1.4-1.5無(wú)失真離散信源編碼無(wú)失真離散信源編碼n等長(zhǎng)編碼

11、定理u編碼滿足下式，當(dāng)L足夠大時(shí)，必然可以使譯碼差錯(cuò)率趨近于0（無(wú)失真或近似無(wú)失真）u反之，如果上式不滿足，即R=K*log2m/L=H(X)，則L足夠大時(shí)，必可使譯碼差錯(cuò)率趨近于0；反之，譯碼必定出錯(cuò)且差錯(cuò)率不趨近于026信源與信源編碼信源與信源編碼 l1.4-1.5無(wú)失真離散信源編碼無(wú)失真離散信源編碼n等長(zhǎng)編碼和變長(zhǎng)編碼的比較u等長(zhǎng)編碼將信源輸出符號(hào)序列的任意一種取值（概率可能不同）都編碼成相同長(zhǎng)度的輸出碼字，沒(méi)有利用信源的統(tǒng)計(jì)特性u(píng)變長(zhǎng)編碼可以根據(jù)信源輸出符號(hào)序列各種取值的概率大小不同，將他們編碼成不同長(zhǎng)度的輸出碼字，利用了信源的統(tǒng)計(jì)特性。因此又稱(chēng)其為熵編碼。27信源與信源編碼信源與信源

12、編碼 l1.4-1.5無(wú)失真離散信源編碼無(wú)失真離散信源編碼n等長(zhǎng)編碼和變長(zhǎng)編碼的比較u編碼效率u由于變長(zhǎng)編碼利用了信源的統(tǒng)計(jì)特性，因此，一般在相同的編碼效率和譯碼差錯(cuò)率要求下，變長(zhǎng)編碼需要的信源消息序列長(zhǎng)度L遠(yuǎn)小于等長(zhǎng)編碼需要的L()H XK()H XK28信源與信源編碼信源與信源編碼 l1.4-1.5無(wú)失真離散信源編碼無(wú)失真離散信源編碼n等長(zhǎng)編碼：對(duì)信源輸出的各種出現(xiàn)概率的符號(hào)用等長(zhǎng)的碼字表示u 沒(méi)有充分利用信源的統(tǒng)計(jì)特性n變長(zhǎng)編碼：根據(jù)信源輸出符號(hào)出現(xiàn)概率不同選擇碼字，出現(xiàn)概率大的用短碼，出現(xiàn)概率小的用長(zhǎng)碼u利用了信源的統(tǒng)計(jì)特性，其編碼效率高于等長(zhǎng)編碼nHuffman編碼：Huffman提

13、出的一種變長(zhǎng)編碼u是單消息信源的最佳變長(zhǎng)編碼29信源與信源編碼信源與信源編碼 l1.4-1.5無(wú)失真離散信源編碼無(wú)失真離散信源編碼n圖解Huffman編碼方法u1.按消息概率大小排序u2.對(duì)最小的兩概率編碼（0/1）u3.對(duì)這兩概率合并，排序編碼u4.重復(fù)2，直至結(jié)束u5.自后而前到達(dá)某消息即得編碼30信源與信源編碼信源與信源編碼 l1.4-1.5無(wú)失真離散信源編碼無(wú)失真離散信源編碼n確定了對(duì)信源符號(hào)的編碼規(guī)則，可進(jìn)行編譯碼n這種特性得益于Huffman編碼的非延長(zhǎng)性和異前置性u(píng)非延長(zhǎng)性：把任一許用碼組延長(zhǎng)（添加數(shù)字）都得不到許用碼字；異前置性：將任一許用碼組的最后一位或幾位去掉都得不到許用碼

14、組。u 這兩種性質(zhì)可以從Huffman編碼的規(guī)則看出來(lái)31信源與信源編碼信源與信源編碼 l1.6信息率失真信息率失真R(D)函數(shù)函數(shù)n在前面的討論中，其基本出發(fā)點(diǎn)是如何保證信息的無(wú)失真?zhèn)鬏?。但在許多實(shí)際應(yīng)用中，人們并不要求完全無(wú)失真地恢復(fù)消息，而是只要滿足一定的條件，近似地恢復(fù)信源發(fā)出的消息就可以了。u原因1：實(shí)際的信源常常是連續(xù)的，信息率無(wú)限大u原因2：實(shí)際信道帶寬是有限的，所以信道容量受限制u原因3：實(shí)際生活中，人們一般并不要求獲得完全無(wú)失真的消息，通常只要求近似地再現(xiàn)原始消息，即允許一定的失真存在。如：聽(tīng)電話、看電影32信源與信源編碼信源與信源編碼 l1.6信息率失真信息率失真R(D)函

15、數(shù)函數(shù)n信息率失真理論u香農(nóng)定義了信息率失真函數(shù)R(D)u 定理指出：在允許一定失真度D的情況下，信源輸出的信息率可壓縮到R(D)u信息率失真理論是信源編碼（包括量化（模數(shù)轉(zhuǎn)換）、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮）的理論基礎(chǔ)33信源與信源編碼信源與信源編碼 l1.6信息率失真信息率失真R(D)函數(shù)函數(shù)n失真函數(shù)和平均失真u 對(duì)X（單消息信源取值空間）和Y（單消息信宿取值空間），可定義它們的失真函數(shù)u在此基礎(chǔ)上，定義平均失真34信源與信源編碼信源與信源編碼 l1.6信息率失真信息率失真R(D)函數(shù)函數(shù)n允許失真D和試驗(yàn)信道集合PDu人們對(duì)信息傳輸?shù)氖д嬗幸螅@個(gè)要求就是允許失真Du當(dāng)信源確定（P(

16、X)已知），允許失真度D也給定時(shí)，選擇信道使平均失真小于允許失真。凡滿足要求的信道稱(chēng)為D失真許可的試驗(yàn)信道，簡(jiǎn)稱(chēng)試驗(yàn)信道，所有試驗(yàn)信道的集合就是PD35信源與信源編碼信源與信源編碼 l1.6信息率失真信息率失真R(D)函數(shù)函數(shù)n互信息I(X;Y)的性質(zhì)u性質(zhì)1：互信息I(X;Y)是先驗(yàn)概率P(X)的上凸函數(shù)，研究信道容量時(shí)用到u性質(zhì)2：互信息I(X;Y)是信道轉(zhuǎn)移概率概率P(Y|X)的下凸函數(shù)，研究信息率失真函數(shù)時(shí)用到36信源與信源編碼信源與信源編碼 l1.6信息率失真信息率失真R(D)函數(shù)函數(shù)n信息率失真函數(shù)R(D)u在信源和允許失真給定以后，PD是滿足允許失真的試驗(yàn)信道集合，平均互信息I(

17、X;Y)是信道傳遞概率p(yj|xi)的下凸函數(shù)，所以在PD中一定可以找到某個(gè)試驗(yàn)信道，使I(X;Y)達(dá)到最小，即u這個(gè)最小值R(D)稱(chēng)為信息率失真函數(shù)，簡(jiǎn)稱(chēng)率失真函數(shù)37信源與信源編碼信源與信源編碼 l1.6信息率失真信息率失真R(D)函數(shù)函數(shù)n信息率失真函數(shù)R(D)的性質(zhì)u可以證明：R(D)是關(guān)于允許失真D的單調(diào)遞減的下凸函數(shù)38信源與信源編碼信源與信源編碼 l1.6信息率失真信息率失真R(D)函數(shù)函數(shù)n信息率失真函數(shù)的物理意義u信息率失真函數(shù)是在滿足保真度條件下，信宿必須獲得的平均信息量的最小值，是信源必須輸出的最小信息率u信息傳輸速率本質(zhì)上是描述信源特性的，因此R(D) 也應(yīng)該是僅僅用

18、于描述信源u若信源消息經(jīng)無(wú)失真編碼后的信息傳輸速率為R，則在保真度條件下信源編碼輸出的信息率就是R(D)，且u說(shuō)明在保真度條件下信源編碼比無(wú)失真情況得到了壓縮，同時(shí)R(D)是保真度條件下對(duì)信源進(jìn)行壓縮的極限值，亦即信源信息率可壓縮的最低限度，它僅取決于信源特性和保真度要求，與信道特性無(wú)關(guān)39信源與信源編碼信源與信源編碼 l1.6信息率失真信息率失真R(D)函數(shù)函數(shù)n補(bǔ)充內(nèi)容：信道容量問(wèn)題u信道容量和信息率失真函數(shù)都是求互信息I(X;Y)的極值問(wèn)題，有相仿之處，故常稱(chēng)為對(duì)偶問(wèn)題u平均互信息I(X;Y)是信源概率分布P(X) 的上凸函數(shù)，根據(jù)上凸函數(shù)定義，如果I(X;Y)在定義域內(nèi)對(duì)P(X)的極值

19、存在，則該極值一定是極大值。信道容量就是在固定信道情況下(P(yj|xi)確定)，求平均互信息極大值的問(wèn)題，即40信源與信源編碼信源與信源編碼 l1.6信息率失真信息率失真R(D)函數(shù)函數(shù)n補(bǔ)充內(nèi)容：信道容量問(wèn)題u信道容量C只與信道情況，即信道的條件轉(zhuǎn)移概率p(yj|xi) 有關(guān)，反映信道特性，與信源特性無(wú)關(guān)u由于平均互信息與信源的特性有關(guān)，為了排除信源特性P(X)對(duì)信道容量的影響，采用的做法是在所有的信源中以那個(gè)能夠使平均互信息達(dá)到最大的信源為參考。所以信道容量?jī)H與信道特性有關(guān)，信道不同，C亦不同41信源與信源編碼信源與信源編碼 l1.6信息率失真信息率失真R(D)函數(shù)函數(shù)n研究信息率失真函

20、數(shù)和信道容量的意義u研究信息率失真函數(shù)：為了解決在已知信源和允許失真度D的條件下，使信源必須傳送給信宿的信息率最小。即用盡可能少的碼符號(hào)盡快地傳送盡可能多的信源消息，以提高通信的有效性。這是信源編碼問(wèn)題u研究信道容量：在實(shí)際應(yīng)用中，研究信道容量是為了解決在已知信道中傳送最大信息率問(wèn)題。目的是充分利用已給信道，使傳輸?shù)男畔⒘孔畲蠖l(fā)生錯(cuò)誤的概率任意小，以提高通信的可靠性。這就是信道編碼問(wèn)題42信源與信源編碼信源與信源編碼 l1.7限失真信源編碼定理與限失真信源編碼限失真信源編碼定理與限失真信源編碼n限失真信源編碼定理u設(shè)有一離散平穩(wěn)無(wú)記憶信源，若該信源的信息率失真函數(shù)是R(D)，對(duì)于任意允許平均

21、失真D0，和任意小的0，若實(shí)際傳輸信息率RR(D) ，只要信源序列長(zhǎng)度L足夠長(zhǎng)，一定存在一種編碼方式C，使譯碼后的平均失真dD+；反之，若RDu該定理可以推廣到連續(xù)平穩(wěn)無(wú)記憶信源43信源與信源編碼信源與信源編碼 l1.7限失真信源編碼定理與限失真信源編碼限失真信源編碼定理與限失真信源編碼n限失真信源編碼定理u理解1：信息率失真函數(shù)R(D)是一個(gè)界限，只要實(shí)際傳輸信息率R大于這個(gè)界限，就可以通過(guò)信源編碼技術(shù)將譯碼失真限制在給定的范圍內(nèi)。即通信的過(guò)程中雖然有失真，但仍能滿足要求，否則就不能滿足要求。u理解2：限失真信源編碼的方向是尋求與信源的信息率失真函數(shù)R(D)相匹配的編碼，即R-R(D)；這與

22、無(wú)失真信源編碼相似，后者尋求與信源信息熵匹配的編碼，即44信源與信源編碼信源與信源編碼 l1.7限失真信源編碼定理與限失真信源編碼限失真信源編碼定理與限失真信源編碼n實(shí)現(xiàn)限失真信源編碼的兩類(lèi)方法u1.適應(yīng)信源方法，即尋找適應(yīng)信源的客觀概率統(tǒng)計(jì)特性的編碼方法。如充分考慮信源消息序列的各消息變量（或各取樣值）之間的相關(guān)性，進(jìn)行矢量量化編碼u2.改造信源方法，即通過(guò)改造信源解除信源消息序列的各消息變量（或各取樣值）之間的相關(guān)性。如預(yù)測(cè)編碼和變換編碼45信源與信源編碼信源與信源編碼 l1.8連續(xù)信源的限失真編碼連續(xù)信源的限失真編碼n模擬信號(hào)的數(shù)字傳輸u 把模擬信號(hào)數(shù)字化后，用數(shù)字通信方式傳輸u連續(xù)信源

23、輸出的模擬信號(hào)用數(shù)字信號(hào)表示時(shí)必然引起失真，故連續(xù)信源的數(shù)字化屬限失真編碼范疇。46信源與信源編碼信源與信源編碼 l1.8連續(xù)信源的限失真編碼連續(xù)信源的限失真編碼n模擬信號(hào)的數(shù)字化u抽樣：對(duì)信號(hào)在時(shí)域上進(jìn)行離散化的過(guò)程u量化：對(duì)信號(hào)在取值域上進(jìn)行離散化的過(guò)程 量化時(shí)會(huì)帶來(lái)量化誤差（即量化失真），這種失真是不可恢復(fù)的（不可逆）u 編碼：將離散的取值編成數(shù)字序列47信源與信源編碼信源與信源編碼 l1.8連續(xù)信源的限失真編碼連續(xù)信源的限失真編碼n取樣（抽樣）u 低通信號(hào)的抽樣定理u帶通信號(hào)的抽樣定理n標(biāo)量量化u 信號(hào)抽樣后的序列的取值仍然不是離散的（任何值都是可能的），要變成數(shù)字信號(hào)還必須使取值也離

24、散化，這就是量化u標(biāo)量量化（一維量化）：對(duì)抽樣序列的每個(gè)抽樣值獨(dú)立的進(jìn)行量化u量化：將連續(xù)數(shù)集x（無(wú)限多種取值）映射到具有有限多(M)個(gè)取值可能的數(shù)集48信源與信源編碼信源與信源編碼 l1.8連續(xù)信源的限失真編碼連續(xù)信源的限失真編碼n標(biāo)量量化u最佳量化器：使量化噪聲平均功率最小, 最佳量化時(shí)分層電平為兩相鄰量化電平的中點(diǎn)；量化電平是所屬量化間隔的概率質(zhì)心49信源與信源編碼信源與信源編碼 l1.8連續(xù)信源的限失真編碼連續(xù)信源的限失真編碼n均勻量化（線性量化）u 設(shè)量化器量化范圍(-V,+V)，分層電平數(shù)為M，則均勻量化器的量化間隔，分層電平，量化電平為u可證明：當(dāng)待量化信號(hào)在量化范圍內(nèi)服從均勻分

25、布時(shí)，均勻量化是最佳量化u均勻量化存在的主要問(wèn)題？50信源與信源編碼信源與信源編碼 l1.8連續(xù)信源的限失真編碼連續(xù)信源的限失真編碼n對(duì)數(shù)量化（廣泛應(yīng)用于語(yǔ)聲通信）u想法：對(duì)小信號(hào)的量化用較小的量化間隔，對(duì)大信號(hào)用大的量化間隔。使大小信號(hào)具有近似的信噪比u實(shí)現(xiàn)方法：在發(fā)送端，先進(jìn)行非線性壓縮，再進(jìn)行均勻量化和線性編碼；在接收端，先譯碼，然后作非線性擴(kuò)張，恢復(fù)出原始信號(hào)。（稱(chēng)此壓縮擴(kuò)張器為對(duì)數(shù)壓擴(kuò)器）uA律壓擴(kuò)（歐洲、中國(guó)的PCM：取A=87.56）：可用13折線逼近u律壓擴(kuò)（美國(guó)、日本的PCM）：可用15折線逼近51信源與信源編碼信源與信源編碼 l1.8連續(xù)信源的限失真編碼連續(xù)信源的限失真編碼

26、n編碼u對(duì)量化后的有限個(gè)取值進(jìn)行編碼u常見(jiàn)的二進(jìn)制碼：自然碼，折疊碼，格雷碼（表7.9.1）uPCM中使用的是折疊碼 用第一位表示量化電平極性（正為1，負(fù)為0） 后面幾位表示信號(hào)量化電平絕對(duì)值的大?。ū热?00111表示由小到大）52信源與信源編碼信源與信源編碼 l1.8連續(xù)信源的限失真編碼連續(xù)信源的限失真編碼n電話信號(hào)的A律PCMu 先對(duì)語(yǔ)聲信號(hào)進(jìn)行限帶：3003400Hzu抽樣：抽樣頻率為8000Hzu 量化：先用對(duì)數(shù)A律特性將量化范圍分成16個(gè)段落（對(duì)數(shù)量化）；在段落內(nèi)則使用均勻量化（即將每個(gè)段落均勻分成16個(gè)小段）u編碼：每個(gè)值用8比特進(jìn)行量化53信源與信源編碼信源與信源編碼 l1.8連續(xù)信源的限失真編碼連續(xù)信源的限失真編碼nPCM一次群中的TDMu通常認(rèn)為話音信號(hào)的最高頻率為4kHz，這樣抽樣頻率可定為8kHz（抽樣間隔為T(mén)=125s）u經(jīng)A率13折線編碼，編為8位的碼字。這樣對(duì)一路信號(hào)而言，每個(gè)T中必須傳輸一個(gè)8位碼字54信源與信源編碼信源與信源編碼 l1.8連續(xù)信源的限失真編碼連續(xù)信源的限失真編碼n標(biāo)量量化的問(wèn)題u沒(méi)有充分利用信源消息序列中各個(gè)樣值之間的相關(guān)性，編碼之后的信息率通常較高n矢量量化的思路u 充分利用信源消息序列中各個(gè)樣值之間的相關(guān)性，通過(guò)聯(lián)合量化，可以大幅度降低編碼后的信息率，提高編碼效率55信源與信源編碼信源與信源編碼