《信息論基礎(chǔ)》課件第5章 無失真信源編碼

主要內(nèi)容信源編碼的基本概念信源編碼定理信源編碼方法無失真信源編碼的MATLAB實現(xiàn)信源信源編碼信道編碼信道信宿信源譯碼信道譯碼通信系統(tǒng)模型信源編碼：1.信源適合信道傳輸2.無失真?zhèn)鬏?.有效傳輸——減少信源的剩余度編碼器信道碼字5.1信源編碼的基本概念編碼器

二元碼碼符號集為X＝{0，1}，所得碼字都是二元序列，稱為二元碼。等長碼一組碼中所有的碼長都相同，稱為等長碼。變長碼一組碼中所有的碼長各不相同即任意碼字由不同長度的碼符號序列組成，稱為變長碼。碼的分類惟一可譯碼：碼字與信源符號一一對應(yīng)不同的符號序列——不同的碼字序列例：1.奇異碼2.非奇異碼01000010010000103.等長碼非奇異碼00011011單義可譯4.非奇異碼1101001000單義可譯1001不即時任何一個碼字是其它碼字的延長或前綴5.非奇異碼1010010001單義可譯01即時任何一個碼字不是其它碼字的延長或前綴即時碼幾個碼類的概念非奇異碼（奇異碼、單義碼）唯一可譯碼即時碼（前綴碼、非延長碼、異前置碼）最佳碼（緊致碼）Kraft定理唯一可譯碼存在定理唯一可譯變長碼與即時碼幾個碼類的概念非奇異碼：每一個碼字僅對應(yīng)信源中的一個信源符號（序列）。編碼是單義的。反之為奇異碼或非單義碼。幾個碼類的概念唯一可譯碼編碼單義、譯碼單義對任何一個有限長度的信源字母序列，如果編碼得到的碼字母序列不與其他任何信源字母序列所對應(yīng)的碼字母序列相同。幾個碼類的概念即時碼是一類唯一可譯碼在一個變長碼中，沒有一個碼字是另一個碼字的前綴。譯碼時無需參考后續(xù)的碼符號就能立即作出判斷，進行無延時譯碼。又稱前綴碼、非延時碼幾個碼類的概念最佳碼唯一可譯碼的一類其平均碼長小于其他唯一可譯碼的平均長度所有的碼非奇異碼唯一可譯碼即時碼

即時碼的樹圖構(gòu)造法

從根開始，畫出r條分支，任選一個分支作為w1；在另一個分支上再分出r條分支，任選一個分支作為W2；繼續(xù)進行，直至結(jié)束；從根到各端點，所經(jīng)過的狀態(tài)即為碼字。例如：A:{0,1},r=2,W:{w1,w2,w3,w4}Kraft定理引出碼樹Kraft定理描述Kraft定理引出問題：尋求實時唯一可譯碼方法：研究實時唯一可譯碼的碼字可分離條件引入：“碼樹”概念（直觀）結(jié)論：通過Kraft定理給出實時唯一可譯碼（即時碼）存在的條件碼樹－－變長碼的樹圖表示將變長碼與碼樹建立“一一對應(yīng)”關(guān)系：樹根碼字起點樹枝數(shù)碼的進制數(shù)節(jié)點碼字或碼字的一部分終止節(jié)點碼字節(jié)數(shù)碼長非滿樹變長碼滿樹等長碼

Kraft定理定理設(shè)原始信源符號集為X:{x1,x2,…xr}的任意即時碼，碼字集合為W:{W1,W2,…Wq}，其碼長分別為l1,l2,…,ln；則滿足；反之，若碼長滿足以上不等式，則一定存在具有這樣碼長的即時碼。

物理意義：給定信源個數(shù)q和碼字?jǐn)?shù)r，只要允許碼字長度可以足夠長，就總可以滿足Kraft不等式，從而得到即時碼.例：三階節(jié)點的二元整樹

N=3,r=2,N階共有個節(jié)點，即＝＝8個樹枝若li＝1，則＝＝4個節(jié)點不能伸展；若li＝2，則＝＝2個節(jié)點不能伸展。證明:必要性證明

若設(shè)碼樹共有N階，則總碼枝數(shù)為個。若某個長度為li的碼枝被選用，即為碼字，則自該支第li節(jié)點以后所有碼枝不能再選用，即有碼枝不能再選用。由于li中i是任意的（i=1,2,…,q），所以全樹中不能再選用的總碼枝數(shù)應(yīng)為：

，顯然其值一定要小于全樹總碼枝數(shù)，即有惟一可譯碼定理定理對于碼符號為X:{x1,x2,…xr}的任意惟一可譯碼，碼字集合為W:{W1,W2,…Wq}，其碼長分別為l1,l2,…,ln；則滿足Kraft不等式，；反之，若碼長滿足以上不等式，則一定存在具有這樣碼長的惟一可譯碼。

結(jié)論：惟一可譯碼一定滿足不等式；反之，滿足不等式的碼不一定是惟一可譯碼，但一定存在至少一種可譯碼。定理若存在一個碼長為li（i=1,2,…,q）的惟一可譯碼，則一定存在具有相同的碼長的即時碼。

惟一可譯變長碼的判斷法將碼C中所有可能的尾隨后綴組成一個集合F，當(dāng)且僅當(dāng)集合F中沒有包含任一碼字，則可判斷此碼C為惟一可譯變長碼。

1、Kraft不等式

——惟一可譯碼存在的必要條件例1．考察：①l1=1，l2=2，l3=l4=3的二元碼如：C1={1,01,001,000}

C2={0,10,110,111}②l1=1，l2=l3=l4=2的二元碼∴必存在惟一可譯碼

∴必不存在惟一可譯碼惟一可譯碼C3={0,00,000,000}非惟一可譯符號碼1碼2碼3碼4等長碼變長碼u100001u201101101u3100000001u31101110001惟一可譯碼非惟一可譯碼非惟一可譯碼惟一可譯碼2、根據(jù)定義判斷基本準(zhǔn)則：等長碼——若為非奇異碼，則為唯一可譯碼；變長碼——碼本身及任意次擴展碼均非奇異。主要方法：樹圖法（即時碼必為惟一可譯碼）尾隨后綴法（尾隨后綴集合F中不含任一碼字）010110010010111010011001110101111例2.C1={0,10,1100,1110,1011,1101}F:{11,00,10,01,0,11,1,100,110,011,101}100非惟一可譯碼eg:1011001110...例3.C2={1,10,100,1000}1101000000F={0,00}惟一可譯碼C3={1,01,001,0001}F=考察離散、隨機序列信源的統(tǒng)計特性－－漸進等分割性（AEP）AEP描述：漸進等分割定理：（熵定理，遍歷性定理）設(shè)是離散無記憶信源輸出的一個特定序列，則任給和，總可以找到一個整數(shù)，使當(dāng)時，有：漸進等分割性（AEP）5.2信源編碼定理AEP物理意義任何一個離散隨機序列信源當(dāng)序列長度N→∝時,信源序列會產(chǎn)生兩極分化.大概率事件集合與小概率事件集合,即qN=∪對于有性質(zhì):①

②

(信源熵)(大概率事件熵)③

(等概率)

對于有性質(zhì):由此可見，信源編碼只需對信源中少數(shù)落入典型大概率事件的集合的符號進行編碼即可。而對大多數(shù)屬于非典型小概率事件集合中的信源符號無需編碼,且。信源序列集合AEP證明

集合和中的序列分別稱為典型序列和非典型序列可以證明：對于任意小的正數(shù)，，當(dāng)L足夠大時，

表示中所有典型序列的集合表示集合中序列的個數(shù)還可以證明：對于任意小的正數(shù)，，當(dāng)L足夠大時，

表示序列出現(xiàn)的概率由切比雪夫不等式可得：

表示S中每個符號攜帶的信息量的方差

AEP結(jié)論：當(dāng)L足夠大時，所有典型序列出現(xiàn)的概率近似相等，即典型序列為漸進等概序列可粗略認(rèn)為典型序列出現(xiàn)的概率為所有典型序列的概率和接近為1，即AEP應(yīng)用：提出、證明都是基于離散無記憶序列信源平穩(wěn)遍歷信源有類似結(jié)果體現(xiàn)信源統(tǒng)計特性用以證明等長編碼定理1、基本問題等長碼特點：C2={000,001,100,101,111}，l2=3code/sig要求：

問題：例1．

惟一可譯碼等長編碼C1={00,01,10,11,10}，l1=2code/sig(2)高效信源編碼定理等長碼基本問題可能的碼字?jǐn)?shù)≥消息數(shù)對基本信源編碼：對N長源編碼：要求：消息數(shù)碼字?jǐn)?shù)：rl

∴rl≥q(l≥logrq)（對例1，q=5,∴要求：2l≥5，即l≥3）

∴rl≥qN(l/N≥logrq)例：英文電報有32個符號，即q=32，若r＝2，N=1(即對信源S的逐個符號進行二元編碼），得

＝log32=5

即每個英文電報符號至少要用5位二元符號編碼。則，q=53=125種<128=27∴l(xiāng)=7code/3_sigs平均碼長：l/N=7/3=2.33code/sig<l2

例1（續(xù)）S的三次擴展：

※

等長碼碼長要求l/Nlogrq（保證唯一可譯碼，無失真）

※

logrq為下限

※

擴展信源編碼的平均碼長<基本源編碼的平均碼長結(jié)論：例2．英文源S：{26個字母+空格符號}，q=27

由q=27≤2l，得l≥5code/sig

∴編碼后信息傳輸率：R=H(S)/l=1.4/5=0.28bit/code

二元信源[0,1]：H(X)max=1bit/code考察效率：

H∞(S)=1.4bit/sig該編碼冗余度大平均碼長太長例3：設(shè)信源

則二次擴展信源為：

l=2code/sigL2=2code/2_sigsl=1code/sig信源有記憶時，采用N長源編碼，l減小等長碼的缺點：平均碼長太長使信道復(fù)雜化容易產(chǎn)生溢出變長碼特點：每個碼字長度可不同要求：唯一可譯2等長信源編碼定理定理等長信源編碼定理

一個熵為H(S)的離散無記憶信源，若對信源長為N的符號序列進行等長編碼，設(shè)碼字是從r個字母的碼符號集中，選取L個碼元組成。對于任意ε>0，只要滿足：

(L/N)logr≥H(S)+ε

則當(dāng)N足夠大時，可實現(xiàn)幾乎無失真編碼，即譯碼錯誤概率能為任意小。反之，當(dāng)

(L/N)logr≤H(S)－2ε時，則不可能實現(xiàn)無失真編碼，而當(dāng)N足夠大時，譯碼錯誤概率近似等于1。

解釋：等長編碼定理給出了信源進行等長編碼所需碼長的理論極限值。例1：英文電報有32個符號（26＋6），即n=32，若r=2，N＝1（即對信源的逐個符號進行二元編碼），則：解釋：每個英文電報符號至少需要用5位二元符號編碼問題：第三章：在考慮符號出現(xiàn)的概率和符號間相關(guān)性前提下,每個英文符號平均攜帶的信息量是1.4bit/符號<<5bit/符號，等長編碼效率極低，如何提高效率？如何體現(xiàn)有效性？Bit/符號解決方法：考察：字母個數(shù)為q，字母出現(xiàn)非等概，且字母之間相關(guān)長度為L的英文信源，其可能的字母序列總數(shù)為；但其中大部分字母序列是無意義的字母組合，而且隨著L的增加，這種無意義序列的總數(shù)越來越大。方法：進行聯(lián)合編碼，即對字母序列編碼，且只對哪些有意義的字母序列編碼，即需編碼的字母序列的總數(shù)<<,則平均每個信源符號所需的碼符號個數(shù)可以大大減少，從而提高了傳輸效率。問題：會引入一定的誤差，當(dāng)N足夠長后，誤差可以任意小。定理條件式

(L/N)logr≥H(S)+ε可以改寫成Llogr>N

H(S)左邊表示長為L的碼符號序列能載荷的最大信息量，右邊表示長為N的信源序列平均攜帶的信息量。即只要碼字傳輸?shù)男畔⒘看笥谛旁葱蛄袛y帶的信息量，總可以實現(xiàn)幾乎無失真編碼。編碼效率

因為(L/N)logr≥H(S)+ε令

R’=(L/N)logr表示編碼后平均每個信源符號能載荷的最大信息量，稱為編碼信息率。為了衡量編碼的效果，引進稱為編碼效率。

等長編碼定理（舉例)例：設(shè)有一簡單離散信源：對其進行近似于無失真的等長編碼，若要求其編碼效率為90%，差錯率低于10-5，試求符號聯(lián)合編碼長度N=？解：由編碼效率：可見,需要182萬個信源符號聯(lián)合編碼，才能達到上述要求，這顯然是不現(xiàn)實的。一般來說：當(dāng)N有限時，高傳輸效率的等長碼往往要引入一定的失真和錯誤，它不能象變長編碼那樣可以實現(xiàn)真正的無失真編碼。當(dāng)δ≤10-5（即PE<10-5） 解：H(S)=0.811bit/sig例．DMS進行等長編碼

則有：η=0.5得N≥71687

η=0.8得N≥1146990

η=0.9得N≥5806641

η=0.96得N≥41291672※

適用于DMS及平穩(wěn)有記憶信源※平均碼長下限：

※基本方法：N長源、變長編碼

※對等長編碼,若要實現(xiàn)幾乎無失真編碼,則信源長度必滿足:定理說明：等長信源編碼定理3變長信源編碼定理碼率與有效編碼平均碼長：碼符/信符

一般離散無記憶信源輸出的各消息（符號）的概率是不相等的。對出現(xiàn)頻率大的信源符號采用較短的碼字；而對出現(xiàn)概率小的信源符號采用較長的碼字。從整個信源來看，編成的信源碼字的平均碼長最短，也實現(xiàn)了與信源統(tǒng)計特性相匹配。平均碼長是每個信源符號平均需用的碼元數(shù)。它和編碼后的壓縮效果密切相關(guān)。平均碼長大，則壓縮效果差，系統(tǒng)有效性差。因此，我們一般選用平均碼長最短的編碼。編碼后每個碼元攜帶的信息量就是信道的信息傳輸率：bit/信符bit/信符碼符/信符=bit/碼符碼率若傳輸一個碼符號平均需要t秒鐘，則編碼后信道每秒鐘傳輸?shù)男畔⒘繛椋?bit/秒因此，越短，越大，信息傳輸效率就越高。

定理若一個離散無記憶信源S的熵為H(S)，并有r個碼元的碼符號X:{x1,x2,…xr}，則總可以找到一種無失真的編碼方法，構(gòu)成惟一可譯碼，使其平均碼長滿足：對于常用的二元編碼來說：

H(S)≤L<H(S)+1

平均碼長=下限值最佳碼上限的證明：若Li不是正整數(shù)時：定理無失真變長信源編碼定理：Shannon第一定理

離散無記憶信源S的N次擴展信源SN，其熵為H(SN)，并且編碼器的碼元符號集為X:{x1,x2,…xr}，對信源SN進行編碼，總可以找到一種編碼方法，構(gòu)成惟一可譯碼，使信源S中每個符號si所需要的平均碼長滿足：證明：

H(SN)＝NH(S)當(dāng)離散無記憶信源S的擴展次數(shù)N足夠大時，有即為不等長信源編碼的編碼信息率。因此，香農(nóng)第一定理也可以陳述為：若>H(S),就存在惟一可譯變長編碼；若<H(S),惟一可譯變長編碼不存在，不能實現(xiàn)無失真的信源編碼。物理意義：又稱香農(nóng)第一定理編碼后的碼符號信源盡可能為等概分布，使每個碼符號平均所含的信息量達到最大要做到無失真編碼，變換每個信源符號平均所需最少的r元碼元數(shù)就是信源的熵率（以r進制信息量單位測度）信源的熵率是描述信源每個符號平均所需最少的比特數(shù)變長編碼定理－編碼效率變長碼編碼效率：衡量各種編碼方法的優(yōu)略，判斷是否最佳碼。編碼前平均每個信源符號攜帶的信息量為：編碼后平均每個信源符號攜帶的最大的信息量為：定義變長碼編碼效率為：另一種理解：最佳碼（極限時）每個信源符號的平均碼長為：某一方法得到的每個信源符號的平均碼長為：定義變長碼編碼效率為：比較：等長編碼的編碼效率：變長編碼的編碼效率：注意到：是指每個信源符號所需的平均碼長，而也是平均到每個信源符號的碼長，所以它們是一致的，均表示無失真信源編碼的效率。表述2：（無噪信道編碼定理） 若信道的信息傳輸率R不大于信道容量，總能對信源的輸出進行適當(dāng)編碼，使得在無損無噪信道上能無差錯地以最大信息傳輸率C傳輸信息；但要使信道信息傳輸率R大于C而無差錯地傳輸則是不可能的。表述1：若R>H(S)，就存在唯一可譯變長編碼；若R<H(S)，唯一可譯變長編碼不存在，不能實現(xiàn)無失真編碼。變長信源編碼定理

αi

P(αi)

碼Cλis1s10.81

11s1s20.09012s2s10.090013s2s20.010003例:比較

N長源編碼的效率。解：H(S)=0.469bit/sig

等長編碼與變長編碼效率比較與前例相比：同一個信源，當(dāng)要求編碼效率達到96％時，等長碼需要4100萬個信源符號聯(lián)合編碼；變長碼只需2個符號（二次擴展信源）聯(lián)合編碼；結(jié)論：采用變長編碼，N不需要很大就可以達到相當(dāng)高的編碼效率，而且可以實現(xiàn)無失真編碼。且隨著N的增大，編碼效率越來越接近于1。本節(jié)內(nèi)容：闡述如何構(gòu)造緊致碼的編碼方法討論香農(nóng)編碼、霍夫曼碼等的編碼方法證明它的最佳性討論其他次優(yōu)的接近下界的編碼方法最佳碼：對于某一個信源和某一碼符號集來說，若有唯一可譯碼，其平均編碼長度不大于所有其他唯一可譯碼的平均編碼長度，則該碼為最佳碼。5.3信源編碼方法1香農(nóng)編碼香農(nóng)第一定理指出了平均碼長與信源熵之間的關(guān)系，同時也指出了通過編碼可使平均碼長達到極限值。但如何編碼呢？定理4.7告訴我們一種編碼方法-----香農(nóng)編碼。香農(nóng)編碼選擇每個碼字長度li

滿足:由定理可知，這樣選擇的碼長一定滿足克拉夫特不等式，所以一定存在惟一可譯碼。按照香農(nóng)編碼方法編出來的碼，可以使其平均碼長不超過上界，即：

只有當(dāng)信源符號的概率分布呈現(xiàn)（1/r)ai

(ai

是正整數(shù))形式時，平均碼長才能達到極限值Hr(S)。一般情況，香農(nóng)編碼的平均碼長不是最短，即編出來的不是緊致碼(最佳碼)。香農(nóng)編碼編碼步驟如下：將信源符號按概率從大到小順序排列，為方便起見，令2.按下式計算第i個符號對應(yīng)的碼字的碼長（要取整）3.計算第i個符號的累加概率4.將累加概率變換成二進制小數(shù)，取小數(shù)點后li位數(shù)作為第i個符號的碼字。例

對如下信源編碼:香農(nóng)編碼信源符號符號概率累加概率碼長碼字s10.2002.343000s20.190.22.413001s30.180.392.483011s40.170.572.563100s50.150.742.743101s60.100.893.3441110s70.010.996.6671111110香農(nóng)編碼

平均碼長信源熵結(jié)論：

1)2)香農(nóng)碼是即時碼，但冗余度稍大，不是最佳碼。編碼效率香農(nóng)編碼二元Huffman編碼二、2

Huffman編碼

④

分配碼元。縮減信源步驟：①

遞減排序；S=[s1，s2，…，sq]②

合并概率最小的兩個符號;③

重復(fù)①②，直至縮減信源中只有兩個符號為止；合二為一一分為二例1:已知離散無記憶信源如下所示，對應(yīng)的霍夫曼編碼為：消息符號ui符號概率P(ui)u10.5u20.25u30.125u40.1250.250.51.0010101111111碼長碼字1021031103111信息熵：平均碼長：編碼效率：編碼不唯一（0、1分配不同，排序不同）

1．二元Huffman編碼消息符號si消息概率P(si)s10.20s20.19s30.18s40.17s50.15s60.10s70.0101010001010101碼長碼字21021130003001301040110401111100000101011011例2．平均碼長唯一0.110.260.350.39

Huffman編碼

碼長方差：碼2

1．二元Huffman編碼（例）源符Si概率P(Si)S10.4S20.2S30.2S40.1S50.1010001000001001000110100101101001101

Huffman編碼

二元Huffman碼的特點：※※每次縮減信源的最后兩個碼字總是最后一位不同（前面各位相同）

1．二元Huffman編碼——惟一可譯Huffman編碼

q=(r－1)?+r

（對于二元編碼，q=?+r）※

為使短碼充分利用，，要求最后信源有r個符號“合r為一，一分為r”填充法消息數(shù)目縮減次數(shù)Huffman編碼

2．r元Huffman編碼Huffman編碼

2．r元Huffman編碼步驟：驗證q是否滿足q=(r-1)?+r，若不滿足，可以人為地增加一些概率為零的符號，使最后一步有r個信源符號；取概率最小的r個符號合并成一個新結(jié)點，并分別用0，1，…，（r+1）給各分支賦值，把這些符號的概率相加作為該新結(jié)點的概率；將新結(jié)點和剩下結(jié)點重新排隊，重復(fù)步驟2；取樹根到葉子（信源符號對應(yīng)結(jié)點）的各樹枝上的賦值，得到各符號碼字。

解：q=5,若取r=32．r元Huffman編碼∴需加入兩個填充符號有5=2?+3

q=(r－1)?+r

Huffman編碼

例3．三元Huffman編碼若取r=4有5=3?+4取5+2=3?+4

2．r元Huffman編碼過程Huffman編碼

消息符號si符號概率P(si)s10.4s20.3s30.2s40.05s50.050120120.30碼字1202122碼長11222

2．r元Huffman編碼過程Huffman編碼

消息符號si符號概率P(si)s10.4s20.3s30.2s40.05s50.05s60s70012301230.1碼字01230313233碼長1112222填充符號Huffman編碼

H(s)=1.95bit編碼效率：2．r元Huffman編碼過程

一般情況下，信源符號集的數(shù)目應(yīng)遠大于碼元數(shù)。定理在變長編碼中，如果碼字長度嚴(yán)格按照所對應(yīng)符號的出現(xiàn)概率逆序排列，則其平均碼長為最小。3．Huffman碼的最佳性碼字長度與出現(xiàn)概率逆序排列；

每次縮減信源的最后r個碼字末位不同。Huffman編碼

費諾（Fano）編碼（即時碼）

費諾（Fano）編碼

1.遞減排列;2.等概分組P(A)≈P(B);3.每個子集以符號“0”或“1”標(biāo)識。方法：等概分割步驟：費諾編碼屬于統(tǒng)計匹配編碼，但它不是最佳的編碼方法例：DMS如下，用費諾編碼方法編碼消息符號si符號概率P(si)s10.5s20.25s30.125s40.125第一次分組01第二次分組01第三次分組01碼字010110111碼長1233H(S)=1.75bit消息符號si消息概率P(si)s10.20s20.19s30.18s40.17s50.15s60.10s70.01第一次分組01第二次分組0101第三次分組0101第四次分組01碼字碼長0020103011310211031110411114例香農(nóng)-費諾-埃利斯碼方法：根據(jù)信源符號累積概率分配碼字不是分組碼，也不是最佳碼，但效率高步驟：1.確定信源符號修正的累積概率函數(shù)；2.將修正的累積概率函數(shù)轉(zhuǎn)換成二進制小數(shù)，取小數(shù)點后l(uk)位為碼字。設(shè)信源為：信源符號累積概率為：信源符號修正的累積概率為：碼長：平均碼長：例：DMS如下，用香農(nóng)-費諾-埃利斯編碼方法編碼消息符號si符號概率P(si)s10.25s20.5s30.125s40.125F(uk)0.250.750.8751F(uk)0.1250.50.81250.9375二進制F(uk)0.0010.1000.11010.1111碼長l(uk)3244碼字0011011011111H(S)=1.75bitHuffman碼在實際應(yīng)用中的問題

誤差擴散概率匹配速率匹配香農(nóng)碼、Huffman碼、Fano碼總結(jié)香農(nóng)碼、費諾碼、霍夫曼碼都考慮了信源的統(tǒng)計特性，使經(jīng)常出現(xiàn)的信源符號對應(yīng)較短的碼字，使信源的平均碼長縮短，從而實現(xiàn)了對信源的壓縮。香農(nóng)碼編碼結(jié)果唯一，但在很多情況下編碼效率不是很高。費諾碼和霍夫曼碼的編碼方法都不唯一。費諾碼比較適合于對分組概率相等或接近的信源編碼?；舴蚵a對信源的統(tǒng)計特性沒有特殊要求，編碼效率比較高，對編碼設(shè)備的要求也比較簡單，因此綜合性能優(yōu)于香農(nóng)碼和費諾碼。5.4幾種實用的信源編碼方法

MH編碼MH編碼是用于黑白二值文件傳真的數(shù)據(jù)壓縮碼。它將游程編碼和霍夫曼碼相結(jié)合的一種標(biāo)準(zhǔn)的改進霍夫曼碼。根據(jù)“黑、白”的不同游程長度有兩張結(jié)尾碼（終端碼）表和兩張組合碼（形成碼）表。游程編碼游程編碼（續(xù)1）BBBBBBBBBBXXXXXXXXXAAAAAAUUUUUUUUUUUUU符號碼標(biāo)識碼游程長度編碼：B#10X#9A#6U#13對于黑、白二值文件:1、黑白游程總是交替出現(xiàn)，可以規(guī)定第一游程為白游程。2、不同游程長度出現(xiàn)的概率不同，對游程長度進行編碼采用霍夫曼編碼，概率大的編長碼，概率小的編短碼。游程編碼（續(xù)2）編碼方法:①游程長度在0～63時，直接查表用相應(yīng)的結(jié)尾碼為碼字；②游程長度在64～1728時，用組合碼加上結(jié)尾碼為相應(yīng)碼字；③規(guī)定每行從白游程開始，每行結(jié)束用結(jié)束碼（EOL）；④用于傳輸時，每頁文件開始第一數(shù)據(jù)前加一結(jié)束碼，每頁尾連續(xù)用6個結(jié)束碼。為了傳輸還要考慮實現(xiàn)同步的操作。73白游程=64+9：1101110100001101010101101010111101100001100110000000000010白1黑15白4黑77白5黑壓縮比=1728/47=36.7:1結(jié)尾碼組合基干碼算術(shù)編碼信源序列(u1u2…un)的累計分布算術(shù)編碼是計算序列的累計分布，用累計分布值表示序列，所以稱為算術(shù)編碼以二元信源輸出序列的編碼為例01110P(0)P(1)F(0)F(1)01算術(shù)編碼信源符號序列u對應(yīng)區(qū)間的寬度等于符號序列的概率通過信源符號序列累積概率計算,把區(qū)間分割成許多小區(qū)間,不同的信源符號序列對應(yīng)不同的區(qū)間為[P(S),P(S)+p(S))，可取小區(qū)間內(nèi)的一點來代表這序列。將符號序列的累積概率寫成二進位小數(shù)，取小數(shù)點后L位,若后面有尾數(shù),就進位到第L位，即算術(shù)編碼若P(