信源編碼與編碼定理

信源編碼與編碼定理第一頁，共四十二頁，2022年，8月28日第五章：無失真信源編碼

§5.1

編碼問題的一般概念與定義

(GeneralConceptsandDefinitionsforCoding)

所謂編碼即信號(hào)的變換，或信號(hào)形式的變換。

(signaltransformorsignalformtransform)

“通信的根本問題是將信源的輸出經(jīng)信道傳輸后在接收端(信宿)精確地或近似地重現(xiàn)出來?！边@就是通信的本質(zhì)，能在宿端再現(xiàn)發(fā)端的信號(hào)，所以信號(hào)形式上的變換就是通信的核心問題。

變換(transform)——稱為編碼(encoding)

反變換(inverse-transform)——?jiǎng)t稱為解(譯)碼

(decoding)

所有編碼手段無外乎為了四個(gè)目的：

Ⅰ.有效性(effectiveness)、Ⅱ.可靠性(reliability)

、

Ⅲ.安全性(security)

、Ⅳ.

經(jīng)濟(jì)性(economically)

、

第二頁，共四十二頁，2022年，8月28日§5.1

編碼問題的一般概念與定義Ⅰ.解決有效性問題的編碼——信源編碼(Sourcecoding)

亦稱壓縮編碼(Compressedcoding),所謂信源編碼是指在無失真，或在有失真的條件下，如何利用盡可能少的符號(hào)來表述信源發(fā)出的消息。很顯然，這種編碼在于壓縮信息的冗余度。根據(jù)編碼的前提條件，信源編碼又分為兩類：

⒈無失真信源編碼(Sourcecodingwithoutdistortion)

這種編碼是一種可逆性編碼(invertiblecoding)

，即編碼后的碼字序列再經(jīng)解碼處理后，可無失真地恢復(fù)出原來的消息或消息序列。顯然對(duì)于離散信源來說才有可能實(shí)現(xiàn)這種可逆編碼，所以無失真信源編碼僅適用離散信源。第三頁，共四十二頁，2022年，8月28日§5.1

編碼問題的一般概念與定義

⒉限失真信源編碼(Sourcecodingwithfinitedistortion)

此編碼方式不能構(gòu)成可逆編碼，即編碼后的碼字序列經(jīng)解碼(反變換)處理后，所恢復(fù)的消息序列與發(fā)端的原消息序列存在有一定的失真。這種編碼適合于連續(xù)信源模擬信號(hào)的編碼，因?yàn)閷?duì)連續(xù)信源的信號(hào)無論做何種處理，都無法避免信息的損失。比如語音信號(hào)，即使采用64Kbit/s以上的速率量化，也會(huì)有相當(dāng)?shù)男畔a(chǎn)生丟失，只不過有時(shí)人耳察覺不到而已。實(shí)際工程中失真大量存在，而且在允許失真的限度下進(jìn)行編碼處理對(duì)于大多數(shù)用戶都是可以接受的。因此對(duì)于信息量無限大的連續(xù)變量來說，按照熵編碼的原則壓縮，信息丟失的程度應(yīng)該是最小。限失真信源編碼的方法有很多，而且隨信源的特性不同也有其不同的壓縮模式。但它們都沒有達(dá)到Shannon所給出的理論極限。第四頁，共四十二頁，2022年，8月28日§5.1

編碼問題的一般概念與定義Ⅱ.解決可靠性問題的編碼——信道編碼

(Channelcoding)

亦稱糾錯(cuò)編碼。此類編碼方式的目的，主要是解決如何充分地利用信道的能力來可靠地傳輸信息。我們把這種增加信道中抗干擾能力的編碼稱為信道編碼。它所采用的處理方針恰恰與信源編碼中壓縮冗余的方針正好相反，是充分利用原有冗余度和進(jìn)一步擴(kuò)展冗余度的方針。所以這種編碼技術(shù)是以犧牲傳輸?shù)挠行詾榇鷥r(jià)來提高傳輸?shù)目煽啃?。?解決安全性問題的編碼——密碼(Cryptography)

這里的編碼方法主要是為了解決信息傳輸過程中的安全性問題。即為使授權(quán)用戶(empower-user)盡可能無失真地接收信息；而對(duì)于非授權(quán)用戶(empower-user),則不允許其獲取信息。第五頁，共四十二頁，2022年，8月28日§5.1

編碼問題的一般概念與定義

Ⅳ.

解決傳輸經(jīng)濟(jì)性問題的編碼——調(diào)制與復(fù)用

(modulation&multiplex)

是指為了充分利用信道，進(jìn)一步提高通信系統(tǒng)的通信能力和降低通信成本而采用的編碼技術(shù)。這類編碼技術(shù)不僅廣泛地應(yīng)用于通信網(wǎng)絡(luò)中，而且在計(jì)算機(jī)網(wǎng)絡(luò)和有線電視網(wǎng)中也有大量的使用。這種編碼技術(shù)大體分為這幾類：時(shí)分復(fù)用與時(shí)分多址接入技術(shù)(TDM&TDMA)頻分復(fù)用與頻分多址接入技術(shù)(FDM&FDMA)碼分復(fù)用與碼分多址接入技術(shù)(CDM&CDMA)波分復(fù)用(WDM)空分復(fù)用(SDM)統(tǒng)計(jì)復(fù)用(Statisticalmultiplex)第六頁，共四十二頁，2022年，8月28日§5.1

編碼問題的一般概念與定義

以上四類編碼技術(shù)都有其專門的學(xué)科論述，而信息論中僅定性、定量地給出各種編碼方法的理論極限和性能界限。這些都是以極限定理的方式給出，因此它們就預(yù)示著在每一種具體的編碼方法實(shí)現(xiàn)之前，就可給出它的實(shí)現(xiàn)前提和最好目標(biāo)或可實(shí)現(xiàn)性。所以信息論中的編碼定理，大多是我們用以評(píng)估系統(tǒng)優(yōu)劣的界限；或估計(jì)系統(tǒng)是否值得改善的尺度；以及用以比較系統(tǒng)目標(biāo)的最佳性或可實(shí)現(xiàn)性。

總之學(xué)習(xí)信息論就是為了掌握這些性能界限；應(yīng)用編碼定理來評(píng)估實(shí)際問題。而具體的編碼技術(shù)應(yīng)在其它相應(yīng)的專業(yè)課程來解決。第七頁，共四十二頁，2022年，8月28日§5.1

編碼問題的一般概念與定義一、編碼器與解碼器(encoder&decoder)

編碼器就是將消息符號(hào)序列變換成碼字序列的裝置(器件)，而解碼器則是相應(yīng)的反變換裝置(或器件)。EncoderDecoder而碼字序列可由K個(gè)碼字所組成，則兩種序列的個(gè)數(shù)分別為：

編碼器的輸入是消息符號(hào)序列，其中符號(hào)的取值集合為S:；如果給定一個(gè)碼字符號(hào)集合則編碼器的輸出可以由碼字符號(hào)構(gòu)造出一個(gè)碼字序列與輸入的消息符號(hào)序列相對(duì)應(yīng)。設(shè)消息序列由L個(gè)符號(hào)構(gòu)成，才可能產(chǎn)生一一對(duì)應(yīng)的映射關(guān)系,形成可逆編碼。則不可能實(shí)現(xiàn)無失真編碼,只能實(shí)現(xiàn)有失真編碼。第八頁，共四十二頁，2022年，8月28日§5.1

編碼問題的一般概念與定義

例5-1.如果消息符號(hào)為一16進(jìn)制符號(hào)集合，若采用二進(jìn)制碼字符號(hào)，來對(duì)其進(jìn)行可逆編碼時(shí)需要碼字長度如何？題解：

如果信源所發(fā)的消息是以兩個(gè)16進(jìn)制符號(hào)組成的序列，即所謂信源的二次擴(kuò)展，我們稱為并源處理：Combined─SourceProcessing

則此刻的碼字序列的長度正是一個(gè)字節(jié)(byte)長度。第九頁，共四十二頁，2022年，8月28日§5.1

編碼問題的一般概念與定義二、分組碼(塊碼)與非分組碼(序列碼)

（Blockcode&Non-blockcode=Sequencecode）

以上例子中的碼字序列均有一個(gè)固定字長，我們稱為定長碼字。(Fixed-lengthcodeword)

如果碼字長度不是一個(gè)固定的常數(shù)，我們則稱為碼字為變長碼字。(Variable-lengthcodeword)

無論是定長碼，還是變長碼它們均屬于所謂分組碼，因其特征是每一個(gè)碼字都有一個(gè)有限的字長

l

，所以分組碼亦稱為塊碼結(jié)構(gòu)。還有一類碼字是沒有特定的字長，它是一個(gè)無限長或相當(dāng)長的碼字序列，不能按一個(gè)個(gè)的碼字進(jìn)行編譯碼，而是隨消息序列按邊輸入邊輸出的機(jī)制實(shí)現(xiàn)編譯碼。這類編碼方法稱為非分組碼——

序列碼，如算術(shù)碼等。

第十頁，共四十二頁，2022年，8月28日§5.1

編碼問題的一般概念與定義三、碼樹結(jié)構(gòu)(CodeTreeStructure)RootNodeBranchJointbranch0

1111111000000101

一個(gè)碼樹，從根部可分出m個(gè)分枝(或樹葉leaf),這相對(duì)于m進(jìn)制碼。如果從根部開始，對(duì)于每個(gè)節(jié)點(diǎn)上引出的分枝都分配一個(gè)代碼，則由根出發(fā)到任意一個(gè)終端節(jié)點(diǎn)，形成一聯(lián)枝。若將一聯(lián)枝的所有分枝的代碼組合則形成碼字序列。如果所有的聯(lián)枝其長度相同，稱為整樹結(jié)構(gòu)。由整樹中可以得到定長碼字，反之將得到變長碼字。第十一頁，共四十二頁，2022年，8月28日§5.1

編碼問題的一般概念與定義四、滿樹原則

(FullTreePrinciple)01200112201201122

比較以上兩碼樹其相互差別在于從任意一節(jié)點(diǎn)出發(fā)能否保證其后續(xù)的枝數(shù)一定是m枝(相對(duì)于m進(jìn)制碼)。滿足這一原則為滿樹結(jié)構(gòu)，否則為非滿樹結(jié)構(gòu)(non-fulltreestructure)。FullTreePrinciple:

其中k表示為中間節(jié)點(diǎn)的個(gè)數(shù)；N表示碼樹的聯(lián)枝數(shù)或碼字個(gè)數(shù)。滿數(shù)結(jié)構(gòu)非滿數(shù)結(jié)構(gòu)第十二頁，共四十二頁，2022年，8月28日§5.1

編碼問題的一般概念與定義

顯然，任何一個(gè)二進(jìn)制碼字序列，其碼樹一定符合滿樹結(jié)構(gòu)，因?yàn)榻o定一個(gè)N，總可以找得到k個(gè)中間節(jié)點(diǎn)來滿足滿樹原則：

如果滿樹結(jié)構(gòu)與整數(shù)結(jié)構(gòu)相同時(shí),有

其中，L是聯(lián)枝串接的分枝數(shù)，k是中間節(jié)點(diǎn)個(gè)數(shù)。任何一個(gè)整樹都符合滿樹結(jié)構(gòu)，但任意的滿樹卻不一定滿足整樹結(jié)構(gòu)。由于整樹的聯(lián)枝長度相同，故此碼樹對(duì)應(yīng)定長編碼；而符合滿樹原則但又不是整樹的結(jié)構(gòu)常用于對(duì)應(yīng)變長編碼。第十三頁，共四十二頁，2022年，8月28日§5.1

編碼問題的一般概念與定義000111222012Root書中圖5.3有誤應(yīng)符合整樹定義。

N=r3112000000001111111222222220第十四頁，共四十二頁，2022年，8月28日第五章：無失真信源編碼

§5.2定長編碼及定長編碼定理

(TheFixed-lengthCodinganditsTheorem)

前面我們已經(jīng)推出利用定長編碼實(shí)現(xiàn)可逆編碼的條件是：WhereKisthecodelength.因?yàn)槎ㄩL編碼可以實(shí)現(xiàn)一一對(duì)應(yīng)的無失真編碼，但是這時(shí)卻沒有實(shí)現(xiàn)信源編碼的主要目的——壓縮消息序列的冗余度，甚至編碼后的碼字序列還可能增加新的冗余。那么如何采用定長編碼來達(dá)到壓縮的目的，這是我們這節(jié)重點(diǎn)概念。在第二章中已知道這樣的結(jié)論：第十五頁，共四十二頁，2022年，8月28日§5.2

定長編碼及定長編碼定理

上式表明對(duì)信源特性了解越多，則所需傳輸?shù)男畔⒘烤驮缴?。因此我們?duì)Hm感興趣，若把L個(gè)消息符號(hào)排成一個(gè)序列，不論其是否有記憶，只要統(tǒng)計(jì)出Hm的值，就對(duì)壓縮序列的冗余有利。我們可以僅從符號(hào)間相互獨(dú)立的序列中看到這一特點(diǎn)。從數(shù)學(xué)的大數(shù)定律中可以證明這樣一個(gè)結(jié)論，如果對(duì)L個(gè)消息符號(hào)可構(gòu)成無記憶序列，則按每一個(gè)序列的出現(xiàn)概率可將所有序列分成兩大類：一類是高概率序列類；另一類是低概率序列類。所謂高概率序列是指屬于此集合的元素，大體上將以幾乎相同的概率出現(xiàn)。一般稱為漸近等概率集合，記AL。而且L越大這種等概率特性越明顯。另一類集合中的序列，它的出現(xiàn)概率很低，幾乎為零。所以我們把這一部分序列集合稱為低概率集合，記為第十六頁，共四十二頁，2022年，8月28日§5.2

定長編碼及定長編碼定理

例5－2.設(shè)如一個(gè)小盒子中裝有100枚圍棋子，其中75枚為白色棋子，25枚為黑色棋子。如果將100只同樣比例的圍棋子盒子倒入一大盒子中攪勻，問若隨機(jī)性的裝一小盒子圍棋子，這盒棋子全是白色的概率是多少？若全是黑色棋子的概率又是多少？解：根據(jù)數(shù)學(xué)中的大數(shù)定律，落入高概率類集合的事件數(shù)目為：第十七頁，共四十二頁，2022年，8月28日§5.2

定長編碼及定長編碼定理

這就是說如果給定了，總可以找到一個(gè)L

使得落入兩個(gè)概率類集合的序列各有自己的出現(xiàn)概率。而落入漸近等概率集合的序列個(gè)數(shù)將是一個(gè)常數(shù)：第十八頁，共四十二頁，2022年，8月28日§5.2

定長編碼及定長編碼定理

給出此例并不是希望大家掌握計(jì)算序列概率的方法，而是要大家了解定長編碼達(dá)到壓縮的目的。因?yàn)橄⑿蛄兄械膫€(gè)數(shù)為：

且，

顯然，如果采用一一對(duì)應(yīng)的定長編碼策略，僅對(duì)漸進(jìn)等概率集合中的消息序列一一對(duì)應(yīng)的編碼；而對(duì)那些幾乎不出現(xiàn)的序列，不給分配碼字序列，這樣編碼的出錯(cuò)概率將會(huì)控制到以下。如果認(rèn)為這樣的失真還不夠小，可以增加L的值，使得足夠小。因此無失真定長編碼的理論是建立在誤差概率幾乎為零的意義下的無失真結(jié)果。

即保證對(duì)于高概率類序列集合中的每一消息序列都能實(shí)現(xiàn)一一對(duì)應(yīng)的編碼，而且由于：這就體現(xiàn)出定長編碼壓縮序列冗余的效果。第十九頁，共四十二頁，2022年，8月28日§5.2

定長編碼及定長編碼定理

介紹定長編碼極限定理：設(shè)消息序列：和碼字序列：再設(shè)：第二十頁，共四十二頁，2022年，8月28日§5.2

定長編碼及定長編碼定理定理的含義：對(duì)于任何給定的，只要滿足不等式的條件，則當(dāng)L足夠大時(shí)，就一定可以實(shí)現(xiàn)無失真編碼，即Pe。逆定理：如果不滿足第一個(gè)不等式，而滿足第二個(gè)不等式，則編碼一定會(huì)產(chǎn)生失真，而且當(dāng)L時(shí)出錯(cuò)概率Pe將很快接近于1。

例5－3.一幅黑白圖象信號(hào)，若每一行有100個(gè)象素點(diǎn)，每個(gè)象素點(diǎn)的黑白灰度級(jí)為8；則對(duì)每一行100個(gè)點(diǎn)所構(gòu)成的象素序列進(jìn)行編碼。即：如果每一個(gè)象素點(diǎn)的分布于其位置無關(guān)這是一個(gè)無記憶序列。再舉一例看其壓縮比。第二十一頁，共四十二頁，2022年，8月28日§5.2

定長編碼及定長編碼定理

由于需要編碼的序列個(gè)數(shù)僅占原來序列的

分之一。即冗余度壓縮掉倍，但這僅是理論上的推導(dǎo)，實(shí)際上很難完成。因?yàn)椴豢赡軐⑺械臐u近等概率序列一一列出來，進(jìn)行編碼或存儲(chǔ)到計(jì)算機(jī)內(nèi)存中形成碼書實(shí)現(xiàn)解碼。所以這是定長編碼的缺陷，一般我們常選用變長編碼的方法。第二十二頁，共四十二頁，2022年，8月28日第五章：無失真信源編碼

§5.3

變長編碼及變長編碼定理

(TheVariable-lengthCodinganditsTheorem)

一、變長碼字的唯一可分碼條件(TheuniquelydecodableconditionforV-Lcoding)先看一個(gè)變長碼字的例子：例5－411011111101/8S4111100011/8S300101001/4S2100001/2S1C4C3C2C1出現(xiàn)概率信源符號(hào)11XX000非既時(shí)碼譯碼演示即時(shí)碼第二十三頁，共四十二頁，2022年，8月28日

§5.3

變長編碼及變長編碼定理

以上四種變長碼方案中的后兩種碼字屬于唯一可分碼，即不用碼字分隔符就能自行分隔解碼。但這兩者之間也有差別，C3屬于即時(shí)碼(instantaneouscode);而

C4屬于非即時(shí)碼(non-instantaneouscode),它在解碼時(shí)往往需要等后續(xù)碼字出現(xiàn)時(shí)才能正確解碼，因此效率不如前者高。為了得出最佳變長碼，我們比較變長碼的特點(diǎn)：

1o.高概率符號(hào)對(duì)應(yīng)于短碼字；低概率符號(hào)對(duì)應(yīng)于長碼字。

2o.無需額外的分隔符就可構(gòu)成唯一可分碼(Uniquely-decodablecode)——異前置碼(prefixcode):

即任何碼字都不能成為其它碼字的前綴。滿足這樣條件的變長碼一定是唯一可分碼，而且還是即時(shí)碼。下面給出變長碼的唯一可分性的充分必要條件

(sufficientandnecessarycondition)

：

二、Kraft’s不等式(Kraft’sInequality)用碼樹可以導(dǎo)出碼字的唯一可分離性的充要條件是：第二十四頁，共四十二頁，2022年，8月28日

§5.3

變長編碼及變長編碼定理

這里，Ki

表示第i種碼字的長度；m為m進(jìn)制下碼字符號(hào)的取值數(shù)。

證明：設(shè)Ki的最大值為N，對(duì)于N節(jié)的整樹來說，它的總聯(lián)枝數(shù)為

,如果對(duì)于一個(gè)Ki

長的碼字來說，則它所對(duì)應(yīng)的碼樹中的一個(gè)聯(lián)枝的最終節(jié)點(diǎn)之后的個(gè)分枝將不能再用，否則將不滿足異前綴的條件。因此總共不用的枝數(shù)為：010101兩邊除以則得：第二十五頁，共四十二頁，2022年，8月28日

§5.3

變長編碼及變長編碼定理

以上證明的是

Kraft’s

不等式是滿足碼字可分離的必要條件。下面證明它的充分條件。若設(shè)不等式⑴成立,則不等式(2)也一定成立。如果將滿足不等式的一組碼長為的碼字，在一個(gè)N節(jié)碼樹上按找聯(lián)枝，則我們一定可以找出符合關(guān)系的碼樹，且保證每一個(gè)長度為的聯(lián)枝的終點(diǎn)沒有后續(xù)分枝。這就保證了這套碼字的唯一可分離性，即充分條件成立。010101010110111

所以Kraft’s

不等式是滿足碼字唯一可分離性的充要條件。第二十六頁，共四十二頁，2022年，8月28日

§5.3

變長編碼及變長編碼定理

三、最佳變長碼(TheOptimalCodes)

對(duì)于變長編碼而言，是否一定存在有一個(gè)最佳方案或稱有一套最佳碼字?即這套碼字是滿足唯一可分性中平均碼長最短，而且是即時(shí)碼。這個(gè)問題是信息論所應(yīng)該討論的問題。如果考慮一般性，設(shè)信源的消息符號(hào)序列為獨(dú)立序列。為證明其編碼的壓縮性，可取N個(gè)碼字來作為上述消息序列的變長碼。則用Ki表示第i個(gè)碼字的長度，可以采用以下原則來規(guī)定Ki的取值：

第二十七頁，共四十二頁，2022年，8月28日

§5.3

變長編碼及變長編碼定理注意：取整的概念是為了適應(yīng)碼長Ki是一個(gè)整數(shù)的事實(shí)。第二十八頁，共四十二頁，2022年，8月28日

§5.3

變長編碼及變長編碼定理而平均每一個(gè)消息符號(hào)的平均碼長為：第二十九頁，共四十二頁，2022年，8月28日

§5.3

變長編碼及變長編碼定理四、變長編碼定理(Thevariable-lengthcodingtheorem)

①.按消息符號(hào)的變長編碼定理(Theoremtothesourceletters)

對(duì)于熵為H(S)的離散無記憶信源：若用m進(jìn)制下的碼字符號(hào)對(duì)該信源實(shí)現(xiàn)變長編碼，則一定存在著一種唯一可分碼，使其平均碼長滿足：

反之，不滿足上述不等式則一定會(huì)產(chǎn)生編碼失真！反之，不滿足上述不等式的平均序列碼長，則一定會(huì)導(dǎo)致失真。②.按消息符號(hào)序列的變長編碼定理(TheVariable-LengthCodingTheoremtoSequencesofLSourceLetters)第三十頁，共四十二頁，2022年，8月28日

§5.3

變長編碼及變長編碼定理

五、某些常用的變長編碼方法(SomeV-Lcodingmethods)

(1).

Shannon’salgorithm:

Ⅰ.把信源所給出的N個(gè)消息符號(hào)，按其概率遞減順序排列：

Ⅱ.計(jì)算第

i個(gè)消息的累加概率；(CumulativeProbability)

Ⅲ.將累加概率轉(zhuǎn)換成二進(jìn)制數(shù)；如0.5=0.1(二);0.25=0.01(二)

Ⅳ.按Shannon’s

公式求出每一個(gè)碼字的長度；

Ⅴ.根據(jù)取二進(jìn)制的累加概率小數(shù)點(diǎn)之后的位作為Shannon’s

碼字。第三十一頁，共四十二頁，2022年，8月28日

§5.3

變長編碼及變長編碼定理例5－5.Shannon變長碼111105.1111010.960.04111015.1110100.910.05110115.1101100.850.0611004.1100000.780.0710104.101010.680.110014.100100.580.10113.011000.40.18002.0000000.4codewordki

(二)PiSi第三十二頁，共四十二頁，2022年，8月28日

§5.3

變長編碼及變長編碼定理(2).

最佳變長碼字——Huffman’salgorithm

在概率已知的前提下，可以證明Huffman

方法是最佳編碼法，因?yàn)槟壳斑€沒有一種變長編碼方法可以超出Huffman

方法的編碼效率。所以最佳變長碼字就是

Huffman

codeword.

下面給出二元Huffman變長編碼的編碼步驟：第三十三頁，共四十二頁，2022年，8月28日

§5.3

變長編碼及變長編碼定理2o.對(duì)概率最小的兩個(gè)消息符號(hào)分別分配碼字符號(hào)“1”和

“0”，分配原則應(yīng)保持一致，如概率大的事件都是“1”。3o.將最小的兩個(gè)消息概率相加并且以相加后的概率之和重新參加概率排隊(duì)；4o.

重復(fù)上述步驟(2o,3o);直至概率之和為1；5o.從樹根開始順序地依次取出Huffman碼字。

下面以前題為例，按Huffman編碼步驟完成二元最佳變長編碼：

例5-6.

二元Huffman編碼方法圖示：1o.把N個(gè)消息符號(hào)按其概率遞減的順序排列；第三十四頁，共四十二頁，2022年，8月28日010.370.601101.0=root

§5.3

變長編碼及變長編碼定理0.180.040.050.060.070.10.10.4010.09010.13010.190.2310Huffman’scodes10010110000010001010001000011第三十五頁，共四十二頁，2022年，8月28日

§5.3

變長編碼及變長編碼定理00000001111111

顯然從碼