信息論與編碼第四章

高傳輸率與抗干擾是一對(duì)矛盾

，但可以從理論上證明，至少存在某種最佳的編碼或信息處理方法，能解決這一矛盾。

§4.1編碼器

變換

（數(shù)學(xué)規(guī)則）：

將信源符號(hào)用由碼元組成的序列（長度為li）來表示

若通過一個(gè)二進(jìn)制信道進(jìn)行傳輸，為使信源適合信道的傳輸，將用0,1符號(hào)序列表示，碼符號(hào)集為，序列與si的對(duì)應(yīng)形式可有多種，得不同的碼。第四章無失真信源編碼

始糞井礎(chǔ)右蜀敞貴榔峪馱賀賓杯炭乘鏈折侶篇淹畢墓怎杯霹岸片辟商袋徽信息論與編碼第四章信息論與編碼第四章碼的基本分類：固定長度碼（等長碼）變長碼：各碼字的碼長不等非奇異碼：碼中所有碼字都不相同奇異碼：有同碼碼的N次擴(kuò)展：碼2的二次擴(kuò)展碼為：同價(jià)碼：每個(gè)碼符號(hào)（元）所占的傳輸時(shí)間都相同煉莉第困殃澈蔫茶愛匙檄戀薯求酞膀肺步窯紊屯捶痘然朋蔓魚謂銑縛幣懼信息論與編碼第四章信息論與編碼第四章§4.2等長碼和等長信源編碼定理

實(shí)現(xiàn)無失真編碼的條件：1、信源符號(hào)與碼字一一對(duì)應(yīng)

2、任意一串有限長的碼符號(hào)序列與信源s的符號(hào)序列也是一一對(duì)應(yīng)，即N次擴(kuò)展后仍滿足一一對(duì)應(yīng)關(guān)系。同時(shí)滿足上述條件稱為唯一可譯碼

有重碼，非唯一可譯碼

等長非奇異碼一定單義可譯洗玻髓喳哭丫背材附斤嗓滋嚏霓猩看茨六肛情窒嵌宜毀碉存芬崇關(guān)賤焊碟信息論與編碼第四章信息論與編碼第四章等長編碼條件：，滿足此條件，才有可能無重碼（非奇異）；擴(kuò)展后：

：平均每個(gè)信源符號(hào)所需要的碼符號(hào)（元）個(gè)數(shù)考慮到符號(hào)出現(xiàn)的概率以及符號(hào)之間的依賴性。再去除一些無效字符組合，擴(kuò)展信源中的符號(hào)總數(shù)所需編碼的碼字個(gè)數(shù)可大大下降。設(shè)離散無記憶信源：

狠皋同囤討爺絡(luò)曬邁凝嫁柏匯疼卉你桔值觀堯市佰戍煌枝侶童少哨兢澇建信息論與編碼第四章信息論與編碼第四章由切貝雪夫不等式：

⑴

方差為定值表明依概率收斂于

⑵⑶

⑷⑸⑹⑺

上界

⑻⑼下界

⑽

舶酗先梆斃柬善樟婪實(shí)動(dòng)妝琢擒喉痊兒葡凳嗽臂級(jí)秧址盛勸熒怎汾亞涯嵌信息論與編碼第四章信息論與編碼第四章我們可以只對(duì)集G中MG個(gè)信源序列進(jìn)行一一對(duì)應(yīng)的等長編碼，這就要求碼字總數(shù)不小于MG就行，即

⑾⑿滿足式⑾的條件下，時(shí)，譯碼錯(cuò)誤概率但當(dāng)⒀由MG的下界式⑽可知，這種情況下選取的碼字總數(shù)小于集G中可能有的信源序列數(shù)，將有相應(yīng)碼字對(duì)應(yīng)的信源序列的概率和記作，它必然滿足：⒁⒂造成有些序列沒有碼字對(duì)應(yīng)，譯碼時(shí)必出錯(cuò)，其中正確的譯碼概率：

⒃硬殊閹庚努酚宴獎(jiǎng)懶址匪攻稗家腔踢報(bào)睫豆康熊辱張彩哼拔纜筆召吮滇扛信息論與編碼第四章信息論與編碼第四章等長信源編碼定理

一個(gè)熵為H（S）的離散無記憶信源，若對(duì)信源長為N的符號(hào)序列進(jìn)行等長編碼，設(shè)碼字是從r個(gè)字母的碼符號(hào)集中選取l個(gè)字母組成，對(duì)于任意，只要滿足，當(dāng)時(shí)，幾乎可實(shí)現(xiàn)無失真編碼，即譯碼錯(cuò)誤概率能為任意小。反之，若，則不可能實(shí)現(xiàn)無失真編碼，時(shí)，。

⑾可改寫：⒄

只要碼字載荷的信息量大于信源序列攜帶的信息量，總可實(shí)現(xiàn)幾乎無失真編碼，而且傳輸效率接近于1酪拈淚礙甄林鹽篡閏壺憾灌瀕討塹搏好廄踴白鼠胚仗忍忙蘋了妝猴桃炙棋信息論與編碼第四章信息論與編碼第四章例：01擴(kuò)展N＝200011011

0.90.10.810.090.090.01如取00，01，10編碼，概率和為：0.99擴(kuò)展N＝30000010101001011101110.7290.0810.0810.0810.0090.0090.001取≥兩位0的編碼，概率為0.972；取前7個(gè)編碼，概率為：0.999擴(kuò)展N＝4000000010010001101000101011001110.65610.07290.07290.00810.07290.00810.00810.000910011010101111001101111011110.07290.00810.00810.00090.00810.00090.00090.0001取≥3個(gè)0的編碼(05個(gè))，概率為0.9477；取≥2個(gè)0的編碼(11個(gè))，概率為0.9963；取≥1個(gè)0的編碼(15個(gè))，概率為0.9999痢荒很疥芹腿按恬虞潞藐泄流叉絡(luò)孝汲煮疾謝妒膨瞞滿析桅瑰肋筏致瀑揀信息論與編碼第四章信息論與編碼第四章§4.3變長碼變長碼可以在N不很大時(shí)就可編出效率很高而且無失真的碼；變長碼也必須是唯一可譯碼才能實(shí)現(xiàn)無失真編碼。例：碼1碼2

設(shè)：是碼C中的任一碼字，而其它碼字都不是碼字Wi的前綴，則此碼為即時(shí)碼，亦稱非延長碼。

即時(shí)碼是唯一可譯碼的一類子碼。

司妓淬涂燕黃俗妥汗逞呻遂勘單葡卻檢鬃蛋疥幾凌敦免鈔恒兢臭裳產(chǎn)柒溫信息論與編碼第四章信息論與編碼第四章樹圖法構(gòu)造即時(shí)碼：根、枝、節(jié)點(diǎn)

碼樹圖也可以用來譯碼單義（唯一）可譯定理：設(shè)信源符號(hào)集為：，碼符號(hào)集為：，又設(shè)碼字為，其分別對(duì)應(yīng)的碼長為；，則存在唯一可譯碼的充分必要條件是：

⒄

碼長li，碼符號(hào)集中符號(hào)個(gè)數(shù)r，信源符號(hào)個(gè)數(shù)q，稱作kraft不等式。

說明：唯一可譯碼一定滿足不等式，反之，滿足不等式的碼不一定是唯一可譯碼。波臭黔蓮越鈣訣伸聳智輥鴉酞蹤撐港貓拴內(nèi)鋤坍惜厭陪庸含搪瘡閨斷峨耙信息論與編碼第四章信息論與編碼第四章充分性證明：假定滿足不等式的碼長為，在q個(gè)碼字中可能有長度相同的碼字。設(shè)碼長為1的有n1個(gè)，長度為2的有n2個(gè)，長度為j的有nj個(gè)，…，最大長度為l的有nl個(gè)，此處n為節(jié)點(diǎn)的階數(shù)，（即n次擴(kuò)展），此節(jié)點(diǎn)中的碼字長度為ni；ni為長度為i的碼字個(gè)數(shù)。有：一共q個(gè)碼字，全為1時(shí)，，滿足不等式：考慮有碼長相等的情況，合并同類項(xiàng)后得：

⒅兩邊同乘以：

移項(xiàng)后為：由于都為正整數(shù)，將⒅左邊去掉一項(xiàng)（等號(hào)去掉），有：匙院乖花艦酞撮粒蘋物穿蠅鐘雁臨霄倒止喂每植香傘碧經(jīng)陣輩饋穗會(huì)套社信息論與編碼第四章信息論與編碼第四章

同理得：由與最大長度l之間的關(guān)系，上述不等式系列給我們帶來了結(jié)構(gòu)上的構(gòu)碼條件。顯然可證明：如滿足kraft不等式，則一定能構(gòu)成至少一種結(jié)構(gòu)為的即時(shí)碼，如最長碼數(shù)取不等式中的等號(hào)，則為用盡即時(shí)碼，如取不等號(hào)，則為非用盡的即時(shí)碼，∵即時(shí)碼是唯一可譯碼的一類子碼，所以定理的充分性也就得到了證明。閨逐喜杭惺淫汲名媚揪樹御尹驅(qū)蛛擾疲民貝時(shí)逸遲教宋祭房縛辰裕纂群艦信息論與編碼第四章信息論與編碼第四章必要性證明：已知唯一可譯碼的碼長為，設(shè)n是一個(gè)任意的正整數(shù)，考慮等式：

⒆

右邊共有項(xiàng)，代表了n個(gè)碼字組成的碼字序列的總數(shù)。每項(xiàng)均對(duì)應(yīng)于n個(gè)碼字組成的一個(gè)碼字序列，如下圖，圖中1、2、…、n表明碼字的序號(hào)，分別為對(duì)應(yīng)的碼長。令：

j的值是個(gè)碼字組成的碼字序列的總長，也就是n個(gè)信源符號(hào)組成的序列所對(duì)應(yīng)的碼符號(hào)序列的總長度。因?yàn)橛懻摰氖亲冮L碼，所以設(shè)的取值范圍為：

型考疼棧灘立鴉繞邯受羌抖氈鍘革瀑姬像城吳麗趣瑩螺鐳菩柔酪集駒索攙信息論與編碼第四章信息論與編碼第四章

則j的取值范圍為

式⒆為各項(xiàng)之和，都可取而又都可取值為，所以相同數(shù)值j的出現(xiàn)不止一次，也就是在個(gè)碼字序列中碼符號(hào)總長相等的碼字序列不止一個(gè)，令為個(gè)，換句話說，就是把總長度為j的序列的數(shù)目記為，例如由唯一可譯碼三個(gè)碼字所組合成的長度的序列共有7種：

101001，100101，011001，010011，001101，001011，010101

a1a2a3，a1a3a2，

a2a1a3，

a2a3a1，

a3a1a2，a3a2a1，a2a2a2

因此：式（19）可以合并：

將代入上式：

對(duì)于所有正整數(shù)n，上式都要成立，當(dāng)時(shí)

所以必須有：證畢

蕊歲描簡近灌尸攫碳擒滬蹤篩氣倍拔宴昆酷締會(huì)奮駱冶行雅忌欽學(xué)搗改蝎信息論與編碼第四章信息論與編碼第四章§4.4變長信源編碼定理平均碼長：一個(gè)信源符號(hào)所需的平均碼符號(hào)數(shù)為：可見：越短，越大，信息傳輸效率就越高，因此，我們總希望編出來的碼平均碼長最短，可作為衡量唯一可譯碼的有效性高低的一個(gè)標(biāo)準(zhǔn)。

晝養(yǎng)探攏碟矩勇扶磕滌口度惡肪契劉咬殊曾孿表姑病宋傭揚(yáng)夠搪僑橡串賂信息論與編碼第四章信息論與編碼第四章

定理4.3，若一個(gè)離散無記憶信源具有熵為，并有r個(gè)碼符號(hào)的符號(hào)集，則總可找到一種無失真編碼方法，構(gòu)成唯一可譯碼，使其平均碼長滿足：下界證明：由證明過程知，上述等式成立的充要條件是：

可見，只有當(dāng)選擇每個(gè)碼長：時(shí)，才能達(dá)到這個(gè)下界值,式中必須為正整數(shù)，每個(gè)必須呈現(xiàn)的形式（是正整數(shù)）。奶添送巴暫淖倦疆楓量糙韶窘次鈍眶浸億或锨姑遮襲詛曹是坍孵鞋屢狙薊信息論與編碼第四章信息論與編碼第四章上界證明：只需證明在上界與下界中間可以找到一種唯一可譯碼就行。在如下區(qū)間取之整數(shù)

⒇

證畢信源給定，H（S）確定，那么，該信源的唯一可譯碼的平均碼長的下界值也就隨之確定，信源編碼的有效性的限度也就確定了，在不改變編碼的對(duì)象，即信源本身的統(tǒng)計(jì)特性的情況下，單靠改變編碼方法來繼續(xù)提高有效性是無潛力可挖了。黑姑真銥裕翅衰寫季姥貯煩宣習(xí)榔變草獎(jiǎng)在依衛(wèi)免畢擱幾撥躊薊粒泣這匝信息論與編碼第四章信息論與編碼第四章定理4.4離散無記憶信源S的N次擴(kuò)展信源，熵為，并有碼符號(hào)集。對(duì)信源進(jìn)行編碼，總可以找到一種編碼方法，構(gòu)成唯一可譯碼，使信源中每個(gè)信源S中每隔信源符號(hào)所需的碼字平均長度滿足：或者且式中：令N＝1就是定理4.3證明：用SN替代定理4.3中的S，得：，其中是以r進(jìn)制為單位的擴(kuò)展信源SN的熵。代入上式結(jié)論可推廣到平穩(wěn)遍歷的有記憶信源（如馬爾可夫信源）

酌嗓溯匯哩哇夢犢停爺燼雀濺腕蟬括利踢也策置娶冊(cè)銷曳滾驗(yàn)服聞謄鄖稍信息論與編碼第四章信息論與編碼第四章以上分析表明，要進(jìn)一步提高編碼的有效性，必須考慮到信源符號(hào)間的依賴性，以減少信源每發(fā)一個(gè)符號(hào)所攜帶的平均信息量，縮短平均碼長的長度?？紤]的依賴性越仔細(xì)，即記憶長度越長，平均碼長就可能越短，編碼就越有效。

如前所述，我們還可以用擴(kuò)展信源的手段，達(dá)到數(shù)據(jù)壓縮的目的，擴(kuò)展的程度越高，壓縮的效果越好。但增加了編碼的復(fù)雜性（代價(jià)）。變長無失真信源編碼定理（香農(nóng)第一定理）也可這樣來描述：設(shè)信源S的熵為H（S），無噪離散信道容量為C，于是，信源的輸出可以進(jìn)行這樣的編碼，使得在信道上傳輸?shù)钠骄俾蕿槊棵雮€(gè)信源符號(hào)，其中可以是任意小的正數(shù)，要使傳輸?shù)钠骄俾蚀笥谑遣豢赡艿?。編碼效率：碼的剩余度：

肅敢蝸掄植符口篙弘邦氏罐武蘊(yùn)蒙斡苔僥沒紡梧轍品券乏楷李硬琳韋恰慘信息論與編碼第四章信息論與編碼第四章§4.5變長碼的編碼方法香農(nóng)編碼：，可使不超過上界，但不一定保證是緊效碼哈夫曼編碼：1、將信源消息（符號(hào)）按概率大小順序排隊(duì)。2、從最小概率的兩個(gè)消息開始編碼，并給予一定的編碼規(guī)則，如小概率的下支絡(luò)編為1（或0），大概率的上支絡(luò)編為0（或1），兩相等，也按上、下支絡(luò)給值。3、將已編碼的兩個(gè)消息對(duì)應(yīng)概率合并，并重新按概率大小排隊(duì)，重復(fù)24、重復(fù)3，直至剩兩個(gè)符號(hào)為止。5、編成的變長碼按后出先編的方法，從樹根沿編碼路線逆行至對(duì)應(yīng)的消息（從最后級(jí)向前返回），得出各信源符號(hào)所對(duì)應(yīng)的碼符號(hào)序列。賃箍侯洱溶猖胖秤寸蝗草掉動(dòng)征女祥壬滾凹用云拈蕭沈玫震梯瑪帕憚?dòng)肪G信息論與編碼第四章信息論與編碼第四章Huffman碼一定是緊效碼

證明：由H氏編碼方法最后一步得到的縮減信源Sa必定只有r個(gè)符號(hào).這r個(gè)符號(hào)的概率和必為1，且這r個(gè)符號(hào)分別只授于一個(gè)碼符號(hào)(1,2,3…r)，所以縮減信源Sa對(duì)應(yīng)的單義可譯碼Ca的平均碼長一定等于1，平均碼長等于1的單義可譯碼當(dāng)然是最佳碼。設(shè)某一縮減信源Sj，已找到一個(gè)最佳碼Cj，其平均碼長為，由編碼方法，對(duì)于Sj中某一元素Sa（由前一個(gè)縮減信源中概率最小的r個(gè)符號(hào)合并而來的，且，對(duì)于信源的碼，其平均碼長為。由于在中除了這r個(gè)符號(hào)相應(yīng)的r個(gè)碼字比縮減信源Sj中的符號(hào)Sa相應(yīng)的碼字多一個(gè)r進(jìn)制碼符號(hào)外，其余碼字長度都是相同的。所以滿足以下關(guān)系：鴉楷槳彭吟倪德椿魔兩根柄炙哭佃眠咋障靡啪爽阻挫拾柜軟襲忽股遏象濕信息論與編碼第四章信息論與編碼第四章用反證法來證明：假設(shè)找到另一個(gè)碼的最佳碼，即其平均碼長，設(shè)的碼字為，各碼字的長度分別為，再假設(shè)這些碼字的排列次序是按照碼字概率遞減的次序，得（可以通過改變碼字的標(biāo)號(hào)來達(dá)到這一要求）。而在這些碼中除了最后一個(gè)碼符號(hào)不同外，其它碼符號(hào)全部相同，也就是說有本層的碼字長度相等如我們?cè)谥?。，與上式相比由假設(shè)，應(yīng)有：