近代信息論第四章

近代信息論第四章第1頁(yè)，共23頁(yè)，2023年，2月20日，星期四主要內(nèi)容第三節(jié)：編碼方法與平均錯(cuò)譯概率第四節(jié)：漢明距離與編碼原則第五節(jié)：離散信道編碼定理第2頁(yè)，共23頁(yè)，2023年，2月20日，星期四第三節(jié)：編碼方法與平均錯(cuò)譯概率recall0011輸入分布一定,給定信道,可選擇最大后驗(yàn)概率準(zhǔn)則使得誤碼率最小0.990.99譯碼準(zhǔn)則：F(0)=0;F(1)=1Pe=0.01

僅靠譯碼規(guī)則，一般Pe不能滿足要求一般通信要求solutionPe與信道及譯碼準(zhǔn)則有關(guān)，譯碼準(zhǔn)則潛力已挖盡，考慮通過(guò)編碼來(lái)改變信道特性。第3頁(yè)，共23頁(yè)，2023年，2月20日，星期四例：對(duì)于X:{01}二元信源,編碼：1—1110—000

00110.990.99設(shè)等概輸入，采用最大似然準(zhǔn)則，即挑選每列中最大者來(lái)譯碼。譯碼規(guī)則：使：結(jié)論：可通過(guò)編碼來(lái)改變信道特征，使得最小誤碼率減小back第4頁(yè)，共23頁(yè)，2023年，2月20日，星期四第四節(jié)：漢明距離與編碼原則例：顯然，相當(dāng)于對(duì)應(yīng)位異或后求和第5頁(yè)，共23頁(yè)，2023年，2月20日，星期四漢明距離與最大似然準(zhǔn)則的關(guān)系0011正確傳遞的概率錯(cuò)誤傳遞的概率第6頁(yè)，共23頁(yè)，2023年，2月20日，星期四另一方面依據(jù)最大似然準(zhǔn)則，漢明距離最大似然準(zhǔn)則可表示為——0<p<0.5第7頁(yè)，共23頁(yè)，2023年，2月20日，星期四最大似然準(zhǔn)則可表示為：當(dāng)即：漢明距離與最大似然準(zhǔn)則的關(guān)系時(shí)，有計(jì)算該準(zhǔn)則下的誤碼率：or第8頁(yè)，共23頁(yè)，2023年，2月20日，星期四編碼原則在M個(gè)消息，碼長(zhǎng)N不變的前提下，在個(gè)可能碼符號(hào)序列中，選M個(gè)作為碼字，不同的選法，有不同的，即不同的最小誤碼率。問(wèn)題：如何選碼，使得最小誤碼率最小。第9頁(yè)，共23頁(yè)，2023年，2月20日，星期四在個(gè)可用碼符號(hào)序列中，選擇M個(gè)碼字，使得這M個(gè)碼字中任兩個(gè)不同碼字間的距離盡量大。編碼原則即：例：back第10頁(yè)，共23頁(yè)，2023年，2月20日，星期四第五節(jié)：離散信道編碼定理——Shannon第二定理定理表述：證明設(shè)某信道有r個(gè)輸入符號(hào)，s個(gè)輸出符號(hào)，信道容量C，當(dāng)信道的信息傳輸率（碼率）R<C時(shí)，只要碼長(zhǎng)N足夠長(zhǎng)，總可在輸入的集合中（含有個(gè)長(zhǎng)為N的碼符號(hào)序列）找到個(gè)碼字，分別代表M個(gè)等可能性的消息，組成一個(gè)碼以及相應(yīng)的譯碼規(guī)則，使信道輸出的平均誤碼率Pemin達(dá)到任意小。第11頁(yè)，共23頁(yè)，2023年，2月20日，星期四證明設(shè)單符號(hào)錯(cuò)誤概率p(1|0)=p(0|1)=p(1)(2)示意圖第12頁(yè)，共23頁(yè)，2023年，2月20日，星期四示意圖第13頁(yè)，共23頁(yè)，2023年，2月20日，星期四譯碼方法出錯(cuò)的原因于是，第14頁(yè)，共23頁(yè)，2023年，2月20日，星期四(3)由概率論及大數(shù)定理可遞推法證明因此：第15頁(yè)，共23頁(yè)，2023年，2月20日，星期四(4)隨機(jī)編碼例：N=2,M=2,如果按隨機(jī)編碼，Pe需對(duì)所有種碼取平均，方可得平均Pe第16頁(yè)，共23頁(yè)，2023年，2月20日，星期四其中：(5)其中：第17頁(yè)，共23頁(yè)，2023年，2月20日，星期四(6)二進(jìn)對(duì)稱信道：C=1-H(P)第18頁(yè)，共23頁(yè)，2023年，2月20日，星期四(7)第19頁(yè)，共23頁(yè)，2023年，2月20日，星期四(8)這時(shí)，以上為ShannonTheorem2的證明思路第20頁(yè)，共23頁(yè)，2023年，2月20日，星期四離散信道編碼逆定理設(shè)某信道有r個(gè)輸入符號(hào)，s個(gè)輸出符號(hào)，信道容量C，若選用碼字個(gè)數(shù)則，無(wú)論N多大，也不可能找到一種編碼，使得平均誤碼率Pemin達(dá)到任意小。證明：反證法第21頁(yè)，共23頁(yè)，2023年，2月2