近代信息論第四章

近代信息論第四章第一頁，共二十三頁，編輯于2023年，星期五主要內(nèi)容第三節(jié)：編碼方法與平均錯(cuò)譯概率第四節(jié)：漢明距離與編碼原則第五節(jié)：離散信道編碼定理第二頁，共二十三頁，編輯于2023年，星期五第三節(jié)：編碼方法與平均錯(cuò)譯概率recall0011輸入分布一定,給定信道,可選擇最大后驗(yàn)概率準(zhǔn)則使得誤碼率最小0.990.99譯碼準(zhǔn)則：F(0)=0;F(1)=1Pe=0.01

僅靠譯碼規(guī)則，一般Pe不能滿足要求一般通信要求solutionPe與信道及譯碼準(zhǔn)則有關(guān)，譯碼準(zhǔn)則潛力已挖盡，考慮通過編碼來改變信道特性。第三頁，共二十三頁，編輯于2023年，星期五例：對(duì)于X:{01}二元信源,編碼：1—1110—000

00110.990.99設(shè)等概輸入，采用最大似然準(zhǔn)則，即挑選每列中最大者來譯碼。譯碼規(guī)則：使：結(jié)論：可通過編碼來改變信道特征，使得最小誤碼率減小back第四頁，共二十三頁，編輯于2023年，星期五第四節(jié)：漢明距離與編碼原則例：顯然，相當(dāng)于對(duì)應(yīng)位異或后求和第五頁，共二十三頁，編輯于2023年，星期五漢明距離與最大似然準(zhǔn)則的關(guān)系0011正確傳遞的概率錯(cuò)誤傳遞的概率第六頁，共二十三頁，編輯于2023年，星期五另一方面依據(jù)最大似然準(zhǔn)則，漢明距離最大似然準(zhǔn)則可表示為——0<p<0.5第七頁，共二十三頁，編輯于2023年，星期五最大似然準(zhǔn)則可表示為：當(dāng)即：漢明距離與最大似然準(zhǔn)則的關(guān)系時(shí)，有計(jì)算該準(zhǔn)則下的誤碼率：or第八頁，共二十三頁，編輯于2023年，星期五編碼原則在M個(gè)消息，碼長(zhǎng)N不變的前提下，在個(gè)可能碼符號(hào)序列中，選M個(gè)作為碼字，不同的選法，有不同的，即不同的最小誤碼率。問題：如何選碼，使得最小誤碼率最小。第九頁，共二十三頁，編輯于2023年，星期五在個(gè)可用碼符號(hào)序列中，選擇M個(gè)碼字，使得這M個(gè)碼字中任兩個(gè)不同碼字間的距離盡量大。編碼原則即：例：back第十頁，共二十三頁，編輯于2023年，星期五第五節(jié)：離散信道編碼定理——Shannon第二定理定理表述：證明設(shè)某信道有r個(gè)輸入符號(hào)，s個(gè)輸出符號(hào)，信道容量C，當(dāng)信道的信息傳輸率（碼率）R<C時(shí)，只要碼長(zhǎng)N足夠長(zhǎng)，總可在輸入的集合中（含有個(gè)長(zhǎng)為N的碼符號(hào)序列）找到個(gè)碼字，分別代表M個(gè)等可能性的消息，組成一個(gè)碼以及相應(yīng)的譯碼規(guī)則，使信道輸出的平均誤碼率Pemin達(dá)到任意小。第十一頁，共二十三頁，編輯于2023年，星期五證明設(shè)單符號(hào)錯(cuò)誤概率p(1|0)=p(0|1)=p(1)(2)示意圖第十二頁，共二十三頁，編輯于2023年，星期五示意圖第十三頁，共二十三頁，編輯于2023年，星期五譯碼方法出錯(cuò)的原因于是，第十四頁，共二十三頁，編輯于2023年，星期五(3)由概率論及大數(shù)定理可遞推法證明因此：第十五頁，共二十三頁，編輯于2023年，星期五(4)隨機(jī)編碼例：N=2,M=2,如果按隨機(jī)編碼，Pe需對(duì)所有種碼取平均，方可得平均Pe第十六頁，共二十三頁，編輯于2023年，星期五其中：(5)其中：第十七頁，共二十三頁，編輯于2023年，星期五(6)二進(jìn)對(duì)稱信道：C=1-H(P)第十八頁，共二十三頁，編輯于2023年，星期五(7)第十九頁，共二十三頁，編輯于2023年，星期五(8)這時(shí)，以上為ShannonTheorem2的證明思路第二十頁，共二十三頁，編輯于2023年，星期五離散信道編碼逆定理設(shè)某信道有r個(gè)輸入符號(hào)，s個(gè)輸出符號(hào)，信道容量C，若選用碼字個(gè)數(shù)則，無論N多大，也不可能找到一種編碼，使得平均誤碼率Pemin達(dá)到任意小。證明：反證法第二十一頁，共二十三頁，編輯于202