近代信息論第四章

1、近代信息論第四章第1頁，共23頁，2022年，5月20日，18點47分，星期三主要內(nèi)容第三節(jié)：編碼方法與平均錯譯概率第四節(jié)： 漢明距離與編碼原則第五節(jié)：離散信道編碼定理第2頁，共23頁，2022年，5月20日，18點47分，星期三第三節(jié)：編碼方法與平均錯譯概率recall0011輸入分布一定,給定信道,可選擇最大后驗概率準則使得誤碼率最小0.990.99譯碼準則： F(0)=0; F(1)=1Pe=0.01 僅靠譯碼規(guī)則，一般Pe不能滿足要求一般通信要求solutionPe與信道及譯碼準則有關，譯碼準則潛力已挖盡，考慮通過編碼來改變信道特性。第3頁，共23頁，2022年，5月20日，18點47

2、分，星期三例：對于X:0 1 二元信源 ,編碼：1111 0000 00110.990.99設等概輸入，采用最大似然準則，即挑選每列中最大者來譯碼。譯碼規(guī)則：使：結(jié)論：可通過編碼來改變信道特征，使得最小誤碼率減小back第4頁，共23頁，2022年，5月20日，18點47分，星期三第四節(jié)： 漢明距離與編碼原則例：顯然，相當于對應位異或后求和第5頁，共23頁，2022年，5月20日，18點47分，星期三漢明距離與最大似然準則的關系0011正確傳遞的概率錯誤傳遞的概率第6頁，共23頁，2022年，5月20日，18點47分，星期三另一方面依據(jù)最大似然準則，漢明距離最大似然準則可表示為0p0.5第7頁

3、，共23頁，2022年，5月20日，18點47分，星期三最大似然準則可表示為：當即：漢明距離與最大似然準則的關系時，有計算該準則下的誤碼率：or第8頁，共23頁，2022年，5月20日，18點47分，星期三編碼原則在M個消息，碼長N不變的前提下，在 個可能碼符號序列中，選M個作為碼字，不同的選法，有不同的 ，即不同的最小誤碼率。問題：如何選碼，使得最小誤碼率最小。第9頁，共23頁，2022年，5月20日，18點47分，星期三在 個可用碼符號序列中，選擇M個碼字，使得這M個碼字中任兩個不同碼字間的距離盡量大。編碼原則即：例：back第10頁，共23頁，2022年，5月20日，18點47分，星期三

4、第五節(jié)：離散信道編碼定理Shannon第二定理定理表述：證明設某信道有r個輸入符號，s個輸出符號，信道容量C，當信道的信息傳輸率（碼率）RC時，只要碼長N足夠長，總可在輸入的集合中（含有 個長為N的碼符號序列）找到 個碼字，分別代表M個等可能性的消息，組成一個碼以及相應的譯碼規(guī)則，使信道輸出的平均誤碼率Pemin達到任意小。第11頁，共23頁，2022年，5月20日，18點47分，星期三證明設單符號錯誤概率p(1|0)=p(0|1)=p(1)(2)示意圖第12頁，共23頁，2022年，5月20日，18點47分，星期三示意圖第13頁，共23頁，2022年，5月20日，18點47分，星期三譯碼方法

5、出錯的原因于是， 第14頁，共23頁，2022年，5月20日，18點47分，星期三(3)由概率論及大數(shù)定理可遞推法證明因此：第15頁，共23頁，2022年，5月20日，18點47分，星期三(4)隨機編碼例：N=2, M=2,如果按隨機編碼，Pe需對所有 種碼取平均，方可得平均Pe第16頁，共23頁，2022年，5月20日，18點47分，星期三其中：(5)其中：第17頁，共23頁，2022年，5月20日，18點47分，星期三(6)二進對稱信道：C=1-H(P)第18頁，共23頁，2022年，5月20日，18點47分，星期三(7)第19頁，共23頁，2022年，5月20日，18點47分，星期三(8)這時，以上為Shannon Theorem 2 的證明思路第20頁，共23頁，2022年，5月20日，18點47分，星期三離散信道編碼逆定理設某信道有r個輸入符號，s個輸出符號，信道容量C，若選用碼字個數(shù) 則，無論N多大，也不可能找到一種編碼，使得平均誤碼率Pemin達到任意小。證明：反證法第21頁，共23頁，2022年，5月20日，18點47分，星期三(2)代