信息論與編碼第五章 有噪信道編碼

1、 無失真信源編碼（無噪離散信道編碼）的抗干擾能力很脆弱，如把信源編碼器的輸出直接接入信道，必然會因干擾造成錯誤，使通信不可靠，為了使通信既有效，又可靠，可在以縮短平均碼長、提高通信有效性為主要目標的信源編碼器的輸出與信道的輸入之間，對信源編碼器輸出的最佳碼再進行一次編碼，以提高其抗干擾能力，稱為信道編碼。第五章 有噪信道編碼5.1 譯碼規(guī)則和平均錯誤概率 信源符號編碼后經信道傳輸到達信道的輸出端并不表示通信過程的終結，還要經過一個譯碼過程，或稱判決過程，才能到達消息的終端（信宿），因此，采用什么樣的譯碼規(guī)則，對通信系統(tǒng)的可靠性影響很大。錯誤概率不僅與信道的統(tǒng)計特性有關也與譯碼的規(guī)則有關。 一、

2、譯碼規(guī)則 對于每一個輸出符號確定一個唯一的輸入符號與其對應（單值函數），即： 輸出集上中有S種不同的符號，所以一個譯碼規(guī)則由q個譯碼函數值組成（一組），又因S個輸出符號中的每一個都可以譯成q個輸入符號中的任何一個，所以其有qs種不同的譯碼規(guī)則可供選擇，（從q個符號中每次取s個任意次序排列（可重復）。 q=2,s=2時：二、平均錯誤概率 表示經譯碼后平均接收到一個符號所產生的錯誤大小。希望PE越小越好。5.2 最大后驗概率譯碼準則如何選擇譯碼規(guī)則 ，使 最小？ 式右邊每一項都為最小， 肯定最小。 選擇譯碼規(guī)則 使每一單個符號正確譯碼概率 為最大即可。 即：選擇譯碼函數 并使之滿足條件 對所有的

3、， 這個選擇譯碼規(guī)則的原則就稱為“最大后驗概率譯碼準則”。 由于該準則把每一個輸出符號都譯成具有最大后驗概率的那個輸入符號，從而保證了 逐列進行處理 準則告訴我們，要使平均錯誤譯碼概率 達到最小值，必須采用最大后驗概率準則，而 即信源、信道特性都有關。如給定其中一種，就要變化另一種使 本身再減小，都給定則 定。 6.3 最大似然譯碼準則 如輸入符號等概分布，有： 選擇譯碼規(guī)則 稱為最大似然譯碼準則，這樣就不必把給定信道的前向概率換算成后驗概率，再比較后驗概率的大小來選擇譯碼規(guī)則了。 5.4 費諾不等式證明：如 ，則平均錯誤概率：左：右：應用不等式 第一項即 第二項 即即： 證畢不論采用什么譯碼

4、規(guī)則，Fano不等式普遍成立。 收到隨機變量Y后關于隨機變量X的仍然存在的平均不確定性 由兩部分組成，第一部分是收到Y后是否產生其值為PE的平均錯誤，譯碼概率的平均不確定性 ； 第二部分是產生值為PE的平均錯誤譯碼概率后，到底是哪個輸入符號發(fā)送而造成的錯誤譯碼的不確定性，這個不確定性的最大值是 ，這是因為選 ，當收到任何一種 ，譯成 ，只有當正好輸入 時，才是正確譯碼，其它 個輸入符號均為錯誤，而這 個其它輸入符號出現的最大平均不確定性是（等概）。6.5 平均錯誤概率與編碼方法 一般不等于0，靠選擇譯碼規(guī)則的潛力已挖盡，需通過編碼降低 本身的值。 重復編碼： 假定單符號信道輸入符號數為M，輸入

5、等概時，每個符號攜帶的最大平均信息量是logM,n次重復編碼后每個碼符號攜帶的平均信息量下降為： 比特/碼符號。 ：研究通信的目的是希望通信既有效，又可靠，但這是一個矛盾，希望找到一種更好的編碼方法，使 最小錯誤概率相當小，而R卻保持在一定的水平上。 分析一下幾種情況：1、輸入端只有2個消息（符號）且等概出現，則每個消息攜帶的信息量是 。2、簡單重復三次后，（三次無記憶擴展信道），入端有 個二進序列，但只選其中兩個作為消息，M2，每個消息攜帶的信息量仍為 ，但用三個符號, 符號。 3、如將入端8個序列作為8條消息，則每條消息的平均信息量 ，但輸入與輸出需一一對應，不能有一個符號發(fā)生錯誤，否則出

6、錯，正確傳遞概率為 ，于是： 錯誤： ，比單信道 大了3倍。4、取 ： 000 011 101 110 按最大似然譯碼規(guī)則， 。結論：錯誤概率與編碼方法有很大關系，我們可以在保持消息數M和代表消息的碼字長度不變的前提下，以在 個可能作為消息的長度為N的碼字中，選擇M個合適的碼字作為消息的代表，既能使信道的信息傳輸率R保持在 的水平上，又有可能使最小平均錯誤概率 有所減小，這就給我們展現了使通信既有效，又可靠的前景。5.6 Hamming距離與編碼原則 設 和 是兩個由碼符號 組成的長度為N的碼符號序列，在 和 之間對應位置上碼元不同的個數，定義為 和 間的漢明距離，記為: 再定義，由0，1構成

7、的二進制碼C中，任意兩個碼字的漢明距離的最小值稱為該碼C的最小距離，即：在消息等概的條件下，采用最大似然準則選擇譯碼規(guī)則，能使 最小，我們試著把漢明距離與最大似然譯碼準則聯系起來，看看能導出什么樣的結果。 最大似然準則為：如 則選擇最大似然準則可用漢明距離表述為： 可表示為： 選或曰： 選 結論：消息數M和碼字長度N不變，使信道的信息傳輸率R保持在 /碼符號）的水平上，同時又使平均錯誤譯碼概率 盡可能小，這個希望是有可能達到的，在個序列中挑選M個許用碼字代表M個消息，使M個許用碼字中任何兩個碼字間的最小漢距離 盡量的大。5.7 有噪離散信道編碼定理定理5.1 設某信道有r個輸入符號，s個輸出符號，信道容量為c，當信道的信息傳輸率 時，只要碼長n足夠長，總可以在輸入的集合中找到 為任意小的正數）個碼字，分別代表M個等可能的消