陳運 信息論與編碼 第三章 信道容量

1、第1章：概述第2章：信源熵第3章：信道容量第4章：信息率失真函數(shù)第5章：信源編碼第6章：信道編碼第7章：密碼體制的安全性測度3.1 信道容量的數(shù)學模型和分類3.2 單符號離散信源3.3 多符號離散信源3.4 多用戶信道3.5 信道編碼定理3.1 信道的數(shù)學模型和分類P(Y/X)xY信道的數(shù)學模型：X P(Y/X) Y信道的分類無干擾信道有干擾信道信道的分類有記憶信道無記憶信道信道的分類單符號 信道多符號信道信道的分類單用戶信道多用戶信道信道的分類連續(xù)信道半離散信道離散信道3.1 信道的數(shù)學模型和分類3.2 單符號離散信道3.3 多符號離散信道3.4 多用戶信道3.5 信道編碼定理3.2 單符號

2、離散信道的信道容量3.2.1 信道容量的定義3.2.2 幾種特殊離散信道的容量3.2 .3 離散信道容量的一般計算方法3.2.1 信道容量的定義p(yi/xi)xYi=1,2,n信道轉(zhuǎn)移概率矩陣：（見下頁）信道容量3.2 單符號離散信道的信道容量3.2.1 信道容量的定義3.2.2 幾種特殊離散信道的容量3.2 .3 離散信道容量的一般計算方法3.2.2 幾種特殊離散信道的容量一、離散無噪信道1、一一對應(yīng)的無噪信道an bna1 b1a2 b2a1 b1a2 b2an-1 bn-1an bnX、Y一一對應(yīng)CmaxI(X;Y)log np(ai)a1 b1 b2 b32、具有擴展功能的無噪信道a

3、2 b4 b5 b6a3 b7 b8 此時，H(X/Y)=0，H(Y/X) 0，且 H(X) H(Y)。此時，C = max H(X) = log n p(ai)一個輸入對應(yīng)多個輸出3、具有歸并性的無噪信道x1 y1x2 x3 y2x4x5 y3C = max H(Y) = log mp(ai)H(X/Y) 0，H(Y/X) = 0多個輸入變成一個輸出二、強對稱(均勻)離散信道的信道容量P：總體錯誤概率n X n相應(yīng)的二進制均勻信道容量 C1H(p),其中 H(p)=-(1-p)log(1-p)+plogp)二進制均勻信道容量曲線三、對稱離散信道的信道容量矩陣中的每行都 是集合P = p1,

4、p2, , pn中的諸元素的不同排列，稱矩陣的行是可排列的。矩陣中的每列都是集合Q = q1, q2, ,qm中的諸元素的不同排列，稱矩陣的列是可排列的。如果矩陣的行和列都是可排列的，稱矩陣是可排列的。如果一個信道矩陣具有可排列性，則它所表示的信道稱為對稱信道中，當nm，Q是P的子集；當n=m時，P=Q。對稱信道練習：判斷下列矩陣表示的信道是否是對 稱信道相應(yīng)的對稱離散信道的信道容量強對稱信道與對稱信道比較： 強對稱 對稱 n=m n與m未必相等 矩陣對稱 矩陣未必對稱 P=Q P與Q未必相等行之和，列之和均為1行之和為1四、準對稱信道離散信道的信道容量若信道矩陣的行是可排列的，但列不可排列，

5、如果把列分成若干個不相交的子集，且由n行和各子集的諸列構(gòu)成的各個子矩陣都是可排列的，則稱相應(yīng)的信道為準對稱信道。例如下面的矩陣：假設(shè)此時將矩陣的列分為S個子集，每個子集的元素個數(shù)分別是m1，m2，ms。3.2 單符號離散信道3.2.1 信道容量的定義3.2.2 幾種特殊離散信道的容量 3.2.3 離散信道容量的一般計算方法3.2.3 離散信道容量的一般計算方法 對一般離散信道而言，求信道容量，就是在固定信道的條件下，對所有可能的輸入概率分布p(xi)，求平均互信息的極大值。采用拉各朗日乘子法來計算。(1)兩邊乘p(ai)，并求和，則有：(2)將（2）代入（1），則有：（3）（4）則（3）變?yōu)椋?/p>

6、（5） （6）（7）總結(jié)C的求法，過程如下：（8）（9）例：信道矩陣如下，求C。12343.1 信道的數(shù)學模型和分類3.2 單符號離散信道3.3 多符號離散信道3.4 多用戶信道3.5 信道編碼定理3.3 多符號離散信道3.3.1 多符號離散信道的數(shù)學模型3.3.2 離散無記憶信道的N次擴展信道和獨立并聯(lián)信道的信道容量多符號離散信道 多符號信源通過離散信道傳輸形成多符號離散信道。3.3.1 多符號離散信道的數(shù)學模型輸入輸出3.3 多符號離散信道3.3.1 多符號離散信道的數(shù)學模型3.3.2 離散無記憶信道的N次擴展信道和獨立并聯(lián)信道的信道容量3.3.2 離散無記憶信道的N次擴展信道和獨立并聯(lián)信

7、道的信道容量無記憶：YK僅與XK有關(guān)1YNY(a)=-=-=NKKKNKKNKKNNKKKNNKKKXYHYHYXIYHYYYHXYHYYYHXYHYHYXI111211211 )/()();()().()/().()/()();(rrrrr3.1 信道的數(shù)學模型和分類3.2 單符號離散信道3.3 多符號離散信道3.4 多用戶信道3.5 信道編碼定理3.4 多用戶信道3.4.1 多址接入信道3.4.2 廣播信道3.4 .3 相關(guān)信源的多用戶信道3.4.1 多址接入信道多入單出信道信源1信源2編碼器1編碼器2信道譯碼二址接入信道模型R2 C20 C1 C12C1+C2R13.4 多用戶信道3.4

8、.1 多址接入信道3.4.2 廣播信道3.4 .3 相關(guān)信源的多用戶信道3.4.2 廣播信道廣播信道具有單個輸入和多個輸出的信道。信源1編碼器信道信源2譯碼器2譯碼器1圖3.4.4 單輸入雙輸出廣播信道模型退化廣播信道（串聯(lián)）編碼器信道1信道2圖3.4.5 退化的廣播信道模型構(gòu)成馬爾可夫鏈不變，保持最大3.4 多用戶信道3.4.1 多址接入信道3.4.2 廣播信道3.4.3 相關(guān)信源的多用戶信道模型13.4.3 相關(guān)信源的多用戶信道信源編碼器1編碼器2信道1信道2譯碼器1譯碼器2相關(guān)信源多用戶信道C2C1E1C1D1x1x2邊信息模型2RE1E2C1C2D1D2x1x2E0C0wW:公信息要求R0盡可能小，并且在W條件下，X1X2無關(guān)3.1 信道的數(shù)學模型和分類3.2 單符號離散信道3.3 多符號離散信道3.4 多用戶信道3.5 連續(xù)信道3.5 連續(xù)信道P(Y/X)連續(xù)信道的數(shù)學模型加性連續(xù)信道NY=X+Np(y/x)=p(n)X 利用坐標變換原理,可證p(y/x)=p(n) X, N相互獨立。假定N是均值為0，方差為的高斯變量噪聲功率輸入平均功率輸出平均功率對于高斯加性信道信噪功率比香農(nóng)公式(bit/s