信息論-離散信道及其信道容量課件

1、信源編碼器信道譯碼器信宿信息傳輸系統(tǒng)示意圖信道是重要的信息傳輸通道。研究信道就是研究它能夠傳輸?shù)淖畲笮畔⒘俊ｋx散信道及其信道容量信道的數(shù)學模型及分類平均互信息*與平均條件互信息信道容量*及其一般計算方法獨立并聯(lián)信道及其信道容量信源與信道的匹配1. 信道的數(shù)學模型及分類信道的分類用戶數(shù)兩端（單用戶）信道多端（多用戶）信道輸入與輸出的關系無反饋信道有反饋信道與時間的關系固定參數(shù)信道時變參數(shù)信道輸入、輸出信號的特點離散信道、連續(xù)信道、半離散或半連續(xù)信道、波形信道離散信道的數(shù)學模型信道三種信道：1. 無干擾（無噪）信道2. 有干擾無記憶信道3. 有干擾有記憶信道無記憶信道的充要條件單符號離散信道的數(shù)學

2、模型信道的傳遞概率（轉移概率）且滿足二元對稱信道(BSC)用矩陣來表示且滿足離散信道傳遞矩陣接收到輸出符號后，輸入符號的平均不確定性為信道疑義度2. 平均互信息及平均條件互信息平均互信息對于單個事件互信息與輸入、輸出信號熵的關系維拉圖損失熵噪聲熵平均條件互信息信道1信道2已知z的條件下，接收到y(tǒng)后獲得關于x的條件互信息已知y,z的條件下，總共獲得關于x的互信息同樣求統(tǒng)計平均，可得例題四個等概率分布的消息 被送入一個二元無記憶對稱信道進行傳送。通過編碼使 而BSC信道如圖所示。試問輸入是 和輸出第一個符號是0的互信息是多少？如果知道第二個符號也是0，這時帶來多少附加信息量？輸入是 和輸出符號是0

3、的互信息所以比特第二個符號是0帶來的附加信息量是而因為信道是無記憶信道所以比特例題設信源通過一干擾信道，接收符號為信道傳遞概率如圖所示，求信源 中事件 和 分別含有的自信息。2）收到消息 后，獲得的關于 的信息量。3）信源 和 信源 的信息熵。4）信道疑義度 和噪聲熵 。5）收到信息 后獲得的平均互信息。1) 事件 含有的自信息比特事件 含有的自信息比特2) 互信息公式 所以可得則比特比特比特比特3 信源 與 的信息熵比特/符號比特/符號4 信道疑義度而可得比特/符號比特/符號噪聲熵5 收到信息 后獲得的平均互信息比特/符號平均互信息的特性1 平均互信息的非負性2 平均互信息的極值性3 平均互

4、信息的交互性（對稱性）4 平均互信息的凸狀性a.平均互信息是輸入信源的概率分布的 型凸函數(shù)b.平均互信息是信道傳遞概率分布的 型凸函數(shù)3.3 信道容量及其計算方法信道容量就是信道的最大信息傳輸率（平均每個符號所能傳送的信息量）物理意義：信道傳輸?shù)淖畲笮畔⒘浚慌c信道的統(tǒng)計特性有關。對應的輸入概率分布稱為最佳輸入分布。離散無噪、無損信道的的信道容量對于無噪無損信道互信息信道容量對于有噪無損信道信道容量對于無噪有損信道信道容量互信息互信息損失熵噪聲熵對稱離散信道的信道容量對稱離散信道：信道矩陣中每一行都是由同一 集的諸元素的不同排列組成，并且每一列也都是由 集的諸元素不同排列組成，即信道矩陣中每一

5、行是另一行的置換，以及每一列是另一列的置換。信道容量對于對稱離散信道，當輸入符號 達到等概率分布時，則輸出符號 也一定是等概率分布，所以例題某對稱離散信道的信道矩陣為其信道容量為比特/符號準對稱信道的信道容量若信道矩陣 的列可以劃分成若干個互不相交的子集 ，即由 為列組成的矩陣 是對稱矩陣，則稱信道矩陣 所對應的信道為準對稱信道。信道容量其中為子矩陣的個數(shù)例題設信道傳遞矩陣為可計算得信道容量為一般離散信道的信道容量一般離散信道的平均互信息 達到極大值（即等于信道容量）的充要條件是輸入概率分布 滿足對所有 其對所有 其就是所求的信道容量。其中設離散信道如圖所示。輸入符號集為 。輸出符號集為 。信道矩陣為試求信道的信道容量。例題假設輸入概率分布為因此信道容量比特/符號離散無記憶擴展信道及其信道容量對于離散無記憶信道，輸入符號集輸出符號集信道矩陣為則此信道的離散無記憶擴展信道可以表示為滿足所以離散無記憶擴展信道的信道容量當信源也是無記憶時信道1信道2信道3N個獨立并聯(lián)信道的聯(lián)合概率聯(lián)合平均互信息信道容量獨立并聯(lián)信道及其信道容量串聯(lián)信道的互信息和數(shù)據(jù)處理定理信道1信道2對于串聯(lián)信道，每一級輸出矢量只取決于它的輸入，而與更前面的輸入無關，則有串聯(lián)信道的信道容量為信源與信道的匹配信道剩余度信道相對剩余度小結信道的分