信息論03課件

信源 編碼器 信道 譯碼器 信宿 信息傳輸系統(tǒng)示意圖 信道是重要的信息傳輸通道 研究信道就是研究它能夠傳輸?shù)淖畲笮畔⒘?離散信道及其信道容量 信道的數(shù)學(xué)模型及分類平均互信息 與平均條件互信息信道容量 及其一般計(jì)算方法獨(dú)立并聯(lián)信道及其信道容量信源與信道的匹配 1 信道的數(shù)學(xué)模型及分類 信道的分類 離散信道的數(shù)學(xué)模型 信道 三種信道 1 無干擾 無噪 信道 2 有干擾無記憶信道 3 有干擾有記憶信道 無記憶信道的充要條件 單符號(hào)離散信道的數(shù)學(xué)模型 信道的傳遞概率 轉(zhuǎn)移概率 且滿足 二元對(duì)稱信道 BSC 用矩陣來表示 且滿足 離散信道傳遞矩陣 接收到輸出符號(hào) 后 輸入符號(hào) 的平均不確定性為 信道疑義度 2 平均互信息及平均條件互信息 平均互信息 對(duì)于單個(gè)事件 互信息與輸入 輸出信號(hào)熵的關(guān)系 維拉圖 損失熵 噪聲熵 平均條件互信息 信道1 信道2 已知z的條件下 接收到y(tǒng)后獲得關(guān)于x的條件互信息 已知y z的條件下 總共獲得關(guān)于x的互信息 同樣 求統(tǒng)計(jì)平均 可得 例題 四個(gè)等概率分布的消息被送入一個(gè)二元無記憶對(duì)稱信道進(jìn)行傳送 通過編碼使而BSC信道如圖所示 試問輸入是和輸出第一個(gè)符號(hào)是0的互信息是多少 如果知道第二個(gè)符號(hào)也是0 這時(shí)帶來多少附加信息量 輸入是和輸出符號(hào)是0的互信息 所以 比特 第二個(gè)符號(hào)是0帶來的附加信息量是 而 因?yàn)樾诺朗菬o記憶信道 所以 比特 例題 設(shè)信源 通過一干擾信道 接收符號(hào)為 信道傳遞概率如圖所示 求 信源中事件和分別含有的自信息 2 收到消息后 獲得的關(guān)于的信息量 3 信源和信源的信息熵 4 信道疑義度和噪聲熵 5 收到信息后獲得的平均互信息 1 事件含有的自信息 比特 事件含有的自信息 比特 2 互信息公式 所以可得 則 比特 比特 比特 比特 3信源與的信息熵 比特 符號(hào) 比特 符號(hào) 4信道疑義度 而 可得 比特 符號(hào) 比特 符號(hào) 噪聲熵 5收到信息后獲得的平均互信息 比特 符號(hào) 平均互信息的特性 1平均互信息的非負(fù)性 2平均互信息的極值性 3平均互信息的交互性 對(duì)稱性 4平均互信息的凸?fàn)钚?a 平均互信息是輸入信源的概率分布的型凸函數(shù) b 平均互信息是信道傳遞概率分布的型凸函數(shù) 3 3信道容量及其計(jì)算方法 信道容量就是信道的最大信息傳輸率 平均每個(gè)符號(hào)所能傳送的信息量 物理意義 信道傳輸?shù)淖畲笮畔⒘?只與信道的統(tǒng)計(jì)特性有關(guān) 對(duì)應(yīng)的輸入概率分布稱為最佳輸入分布 離散無噪 無損信道的的信道容量 對(duì)于無噪無損信道 互信息 信道容量 對(duì)于有噪無損信道 信道容量 對(duì)于無噪有損信道 信道容量 互信息 互信息 損失熵 噪聲熵 對(duì)稱離散信道的信道容量 對(duì)稱離散信道 信道矩陣中每一行都是由同一集的諸元素的不同排列組成 并且每一列也都是由集的諸元素不同排列組成 即信道矩陣中每一行是另一行的置換 以及每一列是另一列的置換 信道容量 對(duì)于對(duì)稱離散信道 當(dāng)輸入符號(hào)達(dá)到等概率分布時(shí) 則輸出符號(hào)也一定是等概率分布 所以 例題 某對(duì)稱離散信道的信道矩陣為 其信道容量為 比特 符號(hào) 準(zhǔn)對(duì)稱信道的信道容量 若信道矩陣的列可以劃分成若干個(gè)互不相交的子集 即 由為列組成的矩陣是對(duì)稱矩陣 則稱信道矩陣所對(duì)應(yīng)的信道為準(zhǔn)對(duì)稱信道 信道容量 其中 為子矩陣的個(gè)數(shù) 例題 設(shè)信道傳遞矩陣為 可計(jì)算得 信道容量為 一般離散信道的信道容量 一般離散信道的平均互信息達(dá)到極大值 即等于信道容量 的充要條件是輸入概率分布滿足 對(duì)所有其 對(duì)所有其 就是所求的信道容量 其中 設(shè)離散信道如圖所示 輸入符號(hào)集為 輸出符號(hào)集為 信道矩陣為 試求信道的信道容量 例題 假設(shè)輸入概率分布為 因此信道容量 比特 符號(hào) 離散無記憶擴(kuò)展信道及其信道容量 對(duì)于離散無記憶信道 輸入符號(hào)集 輸出符號(hào)集 信道矩陣為 則此信道的離散無記憶擴(kuò)展信道可以表示為 滿足 所以 離散無記憶擴(kuò)展信道的信道容量 當(dāng)信源也是無記憶時(shí) 信道1 信道2 信道3 N個(gè)獨(dú)立并聯(lián)信道的聯(lián)合概率 聯(lián)合平均互信息 信道容量 獨(dú)立并聯(lián)信道及其信道容量 串聯(lián)信道的互信息和數(shù)據(jù)處理定理 信道1 信道2 對(duì)于串聯(lián)信道 每一級(jí)輸出矢量只取決于它的輸入 而與更前面的輸入無關(guān) 則有 串聯(lián)信道的信道容量為 信源與信道的匹配 信道剩余度 信道相對(duì)剩余度 小結(jié) 信道的分類 離散信道的數(shù)學(xué)模型