第4章單符號(hào)離散信道

第4章單符號(hào)離散信道離散信道的數(shù)學(xué)模型條件信息量及平均條件信息量其它相關(guān)信息量交互信息量條件交互信息量平均交互信息量平均交互信息量非負(fù)性平均交互信息量的極值性信道容量的一般計(jì)算方法幾種無(wú)噪聲信道的信道容量幾種對(duì)稱信道的信道容量1)轉(zhuǎn)移概率模型信道確定，則轉(zhuǎn)移概率確定。反之，轉(zhuǎn)移概率確定，則信道確定。第1節(jié)離散信道的數(shù)學(xué)模型1、平穩(wěn)無(wú)記憶離散信道的數(shù)學(xué)模型2)轉(zhuǎn)移概率矩陣模型信道確定，則轉(zhuǎn)移概率矩陣確定。反之，轉(zhuǎn)移概率矩陣確定，則信道確定。第1節(jié)離散信道的數(shù)學(xué)模型3)狀態(tài)轉(zhuǎn)移圖模型信道確定，則狀態(tài)轉(zhuǎn)移圖確定。反之，狀態(tài)轉(zhuǎn)移圖確定，則信道確定。第1節(jié)離散信道的數(shù)學(xué)模型例：在通信工程，通常使用二進(jìn)制刪除信道。(輸入符號(hào)集{0,1}，輸出符號(hào)集{0,?,1})1)轉(zhuǎn)移概率模型第1節(jié)離散信道的數(shù)學(xué)模型3)狀態(tài)轉(zhuǎn)移圖模型p1-p1-pp2)轉(zhuǎn)移概率矩陣模型第1節(jié)離散信道的數(shù)學(xué)模型例：在通信工程，通常使用二進(jìn)制對(duì)稱信道。(輸入符號(hào)集{0,1}，輸出符號(hào)集{0,1})1)轉(zhuǎn)移概率模型第1節(jié)離散信道的數(shù)學(xué)模型3)狀態(tài)轉(zhuǎn)移圖模型2)轉(zhuǎn)移概率矩陣模型第1節(jié)離散信道的數(shù)學(xué)模型p1-p1-pp第1節(jié)離散信道的數(shù)學(xué)模型2、平穩(wěn)馬爾可夫信道的數(shù)學(xué)模型平穩(wěn)就是與什么時(shí)候傳輸沒有關(guān)系，無(wú)記憶就是與前面?zhèn)鬏數(shù)姆?hào)沒有關(guān)系。而馬爾可夫信道是有記憶的，只是記憶長(zhǎng)度很短。例如有這樣一個(gè)信道，信源發(fā)送的符號(hào)集{0，1}，010101010101011、幾種概率及其關(guān)系第2節(jié)條件自信量及平均條件自信量信宿符號(hào)的概率分布信源符號(hào)的概率分布，也稱作先驗(yàn)概率信道的轉(zhuǎn)移概率聯(lián)合概率分布后驗(yàn)概率第2節(jié)條件自信量及平均條件自信量第2節(jié)條件自信量及平均條件自信量A已知接收為有yj的條件下，對(duì)發(fā)送為xi的不確定性。2、條件自信量1)、定義2)、物理意義例：某一無(wú)記憶信源的符號(hào)集為{0,1}，已知，。信道轉(zhuǎn)移概率矩陣為第2節(jié)條件自信量及平均條件自信量第2節(jié)條件自信量及平均條件自信量分析：第2節(jié)條件自信量及平均條件自信量第2節(jié)條件自信量及平均條件自信量第2節(jié)條件自信量及平均條件自信量第2節(jié)條件自信量及平均條件自信量第2節(jié)條件自信量及平均條件自信量3、平均條件自信量1)、定義信源平均條件自信量疑義度equivocation信源的條件熵例：P166T1求(1)信源X中的符號(hào)a1和a2分別含有多少信息量通過(guò)一個(gè)信道，信道的輸出隨機(jī)變量Y的符號(hào)集為，信道的矩陣設(shè)信源第2節(jié)條件自信量及平均條件自信量(2)信源X和信宿Y的信息熵第2節(jié)條件自信量及平均條件自信量信道疑義度H(X/Y)和噪聲熵H(Y/X)第2節(jié)條件自信量及平均條件自信量第2節(jié)條件自信量及平均條件自信量第3節(jié)其它相關(guān)信息量第3節(jié)其它相關(guān)信息量第3節(jié)其它相關(guān)信息量第3節(jié)其它相關(guān)信息量1、信源、信道及信宿1)信源2)信道

第4節(jié)平穩(wěn)無(wú)記憶信道的交互信息量3)信宿

第4節(jié)平穩(wěn)無(wú)記憶信道的交互信息量2、交互信息量的定義

第4節(jié)平穩(wěn)無(wú)記憶信道的交互信息量物理意義：接收到y(tǒng)j前后信源發(fā)符號(hào)xi的不確定性的改變

yj中包含的關(guān)于xi的信息量

第4節(jié)平穩(wěn)無(wú)記憶信道的交互信息量4、交互信息量的三種數(shù)學(xué)表述

第4節(jié)平穩(wěn)無(wú)記憶信道的交互信息量5、互信量與條件自信量、自信量的關(guān)系及互信量的意義

第4節(jié)平穩(wěn)無(wú)記憶信道的交互信息量含義：1)從yj中獲取的關(guān)于xi的信息量從xi中獲取的關(guān)于yj的信息量

第4節(jié)平穩(wěn)無(wú)記憶信道的交互信息量

第4節(jié)平穩(wěn)無(wú)記憶信道的交互信息量6、討論:1)如果xi和yj統(tǒng)計(jì)無(wú)關(guān),即P(xi|yj)=P(xi)則有：I(xi;yj)=02)如果xi由yj唯一確定,即P(xi|yj)=1,則有I(xi;yj)=I(xi)3)當(dāng)0P(xi|yj)<P(xi)時(shí),則有I(xi;yj)<04)當(dāng)1P(xi|yj)>P(xi),則有I(xi;yj)>0

第4節(jié)平穩(wěn)無(wú)記憶信道的交互信息量設(shè)信源通過(guò)一個(gè)信道，信道的輸出隨機(jī)變量Y的符號(hào)集為，信道的矩陣求收到消息后獲取關(guān)于a1,a2的交互信息量

第4節(jié)平穩(wěn)無(wú)記憶信道的交互信息量方法一：

第4節(jié)平穩(wěn)無(wú)記憶信道的交互信息量

第4節(jié)平穩(wěn)無(wú)記憶信道的交互信息量

第4節(jié)平穩(wěn)無(wú)記憶信道的交互信息量方法二：

第4節(jié)平穩(wěn)無(wú)記憶信道的交互信息量

第4節(jié)平穩(wěn)無(wú)記憶信道的交互信息量已知從符號(hào)B中獲取關(guān)于符號(hào)A的信息量是1比特，當(dāng)符號(hào)A的先驗(yàn)概率(priorprobability)P(A)為下列各值時(shí)，分別計(jì)算收到B后推測(cè)A的后驗(yàn)概率(posteriorprobability)應(yīng)是多少。

第4節(jié)平穩(wěn)無(wú)記憶信道的交互信息量1、串接信道模型

第5節(jié)條件交互信息量設(shè)信道1的輸入符號(hào)集為輸出符號(hào)集為設(shè)信道2的輸入符號(hào)集為輸出符號(hào)集為信道信道1信道2輸入符號(hào)

第5節(jié)條件交互信息量2、概率關(guān)系1)邊緣分布關(guān)系

第5節(jié)條件交互信息量2)條件概率分布關(guān)系

第5節(jié)條件交互信息量

第5節(jié)條件交互信息量3、條件互信量1)定義

第5節(jié)條件交互信息量

第5節(jié)條件交互信息量2)同理：

第5節(jié)條件交互信息量P？例：已知無(wú)失真信源編碼信源消息、消息編碼及每一消息對(duì)應(yīng)的碼字如下表所示信源消息a1a2a3a4a5a6a7a8碼字000001010011100101110111消息概率1/41/41/81/81/161/161/161/16求接收消息a4的碼字中第一、二、三符號(hào)后分別接收到的信息量

第5節(jié)條件交互信息量

第5節(jié)條件交互信息量1)、從第一個(gè)符號(hào)0中獲取的關(guān)于消息a4的信息量

第5節(jié)條件交互信息量2)、在已知第一個(gè)符號(hào)為0的條件下，從第二個(gè)符號(hào)1中獲取的關(guān)于消息a4的信息量

第5節(jié)條件交互信息量3)、在已知第一個(gè)符號(hào)為0且第二個(gè)符號(hào)為1的條件下，從第三個(gè)符號(hào)1中獲取的關(guān)于消息a4的信息量所以從三個(gè)符號(hào)中得到的關(guān)于a4的信息量的和為：

第5節(jié)條件交互信息量4、條件交互信息量

第5節(jié)條件交互信息量

第5節(jié)條件交互信息量1、定義意義：信道平均每傳遞一個(gè)符號(hào)所傳遞的信息量。單位：比特/傳遞一個(gè)符號(hào)第6節(jié)平均交互信息量2、平均交互信息量的三種表達(dá)形式第6節(jié)平均交互信息量第6節(jié)平均交互信息量第6節(jié)平均交互信息量平均交互信息量信宿平均條件自信量信宿的條件熵反向疑義度噪聲熵信源熵信源平均自信量信宿平均自信量信宿熵后驗(yàn)共熵第6節(jié)平均交互信息量信源信道信源熵H(X)：代表平均每個(gè)信源符號(hào)所攜帶的信息量平均互信量I(X;Y)：代表信道平均每傳輸一個(gè)符號(hào)所傳遞的信息量信源條件熵H(X/Y)：代表信道平均每傳輸一個(gè)符號(hào)所損失的信息量3、意義第6節(jié)平均交互信息量信源信道反向信道信源熵H(Y)：代表平均每個(gè)信源符號(hào)所攜帶的信息量反向信道平均互信量I(X;Y)：代表信道平均每傳輸一個(gè)符號(hào)所傳遞的信息量反向信道信源條件熵H(Y/X)：代表反向信道平均每傳輸一個(gè)符號(hào)所損失的信息量第6節(jié)平均交互信息量1、非負(fù)性證明第7節(jié)平均交互信息量的非負(fù)性第7節(jié)平均交互信息量的非負(fù)性2、I(X;Y)＝0的條件當(dāng)X與Y統(tǒng)計(jì)獨(dú)立時(shí)，I(X;Y)＝0驗(yàn)證：第7節(jié)平均交互信息量的非負(fù)性若：X與Y統(tǒng)計(jì)獨(dú)立，即即則有第7節(jié)平均交互信息量的非負(fù)性第7節(jié)平均交互信息量的非負(fù)性設(shè)信源通過(guò)一個(gè)信道，信道的輸出隨機(jī)變量Y的符號(hào)集為，信道的矩陣(2)收到消息后獲取關(guān)于a1,a2的交互信息量求(1)信源X中的符號(hào)a1和a2分別含有多少信息量第7節(jié)平均交互信息量的非負(fù)性(3)信源X和信宿Y的信息熵(4)信道疑義度H(X/Y)和噪聲熵H(Y/X)(5)接收到消息Y后獲得的平均交互信息量第7節(jié)平均交互信息量的非負(fù)性第7節(jié)平均交互信息量的非負(fù)性第7節(jié)平均交互信息量的非負(fù)性第7節(jié)平均交互信息量的非負(fù)性第7節(jié)平均交互信息量的非負(fù)性第8節(jié)平均交互信息量的極值性第8節(jié)平均交互信息量的極值性第8節(jié)平均交互信息量的極值性第8節(jié)平均交互信息量的極值性如果轉(zhuǎn)移概率矩陣中每一列只有一個(gè)非零元素，疑義度等于0第8節(jié)平均交互信息量的極值性發(fā)散性無(wú)噪聲信道第8節(jié)平均交互信息量的極值性第8節(jié)平均交互信息量的極值性若轉(zhuǎn)移概率矩陣中每行只有一個(gè)非零元素1,則噪聲熵為0第8節(jié)平均交互信息量的極值性歸并性無(wú)噪聲信道第8節(jié)平均交互信息量的極值性一般無(wú)噪聲信道第8節(jié)平均交互信息量的極值性設(shè)輸入符號(hào)集為：X={x1,x2,…xr}

輸出符號(hào)集為：Y={y1,y2,…ys}.

信道轉(zhuǎn)移概率：P(yj|xi).1、基本條件2、平均交互信息量第9節(jié)信道容量及其一般算法說(shuō)明：1)平均交互信息量代表信道平均每傳遞一個(gè)符號(hào)所傳遞的信息量2)平均交互信息量是信源(先驗(yàn)概率)和信道(轉(zhuǎn)移概率)的函數(shù)。如果信道固定，則平均交互信息量由先驗(yàn)概率唯一確定。3、信道容量的定義及物理意義在信道指定的條件下，平均互信量的最大值稱為該信道的容量。記做：第9節(jié)信道容量及其一般算法意義：信道平均每傳遞一個(gè)符號(hào)最多傳遞多少信息量說(shuō)明：滿足信道容量的信源概率分布可能不唯一。其中：4、單位第9節(jié)信道容量及其一般算法5、計(jì)算信道容量的一般方法假設(shè)第9節(jié)信道容量及其一般算法時(shí)信道達(dá)到其容量，則構(gòu)造拉哥朗日函數(shù)：第9節(jié)信道容量及其一般算法第9節(jié)信道容量及其一般算法對(duì)上式進(jìn)一步化簡(jiǎn)需要先求平均互信量對(duì)pi的偏導(dǎo)。在求信道容量時(shí)，信道確定，即轉(zhuǎn)移概率確定，因此將其作為常量。所以因?yàn)榈?節(jié)信道容量及其一般算法第9節(jié)信道容量及其一般算法即第9節(jié)信道容量及其一般算法定義公式化簡(jiǎn)得到比較有用的公式11）在公式1中，轉(zhuǎn)移概率已知，需要求出p1,p2,…,pr和λ共r+1個(gè)量，等式一共有r+1個(gè)。若這些等式相互獨(dú)立，則有唯一的一組解，即只有概率滿足此條件時(shí)平均互信量才達(dá)到最大值。若有部分等式相關(guān)，則有很多組解，此時(shí)說(shuō)明達(dá)到信道容量的信源概率可以有很多種分布。第9節(jié)信道容量及其一般算法說(shuō)明：2）將可行的一組信源概率分布代入到平均互信量公式，即可得到信道容量。3）實(shí)際計(jì)算時(shí)還是比較復(fù)雜，嘗試進(jìn)一步簡(jiǎn)化在公式1中，將前一個(gè)等式的兩邊同時(shí)乘以pi并對(duì)i求和因?yàn)樽笫剑接沂?，所以公?可以表示為：第9節(jié)信道容量及其一般算法等式可化簡(jiǎn)為：第9節(jié)信道容量及其一般算法令：討論：第9節(jié)信道容量及其一般算法如果第一次計(jì)算結(jié)果不滿足，怎么辦？？？？1一般無(wú)噪聲信道第10節(jié)幾種無(wú)噪聲信道的信道容量2發(fā)散性無(wú)噪聲信道信道容量3歸并性無(wú)噪聲信道信道容量第10節(jié)幾種無(wú)噪聲信道的信道容量1、強(qiáng)對(duì)稱信道的信道容量1)強(qiáng)對(duì)稱信道的定義若單符號(hào)離散信道的輸入符號(hào)集為:X={a1,a2,…,ar}，輸出符號(hào)集為:Y={a1,a2,…,ar}。且信道轉(zhuǎn)移概率為第11節(jié)幾種對(duì)稱信道的信道容量信源符號(hào)與信道符號(hào)集相同，發(fā)送符號(hào)與接收符號(hào)相同的概率為1－ε，出錯(cuò)的概率為ε，且各種出錯(cuò)情況的概率同。第11節(jié)幾種對(duì)稱信道的信道容量2)強(qiáng)對(duì)稱信道的噪聲熵第11節(jié)幾種對(duì)稱信道的信道容量第11節(jié)幾種對(duì)稱信道的信道容量3)強(qiáng)對(duì)稱信道