互信息和平均互信息數(shù)學(xué)模型和應(yīng)用

1、互信息和平均互信息數(shù)學(xué)模型和應(yīng)用2單符號離散信道的數(shù)學(xué)模型信源X信宿YCNX的數(shù)學(xué)模型為34.1 互信息和平均互信息單符號離散信道的數(shù)學(xué)模型信宿Y的數(shù)學(xué)模型為 44.1 互信息和平均互信息單符號離散信道的數(shù)學(xué)模型信道模型的表示方法公式法圖示法矩陣法54.1 互信息和平均互信息 互信息量及其性質(zhì)根據(jù)前面的信道的數(shù)學(xué)模型：如果信道是理想的，發(fā)出ai收到ai則所獲得的信息量 ai的不確定度I(ai)；如果信道不理想，發(fā)出ai收到bj,由bj推測ai的概率，一、定義1：我們將從bj中獲取有關(guān)ai的信息量稱為互信息量64.1.2 互信息量及其性質(zhì)一、互信息量的定義 繼續(xù)討論第二章的例題，即某地二月份天氣

2、構(gòu)成的信源為 “今天不是晴天”作為收到的信息b1，計算b1與各天氣之間的互信息量。74.1.2 互信息量及其性質(zhì)一、互信息量的定義2將互信息表達(dá)式展開得：同樣道理，我們可以定義ai對bj 的互信息量為8通信前先驗不定度（聯(lián)合自信息量） 發(fā)送接收4.1.2 互信息量及其性質(zhì)一、互信息量的定義39后驗不定度 一、互信息量的定義3發(fā)送接收4.1.2 互信息量及其性質(zhì)通信后10 這樣，通信后流經(jīng)信道的信息量，等于通信前后不定度的差4.1.2 互信息量及其性質(zhì)一、互信息量的定義3114.1.2 互信息量及其性質(zhì)二、互信息量的性質(zhì)對稱性 當(dāng)X和Y相互獨立時，互信息為0 12124.1.2 互信息量及其性質(zhì)

3、二、互信息量的性質(zhì)互信息量可為正值或負(fù)值 3互信息量為正， bj使ai的不確定度減小，上例中，“今天不是晴天”為0，二者相互獨立，“今天我很高興”為負(fù)， bj沒有使ai的不確定度減小，“今天有風(fēng)”。134.1.3 平均互信息量及其性質(zhì)一、信道疑義度研究信源中各個消息之間的關(guān)系144.1.2 互信息量及其性質(zhì)一、信道疑義度損失熵信道疑義度：含義：收到Y(jié)后關(guān)于X尚存的平均不確定性。性質(zhì)：equivocation154.1.2 互信息量及其性質(zhì)二、平均互信息量的定義平均互信息互信息量在聯(lián)合概率空間P(XY)統(tǒng)計平均。平均交互信息量；交互熵164.1.2 互信息量及其性質(zhì)二、平均互信息量的定義計算時可

4、用公式：174.1.2 互信息量及其性質(zhì)二、平均互信息量的定義平均交互信息量與幾個測度函數(shù)辨析 和 和相同點：統(tǒng)計平均不同點：提供與獲得184.1.2 互信息量及其性質(zhì)三、條件互信息和平均條件互信息給定X、Y、Z三個離散概論空間，其連接關(guān)系為： 系統(tǒng)1系統(tǒng)2系統(tǒng)1XXYYZZ(a)(b)194.1.2 互信息量及其性質(zhì)練習(xí)： 有兩個硬幣，一個正常硬幣（一面是國徽，一面是面值），另一個是不正常的硬幣（兩面都是面值）?，F(xiàn)隨機(jī)抽取一次硬幣，拋擲兩次。問出現(xiàn)面值的次數(shù)對于硬幣的 識別能提供多少信息量？ 204.1.2 互信息量及其性質(zhì)四、平均互信息量的性質(zhì)非負(fù)性說明：信道每傳遞一條消息，總能提供一定的

5、信息量。注： 可正可負(fù)10,正常通信=0,通信中斷=0,如何證明？ 2、C=logn n為輸入的符號數(shù) 3、C=logm m為輸出的符號數(shù) 46幾種特殊離散信道的容量一、離散無噪信道1、一一對應(yīng)的無噪信道an bna1 b1a2 b247a1 b1a2 b2an-1 bn-1an bnX、Y一一對應(yīng),此時H(X/Y)=0，H(Y/X)=0，CmaxI(X;Y)log n (p(ai)=1/n即等概)p(ai)一一對應(yīng)的無噪信道48a1 b1 b2 b32、具有擴(kuò)展功能的無噪信道a2 b4 b5 b6a3 b7 b8 49此時，H(X/Y)=0，H(Y/X) 0，且 H(X) H(Y)。所以，C

6、 = max H(X) = log n (p(ai)=1/n即等概) p(ai)一個輸入對應(yīng)多個輸出2、具有擴(kuò)展功能的無噪信道503、具有歸并性的無噪信道a1 b1a2 a3 b2a4a5 b3C = max H(Y) = log m p(ai) =？p(ai)H(X/Y) 0，H(Y/X) = 0多個輸入變成一個輸出51結(jié)論無噪信道的信道容量只取決于信道的輸入符號數(shù)n或輸出符號數(shù)m，與信源無關(guān)。524.2.3 幾種特殊離散信道的信道容量二、對稱信道容量計算1、對稱信道的定義：如果信道轉(zhuǎn)移矩陣滿足下列性質(zhì)： (1) 每行都是第一行的某種置換;(2) 每列都是第一列的某種置換。 則稱該信道為對稱

7、信道。 顯然，對稱信道是輸入對稱的，也是關(guān)于輸出對稱的。 53練習(xí)：判斷下列矩陣表示的信道是否是對稱信道54二、對稱信道容量的計算強對稱信道（均勻）：n X np：總體錯誤概率55二、對稱信道容量的計算2、對稱信道的性質(zhì)：對稱信道滿足下列性質(zhì)： （1）即噪聲熵=矩陣第一行元素組成的熵函數(shù) （2）當(dāng)P(X)（輸入）等概分布，輸出也是等概分布注：這兩個性質(zhì)對后面求信道容量非常重要！56二、對稱信道容量的計算3、對稱信道的信道容量：由于對稱信道滿足：綜合起來可以得出對稱信道的信道容量為對稱信道關(guān)于輸出也是對稱的，當(dāng)信道輸入是等概率分布時，信道輸出也是等概率分布，H(Y)取得最大值57典型例子均勻信道

8、信道容量計算解 顯然該信道是對稱的，信道容量為上述信道稱為強對稱信道或者均勻信道，是對稱信道的一個特例。 一般信道轉(zhuǎn)移矩陣中，列元素之和并不等于1，而該信道轉(zhuǎn)移矩陣的各列元素之和都等于1。 其中，p為總的錯誤傳輸概率。特別地，當(dāng)r=2時，信道容量為C=1H(p) 58幾種對稱信道之間的關(guān)系輸入對稱對稱信道均勻信道二元均勻59二、對稱信道容量的計算4、準(zhǔn)對稱信道的信道容量：二元對稱純刪除信道該信道轉(zhuǎn)移矩陣為 ，該信道即二元純對稱刪除信道，如圖所示， 其信道容量為比特/符號60二、對稱信道容量的計算如果信道轉(zhuǎn)移矩陣按列可以劃分為幾個互不相交的對稱信道的子集，則稱該信道為準(zhǔn)對稱信道。 顯然，準(zhǔn)對稱信

9、道是輸入對稱的。4、準(zhǔn)對稱信道的信道容量：準(zhǔn)對稱信道可以分解為若干個對稱信道之和，所以對于準(zhǔn)對稱信道，信道輸入的最佳分布是等概率分布，而信道容量為其中，q1，q2，qm為準(zhǔn)對稱信道轉(zhuǎn)移矩陣中的一行元素，s為劃分的子集數(shù)量，Nk為第k個子矩陣的行元素之和，Mk為第k個子矩陣的列元素之和。61例題信道轉(zhuǎn)移矩陣為求信道容量C。 解 通過觀測可知，該信道是準(zhǔn)對稱信道，可以分解為三個互不相交的子集，分別為62例題對應(yīng)的參數(shù)分別為所以信道容量為比特/符號 63練習(xí)題：有噪聲的打字機(jī)信道考慮有26個鍵的打字機(jī)1）如果每敲擊一個鍵，它就準(zhǔn)確輸出成相應(yīng)的字符，那么該容量C為多少？2）如果假設(shè)敲擊一個鍵都會導(dǎo)致輸

10、出該鍵對應(yīng)的字母或者下一個字母等概論出現(xiàn)，即敲A可能輸出A或者B，敲Z可能輸出Z或者A，那么此時的容量如何？64復(fù)習(xí)數(shù)學(xué)知識65離散信道容量的一般計算法信道容量的求解為一個多元函數(shù)求約束極值的問題。信道轉(zhuǎn)移矩陣為例：求信道輸入最佳分布和信道容量C。 解 觀察信道轉(zhuǎn)移矩陣可知，該信道不是對稱的，信道的輸入、 輸出符號數(shù)量都為2，假設(shè)信道輸入符號的概率分別為p，1p，可以得到平均互信息量。 根據(jù)假設(shè)的信道輸入的概率分布，求出信道輸出概率分布p(bj)：p(b1p+0.2(1pp p(b2p+0.8(1pp66離散信道容量的一般計算法輸入、 輸出之間的平均互信息量為：將相關(guān)參數(shù)代入上述計算公式，得到

11、：67離散信道容量的一般計算法對I(X;Y)求導(dǎo)，得到最佳分布得到，p，所以信道容量為C=maxI(X;Y)=0.415 比特/符號從該例可以看出，即使是簡單的非對稱二元信道，其最佳分布的求解也十分復(fù)雜，所以一般離散信道的信道容量的求解通過計算機(jī)進(jìn)行。 下面討論一般離散信道的解法。 68離散信道容量的一般計算法 平均互信息量I(X;Y)是輸入概率分布p(ai)的凸函數(shù)，所以極大值是一定存在的。 假設(shè)信道輸入的符號數(shù)量為n，那么I(X;Y)應(yīng)當(dāng)是r個隨機(jī)變量(p1，p2，pn) 的函數(shù)，而且滿足約束條件，該多元函數(shù)的條件極值可以利用拉格朗日乘法求出。 (1) 首先引入函數(shù)其中，為拉格朗日乘子。

12、69離散信道容量的一般計算法(2) 對信道輸入概率p(ai)求導(dǎo)數(shù)，并令其為0。解方程組可以求出最佳概率分布和。(3) 將最佳分布代入I(X;Y)，即可求出信道容量C。而p(bj)可以表示為70離散信道容量的一般計算法故關(guān)鍵是求第一項我們將這項展開看看哪部分和求偏導(dǎo)有關(guān)71離散信道容量的一般計算法72離散信道容量的一般計算法第二塊分步求（1）將 看作常數(shù)，對前面的求偏導(dǎo)（2）將 看作常數(shù)，對 求偏導(dǎo) 73離散信道容量的一般計算法帶入合并得：給定 后驗概率為1故74離散信道容量的一般計算法結(jié)論75離散信道容量的一般計算法假設(shè)信道輸入的最佳分布為(p1，p2，pn)，將方程組的兩邊同時乘以各自的概

13、率p(ai)，并且兩邊同時對i求和，從而得到信道容量為C=+loge仍然為待定的系數(shù)，但我們找到一些規(guī)律將 來分析其中76離散信道容量的一般計算法加上前面一個加權(quán)規(guī)律：信源處于最佳分布時，由輸出端觀察，每一個符號的信息量都是一樣的。77離散信道容量的一般計算法定理 設(shè)有一般離散信道，它有n個輸入符號，m個輸出符號，其平均互信息I(X;Y)達(dá)到極大值(即等于信道容量)的充要條件是輸入概率分布p(ai)滿足(其中i=1，2，n)對所有p(ai)0的ai 對所有p(ai)=0的ai常數(shù)C就是所求的信道容量。 78離散信道容量的一般計算法求該信道的容量C和信道輸入的最佳概率分布。 解 該信道不是對稱信道，所以不能直接使用對稱信道計算其信道容量。 但是通過觀察發(fā)現(xiàn)，如果信道輸入符號的概率p(a2)=0，該信道就是一個二元純對稱刪除信道。 這樣就可以假設(shè)p(a2)=0，p(a1)=p(a3)=1/2，然后檢查是否滿足上述定理條件，如果滿足就可以計算出信道容量。 例79離散信道容量的一般計算法首先根據(jù)假設(shè)求出相應(yīng)的p(bj)然后計算互信息量I(ai;Y)