信息論與編碼基礎教學

信息論與編碼基礎離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理信道模型信道疑義度平均互信息及其性質(zhì)信息論與編碼基礎離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理信道模型信道疑義度平均互信息及其性質(zhì)信息論與編碼基礎離散信道根據(jù)輸入、輸出信號的時間特性和取值特性離散信道連續(xù)信道半離散或半連續(xù)信道波形信道信道的分類數(shù)字信道根據(jù)信道的用戶多少單用戶信道多用戶信道一對多、多對一多對多信息論與編碼基礎離散信道根據(jù)信道轉移概率的性質(zhì)無擾信道有擾信道實際的通信信道幾乎都是有擾信道無記憶信道有記憶信道實際信道一般都是有記憶的，信道中的記憶現(xiàn)象來源于物理信道中的慣性，如電纜信道中的電感或電容、無線信道中電波傳播的衰落現(xiàn)象等。按信道統(tǒng)計特性恒參信道變參信道衛(wèi)星信道短波信道根據(jù)信道噪聲的性質(zhì)高斯噪聲信道非高斯噪聲信道信道的分類信息論與編碼基礎離散信道離散信道的數(shù)學模型信道無擾（無噪）信道有擾信道無記憶信道有記憶信道信息論與編碼基礎離散信道信道單符號離散信道例1BSC信道BSC(p)信道是實際中幾乎所有重要的二進制脈沖傳輸系統(tǒng)的模型p為交叉(crossover)概率等于解調(diào)器/檢測器出現(xiàn)硬判決譯碼錯誤的概率信息論與編碼基礎離散信道條件轉移概率轉移矩陣轉移概率圖XY0101pp1-p1-pXYa0arb0bsP(bj|ai)信息論與編碼基礎離散信道單符號離散信道一定比例的bit被刪除，并且接收者知道是那些bit已經(jīng)被刪除。例2二進制刪除信道信息論與編碼基礎離散信道單符號離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理信道模型信道疑義度平均互信息及其性質(zhì)信息論與編碼基礎離散信道先驗熵后驗熵若信道中存在干擾時信道疑義度0≤H(X|Y)≤H(X)損失熵信息論與編碼基礎離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理信道模型信道疑義度平均互信息及其性質(zhì)信息論與編碼基礎離散信道互信息自信息條件自信息由于條件引入獲得的信息量1）對稱性I(ai;bj)=I(bj;ai)2）事件統(tǒng)計獨立時I(ai;bj)=03）可正、可負4）I(ai;bj)≤I(ai)信息論與編碼基礎離散信道信息論與編碼基礎緒論練習：令隨機變量x表示隨機抽取人群中的性別，x＝0為男性，x＝1為女性。隨機變量y表示隨機抽取人是否抽煙，y＝0表示抽煙，y＝1表示不抽煙。（1）若（x，y）的聯(lián)合概率分布如表1－1所示，求“已知抽取人為男性”，對“該人抽煙”提供的信息量。（2）若（x，y）的聯(lián)合概率分布如表1－2所示，求“已知抽取人為男性”，對“該人抽煙”提供的信息量。

本課小結2、信道疑義度、互信息信息論與編碼基礎離散信道1、信道模型BSC,BEC信息論與編碼基礎離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理信道模型信道疑義度平均互信息及其性質(zhì)信息論與編碼基礎離散信道互信息由于條件引入獲得的信息量1）對稱性I(ai;bj)=I(bj;ai)2）事件統(tǒng)計獨立時I(ai;bj)=03）可正、可負4）I(ai;bj)≤I(ai)信息論與編碼基礎離散信道平均互信息定義令為信道輸入X與輸出Y之間的平均互信息接收到每個輸出符號后獲得的關于X的平均信息量bit/sig互信息信息論與編碼基礎離散信道信息傳輸率不確定性消除的多少獲得信息量的大小平均互信息是互信息的統(tǒng)計平均值。信息論與編碼基礎離散信道平均互信息1、非負性利用詹森不等式信源加密信道解密信宿密鑰源全損信道信息論與編碼基礎離散信道2、極值性接收者通過信道獲得的信息量不可能超過信源本身固有的信息量。0≤I(X;Y)≤H(X)信息論與編碼基礎離散信道3、對稱性發(fā)出X后獲得的關于Y的平均信息量信息論與編碼基礎離散信道4、與各類熵的關系損失熵噪聲熵散布度：表示信道輸入信號由于干擾作用在輸出端表現(xiàn)的散布范圍。H(X|Y)H(Y|X)I(X;Y)H(XY)H(X)H(Y)信息論與編碼基礎離散信道5、的凸函數(shù)性于是信息論與編碼基礎離散信道例1設二元對稱信道的輸入概率空間為其信道特性如圖，求平均互信息。定理在信道轉移概率給定的條件下，平均互信息是輸入信源概率分布的型凸函數(shù)。XY0101pp1-p1-p00.51ωI(X;Y)1-H(p)00.51ωH(ω)1信源熵信息論與編碼基礎離散信道定理在輸入信源概率分布給定的條件下，平均互信息是信道轉移概率分布的型凸函數(shù)。例1（續(xù)）當p=0時當p=1時當p=1/2時00.51pI(X;Y)H(ω)信息論與編碼基礎離散信道思考題令X,Y1,Y2為二進制隨機變量，1）如果I(X;Y1)=0且I(X;Y2)=0，可否推出I(X;Y1,Y2)=0?試舉例說明。2）如果I(X;Y1)=0且I(X;Y2)=0，是否可推出

I(Y1;Y2)=0?請說明。

信息論與編碼基礎離散信道若三個離散隨機變量，又如下關系其中X和Y相互統(tǒng)計獨立。試證明：信息論與編碼基礎離散信道綜合例題信息論與編碼基礎離散信道一、信道疑義度與平均互信息三、有噪信道編碼定理定義簡單離散信道的信道容量對稱離散信道的信道容量擴展信道的信道容量香農(nóng)公式二、信道容量信息論與編碼基礎離散信道一、信道疑義度與平均互信息三、有噪信道編碼定理定義簡單離散信道的信道容量對稱離散信道的信道容量擴展信道的信道容量香農(nóng)公式二、信道容量信息論與編碼基礎離散信道平均互信息I(X;Y)代表了接收到每個輸出符號后獲得的關于X的平均信息量，又叫做信道的信息傳輸率。I(X;Y)能說明一個信道的好、壞嗎？定理在信道轉移概率給定的條件下，平均互信息是輸入信源概率分布的型凸函數(shù)。定義一個平穩(wěn)離散無記憶信道的容量C為輸入與輸出平均互信息的最大值。說明：bit/sig1）信道給定后，p(y|x)就固定，C僅與p(y|x)有關，而與P(x)無關2）Ct是信道最大傳輸速率。Ct=C/tbit/s信源分布最佳時，信道容量最大。信息論與編碼基礎離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理定義簡單離散信道的信道容量對稱離散信道的信道容量擴展信道的信道容量香農(nóng)公式信息論與編碼基礎離散信道信道1、無噪無損信道I(X;Y)=H(X)-H(X|Y)信息論與編碼基礎離散信道2、有噪無損信道I(X;Y)=H(X)-H(X|Y)信息論與編碼基礎離散信道3、有損無噪信道I(X;Y)=H(Y)-H(Y|X)信息論與編碼基礎離散信道總結：1）若嚴格區(qū)分，凡損失熵等于0的信道稱為無損信道；凡噪聲熵等于0的信道稱為無噪信道。2）無損信道3）無噪信道信息論與編碼基礎離散信道例求BEC的信道容量信息論與編碼基礎離散信道信息論與編碼基礎離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理定義簡單離散信道的信道容量對稱離散信道的信道容量擴展信道的信道容量香農(nóng)公式？對稱信道信息論與編碼基礎離散信道？信息論與編碼基礎離散信道例強對稱信道信息論與編碼基礎離散信道有噪聲的打字機信道考慮26個鍵的打字機1）如果每敲擊一個鍵，它就準確地輸出相應的字符，那么該容量C是多少？2）如果假設敲擊一個鍵都會導致輸出該鍵對應的字母或者下一個字母等概率出現(xiàn)，即敲A可能輸出A或B，…敲Z可能輸出Z或A。那么此時的容量如何？信息論與編碼基礎離散信道本課小結2、平均互信息性質(zhì)非負性、極值性、對稱性、凸函數(shù)特性信息論與編碼基礎離散信道1、平均互信息概念3、信道容量及其計算信息論與編碼基礎離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理定義簡單離散信道的信道容量對稱離散信道的信道容量擴展信道的信道容量香農(nóng)公式？對稱信道信息論與編碼基礎離散信道？信息論與編碼基礎離散信道例強對稱信道信息論與編碼基礎離散信道有噪聲的打字機信道考慮26個鍵的打字機1）如果每敲擊一個鍵，它就準確地輸出相應的字符，那么該容量C是多少？2）如果假設敲擊一個鍵都會導致輸出該鍵對應的字母或者下一個字母等概率出現(xiàn)，即敲A可能輸出A或B，…敲Z可能輸出Z或A。那么此時的容量如何？信息論與編碼基礎離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理定義簡單離散信道的信道容量對稱離散信道的信道容量擴展信道的信道容量香農(nóng)公式信息論與編碼基礎離散信道信息論與編碼基礎離散信道信道信道離散無記憶N次擴展信道模型1、信道模型信道轉移矩陣其中1、信道模型BSC的二次擴展信道信息論與編碼基礎離散信道2、平均互信息bit/N-sig信息論與編碼基礎離散信道矢量形式定理對于離散無記憶信道，有證明：信息論與編碼基礎離散信道熵的鏈式法則熵的獨立界2、平均互信息信息論與編碼基礎離散信道例DMC的輸入為，輸出為且有。其中X的熵為H,計算和信息論與編碼基礎離散信道定理對于無記憶信源，則證明：2、平均互信息信息論與編碼基礎離散信道例

設無記憶信源X的熵為H，X的5次擴展源為信道為如下面矩陣所示的置換信道1234532514計算達到的條件：只有當信源無記憶時，每一輸入變量Xi的分布P(x)各自達到最佳分布時。3、信道容量信息論與編碼基礎離散信道一、信道疑義度與平均互信息二、信道容量三、有噪信道編碼定理定義簡單離散信道的信道容量對稱離散信道的信道容量擴展信道的信道容量香農(nóng)公式信息論與編碼基礎離散信道1、連續(xù)消息的信息度量連續(xù)信源的可能取值數(shù)是無限多個，若設取值是等概率分布，那么，信源的不確定為無限大。連續(xù)信源的熵1）與離散信源的熵在形式上統(tǒng)一；2）實際問題中常常討論熵之間差值問題。相對熵、差熵、微分熵信息論與編碼基礎離散信道高斯分布情況2、高斯信道的信道容量I(X;Y)=h(y)–h(y|x)=h(y)-h(z)xiyizixi:樣值，正態(tài)分布yi:樣值，正態(tài)分布yi=xi+zi:正態(tài)分布xi、zi統(tǒng)計獨立高斯信道通信模型信息論與編碼基礎離散信道信道的輸出功率為E{y2}=E{(x+z)2}=E{x2}+0+E{z2}=S+N根據(jù)最大熵定理平均功率受限條件下信源的最大熵定理若某信源輸出信號的平均功率和均值被限定，則當其輸出信號幅度的概率密度函數(shù)p(x)是高斯分布時，信源達到最大熵值。信息論與編碼基礎離散信道2、高斯信道的信道容量3、帶限信道的信道容量對于帶限信號，采樣定理指出，若信號的有效帶寬為B，采樣頻率為f