信息論基礎之離散信道

Chapter3DiscreteChannel§3.1ChannelModelandAverage-MutualInformation

§3.4TheMatchingwithSourceandChannel§3.2ExtendedDiscreteChannelandCombinedChannel§3.3CapacityofChannel1、信道的分類2、離散信道的數(shù)學模型3、單符號離散信道信息論基礎離散信道1、信道的分類2、離散信道的數(shù)學模型3、單符號離散信道信息論基礎離散信道a、根據輸入、輸出信號的時間特性和取值特性離散信道連續(xù)信道半離散或半連續(xù)信道波形信道1、信道的分類數(shù)字信道b、根據輸入集合與輸出集合的個數(shù)單用戶信道多用戶信道一對多、多對一多對多信息論基礎離散信道c、根據信道轉移概率的性質無噪信道有噪信道1、信道的分類實際的通信信道幾乎都是有擾信道無記憶信道有記憶信道實際信道一般都是有記憶的，信道中的記憶現(xiàn)象來源于物理信道中的慣性，如電纜信道中的電感或電容、無線信道中電波傳播的衰落現(xiàn)象等。d、按信道統(tǒng)計特性恒參信道變參信道衛(wèi)星信道短波信道e、根據信道噪聲的性質高斯噪聲信道非高斯噪聲信道信息論基礎離散信道1、信道的分類2、離散信道的數(shù)學模型3、單符號離散信道信息論基礎離散信道2、離散信道的數(shù)學模型信道無擾（無噪）信道有擾信道無記憶信道有記憶信道信息論基礎離散信道1、信道的分類2、離散信道的數(shù)學模型3、單符號離散信道信息論基礎離散信道信道3、單符號離散信道例1BSC信道BSC(p)信道是實際中幾乎所有重要的二進制脈沖傳輸系統(tǒng)的模型p為交叉(crossover)概率等于解調器/檢測器出現(xiàn)硬判決譯碼錯誤的概率信息論基礎離散信道1）條件轉移概率2）轉移矩陣3）轉移概率圖3、單符號離散信道XY0101pp1-p1-pXYa0arb0bsP(bj|ai)信息論基礎離散信道一定比例的bit被刪除，并且接收者知道是那些bit已經被刪除。例2二進制刪除信道3、單符號離散信道信息論基礎離散信道一、信道模型及分類二、信道疑義度與平均互信息三、平均互信息的性質四、離散無記憶的擴展信道五、信道容量六、信源與信道的匹配信息論基礎離散信道互信息自信息條件自信息由于條件引入獲得的信息量1）對稱性I(ai;bj)=I(bj;ai)2）事件統(tǒng)計獨立時I(ai;bj)=03）可正、可負4）I(ai;bj)≤I(ai)信息論基礎離散信道1、信道疑義度先驗熵后驗熵若信道中存在干擾時信道疑義度0≤H(X|Y)≤H(X)損失熵信息論基礎離散信道2、平均互信息定義3.2令為信道輸入X與輸出Y之間的平均互信息接收到每個輸出符號后獲得的關于X的平均信息量bit/sign互信息信息論基礎離散信道思考題設8個等概分布的消息通過傳遞概率為p的BSC進行傳送。8個消息相應編成下述碼字：試問1）接收到第一個數(shù)字0與M1之間的互信息。2）接收到第二個數(shù)字也是0時，得到多少關于關于M1的附加互信息。3）接收到第三個數(shù)字仍是0時，又增加多少關于M1的互信息。4）接收到第四個數(shù)字仍是0時，再增加多少關于M1的互信息。信息論基礎離散信道一、信道模型及分類二、信道疑義度與平均互信息三、平均互信息的性質四、離散無記憶的擴展信道五、信道容量六、信源與信道的匹配信息論基礎離散信道平均互信息接收到每個輸出符號后獲得的關于X的平均信息量信息傳輸率

Rbit/sign信息論基礎離散信道1、非負性利用詹森不等式信息論基礎離散信道2、極值性接收者通過信道獲得的信息量不可能超過信源本身固有的信息量。0≤I(X;Y)≤H(X)3、對稱性信息論基礎離散信道發(fā)出X后獲得的關于Y的平均信息量4、與各類熵的關系信息論基礎離散信道損失熵噪聲熵散布度：表示信道輸入信號由于干擾作用在輸出端表現(xiàn)的散布范圍。H(X|Y)H(Y|X)I(X;Y)H(XY)H(X)H(Y)信息論基礎離散信道5、的凸函數(shù)性于是信息論基礎離散信道例1設二元對稱信道的輸入概率空間為其信道特性如圖，求平均互信息。定理3.1在信道轉移概率給定的條件下，平均互信息是輸入信源概率分布的型凸函數(shù)。XY0101pp1-p1-p00.51ωI(X;Y)1-H(p)00.51ωH(ω)1信源熵信息論基礎離散信道定理3.2在輸入信源概率分布給定的條件下，平均互信息是信道轉移概率分布的型凸函數(shù)。例1（續(xù)）當p=0時當p=1時當p=1/2時00.51pI(X;Y)H(ω)信息論基礎離散信道一、信道的數(shù)學模型與分類二、信道疑義度與平均互信息三、平均互信息的性質四、離散無記憶的擴展信道五、信道容量六、信源與信道的匹配信息論基礎離散信道1、信道模型信道信道離散無記憶N次擴展信道模型信道轉移矩陣其中信息論基礎離散信道1、信道模型BSC的二次擴展信道信息論基礎離散信道2、平均互信息a)定義bit/N-signb)性質引理3.1設信道的輸入輸出分別為，其中，則：僅當信道無記憶時等式成立。信息論基礎離散信道2、平均互信息信息論基礎離散信道2、平均互信息b)性質僅當時成立信息論基礎離散信道定理3.1對于離散無記憶信道，有2、平均互信息證明：b)性質信息論基礎離散信道例1DMC的輸入為，輸出為且有。其中X的熵為H,計算和信息論基礎離散信道定理3.2對于無記憶信源，則2、平均互信息b)性質證明：僅當時成立信息論基礎離散信道總結：1）當信源無記憶時2）當信道無記憶時3）當信源、信道均無記憶時信息論基礎離散信道一、信道模型及分類二、信道疑義度與平均互信息三、平均互信息的性質四、離散無記憶的擴展信道五、信道容量六、信源與信道的匹配信息論基礎離散信道平均互信息I(X;Y)代表了接收到每個輸出符號后獲得的關于X的平均信息量，又叫做信道的信息傳輸率。I(X;Y)能說明一個信道的好、壞嗎？定理3.1在信道轉移概率給定的條件下，平均互信息是輸入信源概率分布的型凸函數(shù)。信息論基礎離散信道1、定義一個平穩(wěn)離散無記憶信道的容量C為輸入與輸出平均互信息的最大值。說明：bit/sign1）信道給定后，p(y|x)就固定，C僅與p(y|x)有關，而與P(x)無關2）C是信道傳輸?shù)淖畲笮畔⒙省t=C/tbit/s信息論基礎離散信道2、簡單離散信道的信道容量信道a、無噪無損信道信息論基礎離散信道b、有噪無損信道2、簡單離散信道的信道容量信息論基礎離散信道c、有損無噪信道2、簡單離散信道的信道容量信息論基礎離散信道總結：1）若嚴格區(qū)分，凡損失熵等于0的信道稱為無損信道；凡噪聲熵等于0的信道稱為無噪信道。2）無損信道3）無噪信道2、簡單離散信道的信道容量信息論基礎離散信道例求BEC的信道容量信息論基礎離散信道3、對稱信道的信道容量？信息論基礎離散信道3、對稱信道的信道容量？信息論基礎離散信道例1強對稱信道信息論基礎離散信道4、離散無記憶N次擴展信道的信道容量達到的條件：只有當信源無記憶時，每一輸入變量Xi的分布P(x)各自達到最佳分布時。信息論基礎離散信道附：香農信道容量公式1、連續(xù)消息的信息度量連續(xù)信源的可能取值數(shù)是無限多個，若設取值是等概率分布，那么，信源的不確定為無限大。連續(xù)信源的熵1）與離散信源的熵在形式上統(tǒng)一；2）實際問題中常常討論熵之間差值問題。差熵高斯分布情況信息論基礎離散信道2、高斯信道的信道容量附：香農信道容量公式I(X;Y)=h(Y)–h(Y|X)=h(Y)-h(n)xiyizixi:樣值，正態(tài)分布yi:樣值，正態(tài)分布yi=xi+zi:正態(tài)分布xi、zi統(tǒng)計獨立高斯信道通信模型2、高斯信道的信道容量附：香農信道容量公式信息論基礎離散信道信道的輸出功率為E{y2}=E{(x+z)2}=E{x2}+0+E{z2}=S+N根據最大熵定理平均功率受限條件下信源的最大熵定理若某信源輸出信號的平均功率和均值被限定，則當其輸出信號幅度的概率密度函數(shù)p(x)是高斯分布時，信源達到最大熵值。有信息論基礎離散信道附：香農信道容量公式3、帶限信道的信道容量對于帶限信號，采樣定理指出，若信號的有效帶寬為B，采樣頻率為fs，則當fs≥2B時，樣值序列能夠保留原連續(xù)信號全部的頻譜特征，或者說全部的信息量。香農公式信息論基礎離散信道附：香農信道容量公式4、香農公式的意義信噪比1）信道容量與所傳輸信號的有效帶寬成正比，信號的有效帶寬越寬，信道容量越大2）信道容量與信道信噪比有關，信噪比越大，信道容量越大，其制約規(guī)律呈對數(shù)關系3）當信道上的信噪比小于1時，信道容量并不等于0，這說明此時信道仍具有傳輸信息的能力4）信道容量C、有效帶寬B和信噪比S/N可以相互起補償作用，即可以互換。C不變，B增加，S減小，擴頻通信C不變，B減小，S增加，多相位調制信息論基礎離散信道附：香農信道容量公式4、香農公式的意義是否可以用無限制地加大信號有效帶寬的方法來減小發(fā)射功率，或在任意低的信噪比情況下仍能實現(xiàn)可靠通信呢？信號有效帶寬與發(fā)射功率互換的有效性問題。信道容量往往是給定的，這時可以根據信道特性來權衡發(fā)射功率和信號有效帶寬的互換，使系統(tǒng)的設計趨于最佳。信息論基礎離散信道附：香農信道容量公式5、香農限在信道帶寬不受限的情況下若B趨近于∞，且Rt趨近于C，則在帶寬不受限的高斯白噪聲信道中，只要每赫茲頻帶傳輸一比特信息的信噪比不低于-1.6dB，通過最佳信道編碼，就有可能實現(xiàn)無差錯的傳輸！這是高斯信道中傳輸信息的極限能力，稱為香農限！信息論基礎離散信道一、信道的數(shù)學模型與分類二、信道疑義度與平均互信息三、平均互信息的性質四、離散無記憶的擴展性道五、信道容量六、信源與信道的匹配信息論基礎離散信道當信源與信