信息論與編碼

1、2022年6月4日Channel and Channel Capacity2022年6月4日-2 什么是信道？什么是信道？信道是傳送信息的載體信道是傳送信息的載體信號(hào)所通過的通道信號(hào)所通過的通道信息是抽象的，信道則是具體的。比如：二人對(duì)話，二人間的空氣就是信道；打電話，電話線就是信道；看電視，聽收音機(jī)，收、發(fā)間的空間就是信道。信道的作用信道的作用在信息系統(tǒng)中信道主要用于傳輸與存儲(chǔ)信息傳輸與存儲(chǔ)信息，而在通信系統(tǒng)中則主要用于傳輸傳輸。第三章第三章 信道與信道容量信道與信道容量2022年6月4日3 研究信道的目的研究信道的目的實(shí)現(xiàn)信息傳輸?shù)挠行院涂煽啃?有效性：充分利用信道容量 可靠性：通過信道

2、編碼降低誤碼率在通信系統(tǒng)中研究信道，主要是為了描述、度量、分析不同類型信道，計(jì)算其容量，即極限傳輸能力，并分析其特性。 通信技術(shù)研究信號(hào)在信道中傳輸?shù)倪^程所遵循的物理規(guī)律，即傳輸特性傳輸特性 信息論研究信息的傳輸問題（假定傳輸特性已知）第三章第三章 信道與信道容量信道與信道容量2022年6月4日-4 信息論對(duì)信道研究的內(nèi)容：信息論對(duì)信道研究的內(nèi)容：信道的建模信道的建模：用恰當(dāng)?shù)妮斎?輸出兩個(gè)隨機(jī)過程來描述信道容量信道容量：通過信道的最大信息量不同條件下充分利用信道容量的各種辦法不同條件下充分利用信道容量的各種辦法第三章第三章 信道與信道容量信道與信道容量輸入X輸出Y信道轉(zhuǎn)移概率p(y|x)20

3、22年6月4日-5 第三章第三章 信道與信道容量信道與信道容量主要內(nèi)容提要：主要內(nèi)容提要：信道的數(shù)學(xué)模型及分類 單符號(hào)離散信道容量的計(jì)算離散序列信道容量的計(jì)算連續(xù)信道容量的計(jì)算信源與信道的匹配基本術(shù)語(yǔ)：基本術(shù)語(yǔ)：信道轉(zhuǎn)移矩陣、信道容量2022年6月4日-6 本章的教學(xué)基本要求本章的教學(xué)基本要求 本章要求本章要求熟練掌握熟練掌握簡(jiǎn)單信道（對(duì)稱離簡(jiǎn)單信道（對(duì)稱離散信道、無記憶加性高斯噪聲信道）的信散信道、無記憶加性高斯噪聲信道）的信道容量的計(jì)算；道容量的計(jì)算；熟練掌握熟練掌握香農(nóng)公式及其應(yīng)香農(nóng)公式及其應(yīng)用；用； 掌握掌握信道的基本描述方法；信道的基本描述方法；掌握掌握信道信道容量的概念，以及與平均

4、互信息、信道輸容量的概念，以及與平均互信息、信道輸入概率分布、信道轉(zhuǎn)移函數(shù)的關(guān)系；入概率分布、信道轉(zhuǎn)移函數(shù)的關(guān)系；理解理解香農(nóng)第一定理（無噪信道編碼）的物理意香農(nóng)第一定理（無噪信道編碼）的物理意義；義；了解了解信道的基本分類；信道的基本分類；了解了解信道容量信道容量在研究通信系統(tǒng)中的作用。在研究通信系統(tǒng)中的作用。2022年6月4日7 3. 1 信源的數(shù)學(xué)模型及分類信源的數(shù)學(xué)模型及分類信道的分類信道的分類離散信道的數(shù)學(xué)模型離散信道的數(shù)學(xué)模型單符號(hào)離散信道的數(shù)學(xué)模型單符號(hào)離散信道的數(shù)學(xué)模型離散序列信道的數(shù)學(xué)模型離散序列信道的數(shù)學(xué)模型連續(xù)信道的數(shù)學(xué)模型連續(xù)信道的數(shù)學(xué)模型2022年6月4日-8 3.1

5、.1 信道的分類信道的分類根據(jù)信道的用戶數(shù)量分為：根據(jù)信道的用戶數(shù)量分為：?jiǎn)斡脩粜诺溃▋啥诵诺?、單路信道）多用戶信道（多端信道）根?jù)信道輸入端和輸出端的關(guān)系分為：根據(jù)信道輸入端和輸出端的關(guān)系分為：無反饋信道：輸出端信號(hào)對(duì)輸入端信號(hào)無影響反饋信道：輸出端信號(hào)反饋到輸入端，對(duì)輸入端信號(hào)起作用，影響輸入地信號(hào)發(fā)生變化根據(jù)信道參數(shù)與時(shí)間的關(guān)系分為：根據(jù)信道參數(shù)與時(shí)間的關(guān)系分為：恒參信道（固定參數(shù)信道、平穩(wěn)信道）隨參信道（時(shí)變參數(shù)信道）2022年6月4日9 3.1.1 信道的分類信道的分類根據(jù)信道中所受噪聲種類的不同分為：根據(jù)信道中所受噪聲種類的不同分為：隨機(jī)差錯(cuò)信道：噪聲獨(dú)立隨機(jī)地影響所傳信元突發(fā)差錯(cuò)

6、信道：噪聲、干擾的影響是前后關(guān)聯(lián)的，出現(xiàn)成串錯(cuò)誤混合差錯(cuò)信道：兩種差錯(cuò)都出現(xiàn)的信道根據(jù)輸入輸出信號(hào)的特點(diǎn)分為：根據(jù)輸入輸出信號(hào)的特點(diǎn)分為： 離散信道：輸入輸出信號(hào)在時(shí)間和幅度上均離散；連續(xù)信道：輸入輸出信號(hào)在幅度上是連續(xù)的，在時(shí)間上是離散的；半離散半連續(xù)信道：在輸入和輸出兩個(gè)信號(hào)中有一個(gè)是離散的，另一個(gè)是連續(xù)的；波形信道：輸入輸出信號(hào)在時(shí)間和幅度上均連續(xù)；2022年6月4日10 3.1.1 信道的分類信道的分類根據(jù)信道是否存在干擾分為：根據(jù)信道是否存在干擾分為：無擾信道：干擾小到可以忽略有擾信道：干擾不可忽略根據(jù)信道有無記憶分為：根據(jù)信道有無記憶分為：無記憶信道（Memoryless chan

7、nel ）：在某一時(shí)刻信道的輸出消息僅與當(dāng)時(shí)的信道輸入消息有關(guān)，而與前面時(shí)刻的信道輸入或輸出消息無關(guān)。有記憶信道（Memory channel）：在任意時(shí)刻信道的輸出消息不僅與當(dāng)時(shí)的信道輸入消息有關(guān)，而且還與以前時(shí)刻的信道輸入消息和（或）輸出消息有關(guān)。2022年6月4日11 3.1.1 信道的分類信道的分類根據(jù)傳輸媒質(zhì)（狹義信道）的不同分為：根據(jù)傳輸媒質(zhì)（狹義信道）的不同分為：光纜波導(dǎo)混合介質(zhì)光波衛(wèi)星電離層對(duì)流層散射視距接力移動(dòng)微波超短波短波中波長(zhǎng)波空氣介質(zhì)中同軸（長(zhǎng)途）小同軸（長(zhǎng)途）對(duì)稱平衡電纜（市內(nèi)）電纜明線固體介質(zhì)傳輸媒介類型2022年6月4日12 3.1.1 信道的分類信道的分類根據(jù)研

8、究問題的側(cè)重點(diǎn)不同，廣義信根據(jù)研究問題的側(cè)重點(diǎn)不同，廣義信道分為：道分為：調(diào)制信道編碼信道編碼信道調(diào)制信道編編碼碼器器 解調(diào)器解調(diào)器 發(fā)送設(shè)備接收設(shè)備 譯譯碼碼器器噪聲源噪聲源輸輸入入輸輸出出傳輸媒質(zhì)傳輸媒質(zhì)調(diào)制器調(diào)制器2022年6月4日13 描述信道信道可以引用三組變量來描述：信道輸入概率空間：信道輸入概率空間：信道輸出概率空間：信道輸出概率空間：信道概率轉(zhuǎn)移矩陣：信道概率轉(zhuǎn)移矩陣：即： ， ， ，它可簡(jiǎn)化為： 。)(,xpXK)(,yqYK)(xyP)(,xpXK)(xyP)(,yqYK),(,KKYPX2022年6月4日14 離散信道的數(shù)學(xué)模型如上圖所示離散信道的數(shù)學(xué)模型如上圖所示輸入和

9、輸出信號(hào)都用隨機(jī)矢量表示輸入和輸出信號(hào)都用隨機(jī)矢量表示條件概率條件概率p(Y|X)描述了輸入信號(hào)和輸出信號(hào)描述了輸入信號(hào)和輸出信號(hào)之間的統(tǒng)計(jì)依賴關(guān)系，反映了信道的統(tǒng)計(jì)之間的統(tǒng)計(jì)依賴關(guān)系，反映了信道的統(tǒng)計(jì)特性。特性。3.1.2 離散信道的數(shù)學(xué)模型離散信道的數(shù)學(xué)模型輸入X=輸出Y=信道轉(zhuǎn)移概率p(Yj|Xi)(X1,X2,Xi,Xn)(Y1,Y2,Yj,Ym)2022年6月4日15 3.1.2 離散信道的數(shù)學(xué)模型離散信道的數(shù)學(xué)模型1( )1riip aa1a2arb1b2bsX=(a1,a2,ar)輸入符號(hào)集Y=(b1,b2,bs)輸出符號(hào)集P(ai)表示輸入某符號(hào)的概率，有表示輸入某符號(hào)的概率，

10、有 P(bj)表示輸出某符號(hào)的概率，有表示輸出某符號(hào)的概率，有 P(bj|ai)表示發(fā)送表示發(fā)送ai而接收到而接收到bj概率，有概率，有注：下標(biāo)r與s可能相等也可能不等11(|)1ssjiijjjp bap 可以用條件（轉(zhuǎn)移）概率可以用條件（轉(zhuǎn)移）概率 或者或者 表示信道的噪聲干擾特性。表示信道的噪聲干擾特性。1()1sjjp b(|)jip baijp2022年6月4日16 3.1.2 離散信道的數(shù)學(xué)模型離散信道的數(shù)學(xué)模型根據(jù)信道的統(tǒng)計(jì)特性即條件概率根據(jù)信道的統(tǒng)計(jì)特性即條件概率 P(y/x)的不同，的不同，離散信道又可分成三種情況：離散信道又可分成三種情況：無干擾（無噪）信道無干擾（無噪）信

11、道：信道中沒有隨機(jī)性的干擾或者干：信道中沒有隨機(jī)性的干擾或者干擾很小，輸出信號(hào)與輸入信號(hào)之間有確定的一一對(duì)應(yīng)的擾很小，輸出信號(hào)與輸入信號(hào)之間有確定的一一對(duì)應(yīng)的關(guān)系。關(guān)系。有干擾無記憶信道有干擾無記憶信道：信道中有干擾（噪聲），輸入與輸：信道中有干擾（噪聲），輸入與輸出之間沒有確定的對(duì)應(yīng)關(guān)系。信道輸入和輸出之間的條出之間沒有確定的對(duì)應(yīng)關(guān)系。信道輸入和輸出之間的條件概率是一般的概率分布。件概率是一般的概率分布。 有干擾有記憶信道有干擾有記憶信道：信道中某一瞬間的輸出符號(hào)不但與：信道中某一瞬間的輸出符號(hào)不但與對(duì)應(yīng)時(shí)刻的輸入符號(hào)有關(guān)，而且還與此以前其他時(shí)刻信對(duì)應(yīng)時(shí)刻的輸入符號(hào)有關(guān)，而且還與此以前其他時(shí)

12、刻信道的輸入符號(hào)及輸出符號(hào)有關(guān)。道的輸入符號(hào)及輸出符號(hào)有關(guān)。 2022年6月4日17 3.1.2 離散信道的數(shù)學(xué)模型離散信道的數(shù)學(xué)模型無干擾（無噪）信道無干擾（無噪）信道：信道中沒有隨機(jī)性的干擾或者干擾很小，輸出信號(hào)與輸入信號(hào)之間有確定的一一對(duì)應(yīng)的關(guān)系。即典型的示例：1 ( )( )( | )0 ( )yf xyf xP y xyf x并且a1a2aNb1b2bNP(bi|ai)=1XY2022年6月4日18 3.1.2 離散信道的數(shù)學(xué)模型離散信道的數(shù)學(xué)模型有干擾無記憶信道有干擾無記憶信道：有干擾（噪聲）：有干擾（噪聲）：輸入與輸出之間沒有確定的對(duì)應(yīng)關(guān)系。信道輸入和輸出之間的條件概率P(y|x

13、)是一般的概率分布。無記憶：無記憶：信道在任一時(shí)刻的輸出符號(hào)只統(tǒng)計(jì)依賴于對(duì)應(yīng)時(shí)刻的輸入符號(hào)，而與非對(duì)應(yīng)時(shí)刻的輸入符號(hào)及其它任意時(shí)刻的輸出符號(hào)無關(guān)。滿足滿足離散無記憶信道離散無記憶信道DMC的充分必要條件充分必要條件為： 對(duì)于任意N值和任意x、y的取值上式都成立。12121( | )(.|.)(|)NNNiiiP y xP y yyx xxP yx離散無記憶信道2022年6月4日19 有干擾信道的示例：有干擾信道的示例： 強(qiáng)干擾強(qiáng)干擾 弱干擾弱干擾a1a2aNb1b2bNP(bi|ai)XYa3b3a1a2aNb1b2bNP(bi|ai)XYa3b33.1.2 離散信道的數(shù)學(xué)模型離散信道的數(shù)學(xué)模

14、型2022年6月4日20 3.1.2 離散信道的數(shù)學(xué)模型離散信道的數(shù)學(xué)模型有干擾無記憶信道有干擾無記憶信道離散無記憶信道Discrete Memoryless Channel離散無記憶信道離散無記憶信道DMCa1a2aNb1b2bMXYb31211121121222212 . (|)(|).(|)(|)(|).(|).(|)(|).(|)MMMNNNMNbbbap bap bap baap bap bap baPap bap bap ba信道轉(zhuǎn)移矩陣信道轉(zhuǎn)移矩陣2022年6月4日21 3.1.2 離散信道的數(shù)學(xué)模型離散信道的數(shù)學(xué)模型有干擾無記憶信道有干擾無記憶信道DMC的特例的特例二進(jìn)制離散信

15、道二進(jìn)制離散信道 N=M=2其中最典型的是二進(jìn)制對(duì)稱信道其中最典型的是二進(jìn)制對(duì)稱信道Binary Symmetric Channel(簡(jiǎn)稱簡(jiǎn)稱BSC) 0 10111ppppp二進(jìn)制對(duì)稱信道二進(jìn)制對(duì)稱信道BSC01011-P1-PPP(0|0)(1|1)1(1|0)(0|1)pppppp 2022年6月4日22 3.1.2 離散信道的數(shù)學(xué)模型離散信道的數(shù)學(xué)模型有干擾無記憶信道有干擾無記憶信道DMC的推廣的推廣離散時(shí)間無記憶信道，即離散輸離散時(shí)間無記憶信道，即離散輸入、連續(xù)輸出信道入、連續(xù)輸出信道其中，其中，N是某個(gè)有限的整數(shù)，但是是某個(gè)有限的整數(shù)，但是M無限無限 用條件概率密度函數(shù)用條件概率密

16、度函數(shù) 來描述信道來描述信道轉(zhuǎn)移特性轉(zhuǎn)移特性例：加性高斯白噪聲信道例：加性高斯白噪聲信道( |)YiP y xa12 ,.,(,)NXAa aaY XY=X+G+均值為零、方差 的高斯噪聲G2當(dāng)當(dāng)X=ai給定后，給定后，Y是一個(gè)均值為是一個(gè)均值為ai方差方差為為 的高斯隨機(jī)變量的高斯隨機(jī)變量222()221( |)2iy aYipy xae2022年6月4日23 3.1.2 離散信道的數(shù)學(xué)模型離散信道的數(shù)學(xué)模型有干擾無記憶信道有干擾無記憶信道DMC的進(jìn)一步推廣的進(jìn)一步推廣波形信道波形信道其中，其中，N ，M無限無限可以對(duì)可以對(duì)X(t)、Y(t)兩個(gè)平穩(wěn)隨機(jī)過程信號(hào)離散化成兩個(gè)平穩(wěn)隨機(jī)過程信號(hào)離

17、散化成L=2fmtB個(gè)時(shí)間離散、取值連續(xù)的平穩(wěn)隨機(jī)序列個(gè)時(shí)間離散、取值連續(xù)的平穩(wěn)隨機(jī)序列X=X1,X2,XL和和Y=Y1,Y2,YL。 波形信道變成了波形信道變成了多維連續(xù)信道多維連續(xù)信道，此時(shí)信道轉(zhuǎn)移概率密，此時(shí)信道轉(zhuǎn)移概率密度函數(shù)為度函數(shù)為 且滿足且滿足 若信道為連續(xù)無記憶信道則若信道為連續(xù)無記憶信道則 而一般信道為連續(xù)有記憶信道，上式不成立。而一般信道為連續(xù)有記憶信道，上式不成立。1212( | )(.|.)YYLLpy xpy yyx xx(,),(,)XY 121212.(.|.)d d.d1YLLLR RRpy yyx xxy yy 12121(.|.)(|)LYLLiiipy y

18、yx xxp yx2022年6月4日24 3.1.2 離散信道的數(shù)學(xué)模型離散信道的數(shù)學(xué)模型有干擾有記憶信道有干擾有記憶信道：信道中某一瞬間的輸出符號(hào)不但與對(duì)應(yīng)時(shí)刻的輸入符號(hào)有關(guān)，而且還與此以前其他時(shí)刻信道的輸入符號(hào)及輸出符號(hào)有關(guān)。實(shí)際信道往往是既有干擾實(shí)際信道往往是既有干擾(噪聲噪聲)又有記憶的這種類型。又有記憶的這種類型。 例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時(shí)造成了碼字例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時(shí)造成了碼字之間的干擾。之間的干擾。 處理有干擾有記憶信道的兩種方法：處理有干擾有記憶信道的兩種方法： 最直觀的方法是把記憶較強(qiáng)的N個(gè)符號(hào)當(dāng)作一個(gè)N維矢量，而把各矢量之

19、間認(rèn)為是無記憶的，這樣就轉(zhuǎn)化成無記憶信道的問題。當(dāng)然，這樣處理會(huì)引入誤差：N ，誤差 。 另一種處理方法是把 P(y/x) 看成馬爾可夫鏈的形式，這是有限記憶信道的問題。此時(shí)，信道的統(tǒng)計(jì)特性可用在已知時(shí)刻的輸入符號(hào)和前時(shí)刻信道所處的狀態(tài)的條件下，信道的輸出符號(hào)和所處的狀態(tài)的聯(lián)合條件概率來描述，即用P(yn, Sn/xn,Sn-1)來描述。2022年6月4日25 3.1.3 單符號(hào)離散信道的數(shù)學(xué)模型單符號(hào)離散信道的數(shù)學(xué)模型 單符號(hào)離散信道單符號(hào)離散信道信道輸入和輸出都取值信道輸入和輸出都取值于離散集合，且都用一個(gè)隨機(jī)變量來表示于離散集合，且都用一個(gè)隨機(jī)變量來表示的信道。的信道。 可以采用三種方法

20、描述：可以采用三種方法描述：圖示法概率空間法信道矩陣法2022年6月4日26 3.1.3 單符號(hào)離散信道的數(shù)學(xué)模型單符號(hào)離散信道的數(shù)學(xué)模型 圖示法：圖示法： 用概率空間用概率空間X, P(y/x) ,Y描述描述X：輸入符號(hào)，取值范圍輸入符號(hào)，取值范圍a1,a2, ,arY：輸出符號(hào)，取值范圍輸出符號(hào)，取值范圍b1,b2, ,bs 條件概率條件概率：P(y/x)P(y=bj/x=ai)P(bj/ai)=Pij 也也稱為稱為信道的傳遞概率或轉(zhuǎn)移概率信道的傳遞概率或轉(zhuǎn)移概率，可以用來描述信道干，可以用來描述信道干擾影響的大小擾影響的大小2022年6月4日27 3.1.3 單符號(hào)離散信道的數(shù)學(xué)模型單符

21、號(hào)離散信道的數(shù)學(xué)模型一般離散單符號(hào)信道的傳遞概率可用一般離散單符號(hào)信道的傳遞概率可用矩陣形式矩陣形式表表示，即示，即 )a|P(b.)a|P(b)a|P(b.)a|P(b.)a|P(b)a|P(b)a|P(b.)a|P(b)a|P(ba.aab . b b rsr2r12s22211s1211r21s21111212122212. P.ssrrrsppppppppp簡(jiǎn)記為1 (|)01ijjisijjpp bap其中并且即各行元素之和為即各行元素之和為12022年6月4日28 矩陣矩陣P完全描述了信道的特性，可用它作為完全描述了信道的特性，可用它作為單符號(hào)離散信道的另一種數(shù)學(xué)模型的形式。單符號(hào)

22、離散信道的另一種數(shù)學(xué)模型的形式。矩陣矩陣P中有些是信道干擾引起的錯(cuò)誤概率，中有些是信道干擾引起的錯(cuò)誤概率，有些是信道正確傳輸?shù)母怕?。所以該矩陣有些是信道正確傳輸?shù)母怕省Ｋ栽摼仃嘝又稱為又稱為信道矩陣信道矩陣（轉(zhuǎn)移矩陣轉(zhuǎn)移矩陣）。）。3.1.3 單符號(hào)離散信道的數(shù)學(xué)模型單符號(hào)離散信道的數(shù)學(xué)模型2022年6月4日29 一般單符號(hào)離散信道的一些概率關(guān)系：一般單符號(hào)離散信道的一些概率關(guān)系：設(shè)信道的輸入概率空間為：信道輸出Y的符號(hào)集為B=b1,b2,bs。給定信道矩陣為： 12111.( )1,0( )1() ()()( ).rriiiraaaXp ap ap ap ap aP x且111212122

23、212. .ssrrrspppppppppP3.1.3 單符號(hào)離散信道的數(shù)學(xué)模型單符號(hào)離散信道的數(shù)學(xué)模型2022年6月4日30 3.1.3 單符號(hào)離散信道的數(shù)學(xué)模型單符號(hào)離散信道的數(shù)學(xué)模型一般單符號(hào)離散信道的一些概率關(guān)系：一般單符號(hào)離散信道的一些概率關(guān)系：輸入和輸出符號(hào)的聯(lián)合概率為: 其中，P(bj|ai) 前向概率前向概率（發(fā)ai收bj 的概率），描述了信道噪聲的特性；P(ai|bj) 后向后向（后驗(yàn)后驗(yàn)）概率概率（收到bj后發(fā)為ai的可能性） ，描述了信道引起的疑義性；P(ai) 先驗(yàn)概率先驗(yàn)概率，接收到一個(gè)輸出符號(hào)以前輸入符號(hào)概率；P(bj) 輸出某符號(hào)的概率輸出某符號(hào)的概率 。(,)(

24、)( ) (|)() (|)ijijijijijP xa ybP abP a P baP b P a b2022年6月4日-蘭州大學(xué)信息科學(xué)與工程學(xué)院電信、通信工程系-31 3.1.3 單符號(hào)離散信道的數(shù)學(xué)模型單符號(hào)離散信道的數(shù)學(xué)模型一般單符號(hào)離散信道的一些概率關(guān)系：一般單符號(hào)離散信道的一些概率關(guān)系：根據(jù)條件概率可得輸出符號(hào)的概率為 ： 對(duì)j=1,2,s都成立輸出/輸入符號(hào)與轉(zhuǎn)移概率關(guān)系的矩陣形式為:1()( ) (|)rjijiiP bP a P ba1122T( )()()().()()srP bP aP bP aP bP aP2022年6月4日32 3.1.3 單符號(hào)離散信道的數(shù)學(xué)模型單

25、符號(hào)離散信道的數(shù)學(xué)模型一般單符號(hào)離散信道的一些概率關(guān)系：一般單符號(hào)離散信道的一些概率關(guān)系：根據(jù)貝葉斯定律貝葉斯定律可得后驗(yàn)概率為:()(|) ( ()0)()ijijjjP abP a bP bP b也說明：信道矩陣的信道矩陣的各行元素之和等于各行元素之和等于11( ) (|) ( ) (|)ijirijiiP a P baP a P ba1(|)1 (1,N2,.o):,t.erijiP a bjs1(|)1 (1,2,., )sjijP bair在信道輸出端接收到任一在信道輸出端接收到任一符號(hào)符號(hào)bj，一定是輸入符號(hào)，一定是輸入符號(hào)a1,a2,ar中的某一個(gè)送入中的某一個(gè)送入到信道。到信道

26、。(1,2,., 1,2,., )irjs輸入輸入X=ai一定，輸出一定，輸出y是那一個(gè)符號(hào)還不確定，是那一個(gè)符號(hào)還不確定，但一定是符號(hào)集但一定是符號(hào)集b1,b2,bs中的某一個(gè)中的某一個(gè)2022年6月4日33 特別說明：分析問題時(shí)用何種信道模型完特別說明：分析問題時(shí)用何種信道模型完全取決于分析者的目的。例如：全取決于分析者的目的。例如：對(duì)設(shè)計(jì)和分析離散信道編解碼器的性能感興趣，工程上常用DMC模型，或者更簡(jiǎn)化的BSC模型；若分析性能的理論極限，則多選用離散輸入、連續(xù)輸出信道模型；若想設(shè)計(jì)和分析數(shù)字調(diào)制解調(diào)器的性能，則可采用波形信道模型。本書后面?zhèn)戎赜懻摼幗獯a，所以DMC信道用的最多。2022

27、年6月4日34 3. 2 單符號(hào)離散信道容量及其計(jì)算單符號(hào)離散信道容量及其計(jì)算如果信源熵為如果信源熵為H(X)H(X)，我們希望在信道傳輸端接收的信息量，我們希望在信道傳輸端接收的信息量就是就是H(X)H(X) 。但由于噪聲的存在，一般情況下在輸出端只能。但由于噪聲的存在，一般情況下在輸出端只能收到收到I(X;Y) I(X;Y) 。平均互信息平均互信息I(X;Y)就是接收到符號(hào)就是接收到符號(hào)Y后平均每個(gè)符號(hào)獲得的后平均每個(gè)符號(hào)獲得的關(guān)于關(guān)于X的信息量的信息量平均意義上每傳送一個(gè)符號(hào)流經(jīng)信道的平均意義上每傳送一個(gè)符號(hào)流經(jīng)信道的平均信息量。平均信息量?？梢园芽梢园袸(X;Y)理解為信道的理解為信道

28、的信息傳輸率信息傳輸率（或（或信息率信息率）R 即即R = I(X;Y) = H(X) H(X|Y) (比特比特/信道符號(hào)信道符號(hào))信道中每秒平均傳輸?shù)男畔⒘啃诺乐忻棵肫骄鶄鬏數(shù)男畔⒘?單位時(shí)間的信息傳輸速率單位時(shí)間的信息傳輸速率Rt： Rt I(X;Y)/t = H(X)/t H(X|Y)/t （比特（比特/秒）秒） 2022年6月4日35 推導(dǎo)過程推導(dǎo)過程,(; )( )(|)()log ()( ,)log (|)jjijjiji jI X YH YH Y Xp yp yp x yp yx ,( ,)log( ,)( ,)log (|)ijijijjii jii jp x yp x yp

29、x yp yx ( ,)( )(|)ijijiiijp x yp xp yxp p簡(jiǎn)記,(; )loglogiijiijiijiji jii jI X Yp pp pp pp ,logiijiiiji jijp pp pp 是先驗(yàn)概率是先驗(yàn)概率 和信道轉(zhuǎn)移概率和信道轉(zhuǎn)移概率 的函數(shù)。的函數(shù)。( ; )I X Y(|)jip yx( )ip x2022年6月4日36 因?yàn)橐驗(yàn)镮(X;Y)=f p(xi),p(yj|xi)，當(dāng)信道特性，當(dāng)信道特性p(yj|xi)輸固定后，是信源概率分布輸固定后，是信源概率分布p(xi)的的型凸型凸函數(shù)函數(shù)定理定理 。所以，對(duì)一固定的信道，總能找到一種概率分布所以，

30、對(duì)一固定的信道，總能找到一種概率分布p(xi)（即存在一種信源），使信道所傳送的信息（即存在一種信源），使信道所傳送的信息率最大。率最大。 定義這個(gè)最大的信息傳輸率為定義這個(gè)最大的信息傳輸率為信道信道容量容量，記為，記為C 使信道傳輸率達(dá)到最大的輸入信源概率分布稱為使信道傳輸率達(dá)到最大的輸入信源概率分布稱為最佳輸入分布最佳輸入分布。 ()max (; )(/)p XCI X Ybit channel symbol3. 2 單符號(hào)離散信道容量及其計(jì)算單符號(hào)離散信道容量及其計(jì)算2022年6月4日37 若平均傳輸一個(gè)符號(hào)需要若平均傳輸一個(gè)符號(hào)需要 T 秒鐘，則信道在單位秒鐘，則信道在單位時(shí)間內(nèi)平均傳

31、輸?shù)淖畲笮畔⒘浚〞r(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘浚▎挝粫r(shí)間的信道單位時(shí)間的信道容量容量）為）為Ct：Ct：實(shí)際是信道的最大信息傳輸速率。：實(shí)際是信道的最大信息傳輸速率。顯然，顯然， C和和Ct都是求平均互信息都是求平均互信息I(X;Y)的的條件極條件極大值的大值的問題。當(dāng)輸入信源概率分布問題。當(dāng)輸入信源概率分布p(xi)調(diào)整好以調(diào)整好以后，后， C和和Ct已與已與p(xi)無關(guān)而僅僅是信道轉(zhuǎn)移概率無關(guān)而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道的統(tǒng)計(jì)特性有關(guān)。的函數(shù)，只與信道的統(tǒng)計(jì)特性有關(guān)。 信道容量是完全描述信道特性的參量，是信道能信道容量是完全描述信道特性的參量，是信道能夠傳送的最大信息量。夠傳送的最大

32、信息量。(/ )tCCbit sT3. 2 單符號(hào)離散信道容量及其計(jì)算單符號(hào)離散信道容量及其計(jì)算2022年6月4日38 特別強(qiáng)調(diào)：特別強(qiáng)調(diào)： 對(duì)于特定的信道，信道容量是個(gè)定值，對(duì)于特定的信道，信道容量是個(gè)定值，但在傳輸信息時(shí)信道能否提供其最大傳輸?shù)趥鬏斝畔r(shí)信道能否提供其最大傳輸能力，則取決于輸入端的概率分布。能力，則取決于輸入端的概率分布。本小節(jié)內(nèi)容：本小節(jié)內(nèi)容：無干擾單符號(hào)離散信道容量計(jì)算對(duì)稱DMC信道容量的計(jì)算準(zhǔn)對(duì)稱DMC信道容量的計(jì)算一般DMC信道容量的計(jì)算（了解）3. 2 單符號(hào)離散信道容量及其計(jì)算單符號(hào)離散信道容量及其計(jì)算幾種特殊的單符幾種特殊的單符號(hào)離散信道號(hào)離散信道2022年

33、6月4日39 3.2.1 無干擾離散信道的信道容量無干擾離散信道的信道容量離散無噪信道滿足：離散無噪信道滿足：無噪無噪1個(gè)輸入只對(duì)應(yīng)個(gè)輸入只對(duì)應(yīng)1個(gè)輸出，個(gè)輸出，噪聲熵噪聲熵H(Y|X)=0；無損無損 1個(gè)輸出只對(duì)應(yīng)個(gè)輸出只對(duì)應(yīng)1個(gè)輸入，個(gè)輸入，損失熵?fù)p失熵H(X|Y)=0 ；1 ( )( )( | )0 ( )yf xyf xP y xyf x并且2022年6月4日40 信道中熵的信息流圖信道中熵的信息流圖信道散布度（噪聲熵）信道散布度（噪聲熵）信道含糊度（疑義度）信道含糊度（疑義度）損失熵?fù)p失熵()max (; )(/)p XCI X Ybit channel symbolH(X)H(Y)

34、I(X;Y)H(X|Y)H(Y|X)2022年6月4日41 3.2.1 無干擾離散信道的信道容量無干擾離散信道的信道容量無噪無損信道示例：無噪無損信道示例： 轉(zhuǎn)移概率為：轉(zhuǎn)移概率為： 信道矩陣為單位陣：信道矩陣為單位陣： 無噪無損無噪無損 I(X;Y)=H(X)=H(Y)0 (|)(|) ( ,1,2,3)1 jiijijp bap a bi jija1a2a3b1b2b3P(b1|a1)=1XYP(b2|a2)=1P(b3|a3)=1100010001P( )max (; )loglogp xCI X Yrs2022年6月4日42 3.2.1 無干擾離散信道的信道容量無干擾離散信道的信道容量

35、有噪無損信道：有噪無損信道： 特點(diǎn)特點(diǎn)：一個(gè)X對(duì)應(yīng)多個(gè)Y（有噪）；各個(gè)X對(duì)應(yīng)的Y值不重合（無損），接收到符號(hào)Y后，X完全確定。 信道矩陣中每列每列有也僅有一個(gè)非零元素非零元素有噪有噪1個(gè)輸入對(duì)應(yīng)多個(gè)輸出，噪聲熵H(Y|X) 0無損無損1個(gè)輸出只對(duì)應(yīng)1個(gè)輸入，損失熵H(X|Y)=0有噪無損：I(X;Y)=H(X)H(Y)( )( )max (; )max()logp xp xCI X YH Xr2022年6月4日43 3.2.1 無干擾離散信道的信道容量無干擾離散信道的信道容量有噪無損信道示例：有噪無損信道示例： 1100002233100051010000001pa1a2a3b1b2b31/2

36、XY1/21b4b5b63/53/101/10112132425263111223242536(|)(|)1/2;(|)3/5; (|)3/10;(|)1/10; (|)1(|)(|)1;(|)(|)(|)1;(|)1p b ap bap bap bap bap bap abp abp abp abp abp ab( )max (; )log3p xCI X Y2022年6月4日44 3.2.1 3.2.1 無干擾離散信道的信道容量無干擾離散信道的信道容量無噪有損信道無噪有損信道(確定信道確定信道) ：無噪無噪1個(gè)X只對(duì)應(yīng)1個(gè)Y，前向概率P(y/x)非0即1，噪聲熵H(Y|X)=0；有損有損

37、1個(gè)Y對(duì)應(yīng)多個(gè)X，損失熵H(X|Y) 0 ；接收到符號(hào)Y后不能完全消除對(duì)X的不確定性I(X;Y)=H(Y)H(X) 100010010010001001p1a1b1b2b3輸出輸出Y11a2a3輸入輸入Xa4a5a6111( )( )max (; )max( )log3p xp xCI X YH Y2022年6月4日45 ( )H Y()H X(| )H X Y( |)H Y X( ; )I X Y用用維拉圖維拉圖來表述來表述無噪無損信道無噪無損信道、有噪無損信道有噪無損信道和和無噪無噪有損信道有損信道中中平均互信息平均互信息、損失熵?fù)p失熵、噪聲熵噪聲熵以及以及信源熵信源熵之間的關(guān)系。之間的關(guān)

38、系。 3.2.1 無干擾離散信道的信道容量2022年6月4日46 3.2.1 3.2.1 無干擾離散信道的信道容量無干擾離散信道的信道容量用用維拉圖維拉圖來表述來表述無噪無損信道無噪無損信道、有噪無損信道有噪無損信道和和無噪有無噪有損信道損信道中中平均互信息平均互信息、損失熵?fù)p失熵、噪聲熵噪聲熵以及以及信源熵信源熵之間之間的關(guān)系。的關(guān)系。 (; )()( )I X YH XH Y無噪無損無噪無損信道信道(; )()I X YH X有噪無損有噪無損信道信道( )H Y( ; )I X Y(|)H Y X(; )( )I X YH Y無噪有損無噪有損信道信道()H X( ; )I X Y(|)H

39、X Y這三種信道的這三種信道的C 只決定于信道的輸入符號(hào)數(shù)只決定于信道的輸入符號(hào)數(shù)r 或輸出符號(hào)數(shù)或輸出符號(hào)數(shù)s2022年6月4日47 信道名稱信道名稱信道特征信道特征信息傳輸情況信息傳輸情況全損信道全損信道p(xy)=p(x)p(y)H(X|Y)=H(X)I(X;Y)=0無損無噪無損無噪信道信道p(x|y)=0 or 1且p(y|x)=0 or 1H(X|Y)= H(Y|X)=0I(X;Y)=H(X)=H(Y)無損信道無損信道p(x|y)=0 or 1H(X|Y)= 0I(X;Y)=H(X)無噪信道無噪信道p(y|x)=0 or 1H(Y|X)=0I(X;Y)=H(Y)特殊信道總結(jié)：特殊信道

40、總結(jié)：2022年6月4日48 損失熵?fù)p失熵 H(X/Y) = 0 的信道稱為的信道稱為無損信道無損信道，其信道容量為：其信道容量為： 其中，r為輸入信源X的符號(hào)個(gè)數(shù)，等概率分布時(shí)H(X)最大噪聲熵噪聲熵 H(Y/X) = 0 的信道稱為的信道稱為無噪信道無噪信道，其信道容量為：其信道容量為： 其中， s為輸出信源Y的符號(hào)個(gè)數(shù)，等概率分布時(shí)H(Y)最大( )max()log (/)p xCH Xr bit symbol( )max( )log (/)p yCH Ys bit symbol3.2.1 無干擾離散信道的信道容量無干擾離散信道的信道容量2022年6月4日49 3.2.2 對(duì)稱對(duì)稱DMC

41、信道的信道容量信道的信道容量對(duì)稱性對(duì)稱性：信道矩陣：信道矩陣P的每一行都是由同一集的每一行都是由同一集合合p1，p2，ps中的諸元素不同排中的諸元素不同排列組成（列組成（輸入對(duì)稱性輸入對(duì)稱性）；每一列也都是由）；每一列也都是由q1，q2，qr 中的諸元素不同排列中的諸元素不同排列組成（組成（輸出對(duì)稱性輸出對(duì)稱性） 。對(duì)稱離散信道對(duì)稱離散信道：具有對(duì)稱信道矩陣的信道。：具有對(duì)稱信道矩陣的信道。對(duì)稱的離散無記憶信道對(duì)稱的離散無記憶信道（DMC） ：信道矩陣中的每一行都是第一行的重排列；信道矩陣中的每一列都是第一列的重排列。2022年6月4日50 3.2.2 對(duì)稱對(duì)稱DMC信道的信道容量信道的信道容

42、量對(duì)稱離散信道示例：對(duì)稱離散信道示例：31316161616131311P31316161616131313121616121613131212161313121616131212pa1a2a1a2a3b1b2b3b1b2b3b42022年6月4日51 以下示例以下示例不是不是對(duì)稱離散信道：對(duì)稱離散信道：2 . 07 . 01 . 02 . 01 . 07 . 021aaQa1a2b1b2b30。70。10。10。20。7a1a2b1b2b31/3b41/31/61/31/31/61/61/61/61/31/31/61/66/13/13/1Q3.2.2 對(duì)稱對(duì)稱DMC信道的信道容量信道的信道容

43、量2022年6月4日52 3.2.2 對(duì)稱對(duì)稱DMC信道的信道容量信道的信道容量由于對(duì)稱信道轉(zhuǎn)移概率矩陣中每行的元素都相同，由于對(duì)稱信道轉(zhuǎn)移概率矩陣中每行的元素都相同，所以所以 與與 i 無關(guān)，則條件熵?zé)o關(guān)，則條件熵 與信道輸入符號(hào)的概率分布與信道輸入符號(hào)的概率分布p(ai)無關(guān)。無關(guān)。因此對(duì)稱離散信道的信道容量：因此對(duì)稱離散信道的信道容量： (|)( )(|)log(|)(|)log(|)(|), 1,2,.,ijijiijjijiijH Y XP ap bap bap bap baH Y air ()()max ( ; )max ( )( |)iip ap aCI X YH YH Y X(

44、|)log (|)jijijp bap ba常數(shù)()max( )(|)ip aH YH Y X2022年6月4日53 3.2.2 對(duì)稱對(duì)稱DMC信道的信道容量信道的信道容量如果信道輸入符號(hào)等概率分布如果信道輸入符號(hào)等概率分布p(ai)=1/r，則根據(jù)，則根據(jù)信道矩陣的列對(duì)稱性可知信道矩陣的列對(duì)稱性可知 與與j 無關(guān)，無關(guān)，即信道輸出符號(hào)也等概率分布；反之，若信道輸即信道輸出符號(hào)也等概率分布；反之，若信道輸出符號(hào)等概率分布，對(duì)稱信道的輸入符號(hào)必定也出符號(hào)等概率分布，對(duì)稱信道的輸入符號(hào)必定也是等概率分布的。是等概率分布的。因此對(duì)稱因此對(duì)稱DMC信道的信道容量：信道的信道容量： 1()( ) (|)

45、(|)jijijiiip bp a p bap bar()max( )( |)ip aCH YH Y X要使要使H(Y)達(dá)到最大，只達(dá)到最大，只有信道輸出符號(hào)等概率有信道輸出符號(hào)等概率分布，此時(shí)的輸入符號(hào)分布，此時(shí)的輸入符號(hào)也等概率分布。也等概率分布。1log logsijijjspplog -(|)is H Y a2022年6月4日54 計(jì)算對(duì)稱計(jì)算對(duì)稱DMC信道容量的例子信道容量的例子已知某對(duì)稱已知某對(duì)稱DMC信道，求信道容量。信道，求信道容量。31316161616131311P3131616161613131a1a2b1b2b3b41122log loglog(,.)1 1 1 1lo

46、g 4( , )3 3 6 60.0817()sijijjsCsppsH p ppH比特/信道符號(hào) 只有當(dāng)輸入符號(hào)等概分布時(shí)可以達(dá)到最大只有當(dāng)輸入符號(hào)等概分布時(shí)可以達(dá)到最大傳輸能力，平均每個(gè)信道符號(hào)傳送的最大信息傳輸能力，平均每個(gè)信道符號(hào)傳送的最大信息量為量為0.0817bit2022年6月4日55 計(jì)算對(duì)稱計(jì)算對(duì)稱DMC信道信道容量的例子信道信道容量的例子強(qiáng)對(duì)稱信道（或均勻信道）強(qiáng)對(duì)稱信道（或均勻信道）1.111.11.111n nnnnnnnP正確傳正確傳輸概率輸概率錯(cuò)誤概率被均勻分錯(cuò)誤概率被均勻分配到配到(n-1)個(gè)輸出端個(gè)輸出端2222log(1,.,)11log(1)log (1)l

47、og1CnHnnnn當(dāng)當(dāng)n=2時(shí)？時(shí)？2022年6月4日56 3.2.2 對(duì)稱對(duì)稱DMC信道的信道容量信道的信道容量二元對(duì)稱信道二元對(duì)稱信道BSC的信道容量：的信道容量： ()1,P Xaa0101XYpp1-p1-p設(shè)輸入符號(hào)的概率分布為設(shè)輸入符號(hào)的概率分布為 p(0)=p(0)=a a, p(1)=1-, p(1)=1-a a, , 條件概率條件概率 p(0|0)=p(1|1)=p(0|0)=p(1|1)=p p, p(1|0)=p(0|1)=1-, p(1|0)=p(0|1)=1-p p, , 則有則有1( |)1ppP Y Xpp(1)(, )(1)(1)(1)pap aP X Ypa

48、pa2022年6月4日57 3.2.2 對(duì)稱對(duì)稱DMC信道的信道容量信道的信道容量 從而可以計(jì)算出：從而可以計(jì)算出：又因?yàn)橛忠驗(yàn)?但是但是 僅發(fā)生在僅發(fā)生在 下，下，故故BSC的信道容量為：的信道容量為：(|) log(1)log(1) H Y Xpppp max (; )max( )(|)max( )(|)I X YH YH Y XH YH Y Xmax( )1H Y(1)(0)1/2p Yp Ymax (; )max( )(|)1 log(1)log(1) CI X YH YH Y Xpppp 2022年6月4日58 當(dāng)當(dāng)p=1/2時(shí)，二元對(duì)稱信道的信道容量時(shí)，二元對(duì)稱信道的信道容量C=0

49、，不，不管輸入概率分布如何都能達(dá)到信道容量。管輸入概率分布如何都能達(dá)到信道容量。該信道輸入端不能傳遞任何信息到輸出端。該信道輸入端不能傳遞任何信息到輸出端。這種信道是沒有任何實(shí)際意義的，但它從理論上這種信道是沒有任何實(shí)際意義的，但它從理論上說明了信道的最佳輸入分布不一定是惟一的。說明了信道的最佳輸入分布不一定是惟一的。0.51.000.51.0cp3.2.2 對(duì)稱對(duì)稱DMC信道的信道容量信道的信道容量2022年6月4日59 3.2.3 準(zhǔn)對(duì)稱準(zhǔn)對(duì)稱DMC信道的信道容量信道的信道容量準(zhǔn)對(duì)稱準(zhǔn)對(duì)稱DMC信道：信道：信道矩陣P是輸入對(duì)稱輸入對(duì)稱而輸出不對(duì)稱輸出不對(duì)稱，即P的每一行都包含同樣的元素，而

50、各列的元素可以不同例如：2 . 07 . 01 . 02 . 01 . 07 . 021aaQa1a2b1b2b30.70.10.10.20.7a1a2b1b2b31/3b41/31/61/31/31/61/61/61/61/31/31/61/66/13/13/1Q2022年6月4日60 3.2.3 準(zhǔn)對(duì)稱準(zhǔn)對(duì)稱DMC信道的信道容量信道的信道容量準(zhǔn)對(duì)稱準(zhǔn)對(duì)稱DMC信道的信道容量：信道的信道容量：由于信道矩陣P的每行元素都相同，但各列的元素不相同，所以信道的輸入和輸出分布概率可能不等，此時(shí)H(Y)的最大值可能小于Y等概時(shí)的最大熵，因而準(zhǔn)對(duì)稱DMC信道的容量：因?yàn)榛バ畔是輸入符號(hào)概率的上上凸函數(shù)

51、凸函數(shù)，根據(jù)信道容量的定義式可引入拉格朗日乘子法求解極值問題，便求得輸入符號(hào)概率和最大互信息（信道容量）。方法一1loglogsijijjCspp2022年6月4日61 3.2.3 準(zhǔn)對(duì)稱準(zhǔn)對(duì)稱DMC信道的信道容量信道的信道容量準(zhǔn)對(duì)稱準(zhǔn)對(duì)稱DMC信道的信道容量的計(jì)算信道的信道容量的計(jì)算方方法一的例子：法一的例子：2022年6月4日62 3.2.3 準(zhǔn)對(duì)稱準(zhǔn)對(duì)稱DMC信道的信道容量信道的信道容量準(zhǔn)對(duì)稱準(zhǔn)對(duì)稱DMC信道的信道容量信道的信道容量方法二：方法二： 將信道矩陣P劃分成若干個(gè)互不相交的對(duì)稱子集Pk，即p1p2pn=（空集）， p1p2pn=p,可以證明，當(dāng)輸入分布為等概率時(shí)，達(dá)到準(zhǔn)對(duì)稱DM

52、C信道的容量為 式中，r為輸入符號(hào)集個(gè)數(shù)；p1,p2,ps是P中一行的元素，即H(p1,p2,ps)=H(Y|ai)；Nk是第k個(gè)子矩陣中行元素之和，Mk是第k個(gè)子矩陣中列元素之和；n為互不相交的子集個(gè)數(shù)。121log(,.)lognskkkCrH p ppNM對(duì)稱信道的信道容量2022年6月4日63 3.2.3 準(zhǔn)對(duì)稱準(zhǔn)對(duì)稱DMC信道的信道容量信道的信道容量方法二的例子：方法二的例子：設(shè)信道矩陣為 將P分解為：信道容量為：1P1pqqppqpq01011-p-qpqp21-p-qq121P P1pqpqppqq 12121 ,1 ,2Nq NqMq Mq log2(1- , , )(1)lo

53、g(1)log22log(1- )log(1- )(1- )log1-CHp q q pqqqqppp qp qqq2022年6月4日64 3.2.3 準(zhǔn)對(duì)稱準(zhǔn)對(duì)稱DMC信道的信道容量信道的信道容量上例中，如果矩陣上例中，如果矩陣P中中p=0，則信道傳遞矩陣為，則信道傳遞矩陣為 稱為稱為二元對(duì)稱刪除信道二元對(duì)稱刪除信道。計(jì)算得信道容量為：計(jì)算得信道容量為：C=1-q（比特（比特/符號(hào)）符號(hào)）0210 101 01qqqq01011-qq21-qq0.51.000.51.0cqBSC二元對(duì)稱刪除信道二元對(duì)稱刪除信道2022年6月4日65 一般離散信道的平均互信息一般離散信道的平均互信息I(X;Y

54、)達(dá)到極達(dá)到極大值大值(即等于信道容量即等于信道容量)的的充要條件充要條件是輸入概是輸入概率分布率分布Pi滿足：滿足： 3.2.4 一般離散信道的信道容量一般離散信道的信道容量2022年6月4日66 從上述從上述充要條件充要條件可得出一個(gè)結(jié)論：可得出一個(gè)結(jié)論： 當(dāng)信道平均互信息達(dá)到信道容量時(shí)，除概率為零當(dāng)信道平均互信息達(dá)到信道容量時(shí)，除概率為零的符號(hào)外，輸入信源符號(hào)集中每一個(gè)信源符號(hào)的符號(hào)外，輸入信源符號(hào)集中每一個(gè)信源符號(hào)x對(duì)對(duì)輸出端輸出端Y提供相同的互信息。提供相同的互信息。上式只給出了達(dá)到信道容量是輸入符號(hào)概上式只給出了達(dá)到信道容量是輸入符號(hào)概率分布的充要條件，并未給出具體值。率分布的充要

55、條件，并未給出具體值。對(duì)于一般的離散信道，有時(shí)很難利用上述對(duì)于一般的離散信道，有時(shí)很難利用上述充要條件來尋求信道容量和對(duì)應(yīng)的輸入概充要條件來尋求信道容量和對(duì)應(yīng)的輸入概率分布。因此只能利用求解線性方程組的率分布。因此只能利用求解線性方程組的方法，通過計(jì)算機(jī)，運(yùn)用迭代算法求解。方法，通過計(jì)算機(jī)，運(yùn)用迭代算法求解。 3.2.4 一般離散信道的信道容量一般離散信道的信道容量2022年6月4日67 例例1、已知信道轉(zhuǎn)移概率矩陣如下，求此信道的信道容量。已知信道轉(zhuǎn)移概率矩陣如下，求此信道的信道容量。 XY 0 1 2 3XY 0 1 2 3 0 1/3 1/3 1/6 1/6 0 1/3 1/3 1/6

56、1/6 1 1/6 1/3 1/6 1/3 1 1/6 1/3 1/6 1/3解：解：由充要定理可知，當(dāng)輸入等概分布時(shí)，互信息達(dá)到信道容量由充要定理可知，當(dāng)輸入等概分布時(shí)，互信息達(dá)到信道容量 即：即：p(a1)=p(a2)=1/2；有：；有： 211141212231213361214441()() (|)()() (|)()() (|)()() (|)kkkkkkkkkkkkp bp aq bap bp aq bap bp aq bap bp aq ba4(|)()1(; )(|)log0.04/jkjq b akjkp bjCI xa Yq babit s2022年6月4日68 3. 3

57、離散序列信道及其容量離散序列信道及其容量離散序列信道模型：無記憶無記憶離散序列信道的信道轉(zhuǎn)移概率為根據(jù)平均互信息的定義111(|)( ,.,|,.,)(|)LLLiiipp YYXXp YXY X輸入X=輸出Y=(X1,X2,Xi,Xn)(Y1,Y2,Yj,Ym)Xi a1,a2,anYi b1,b2,bmP(Y|X)(|)( ;)()(|)( ;)log( )(|)()(|)( ;)log( )LLLLLLpIH XH XYpppH YH YXppX YX YX YXY XX YY2022年6月4日69 3. 3 離散序列信道及其容量離散序列信道及其容量如果信道無記憶信道無記憶，則如果輸入矢

58、量X中的各個(gè)分量相互獨(dú)立各個(gè)分量相互獨(dú)立，則如果輸入矢量X獨(dú)立獨(dú)立且信道無記憶信道無記憶，則取等號(hào)：當(dāng)輸入矢量X達(dá)到最佳分布時(shí)，當(dāng)信道平穩(wěn)信道平穩(wěn)（即時(shí)不變信道時(shí)不變信道）時(shí)，一般情況下，1( ;)(;)LiiiII X YX Y1(;)(;)LiiiII X YX Y1( ;)(;)LiiiII X YX Y111max ( ;)max(;)max (;)( )XXXLLLLiiiiPPPiiiCII X YI X YC iX Y1LCLC1( ;)ILCX Y2022年6月4日70 3. 3 離散序列信道及其容量離散序列信道及其容量離散無記憶離散無記憶N次擴(kuò)展信道次擴(kuò)展信道 最典型的無記憶

59、離最典型的無記憶離散序列信道散序列信道信道輸入序列為信道輸出序列為信道的序列轉(zhuǎn)移概率為例例: BSC的二次擴(kuò)展無記憶信道的二次擴(kuò)展無記憶信道LLXYXY0000010111111010XY22(00|00)(0|0) (0|0)(1)(01|00)(0|0) (1|0)(1)(10|00)(1|0) (0|0)(1)(11|00)(1|0) (1|0).PPPpPPPppPPPppPPPp1 (|)(|)Liiipp YXY X2022年6月4日71 3. 3 離散序列信道及其容量離散序列信道及其容量例如，例如，BSC的二次擴(kuò)展無記憶信道的二次擴(kuò)展無記憶信道這是一個(gè)對(duì)稱DMC信道，當(dāng)輸入序列等

60、概率分當(dāng)輸入序列等概率分布時(shí)布時(shí)，其信道容量為： 是BSC單符號(hào)信道的容量C1的兩倍。22222222(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)ppppppppppppppppppppppppP0000010111111010XY2221log4(1) , (1), (1),21(1)2CHppppppHppC，2022年6月4日72 3. 3 離散序列信道及其容量離散序列信道及其容量獨(dú)立并聯(lián)信道獨(dú)立并聯(lián)信道 L個(gè)相互獨(dú)立的信道進(jìn)行并聯(lián)，每個(gè)信道的輸出Yi只與本信道的輸入Xi有關(guān)，此序列的轉(zhuǎn)移概率可見，此并聯(lián)信道為無記憶序列信道無記憶序列信道，則聯(lián)合平均互信息不大