第五章：信道與信道容量-z

1、n 了解信息論研究信道的目的、內(nèi)容了解信息論研究信道的目的、內(nèi)容n 了解信道的基本分類并掌握信道的基本描述方法了解信道的基本分類并掌握信道的基本描述方法n 掌握信道容量掌握信道容量/信道容量代價函數(shù)的概念，以及與互信息、信道容量代價函數(shù)的概念，以及與互信息、信道輸入概率分布、信道轉(zhuǎn)移函數(shù)的關(guān)系信道輸入概率分布、信道轉(zhuǎn)移函數(shù)的關(guān)系n 能夠計算簡單信道的信道容量能夠計算簡單信道的信道容量/信道容量代價函數(shù)（對稱離信道容量代價函數(shù)（對稱離散信道、無記憶加性高斯噪聲信道）散信道、無記憶加性高斯噪聲信道）n 了解信道容量了解信道容量/容量代價函數(shù)在研究通信系統(tǒng)中的作用容量代價函數(shù)在研究通信系統(tǒng)中的作用n

2、 理解香農(nóng)第一定理又稱無噪信道編碼的物理意義理解香農(nóng)第一定理又稱無噪信道編碼的物理意義n 進一步從信息論的角度理解香農(nóng)公式及其用途進一步從信息論的角度理解香農(nóng)公式及其用途 熵熵率無失真信源編碼定理中的作用 互信息信道容量信道編碼定理中的作用 互互 信息與信道輸入概率分布的關(guān)系信息與信道輸入概率分布的關(guān)系性質(zhì)性質(zhì)1 1 ：I(X; Y)是信道輸入概率分布p(x)的上凸函數(shù).信道PXY1Y2YQ1X2X1P2P 互信息與信道轉(zhuǎn)移概率分布的關(guān)系互信息與信道轉(zhuǎn)移概率分布的關(guān)系 性質(zhì)2 ：I(X; Y)是信道轉(zhuǎn)移概率分布p(y/x)的下凹函數(shù).信道1信道2信道PXY1Y2Y1Q2QQ 互信息與信道輸入符

3、號相關(guān)性的關(guān)系互信息與信道輸入符號相關(guān)性的關(guān)系 性質(zhì)3: 信道的輸入是離散無記憶的,12121( )(.)() (). ()( )NNNiipp x xxp x p xp xp xx1( ;)(;)NiiiII X YX Y即：則： 互信息與信道輸入符號相關(guān)性的關(guān)系互信息與信道輸入符號相關(guān)性的關(guān)系 性質(zhì)4: 信道是離散無記憶的,121211221( / )(./.)(/) (/). (/)(/)NNNNNiiipp y yyx xxp yx p yxp yxp yxy x1( ;)(;)NiiiII X YX Y即：則： 性質(zhì)性質(zhì)3、性質(zhì)、性質(zhì)4的推論：的推論： 信道的輸入和信道本身都是離散無

4、記憶的1( ;)(;)NiiiII X YX Y 信息論對信道研究的內(nèi)容 信道的建模：用恰當(dāng)?shù)妮斎?輸出兩個隨機過程來描述 信道容量 不同條件下充分利用信道容量的各種辦法 什么是信道？ 信道的作用 研究信道的目的 什么是信道？什么是信道？ 信道是傳送信息的載體信號所通過的通道。 信息是抽象的，信道則是具體的。比如：二人對話，二人間的空氣就是信道；打電話，電話線就是信道；看電視，聽收音機，收、發(fā)間的空間就是信道。 信道的作用信道的作用在信息系統(tǒng)中信道主要用于傳輸與存儲信息，而在通在信息系統(tǒng)中信道主要用于傳輸與存儲信息，而在通信系統(tǒng)中則主要用于傳輸。信系統(tǒng)中則主要用于傳輸。 信道傳輸信息的速率：信

5、道傳輸信息的速率：與物理信道本身的特性與物理信道本身的特性、載荷載荷信息的信號形式信息的信號形式和和信源輸出信號的統(tǒng)計特性信源輸出信號的統(tǒng)計特性有關(guān)。有關(guān)。 信道容量研究內(nèi)容：信道容量研究內(nèi)容：在什么條件下，通過信道的信息在什么條件下，通過信道的信息量最大量最大。 研究信道的目的研究信道的目的 實現(xiàn)信息傳輸?shù)膶崿F(xiàn)信息傳輸?shù)挠行杂行院秃涂煽啃钥煽啃?有效性：充分利用信道容量，使傳輸?shù)男畔⒘勘M可有效性：充分利用信道容量，使傳輸?shù)男畔⒘勘M可能大能大 可靠性：通過信道編碼降低誤碼率可靠性：通過信道編碼降低誤碼率 結(jié)合通信系統(tǒng)研究信道，主要是為了描述、度量、分結(jié)合通信系統(tǒng)研究信道，主要是為了描述、度

6、量、分析不同類型信道，計算其容量，即極限傳輸能力，并析不同類型信道，計算其容量，即極限傳輸能力，并分析其特性。分析其特性。 通信技術(shù)研究信號在信道中傳輸?shù)倪^程所遵循通信技術(shù)研究信號在信道中傳輸?shù)倪^程所遵循的物理規(guī)律，即傳輸特性的物理規(guī)律，即傳輸特性 信息論研究信息的傳輸問題（假定傳輸特性已信息論研究信息的傳輸問題（假定傳輸特性已知）知） 信道分類 信道描述 信道分類信道分類 從工程物理背景從工程物理背景傳輸媒介類型傳輸媒介類型； 從數(shù)學(xué)描述方式從數(shù)學(xué)描述方式信號與干擾描述方式信號與干擾描述方式； 從信道本身的參數(shù)類型從信道本身的參數(shù)類型恒參與變參恒參與變參； 從用戶類型從用戶類型單用戶與多用戶

7、單用戶與多用戶；光纜波導(dǎo)混合介質(zhì)光波衛(wèi)星電離層對流層散射視距接力移動微波超短波短波中波長波空氣介質(zhì)中同軸（長途）小同軸（長途）對稱平衡電纜（市內(nèi)）電纜明線固體介質(zhì)傳輸媒介類型15.2:信道分類與描述2碼間干擾衰落交調(diào)乘性干擾脈沖噪聲有源散彈噪聲無源熱噪聲線性疊加干擾有干擾略；無干擾：干擾少到可忽干擾類型有記憶無記憶半連續(xù)半離散連續(xù)離散信號類型信號與干擾類型25.2:信道分類與描述3信源信源干擾干擾編碼編碼譯碼譯碼信宿信宿傳輸傳輸媒介媒介ABCDABCCDCADC其中： 為狹義的傳輸型信道，研究調(diào)制解調(diào)理論或模擬通信時常引用它，為連續(xù)信道；ABC 為廣義的傳輸型信道，研究數(shù)字通信、編碼解碼時常引

8、用它，為離散信道；CDCCBC 為半離散半連續(xù)的傳輸型信道CBC變參信道（時變信道）恒參信道（時不變信道信道參量類型3多用戶信道（通信網(wǎng)）信）二用戶信道（點對點通用戶類型4 信道描述信道描述 信道可以引用信道可以引用三組變量三組變量來描述：來描述：信道輸入概率空間：信道輸入概率空間：信道輸出概率空間：信道輸出概率空間：信道概率轉(zhuǎn)移矩陣：信道概率轉(zhuǎn)移矩陣：即：即：它可簡化為：它可簡化為： ),(,KKYPX, ( )KXp x, ( )KYq y( / )p y x, ( ), ( / ), ( )KKXppYqxy xy其中：其中： 而而 1111.( )( )kkkkKKnmnmXYppqq

9、pqxxyyxy入出信道KiXx, 2 , 1kniKjYy, 2 , 1kmj1111()()()()kkkknmmnPPPPyxyxPyxyx 當(dāng)K=1時，退化為單個消息（符號）信道單個消息（符號）信道；進一步當(dāng)n=m=2時，退化為二進制單個消息信道二進制單個消息信道。若它滿足對稱性，即構(gòu)成最常用的二進制單消息對二進制單消息對稱信道稱信道BSC：0101( )Xppp x1()1P10,1,0)(qqyqY且：輸入輸入輸出輸出0,1x0,1y0101ePeP11eP 11eP 離散無記憶信道及其信道容量離散無記憶信道及其信道容量一般離散無記憶信道容量的計算一般離散無記憶信道容量的計算離散無

10、記憶信道的信道容量定理離散無記憶信道的信道容量定理對稱的離散無記憶信道容量的計算對稱的離散無記憶信道容量的計算香農(nóng)第一定理的物理意義香農(nóng)第一定理的物理意義 離散消息序列信道 有記憶信道平穩(wěn)，有限狀態(tài)有記憶信道有干擾無記憶無干擾信道無記憶信道離散消息序列信道 : 信道中的記憶現(xiàn)象來源于物理信道中的慣性，如電纜信道中的電感電容、無線信道中電波傳布的衰落現(xiàn)象等。信道的任務(wù)信道的任務(wù) 盡可能有效且可靠地傳輸信源的信息離散通信信道離散通信信道X=x1,x2,xr信息流信息流通過特定信道（信道容量和噪聲特性已定）信息流通過特定信道（信道容量和噪聲特性已定）傳輸可靠性傳輸可靠性 信道噪聲信道容量信道容量 傳

11、輸有效性H(X)H(Y)H(Y|X)H(X|Y)I(X;Y)SourceentropyReceivedinformation噪聲熵信道疑義度（損失熵）Transmitted part of informationH(X/Y) 信道疑義度信道疑義度/損失熵。損失熵。 Y關(guān)于關(guān)于X的后驗不確定度的后驗不確定度。表示收到變。表示收到變量量Y后，對隨機變量后，對隨機變量X仍然存在的不確定度。代表了在信道中損失的仍然存在的不確定度。代表了在信道中損失的信息。信息。H(X) X的先驗不確定度的先驗不確定度/無條件熵?zé)o條件熵。I(X;Y)收到收到Y(jié)前、后前、后關(guān)于關(guān)于X的不確定度減少的量。的不確定度減少的量

12、。從從Y獲得的關(guān)于獲得的關(guān)于X的平均信息量的平均信息量。H(Y/X)噪聲熵。噪聲熵。表示表示發(fā)出隨機變量發(fā)出隨機變量X后，對隨機變量后，對隨機變量Y仍然存在的仍然存在的平均不確定度平均不確定度。如果信道中不存在任何噪聲，發(fā)送端和接收端必存在。如果信道中不存在任何噪聲，發(fā)送端和接收端必存在確定的對應(yīng)關(guān)系，發(fā)出確定的對應(yīng)關(guān)系，發(fā)出X后必能確定對應(yīng)的后必能確定對應(yīng)的Y，而現(xiàn)在不能完全確定，而現(xiàn)在不能完全確定對應(yīng)的對應(yīng)的Y，這顯然是由信道噪聲所引起的。，這顯然是由信道噪聲所引起的。 如果信源熵為如果信源熵為H(X)，希望在信道輸出端接收的信息量就是，希望在信道輸出端接收的信息量就是H(X)，由于干擾的

13、存在，一般只能接收到，由于干擾的存在，一般只能接收到I(X;Y)。 信道的信息傳輸率信道的信息傳輸率： 就是平均互信息就是平均互信息 R=I(X;Y)。 輸出端輸出端Y往往只能獲得關(guān)于輸入往往只能獲得關(guān)于輸入X的部分信息，這是由于的部分信息，這是由于平均互信息性質(zhì)決定的：平均互信息性質(zhì)決定的：I(X;Y)H(X)。引出引出數(shù)據(jù)處理定理數(shù)據(jù)處理定理 信道容量信道容量 串聯(lián)信道串聯(lián)信道 數(shù)據(jù)處理定理數(shù)據(jù)處理定理 在一些實際通信系統(tǒng)中，常常出現(xiàn)串聯(lián)信道。例如在一些實際通信系統(tǒng)中，常常出現(xiàn)串聯(lián)信道。例如 微波中繼接力通信就是一種串聯(lián)信道。微波中繼接力通信就是一種串聯(lián)信道。 信宿收到數(shù)據(jù)后再進行數(shù)據(jù)處理

14、，數(shù)據(jù)處理系統(tǒng)可看成一信宿收到數(shù)據(jù)后再進行數(shù)據(jù)處理，數(shù)據(jù)處理系統(tǒng)可看成一種信道，它與前面?zhèn)鬏敂?shù)據(jù)的信道構(gòu)成串聯(lián)信道。種信道，它與前面?zhèn)鬏敂?shù)據(jù)的信道構(gòu)成串聯(lián)信道。 下圖表示兩個單符號離散信道串聯(lián)的情況。下圖表示兩個單符號離散信道串聯(lián)的情況。信道1P(Y/X)信道2P(Z/Y)XYZ12 ,.XKAa aa12 ,. ZLAc cc12 ,. YJAb bb 信道信道1的輸出的輸出Y與其輸入與其輸入X統(tǒng)計相關(guān)，信道統(tǒng)計相關(guān)，信道2的輸出的輸出Z與其與其輸入輸入Y統(tǒng)計相關(guān)，一般來講，統(tǒng)計相關(guān)，一般來講，Z與與X統(tǒng)計相關(guān)。統(tǒng)計相關(guān)。 級聯(lián)的結(jié)構(gòu)決定了級聯(lián)的結(jié)構(gòu)決定了Z的取值在給定的取值在給定Y以后與以

15、后與X將不再有關(guān)將不再有關(guān) 在概率論中稱在概率論中稱XYZ的這種關(guān)系為的這種關(guān)系為XYZ組成馬爾科夫鏈。組成馬爾科夫鏈。信道1P(Y/X)信道2P(Z/Y)XYZ信道1P(Y/X)信道2P(Z/Y)XYZ(|)( |) ( |)jjjp xz ybp x yb p z yb(;| )(| )(| )(| )0I X Z YH XZ YH X YH Z Y(;)(; )(;|)()(|)()(|)(|)(|)(;)(;|)I X YZI X YI X Z YH XH X YZH XH X ZH X ZH X YZI X ZI X Y Z(; )(;)(;|)I X YI X ZI X Y Z(;

16、 )(; )I X ZI X Y(;|)0I X Y Z 數(shù)據(jù)處理定理數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過多級處理后，隨著處理當(dāng)消息經(jīng)過多級處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息互信息量趨于變小。即量趨于變小。即I(X;Z)I(X;Y)I(X;Z)I(Y;Z)結(jié)論：結(jié)論： 兩級串聯(lián)信道輸入與輸出消息之間的平均互信息量既不會兩級串聯(lián)信道輸入與輸出消息之間的平均互信息量既不會超過第超過第級信道輸入與輸出消息之間的平均互信息量，也級信道輸入與輸出消息之間的平均互信息量，也不會超過第不會超過第級信道輸入與輸出消息之間的平均互信息量。級信道輸入與輸

17、出消息之間的平均互信息量。 當(dāng)對信號當(dāng)對信號/數(shù)據(jù)數(shù)據(jù)/消息消息進行多級處理時，每處理一次，就有可進行多級處理時，每處理一次，就有可能能損失損失一部分信息，也就是說數(shù)據(jù)處理會把信號一部分信息，也就是說數(shù)據(jù)處理會把信號/數(shù)據(jù)數(shù)據(jù)/消息消息變成更有用的形式，但是變成更有用的形式，但是絕不會創(chuàng)造出新的信息絕不會創(chuàng)造出新的信息。這就是。這就是所謂的所謂的信息不增原理信息不增原理。 當(dāng)已用某種方式取得Y后，不管怎樣對Y進行處理，所獲得的信息不會超過I(X;Y)。每處理一次，只會使信息量減少，至多不變。也就是說在任何信息流通系統(tǒng)中，最后獲得的信息量，至多是信源提供的信息。一旦在某一過程中丟失了一些信息，以

18、后的系統(tǒng)不管怎樣處理，如果不能接觸到丟失信息的輸入端，就不能再恢復(fù)已丟失的信息。 I(X;Y)是信源無條件概率是信源無條件概率p(xi)和信道轉(zhuǎn)移概率和信道轉(zhuǎn)移概率p(yj /xi)的二元函數(shù)：的二元函數(shù)： n當(dāng)信道特性當(dāng)信道特性p(yj /xi)固定后，固定后，I(X;Y)隨信源概率分布隨信源概率分布p(xi)的變化的變化而變化。而變化。n調(diào)整調(diào)整p(xi)，在接收端就能獲得不同的信息量。由平均互信息的，在接收端就能獲得不同的信息量。由平均互信息的性質(zhì)已知，性質(zhì)已知，I(X;Y)是是p(xi)的上凸函數(shù)，因此總能找到一種概率的上凸函數(shù)，因此總能找到一種概率分布分布p(xi)（即某一種信源），

19、使信道所能傳送的信息率為最大。（即某一種信源），使信道所能傳送的信息率為最大。 nimjxypxpxypijinimjypxypjiijijiniijijniijiijjijxypxpyxpYXIxypxpyxpxypxpyp11)/()()/(211)()/(211log)/()(log)();()/()()()/()()( 信道容量信道容量C C：在信道中在信道中最大的最大的信息傳輸速率，信息傳輸速率， 單位：單位： 比特比特/信道符號信道符號。 單位時間的信道容量單位時間的信道容量Ct： 若信道平均傳輸一個符號需要若信道平均傳輸一個符號需要t秒鐘，則單位時間的信秒鐘，則單位時間的信道容量

20、為道容量為 Ct實際是信道的最大信息傳輸速率。實際是信道的最大信息傳輸速率。)/();(maxmax)()(信道符號比特YXIRCiixpxp)/();(max)(1秒比特YXICixptt C和Ct都是求平均互信息I(X;Y)的條件極大值條件極大值問題，當(dāng)輸入信源概率分布p(xi)調(diào)整好以后， C和Ct已與p(xi)無關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計特性有關(guān)； 信道容量是完全描述信道特性的參量； 信道容量是信道能夠傳送的最大信息量。 離散無記憶信道及其信道容量離散無記憶信道及其信道容量k1()() P ()KkkkyyPPxxYX無記憶平穩(wěn)()I X;Y1

21、()(;)KkkkII XYX;Y( )( )1max ()max(,)KkkxxkCII XYppX;Y由消息序列互信息由消息序列互信息 性質(zhì)性質(zhì) 對離散無記憶信道，有：對離散無記憶信道，有： （性質(zhì)（性質(zhì)4）則則1 max (,)iKkkpkI XY1 KkkkCKC平穩(wěn)當(dāng)且僅當(dāng)信源(信道入)無記憶時，“等號”成立（性質(zhì)（性質(zhì)3、4推推論）論） 離散無記憶信道及其信道容量的進一步離散無記憶信道及其信道容量的進一步理解理解 Cmax存在存在互信息性質(zhì)互信息性質(zhì)1，上凸函數(shù)極值存在，上凸函數(shù)極值存在 達到達到Cmax時的兩個條件：時的兩個條件： 信道輸入（信源）是離散無記憶的信道輸入（信源）是

22、離散無記憶的 信道輸入的概率分布是使信道輸入的概率分布是使I(X,Y)達到最大的分布達到最大的分布()P y / x C的值不是由信源的的值不是由信源的p(x)決定的，而是由決定的，而是由 決定的決定的 C是是信道信道作為信息傳輸通道的作為信息傳輸通道的性能度量性能度量 只有信道輸入（信源）只有信道輸入（信源）X（x1x2xn)滿足一定條件時，才滿足一定條件時，才能充分能充分利用利用信道傳輸信息的能力信道傳輸信息的能力 一般離散無記憶信道容量的計算一般離散無記憶信道容量的計算 思路：將問題轉(zhuǎn)化為：有界閉區(qū)域上求約束極值 方法：1、求區(qū)域內(nèi)極值 2、求邊界極值 3、求前兩者的最大值 具體實現(xiàn)：

23、1、簡單情況下直接求解（如單符號信道、對稱信道） 2、解方程 3、迭代法（見朱雪龍2001版p124頁）信道容量信道容量約束條件：約束條件：求信道容量轉(zhuǎn)化為求求信道容量轉(zhuǎn)化為求 對信源概率分布對信源概率分布 的的條件極值。條件極值。 ()max(; )P XCI X Y(; )I X Y()P X( )1iip x( )0,1, 2,ip xir解：解： 引入輔助函數(shù)引入輔助函數(shù) 1(;)()1riiFI X Yp x（ 為待定系數(shù)）1(; )()1(1,., )()()(; )()riiiiiFI X Yp xirp xp xI X Yp x用拉格朗日乘子法求解11(|)(; )() (|)

24、log()rsjiijiijjp yxI X Yp xp yxp y1()() (|)rjijiip yp xp yx()(|)( )log()(|)log( )()jjiijjiijp yp yxp xp yp yxep xp y(; )()iI X Yp x111()(|)log(|)()log()rssijijijjijjp xp yxp yxp yp y111(|)log(|)(|)log()(|)logsssjijijijjijjjp yxp yxp yxp yp yxe1(|)(|)loglog()sjijijjp yxp yxep y令令 0()iFp x1(|)(|)loglo

25、g0()()sjijijijp yxFp yxep xp y則則 1(|)(|)loglog1,2,()sjijijjp yxp yxeirp y111(|)()(|)log()(log)()rsrjiijiiijijp yxp xp yxp xep ylogCe在某些條件下利用這個方法可以計算C：(|)(|)loglog()jijijjp yxp yxeCp y(|)log(|)(|)log()jijijijjjp yxp yxp yxp yClog()jjp yC令令(|)(|)log (|)jijjijijjp yxp yxp yx(|)log()jijjp yxp yC(|)1jijp

26、 yx這是一個含有s個未知數(shù)、由r個方程組成的方程組。當(dāng)當(dāng)r= =s，且信道矩陣是可逆矩陣時，該方程組有唯一解。，且信道矩陣是可逆矩陣時，該方程組有唯一解。 log()jjp yC()2jCjp ylog2jjC()( ) (|)jijiip yp x p yx21jCj( )(1,2, )ip xirj()2jCjp y()1jjp y 一般離散信道容量的計算步驟（傅祖蕓第二版p107）。求由；，求由；，求由；，求由)(, )/()()()(2)(2log)/(log)/()/(112121iniijijjCjmjjmjijijmjjijxpxypxpypypypCCxypxypxypjj

27、注意：注意： 在第步信道容量在第步信道容量C被求出后，計算并沒有結(jié)束，必須解被求出后，計算并沒有結(jié)束，必須解出相應(yīng)的出相應(yīng)的p(xi) ，并確認所有的，并確認所有的p(xi)0時，所求的時，所求的C才存在。才存在。 在對在對I(X;Y)求偏導(dǎo)時，僅限制求偏導(dǎo)時，僅限制 ，并沒有限制，并沒有限制p(xi)0 ，所以求出的，所以求出的p(xi)有可能為負值，此時有可能為負值，此時C就不存在，就不存在，必須對必須對p(xi)進行調(diào)整，再重新求解進行調(diào)整，再重新求解C。 近年來人們一般采用計算機，運用迭代算法求解。近年來人們一般采用計算機，運用迭代算法求解。niixp11)( 定理：定理：(Kuhn-

28、Tucker條件)設(shè) 是定義在N維無窮凸集S則 在 達到S上極大值的充要條件是：( )f x( )f x*xx*( )0,0nnfxxx xx當(dāng)時*( )0,0nnfxxx xx當(dāng)時上的可微上凸函數(shù)，設(shè)12(.):0,1,2,. NiSx xxxiNx*12(.)Nx xxSx*12*(.),0,0,Nnnx xxxSxSxxx注：當(dāng)時為 的內(nèi)點時為 邊界點。 離散無記憶信道的信道容量定理離散無記憶信道的信道容量定理 定理定理5.1：對前向轉(zhuǎn)移概率矩陣為Q的離散無記憶信道，其輸入字母的概率分布p*能使互信息I(p,Q)取最大值的充要條件是*(; )|, ()0(; )|, ()0kkkkI x

29、a YCp aI xa YCp ap=pp=p當(dāng)當(dāng)1(|)(; )(|)log()Jjkkjkjjp baI xa Yp bap b其中： 是信源字母ak傳送的平均互信息，C就是這一信道的信道容量。);()(),(YaxIapYXIkkk(; )kI xa Y(, )I X Y 是 的平均值。即：(; )kI xa Y()kp a 但提高 ，又使 降低(; )kI xa Y()kp a 反復(fù)調(diào)整 ，使 相等且都等于C(, )I X YC 定理只給出了可使 的p(x)的充要條件 ，并無具體分布及C的值，但可以幫助求解簡單情況部分信道的Cn求解信道容量過程實際信源的概率分布進行調(diào)節(jié)的過程。n通過不

30、斷調(diào)節(jié)信源的概率分布，找到信道對應(yīng)的最大信息傳輸速率()kp a(, )kI xa Y 找到 最大的 ，提高ka 對稱的離散無記憶信道對稱的離散無記憶信道信道容量信道容量對稱的離散無記憶信道 矩陣中的每一行都是第一行的重排列； 矩陣中的每一列都是第一列的重排列。 定理定理5.2：對于對稱的離散無記憶信道，當(dāng)信道輸入字母為等概率分布時達到信道容量。 對稱信道11111336611116633 P2111236111623111362P1/31/31/31/31/61/61/61/61/31/21/31/31/21/21/61/61/6( |)( )( |)iiiH Y Xp x H Y x( )

31、(|)log(|)ijijiijp xp yxp yx(|)log(|)( )jijiijip yxp yxp x (|)log(|)ijijijxp yxp yx對每個 而言是固定的(|)log(|)jijijp yxp yx (|)iH Y x對稱信道性質(zhì)對稱信道性質(zhì)(|)(|)iH Y XH Y x 對于對稱信道，當(dāng)信道輸入概率分布為等概分布時，輸出概率分布必必為等概分布。 aaPaaP行對稱行對稱信道信道a1a2b1b2ba1a2b1b2b0.20.

32、70.2 BSC信道信道容量的計算1211aPaa1a2b1b211由定理由定理5.2，當(dāng)輸入等概分布時，互信息達到信道容量，當(dāng)輸入等概分布時，互信息達到信道容量 即：即：p(a1)=p(a2)=1/2；有：；有： 2111121221( )() (|); ()( )kkkp bp ap b ap bp b21(|)(; )(|)log()jkkjkjjp baCI xa Yp bap b1(1)loglog1/ 21/ 21( )H 于是：于是：( )log(1)log(1)H 這里：這里：12log(,)sCsH pppr個輸入個輸入s個輸出的個輸出的對稱離散信道的信道容量：對稱離散信道的

33、信道容量：其中其中 是信道矩陣中的任意一行中的元素。是信道矩陣中的任意一行中的元素。,12,sp pp12( |)( |)(,)isH Y XH Y xH p pp12(; )( )(|)( )(,)sI X YH YH Y XH YH ppp若若r=s，且對于每一個輸入符號，正確傳輸概率都相等，且對于每一個輸入符號，正確傳輸概率都相等，且錯誤傳輸概率且錯誤傳輸概率 p 均勻地分配到均勻地分配到 r-1 個符號，則稱此信個符號，則稱此信道為道為強對稱信道或均勻信道強對稱信道或均勻信道。prprprprprpprprprprpp111111111P0101ppppP強對稱離散信道的信道容量：強對

34、稱離散信道的信道容量：loglog(1)( )CrprH p強對稱信道具備四個特征：強對稱信道具備四個特征： 1. 1. 矩陣中的每一行都是第一行的排列；矩陣中的每一行都是第一行的排列；( (行對稱行對稱) ) 矩陣中的每一列都是第一列的排列。矩陣中的每一列都是第一列的排列。( (列對稱列對稱) ) 2. 2. 信道輸入與輸出消息（符號）數(shù)相等，即信道輸入與輸出消息（符號）數(shù)相等，即 r=s。 3. 3. 錯誤分布是均勻的：信道矩陣中正確傳輸概率都相等，且錯誤分布是均勻的：信道矩陣中正確傳輸概率都相等，且錯誤傳輸概率均勻地分配到錯誤傳輸概率均勻地分配到r-1個符號上。個符號上。 4. 4. 不

35、僅每一行元素之和為不僅每一行元素之和為1 1，每一列元素之和也為，每一列元素之和也為1 1。顯然，對稱性的基本條件是顯然，對稱性的基本條件是1 1，而，而2 2、3 3、4 4是加強條件。是加強條件。 二元刪除信道信道容量的計算a1a2b1b3b2121001aPa11 由定理由定理5.2，當(dāng)輸入等概分布時，互信息達到信道容量，當(dāng)輸入等概分布時，互信息達到信道容量 即：即：p(a1)=p(a2)=1/2；有：；有：21111()()(|)(1)2kkkp bp ap ba31(|)(; )(|)log()jkkjkjjp baCI xa Yp bap b于是：于是：222131()()(|)(

36、1)2()kkkp bp ap bap b1(1) loglog1(1)21準對稱離散信道的信道容量：準對稱離散信道的信道容量：121log(,)lognskkkCrH pppNM設(shè)信道矩陣可劃分為設(shè)信道矩陣可劃分為n n個子矩陣，其中個子矩陣，其中Nk是第是第k個子矩陣個子矩陣中某行元素之和，中某行元素之和，Mk是第是第k個子矩陣中某列元素之和。個子矩陣中某列元素之和。121001aPa11221,1,2NMNM 121log(,)lognskkkCrH pppNM1log2(1)log(1)loglognkkkNMlog2(1)log(1)log(1)log(1)log21 0.51.00

37、0.51.0cbaCa=Cb=)(1H1a:BSC信道的信道容量曲線信道的信道容量曲線 b:二進制刪除信道的信道容量曲線二進制刪除信道的信道容量曲線1-1-1-1-例例1、已知信道轉(zhuǎn)移概率矩陣如下，求此信道的信道容量。已知信道轉(zhuǎn)移概率矩陣如下，求此信道的信道容量。 YX 0 1 2 3 0 1/3 1/3 1/6 1/6 1 1/6 1/3 1/6 1/3 21111( )() (|)4kkkp bp a q ba41(|)(; )(|)log0.04()jkkjkjjq baCI xa Yq babitp b解：由定理5.2，當(dāng)輸入等概分布時，互信息達到信道容量 即：p(a1)=p(a2)=

38、1/2；有： 22211()() (|)3kkkp bp a q ba23311( )() (|)6kkkp bp a q ba24411()() (|)4kkkp bp a q ba 香農(nóng)第一定理（變長無失真信源編碼定理）的物理意香農(nóng)第一定理（變長無失真信源編碼定理）的物理意義義 ()()/(/HXHXRkk比特 信源符號）比特 碼符號）碼符號 信源符號logRs()logHXsks代表碼元個數(shù)從信道編碼的角度看，用從信道編碼的角度看，用 個碼元表示一個原始信個碼元表示一個原始信源符號，信道的信息傳輸率為：源符號，信道的信息傳輸率為：k 香農(nóng)第一定理（無失真信源編碼定理）的物理意義香農(nóng)第一定

39、理（無失真信源編碼定理）的物理意義 無噪無損信道的信道容量：無噪無損信道的信道容量：C=H(X)=H(Y)=logC=H(X)=H(Y)=logs 再看當(dāng)平均碼長達到極限值時再看當(dāng)平均碼長達到極限值時R=logR=logs 此時信道的信息傳輸率此時信道的信息傳輸率R R無噪信道的信道容量無噪信道的信道容量C C 無失真信源編碼的實質(zhì)：無失真信源編碼的實質(zhì)： 對離散信源進行適當(dāng)變換，使變換后新的碼符號信源（信道的輸對離散信源進行適當(dāng)變換，使變換后新的碼符號信源（信道的輸入信源）盡可能為等概分布，以使新信源的每個碼符號平均所含入信源）盡可能為等概分布，以使新信源的每個碼符號平均所含的信息量達到最大

40、，從而使信道的信息傳輸率的信息量達到最大，從而使信道的信息傳輸率R R達到信道容量達到信道容量C C，實現(xiàn)信源與信道理想的統(tǒng)計匹配。實現(xiàn)信源與信道理想的統(tǒng)計匹配。 又稱：無噪信道編碼定理又稱：無噪信道編碼定理 若信道的信息傳輸率若信道的信息傳輸率R R不大于信道容量不大于信道容量C C，總能對信源的輸出進行，總能對信源的輸出進行適當(dāng)?shù)木幋a，使得在無噪無損信道上能無差錯地以最大信息傳輸適當(dāng)?shù)木幋a，使得在無噪無損信道上能無差錯地以最大信息傳輸率率C C傳輸信息；但要使信道的信息傳輸率傳輸信息；但要使信道的信息傳輸率R R大于大于C C而無差錯地傳輸信而無差錯地傳輸信息則是不可能的。息則是不可能的。

41、達到信道容量達到信道容量C的時候，輸入字母分布唯一嗎？的時候，輸入字母分布唯一嗎？反例：反例：a1a2b1b211令0.5則1( )0CH 輸入任何分布，輸出都達到C又一例：又一例：1/ 21/ 20001/ 21/ 20001/ 21/ 21/ 2001/ 2P令輸入分布(0.5,0,0.5,0）(; )I X YC令輸入分布(0.25,0.25,0.25,0.25）(; )I X YC輸出字母的唯一性輸出字母的唯一性 定理：達到信道容量時的輸出分布是唯一的。任何導(dǎo)致這一輸出分布的輸入分布都是最佳分布，可以使互信息達到信道容量。證明見朱雪龍2001版信息論p132頁。例如：對稱信道，達到信道

42、容量時輸出唯一（等概）輸入字母在什么條件下唯一？ 定理：在達到信道容量時，如果輸入概率分布中具有零概率的字母總數(shù)達到最大，則此時非零概率可被唯一地確定，且非零概率分量的數(shù)目不超過輸出字母的總數(shù)。定理不是說具有最大數(shù)目零概率的最佳分布是唯一的。定理只說明概率分布由同一組包含零的數(shù)字的不同排列構(gòu)成。證明見朱雪龍2001版信息論p134頁。信道1信道2信道N.1Y2YNYYX輸入并接信道信道1信道2信道N.YX和信道 信道1信道2信道N.1Y2YNYYX并用信道1X2XNX輸入并接信道輸入并接信道可以看成一個單輸入多輸出的輸出為X1 2(.)NYYYY1 21211 2121231 21 21121

43、11 2(;.)(;)(;|). . (;|.)(;)(;|)(;|). . (;|.).(;)(;|)(;|). . (;|.)NNNNNNNNNNI X YYYI X YI X YYI X YYYYI X YI X Y YI X Y YYI X YYYYI X YI X Y YI X YYYI X YYYY信道,其輸入為性質(zhì)：輸入并聯(lián)信道的容量大于任何一個單獨的信道，小于max H(X)。1 21 2(;.)()(|.)()NNI X YYYH XH X YYYH X思考：N個二元對稱信道輸入并聯(lián)之后的信道容量，N越大，CN越大，越接近H(X) 通信中的分集，就是典型的輸入并聯(lián)信道通信中的

44、分集，就是典型的輸入并聯(lián)信道1 2( )( )max (;.)max()NNp xp xCI X YYYH X121112210(|)(|).()NNNNH XX XXH XX XXH X1 2(|.)0NNH X YYY( ),max()Np xNCH X 并用信道并用信道是是多輸入，多輸出。X和和Y由彼此獨立的由彼此獨立的N個信道傳輸。個信道傳輸。性質(zhì)并用信道的容量12121(.|.)(|)NNNnnnp y yyx xxp yx通信中的復(fù)用，就是典型的并用信道通信中的復(fù)用，就是典型的并用信道( )11max ( ;)max(;)NNnnnp xnnCII XYCX Y現(xiàn)代通信技術(shù)：MIM

45、O和CMIMO(Cooperative MIMO )SISO 單入單出“真正的自利行為就是協(xié)作”無線網(wǎng)絡(luò)的協(xié)作,FrankTxRxSISOTx.Rx.MIMOTx1TxN.Rx1RxN.CMIMOMIMO多入多出CMIMO 節(jié)點通過協(xié)同形成MIMO和信道和信道隨機應(yīng)用N 個信道中的一個，構(gòu)成一輸入/一輸出信道。性質(zhì)：和信道的容量是， Vision Vision 一種新型的通信技術(shù)一種新型的通信技術(shù)機會通信機會通信（Opportunistic Comm.Opportunistic Comm.）信道的使用概率1log2nNCnC()( )2nCCnp C機會通信（David Tse, 2001）p

46、衰落是無線信道的固有特征，需要克服p但是在無線網(wǎng)絡(luò)中，衰落可能帶來增益Base StationFading ChannelMobileUser1User2UserN多用戶廣播信道廣播信道容量衰落信道為什么會提高容量？ 在一個多用戶獨立衰落信道里，每一時刻總可能找到一個擁有較好信道的用戶如果總是服務(wù)較好的用戶，總體容量會增加傳統(tǒng)分集技術(shù)的主要目的是改善慢衰落信道中通信的可靠性多用戶分集的作用是增加快衰落信道中總的吞吐量事實上，當(dāng)衰落不足的時候，還可以人為引入衰落制造出隨機波動范圍大的信道，來提高系統(tǒng)總的吞吐量n 連續(xù)信道連續(xù)信道p時間依舊離散p但是取值：離散連續(xù)n引發(fā)的問題引發(fā)的問題p離散隨機變

47、量的互信息非負、有限p取I(p,Q)最大值得到離散信道的容量p連續(xù)隨機變量互信息非負，但不一定有限p這樣互信息最大值為信道容量的定義就失去了意義問題出在什么地方？問題出在什么地方？n連續(xù)隨機變量的信息量無窮大（無理數(shù)具有無窮多的細節(jié)）n但是實際上我們無法生成信息量為無窮大的變量n總存在物理的約束：能量受限b(x)=x2n因此，連續(xù)信道輸入輸出互信息的優(yōu)化是在這些約束前提下進行的。, ( | ), X q y x Y, ( | ), X q y x Y定義：設(shè)對于連續(xù)無記憶信道 ，有一個函數(shù) ，對每一個輸入序列 。稱 為 的費用。設(shè)隨機矢量 的聯(lián)合分布為 ，則平均費用為：(.)b12., ( )

48、0Nx xxbxx12.NX XXX( )p xbx ( )( ) ( )E bpbxXxx 連續(xù)隨機變量的熵微分熵連續(xù)隨機變量的熵微分熵 連續(xù)隨機變量最大熵分布依賴于約束條件連續(xù)隨機變量最大熵分布依賴于約束條件 峰值功率受限條件下峰值功率受限條件下均勻分布均勻分布的隨機變量具有最大微分熵的隨機變量具有最大微分熵 平均功率受限條件下平均功率受限條件下高斯分布高斯分布的隨機變量具有最大微分熵的隨機變量具有最大微分熵 連續(xù)信道的輸入所取的值域不足以完全表示對信道輸入的限連續(xù)信道的輸入所取的值域不足以完全表示對信道輸入的限制制還有約束條件還有約束條件 Cmaxh(Y)-h(n) C取決于信道的取決于

49、信道的統(tǒng)計特性統(tǒng)計特性（加性信道即噪聲的統(tǒng)計特性）（加性信道即噪聲的統(tǒng)計特性） 輸入隨機矢量輸入隨機矢量X所受的所受的限制條件限制條件（一般考慮平均功率受限時）（一般考慮平均功率受限時） C的的單位單位為：比特為：比特/N個自由度個自由度 連續(xù)信道信道容量容量費用函數(shù)描述連續(xù)信道信道容量容量費用函數(shù)描述 研究連續(xù)信道容量的方法研究連續(xù)信道容量的方法 基本、簡單的信道：無記憶加性噪聲信道基本、簡單的信道：無記憶加性噪聲信道 信道噪聲為高斯時信道噪聲為高斯時 何種分布輸入能達到對信道的充分利用何種分布輸入能達到對信道的充分利用 信道輸入為高斯時信道輸入為高斯時 何種分布噪聲對信道傳輸信息影響最大何

50、種分布噪聲對信道傳輸信息影響最大 一些基礎(chǔ)知識：一些基礎(chǔ)知識： 對于加性信道對于加性信道Y=X+N X：信道輸入：信道輸入 N：信道噪聲：信道噪聲 Y：信道輸出：信道輸出 信道的轉(zhuǎn)移概率分布函數(shù)就是信道的轉(zhuǎn)移概率分布函數(shù)就是N的分布函數(shù)的分布函數(shù) b(x)是信道輸入為是信道輸入為x時對應(yīng)的費用時對應(yīng)的費用 如果如果X、Y、N中有兩個是高斯分布，另一個也是高斯分中有兩個是高斯分布，另一個也是高斯分布的布的 高斯分布的隨機變量的微分熵高斯分布的隨機變量的微分熵h(XG) 高斯分布的連續(xù)隨機變量的微分熵高斯分布的連續(xù)隨機變量的微分熵h(XG)的值只與方差的值只與方差 有關(guān)，與均值無關(guān)有關(guān)，與均值無關(guān)

51、22212loge 在費用約束的前提下，求輸入輸出互信息的最大值，得到容量-費用函數(shù)。連續(xù)信道的連續(xù)信道的“容量容量- -費用函數(shù)費用函數(shù)” 定義：設(shè)連續(xù)信道的N維聯(lián)合輸入輸出分別為X和Y，則其容量-費用函數(shù)定義為：( )1( )limsup ( ,); ( )NpCIE bNNxX YX若若 存在最大值時存在最大值時( ,)I X Y( )1( )limmax ( ,); ( )NpCIE bNNxX YX 當(dāng)輸入和信道無記憶穩(wěn)恒時，因為當(dāng)輸入和信道無記憶穩(wěn)恒時，因為( ,)(, )INI X YX Y( )1( )limmax ( ,); ( )NpCIE bNNxX YX( )max (

52、, ); ()pI X YE b Xx 無記憶加性噪聲信道的信道容量費用函數(shù)無記憶加性噪聲信道的信道容量費用函數(shù) 無記憶加性噪聲信道的前向轉(zhuǎn)移概率密度函數(shù)就是噪聲無記憶加性噪聲信道的前向轉(zhuǎn)移概率密度函數(shù)就是噪聲N N的概率密度函數(shù)，即：的概率密度函數(shù)，即： 其中其中 )()()|(xypnpxyqNN)|()();(XYhYhYXIdxdyxyqxyqxpXYhx)|(log)|()()|(dxdyxypxypxpNNx)(log)()(dxdnnpnpxpNNx)(log)()()(NhdxdnnpnpxpNNx)(log)()( 于是有：于是有： 取信道輸入信號的平均功率取信道輸入信號的平

53、均功率E(X2)作為信息傳輸?shù)馁M用作為信息傳輸?shù)馁M用 則有：無記憶加性噪聲信道的信道容量費用函數(shù)為：則有：無記憶加性噪聲信道的信道容量費用函數(shù)為： 因因h(N)與與px(x)無關(guān)，求解無關(guān)，求解C(PS)問題轉(zhuǎn)化為只需對問題轉(zhuǎn)化為只需對h(Y)進進行行)()();(NhYhYXI)();(sup)(2)(SxpSPXEYXIPCx)();()(sup2)(SxpPXENhYhx 無記憶加性高斯噪聲信道的信道容量費用函數(shù)（朱雪無記憶加性高斯噪聲信道的信道容量費用函數(shù)（朱雪龍龍p139） 條件條件：NZG 問題問題：求使C(PS)最大時的X的概密分布函數(shù) 求解步驟求解步驟：2( )()sup (

54、)();()xSSpxC Ph Yh NE XP12()log(1)SNPSPC P 因為： 要使C(PS) 最大使h(Y)最大 在PS約束條件下，當(dāng)YYG時h(Y)達到最大 XXG，則： 結(jié)論結(jié)論：當(dāng)信道輸入輸入信號為高斯高斯分布信號時，無記憶加性高斯噪聲信道的信道容量可以得到充分利用。換句話說：在無記憶加性高斯噪聲信道高斯噪聲信道中傳輸信息時，高斯分布的信號高斯分布的信號是最有效有效的-即在同樣信號功率下，信道可以傳輸最多的信息 無記憶加性噪聲信道對高斯分布的輸入信號的影響無記憶加性噪聲信道對高斯分布的輸入信號的影響 條件：條件：XXG，約束條件PS 問題：問題：考察何種概密分布的N使I(

55、X;Y)最小 求解步驟：求解步驟： 因為 而當(dāng)NNG時，YYG 此時： 可以證明：朱雪龍p140頁 結(jié)論：結(jié)論：無記憶加性高斯噪聲高斯噪聲信道對高斯分布的輸入信號具有 最大的破壞力最大的破壞力。)()();(NhYhYXI)()();();(NhYhYXIYXIGGGG)()();(NhYhYXIG0);();(GGGYXIYXI 高斯分布特性：-作為信道輸入信號的概密分布時，有利于信息傳輸-作為加性信道噪聲概密分布時，不利于信息傳輸-共同說明高斯分布的隨機變量具有最大微分熵 一般無記憶加性噪聲信道的信道容量費用函數(shù))1log();()(21NSPPGGSYXIPC)(2log)(21NSPP

56、eYh)()(2log)(21NhPPePCNSS2( )()sup ( )();()xSSpxC Ph Yh NE XP-無法給出解析形式的解，但可以給出其上下界表達式-下界下界：根據(jù)前面的討論很容易得-上界上界： 當(dāng)輸入信號功率限制在PS以下，噪聲功率限制在PN以下 則輸出信號功率將= PS PN。 此時 所以有： 輸入輸出均正態(tài)輸入為正態(tài)分布最佳輸入分布( )1max (; )(; )log(1)2SNp xNPCI X YIX YP( )1121 2( )1()sup ( ;);sup (.;.);nnNSSSpnNNNSSpnC PIPPI X XXYYYPPxxX Y 無記憶加性高

57、斯噪聲信道的并聯(lián)無記憶加性高斯噪聲信道的并聯(lián) 信道1信道2信道N.1Y2YNYYX并用信道1X2XNX1,0nnNSSSnPP P1( ;)(;)NnnnII XYX Y等號是在各分量統(tǒng)計獨立時才成立( )11()maxlog(1)2nnNSSpnNPC PPx 這又是凸函數(shù)在約束下求極值的問題這又是凸函數(shù)在約束下求極值的問題12nnNSPP111log(1)02iiniNNSSinSNPPPP若極值不發(fā)生在邊緣上，若極值不發(fā)生在邊緣上，11,nnNNSSNNnnPPPPnnSNSNPPPPN1,02nnnNSSPPP當(dāng)時111log(1)0,02iinniNNSSSinSNPPPPP當(dāng)時若極

58、值發(fā)生在邊緣上，若極值發(fā)生在邊緣上，注水功率注水功率PN1PS1PN2PS2PS3PS4PS5PN3PN4PN5PN6PN7PN8PN9PS7PS99N 12345678912功率功率68681,02NNSSPPPP,n模擬信道：在時間和取值上都連續(xù)的信道模擬信道：在時間和取值上都連續(xù)的信道 光纖，電纜，電磁波空間傳播光纖，電纜，電磁波空間傳播n我們僅研究非常特殊的一類模擬信道：我們僅研究非常特殊的一類模擬信道：AWGNp帶寬有限：帶寬有限：Wp加性噪聲：加性噪聲：y(t) = x(t)+z(t)p白色噪聲：平穩(wěn)遍歷隨機過程，功率譜密度均勻分布于白色噪聲：平穩(wěn)遍歷隨機過程，功率譜密度均勻分布于

59、整個頻域，即功率譜密度（單位帶寬噪聲功率）為一常數(shù)整個頻域，即功率譜密度（單位帶寬噪聲功率）為一常數(shù)p高斯噪聲：平穩(wěn)遍歷隨機過程，瞬時值的概率密度函數(shù)高斯噪聲：平穩(wěn)遍歷隨機過程，瞬時值的概率密度函數(shù)服從高斯分布服從高斯分布 廣義平穩(wěn)的限頻廣義平穩(wěn)的限頻(F)、限時、限時(T)、限功率、限功率(P)白白色高斯信道及其容量色高斯信道及其容量C 對限頻(F)、限時(T)的連續(xù)過程信源可展成下列取樣函數(shù)序列：參見傅祖蕓第二版p140頁 現(xiàn)將2FT個樣值序列通過一個功率受限(P)的白色高斯信道并求其容量值C。sin2()12( ,)()22()2FTnFTnF tnFX t fXnFFtF Shanno

60、n公式公式 定理定理5.3：滿足限頻(F)、限時(T)的廣義平穩(wěn)隨機過程信源X(t,f)，當(dāng)它通過一個功率受限(P)的白色高斯信道，其容量為：這就是著名的Shannon公式公式。則單位時間T=1時的容量為：log(1)sNPCFTPlog(1)sNPCFP 證明：前面已求得單個連續(xù)消息（第證明：前面已求得單個連續(xù)消息（第k個）通過高斯信道以個）通過高斯信道以后的容量值為：后的容量值為： 1log(1)2sNPCP1( ;)(;)NnnnIIXYX Y( )( )1( ,)(,)maxmaxNnnp xp xnCIIXYX Y同時，在消息序列的互信息中已證明當(dāng)同時，在消息序列的互信息中已證明當(dāng)信