信息論基礎(chǔ)與編碼課件第三章-信道與信道容量

第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計(jì)算3.3離散序列信道及其容量3.4獨(dú)立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配1第三章信道與信道容量3.1信道的基本概念113.1信道的基本概念信道是傳送信息的載體（信號(hào)所通過(guò)的通道）。信息是抽象的，信道則是具體的。信道的作用在信息系統(tǒng)中用于傳輸與存儲(chǔ)信息，而在通信系統(tǒng)中則主要用于傳輸。23.1信道的基本概念信道是傳送信息的載體（23.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與分類(lèi)

3.1.2信道參數(shù)3.1.3信道容量定義33.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與33.1.1信道的數(shù)學(xué)模型與分類(lèi)1、信道的分類(lèi)信道可以從不同角度加以分類(lèi)，常用的有下面幾種分類(lèi)。從工程物理背景——傳輸介質(zhì)類(lèi)型。從數(shù)學(xué)描述方式——信號(hào)與干擾描述方式。從信道本身的參數(shù)類(lèi)型——恒參與變參。從用戶類(lèi)型——單用戶與多用戶。43.1.1信道的數(shù)學(xué)模型與分類(lèi)1、信道的分類(lèi)443.1.1信道的數(shù)學(xué)模型與分類(lèi)傳輸介質(zhì)類(lèi)型信號(hào)與干擾類(lèi)型信道參量類(lèi)型用戶類(lèi)型53.1.1信道的數(shù)學(xué)模型與分類(lèi)傳輸介質(zhì)類(lèi)型信號(hào)與干擾53.1.1信道的數(shù)學(xué)模型與分類(lèi)圖3-1信道分類(lèi)舉例其中：C1為連續(xù)信道，調(diào)制信道；C2為離散信道，編碼信道；C3為半離散、半連續(xù)信道；C4為半連續(xù)、半離散信道。63.1.1信道的數(shù)學(xué)模型與分類(lèi)圖3-1信道分類(lèi)舉63.1.1信道的數(shù)學(xué)模型與分類(lèi)2、信道模型（1）調(diào)制信道模型

調(diào)制信道是為研究調(diào)制與解調(diào)問(wèn)題所建立的一種廣義信道，它所關(guān)心的是調(diào)制信道輸入信號(hào)形式和已調(diào)信號(hào)通過(guò)調(diào)制信道后的最終結(jié)果，對(duì)于調(diào)制信道內(nèi)部的變換過(guò)程并不關(guān)心。具有如下共性：①有一對(duì)（或多對(duì)）輸入端和一對(duì)（或多對(duì)）輸出端。②絕大多數(shù)的信道都是線性的，即滿足線性疊加原理。③信號(hào)通過(guò)信道具有一定的延遲時(shí)間而且它還會(huì)受到（固定的或時(shí)變的）損耗。④即使沒(méi)有信號(hào)輸入，在信道的輸出端仍可能有一定的功率輸出（噪聲）。73.1.1信道的數(shù)學(xué)模型與分類(lèi)2、信道模型773.1.1信道的數(shù)學(xué)模型與分類(lèi)

圖3-2調(diào)制信道模型兩端信道模型，輸入輸出關(guān)系為：（3-1）其中，為輸入的已調(diào)信號(hào)；為信道總輸出波形；為加性噪聲，與相互獨(dú)立，無(wú)依賴關(guān)系。表示已調(diào)信號(hào)通過(guò)網(wǎng)絡(luò)所發(fā)生的（時(shí)變）線形變換。現(xiàn)在，我們假定能把寫(xiě)為，其中，依賴于網(wǎng)絡(luò)的特性，是一種乘性干擾。于是上式可以表示為:（3-2）

83.1.1信道的數(shù)學(xué)模型與分類(lèi)圖3-2調(diào)制83.1.1信道的數(shù)學(xué)模型與分類(lèi)

由以上分析可知，信道對(duì)信號(hào)的影響可歸結(jié)為兩點(diǎn)：一是乘性干擾，二是加性干擾。實(shí)際的物理信道中，根據(jù)信道傳輸函數(shù)的時(shí)變特性的不同可以分為兩大類(lèi)：一類(lèi)是基本不隨時(shí)間變化，即信道對(duì)信號(hào)的影響是固定的或變化極為緩慢的，這類(lèi)信道稱為恒定參量信道，簡(jiǎn)稱恒參信道；另一類(lèi)信道是傳輸函數(shù)隨時(shí)間隨機(jī)速快變化，這類(lèi)信道稱為隨機(jī)參量信道，簡(jiǎn)稱隨參信道。

93.1.1信道的數(shù)學(xué)模型與分類(lèi)由以上93.1.1信道的數(shù)學(xué)模型與分類(lèi)

（2）編碼信道模型編碼信道包括調(diào)制信道、調(diào)制器和解調(diào)器，是一種數(shù)字信道或離散信道。由于信道噪聲或其他因素的影響，將導(dǎo)致輸出數(shù)字序列發(fā)生錯(cuò)誤，因此輸入、輸出數(shù)字序列之間的關(guān)系可以用一組轉(zhuǎn)移概率來(lái)表征。二進(jìn)制數(shù)字傳輸系統(tǒng)的一種簡(jiǎn)單的編碼信道模型如圖3-3所示：圖3-3二進(jìn)制編碼信道模型

103.1.1信道的數(shù)學(xué)模型與分類(lèi)（2）編碼信道模型103.1.1信道的數(shù)學(xué)模型與分類(lèi)

輸出的總的錯(cuò)誤概率為：

由于信道噪聲或其他因素影響導(dǎo)致輸出數(shù)字序列發(fā)生錯(cuò)誤是統(tǒng)計(jì)獨(dú)立的，根據(jù)無(wú)記憶編碼信道的性質(zhì)可以得到下式：

圖3-4給出了一個(gè)無(wú)記憶多進(jìn)制編碼信道模型。圖3-4多進(jìn)制無(wú)記憶編碼信道模型

113.1.1信道的數(shù)學(xué)模型與分類(lèi)輸出的總113.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與分類(lèi)3.1.2信道參數(shù)3.1.3信道容量定義123.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與123.1.2信道參數(shù)1.信道疑義度

輸入信源X的熵：

(3-3)

是在接收到輸出Y以前，關(guān)于輸入變量X的先驗(yàn)不確定性的度量，所以稱為先驗(yàn)熵。一般信道中有干擾（噪聲）的存在，已知輸入變量X的概率分布為；而當(dāng)接收到輸出符號(hào)后，輸入符號(hào)的概率分布發(fā)生了變化，變成后驗(yàn)概率分布。那么，接收到輸出符號(hào)后，關(guān)于X的平均不確定性為:

(3-4)

條件熵：(3-5)

這個(gè)條件熵稱為信道疑義度。

133.1.2信道參數(shù)1.信道疑義度13133.1.2信道參數(shù)2．平均互信息

已知代表接收到輸出符號(hào)以前關(guān)于輸入變量X的平均不確定性，而代表接收到輸出符號(hào)后關(guān)于輸入變量X的平均不確定性。

（3-6）稱為X和Y之間的平均互信息。它代表接收到輸出符號(hào)后平均每個(gè)符號(hào)獲得的關(guān)于X的信息量。它也表明，輸入與輸出兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)約束程度。

根據(jù)式（3-3）和式（3-5）得

（3-7）

式中，X是輸入隨機(jī)變量，；Y是輸入隨機(jī)變量，。

143.1.2信道參數(shù)2．平均互信息14143.1.2信道參數(shù)

互信息是代表收到某消息y后獲得關(guān)于某事件x的信息量，即 （3-8）對(duì)于平均互信息

（3-9）它是互信息的統(tǒng)計(jì)平均值，所以平均互信息永遠(yuǎn)不會(huì)取負(fù)值。最差情況是平均互信息，也就是在信道輸出端接收到輸出符號(hào)Y后不獲得任何關(guān)于輸入符號(hào)X的信息量。153.1.2信道參數(shù)互信息是代表收153.1.2信道參數(shù)3．平均條件互信息

設(shè)三個(gè)離散概率空間X，Y，Z，，，，且有概率關(guān)系式

（3-10）

（3-11）

（3-12）163.1.2信道參數(shù)3．平均條件互信息 （163.1.2信道參數(shù)

圖3-5三個(gè)概率空間連接關(guān)系圖

（3-13）已知事件的條件下，接收到y(tǒng)后獲得關(guān)于某事件x的條件互信息

將式（3-13）和式（3-8）比較可以得到下面結(jié)論：條件互信息與互信息的區(qū)別僅在于先驗(yàn)概率和后驗(yàn)概率都是在某一特定條件下的取值。173.1.2信道參數(shù) 圖3-5三個(gè)概率空173.1.2信道參數(shù)

已知，后，總共獲得關(guān)于的互信息，即

（3-14）此關(guān)系式表明，yz聯(lián)合給出關(guān)于x的互信息量等于y給出關(guān)于x的互信息量與y已知條件下z給出關(guān)于x的互信息量之和。

（3-15）

（3-16）而平均互信息為

（3-17）183.1.2信道參數(shù) 已知183.1.2信道參數(shù)

（3-18）平均互信息是隨機(jī)變量X與聯(lián)合變量YZ之間統(tǒng)計(jì)依賴程度的信息測(cè)度。

例3-1設(shè)信源通過(guò)一干擾信道，接收符號(hào)為，信道傳遞概率如圖3-6所示。求：（1）信源X中事件和分別含有的自信息。（2）收到消息(j=1,2)后，獲得的關(guān)于（i=1，2）的信息量。（3）信源X和信源Y的信息熵。（4）信道疑義度和噪聲熵。（5）接收到信息Y后獲得的平均互信息。圖3-6二元信道傳遞概率193.1.2信道參數(shù) 193.1.2信道參數(shù)

解：（1）信源

事件含有的自信息為

事件含有的自信息為

（2）根據(jù)題意是計(jì)算

i=1，2；j=1，2

i=1，2；j=1，2

j=1，2

i=1，2；j=1，2要計(jì)算出必須先算出，所以，計(jì)算互信息時(shí)一般選用第二個(gè)等式進(jìn)行計(jì)算，可得203.1.2信道參數(shù)解：（1）信源事件含有203.1.2信道參數(shù)

滿足

（3）信源X的信息熵213.1.2信道參數(shù)滿足 （3）信源213.1.2信道參數(shù)

（4）信道疑義度

223.1.2信道參數(shù) （4）信道疑義度223.1.2信道參數(shù)

噪聲熵（5）接收到信息Y后獲得的平均互信息233.1.2信道參數(shù) 噪聲熵（5）接收233.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與分類(lèi)3.1.2信道參數(shù)3.1.3信道容量定義243.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與243.1.3信道容量的定義

信道的信息傳輸率就是平均互信息，即

（比特/符號(hào)） （3-19）信道中平均每個(gè)符號(hào)所能傳送的信息量，平均每個(gè)符號(hào)所能傳送的信息量，即信道的信息傳輸率R。

若平均傳輸一個(gè)符號(hào)需要t秒鐘，則信道每秒鐘平均傳輸?shù)男畔⒘繛?/p>

（bit/s） （3-20）一般稱此為信息傳輸速率。

253.1.3信道容量的定義 信道的信息253.1.3信道容量的定義

定理3-1平均互信息是輸入信源概率分布的型上凸函數(shù)。

定義這個(gè)最大的信息傳輸速率為信道容量C，即

（3-21）

其單位是比特/符號(hào)或奈特/符號(hào)，而相應(yīng)的輸入概率分布稱為最佳輸入分布。若平均傳輸一個(gè)符號(hào)需要t秒鐘，則信道單位時(shí)間為平均傳輸?shù)淖畲笮畔⒘繛?/p>

（bit/s） （3-22）263.1.3信道容量的定義 定理3-126第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計(jì)算3.3離散序列信道及其容量3.4獨(dú)立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配27第三章信道與信道容量3.1信道的基本概念27273.2離散信道的容量及其計(jì)算

3.2.1無(wú)干擾離散信道

3.2.2對(duì)稱離散無(wú)記憶信道容量3.2.3準(zhǔn)對(duì)稱離散無(wú)記憶信道容量3.2.4一般離散無(wú)記憶信道容量

283.2離散信道的容量及其計(jì)算3.2.1無(wú)干擾離散信283.2.1無(wú)干擾離散信道

考慮一個(gè)離散無(wú)干擾信道，其輸入字符集是，輸出字符集是，轉(zhuǎn)移概率如（3-23）式的定義，它由信道特征決定。若給定信道，即信道的轉(zhuǎn)移概率已定，則對(duì)應(yīng)于輸入符號(hào)的概率分布可以求出相應(yīng)的信道傳輸信息，即

（3-23）

（3-24）

（3-25）

（3-26）

293.2.1無(wú)干擾離散信道 考慮一293.2.1無(wú)干擾離散信道

（3-26）

C的單位是信道上每傳送一個(gè)符號(hào)（每使用一次信道）所能攜帶的比特?cái)?shù)，即比特/符號(hào)（bit/ymbol或bit/channeluse）。（3-27）

如不是以2為底而以e為底取自然對(duì)數(shù)時(shí)，信道容量的單位變?yōu)槟翁?符號(hào)（nat/symbol）。如果已知符號(hào)傳送周期是T（秒），也可以“秒”為單位來(lái)計(jì)算信道容量，此時(shí)，以比特/秒（bit/s）或奈特/秒（nat/s）為信道容量單位。轉(zhuǎn)移概率矩陣P已知后，由式（3-26）計(jì)算離散無(wú)干擾信道容量的關(guān)鍵是能找出使最大的的概率分布。若將定義為輸入符號(hào)的概率矢量，由式（3-23）及關(guān)系式303.2.1無(wú)干擾離散信道 （3-2303.2.1無(wú)干擾離散信道

可得

（3-29）（3-28）例3-2一個(gè)離散無(wú)噪信道如下所示。

其信道矩陣是單位矩陣，即因?yàn)閷?duì)于離散無(wú)噪信道有因此滿足

信道容量為

313.2.1無(wú)干擾離散信道 （3-313.2離散信道的容量及其計(jì)算

3.2.1無(wú)干擾離散信道3.2.2對(duì)稱離散無(wú)記憶信道容量3.2.3準(zhǔn)對(duì)稱離散無(wú)記憶信道容量3.2.4一般離散無(wú)記憶信道容量

323.2離散信道的容量及其計(jì)算3.2.1無(wú)干擾離散信323.2.2對(duì)稱離散無(wú)記憶信道容量

如果轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換（包含同樣元素），稱該矩陣是輸入對(duì)稱的。如果轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換（包含同樣元素），稱該矩陣是輸出對(duì)稱的；如果輸入、輸出都對(duì)稱，則稱該離散無(wú)記憶信道（DMC）為對(duì)稱的DMC信道。對(duì)稱DMC信道具有如下性質(zhì)：（1）對(duì)稱信道的條件熵與信道輸入符號(hào)的概率分布無(wú)關(guān)，且有

（2）當(dāng)信道輸入符號(hào)等概分布時(shí)，信道輸出符號(hào)也等概分布；反之，若信道輸出符號(hào)等概分布，則輸入符號(hào)必定也是等概分布。333.2.2對(duì)稱離散無(wú)記憶信道容量 如333.2.2對(duì)稱離散無(wú)記憶信道容量

（3）當(dāng)信道輸入符號(hào)等概分布時(shí)，對(duì)稱DMC信道達(dá)到其信道容量，為

（3-30）由于對(duì)稱信道的條件熵與信道輸入符號(hào)的概率分布無(wú)關(guān)，式

于是問(wèn)題就簡(jiǎn)化為。由信息論原理，當(dāng)輸出符號(hào)集的各符

或者這就是（3-30）式的來(lái)歷。（3-29）轉(zhuǎn)化成號(hào)等概出現(xiàn)時(shí)可得到最大信源熵，即（3-31）343.2.2對(duì)稱離散無(wú)記憶信道容量 （343.2.2對(duì)稱離散無(wú)記憶信道容量

例3-3信道轉(zhuǎn)移概率矩陣為，代入式（3-30）求得信道容量為

353.2.2對(duì)稱離散無(wú)記憶信道容量 例353.2離散信道的容量及其計(jì)算

3.2.1無(wú)干擾離散信道3.2.2對(duì)稱離散無(wú)記憶信道容量

3.2.3準(zhǔn)對(duì)稱離散無(wú)記憶信道容量3.2.4一般離散無(wú)記憶信道容量

363.2離散信道的容量及其計(jì)算3.2.1無(wú)干擾離散信363.2.3準(zhǔn)對(duì)稱離散無(wú)記憶信道容量

若信道矩陣M的列可以劃分成若干個(gè)互不相交的子集，即；，由為列組成的矩陣是對(duì)稱矩陣，則稱信道矩陣M所對(duì)應(yīng)的信道為準(zhǔn)對(duì)稱信道。

達(dá)到準(zhǔn)對(duì)稱離散信道容量的輸入分布（最佳輸入分布）是等概率分布，也可以計(jì)算準(zhǔn)對(duì)稱離散信道的信道容量為

式中，r是輸入符號(hào)集的個(gè)數(shù)，為準(zhǔn)對(duì)稱信道矩陣中的行元素。是第k個(gè)子矩陣中行元素之和，是第k個(gè)子矩陣中列

（3-32）設(shè)矩陣可劃分成n個(gè)互不相交的子集。元素之和，即

（3-33）

（3-34）當(dāng)輸入等概率分布時(shí)，式（3-33）和式（3-34）都與x無(wú)關(guān)。373.2.3準(zhǔn)對(duì)稱離散無(wú)記憶信道容量 373.2.3準(zhǔn)對(duì)稱離散無(wú)記憶信道容量

例3-4已知一個(gè)信道的信道轉(zhuǎn)移矩陣為，求該信道的容量。解：由P可看出信道的輸入符號(hào)有兩個(gè)，可設(shè)，信道的輸出符號(hào)有三個(gè)，用，，表示。由得聯(lián)合概率的矩陣為

恒定，與分布無(wú)關(guān)。

由得383.2.3準(zhǔn)對(duì)稱離散無(wú)記憶信道容量 383.2離散信道的容量及其計(jì)算

3.2.1無(wú)干擾離散信道3.2.2對(duì)稱離散無(wú)記憶信道容量

3.2.3準(zhǔn)對(duì)稱離散無(wú)記憶信道容量3.2.4一般離散無(wú)記憶信道容量

393.2離散信道的容量及其計(jì)算3.2.1無(wú)干擾離散信393.2.4

一般離散無(wú)記憶信道容量

式中，為拉格朗日乘子（待定常數(shù)）。解方程組（3-35）

（3-36）可先求解出達(dá)到極值的概率分布和拉格朗日乘子的值，然后再求解出信道容量C。（3-37）

403.2.4一般離散無(wú)記憶信道容量

403.2.4

一般離散無(wú)記憶信道容量

注意，式（3-37）中的對(duì)數(shù)是取任意大于1的數(shù)為底。

又因?yàn)?/p>

所以方程組式（3-36）變換成（3-38）

假設(shè)解得使平均互信息達(dá)到極值的輸入概率分布是（簡(jiǎn)寫(xiě)成或P）。然后把（3-38）中前r個(gè)方程式兩邊分別乘以達(dá)到，并求和得極值的輸入概率現(xiàn)令（3-39）

（3-40）

413.2.4一般離散無(wú)記憶信道容量

413.2.4

一般離散無(wú)記憶信道容量

式中，是輸出端接收到Y(jié)后獲得關(guān)于的信息量，即是對(duì)輸出端Y平均提供的互信息。上式中對(duì)數(shù)取不同的底的值與有關(guān)。根據(jù)式（3-38）

所以，對(duì)于一般離散信道有下述的定理。信源符號(hào)就得到相應(yīng)不同的單位。一般來(lái)講，和式（3-39）得定理3-2一般離散信道的平均互信息達(dá)到極大值（即等于滿足

（3-41）就是所求的信道容量。信道容量）的充要條件是輸入概率分布這時(shí)例3-5設(shè)離散無(wú)記憶信道輸入序列，輸出序列，其信道轉(zhuǎn)移矩陣為求信道容量和最佳分布。423.2.4一般離散無(wú)記憶信道容量

式423.2.4

一般離散無(wú)記憶信道容量

解：根據(jù)矩陣中元素的分布，可以設(shè)想最佳分布為，，，這樣信道的輸入和輸出就構(gòu)成了一一對(duì)應(yīng)的。關(guān)系，如圖3-8所示，接收方收到輸出符號(hào)集Y中的某個(gè)元素后，對(duì)發(fā)送方發(fā)送的是輸入符號(hào)集X中的哪個(gè)元素是完全確定的，即圖3-8取p(x2)=0時(shí)信道輸入和輸出的對(duì)應(yīng)關(guān)系若，則接收方收到中的某個(gè)符號(hào)后，關(guān)于發(fā)送的是中的哪個(gè)符號(hào)就會(huì)增加不確定性，即，從平均互信息量的表達(dá)式可看出，由于的非負(fù)性，這樣得到的平均互信息量就會(huì)減少，所以直觀地看，按設(shè)想的分布得到應(yīng)取最大值。433.2.4一般離散無(wú)記憶信道容量

433.2.4

一般離散無(wú)記憶信道容量

顯然滿足定理3-2的充要條件為故信道容量bit/symbol。443.2.4一般離散無(wú)記憶信道容量

44第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計(jì)算3.3離散序列信道及其容量3.4獨(dú)立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配45第三章信道與信道容量3.1信道的基本概念45453.3離散序列信道及其容量

圖3-9離散信道模型這種信道的傳遞概率滿足（3-43）

設(shè)離散無(wú)記憶信道的輸入符號(hào)集，輸出符號(hào)集，信道矩陣為且滿足463.3離散序列信道及其容量 圖463.3離散序列信道及其容量

則此無(wú)記憶信道的N次擴(kuò)展信道的數(shù)學(xué)模型如圖3-10所示。圖3-10N次擴(kuò)展信道因?yàn)樵谳斎腚S機(jī)序列中，每一個(gè)隨機(jī)變量各取值于同一輸入符號(hào)集A，而符號(hào)集A共有r個(gè)符號(hào)，所以隨機(jī)矢量的可能取值個(gè)。同理，隨機(jī)矢量的可能取值有個(gè)。根據(jù)信道無(wú)記憶的特性，可得N次擴(kuò)展信道的信道矩陣473.3離散序列信道及其容量 則473.3離散序列信道及其容量

（3-44）根據(jù)平均互信息的定義，可得無(wú)記憶信道的N次擴(kuò)展信道的平均互信息，即（3-45）

在圖3-9所示的一般離散信道模型中，設(shè)，其中且有

（1）當(dāng)信道是無(wú)記憶的，即信道傳遞概率滿足（3-46）（2）當(dāng)信道的輸入信源是無(wú)記憶的，即滿足

（3-47）

（3-48）

483.3離散序列信道及其容量 （3-4483.3離散序列信道及其容量

（3）當(dāng)信道和信源都是無(wú)記憶的時(shí)，即（3-43）和式（3-47）兩條件都滿足，有（3-49）

若信道的輸入序列中隨機(jī)變量不但取自同一信源符號(hào)集，并且具有同一種概率分布，而且通過(guò)相同的信道傳送到輸出端（即信道傳遞概率分布不隨i而改變，為時(shí)不變信道）因此有（3-50）

式中，N是序列的長(zhǎng)度。所以，對(duì)于此離散無(wú)記憶信道的N次擴(kuò)展信道來(lái)說(shuō)，則有若輸入信源也是無(wú)記憶的話，則有（3-51）

此式說(shuō)明當(dāng)信源是無(wú)記憶時(shí)，無(wú)記憶的N次擴(kuò)展信道的平均互信息等于原來(lái)信道的平均互信息的N倍。對(duì)于一般的離散無(wú)記憶信道的N次擴(kuò)展信道，因?yàn)橛?93.3離散序列信道及其容量 （3）當(dāng)493.3離散序列信道及其容量

所以其信道容量（3-52）

式中，令，這是某時(shí)刻i通過(guò)離散無(wú)記憶信道傳輸?shù)淖畲笮畔⒘俊?/p>

（3-53）

此式說(shuō)明離散無(wú)記憶的N次擴(kuò)展信道的信道容量等于原單符號(hào)離散信道的信道容量的N倍。且只有當(dāng)輸入信源是無(wú)記憶的及每一輸入變量，的時(shí)，才能達(dá)到這個(gè)信道容量NC。分布各自達(dá)到最佳分布一般情況下，消息序列在離散無(wú)記憶的N次擴(kuò)展信道中傳輸?shù)男畔⒘繛椋?-54）

503.3離散序列信道及其容量 所以其信50第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計(jì)算3.3離散序列信道及其容量3.4獨(dú)立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配51第三章信道與信道容量3.1信道的基本概念51513.4

獨(dú)立并聯(lián)信道及其容量

圖3-11N個(gè)獨(dú)立并聯(lián)信道獨(dú)立并聯(lián)信道又稱并用信道，也等價(jià)于時(shí)變的N次無(wú)記憶擴(kuò)展信道。設(shè)有N，它們的輸出分別是，它們。在這N個(gè)獨(dú)立并聯(lián)信道中，只與本信道的輸入有關(guān)，與其他信道輸入、輸出都個(gè)信道，它們的輸入分別是的傳遞概率分別是每一個(gè)信道的輸出無(wú)關(guān)。那么，這N個(gè)信道的聯(lián)合傳遞概率滿足（3-55）

相當(dāng)于信道是無(wú)記憶時(shí)應(yīng)滿足的條件。因此，對(duì)于N個(gè)獨(dú)立并聯(lián)信道有（3-56）

523.4獨(dú)立并聯(lián)信道及其容量 圖3-523.4

獨(dú)立并聯(lián)信道及其容量

式中，即聯(lián)合平均互信息不大于各信道的平均互信息之和。因此得獨(dú)立并聯(lián)信道的信道容量

（3-57）是各個(gè)獨(dú)立信道的信道容量，即

所以，獨(dú)立并聯(lián)信道的信道容量不大于各個(gè)信道的信道容量之和。只有當(dāng)輸入符號(hào)相互獨(dú)立，且輸入符號(hào)的概率分布達(dá)到各信道容量的最佳

（3-58）輸入分布時(shí)，獨(dú)立并聯(lián)信道的信道容量才等于各信道容量之和，即533.4獨(dú)立并聯(lián)信道及其容量 即聯(lián)合53第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計(jì)算3.3離散序列信道及其容量3.4獨(dú)立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配54第三章信道與信道容量3.1信道的基本概念54543.5串聯(lián)信道容量及數(shù)據(jù)處理定理

假設(shè)有以離散單符號(hào)信道，其輸入變量為X，取值，輸出變量Y，取值；并設(shè)另一離散單符號(hào)信道，其輸入變量為Y，輸出變量Z，取值。這兩信道串聯(lián)的傳遞概率是，而信道的傳遞概率起來(lái)，如圖3-12所示。這兩個(gè)信道的輸入和輸出符號(hào)集都是完備集。信道一般與前面的符號(hào)X和Y都有關(guān)，所以記為若信道的傳遞概率使其輸出Z只與輸入Y有關(guān)，與前面的輸入X無(wú)關(guān)，即滿足（3-59）

稱這兩信道的輸入和輸出X，Y，Z序列構(gòu)成馬爾可夫鏈。這兩個(gè)串聯(lián)信道可以等價(jià)成一個(gè)總的離散信道如圖3-13所示。其輸入為X，取值，輸出為Z，取值，此信道的傳遞概率為553.5串聯(lián)信道容量及數(shù)據(jù)處理定理 假設(shè)553.5串聯(lián)信道容量及數(shù)據(jù)處理定理

圖3-12串聯(lián)信道

圖3-13等價(jià)的總信道

（3-60）（3-61）

（3-62）

定理3-3離散串聯(lián)信道中，平均互信息滿足（3-63）

（3-64）

當(dāng)且僅當(dāng)對(duì)所有x，y，z，滿足（3-65）

或

（3-66）

時(shí)，式（3-63）或式（3-64）中等號(hào)成立。563.5串聯(lián)信道容量及數(shù)據(jù)處理定理圖3-563.5串聯(lián)信道容量及數(shù)據(jù)處理定理

證明根據(jù)平均互信息的定義得（3-67）

（3-68）

在式（3-67）和式（3-68）中，都是對(duì)X，Y，Z三個(gè)概率空間求均值。所以得

（3-69）由于為形上凸函數(shù)，得

573.5串聯(lián)信道容量及數(shù)據(jù)處理定理證明根據(jù)573.5串聯(lián)信道容量及數(shù)據(jù)處理定理

因?yàn)橐阎?/p>

及

所以可得

（3-70）

當(dāng)且僅當(dāng)（對(duì)所有x，y，z）時(shí)，式（3-69）才等于零，因而式（3-70）的等號(hào)才成立。同理（3-71）

當(dāng)且僅當(dāng)（對(duì)所有x，y，z都成立）時(shí)，等式成立。583.5串聯(lián)信道容量及數(shù)據(jù)處理定理因?yàn)橐阎?及583.5串聯(lián)信道容量及數(shù)據(jù)處理定理

定理3-4若X、Y、Z組成一個(gè)馬爾可夫鏈，則有

（3-72）

（3-73）

證明首先證明式（3-73）。因?yàn)閄、Y、Z是馬爾可夫鏈，所以滿足（對(duì)所有x，y，z）；則定理3-3中等式成立，得而又因式（3-71）成立，所以得其中等式成立的條件是（對(duì)所有x，y，z）（3-74）

再證（3-72）。因?yàn)閄、Y、Z是馬爾可夫鏈，可證得Z、Y、X也是馬爾可夫鏈，所以有（對(duì)所有x，y，z） （3-75）

運(yùn)用與定理3-4同樣的證明方法，可得（3-76）

593.5串聯(lián)信道容量及數(shù)據(jù)處理定理 593.5串聯(lián)信道容量及數(shù)據(jù)處理定理

當(dāng)且僅當(dāng)（對(duì)所有x，y，z都成立）時(shí)，式（3-76）的等號(hào)成立。另又可證得（3-77）

當(dāng)且僅當(dāng)（對(duì)所有x，y，z都成立）時(shí)，式（3-77）的等號(hào)成立。并得當(dāng)且僅當(dāng)（對(duì)所有x，y，z都成立）時(shí)，等式成立。

（3-78）

定理3-4是很重要的。式（3-72）和式（3-78）表明通過(guò)串聯(lián)信道的傳輸只會(huì)丟失更多的信息。

如果滿足（對(duì)所有x，y，z都成立）

（3-79）

603.5串聯(lián)信道容量及數(shù)據(jù)處理定理 603.5串聯(lián)信道容量及數(shù)據(jù)處理定理

即串聯(lián)信道的總的信道矩陣等于第一級(jí)信道矩陣時(shí)，這個(gè)條件顯然是滿足的。如果第二個(gè)信道是數(shù)據(jù)處理系統(tǒng)，定理3-4就表明通過(guò)數(shù)據(jù)處理后，一般只會(huì)增加信息的損失，最多保持原來(lái)獲得的信息，不可能比原來(lái)獲得的信息有所增加。也就是說(shuō)，對(duì)接收到的數(shù)據(jù)Y進(jìn)行處理后，無(wú)論變量Z是Y的確定對(duì)應(yīng)關(guān)系還是概率關(guān)系，絕不會(huì)減少關(guān)于X的不確定性。若要使數(shù)據(jù)處理后獲得的關(guān)于X的平均互信息保持不變，必須滿足（3-79）。故定理3-4稱為數(shù)據(jù)處理定理。（3-80）

圖3-14一系列串聯(lián)信道式（3-80）是定理3-4的推廣，就是數(shù)據(jù)處理定理。它說(shuō)明，在任何信息傳輸系統(tǒng)中，最后獲得的信息至多是信源所提供的信息。如果一旦在某一過(guò)程中丟失一些信息，以后的系統(tǒng)不管如何處理，如不觸及到丟失信息過(guò)程的輸入端，就不能再恢復(fù)已丟失的信息。613.5串聯(lián)信道容量及數(shù)據(jù)處理定理 613.5串聯(lián)信道容量及數(shù)據(jù)處理定理

根據(jù)信道容量的定義，串聯(lián)信道的信道容量為

（3-81）由式（3-80）可知：串聯(lián)的無(wú)源數(shù)據(jù)處理信道越多，其信道容量（最大信息傳輸）可能會(huì)越小，當(dāng)串聯(lián)信道數(shù)無(wú)限大時(shí)，信道容量就有可能趨于零。623.5串聯(lián)信道容量及數(shù)據(jù)處理定理 62第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計(jì)算3.3離散序列信道及其容量3.4獨(dú)立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配63第三章信道與信道容量3.1信道的基本概念63633.6連續(xù)信道及其容量

3.6.1連續(xù)單符號(hào)加性信道

3.6.2多維無(wú)記憶加性連續(xù)信道3.6.3加性高斯白噪聲信道的信道容量643.6連續(xù)信道及其容量3.6.1連續(xù)單符號(hào)加性信643.6.1連續(xù)單符號(hào)加性信道

圖3-15連續(xù)單符號(hào)信道單符號(hào)連續(xù)信道的平均互信息為，信息傳輸率為bit/符號(hào)。信道容量為（3-82）對(duì)于加性噪聲信道，容易證明得，則有（3-83）

因?yàn)椋?，，所以，即?dāng)信道輸入X是均值為0、方差為S的高斯分布隨機(jī)變量時(shí)，信息傳輸率達(dá)到最大值653.6.1連續(xù)單符號(hào)加性信道 653.6.1連續(xù)單符號(hào)加性信道

（3-84）式中是信號(hào)功率與噪聲功率之比，常稱為信噪比，用SNR表示，即?？梢?jiàn)信道容量取決于信道的信噪比。對(duì)于加性均值為0，平均功率為的非高斯噪聲信道，其信道容量有下列上下界（3-85）

式中是噪聲熵，P為輸出信號(hào)的功率；。

663.6.1連續(xù)單符號(hào)加性信道 663.6連續(xù)信道及其容量

3.6.1連續(xù)單符號(hào)加性信道3.6.2多維無(wú)記憶加性連續(xù)信道3.6.3加性高斯白噪聲信道的信道容量673.6連續(xù)信道及其容量3.6.1連續(xù)單符號(hào)加性信673.6.2多維無(wú)記憶加性連續(xù)信道

信道輸入隨機(jī)序列，輸出隨機(jī)序列，加性信道有，其中是均值為零的高斯噪聲，表示各單元時(shí)刻1，2，…，L上的噪聲，如圖3-11所示。由于信道無(wú)記憶，所以有。加性信道中噪聲隨機(jī)序列的各時(shí)刻分量是統(tǒng)計(jì)獨(dú)立的，即，各分量都是均值為0、方差為的高斯變量，所以多維無(wú)記憶高斯加性信道就可等價(jià)成L個(gè)獨(dú)立的并聯(lián)高斯加性信道。則bit/L維自由度 （3-86）

式中，是第l個(gè)單元時(shí)刻高斯噪聲的方差，均值為0。因此當(dāng)且僅當(dāng)?shù)母咚棺兞繒r(shí)，輸入隨機(jī)矢量X中各分量統(tǒng)計(jì)獨(dú)立，且是均值為0、方差為才能達(dá)到此信道容量。683.6.2多維無(wú)記憶加性連續(xù)信道 683.6.2多維無(wú)記憶加性連續(xù)信道

（1）當(dāng)每個(gè)單元時(shí)刻上的噪聲都是均值為0、方差為的高斯噪聲時(shí)，由式（3-86）得bit/L維自由度 （3-87）

當(dāng)且僅當(dāng)輸入矢量X的各分量統(tǒng)計(jì)獨(dú)立，且各分量是均值為0、方差為S的高斯變量時(shí)，信道中傳輸?shù)男畔⒙士蛇_(dá)到最大。（2）當(dāng)各單元時(shí)刻L個(gè)高斯噪聲均值為0、但方差不同且為時(shí)，若輸入信號(hào)的總平均功率受限，約束條件為（3-88）則此時(shí)各單元時(shí)刻的信號(hào)平均功率應(yīng)合理分配，才能使信道容量最大。

693.6.2多維無(wú)記憶加性連續(xù)信道 693.6.2多維無(wú)記憶加性連續(xù)信道

需要在式（3-88）的約束條件下，求式（3-86）中的分布。

作輔助函數(shù)令，，

（3-89）上式表示各單元時(shí)刻上信號(hào)平均功率與噪聲功率之和，即各個(gè)時(shí)刻的信道輸出功率相等，設(shè)為常數(shù)v，則則各單元時(shí)刻信號(hào)平均功率為

（3-90）此時(shí)信道容量703.6.2多維無(wú)記憶加性連續(xù)信道 703.6.2多維無(wú)記憶加性連續(xù)信道

，，

圖3-16“注水法”原理（Water-Filling）圖

這時(shí)信道容量為

713.6.2多維無(wú)記憶加性連續(xù)信道 713.6連續(xù)信道及其容量

3.6.1連續(xù)單符號(hào)加性信道3.6.2多維無(wú)記憶加性連續(xù)信道

3.6.3加性高斯白噪聲信道的信道容量723.6連續(xù)信道及其容量3.6.1連續(xù)單符號(hào)加性信723.6.3

加性高斯白噪聲信道的信道容量

，，

波形信道中，在限時(shí)，限頻條件下可轉(zhuǎn)化成多維連續(xù)信道，將輸入、輸出隨機(jī)過(guò)程轉(zhuǎn)化成L維隨機(jī)序列和，因而可得波形信道的平均互信息為隨機(jī)過(guò)程一般情況，波形信道都是研究單位時(shí)間內(nèi)的信息傳輸率，即bit/s信道容量為bit/s733.6.3加性高斯白噪聲信道的信道容量

733.6.3

加性高斯白噪聲信道的信道容量

，，

高斯白噪聲加性波形信道是經(jīng)常假設(shè)的一種信道，加入信道的噪聲是限帶的加性高斯白噪聲，其均值為0，功率譜密度為。因?yàn)橐话悖?，而低頻限帶高斯時(shí)刻內(nèi)，。這是多維無(wú)記憶高斯信道的頻帶寬度總是受限的，設(shè)其為W（即白噪聲的各樣本值彼此統(tǒng)計(jì)獨(dú)立，所以限頻高斯白噪聲過(guò)程可分解成L維統(tǒng)計(jì)獨(dú)立的隨機(jī)序列，在加性信道，根據(jù)式（3-86），信道容量為式中，是每個(gè)噪聲分量的功率，是每個(gè)信號(hào)樣本值的平均功率，設(shè)信號(hào)的平均功率受限于PS，則。信道的容量為bit/L維 （3-91）

743.6.3加性高斯白噪聲信道的信道容量

743.6.3

加性高斯白噪聲信道的信道容量

，，

高斯白噪聲加性信道單位時(shí)間的信道容量bit/s （3-92）

式中，是信號(hào)的平均功率；為高斯白噪聲在帶寬W內(nèi)的平均功率）?？梢?jiàn)信道容量與信噪功率比和帶寬有關(guān)。（功率譜密度為圖3-17信道容量與信噪比的關(guān)系下面對(duì)式（3-92）的香農(nóng)公式做深入討論，以說(shuō)明增加信道容量的途徑。（1）當(dāng)帶寬W一定時(shí)，信噪比SNR與信道容量呈對(duì)數(shù)關(guān)系，如圖3-17所示。若SNR增大，就增大，但增大到一定程度后就會(huì)趨于緩慢。這說(shuō)明增加輸入信號(hào)功率有助于容量的增大，但該方法是有限的；另一方面降低噪聲功率也是有用的，當(dāng)時(shí)，，即無(wú)噪聲信道的容量為無(wú)限大。753.6.3加性高斯白噪聲信道的信道容量

753.6.3

加性高斯白噪聲信道的信道容量

，，

（2）當(dāng)輸入信號(hào)功率一定，增加信道帶寬，容量可以增加，但到也隨之增加。當(dāng)時(shí)，，利用關(guān)系式（x很小時(shí)）可求出值，即一定階段后增加變得緩慢，因?yàn)楫?dāng)噪聲為加性高斯白噪聲時(shí)，隨著W的增加，噪聲功率該式說(shuō)明即使帶寬無(wú)限，信道容量仍是有限的。

（3）一定時(shí)，帶寬W越大，信噪比SNR可降低，即兩者是可以互換的。若有較大的傳輸帶寬，則在保持信號(hào)功率不變的情況下，可允許較大的噪聲，即系統(tǒng)的抗噪聲能力提高。無(wú)線通信中的擴(kuò)頻系統(tǒng)就是利用了這個(gè)原理，將所需傳送的信號(hào)擴(kuò)頻，使之遠(yuǎn)遠(yuǎn)大于原始信號(hào)帶寬，以增強(qiáng)抗干擾能力。763.6.3加性高斯白噪聲信道的信道容量

76第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計(jì)算3.3離散序列信道及其容量3.4獨(dú)立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配77第三章信道與信道容量3.1信道的基本概念77773.7信源與信道的匹配

，，

信道冗余度定義為（3-93）

式中，C是該信道的信道容量，是信源通過(guò)該信道實(shí)際傳輸?shù)钠骄畔⒘?。?-94）

在無(wú)損信道中，信道容量（r是信道輸入符號(hào)的個(gè)數(shù)）。而，這里是輸入信道的信源熵，因而（3-95）

對(duì)于無(wú)損信道，可以通過(guò)信源編碼，減少信源的冗余度，使信息傳輸率達(dá)到信道容量。783.7信源與信道的匹配

783.7信源與信道的匹配

，

例如，某離散無(wú)記憶信源為通過(guò)一無(wú)噪、無(wú)損二元離散信道進(jìn)行傳輸。我們可求得，二元離散信道的信道容量為（比特/信道符號(hào)）。此信源的信息熵為比特/信源符號(hào)。我們必須對(duì)信源S進(jìn)行二元編碼，才能使信源符號(hào)在此二元信道中傳輸。進(jìn)行二元編碼的結(jié)果可有許多種，若有可見(jiàn)，碼中每個(gè)信源符號(hào)需用3個(gè)二元符號(hào)，而碼中需用四個(gè)二元符號(hào)。對(duì)于碼，可得信道的信息傳輸率比特/信道符號(hào)；對(duì)于碼，比特/信道符號(hào)。這時(shí)，信道有冗余。

793.7信源與信道的匹配

793.7信源與信道的匹配

，

無(wú)失真信源編碼就是將信源輸出的消息變換成適合信道傳輸?shù)男滦旁吹南ⅲǚ?hào)）來(lái)傳輸，而使新信源的符號(hào)接近等概分布，新信源的熵接近最大熵，這樣，信道傳輸?shù)男畔⒘窟_(dá)到最大，信道冗余度接近于零，使信源和信道達(dá)到匹配，信道得到充分利用。803.7信源與信道的匹配

80第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計(jì)算3.3離散序列信道及其容量3.4獨(dú)立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配81第三章信道與信道容量3.1信道的基本概念1813.1信道的基本概念信道是傳送信息的載體（信號(hào)所通過(guò)的通道）。信息是抽象的，信道則是具體的。信道的作用在信息系統(tǒng)中用于傳輸與存儲(chǔ)信息，而在通信系統(tǒng)中則主要用于傳輸。823.1信道的基本概念信道是傳送信息的載體（823.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與分類(lèi)

3.1.2信道參數(shù)3.1.3信道容量定義833.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與833.1.1信道的數(shù)學(xué)模型與分類(lèi)1、信道的分類(lèi)信道可以從不同角度加以分類(lèi)，常用的有下面幾種分類(lèi)。從工程物理背景——傳輸介質(zhì)類(lèi)型。從數(shù)學(xué)描述方式——信號(hào)與干擾描述方式。從信道本身的參數(shù)類(lèi)型——恒參與變參。從用戶類(lèi)型——單用戶與多用戶。843.1.1信道的數(shù)學(xué)模型與分類(lèi)1、信道的分類(lèi)4843.1.1信道的數(shù)學(xué)模型與分類(lèi)傳輸介質(zhì)類(lèi)型信號(hào)與干擾類(lèi)型信道參量類(lèi)型用戶類(lèi)型853.1.1信道的數(shù)學(xué)模型與分類(lèi)傳輸介質(zhì)類(lèi)型信號(hào)與干擾853.1.1信道的數(shù)學(xué)模型與分類(lèi)圖3-1信道分類(lèi)舉例其中：C1為連續(xù)信道，調(diào)制信道；C2為離散信道，編碼信道；C3為半離散、半連續(xù)信道；C4為半連續(xù)、半離散信道。863.1.1信道的數(shù)學(xué)模型與分類(lèi)圖3-1信道分類(lèi)舉863.1.1信道的數(shù)學(xué)模型與分類(lèi)2、信道模型（1）調(diào)制信道模型

調(diào)制信道是為研究調(diào)制與解調(diào)問(wèn)題所建立的一種廣義信道，它所關(guān)心的是調(diào)制信道輸入信號(hào)形式和已調(diào)信號(hào)通過(guò)調(diào)制信道后的最終結(jié)果，對(duì)于調(diào)制信道內(nèi)部的變換過(guò)程并不關(guān)心。具有如下共性：①有一對(duì)（或多對(duì)）輸入端和一對(duì)（或多對(duì)）輸出端。②絕大多數(shù)的信道都是線性的，即滿足線性疊加原理。③信號(hào)通過(guò)信道具有一定的延遲時(shí)間而且它還會(huì)受到（固定的或時(shí)變的）損耗。④即使沒(méi)有信號(hào)輸入，在信道的輸出端仍可能有一定的功率輸出（噪聲）。873.1.1信道的數(shù)學(xué)模型與分類(lèi)2、信道模型7873.1.1信道的數(shù)學(xué)模型與分類(lèi)

圖3-2調(diào)制信道模型兩端信道模型，輸入輸出關(guān)系為：（3-1）其中，為輸入的已調(diào)信號(hào)；為信道總輸出波形；為加性噪聲，與相互獨(dú)立，無(wú)依賴關(guān)系。表示已調(diào)信號(hào)通過(guò)網(wǎng)絡(luò)所發(fā)生的（時(shí)變）線形變換?，F(xiàn)在，我們假定能把寫(xiě)為，其中，依賴于網(wǎng)絡(luò)的特性，是一種乘性干擾。于是上式可以表示為:（3-2）

883.1.1信道的數(shù)學(xué)模型與分類(lèi)圖3-2調(diào)制883.1.1信道的數(shù)學(xué)模型與分類(lèi)

由以上分析可知，信道對(duì)信號(hào)的影響可歸結(jié)為兩點(diǎn)：一是乘性干擾，二是加性干擾。實(shí)際的物理信道中，根據(jù)信道傳輸函數(shù)的時(shí)變特性的不同可以分為兩大類(lèi)：一類(lèi)是基本不隨時(shí)間變化，即信道對(duì)信號(hào)的影響是固定的或變化極為緩慢的，這類(lèi)信道稱為恒定參量信道，簡(jiǎn)稱恒參信道；另一類(lèi)信道是傳輸函數(shù)隨時(shí)間隨機(jī)速快變化，這類(lèi)信道稱為隨機(jī)參量信道，簡(jiǎn)稱隨參信道。

893.1.1信道的數(shù)學(xué)模型與分類(lèi)由以上893.1.1信道的數(shù)學(xué)模型與分類(lèi)

（2）編碼信道模型編碼信道包括調(diào)制信道、調(diào)制器和解調(diào)器，是一種數(shù)字信道或離散信道。由于信道噪聲或其他因素的影響，將導(dǎo)致輸出數(shù)字序列發(fā)生錯(cuò)誤，因此輸入、輸出數(shù)字序列之間的關(guān)系可以用一組轉(zhuǎn)移概率來(lái)表征。二進(jìn)制數(shù)字傳輸系統(tǒng)的一種簡(jiǎn)單的編碼信道模型如圖3-3所示：圖3-3二進(jìn)制編碼信道模型

903.1.1信道的數(shù)學(xué)模型與分類(lèi)（2）編碼信道模型903.1.1信道的數(shù)學(xué)模型與分類(lèi)

輸出的總的錯(cuò)誤概率為：

由于信道噪聲或其他因素影響導(dǎo)致輸出數(shù)字序列發(fā)生錯(cuò)誤是統(tǒng)計(jì)獨(dú)立的，根據(jù)無(wú)記憶編碼信道的性質(zhì)可以得到下式：

圖3-4給出了一個(gè)無(wú)記憶多進(jìn)制編碼信道模型。圖3-4多進(jìn)制無(wú)記憶編碼信道模型

913.1.1信道的數(shù)學(xué)模型與分類(lèi)輸出的總913.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與分類(lèi)3.1.2信道參數(shù)3.1.3信道容量定義923.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與923.1.2信道參數(shù)1.信道疑義度

輸入信源X的熵：

(3-3)

是在接收到輸出Y以前，關(guān)于輸入變量X的先驗(yàn)不確定性的度量，所以稱為先驗(yàn)熵。一般信道中有干擾（噪聲）的存在，已知輸入變量X的概率分布為；而當(dāng)接收到輸出符號(hào)后，輸入符號(hào)的概率分布發(fā)生了變化，變成后驗(yàn)概率分布。那么，接收到輸出符號(hào)后，關(guān)于X的平均不確定性為:

(3-4)

條件熵：(3-5)

這個(gè)條件熵稱為信道疑義度。

933.1.2信道參數(shù)1.信道疑義度13933.1.2信道參數(shù)2．平均互信息

已知代表接收到輸出符號(hào)以前關(guān)于輸入變量X的平均不確定性，而代表接收到輸出符號(hào)后關(guān)于輸入變量X的平均不確定性。

（3-6）稱為X和Y之間的平均互信息。它代表接收到輸出符號(hào)后平均每個(gè)符號(hào)獲得的關(guān)于X的信息量。它也表明，輸入與輸出兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)約束程度。

根據(jù)式（3-3）和式（3-5）得

（3-7）

式中，X是輸入隨機(jī)變量，；Y是輸入隨機(jī)變量，。

943.1.2信道參數(shù)2．平均互信息14943.1.2信道參數(shù)

互信息是代表收到某消息y后獲得關(guān)于某事件x的信息量，即 （3-8）對(duì)于平均互信息

（3-9）它是互信息的統(tǒng)計(jì)平均值，所以平均互信息永遠(yuǎn)不會(huì)取負(fù)值。最差情況是平均互信息，也就是在信道輸出端接收到輸出符號(hào)Y后不獲得任何關(guān)于輸入符號(hào)X的信息量。953.1.2信道參數(shù)互信息是代表收953.1.2信道參數(shù)3．平均條件互信息

設(shè)三個(gè)離散概率空間X，Y，Z，，，，且有概率關(guān)系式

（3-10）

（3-11）

（3-12）963.1.2信道參數(shù)3．平均條件互信息 （963.1.2信道參數(shù)

圖3-5三個(gè)概率空間連接關(guān)系圖

（3-13）已知事件的條件下，接收到y(tǒng)后獲得關(guān)于某事件x的條件互信息

將式（3-13）和式（3-8）比較可以得到下面結(jié)論：條件互信息與互信息的區(qū)別僅在于先驗(yàn)概率和后驗(yàn)概率都是在某一特定條件下的取值。973.1.2信道參數(shù) 圖3-5三個(gè)概率空973.1.2信道參數(shù)

已知，后，總共獲得關(guān)于的互信息，即

（3-14）此關(guān)系式表明，yz聯(lián)合給出關(guān)于x的互信息量等于y給出關(guān)于x的互信息量與y已知條件下z給出關(guān)于x的互信息量之和。

（3-15）

（3-16）而平均互信息為

（3-17）983.1.2信道參數(shù) 已知983.1.2信道參數(shù)

（3-18）平均互信息是隨機(jī)變量X與聯(lián)合變量YZ之間統(tǒng)計(jì)依賴程度的信息測(cè)度。

例3-1設(shè)信源通過(guò)一干擾信道，接收符號(hào)為，信道傳遞概率如圖3-6所示。求：（1）信源X中事件和分別含有的自信息。（2）收到消息(j=1,2)后，獲得的關(guān)于（i=1，2）的信息量。（3）信源X和信源Y的信息熵。（4）信道疑義度和噪聲熵。（5）接收到信息Y后獲得的平均互信息。圖3-6二元信道傳遞概率993.1.2信道參數(shù) 993.1.2信道參數(shù)

解：（1）信源

事件含有的自信息為

事件含有的自信息為

（2）根據(jù)題意是計(jì)算

i=1，2；j=1，2

i=1，2；j=1，2

j=1，2

i=1，2；j=1，2要計(jì)算出必須先算出，所以，計(jì)算互信息時(shí)一般選用第二個(gè)等式進(jìn)行計(jì)算，可得1003.1.2信道參數(shù)解：（1）信源事件含有1003.1.2信道參數(shù)

滿足

（3）信源X的信息熵1013.1.2信道參數(shù)滿足 （3）信源1013.1.2信道參數(shù)

（4）信道疑義度

1023.1.2信道參數(shù) （4）信道疑義度1023.1.2信道參數(shù)

噪聲熵（5）接收到信息Y后獲得的平均互信息1033.1.2信道參數(shù) 噪聲熵（5）接收1033.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與分類(lèi)3.1.2信道參數(shù)3.1.3信道容量定義1043.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與1043.1.3信道容量的定義

信道的信息傳輸率就是平均互信息，即

（比特/符號(hào)） （3-19）信道中平均每個(gè)符號(hào)所能傳送的信息量，平均每個(gè)符號(hào)所能傳送的信息量，即信道的信息傳輸率R。

若平均傳輸一個(gè)符號(hào)需要t秒鐘，則信道每秒鐘平均傳輸?shù)男畔⒘繛?/p>

（bit/s） （3-20）一般稱此為信息傳輸速率。

1053.1.3信道容量的定義 信道的信息1053.1.3信道容量的定義

定理3-1平均互信息是輸入信源概率分布的型上凸函數(shù)。

定義這個(gè)最大的信息傳輸速率為信道容量C，即

（3-21）

其單位是比特/符號(hào)或奈特/符號(hào)，而相應(yīng)的輸入概率分布稱為最佳輸入分布。若平均傳輸一個(gè)符號(hào)需要t秒鐘，則信道單位時(shí)間為平均傳輸?shù)淖畲笮畔⒘繛?/p>

（bit/s） （3-22）1063.1.3信道容量的定義 定理3-1106第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計(jì)算3.3離散序列信道及其容量3.4獨(dú)立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配107第三章信道與信道容量3.1信道的基本概念271073.2離散信道的容量及其計(jì)算

3.2.1無(wú)干擾離散信道

3.2.2對(duì)稱離散無(wú)記憶信道容量3.2.3準(zhǔn)對(duì)稱離散無(wú)記憶信道容量3.2.4一般離散無(wú)記憶信道容量

1083.2離散信道的容量及其計(jì)算3.2.1無(wú)干擾離散信1083.2.1無(wú)干擾離散信道

考慮一個(gè)離散無(wú)干擾信道，其輸入字符集是，輸出字符集是，轉(zhuǎn)移概率如（3-23）式的定義，它由信道特征決定。若給定信道，即信道的轉(zhuǎn)移概率已定，則對(duì)應(yīng)于輸入符號(hào)的概率分布可以求出相應(yīng)的信道傳輸信息，即

（3-23）

（3-24）

（3-25）

（3-26）

1093.2.1無(wú)干擾離散信道 考慮一1093.2.1無(wú)干擾離散信道

（3-26）

C的單位是信道上每傳送一個(gè)符號(hào)（每使用一次信道）所能攜帶的比特?cái)?shù)，即比特/符號(hào)（bit/ymbol或bit/channeluse）。（3-27）

如不是以2為底而以e為底取自然對(duì)數(shù)時(shí)，信道容量的單位變?yōu)槟翁?符號(hào)（nat/symbol）。如果已知符號(hào)傳送周期是T（秒），也可以“秒”為單位來(lái)計(jì)算信道容量，此時(shí)，以比特/秒（bit/s）或奈特/秒（nat/s）為信道容量單位。轉(zhuǎn)移概率矩陣P已知后，由式（3-26）計(jì)算離散無(wú)干擾信道容量的關(guān)鍵是能找出使最大的的概率分布。若將定義為輸入符號(hào)的概率矢量，由式（3-23）及關(guān)系式1103.2.1無(wú)干擾離散信道 （3-21103.2.1無(wú)干擾離散信道

可得

（3-29）（3-28）例3-2一個(gè)離散無(wú)噪信道如下所示。

其信道矩陣是單位矩陣，即因?yàn)閷?duì)于離散無(wú)噪信道有因此滿足

信道容量為

1113.2.1無(wú)干擾離散信道 （3-1113.2離散信道的容量及其計(jì)算

3.2.1無(wú)干擾離散信道3.2.2對(duì)稱離散無(wú)記憶信道容量3.2.3準(zhǔn)對(duì)稱離散無(wú)記憶信道容量3.2.4一般離散無(wú)記憶信道容量

1123.2離散信道的容量及其計(jì)算3.2.1無(wú)干擾離散信1123.2.2對(duì)稱離散無(wú)記憶信道容量

如果轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換（包含同樣元素），稱該矩陣是輸入對(duì)稱的。如果轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換（包含同樣元素），稱該矩陣是輸出對(duì)稱的；如果輸入、輸出都對(duì)稱，則稱該離散無(wú)記憶信道（DMC）為對(duì)稱的DMC信道。對(duì)稱DMC信道具有如下性質(zhì)：（1）對(duì)稱信道的條件熵與信道輸入符號(hào)的概率分布無(wú)關(guān)，且有

（2）當(dāng)信道輸入符號(hào)等概分布時(shí)，信道輸出符號(hào)也等概分布；反之，若信道輸出符號(hào)等概分布，則輸入符號(hào)必定也是等概分布。1133.2.2對(duì)稱離散無(wú)記憶信道容量 如1133.2.2對(duì)稱離散無(wú)記憶信道容量

（3）當(dāng)信道輸入符號(hào)等概分布時(shí)，對(duì)稱DMC信道達(dá)到其信道容量，為

（3-30）由于對(duì)稱信道的條件熵與信道輸入符號(hào)的概率分布無(wú)關(guān)，式

于是問(wèn)題就簡(jiǎn)化為。由信息論原理，當(dāng)輸出符號(hào)集的各符

或者這就是（3-30）式的來(lái)歷。（3-29）轉(zhuǎn)化成號(hào)等概出現(xiàn)時(shí)可得到最大信源熵，即（3-31）1143.2.2對(duì)稱離散無(wú)記憶信道容量 （1143.2.2對(duì)稱離散無(wú)記憶信道容量

例3-3信道轉(zhuǎn)移概率矩陣為，代入式（3-30）求得信道容量為

1153.2.2對(duì)稱離散無(wú)記憶信道容量 例1153.2離散信道的容量及其計(jì)算

3.2.1無(wú)干擾離散信道3.2.2對(duì)稱離散無(wú)記憶信道容量

3.2.3準(zhǔn)對(duì)稱離散無(wú)記憶信道容量3.2.4一般離散無(wú)記憶信道容量

1163.2離散信道的容量及其計(jì)算3.2.1無(wú)干擾離散信1163.2.3準(zhǔn)對(duì)稱離散無(wú)記憶信道容量

若信道矩陣M的列可以劃分成若干個(gè)互不相交的子集，即；，由為列組成的矩陣是對(duì)稱矩陣，則稱信道矩陣M所對(duì)應(yīng)的信道為準(zhǔn)對(duì)稱信道。

達(dá)到準(zhǔn)對(duì)稱離散信道容量的輸入分布（最佳輸入分布）是等概率分布，也可以計(jì)算準(zhǔn)對(duì)稱離散信道的信道容量為

式中，r是輸入符號(hào)集的個(gè)數(shù)，為準(zhǔn)對(duì)稱信道矩陣中的行元素。是第k個(gè)子矩陣中行元素之和，是第k個(gè)子矩陣中列

（3-32）設(shè)矩陣可劃分成n個(gè)互不相交的子集。元素之和，即

（3-33）

（3-34）當(dāng)輸入等概率分布時(shí)，式（3-33）和式（3-34）都與x無(wú)關(guān)。1173.2.3準(zhǔn)對(duì)稱離散無(wú)記憶信道容量 1173.2.3準(zhǔn)對(duì)稱離散無(wú)記憶信道容量

例