北工大信息論第四章信道及信道容量

第四章離散信道及其信道容量信道

——信息傳輸?shù)耐ǖ?/p>

信息論中與信源并列的另一個(gè)主要研究對(duì)象研究的主要內(nèi)容:

★信道的建模

★信道容量

★不同條件下充分利用信道容量的方法一.數(shù)學(xué)模型

干擾信道輸入信號(hào)x輸出信號(hào)yp(y|x)第一節(jié)信道模型及其分類(lèi)p(y|x)：反映信道的統(tǒng)計(jì)特性，即輸入輸出的依賴(lài)關(guān)系，又稱(chēng)信道的傳遞概率、轉(zhuǎn)移概率或傳輸概率。信道的數(shù)學(xué)模型：

{X，p(y|x)，Y}1.按其輸入/輸出信號(hào)在幅度和時(shí)間上的取值是離散或連續(xù)來(lái)分：幅度時(shí)間信道名稱(chēng)離散離散離散信道(discretechannel)，也稱(chēng)數(shù)字信道(digitalchannel)連續(xù)離散連續(xù)信道(continuouschannel)連續(xù)連續(xù)模擬信道(analogchannel)，也稱(chēng)波形信道(waveformchannel)離散連續(xù)理論、實(shí)用價(jià)值很小二.分類(lèi)2.按其輸入/輸出之間關(guān)系的記憶性劃分：無(wú)記憶信道：有記憶信道：3.按其輸入/輸出信號(hào)之間是否是確定關(guān)系來(lái)分：有噪信道：無(wú)噪信道：在某一時(shí)刻信道的輸出消息僅與當(dāng)前信道的輸入消息有關(guān)，而與之前時(shí)刻的信道輸入無(wú)關(guān)在任一時(shí)刻信道的輸出不僅與當(dāng)前輸入有關(guān)，而且還與以前時(shí)刻輸入有關(guān)存在噪聲，不存在確定關(guān)系

——實(shí)用價(jià)值大，研究的理想對(duì)象不存在噪聲，存在確定關(guān)系

——實(shí)用價(jià)值小4.按其輸入/輸出信號(hào)個(gè)數(shù)來(lái)分：兩端信道(兩用戶(hù)信道):只有一個(gè)輸入端和一個(gè)輸出端的單向通信的信道,又稱(chēng)為單路信道.多端信道(多用戶(hù)信道):信道的輸入輸出至少有一個(gè)具有兩個(gè)或兩個(gè)以上的信號(hào).多元接入信道廣播信道5.按信道的統(tǒng)計(jì)特性分：恒參信道變參信道一.定義1.定義——輸入/輸出在幅度和時(shí)間上都是離散的，并且在某一時(shí)刻信道的輸出消息只與當(dāng)前信道的輸入有關(guān)，而與之前時(shí)刻的信道輸入無(wú)關(guān)。2.數(shù)學(xué)模型：

離散信道對(duì)任意N長(zhǎng)的輸入、輸出序列有如果有

，則信道為平穩(wěn)的離散無(wú)記憶信道DMC。第二節(jié)離散無(wú)記憶信道DMC1.定義：2.傳輸概率

p(y|x)——可描述信道中干擾影響的大小，干擾存在，傳輸時(shí)可能發(fā)生錯(cuò)誤。二.單符號(hào)離散無(wú)記憶信道——完全反映信道的特性3.信道矩陣P4.信道輸出與輸入之間的關(guān)系

例4-1：其中：p表示傳輸中發(fā)生錯(cuò)誤的概率二元對(duì)稱(chēng)信道(BSC)(二進(jìn)制對(duì)稱(chēng)信道)

其中：p、q表示正確傳輸?shù)母怕?/p>

二元?jiǎng)h除信道(二進(jìn)制刪除信道)1.信道疑義度(損失熵)表示：由于信道的干擾，導(dǎo)致信道輸出端收到Y(jié)后，對(duì)輸入X仍然存在的平均不確定度。也可表示：由于信道干擾導(dǎo)致信息量的損失。信道X

Y三.信道疑義度和平均互信息信道H(X|Y)

X

YH(X)

I(X;Y)表示：接收端收到Y(jié)后獲得的關(guān)于X的信息量(即接收到的信息量)I(X;Y)=H(X)-H(X|Y)?定理1：

對(duì)于固定信道，I(X;Y)是信源概率分布p(x)的上凸函數(shù)。2.平均互信息定理2:

對(duì)于固定的信源分布，I(X;Y)是信道傳遞概率P(y|x)的下凸函數(shù)。

例4-2：考慮二元對(duì)稱(chēng)信道，其信源概率空間為

信道XY（0，1）（0，1）求其平均互信息解:應(yīng)用全概率公式則有：則平均互信息：當(dāng)信道固定，即p為一個(gè)固定常數(shù)時(shí)，可得到I(X;Y)是信源輸出分布ω的上凸函數(shù)。

當(dāng)信源固定，即ω是一個(gè)常數(shù)時(shí),可得到I(X;Y)是信道傳遞概率p的下凸函數(shù)。當(dāng)p=0.5時(shí)，I(X;Y)=0，在接收端未獲得信息量。

當(dāng)ω=1/2

時(shí)，即取極大值.例4-3：擲色子，如果結(jié)果是1，2，3，4，則拋一次硬幣；如果結(jié)果是5、6，則拋兩次硬幣。試計(jì)算從拋硬幣的結(jié)果可以得到多少擲色子的信息量。解：設(shè)擲色子結(jié)果是1，2，3，4為事件X=0，結(jié)果是5、6為事件X=1；Y=0表示拋硬幣出現(xiàn)0次正面,Y=1表示拋硬幣出現(xiàn)1次正面,Y=2表示拋硬幣出現(xiàn)2次正面。信源概率空間為信道矩陣為輸出符號(hào)的概率空間為則有：四.離散無(wú)記憶信道的N次擴(kuò)展信道N次擴(kuò)展信道信道例4-4：求二元無(wú)記憶對(duì)稱(chēng)信道的二次擴(kuò)展信道。解：輸入擴(kuò)展為：00，01，10，11輸出擴(kuò)展為：00，01，10，11傳遞矩陣擴(kuò)展為：請(qǐng)問(wèn)：與I（X；Y）之間的關(guān)系？

定理1:若信道的輸入、輸出分別為N長(zhǎng)序列X和Y，且信道是無(wú)記憶的，即：用兩個(gè)定理回答這個(gè)問(wèn)題定理2：若信道的輸入、輸出分別為N長(zhǎng)序列X和Y，且信源是無(wú)記憶的，即：由定理1和定理2當(dāng)信源和信道都是無(wú)記憶時(shí)有：

當(dāng)每個(gè)序列中的分量Xi取值于同一信源符號(hào)集，且具有同一種概率分布，則輸出Y的分量Yi也取值同一符號(hào)集，則各I（Xi；Yi）是相等的。即：對(duì)于N次擴(kuò)展，則有一.級(jí)聯(lián)信道（串聯(lián)信道）第三節(jié)信道組合消息依次通過(guò)幾個(gè)信道串行傳輸：信道1信道2XYZp(y|x)p(z|xy)級(jí)聯(lián)信道的平均互信息存在兩個(gè)定理:

定理1:級(jí)聯(lián)信道中的平均互信息滿(mǎn)足以下關(guān)系

Y確定后,Z不再與X有關(guān),只取決于信道2的轉(zhuǎn)移概率矩陣,則I(X;Z|Y)=0,這意味著X,Y,Z構(gòu)成一個(gè)一階馬爾可夫鏈.定理2:若隨機(jī)變量X,Y,Z構(gòu)成一個(gè)馬爾可夫鏈,則有可得：在任何信息傳輸系統(tǒng)中，最后獲得的信息至多是信源所提供的信息。如果一旦丟失信息，以后系統(tǒng)不管如何處理，如果不涉及到該信道過(guò)程的輸入端，都不能恢復(fù)已丟失的信息——信息不增性原理。當(dāng)信道不斷級(jí)聯(lián)時(shí)，信道的最終傳輸信息量趨于0串聯(lián)信道的總信道矩陣定理2表明：通過(guò)串聯(lián)信道的傳輸只會(huì)丟失信息，至多保持原來(lái)的信息量。例4-5：下圖中的X、Y、Z滿(mǎn)足馬氏鏈，求該串聯(lián)信道的總信道矩陣。b1a1a2c1b2c2b3c3XYZ1/31/31/31/21/21/31/32/32/31解：由圖可知——多個(gè)信道聯(lián)合起來(lái)使用12N并用信道

當(dāng)待發(fā)送的消息比較多時(shí)，可用多個(gè)信道并行傳送，香農(nóng)稱(chēng)之為平行信道有各自的輸入和輸出，最后總和。二.并聯(lián)信道信道1信道2信道N輸入并接信道

一個(gè)輸入多個(gè)輸出，且為相同的輸入。缺點(diǎn)是信道的利用率低，但可提高信息傳輸?shù)目煽啃浴Ｐ诺?信道2信道N和信道

傳輸信息時(shí)，每次只使用其中一個(gè)信道，它的信道矩陣：一.基本概念：

1.信道容量C：信道能無(wú)錯(cuò)誤地傳送的最大信息率第四節(jié)信道容量2.信道的信息傳輸率R

：信道中平均每符號(hào)所能傳送的信息量3.信道的信息傳輸速率：信道在單位時(shí)間內(nèi)平均傳輸信息量信道在單位時(shí)間內(nèi)傳輸?shù)淖畲笮畔⒘繛?/p>

例4-6：考慮二元對(duì)稱(chēng)信道，其信源概率空間為求該信道的信道容量。解：信道的平均互信息

當(dāng)ω=1-ω=1/2

時(shí)，I(X;Y)取極大值，即接收到的信息量最大，則信道容量為：C=maxI(X;Y)=1-H(p)由此可知：信道容量只是傳遞概率的函數(shù)1.無(wú)損信道：一個(gè)輸入對(duì)應(yīng)多個(gè)互不相交的輸出二.幾種特殊信道的信道容量H(Y|X)>0(稱(chēng)噪聲熵)則：信道容量：2.確定信道：一個(gè)輸出對(duì)應(yīng)多個(gè)不相交的輸入

信道疑義度H(X|Y)>0

單位：比特/符號(hào)3.無(wú)損確定信道：輸入與輸出一一對(duì)應(yīng)

H(Y|X)=0H(X|Y)=0

則I(X;Y)=H(X)=H(Y)——信道中沒(méi)有損失

單位：比特/符號(hào)

可知：對(duì)于無(wú)噪信道求C的問(wèn)題已從求I(X;Y)極值問(wèn)題退化成求H(X)或H(Y)極值問(wèn)題。如果信道矩陣的每一行(列）都是第一行（列）元素的不同排列，則稱(chēng)該信道為行（列）對(duì)稱(chēng)信道。如果信道矩陣的每一行都是第一行元素的不同排列，每一列并不都是第一列元素的不同排列，但是可以按照矩陣的列將信道矩陣劃分成或干對(duì)稱(chēng)的子矩陣，則稱(chēng)該信道為準(zhǔn)對(duì)稱(chēng)信道。若信道矩陣中，每一行(或列)都是第一行(或第一列)的元素的不同排列，則稱(chēng)為離散對(duì)稱(chēng)信道?！獙?duì)稱(chēng)信道—準(zhǔn)對(duì)稱(chēng)信道三.離散對(duì)稱(chēng)信道—對(duì)稱(chēng)信道1.定義：則稱(chēng)此信道為均勻信道。（對(duì)稱(chēng)信道的特例）如果對(duì)稱(chēng)信道的輸入輸出符號(hào)個(gè)數(shù)相同，均為r，且信道中總的錯(cuò)誤概率，平均分配給個(gè)輸出符號(hào)，即信道矩陣為注意：一般信道的信道矩陣的各行之和為1，各列之和不一定為1，但是均勻信道的各列之和為12.離散對(duì)稱(chēng)信道的C

式中

為信道矩陣中任一行的元素。

若一個(gè)離散對(duì)稱(chēng)信道具有r個(gè)輸入符號(hào)，s個(gè)輸出符號(hào)，則當(dāng)輸入為等概率分布時(shí)，達(dá)到信道容量C定理：證明：則有：結(jié)論:求離散對(duì)稱(chēng)信道的信道容量，實(shí)質(zhì)上是求一種輸入分布p(x)使輸出熵H(Y)達(dá)最大。例4-7：求具有以下信道矩陣的信道的信道容量解：分析可知這是一個(gè)對(duì)稱(chēng)信道，則信道容量為

結(jié)論：在該對(duì)稱(chēng)信道中，只有當(dāng)信道輸入符號(hào)等概分布時(shí)，每個(gè)符號(hào)平均能傳送的信息為0.126bit，一般情況下每個(gè)符號(hào)平均傳輸?shù)男畔⒍际切∮?.126bit

。例4-8：求均勻信道的信道容量。為正確傳遞概率為錯(cuò)誤傳遞概率對(duì)于二元對(duì)稱(chēng)信道：r=2，則信道容量C：解：均勻信道是對(duì)稱(chēng)信道的一種特例，則其信道容量用對(duì)稱(chēng)信道的信道容量的求解公式，則

引理：對(duì)于一個(gè)離散對(duì)稱(chēng)信道，只有當(dāng)信道輸入分布p(x)為等概率分布時(shí)，輸出分布才能為等概率分布。證明：設(shè)該信道有r個(gè)輸入符號(hào)，當(dāng)輸入等概分布時(shí)，有

根據(jù)全概率公式，輸出為

由對(duì)稱(chēng)信道可知，每列元素之和相等，設(shè)為則該矩陣所有元素之和為從矩陣的行可知所有元素之和為r，則所以有：表明：對(duì)于一個(gè)離散對(duì)稱(chēng)信道，當(dāng)信道輸入分布p(x)為等概率分布時(shí)，輸出分布為等概率分布。3.準(zhǔn)對(duì)稱(chēng)信道的C

求準(zhǔn)對(duì)稱(chēng)信道的信道容量，首先將信道矩陣劃分為若干個(gè)互不相交的對(duì)稱(chēng)子集，可以證明當(dāng)輸入等概分布時(shí)，達(dá)到信道容量為式中：n為輸入符號(hào)個(gè)數(shù)；是信道矩陣中任一行元素求的信息；r是互不相交的子集個(gè)數(shù)。Nk是第k個(gè)子矩陣中行元素之和；Mk是第k個(gè)子矩陣中列元素之和；例4-9：求二元對(duì)稱(chēng)刪除信道的信道容量。解：分析可知該信道分成對(duì)稱(chēng)的2個(gè)子信道則該信道是一個(gè)準(zhǔn)對(duì)稱(chēng)信道

其信道容量為

其中輸入符號(hào)個(gè)數(shù)n=2，則有：λ為拉格朗日乘子，待定常數(shù)根據(jù)高數(shù)知識(shí),首先構(gòu)造函數(shù)：設(shè)有一離散無(wú)記憶信道的輸入X取值于在的約束條件下求I(X;Y)的極值.信道矩陣P=輸出Y取值于四.一般離散無(wú)記憶信道的C對(duì)p(ai)

求偏導(dǎo)，并令偏導(dǎo)等于0，即：，代入I(X;Y)求出C根據(jù)約束條件，求出pi例4-10：設(shè)有擾離散信道的傳輸情況如圖所示，求C以及達(dá)到C時(shí)的輸入概率分布.利用對(duì)稱(chēng)信道的信道容量公式求得：解：I(X;Y)=H(Y)-H(Y|X)則有：達(dá)到C時(shí)的輸入分布：解：N個(gè)二元對(duì)稱(chēng)信道級(jí)聯(lián)后的總信道矩陣為例4-11：求N個(gè)相同的二元對(duì)稱(chēng)信道組成的級(jí)聯(lián)信道容量

12N單個(gè)二元對(duì)稱(chēng)信道的信道矩陣為五.組合信道的C1.級(jí)聯(lián)信道此時(shí)C=02.輸入并接信道信道1信道2信道NC大于任意一個(gè)組成信道的信道容量。上界為3.并用信道(獨(dú)立并聯(lián)信道)12N4.和信道信道1信道2信道N

即C為各組成信道的信道容量之和六.N次擴(kuò)展離散無(wú)記憶信道的信道容量

表示某時(shí)刻通過(guò)離散無(wú)記憶信道傳輸?shù)淖畲笮畔⒘?。則：

對(duì)于離散無(wú)記憶信道有：對(duì)于N次擴(kuò)展信道，任何時(shí)刻是相同的。七.香農(nóng)信道容量公式

限帶、加性白色高斯噪聲的信道容量

——著名的信道容量的香農(nóng)公式S：輸入信號(hào)平均功率B：信道通帶帶寬：噪聲的邊帶功率譜密度：信噪比

在這種信道中，輸入輸出信號(hào)和噪聲都被限制在一定的頻帶中，一般設(shè)此頻帶為［０，B］。信道傳輸?shù)馁M(fèi)用就是信號(hào)的功率。又設(shè)信道的噪聲為加性的、高斯的且具有平坦的功率譜，均值為０。

例4-12:

已知信道的帶寬B為3kHz,信號(hào)在信道傳輸中受到單邊功率譜密度為的加性白高斯噪聲的干擾,信號(hào)的平均功率S為9W.

(1)求信道的容量;(2)若信道帶寬增加到原來(lái)的10倍,并保持信道容量不變,那么信號(hào)平均功率要改變多少dB?解:

(1)信道容量為(2)帶寬變?yōu)?0B,而C保持不變,假設(shè)此時(shí)對(duì)應(yīng)的信號(hào)功率為則無(wú)損信道的剩余度第五節(jié)信源與信道匹配一.信道剩余度=C-I(X;Y)=C-R二.相對(duì)剩余度=1-R/C對(duì)于無(wú)損信道C=logr無(wú)損信道的相對(duì)剩余度信源的剩余度

對(duì)于無(wú)損信道，可通過(guò)信源編碼，減小信源的剩余度，提高信道的信息傳輸率使之達(dá)到C。例4-13：有一個(gè)二元對(duì)稱(chēng)信道，其信道矩陣如圖所示。設(shè)該信道以1500個(gè)二元符號(hào)/秒的速度傳輸輸入符號(hào)?，F(xiàn)有一消息序列共有14000個(gè)二元符號(hào)，并設(shè)在這消息中p(1)=p(0)=1/2。問(wèn)從信息傳輸?shù)慕嵌葋?lái)考慮，10秒內(nèi)能否將這消息序列無(wú)失真?zhèn)魉屯辍?000.980.020.98