信息理論基礎(chǔ)第四章信道及信道容量

信息理論基礎(chǔ)第四章信道及信道容量第一頁，共四十九頁，2022年，8月28日信道

——信息傳輸?shù)耐ǖ?/p>

與信源并列的另一個(gè)主要研究對(duì)象研究的主要內(nèi)容:

★信道的建模

★信道容量

★不同條件下充分利用信道容量的方法第二頁，共四十九頁，2022年，8月28日一.數(shù)學(xué)模型

干擾信道輸入信號(hào)x輸出信號(hào)yp(y|x)第一節(jié)信道模型及其分類p(y|x)：反映信道的統(tǒng)計(jì)特性，即輸入輸出的依賴關(guān)系，又稱信道的傳遞概率、轉(zhuǎn)移概率或傳輸概率。信道的數(shù)學(xué)模型：

{X，p(y|x)，Y}第三頁，共四十九頁，2022年，8月28日1.按其輸入/輸出信號(hào)在幅度和時(shí)間上的取值是離散或連續(xù)來分幅度時(shí)間信道名稱離散離散離散信道(discretechannel)，也稱數(shù)字信道(digitalchannel)連續(xù)離散連續(xù)信道(continuouschannel)連續(xù)連續(xù)模擬信道(analogchannel)，也稱波形信道(waveformchannel)離散連續(xù)理論、實(shí)用價(jià)值很小二.分類第四頁，共四十九頁，2022年，8月28日2.按其輸入/輸出之間關(guān)系的記憶性劃分無記憶信道：有記憶信道：3.按其輸入/輸出信號(hào)之間是否是確定關(guān)系來分有噪信道：無噪信道：在某一時(shí)刻信道的輸出消息僅與當(dāng)前信道的輸入消息有關(guān)，而與之前時(shí)刻的信道輸入無關(guān)在任一時(shí)刻信道的輸出不僅與當(dāng)前輸入有關(guān)，而且還與以前時(shí)刻輸入有關(guān)存在噪聲，不存在確定關(guān)系——實(shí)用價(jià)值大，研究的理想對(duì)象不存在噪聲，存在確定關(guān)系——實(shí)用價(jià)值小第五頁，共四十九頁，2022年，8月28日4.按其輸入/輸出信號(hào)個(gè)數(shù)來分兩端信道(兩用戶信道):只有一個(gè)輸入端和一個(gè)輸出端的單向通信的信道,又稱為單路信道.多端信道(多用戶信道):信道的輸入輸出至少有一個(gè)具有兩個(gè)或兩個(gè)以上的信號(hào).多元接入信道廣播信道5.按信道的統(tǒng)計(jì)特性分恒參信道變參信道第六頁，共四十九頁，2022年，8月28日一.定義如果有

，則信道為平穩(wěn)的離散無記憶信道DMC。第二節(jié)離散無記憶信道DMC1.定義——輸入/輸出在幅度和時(shí)間上都是離散的，并且在某一時(shí)刻信道的輸出消息只與當(dāng)前信道的輸入有關(guān)，而與之前時(shí)刻的信道輸入無關(guān)。2.數(shù)學(xué)模型

離散信道對(duì)任意N長的輸入、輸出序列有第七頁，共四十九頁，2022年，8月28日1.定義2.傳輸概率

p(y|x)——描述信道中干擾影響的大小二.單符號(hào)離散無記憶信道第八頁，共四十九頁，2022年，8月28日——完全反映信道的特性3.信道矩陣P4.信道輸出與輸入之間的關(guān)系

第九頁，共四十九頁，2022年，8月28日例4-1：其中：p表示傳輸中發(fā)生錯(cuò)誤的概率二元對(duì)稱信道(BSC)(二進(jìn)制對(duì)稱信道)第十頁，共四十九頁，2022年，8月28日

其中：p、q表示正確傳輸?shù)母怕?/p>

二元?jiǎng)h除信道(二進(jìn)制刪除信道)第十一頁，共四十九頁，2022年，8月28日1.信道疑義度(損失熵)表示：由于信道的干擾，導(dǎo)致信道輸出端收到Y(jié)后，對(duì)輸入X仍然存在的平均不確定度。也可表示：由于信道干擾導(dǎo)致信息量的損失。信道X

Y三.信道疑義度和平均互信息第十二頁，共四十九頁，2022年，8月28日信道H(X|Y)

X

YH(X)

I(X;Y)表示：接收端收到Y(jié)后獲得的關(guān)于X的信息量(即接收到的信息量)I(X;Y)=H(X)-H(X|Y)?定理1：

對(duì)于固定信道，I(X;Y)是信源概率分布p(x)的上凸函數(shù)。2.平均互信息定理2:

對(duì)于固定的信源分布，I(X;Y)是信道傳遞概率P(y|x)的下凸函數(shù)。

第十三頁，共四十九頁，2022年，8月28日例4-2：考慮二元對(duì)稱信道，其信源概率空間為信道XY（0，1）（0，1）求其平均互信息第十四頁，共四十九頁，2022年，8月28日解:應(yīng)用全概率公式則有：第十五頁，共四十九頁，2022年，8月28日則平均互信息：當(dāng)信道固定，即p為一個(gè)固定常數(shù)時(shí)，可得到I(X;Y)是信源輸出分布ω的上凸函數(shù)。

當(dāng)信源固定，即ω是一個(gè)常數(shù)時(shí),可得到I(X;Y)是信道傳遞概率p的下凸函數(shù)。當(dāng)p=0.5時(shí)，I(X;Y)=0，在接收端未獲得信息量。

當(dāng)ω=1/2時(shí)，即取極大值.第十六頁，共四十九頁，2022年，8月28日例4-3：擲色子，如果結(jié)果是1，2，3，4，則拋一次硬幣；如果結(jié)果是5、6，則拋兩次硬幣。試計(jì)算從拋硬幣的結(jié)果可以得到多少擲色子的信息量。解：設(shè)擲色子結(jié)果是1，2，3，4為事件X=0，結(jié)果是5、6為事件X=1；Y=0表示拋硬幣出現(xiàn)0次正面,Y=1表示拋硬幣出現(xiàn)1次正面,Y=2表示拋硬幣出現(xiàn)2次正面。信源概率空間為信道矩陣為輸出符號(hào)的概率空間為則有：第十七頁，共四十九頁，2022年，8月28日四.離散無記憶信道的N次擴(kuò)展信道N次擴(kuò)展信道信道第十八頁，共四十九頁，2022年，8月28日例4-4：求二元無記憶對(duì)稱信道的二次擴(kuò)展信道。解：輸入擴(kuò)展為：00，01，10，11輸出擴(kuò)展為：00，01，10，11傳遞矩陣擴(kuò)展為：請(qǐng)問：與I（X；Y）之間的關(guān)系？第十九頁，共四十九頁，2022年，8月28日

定理1:若信道的輸入、輸出分別為N長序列X和Y，且信道是無記憶的，即：用兩個(gè)定理回答這個(gè)問題定理2：若信道的輸入、輸出分別為N長序列X和Y，且信源是無記憶的，即：第二十頁，共四十九頁，2022年，8月28日由定理1和定理2當(dāng)信源和信道都是無記憶時(shí)有：

當(dāng)每個(gè)序列中的分量Xi取值于同一信源符號(hào)集，且具有同一種概率分布，則輸出Y的分量Yi也取值同一符號(hào)集，則各I(Xi；Yi)是相等的。即：對(duì)于N次擴(kuò)展，則有第二十一頁，共四十九頁，2022年，8月28日一.級(jí)聯(lián)信道（串聯(lián)信道）信道1信道2XYZp(y|x)p(z|xy)第三節(jié)信道組合消息依次通過幾個(gè)信道串行傳輸：當(dāng)信道不斷級(jí)聯(lián)時(shí)，信道的最終傳輸信息量趨于0串聯(lián)信道的總信道矩陣第二十二頁，共四十九頁，2022年，8月28日例4-5：下圖中的X、Y、Z滿足馬氏鏈，求該串聯(lián)信道的總信道矩陣。b1a1a2c1b2c2b3c3XYZ1/31/31/31/21/21/31/32/32/31解：由圖可知第二十三頁，共四十九頁，2022年，8月28日——多個(gè)信道聯(lián)合起來使用12N并用信道

當(dāng)待發(fā)送的消息比較多時(shí)，可用多個(gè)信道并行傳送，香農(nóng)稱之為平行信道有各自的輸入和輸出，最后總和。二.并聯(lián)信道第二十四頁，共四十九頁，2022年，8月28日信道1信道2信道N輸入并接信道

一個(gè)輸入多個(gè)輸出，且為相同的輸入。缺點(diǎn)是信道的利用率低，但可提高信息傳輸?shù)目煽啃?。信?信道2信道N和信道

傳輸信息時(shí)，每次只使用其中一個(gè)信道，它的信道矩陣：第二十五頁，共四十九頁，2022年，8月28日一.基本概念：1.信道容量C：信道能無錯(cuò)誤地傳送的最大信息率第四節(jié)信道容量2.信道的信息傳輸率R

：信道中平均每符號(hào)所能傳送的信息量3.信道的信息傳輸速率：信道在單位時(shí)間內(nèi)平均傳輸信息量信道在單位時(shí)間內(nèi)傳輸?shù)淖畲笮畔⒘繛?/p>

第二十六頁，共四十九頁，2022年，8月28日例4-6：考慮二元對(duì)稱信道，其信源概率空間為求該信道的信道容量。解：信道的平均互信息

當(dāng)ω=1-ω=1/2時(shí)，I(X;Y)取極大值，即接收到的信息量最大，則信道容量為：C=maxI(X;Y)=1-H(p)由此可知：信道容量只是傳遞概率的函數(shù)第二十七頁，共四十九頁，2022年，8月28日1.無損信道：一個(gè)輸入對(duì)應(yīng)多個(gè)互不相交的輸出二.幾種特殊信道的信道容量H(Y|X)>0(稱噪聲熵)則：信道容量第二十八頁，共四十九頁，2022年，8月28日2.確定信道：一個(gè)輸出對(duì)應(yīng)多個(gè)不相交的輸入

信道疑義度H(X|Y)>0

單位：比特/符號(hào)第二十九頁，共四十九頁，2022年，8月28日3.無損確定信道：輸入與輸出一一對(duì)應(yīng)

H(Y|X)=0H(X|Y)=0則I(X;Y)=H(X)=H(Y)——信道中沒有損失

單位：比特/符號(hào)

可知：對(duì)于無噪信道求C的問題已從求I(X;Y)極值問題退化成求H(X)或H(Y)極值問題。第三十頁，共四十九頁，2022年，8月28日如果信道矩陣的每一行(列）都是第一行（列）元素的不同排列，則稱該信道為行（列）對(duì)稱信道。若信道矩陣中，每一行(或列)都是第一行(或第一列)的元素的不同排列，則稱為離散對(duì)稱信道?！獙?duì)稱信道三.離散對(duì)稱信道—對(duì)稱信道1.定義：第三十一頁，共四十九頁，2022年，8月28日則稱此信道為均勻信道。（對(duì)稱信道的特例）如果對(duì)稱信道的輸入輸出符號(hào)個(gè)數(shù)相同，均為r，且信道中總的錯(cuò)誤概率，平均分配給個(gè)輸出符號(hào)，即信道矩陣為注意：一般信道的信道矩陣的各行之和為1，各列之和不一定為1，但是均勻信道的各列之和為1第三十二頁，共四十九頁，2022年，8月28日2.離散對(duì)稱信道的C式中

為信道矩陣中任一行的元素。

若一個(gè)離散對(duì)稱信道具有r個(gè)輸入符號(hào)，s個(gè)輸出符號(hào)，則當(dāng)輸入為等概率分布時(shí)，達(dá)到信道容量C定理：第三十三頁，共四十九頁，2022年，8月28日證明：則有：結(jié)論:求離散對(duì)稱信道的信道容量，實(shí)質(zhì)上是求一種輸入分布p(x)使輸出熵H(Y)達(dá)最大。第三十四頁，共四十九頁，2022年，8月28日例4-7：求具有以下信道矩陣的信道的信道容量解：分析可知這是一個(gè)對(duì)稱信道，則信道容量為

結(jié)論：在該對(duì)稱信道中，只有當(dāng)信道輸入符號(hào)等概分布時(shí)，每個(gè)符號(hào)平均能傳送的信息為0.126bit，一般情況下每個(gè)符號(hào)平均傳輸?shù)男畔⒍际切∮?.126bit。第三十五頁，共四十九頁，2022年，8月28日例4-8：求均勻信道的信道容量。為正確傳遞概率為錯(cuò)誤傳遞概率對(duì)于二元對(duì)稱信道：r=2，則信道容量C：解：均勻信道是對(duì)稱信道的一種特例，則其信道容量用對(duì)稱信道的信道容量的求解公式，則

第三十六頁，共四十九頁，2022年，8月28日引理：對(duì)于一個(gè)離散對(duì)稱信道，只有當(dāng)信道輸入分布p(x)為等概率分布時(shí)，輸出分布才能為等概率分布。表明：對(duì)于一個(gè)離散對(duì)稱信道，當(dāng)信道輸入分布p(x)為等概率分布時(shí)，輸出分布為等概率分布。第三十七頁，共四十九頁，2022年，8月28日λ為拉格朗日乘子，待定常數(shù)根據(jù)高數(shù)知識(shí),首先構(gòu)造函數(shù)：設(shè)有一離散無記憶信道的輸入X取值于在的約束條件下求I(X;Y)的極值.信道矩陣P=輸出Y取值于四.一般離散無記憶信道的C對(duì)p(ai)求偏導(dǎo)，并令偏導(dǎo)等于0，即：，代入I(X;Y)求出C根據(jù)約束條件，求出pi第三十八頁，共四十九頁，2022年，8月28日解：N個(gè)二元對(duì)稱信道級(jí)聯(lián)后的總信道矩陣為例4-9：求N個(gè)相同的二元對(duì)稱信道組成的級(jí)聯(lián)信道容量

12N單個(gè)二元對(duì)稱信道的信道矩陣為五.組合信道的C1.級(jí)聯(lián)信道此時(shí)C=0第三十九頁，共四十九頁，2022年，8月28日2.輸入并接信道信道1信道2信道NC大于任意一個(gè)組成信道的信道容量。上界為第四十頁，共四十九頁，2022年，8月28日3.并用信道(獨(dú)立并聯(lián)信道)12N4.和信道信道1信道2信道N

即C為各組成信道的信道容量之和第四十一頁，共四十九頁，2022年，8月28日六.N次擴(kuò)展離散無記憶信道的信道容量

表示某時(shí)刻通過離散無記憶信道傳輸?shù)淖畲笮畔⒘俊t

對(duì)于離散無記憶信道有：對(duì)于N次擴(kuò)展信道，任何時(shí)刻是相同的。第四十二頁，共四十九頁，2022年，8月28日七.模擬信道信道容量

限帶、加性白色高斯噪聲的信道容量

——著名的信道容量的香農(nóng)公式S：輸入信號(hào)平均功率B：信道通帶帶寬：噪聲的邊帶功率譜密度：信噪比

在這種信道中，輸入輸出信號(hào)和噪聲都被限制在一定的頻帶中，一般設(shè)此頻帶為［０，B］。信道傳輸?shù)馁M(fèi)用就是信號(hào)的功率。又設(shè)信道的噪聲為加性的、高斯的且具有平坦的功率譜，均值為０。第四十三頁，共四十九頁，2022年，8月28日

例4-10:

已知信道的帶寬B為3kHz,信號(hào)在信道傳輸中受到單邊功率譜密度為的加性白高斯噪聲的干擾,信號(hào)的平均功率S為9W.

(1)求信道的容量;(2)若信道帶寬增加到原來的10倍,并保持信道容量不變,那么信號(hào)平均功率要改變多少dB?解:

(1)信道容量為(2)帶寬變?yōu)?0B,而C保持不變,假設(shè)此時(shí)對(duì)應(yīng)的信號(hào)功率為則第四十四頁，共四十九頁，2022年，8月28日無損信道的剩余度第五節(jié)信源與信道匹配一.信道剩余度=C-I(X;Y)=C-R二.相對(duì)剩余度=1-R/C對(duì)于無損信道C=logr無損信道的相對(duì)剩余度信源的剩余度

對(duì)于無損信道，可通過信源編碼，減小信源的剩余度，提高信道的信息傳輸率使之達(dá)到C。第四十五頁，共四十九頁，2022年，8月28日例4-11：有一個(gè)二元對(duì)稱信道，其信道矩陣如圖所示。設(shè)該信道以1500個(gè)二元符號(hào)/秒的速度傳輸輸入符號(hào)。現(xiàn)有一消息序列共有14000個(gè)二元符號(hào)，并設(shè)在這消息中p(1)=p(0)=1/2。問從信息傳輸?shù)慕嵌葋砜紤]，10秒內(nèi)能否將這消息序列無失真?zhèn)魉屯辍?000.980.020.980.021解：

分析得消息信源的熵為H（X）=1比特則這個(gè)消息序列含有信息量