物理第3章信道與信道容量課件

1、第3章信道與信道容量信道的基本概念離散單個(gè)符號(hào)信道及其容量離散序列信道及其容量連續(xù)信道及其容量1信道信道：信息傳輸?shù)耐ǖ?在通信中,信道按其物理組成常被分成微波信道、光纖信道、電纜信道等。信號(hào)在這些信道中傳輸?shù)倪^(guò)程遵循不同的物理規(guī)律, 通信技術(shù)必須研究信號(hào)在這些信道中傳輸時(shí)的特性信息論不研究信號(hào)在信道中傳輸?shù)奈锢磉^(guò)程,并假定信道的傳輸特性已知,這樣信息論就可以抽象地將信道用下圖所示的模型來(lái)描述。信 道輸入量X(隨機(jī)過(guò)程)輸出量Y(隨機(jī)過(guò)程)p(Y|X)23.1信道的基本概念3.1.1 信道分類(lèi)用戶(hù)數(shù)量：?jiǎn)斡脩?hù)、多用戶(hù)輸入端和輸出端關(guān)系：無(wú)反饋、有反饋信道參數(shù)與時(shí)間的關(guān)系：固參、時(shí)變參噪聲種類(lèi)：

2、 隨機(jī)差錯(cuò)、突發(fā)差錯(cuò)輸入輸出特點(diǎn)：離散、連續(xù)、半離散半連續(xù)、波形信道35.按輸入/輸出信號(hào)在幅度和時(shí)間上的取值:離散信道：輸入和輸出的隨機(jī)序列取值都是離散的信道連續(xù)信道：輸入和輸出的隨機(jī)序列取值在幅度上連續(xù)、時(shí)間上離散的信道半離散(半連續(xù))信道：輸入變量取值離散而輸出變量取值連續(xù)輸入變量取值連續(xù)而輸出變量取值離散波形信道：信道的輸入和輸出在時(shí)間上和幅度上均連續(xù)的隨機(jī)信號(hào)。 46.按輸入/輸出之間關(guān)系的記憶性來(lái)劃分： 無(wú)記憶信道：信道的輸出只與信道該時(shí)刻的輸入有關(guān),而與其他時(shí)刻的輸入無(wú)關(guān)有記憶信道：信道的輸出不但與信道現(xiàn)時(shí)的輸入有關(guān)而且還與以前時(shí)刻的輸入有關(guān)57.按輸入輸出信號(hào)之間的關(guān)系是否是確

3、定關(guān)系:無(wú)干擾信道：輸入/輸出符號(hào)之間有確定的一一對(duì)應(yīng)關(guān)系有干擾信道：輸入/輸出之間關(guān)系是一種統(tǒng)計(jì)依存的關(guān)系輸入/輸出的統(tǒng)計(jì)關(guān)系：離散無(wú)記憶信道：用條件概率矩陣來(lái)描述。離散有記憶信道：可像有記憶信源中那樣引入狀態(tài)的概念。6設(shè)信道的輸入X=(X1, X2 Xi, ), Xi a1 an 輸出Y= (Y1, Y2 Yj,), Yj b1 bm信道轉(zhuǎn)移概率矩陣p(Y|X)：描述輸入/輸出的統(tǒng)計(jì)依賴(lài)關(guān)系,反映信道統(tǒng)計(jì)關(guān)系信 道XYp(Y|X)3.1.2 信道參數(shù)7（1）無(wú)干擾(無(wú)噪聲)信道無(wú)干擾(無(wú)噪聲)信道信道的輸出信號(hào)Y與輸入信號(hào)X之間有確定的關(guān)系Y=f (X),已知X后就確知Y轉(zhuǎn)移概率:8（2）

4、有干擾無(wú)記憶信道有干擾無(wú)記憶信道信道的輸出信號(hào)Y與輸入信號(hào)X之間沒(méi)有確定的關(guān)系,但轉(zhuǎn)移概率滿(mǎn)足:有干擾無(wú)記憶信道可分為:二進(jìn)制離散信道離散無(wú)記憶信道離散輸入、連續(xù)輸出信道波形信道9二進(jìn)制離散信道BSC輸入符號(hào)X取值0,1；輸出符號(hào)Y取值0,1 很重要的一種特殊信道信道轉(zhuǎn)移概率： p(0|0) = 1p p(1|1) = 1p p(0|1) = p p(1|0) = p0101pp1-p1-p無(wú)錯(cuò)誤傳輸?shù)母怕蕚鬏敯l(fā)生錯(cuò)誤的概率1)二進(jìn)制對(duì)稱(chēng)信道（BSC）102) 離散無(wú)記憶信道（DMC）11P:轉(zhuǎn)移概率矩陣已知X,信道輸出Y表現(xiàn)出來(lái)的統(tǒng)計(jì)特性完全描述了信道的統(tǒng)計(jì)特性,其中有些概率是信道干擾引起的

5、錯(cuò)誤概率,有些是正確傳輸?shù)母怕兽D(zhuǎn)移概率矩陣123) 離散輸入、連續(xù)輸出信道假設(shè)信道輸入符號(hào)選自一個(gè)有限的、離散的輸入字符集X=a1，a2，an，而信道（檢測(cè)器）輸出未經(jīng)量化（m），這時(shí)的譯碼器輸人可以是實(shí)軸上的任意值，即y=- ，。這樣的信道模型為離散時(shí)間無(wú)記憶信道。加性高斯白噪聲信道（AWGN）134) 波形信道信道的轉(zhuǎn)移概率密度函數(shù)等于噪聲的概率密度函數(shù)14（3）有干擾有記憶信道（略） 說(shuō)明：設(shè)計(jì)和分析離散信道編、解碼器的性能，從工程角度出發(fā)，最常用的是DMC信道模型或其簡(jiǎn)化形式BSC信道模型；若分析性能的理論極限，則多選用離散輸入、連續(xù)輸出信道模型；如果我們是想要設(shè)計(jì)和分析數(shù)字調(diào)制器和解

6、調(diào)器的性能，則可采用波形信道模型。 本書(shū)的主題是編、解碼，因此主要使用DMC信道模型。 15我們研究信道的目的是要討論信道中平均每個(gè)符號(hào)所能傳送的信息量,即信道的信息傳輸率R平均互信息I (X;Y)：接收到符號(hào)Y后平均每個(gè)符號(hào)獲得的關(guān)于X的信息量。信道的信息傳輸率就是平均互信息 3.1.3 信道容量的定義16信道容量C：最大的信息傳輸率單位時(shí)間的信道容量：信息傳輸率R=I(X;Y)=H(X)H(X/Y) 比特/符號(hào)信息傳輸速率信道在單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘慷x為Rt=I(X;Y)/t 比特/秒173.2離散單個(gè)符號(hào)信道及其容量信息傳輸率信道在單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘慷x為信息傳輸速率R=I

7、(X;Y)=H(X)H(X/Y) 比特/符號(hào)Rt=I(X;Y)/t 比特/秒信道容量 比特/符號(hào)（bits/symbol） 183.2離散單個(gè)符號(hào)信道及其容量3.2.1 無(wú)干擾離散信道的信道容量193.2.1 無(wú)干擾離散信道設(shè)信道的輸入XA=a1 an,輸出YB=b1 bm無(wú)噪無(wú)損信道輸入和輸出符號(hào)之間有確定的一一對(duì)應(yīng)關(guān)系X111a1 b1a2 b2a3 b3Y20無(wú)干擾離散信道無(wú)噪無(wú)損信道Xa1 b1a2 b2an-1 bn-1an bn11Y21無(wú)干擾離散信道無(wú)噪無(wú)損信道由計(jì)算得：噪聲熵H(Y|X) = 0 疑義度H(X|Y) = 022無(wú)干擾離散信道無(wú)噪有損信道多個(gè)輸入變成一個(gè)輸出(nm

8、)Xa1 Ya2 b1a3a4 b2a511111輸出Y是輸入X的確定函數(shù),但不是一一對(duì)應(yīng),而是多一對(duì)應(yīng)關(guān)系。23無(wú)干擾離散信道無(wú)噪有損信道多個(gè)輸入變成一個(gè)輸出(nm)噪聲熵H(Y|X) 0 疑義度H(X|Y) 0信道中接收到符號(hào)Y后不能完全消除對(duì)X的不確定性,信息有損失。但輸出端Y的平均不確定性因噪聲熵等于零而沒(méi)有增加。24無(wú)干擾離散信道有噪無(wú)損信道一個(gè)輸入對(duì)應(yīng)多個(gè)輸出(nm)X b1a1 b2 b3a2 b4 b51/31/31/31/43/4計(jì)算得同理由Y25無(wú)干擾離散信道有噪無(wú)損信道一個(gè)輸入對(duì)應(yīng)多個(gè)輸出(nm)接收到符號(hào)Y后,對(duì)發(fā)送的X符號(hào)是完全確定的。噪聲熵H(Y|X) 0 疑義度H

9、(X|Y) = 026無(wú)干擾離散信道無(wú)噪無(wú)損信道：X、Y一一對(duì)應(yīng)無(wú)噪有損信道：多個(gè)輸入變成一個(gè)輸出有噪無(wú)損信道：一個(gè)輸入對(duì)應(yīng)多個(gè)輸出273.2.2 對(duì)稱(chēng)DMC信道對(duì)稱(chēng)離散信道：對(duì)稱(chēng)性:每一行都是由同一符號(hào)集q1, q2,qm的諸元素不同排列組成輸入對(duì)稱(chēng)每一列都是由p1, p2,pn符號(hào)集的諸元素不同排列組成輸出對(duì)稱(chēng)滿(mǎn)足對(duì)稱(chēng)性,所對(duì)應(yīng)的信道是對(duì)稱(chēng)離散信道。28對(duì)稱(chēng)DMC信道信道矩陣 不具有對(duì)稱(chēng)性,因而所對(duì)應(yīng)的信道不是對(duì)稱(chēng)離散信道。 293.2.2 對(duì)稱(chēng)DMC信道輸入對(duì)稱(chēng)輸出對(duì)稱(chēng)303.2.2 對(duì)稱(chēng)DMC信道對(duì)稱(chēng)信道容量31例 某對(duì)稱(chēng)離散信道的信道矩陣為 信道容量為 323.2.2 對(duì)稱(chēng)DMC信道

10、例. 求信道容量信道輸入符號(hào)和輸出符號(hào)的個(gè)數(shù)相同，都為n，且正確的傳輸概率為1，錯(cuò)誤概率被對(duì)稱(chēng)地均分給n-1個(gè)輸出符號(hào)，此信道稱(chēng)為強(qiáng)對(duì)稱(chēng)信道或均勻信道，是對(duì)稱(chēng)離散信道的一個(gè)特例33C信道無(wú)噪聲當(dāng) = 0, C =10 = 1bit = H(X)當(dāng) =1/2, 信道強(qiáng)噪聲BSC信道容量BSC信道容量C1H（）34串聯(lián)信道例 設(shè)有兩個(gè)離散BSC信道,串接如圖,兩個(gè)BSC信道的轉(zhuǎn)移矩陣為:X00ZY111-p1-p1-pp串聯(lián)信道的轉(zhuǎn)移矩陣為:1-pp35串聯(lián)信道X00ZY11求得:在實(shí)際通信系統(tǒng)中,信號(hào)往往要通過(guò)幾個(gè)環(huán)節(jié)的傳輸,或多步的處理,這些傳輸或處理都可看成是信道,它們串接成一個(gè)串聯(lián)信道。p

11、p1-p1-p1-p1-p36串聯(lián)信道由信息不增原理信道2信道m(xù)信道1可以看出,串接的信道越多,其信道容量可能會(huì)越小,當(dāng)串接信道數(shù)無(wú)限大時(shí),信道容量可能會(huì)趨于0XYZ373.2.3 準(zhǔn)對(duì)稱(chēng)DMC信道準(zhǔn)對(duì)稱(chēng)DMC信道如果轉(zhuǎn)移概率矩陣P是輸入對(duì)稱(chēng)而輸出不對(duì)稱(chēng)，即轉(zhuǎn)移概率矩陣P的每一行都包含同樣的元素而各列的元素可以不同，則稱(chēng)該信道是準(zhǔn)對(duì)稱(chēng)DMC信道383.2.3 準(zhǔn)對(duì)稱(chēng)DMC信道 準(zhǔn)對(duì)稱(chēng)信道將信道矩陣P的列劃分成若干個(gè)互不相交的子集mk,由mk為列組成的矩陣Pk是對(duì)稱(chēng)矩陣。 它們滿(mǎn)定對(duì)稱(chēng)性,所以P1所對(duì)應(yīng)的信道為準(zhǔn)對(duì)稱(chēng)信道。 39準(zhǔn)對(duì)稱(chēng)信道的信道容量 準(zhǔn)對(duì)稱(chēng)信道準(zhǔn)對(duì)稱(chēng)信道容量40準(zhǔn)對(duì)稱(chēng)信道的信道容

12、量 當(dāng)輸入分布為等概率時(shí)：其中n是輸入符號(hào)集的個(gè)數(shù),(p1, p2,pm)為準(zhǔn)對(duì)稱(chēng)信道矩陣中的行元素。設(shè)矩陣可劃分成r個(gè)互不相交的子集。Nk是第k個(gè)子矩陣Pk中行元素之和,Mk是第k個(gè)子矩陣Pk中列元素之和。 41例：設(shè)信道傳遞矩陣為 計(jì)算得：N1 =3/4, N2 = 1/4, M1=3/4, M2 = 1/4將它分成 423.2.3 準(zhǔn)對(duì)稱(chēng)DMC信道例433.2.3 準(zhǔn)對(duì)稱(chēng)DMC信道例. 求信道容量443.2.4 一般DMC信道一般DMC信道 一般離散信道的平均互信息I(X;Y)達(dá)到極大值的充分和必要條件是輸入概率p(ai)必須滿(mǎn)足:I(ai;Y) = C 對(duì)于所有滿(mǎn)足p(ai ) 0條件

13、的II(ai;Y) C 對(duì)于所有滿(mǎn)足p(ai ) = 0條件的I當(dāng)信道平均互信息達(dá)到信道容量時(shí)，輸入符號(hào)概率集p(ai)中每一個(gè)符號(hào)ai對(duì)輸出端Y提供相同的互信息，只是概率為零的符號(hào)除外.453.3 離散序列信道及容量設(shè)信道的輸入X=(X1, X2 Xi, ), Xi a1 an 輸出Y= (Y1, Y2 Yj,), Yj b1 bm信 道XYp(Y|X)對(duì)于無(wú)記憶離散序列信道,其信道轉(zhuǎn)移概率為僅與當(dāng)前輸入有關(guān)。若信道是平穩(wěn)的46定理：若信道的輸入和輸出分別是L長(zhǎng)序列X和Y,且信道是無(wú)記憶的,亦即信道傳遞概率為則存在 定理：若信道的輸入和輸出分別是L長(zhǎng)序列X和Y,且信源是無(wú)記憶的,亦即則存在

14、47若信源與信道都是無(wú)記憶的 L次擴(kuò)展信道的信道容量 當(dāng)信道平穩(wěn)時(shí): 一般情況下: 擴(kuò)展信道:如果對(duì)離散單符號(hào)信道進(jìn)行L次擴(kuò)展，就形成了L次離散無(wú)記憶序列信道483.3離散序列信道及其容量 111X00,01,10,11，Y00,01,10,11，二次擴(kuò)展無(wú)記憶信道的序列轉(zhuǎn)移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p2同理可得其他轉(zhuǎn)移概率0010110100011011例 .BSC信道二次擴(kuò)展493.3離散序列信道

15、及其容量 1111若p0.1，則C220.9381.062比特/序列 C1 = 0.531bit/序列 轉(zhuǎn)移概率矩陣50獨(dú)立并聯(lián)信道 設(shè)有L個(gè)信道,它們的輸入、輸出分別是： X1,X2XL； Y1,Y2YL信 道信 道信 道p(Y1|X1)p(YL|XL)p(Y2|X2)每一個(gè)信道的輸出Yl只與本信道的輸入Xl有關(guān),與其他信道的輸入、輸出都無(wú)關(guān)。獨(dú)立并聯(lián)信道的信道容量 X1X2XLY1Y2YL513.4 連續(xù)信道及其容量連續(xù)信道的容量不容易計(jì)算。當(dāng)信道為加性連續(xù)信道時(shí),情況簡(jiǎn)單一些。設(shè)信道的輸入和輸出信號(hào)是隨機(jī)過(guò)程x(t) 和y(t) y(t) = x(t) + n(t)n(t)：信道的加性高

16、斯白噪聲 一個(gè)受加性高斯白噪聲干擾的帶限波形信道的容量,由香農(nóng)(1948)正式定義：信 道n(t)x(t)y(t)52高斯白噪聲加性信道單位時(shí)間的信道容量這就是著名的香農(nóng)公式 限時(shí)限頻限功率加性高斯白噪聲信道 533.4連續(xù)信道及其容量 例 電話信道的帶寬為3.3kHz，若信噪功率比為20dB，即SNR100，求信道的容量 54例 一個(gè)平均功率受限制的連續(xù)信道，其通頻帶為 1MHZ，信道上存在白色高斯噪聲。 （1）已知信道上的信號(hào)與噪聲的平均功率比值為10，求該信道的信道容量； （2）信道上的信號(hào)與噪聲的平均功率比值降至5，要達(dá)到相同的信道容量，信道通頻帶應(yīng)為多大？ （3）若信道通頻帶減小為0.5MHZ 時(shí)，要保持相同的信道容量，信道上的信號(hào)與噪聲的平均功率比值應(yīng)等于多大？5556例 有一個(gè)二元對(duì)稱(chēng)信道，其信道矩陣如圖 所示。設(shè)該信道以1500個(gè)二元符號(hào)/秒的速度傳輸輸入符號(hào)?，F(xiàn)有一消息序列共有14000個(gè)二元符號(hào)，并設(shè)在這消息中p(0)=p(1)= 1/2。問(wèn)從信息傳輸?shù)慕嵌葋?lái)考慮，10秒鐘內(nèi)能否將這消息序列無(wú)失真地傳送完。 57解：BSC信道 C=1-H(P) P為錯(cuò)誤傳遞概率 由題得 P=0.02 ，則 C=1-H(0.02) =1+0.02log0.02+0.98log0.