第三章信與信道容量

1、第三章信道與信道容量主要內(nèi)容：（1）信道的分類(lèi)和表示參數(shù)；（2）離散單個(gè)符號(hào)信道及其容量；（3）離散序列信道及其容量；（4）連續(xù)信道及其容量。重 點(diǎn)：離散單個(gè)符號(hào)信道及其容量。難 點(diǎn)：連續(xù)信道及其容量。說(shuō) 明：信道是構(gòu)成信息流通系統(tǒng)的重要部分，其任務(wù)是以信號(hào)形式傳輸和存 儲(chǔ)信息。在物理信道一定的情況下，人們總是希望傳輸?shù)男畔⒃蕉嘣胶?。這不僅 與物理信道本身的特性有關(guān)，還與載荷信息的信號(hào)形式和信源輸出信號(hào)的統(tǒng)計(jì)特 性有關(guān)。本章主要討論在什么條件下，通過(guò)信道的信息量最大，即所謂的信道容 量問(wèn)題。本章概念和定理也較多，較為抽象，課堂教學(xué)時(shí)考慮多講述一些例題， 著重闡明定理和公式的物理意義，對(duì)較為繁瑣

2、的推倒過(guò)程做了部分省略。作 業(yè)：3. 1，3. 2。課時(shí)分配：4課時(shí)。板書(shū)及講解要點(diǎn)：本章首先討論信道的分類(lèi)及表示信道的參數(shù)，然后討論各種信道的容量和計(jì)算方法。3. 1信道的分類(lèi)和表示參數(shù)信道中存在的干擾使輸出信號(hào)與輸入信號(hào)之間沒(méi)有固定的函數(shù)關(guān)系，只有統(tǒng) 計(jì)依賴的關(guān)系。因此可以通過(guò)研究分析輸入輸出信號(hào)的統(tǒng)計(jì)特性來(lái)研究信道。首先來(lái)看下一般信道的數(shù)學(xué)模型，這里我們采用了一種“黑箱”法來(lái)操作。 通信系統(tǒng)模型，在信道編碼器和信道解碼器之間相隔著許多其他部件，如調(diào)制解 調(diào)、放大、濾波、均衡等器件 ，以及各種物理信道。信道遭受各類(lèi)噪聲的干擾，使 有用信息遭受損傷。從信道編碼的角度，我們對(duì)信號(hào)在信道中具體如

3、何傳輸?shù)奈?理過(guò)程并不感興趣，而僅對(duì)傳輸?shù)慕Y(jié)果感興趣：送人什么信號(hào)，得到什么信號(hào)，如3. 1. 1信道的分類(lèi)何從得到的信號(hào)中恢復(fù)出送入的信號(hào)，差錯(cuò)概率是多少。故將中間部分全部用信 道來(lái)抽象?？傻玫较聢D表示的一般信道模型。輸入x X亠轉(zhuǎn)移概率矩陣輸出y Yp(y/x)v圖3- 1 信道模型(1) 根據(jù)輸入輸出隨機(jī)信號(hào)的特點(diǎn)分類(lèi)離散信道：輸入、輸出隨機(jī)變量都取離散值。連續(xù)信道：輸入、輸出隨機(jī)變量都取連續(xù)值。半離散/半連續(xù)信道：輸入變量取離散值而輸出變量取連續(xù)值，或反之。(2) 據(jù)輸入輸出隨機(jī)變量個(gè)數(shù)的多少分類(lèi)單符號(hào)信道：輸入和輸出端都只用一個(gè)隨機(jī)變量來(lái)表示。多符號(hào)信道：輸入和輸出端用隨機(jī)變量序列/

4、隨機(jī)矢量來(lái)表示。(3) 根據(jù)輸入輸出個(gè)數(shù)分類(lèi)單用戶信道：只有一個(gè)輸入和輸出的信道。多用戶信道：有多個(gè)輸入和輸出的信道。(4) 根據(jù)信道上有無(wú)干擾分類(lèi)有干擾信道無(wú)干擾信道(5) 根據(jù)信道有無(wú)記憶特性分類(lèi)有記憶信道，無(wú)記憶信道。(6) 根據(jù)輸入和輸出之間有無(wú)反饋有反饋信道無(wú)反饋信道。實(shí)際信道的帶寬總是有限的，所以輸入和輸出信號(hào)總可以分解成隨機(jī)序列來(lái)研究。一個(gè)實(shí)際信道可同時(shí)具有多種屬性。最簡(jiǎn)單的信道是單符號(hào)離散信道。3. 1. 2信道參數(shù)分四部分來(lái)講述。1 .二進(jìn)制離散信道模型二進(jìn)制離散信道模型由一個(gè)允許輸入值的集合X = 0,1和可能輸出值的集合丫=0,1，以及一組表示輸入、輸出關(guān)系的條件概率(轉(zhuǎn)

5、移概率)組成。最簡(jiǎn)單的二進(jìn)制離散信道是二進(jìn)制對(duì)稱信道(bin ary symmetric cha nn el,BSC )。如圖3-2所示。它是一種無(wú)記憶信道。轉(zhuǎn)移概率為：p(Y 0/X1)p(Y1/X0)pp(Y 1/X1)p(Y0/ X0)1p1-p2 離散無(wú)記憶信道假設(shè)信道編碼器的輸入是n元符號(hào)，即輸入符號(hào)集由n個(gè)元素X=x 1, x2，,xn構(gòu)成，而檢測(cè)器的輸出是m元符號(hào)即信道輸出符號(hào)集由m個(gè)元素丫二y 1 ,y2,，ym構(gòu)成，且信道和調(diào)制過(guò)程是無(wú)記憶的，那么信道模型黑箱的輸入 一輸出特性可以用一組共nm個(gè)條件概率來(lái)描述 p(Y yj/X x) p(yj/xj。式中，i=1，2，n; j

6、=1，2，m這樣的信道稱為離散無(wú)記憶信道( DMC )。nP(Yiyi,Y2y2,L,Ynyn/X!XlL,XnXn)p (Ykyk / X kXk)k 1P(yj/xi)構(gòu)成的矩陣為 P矩陣(信道矩陣)，如下：如果信道轉(zhuǎn)移概率矩陣的每一行中只包含一個(gè)“ 1,其余元素均為 “0”說(shuō)明信道無(wú)干擾，叫無(wú)擾離散信道。有擾離散信道在信道輸入為Xi的條件下，由于干擾的存在， 信道輸出不是一個(gè)固定值而是 概率各異的一組值，這種信道就叫有擾離散信道。3 離散輸入連續(xù)輸出信道假設(shè)信道輸入符號(hào)選自一個(gè)有限的、離散的輸入字符集 X=x 1，X2，x n，而信道輸出未經(jīng)量化( m-)，這時(shí)的譯碼器輸出可以是實(shí)軸上的

7、任意值，即 y= x，x 。這樣的信道模型為離散時(shí)間無(wú)記憶信道。這類(lèi)信道中最重要的一種是加性高斯白噪聲(AWGN )信道，對(duì)它而言 Y=X+ G ,式中G是一個(gè)零均值、方差為 2的高斯隨機(jī)變量，X=xi，i=1，2，n。 當(dāng)X給定后，丫是一個(gè)均值為xi、方差2為的高斯隨機(jī)變量。p(y/Xi)2波形信道是這樣一種信道模型：其輸入是模擬波形，其輸出也是模擬波形。假設(shè)輸入該信道的是帶限信 號(hào)x (t)，相應(yīng)的輸出是 y (t)，那么y (t) =x (t) + n (t)這里n (t)代表加性噪聲過(guò)程的一個(gè)樣本函數(shù)。說(shuō)明：a. 設(shè)計(jì)和分析離散信道編、解碼器的性能，從工程角度出發(fā)，最常用的是 DMC信

8、道模型或其簡(jiǎn)化形式BSC信道模型；b. 若分析性能的理論極限，則多選用離散輸入、連續(xù)輸出信道模型；c. 如果我們是想要設(shè)計(jì)和分析數(shù)字調(diào)制器和解調(diào)器的性能，則可采用波形信 道模型。DMC信道模型本書(shū)的主題是編、解碼，因此主要使用3.2離散單個(gè)符號(hào)信道及其容量信道模型：見(jiàn) 3 1圖，圖中，輸入 X xi，X2,i，,n，輸出丫yi,y2,yj，ym。如果信源熵為 HX)，希望在信道輸出端接收的信息量就是H(X)，由于干擾的存在，一般只能接收到I (X; 丫)。信道的信息傳輸率：就是平均互信息R=I (X; Y)。輸出端丫往往只能獲得關(guān)于輸入X的部分信息，這是由于平均互信息性質(zhì)決定的：I (X; Y

9、) < H(X) oI (X; Y)是信源無(wú)條件概率p(xi )和信道轉(zhuǎn)移概率 p(yj /xi )的二元函數(shù)，當(dāng)信道特性p(yj /Xi)固定后，I (X; Y)隨信源概率分布 p(xi)的變化而變化。調(diào)整p(xi )，在接收端就能獲得不同的信息量。由平均互信息的性質(zhì)已知，I (X;Y)是p(xi)的上凸函數(shù)，因此總能找到一種概率分布p(xi)(即某一種信源)，使信道所能傳送的信息率為最大。信道容量C :在信道中最大的信息傳輸速率，單位是比特/信道符號(hào)C maxR max I(X;Y)(比特/信道符號(hào))P(Xi)p(x)單位時(shí)間的信道容量Ct :若信道平均傳輸一個(gè)符號(hào)需要t秒鐘，則單位

10、時(shí)間的信道容量為：Ct 1maxl(X;Y)p(x)(比特/ 秒)3.2.1無(wú)干擾離散信道介紹三種信道：1 .具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道-.-*幾對(duì)應(yīng)的信道矩陣是(b)100L0一刈苛勺0 L 001010L00L010001L00L100MMMMMMMM000L11L000因?yàn)樾诺谰仃囍兴性鼐恰?T或“ 0”，X和丫有確定的對(duì)應(yīng)關(guān)系:已知X后丫沒(méi)有不確定性，噪聲熵H(Y/X)=0 ;反之，收到丫后，X也不存在不確定性，信道疑義度H(X Y)=0;故有I(X; Y)=H(X)=H(Y) o當(dāng)信源呈等概率分布時(shí)，具有一一對(duì)應(yīng)確定關(guān)系的無(wú)噪信道達(dá)到信道容量2 具有擴(kuò)展性能的無(wú)噪信道雖然信道矩

11、陣中的元素不全是1”或“0”，但由于每列中只有一個(gè)非零元P( Y1 / X1)PW2/X1)PW3/X1)00000000心幾)p( 丫5心2)PW6/X2)00000000PW7/X3)p(ys/x3)素：已知丫后，X不再有任何不確定度，信道疑義度H(X/Y)=0 ,I(X; Y)= H(X)- H(X/Y)= H(X)例如，輸出端收到 y2后可以確定輸入端發(fā)送的是_ xi，收到y(tǒng)7后可以確定輸入端 發(fā)送的是X3，等等。叫二片I具伺擴(kuò)展性能的無(wú)噪信道舉例亢有歸井性能的無(wú)噪信逍舉例信道容量為：c m(axi(x；丫) maxH(x)iog2 n與一一對(duì)應(yīng)信道不同的是，此時(shí)輸入端符號(hào)熵小于輸出端

12、符號(hào)熵,3 具有歸并性能的無(wú)噪信道1 0 01 0 0P 0 100 1 00 0 1信道矩陣中的元素非“ 0”即“ 1”，每行僅有一個(gè)非零元素，但每列的非零元素個(gè)數(shù)大于1:已知某一個(gè)Xi后，對(duì)應(yīng)的yj完全確定，信道噪聲熵H(Y/X)=0但是收到某一個(gè) yj后，對(duì)應(yīng)的Xi不完全確定，信道疑義度H(X/Y)工0。信道容量為:C maxl(X;Y)P(Xi)max H (Y)p(x)log 2 m結(jié)論：無(wú)噪信道的信道容量C只決定于信道的輸入符號(hào)數(shù)n,或輸出符號(hào)數(shù) m,與信源無(wú)關(guān)。3.2.2 對(duì)稱DMC言道如果轉(zhuǎn)移概率矩陣 P的每一行都是第一行的置換 (包含同樣元素)，稱該矩陣是 輸入對(duì)稱的；如果轉(zhuǎn)

13、移概率矩陣的每一列都是第一列的置換(包含同樣元素)，稱該矩陣是輸出對(duì)稱的； 如果輸入、輸出都對(duì)稱，則稱該DMC為對(duì)稱的DMC信道。對(duì)應(yīng)對(duì)稱的DMC信道，當(dāng)輸入呈等概分布時(shí)，信道到達(dá)信道容量，為：mC log m H (Y / xi) log mpij log pijj i其中 第二項(xiàng)為矩陣任一行元素的信息熵。例題3 1:已知P矩陣，求C。解：1/3 1/ 3 1/6 1/6P1/6 1/6 1/3 1/31111則 C lb 4 H(, , , )0.082bit/ 符號(hào)3 3 6 6二進(jìn)制信道的 C值：1-P pP1-p p則 C log 2H(p,1 p) 1 H (p)3. 2. 3準(zhǔn)對(duì)

14、稱DMC言道DMC信道。如果注意概率矩陣 P是輸入對(duì)稱而輸出不對(duì)稱，則稱為準(zhǔn)對(duì)稱例如：丄丄1丄2788丄丄1丄4288行具有對(duì)稱性，列不具有對(duì)稱性，但把矩陣的前 兩列和后兩列分成互不相交的子集，構(gòu)成兩個(gè)子矩陣丄 18 8丄 18 81 1241 142兩個(gè)子矩陣都是對(duì)稱矩陣它的信道容量求解較為復(fù)雜3. 2. 4 一般DMC言道為使I (X;Y)最大化以便求取DMC容量，輸入概率集 p (xi ) 必須滿足的充分和必要條件是：I (xi ;Y )= C , 對(duì)于所有滿足 p (xj )> 0條件的iI (xj ;Y )< C ,對(duì)于所有滿足 p (xj ) =0條件的i即是每個(gè)概率非

15、零的輸入符號(hào)對(duì) 丫提供相同的平均互信息。3. 3離散序列信道及其容量定義：多符號(hào)離散信源X =XiX2XL在L個(gè)不同時(shí)刻分別通過(guò)單符號(hào)離散信道XP(Y/X) Y，則在輸出端出現(xiàn)相應(yīng)的隨機(jī)序列丫 =丫1丫2YL,這樣形成一個(gè)新的信道稱為離散序列信道。由于新信道相當(dāng)于單符號(hào)離散信道在L個(gè)不同時(shí)刻連續(xù)運(yùn)用了 L次，所以也稱為單符號(hào)離散信道X P(Y/X) Y的L次擴(kuò)展。離散序列信道模型如下圖所示，設(shè)信源矢量X的每一個(gè)隨機(jī)變量X| ( 1=1,2,丄)均取自并取遍于信道的輸入符號(hào)集a1,a2,a n，則信源共有 nL個(gè)不同的元素 ai (i =1,2,，nL)。則輸出矢量 丫由L個(gè)符號(hào)組成的輸出序列

16、丫 =丫1丫2Yl，它的每一個(gè)隨機(jī)變量Y|均取自并取遍于信道的輸出符號(hào)集bi,b2,b nX丫* P (Y/X)X (XX2，,Xl) 丫(Yi,Y2,.Yl)X| ai,a2',anY| (bib?,bm)對(duì)于無(wú)記憶離散序列信道，其信道轉(zhuǎn)移概率為： 平均互信息l(X；Y)=H(Y) - H(Y /X)例題3-乙p55，BSC二次擴(kuò)展信道由題圖可知其轉(zhuǎn)移概率：p(00/00) p 0/0 p(0/0)(1 p)2p(01/00) p 0/0 p(1/0)p(1 p)對(duì)應(yīng)的轉(zhuǎn)移概率矩陣:(1 p)2p(1p)p(1 p)(1p)2p(1 p)p2p2p(1p)p(1 p) p2p2p(1

17、 p)(1 p)2 p(1 p) p(1 p) (1 p)2是一個(gè)對(duì)稱 dmC言道，當(dāng)輸入序列等概分布時(shí)，容量為：2 2C2 log 4H(1 p) , p(1p), p(1p), p )3. 4連續(xù)信道及其容量3. 4. 1連續(xù)單符號(hào)加性信道輸入和輸出隨機(jī)變量都取值于連續(xù)集合的信道。其傳遞特性用條件轉(zhuǎn)移概率 密度函數(shù)p(y/x)表示，用X p(y/x) 丫。連續(xù)隨機(jī)變量之間的平均互信息滿足非負(fù)性，并可以證明，它是信源概率密度函數(shù)p(y/x)的上凸函數(shù)。連續(xù)信道的信道容量C:信源X等于某一概率密度函數(shù)po(x)時(shí)，信道平均互信息的最大值，即 C max I (X;Y)。p(x)一般連續(xù)信道的容

18、量并不容易計(jì)算，當(dāng)信道為加性信道時(shí)，情況要簡(jiǎn)單一些。下圖為連續(xù)加性信道模型：噪聲為連續(xù)隨機(jī)變量N,且與X相互統(tǒng)計(jì)獨(dú)立的信道。這種信道的噪聲對(duì)輸入的干擾作用表現(xiàn)為噪聲和輸入線性疊加，即Y=X+N0加性連續(xù)信道的條件熵等于其噪聲熵說(shuō)明 Hc(Y/ X)二比(N)。加性連續(xù)信道的信道容量：加性噪聲N和信源X相互統(tǒng)計(jì)獨(dú)立，X的概率密度函數(shù) p(x)的變動(dòng)不會(huì)引起 噪聲熵Hc(N)的改變，所以加性信道的容量C就是選擇p(x)，使輸出熵Hc(Y)達(dá)到最大值，即：C max Hc(Y) Hc(N)。p(x)高斯加性信道的容量:高斯噪聲為 N,均值為0，方差為c 2，噪聲功率為P;概率密度函數(shù)為pn(N)=N

19、(0,),c 2 ),噪聲的連續(xù)熵為 HJN)= ；log22 e所以，高斯加性連續(xù)信道的容量等于:C max Hc(Y)Hc(N)= maxH")訛g?2 e 2根據(jù)最大連續(xù)熵定理，要使比(丫 )達(dá)到最大，丫必須是一個(gè)均值為 0、方差為c Y= P的高斯隨機(jī)變量。若限定輸入平均功率S,噪聲平均功率 PN= c 2，對(duì)高斯加性信道，輸出丫的功2率 P 也限定了， P= S+ Pn，因?yàn)?pY(y)=N(0,P)，Pn(N)二N(0, c )，所以有：Px(X)=N(O,S)，即輸入X滿足正態(tài)分布時(shí)，Hc(Y)達(dá)到最大值，達(dá)到信道容量。2 2max Hc(Y) 2log22 e( x

20、)至Iog2 2 eR p( x)因此，高斯加性信道的信道容量為C 12log22 eP 2log22 e 21S-Iog2(1 )1 S 2嚴(yán)()但若為加性的，如果均值為0,平均功率為 2，實(shí)際系統(tǒng)中噪聲不是高斯型的，則信道容量存在下面的上下界：3. 4. 2多維無(wú)記憶加實(shí)際非高斯噪聲信道的容量要大于高斯噪聲信道的容量，所以在處理實(shí)際問(wèn) 題時(shí)，通過(guò)計(jì)算高斯噪聲信道容量來(lái)保守地估計(jì)容量。ni=N(0, 2),則有信道容量性連續(xù)信道(1)當(dāng)每個(gè)單元時(shí)刻的高斯噪聲都是同分布時(shí)，即：L Ls、C =log(1 亍)(bit / L維)。2 i iXi=N(0,S)時(shí)，信息傳輸率當(dāng)且僅當(dāng)輸入矢量 X各

21、分量統(tǒng)計(jì)獨(dú)立，且各分量都服從達(dá)到最大。(2)當(dāng)每個(gè)單元時(shí)刻的高斯噪聲均值為零，但是方差不同且為2時(shí)，若輸入信號(hào)的總平均功率受限，約束條件為：LLLE Xl2EXjR P則此時(shí)各單元時(shí)刻的信號(hào)平均功率111111應(yīng)該合理分配，才能使得信道容量最大。從而轉(zhuǎn)換為求極大值得問(wèn)題。在噪聲平 均功率過(guò)于大，甚至超過(guò)輸出平均功率時(shí)，可以不給于功率，即不發(fā)送信號(hào)；在 噪聲平均功率較大，但還沒(méi)有超過(guò)輸出平均功率時(shí)，我們可以少給點(diǎn)輸入平均功 率；c )在噪聲平均功率較小的時(shí)間里，我們可以多給點(diǎn)輸入平均功率。這一結(jié)論符合客觀規(guī)律和人們的習(xí)慣概念：例如，當(dāng)人們說(shuō)話的總的平均功 率受限制時(shí)，總是把僅有的說(shuō)話功率用在風(fēng)小

22、的時(shí)候。在風(fēng)比較大的時(shí)候，就少 花點(diǎn)力氣。在風(fēng)大到對(duì)方已經(jīng)無(wú)法聽(tīng)到你說(shuō)話聲音時(shí)，干脆就暫停說(shuō)話。等風(fēng)小 一點(diǎn)，或基本上沒(méi)有風(fēng)時(shí)，才提高嗓音使勁地大聲喊叫。把僅有的一點(diǎn)功率，分 配到噪聲小的時(shí)候使用，增加所能傳遞的信息量，提高通信的效率。3. 4. 3限時(shí)限頻限功率的加性高斯白噪聲信道波形信道中，限時(shí)tB,限頻fm條件下可根據(jù)采樣定理，將輸入隨機(jī)過(guò)程x(t)，輸出隨機(jī)過(guò)程y(t)轉(zhuǎn)化為多維隨機(jī)序列，進(jìn)而求其信道容量。設(shè)信道的頻帶限 于(-WW ；根據(jù)采樣定理，如果每秒傳送2W個(gè)采樣點(diǎn)，在接收端可無(wú)失真地恢復(fù)出原始信號(hào)；把信道的一次傳輸看成是一次采樣，由于信道每秒傳輸2W個(gè)樣點(diǎn)，所以單位時(shí)間的信道容