工學信道及其容量課件

第3章信道及其容量目錄3.1信道的數(shù)學模型與分類3.2信道疑義度與平均互信息3.3離散無記憶的擴展信道3.4離散信道的信道容量3.5連續(xù)信道的信道容量3.6信源與信道的匹配3.7信道編碼定理信道的任務是以信號方式傳輸信息和存儲信息。研究信道中能夠傳送或存儲的最大信息量，即信道容量。3.1信道的數(shù)學模型與分類圖3.1.1數(shù)字通信系統(tǒng)的一般模型3.1.1信道的分類

根據(jù)載荷消息的媒體不同根據(jù)信息傳輸?shù)姆绞洁]遞信道電信道光信道聲信道輸入和輸出信號的形式信道的統(tǒng)計特性信道的用戶多少根據(jù)信息傳輸?shù)姆绞椒诸愑脩舳嗌伲簝啥?單用戶)信道多端(多用戶)信道輸入端和輸出端的關聯(lián)：無反饋信道反饋信道信道的參數(shù)與時間的關系：恒參信道

隨參信道輸入和輸出信號的特點：離散信道連續(xù)信道半離散或半連續(xù)信道波形信道有無干擾有無記憶3.1.2信道的數(shù)學模型條件概率P(y/x)描述了輸入信號和輸出信號之間統(tǒng)計依賴關系，反映了信道的統(tǒng)計特性。根據(jù)信道的統(tǒng)計特性即條件概率P(y/x)的不同，離散信道又可分成三種情況：

無干擾信道有干擾無記憶信道有干擾有記憶信道

(1)無干擾（噪聲）信道信道中沒有隨機性干擾或干擾很小，輸出信號y與輸入信號x之間有確定的、一一對應的關系。即：y＝f(x)(2)有干擾無記憶信道信道輸入和輸出之間的條件概率是一般的概率分布若任一時刻輸出符號只統(tǒng)計依賴于對應時刻的輸入符號，則這種信道稱為無記憶信道。

(3)有干擾（噪聲）有記憶信道實際信道常是既有干擾（噪聲）又有記憶的如在數(shù)字信道中，由于信道濾波使頻率特性不理想時造成碼字之間的干擾。

在這一類信道中某一瞬間的輸出符號不但與對應時刻的輸入符號有關，而且還與此以前其他時刻信道的輸入符號及輸出符號有關，這樣的信道稱為有記憶信道。3.1.3單符號離散信道單符號離散信道：輸入符號為X，取值于{a1,a2,…,ar}。輸出符號為Y，取值于{b1,b2,…,bs}。條件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai)稱為信道的傳遞概率或轉移概率，可用來描述信道干擾影響的大小。信道中有干擾（噪聲）存在，可用傳遞概率

P(bj/ai)來描述干擾影響的大小。一般簡單的單符號離散信道可用[X,P(y/x),Y]三者加以描述。其數(shù)學模型可用概率空間[X,P(y/x),Y]描述，也可用下圖來描述：

a1b1

a2b2X .

.Y..ar

bsP(bj/ai)

0101[例1]

二元對稱信道BSC-BinarySymmetricalChannel解：X:{0,1};Y:{0,1};r=s=2，a1=b1=0；a2=b2=1。傳遞概率:

p是單個符號傳輸發(fā)生錯誤的概率。（1-p）表示是無錯誤傳輸?shù)母怕?。轉移矩陣:1-p

a1=00=b11-p

a2=11=b2pp符號“2”表示接收到了“0”、“1”以外的特殊符號02101p001-p11q1-q2[例2]二元刪除信道BEC-BinaryEliminatedChannel

Erasure解：X:{0，1}Y:{0，1，2}此時，r＝2，s＝3，傳遞矩陣為：一般離散單符號信道的傳遞概率可用矩陣形式表示

矩陣P完全描述了信道的特性，可用它作為離散單符號信道的另一種數(shù)學模型的形式。

P中有些是信道干擾引起的錯誤概率，有些是信道正確傳輸?shù)母怕剩址Q為信道矩陣（轉移矩陣）

。

b1b2…bsa1P(b1|a1)P(b2|a1)…P(bs|a1)a2P(b1|a2)P(b2|a2)…P(bs|a2)…….……arP(b1|ar)P(b2|ar)…P(bs|ar)3.2信道疑義度與平均互信息

本節(jié)進一步研究離散單符號信道的數(shù)學模型下的信息傳輸問題。3.2.1信道疑義度信道輸入信源X的熵H(X)是在接收到輸出Y以前，關于輸入變量X的先驗不確定性，稱為先驗熵。

接收到bj后，關于X的不確定性為

后驗熵在輸出符號集Y范圍內是隨機量，對其在符號集Y中求數(shù)學期望，得條件熵（損失熵）--信道疑義度：這是接收到輸出符號bj后關于X的后驗熵。后驗熵是當信道接收端接收到輸出符號bj后，關于輸入符號的信息測度?；バ畔⒘?/p>

I(xi

;yj)：收到消息yj

后獲得關于xi的信息量即：互信息量表示先驗的不確定性減去尚存的不確定性，這就是收信者獲得的信息量對于無干擾信道，I(xi

;yj)=I(xi)；對于全損信道，I(xi

;yj)=0；3.22平均互信息平均互信息I(X;Y)：

I(xi

;yj)的統(tǒng)計平均代表接收到符號集Y后平均每個符號獲得的關于X的信息量，也表示了輸入與輸出兩個隨機變量之間的統(tǒng)計約束程度。關于平均互信息I(X;Y)

互信息I(x;y)代表收到某消息y后獲得關于某事件x的信息量，它可取正值，也可取負值。若互信息I(x

;

y)<0，說明在未收到信息量y以前對消息x是否出現(xiàn)的不確定性較小，但由于噪聲的存在，接收到消息y后，對x是否出現(xiàn)的不確定程度增加。

I(X;Y)是I(x;y)的統(tǒng)計平均，所以I(X;Y)>=0。若I(X;Y)=0，表示在信道輸出端接收到輸出符號Y后不獲得任何關于輸入符號X的信息量--全損信道。

I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(X)+H(Y)-H(XY)其中：平均互信息與各類熵的關系平均互信息與各類熵之間關系集合圖（Venndiagram)表示：

H(X|Y)=H(X)-I(X;Y)H(Y|X)=H(Y)-I(X;Y)H(XY)=H(X)+H(Y)-I(X;Y)

H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)H(XY)左邊的圓代表隨機變量X的熵，右邊的圓代表Y的熵。兩個圓重疊部分是平均互信息I(X;Y)。每個圓減去I(X;Y)后剩余的部分代表兩個疑義度。

兩種特殊信道（1）離散無干擾信道(無損信道)信道的輸入和輸出一一對應，信息無損傳輸，稱為無損信道。H(X|Y)=H(Y|X)=0

[損失熵和噪聲熵都為“0”]由于噪聲熵等于零，則輸出端接收的信息就等于平均互信息

I(X;Y)=H(X)=H(Y)

（2）輸入輸出獨立信道(全損信道）信道輸入端X與輸出端Y完全統(tǒng)計獨立H(X|Y)=H(X),H(Y|X)=H(Y)故I(X;Y)=0[I(X;Y)=H(X)-H(X|Y)]信道的輸入和輸出無依賴關系，信息無法傳輸，稱為全損信道。接收到Y后不能消除有關輸入端X的任何不確定性，獲得的信息量等于零。同樣，也不能從X中獲得任何關于Y的信息量。平均互信息I(X;Y)等于零，表明了信道兩端隨機變量的統(tǒng)計約束程度等于零。二種極限信道各類熵與平均互信息之間的關系H(X|Y)=H(X)H(Y|X)=H(Y)I(X;Y)=0H(X|Y)=H(Y|X)=0I(X;Y)=H(X)=H(Y)無損信道：完全重迭全損信道：完全獨立無損信道：全損信道：3.2.3平均互信息的性質平均互信息

I(X;Y)具有以下特性（1）非負性即I(X;Y)>=0，當X、Y統(tǒng)計獨立時等式成立。（2）極值性即I(X;Y)<=H(X)，當H(X/Y)=0時，即信道中傳輸信息無損時，等式成立。（3）交互性（對稱性）即I(X;Y)=I(Y;X)

當X、Y統(tǒng)計獨立時，I(X;Y)=I(Y;X)=0

當信道無干擾時，I(X;Y)=I(Y;X)=H(X)=H(Y)（4）凸狀性所以，平均互信息I(X;Y)只是信源X的概率分布P(x)和信道的傳遞概率P(y/x)的函數(shù)，即：

I(X;Y)=f[P(x),P(y|x)]平均互信息I(X;Y)是輸入信源的概率分布P(x)的∩型凸函數(shù)。（1）對固定信道，選擇不同的信源(其概率分布不同)與信道連接，在信道輸出端接收到每個符號后獲得的信息量是不同的。（2）對于每一個固定信道，一定存在有一種信源(某一種概率分布P(x))，使輸出端獲得的平均信息量為最大。

平均互信息I(X;Y)是信道傳遞的概率P(y/x)的∪型凸函數(shù)。當信源固定后，選擇不同的信道來傳輸同一信源符號，在信道輸出端獲得關于信源的信息量是不同的。對每一種信源都存在一種最差的信道，此時干擾(噪聲)最大，而輸出端獲得的信息量最小。例3.2.1設BSC的輸入概率空間為解：對BSC，其信道轉移矩陣為

0101二元對稱信道BSC-BinarySymmetricalChannel解：X:{0,1};Y:{0,1};r=s=2，a1=b1=0；a2=b2=1。傳遞概率:

p是單個符號傳輸發(fā)生錯誤的概率。（1-p）表示是無錯誤傳輸?shù)母怕?。轉移矩陣:1-p

a1=00=b11-p

a2=11=b2pp平均互信息為對上式中第一項H(Y)，根據(jù)離散無記憶信道的性質，可知若信道固定（p一定），則有若信源固定（w一定），有3.3

離散無記憶信道的擴展信道離散無記憶信道(DMC，DiscreteMemorylessChannel)，其傳遞概率滿足：仍可用[X，P(y/x)，Y]概率空間來描述。設離散無記憶信道的輸入符號集A＝{a1，…，ar}，輸出符號集B＝{b1

，…，bs}，信道矩陣為則此無記憶信道的N次擴展信道的數(shù)學模型如圖所示:而信道矩陣：其中：

[例3]求二元無記憶對稱信道（BSC）二次擴展信道。解：BSC的輸入和輸出變量X和Y的取值都是0或1，則二次擴展信道的輸入符號集為A＝{00，01，10，11}，共有22＝4個符號，輸出符號集為B＝{00，01，10，11}。由于是無記憶信道，可求得二次擴展信道的傳遞概率信道矩陣：

根據(jù)平均互信息的定義，可得無記憶信道的N次擴展信道的平均互信息：若信道的輸入隨機序列為X=(X1X2…XN)，通過信道傳輸，接收到的隨機序列為Y＝(Y1Y2…YN)。假若信道是無記憶的，即信道傳遞概率滿足：則有：式中XiYi是對應第i位的隨機變量。若信源是無記憶的，則等式成立。

直觀分析：若信源有記憶，前面?zhèn)魉偷姆枎в泻竺娣柕男畔?，使得后面?zhèn)魉偷姆柕幕バ畔p少。若信道的輸入隨機序列為X=(X1X2…XN)，通過信道傳輸，接收到的隨機序列為Y＝(Y1Y2…YN)。假若信源是無記憶的，即有則有：其中Xi和Yi是隨機序列X和Y中的第i位隨機變量。直觀分析：如果信道有記憶，后面?zhèn)魉偷姆枎в星懊娣柕男畔?，使得前面?zhèn)魉偷姆柕幕バ畔⒃黾印Ｈ粜诺篮托旁炊际菬o記憶的，則：研究信道的目的是要討論信道中平均每個符號所能傳送的信息量-----信息傳輸率R平均互信息I(X;Y)就是接收到符號Y后平均每個符號獲得的關于X的信息量。所以：

R=I(X;Y)=H(X)–H(X|Y)(bit/symbol)3.4離散信道的信道容量信道中每秒平均傳輸?shù)男畔⒘?---信息傳輸速率RtRt

＝R/t=I(X;Y)/t=H(X)/t–H(X|Y)/t（比特/秒）平均互信息I(X;Y)是輸入隨機變量的∩型凸函數(shù)，所以對一固定的信道，總存在一種信源，使傳輸每個符號平均獲得的信息量最大，即存在一個最大的信息傳輸率------定義為信道容量C（比特/符號）(Bit/s)Ct仍稱為信道容量若平均傳輸一個符號需要t秒鐘，則信道在單位時間內平均傳輸?shù)淖畲笮畔⒘繛镃t：3.4.1

信道容量的定義即：[例]

信道容量的計算則二元對稱信道的信道容量為：二元對稱信道，I(X;Y)時，I(X;Y)最大。當(比特／符號)1.無噪無損信道3.4.2簡單離散信道的信道容量例如：其信道矩陣是單位矩陣：滿足：I(X;Y)=H(X)=H(Y)設輸入信源X的符號有r個，輸出端信源Y的符號數(shù)為s個。2.有噪無損信道接收到符號Y后，對X符號是完全確定的。損失熵H(X/Y)=0噪聲熵H(Y/X)≠0其信道矩陣：所以I(X;Y)=H(X)<H(Y)3.無噪有損信道滿足：I(X;Y)=H(Y)<H(X)信道的疑義度（損失熵）

H(X/Y)≠0而噪聲熵H(Y/X)=0。即接收到符號Y后不能完全消除對X的不確定性對稱信道，指信道矩陣P中每一行都是由同一集合{p1’，p2’，…，ps’}中的各元素不同排列組成，且每一列也都是由{q1’，q2’，…，qr’}中的各元素不同排列組成。具有這種對稱信道矩陣的信道稱為對稱離散信道。一般s≠r。3.4.4對稱離散信道的信道容量例如：都是對稱離散信道都不是對稱離散信道若輸入/輸出符號個數(shù)相同，都等于r，且信道矩陣為：則此信道稱為強對稱信道或均勻信道。這類信道中總的錯誤概率為p，對稱的平均分配給r-1個輸出符號，它是對稱離散信道的特例。這一項是固定X＝x

時對Y求和，即對信道矩陣的行求和。由于信道的對稱性，所以H(Y/X=x)與x無關，為一常數(shù)，為對稱信道中行矢量因此對稱離散信道的信道容量：對稱離散信道的平均互信息為：I(X;Y)=H(Y)-H(Y/X)每個符號平均能傳輸最大信息為0.0817比特，只有當信道的輸入符號等概分布時才能達到最大值。[例]

某對稱離散信道的信道矩陣如下，求信道容量。解：s=4,r=23.4.4離散無記憶N次擴展信道的信道容量一般離散無記憶信道的N次擴展信道

一般情況下，消息序列在離散無記憶的N次擴展信道中傳輸?shù)男畔⒘浚?/p>

I（X;Y）NC即：CN=NC所以，對于一般的離散無記憶信道的N次擴展信道，其信道容量是：3．5連續(xù)信道的信道容量在連續(xù)信源的情況下，如果取兩個相對熵之差，則連續(xù)信源具有與離散信源一致的信息特征，而互信息就是兩個熵的差值，類似于離散信道，可定義互信息的最大值為信道容量。因此，連續(xù)信道具有與離散信道類似的信息傳輸率和信道容量的表達式。

3.5.1連續(xù)單符號加性高斯噪聲信道的信道容量設信道迭加的噪聲n是均值為零，方差為2的一維高斯噪聲，則噪聲信源的熵為：若信道輸出信號Y的平均功率限制在Po以下，則當Y是均值為零的高斯變量時，其熵h(Y)為最大。因此，得平均功率受限高斯加性信道的信道容量(每個自由度)為：3.5.2多維無記憶高斯加性連續(xù)信道(比特／N個自由度)加性信道輸入信號序列{X1X2…XN}輸出信號序列{Y1Y2…YN}高斯噪聲{n1n2…nN}X1Y1=X1+n1n1XNYN=XN+nNnN上式同樣也是N個獨立、并聯(lián)組合高斯加性信道的信道容量。此時分兩種情況：(1)若各單元時刻(i＝1,…,N)上的噪聲都是均值為零、方差為Pn的高斯噪聲，得：單位：(比特／N個自由度)(2)若各單元時刻(i＝1,…,N)上的噪聲是均值為零，方差為不同Pni的高斯噪聲，但輸入信號的總平均功率受限，其約束為：則：(常數(shù)),i=1,2…,N結論說明，N個獨立并聯(lián)的組合高斯加性信道，當各分信道(或各時刻)的噪聲平均功率不等時，為達到最大的信息傳輸率，要對輸入信號的總能量適當?shù)剡M行分配。當常數(shù)＜Pni時，此信道(或此時刻信號分量)不分配能量，使不傳送任何信息，當＞Pni，在這些信道分配能量，并使?jié)M足Psi+Pni=

，這樣得到的信道容量為最大。這與實際情況也相符：我們總是在噪聲大的信道少傳或不傳送信息，而在噪聲小的信道多傳送些信息。3.5.3限頻限時限功率的加性高斯白噪聲信道的信道容量一般信道的頻帶寬度總是有限的，設頻帶寬度為W，則滿足限頻、限時、限功率的條件約束，可通過取樣將輸入和輸出信號轉化為L維的隨機序列：

和在頻帶內的高斯噪聲是彼此獨立的，從而有采樣定理，在[0，T]范圍內要求這是多維無記憶高斯加性信道，其信道容量為：

這是重要的香農公式。當信道輸入信號是平均功率受限的高斯白噪聲信號時，信息傳輸率才達到此信道容量。香農公式的物理意義為：當信道容量一定時，增大信道的帶寬，可以降低對信噪功率比的要求；反之，當信道頻帶較窄時，可以通過提高信噪功率比來補償。香農公式是在噪聲信道中進行可靠通信的信息傳輸率的上限值。

說明：實際信道通常是非高斯波形信道。香農公式可適用于其它一般非高斯波形信道，由香農公式得到的值是非高斯波形信道的信道容量的下限值。比特／秒3.6信源與信道的匹配一般情況下，信源與信道相連接時，其信息傳輸率并未達到最大?？傁Ｍ苁剐畔鬏斅试酱笤胶茫苓_到或盡可能接近于信道容量，而信息傳輸率接近于信道容量只有在信源取最佳分布時才能實現(xiàn)。由此可見，信道確定后，信道的信息傳輸率與信源分布是相關的。當達到信道容量時，稱信源與信道達到匹配，否則認為信道有剩余。信道剩余