第三章 信道及其容量

第三章信道及其容量編輯課件信道的任務(wù)是以信號方式傳輸信息和存儲信息。研究信道中能夠傳送或存儲的最大信息量，即信道容量。編輯課件3.1信道的數(shù)學(xué)模型和分類圖3.1.1數(shù)字通信系統(tǒng)的一般模型編輯課件3.1信道的數(shù)學(xué)模型和分類一、信道的分類

根據(jù)載荷消息的媒體不同根據(jù)信息傳輸?shù)姆绞洁]遞信道電信道光信道聲信道輸入和輸出信號的形式信道的統(tǒng)計特性信道的用戶多少編輯課件根據(jù)信息傳輸?shù)姆绞椒诸愔懈鶕?jù)信道的用戶多少：兩端(單用戶)信道多端(多用戶)信道根據(jù)信道輸入端和輸出端的關(guān)聯(lián)：無反響信道反響信道根據(jù)信道的參數(shù)與時間的關(guān)系：固定參數(shù)信道時變參數(shù)信道根據(jù)輸入和輸出信號的特點：離散信道連續(xù)信道半離散或半連續(xù)信道波形信道編輯課件二、離散信道的數(shù)學(xué)模型條件概率P(y/x)描述了輸入信號和輸出信號之間統(tǒng)計依賴關(guān)系。反映了信道的統(tǒng)計特性。編輯課件根據(jù)信道的統(tǒng)計特性即條件概率P(y/x)的不同，離散信道又可分成三種情況：

無干擾信道有干擾無記憶信道有干擾有記憶信道編輯課件(1)無干擾(噪聲)信道信道中沒有隨機(jī)性的干擾或者干擾很小，輸出信號y與輸入信號x之間有確定的、一一對應(yīng)的關(guān)系。即：y＝f(x)編輯課件(2)有干擾無記憶信道信道輸入和輸出之間的條件概率是一般的概率分布。如果任一時刻輸出符號只統(tǒng)計依賴于對應(yīng)時刻的輸入符號，那么這種信道稱為無記憶信道。編輯課件(3)有干擾(噪聲)有記憶信道實際信道往往是既有干擾(噪聲)又有記憶的這種類型。例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時造成了碼字之間的干擾。在這一類信道中某一瞬間的輸出符號不但與對應(yīng)時刻的輸入符號有關(guān)，而且還與此以前其他時刻信道的輸入符號及輸出符號有關(guān)，這樣的信道稱為有記憶信道。編輯課件三、單符號離散信道單符號離散信道：輸入符號為X，取值于{a1,a2,…,ar}。輸出符號為Y，取值于{b1,b2,…,bs}。條件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai)這一組條件概率稱為信道的傳遞概率或轉(zhuǎn)移概率，可以用來描述信道干擾影響的大小。編輯課件信道中有干擾(噪聲)存在，可以用傳遞概率P(bj/ai)來描述干擾影響的大小。一般簡單的單符號離散信道可以用[X,P(y/x),Y]三者加以描述。其數(shù)學(xué)模型可以用概率空間[X,P(y/x),Y]描述。當(dāng)然，也可用以下圖來描述：a1b1

a2b2X .

.Y..arbsP(bj/ai)編輯課件[例1]

二元對稱信道，[BSC，BinarySymmetricalChannel]解：此時，X:{0,1};Y:{0,1};r=s=2，a1=b1=0；a2=b2=1。傳遞概率:p是單個符號傳輸發(fā)生錯誤的概率?！?-p〕表示是無錯誤傳輸?shù)母怕?。轉(zhuǎn)移矩陣:01011－p

a1=00=b11－p

a2=11=b2pp編輯課件符號“2〞表示接收到了“0〞、“1〞以外的特殊符號02101p001－p11q1－q2[例2]二元刪除信道。[BEC，BinaryEliminatedChannel]解：X:{0，1}Y:{0，1，2}此時，r＝2，s＝3，傳遞矩陣為：編輯課件一般離散單符號信道的傳遞概率可用矩陣形式表示，即矩陣P完全描述了信道的特性，可用它作為離散單符號信道的另一種數(shù)學(xué)模型的形式。P中有些是信道干擾引起的錯誤概率，有些是信道正確傳輸?shù)母怕省Ｋ栽摼仃囉址Q為信道矩陣〔轉(zhuǎn)移矩陣〕。

b1b2…bsa1P(b1|a1)P(b2|a1)…P(bs|a1)a2P(b1|a2)P(b2|a2)…P(bs|a2)…….……arP(b1|ar)P(b2|ar)…P(bs|ar)編輯課件3.2信道疑義度與平均互信息

本節(jié)進(jìn)一步研究離散單符號信道的數(shù)學(xué)模型下的信息傳輸問題。編輯課件一、信道疑義度信道輸入信源X的熵H(X)是在接收到輸出Y以前，關(guān)于輸入變量X的先驗不確定性，稱為先驗熵。編輯課件接受到bj后，關(guān)于X的不確定性為

后驗熵在輸出符號集Y范圍內(nèi)是個隨機(jī)量，對后驗熵在符號集Y中求數(shù)學(xué)期望，得條件熵----信道疑義度：這是接收到輸出符號bj后關(guān)于X的后驗熵。

后驗熵是當(dāng)信道接收端接收到輸出符號bj后，關(guān)于輸入符號的信息測度。編輯課件互信息量

I(xi;yj)：收到消息yj

后獲得關(guān)于xi的信息量即：互信息量表示先驗的不確定性減去尚存的不確定性，這就是收信者獲得的信息量對于無干擾信道，I(xi;yj)=I(xi)；對于全損信道，I(xi;yj)=0；二、平均互信息編輯課件平均互信息I(X;Y)：

I(xi;yj)的統(tǒng)計平均。它代表接收到符號集Y后平均每個符號獲得的關(guān)于X的信息量，也表示了輸入與輸出兩個隨機(jī)變量之間的統(tǒng)計約束程度。編輯課件關(guān)于平均互信息I(X;Y)互信息I(x;y)代表收到某消息y后獲得關(guān)于某事件x的信息量。它可取正值，也可取負(fù)值。假設(shè)互信息I(x;y)<0，說明在未收到信息量y以前對消息x是否出現(xiàn)的不確定性較小，但由于噪聲的存在，接收到消息y后，反而對x是否出現(xiàn)的不確定程度增加了。I(X;Y)是I(x;y)的統(tǒng)計平均，所以I(X;Y)>=0。假設(shè)I(X;Y)=0，表示在信道輸出端接收到輸出符號Y后不獲得任何關(guān)于輸入符號X的信息量----全損信道。編輯課件I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(X)+H(Y)-H(XY)其中：平均互信息與各類熵的關(guān)系編輯課件平均互信息與各類熵之間關(guān)系的集合圖〔維拉圖〕表示：H(X|Y)=H(X)-I(X;Y)H(Y|X)=H(Y)-I(X;Y)H(XY)=H(X)+H(Y)-I(X;Y)H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)H(XY)圖中，左邊的圓代表隨機(jī)變量X的熵，右邊的圓代表隨機(jī)變量Y的熵，兩個圓重疊局部是平均互信息I(X;Y)。每個圓減去I(X;Y)后剩余的局部代表兩個疑義度。編輯課件

兩種特殊信道〔1〕、離散無干擾信道(無損信道)信道的輸入和輸出一一對應(yīng)，信息無損失地傳輸，稱為無損信道。H(X|Y)=H(Y|X)=0[損失熵和噪聲熵都為“0〞]由于噪聲熵等于零，因此，輸出端接收的信息就等于平均互信息:I(X;Y)=H(X)=H(Y)編輯課件〔2〕、輸入輸出獨立信道(全損信道)信道輸入端X與輸出端Y完全統(tǒng)計獨立H(X|Y)=H(X),H(Y|X)=H(Y)所以I(X;Y)=0[I(X;Y)=H(X)-H(X|Y)]信道的輸入和輸出沒有依賴關(guān)系，信息無法傳輸，稱為全損信道。接收到Y(jié)后不可能消除有關(guān)輸入端X的任何不確定性，所以獲得的信息量等于零。同樣，也不能從X中獲得任何關(guān)于Y的信息量。平均互信息I(X;Y)等于零，說明了信道兩端隨機(jī)變量的統(tǒng)計約束程度等于零。編輯課件二種極限信道各類熵與平均互信息之間的關(guān)系H(X|Y)=H(X)H(Y|X)=H(Y)I(X;Y)=0H(X|Y)=H(Y|X)=0I(X;Y)=H(X)=H(Y)無損信道：完全重迭全損信道：完全獨立無損信道：全損信道：編輯課件3.2平均互信息的性質(zhì)平均互信息I(X;Y)具有以下特性：〔1〕非負(fù)性即I(X;Y)>=0當(dāng)X、Y統(tǒng)計獨立時等式成立?！?〕極值性即I(X;Y)<=H(X)當(dāng)H(X/Y)=0時，即信道中傳輸信息無損時，等式成立。編輯課件〔3〕交互性〔對稱性〕即I(X;Y)=I(Y;X)當(dāng)X、Y統(tǒng)計獨立時I(X;Y)=I(Y;X)=0當(dāng)信道無干擾時(一一對應(yīng))I(X;Y)=I(Y;X)=H(X)=H(Y)編輯課件〔4〕凸?fàn)钚?/p>

所以，平均互信息I(X;Y)只是信源X的概率分布P(x)和信道的傳遞概率P(y/x)的函數(shù)，即：

I(X;Y)=f[P(x),P(y|x)]編輯課件

平均互信息I(X;Y)是輸入信源的概率分布P(x)的∩型凸函數(shù)?！?〕對固定信道，選擇不同的信源(其概率分布不同)與信道連接，在信道輸出端接收到每個符號后獲得的信息量是不同的?！?〕對于每一個固定信道，一定存在有一種信源(某一種概率分布P(x))，使輸出端獲得的平均信息量為最大。編輯課件

平均互信息I(X;Y)是信道傳遞的概率P(y/x)的∪型凸函數(shù)。當(dāng)信源固定后，選擇不同的信道來傳輸同一信源符號，在信道輸出端獲得關(guān)于信源的信息量是不同的。對每一種信源都存在一種最差的信道，此時干擾(噪聲)最大，而輸出端獲得的信息量最小。編輯課件3.3

離散無記憶信道的擴(kuò)展信道

離散無記憶信道(DMC，DiscreteMemorylessChannel)，其傳遞概率滿足：仍可用[X，P(y/x)，Y]概率空間來描述。設(shè)離散無記憶信道的輸入符號集A＝{a1，…，ar}，輸出符號集B＝{b1

，…，bs}，信道矩陣為:編輯課件那么此無記憶信道的N次擴(kuò)展信道的數(shù)學(xué)模型如下圖:而信道矩陣：其中：

編輯課件[例3]求二元無記憶對稱信道〔BSC〕的二次擴(kuò)展信道。解：BSC的輸入和輸出變量X和Y的取值都是0或1，因此，二次擴(kuò)展信道的輸入符號集為A＝{00，01，10，11}，共有22＝4個符號，輸出符號集為B＝{00，01，10，11}。由于是無記憶信道，可求得二次擴(kuò)展信道的傳遞概率：信道矩陣：編輯課件

根據(jù)平均互信息的定義，可得無記憶信道的N次擴(kuò)展信道的平均互信息：編輯課件假設(shè)信道的輸入隨機(jī)序列為X=(X1X2…XN)，通過信道傳輸，接收到的隨機(jī)序列為Y＝(Y1Y2…YN)。假假設(shè)信道是無記憶的，即信道傳遞概率滿足：那么有：式中XiYi是對應(yīng)第i位的隨機(jī)變量。假設(shè)信源是無記憶的，那么等式成立。

直觀分析：如果信源有記憶，前面?zhèn)魉偷姆枎в泻竺娣柕男畔?，使得后面?zhèn)魉偷姆柕幕バ畔p少編輯課件假設(shè)信道的輸入隨機(jī)序列為X=(X1X2…XN)，通過信道傳輸，接收到的隨機(jī)序列為Y＝(Y1Y2…YN)。假假設(shè)信源是無記憶的，那么有：其中Xi和Yi是隨機(jī)序列X和Y中的第i位隨機(jī)變量。直觀分析：如果信道有記憶，后面?zhèn)魉偷姆枎в星懊娣柕男畔?，使得前面?zhèn)魉偷姆柕幕バ畔⒃黾?。假設(shè)信道和信源都是無記憶的，那么：編輯課件研究信道的目的是要討論信道中平均每個符號所能傳送的信息量-----信息傳輸率R平均互信息I(X;Y)就是接收到符號Y后平均每個符號獲得的關(guān)于X的信息量。所以：

R=I(X;Y)=H(X)–H(X|Y)(比特/符號)3.4離散信道的信道容量信道中每秒平均傳輸?shù)男畔⒘?---信息傳輸速率RtRt＝R/t=I(X;Y)/t=H(X)/t–H(X|Y)/t〔比特/秒〕編輯課件一、

信道容量的定義

由于平均互信息I(X;Y)是輸入隨機(jī)變量的∩型凸函數(shù)，所以對一固定的信道，總存在一種信源，使傳輸每個符號平均獲得的信息量最大。即存在一個最大的信息傳輸率------定義為信道容量C（比特/符號）(Bit/s)Ct仍稱為信道容量假設(shè)平均傳輸一個符號需要t秒鐘，那么信道在單位時間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛镃t：編輯課件即：[例4]

信道容量的計算因此，二元對稱信道的信道容量為：二元對稱信道，I(X;Y)時，I(X;Y)最大。當(dāng)(比特／符號)由此可見，二元對稱信道的信道容量只是信道傳輸概率p的函數(shù)，與輸入符號X的概率分布ω?zé)o關(guān)。編輯課件離散無噪信道二、簡單離散信道的信道容量例如：其信道矩陣是單位矩陣：滿足：I(X;Y)=H(X)=H(Y)編輯課件有噪無損信道：

接收到符號Y后，對X符號是完全確定的。損失熵H(X/Y)=0，但噪聲熵H(Y/X)≠0其信道矩陣：所以：I(X;Y)=H(X)<H(Y)編輯課件無噪有損信道滿足：I(X;Y)=H(Y)<H(X)信道的疑義度〔損失熵〕H(X/Y)≠0而噪聲熵H(Y/X)=0。即接收到符號Y后不能完全消除對X的不確定性編輯課件

所謂對稱信道，是指信道矩陣P中每一行都是由同一集合{p1’，p2’，…，ps’}中的諸元素不同排列組成，且每一列也都是由{q1’，q2’，…，qr’}中的諸元素不同排列組成。具有這種對稱信道矩陣的信道稱為對稱離散信道。一般s≠r。三、對稱離散信道的信道容量例如：都是對稱離散信道編輯課件都不是對稱離散信道編輯課件假設(shè)輸入/輸出符號個數(shù)相同，都等于r，且信道矩陣為：那么此信道稱為強(qiáng)對稱信道或均勻信道。這類信道中總的錯誤概率為p，對稱地平均分配給r-1個輸出符號。它是對稱離散信道的特例。編輯課件這一項為哪一項固定X＝x時對Y求和，即對信道矩陣的行求和。由于信道的對稱性，所以H(Y/X=x)與x無關(guān)，為一常數(shù)，即

因此對稱離散信道的信道容量：對稱離散信道的平均互信息為：I(X;Y)=H(Y)-H(Y/X)編輯課件在這個信道中，每個符號平均能夠傳輸?shù)淖畲笮畔?.0817比特。只有當(dāng)信道的輸入符號是等概率分布時才能到達(dá)這個最大值。[例5]

某對稱離散信道的信道矩陣如下，求其信道容量。解：s=4,r=2編輯課件四、離散無記憶N次擴(kuò)展信道的信道容量一般離散無記憶信道的N次擴(kuò)展信道編輯課件一般情況下，消息序列在離散無記憶的N次擴(kuò)展信道中傳輸?shù)男畔⒘浚篒〔X;Y〕NC即：CN=NC

所以，對于一般的離散無記憶信道的N次擴(kuò)展信道，其信道容量是：編輯課件3．5連續(xù)信道的信道容量在連續(xù)信源的情況下，如果取兩個相對熵之差，那么連續(xù)信源具有與離散信源一致的信息特征，而互信息就是兩個熵的差值，類似于離散信道，可定義互信息的最大值為信道容量。因此，連續(xù)信道具有與離散信道類似的信息傳輸率和信道容量的表達(dá)式。編輯課件一、連續(xù)單符號加性高斯噪聲信道的信道容量設(shè)信道迭加的噪聲n是均值為零，方差為2的一維高斯噪聲，那么噪聲信源的熵為：如果信道輸出信號Y的平均功率限制在Po以下，由前知，當(dāng)Y是均值為零的高斯變量時，其熵h(Y)為最大。因此，得平均功率受限高斯加性信道的信道容量(每個自由度)為：編輯課件二、多維無記憶高斯加性連續(xù)信道(比特／N個自由度)加性信道輸入信號序列{X1X2…XN}輸出信號序列{Y1Y2…YN}高斯噪聲{n1n2…nN}X1Y1=X1+n1n1XNYN=XN+nNnN編輯課件上式同樣也是N個獨立、并聯(lián)組合高斯加性信道的信道容量。此時分兩種情況：(1)假設(shè)各單元時刻(i＝1,…,N)上的噪聲都是均值為零、方差為Pn的高斯噪聲，得：(2)假設(shè)各單元時刻(i＝1,…,N)上的噪聲是均值為零，方差為不同Pni的高斯噪聲，但輸入信號的總平均功率受限，其約束為：那么：單位：(比特／N個自由度)(常數(shù)),i=1,2…,N編輯課件這結(jié)論說明，N個獨立并聯(lián)的組合高斯加性信道，當(dāng)各分信道(或各時刻)的噪聲平均功率不相等時，為到達(dá)最大的信息傳輸率，要對輸入信號的總能量適當(dāng)?shù)剡M(jìn)行分配。

當(dāng)常數(shù)

＜Pni時，此信道(或此時刻信號分量)不分配能量，使不傳送任何信息，當(dāng)

＞Pni，在這些信道分配能量，并使?jié)M足Psi+Pni=

，這樣得到的信道容量為最大。這與實際情況也相符：我們總是在噪聲大的信道少傳或不傳送信息，而在噪聲小的信道多傳送些信息。編輯課件[例6]

設(shè)在各單元時刻上，噪聲是均值為零，方差為Pni

的高斯加性噪聲。輸入信號X是10個相互統(tǒng)計獨立、均值為零、方差為Psi的高斯變量，且：由常數(shù)

的約束條件，得：解：比較得：Ps7=-0.05，Ps8=-0.15，Ps9=-0.25，Ps10=-0.35，可見，最后四個信道應(yīng)排除，即令：Ps7=0，Ps8=0，Ps9=0，Ps10=0Pn1=0.1，Pn2=0.2，Pn3=0.3，Pn4=0.4，Pn5=0.5，Pn6=0.6，Pn7=0.7，Pn8=0.8，Pn9=0.9，Pn10=1.0〔單位為W〕編輯課件再計算常數(shù)〔此時N=6〕，得：比較得：Ps6=-0.083，可見，第六個信道也應(yīng)排除，令：Ps6=0再計算常數(shù)〔此時N=5〕，得：可見，第五個信道也應(yīng)排除，令：

Ps5=0所以，功率分配為：Ps1=0.4，Ps2=0.3，Ps3=0.2，Ps4=0.1Pn1=0.1，Pn2=0.2，Pn3=0.3，Pn4=0.4，Pn5=0.5，Pn6=0.6，Pn7=0.7，Pn8=0.8，Pn9=0.9，Pn10=1.0〔單位為W〕編輯課件(比特／10個自由度)本例結(jié)果說明，噪聲分量平均功率小的信道分配得到的相應(yīng)信號分量的平均功率要大一些，那些太壞的信道就不去用它，可使總的信道容量最大。假設(shè)提高信號的總平均功率，可使有些信道相應(yīng)的輸入信號也分配到一些能量。功率分配為：Ps1=0.4，Ps2=0.3，Ps3=0.2，Ps4=0.1信道容量：編輯課件(比特／10個自由度)假設(shè)提高信號的總平均功率，使：功率分配為：Ps1=0.725，Ps2=0.625，Ps3=0.525，Ps4=0.425，Ps5=0.325，Ps6=0.225，Ps7=0.125，Ps8=0.025信道容量：比較得最后兩個信道應(yīng)排除，令：Ps9=0，Ps10=0編輯課件三、限頻限時限功率的加性高斯白噪聲信道的信道容量一般信道的頻帶寬度總是有限的，設(shè)頻帶寬度為W，在這樣的波形信道中，滿足限頻、限時、限功率的條件約束，所以可通過取樣將輸入和輸出信號轉(zhuǎn)化為L維的隨機(jī)序列：

和，而在頻帶內(nèi)的高斯噪聲是彼此獨立的，從而有按照采樣定理，在[0，T]范圍內(nèi)要求。這是多維無記憶高斯加性信道，其信道容量為：

---------這是重要的香農(nóng)公式。當(dāng)信道輸入信號是平均功率受限的高斯白噪聲信號時，信息傳輸率才到達(dá)此信道容量。編輯課件香農(nóng)公式的物理意義為：當(dāng)信道容量一定時，增大信道的帶寬，可以降低對信噪功率比的要求；反之，當(dāng)信道頻帶較窄時，可以通過提高信噪功率比來補(bǔ)償。香農(nóng)公式是在噪聲信道中進(jìn)行可靠通信的信息傳輸率的上限值。

編輯課件[例6．4]在信道中常允許多路復(fù)用。一般信號的帶寬為3300Hz。假設(shè)信噪功率比為20dB(即Ps/(NoW)=100)，代入香農(nóng)公式計算可得信通的信道容量為22000比特／秒。而實際信道能到達(dá)的最大信道傳輸率約為19200比特／秒。因為在實際通道中，還需考慮串音、干擾、回聲等等的因素，所以比理論計算的值要小。說明：實際信道通常是非高斯波形信道。香農(nóng)公式可適用于其他一般非高斯波形信道，由香農(nóng)公式得到的值是非高斯波形信道的信道容量的下限值。比特／秒編輯課件3.6信源與信道的匹配在一般情況下，當(dāng)信源與信道相連接時，其信息傳輸率并未到達(dá)最大。我們總希望能使信息傳輸率越大越好，能到達(dá)或盡可能接近于信道容量，由前面的分