第3章信道與信道容量

第3章信道與信道容量吳曉青目錄3.1信道分類3.2單符號離散信道及其容量

3.2.1數(shù)學(xué)模型

3.2.2信道容量

3.2.3離散信道容量的迭代算法3.3離散序列信道及其容量

3.4信源與信道的匹配3.5連續(xù)信道及其容量

3.5.1連續(xù)單符號加性信道

3.5.2多維無記憶加性連續(xù)信道

3.5.3加性高斯白噪聲波形信道信道：信息傳輸?shù)耐ǖ?，是傳輸信息的載體，其主要任務(wù)是傳輸或者存儲信息。通信的本質(zhì)：就是通過信道傳輸信息，實現(xiàn)不同地點之間或者不同時間的信息交流。主要研究內(nèi)容：在理論上能夠傳輸或者存儲的最大信息量，即信道容量。3.1信道分類

信息論研究信道，一般認為已經(jīng)知道信道的傳輸特性，即輸入、輸出之間的統(tǒng)計依賴關(guān)系已知。離散無記憶信道模型根據(jù)統(tǒng)計特性分類：恒參信道：信道的統(tǒng)計特性不隨時間而變化。比如，幅度衰減倍數(shù)等參數(shù)恒定。如電話線、光纖、高斯白噪聲信道、衛(wèi)星信道一般視為恒參信道。隨參信道：信道的統(tǒng)計特性隨時間而變化。統(tǒng)計特性隨著環(huán)境、溫度、濕度等參數(shù)而變化。如短波信道隨電離層變化而變化；微波信道，移動電話在高速列車上可能因多普勒效應(yīng)發(fā)生頻移等。根據(jù)信道用戶量多少分類：單用戶信道：也稱兩端信道，該信道只有一個輸入端和一個輸出端，而且只能進行單方向的通信。點對點應(yīng)用。

多用戶信道：也稱多端信道，輸入端或者輸出端至少有一端具有兩個或者兩個以上用戶，并且可以實現(xiàn)雙向通信。目前大多數(shù)信道都是多端信道。廣播信道、通信網(wǎng)絡(luò)等。根據(jù)輸入、輸出的取值特性分類：離散信道：也稱為數(shù)字信道，該類信道中輸入空間、輸出空間均為離散事件集合，集合中事件數(shù)量是有限的，或者有限可數(shù)的，隨機變量取值都是離散的。連續(xù)信道：也稱為模擬信道，輸入空間、輸出空間均為連續(xù)事件集合，集合中事件的數(shù)量是無限的、不可數(shù)的，即隨機變量的取值數(shù)量是無限的、或者不可數(shù)的。半離散半連續(xù)信道：輸入空間、輸出空間一個為離散事件集合，而另一個則為連續(xù)事件集合，即輸入、輸出隨機變量一個是離散的，另一個是連續(xù)的。波形信道：也稱為時間連續(xù)信道，信道輸入、輸出都是時間的函數(shù)，而且隨機變量的取值都取自連續(xù)集合，且在時間上的取值是連續(xù)的。根據(jù)信道中信號所受噪聲的統(tǒng)計特性分類：

隨機差錯信道：信道中傳輸碼元所遭受的噪聲是隨機的、獨立的，這種噪聲相互之間不具有關(guān)聯(lián)性，碼元錯誤不會成串出現(xiàn)，最具有代表性的是高斯白噪聲信道。（無記憶信道）

突發(fā)差錯信道：信道中噪聲或者干擾對傳輸碼元的影響具有關(guān)聯(lián)性，相互之間并不獨立，從而使得碼元錯誤往往成串出現(xiàn)，常有的如衰落信道、碼間干擾信道。在實際中這種信道經(jīng)常出現(xiàn)，如移動通信的信道、光盤存儲等都屬于該類信道。（有記憶信道）3.2單符號離散信道及其容量

3.2.1數(shù)學(xué)模型單符號無記憶信道：信道的輸入符號之間、輸出符號之間都不存在關(guān)聯(lián)性，即無記憶的，此時輸入、輸出可以看作是單符號的，稱這類信道為單維信道或者單符號信道。單符號離散無記憶信道進一步，如果信道的輸入、輸出隨機變量都是離散的，則該信道為單符號離散無記憶信道。輸入符號集合X、輸出符號集合Y內(nèi)部不存在關(guān)聯(lián)性，集合X和集合Y之間有關(guān)聯(lián)。

離散無記憶信道模型條件轉(zhuǎn)移概率用來描述信道特性。輸入x=ai，輸出y=bj對應(yīng)的條件轉(zhuǎn)移概率為信道轉(zhuǎn)移矩陣用矩陣來表示信道輸入、輸出符號之間的條件轉(zhuǎn)移關(guān)系：又稱為條件轉(zhuǎn)移矩陣或者信道轉(zhuǎn)移矩陣。條件轉(zhuǎn)移矩陣是一個r×s的矩陣，當輸入、輸出集合的元素數(shù)量相等(r=s)時，是一個方陣。

信道的條件轉(zhuǎn)移概率p(bj|ai)通常稱為前向概率，表示在輸入為ai時，通過信道后接收為bj的概率，描述了信道噪聲的特性。p(ai|bj)稱為后向概率，表示當接收符號為bj時，信道輸入為ai的概率，所以也稱為后驗概率。

后驗概率求法前向概率、后驗概率由公式由公式3.2.2信道容量

信道的信息傳輸率R含義：1、表示在單符號離散信道中，平均每個符號傳送的信息量。2、由于信道中存在干擾，信道輸出端接收的符號與輸入符號之間并不是一一對應(yīng)的;從信息傳輸?shù)慕嵌榷?，信道輸入符號X所攜帶的平均信息量H(X)并不等于信道輸出端接收到的信息量H(Y)；3、信道的干擾或者噪聲總是有限的，從統(tǒng)計角度而言，總有部分信息能夠準確傳輸。信息傳輸速率t:傳輸一個符號所需時間

的單位：bit/符號÷s/符號=bit/s定義3.1設(shè)某信道的平均互信息量為I(X;Y)，信道輸入符號的先驗概率為p(x)，該信道的信道容量C定義為上述的極值問題實際是有約束條件的，先驗概率分布應(yīng)當滿足下列條件

對于給定信道，前向概率p(x)是一定的，所以信道容量就是在信道前向概率一定的情況下，尋找某種先驗概率分布，從而使得平均互信息量最大，這種先驗分布概率稱為最佳分布。幾點討論：1、對于給定信道最佳分布總是存在的。如果信道輸入滿足最佳分布，信息傳輸率最大，即達到信息容量C；如果信道輸入的先驗分布不是最佳分布，那么信息傳輸率不能夠達到信息容量。2、信道傳輸?shù)男畔⒘縍必須小于信道容量C，否則傳輸過程中會造成信息損失，出現(xiàn)錯誤；如果R<C成立，可以通過信道編碼方法保證信息能夠幾乎無失真地傳送到接收端。幾種特殊信道的信道容量1．無干擾離散信道理想信道。根據(jù)信道輸入符號X與信道輸出符號Y之間的關(guān)系，可以分為下列幾種：（1）無噪無損信道的信道容量該信道的輸入、輸出集合符號數(shù)量相等，即r=s，此時輸入X與輸出Y之間是一一對應(yīng)的。對于給定ai，由于只有一個為1，其余都為0，所以可得信道容量（2）無噪有損信道的信道容量信道輸出符號Y集合的數(shù)量小于信道輸入符號X集合的數(shù)量，即r>s，形成多對一的映射關(guān)系，可得：信道容量此時使得最佳分布不唯一，滿足上述條件即可。無噪有損信道矩陣特點每行只有一個元素為1，其余元素都為0。

（3）有噪無損信道信道輸出符號Y集合的數(shù)量大于信道輸入符號X集合的數(shù)量，即r<s，形成一對多的映射關(guān)系，可得：信道容量輸入符號分布等概時，即I(X;Y)最大，達到信道容量信道概率轉(zhuǎn)移矩陣中每列只有一個非零元素有噪無損信道矩陣特點2．對稱離散信道的信道容量定義3.2

如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，則稱信道關(guān)于輸入是對稱的，這種信道稱為輸入對稱離散信道。矩陣中第二行的元素與第一行的元素完全相同，所以該信道為輸入對稱的。由定義：假設(shè)轉(zhuǎn)移矩陣首行元素為(p1,p2,…pr)，則有輸入對稱信道的容量為所以輸入對稱信道的容量就是找到一種分布，使得信道輸出的熵最大。求該信道的容量C解：設(shè)信道輸入的概率空間為信道輸出的概率分布為例3.1信道的轉(zhuǎn)移矩陣為取得極值的條件為解上述方程，可以得到取得極值的條件為p=0.5，即當信道輸入為等概率分布時，取得最大值，所以比特/符號比特/符號比特/符號顯然,，所以，當信道只是輸入對稱時,應(yīng)當首先假設(shè)信道輸入分布，然后解決極值問題。信道容量不能夠簡單認為是定義3.3如果信道轉(zhuǎn)移概率矩陣中所有列矢量都是第一列的某種置換，則稱信道關(guān)于輸出是對稱的，這種信道稱為輸出對稱離散信道。如果信道是輸出對稱的，那么當信道輸入符號為等概率分布時，信道輸出也是等概率分布的。

當信道輸出對稱時為常數(shù)輸入等概率分布時

，輸出由于信道轉(zhuǎn)移矩陣是已知的，可以使用下列公式

只要能夠求出使得上式取得最小值的信道輸入概率分布，即可求出信道容量。定義3.4如果信道轉(zhuǎn)移矩陣按列可以劃分為幾個互不相交的子集，每個子矩陣滿足下列性質(zhì)：(1)每行都是第一行的某種置換；(2)每列都是第一列的某種置換；則稱該信道為準對稱信道。顯然，準對稱信道是輸入對稱的。特別地，當這種劃分只包含一個矩陣，該信道稱為對稱信道，此時信道既是輸入對稱的，也是輸出對稱的。因為輸入對稱，有

且滿足H(Y|X)與信道輸入的分布無關(guān)，只與條件概率分布有關(guān)，所以對稱信道容量計算對稱信道的信道容量為：對稱信道最佳分布，信道輸入應(yīng)當滿足等概率分布。求信道容量C。解：觀察信道轉(zhuǎn)移矩陣可知，矩陣的第二行是第一行的置換，每一列都是第一列的置換，所以信道是對稱的，所以信道容量為例3.2設(shè)某信道轉(zhuǎn)移矩陣為比特/符號定理3.1準對稱離散信道容量在信道輸入為等概率分布時達到。例3.4設(shè)某信道的轉(zhuǎn)移矩陣為求其信道容量。解：從該信道轉(zhuǎn)移矩陣可以看出，該信道是一個準對稱信道，可以將之分解為兩個互不相交的子集，而每個子集都是對稱信道形式，對應(yīng)參數(shù)分別為

行元素之和列元素之和根據(jù)準對稱離散信道的信道容量計算公式求解

特別地，如果p＝0，則信道轉(zhuǎn)移矩陣為該信道即二元純對稱刪除信道，其信道容量為比特/符號對應(yīng)的參數(shù)分別為例3.5信道轉(zhuǎn)移矩陣為求信道容量C。解：通過觀測可知，該信道是準對稱信道，可以分解為三個互不相交的子集，分別為，，，，，，，所以信道容量為

比特/符號模K加性噪聲信道的信道容量DMC的輸入為X，X的所有事件為｛0,1,2…K-1}DMC的輸出為Y，Y的所有事件為｛0,1,2…K-1}DMC的輸入為Z，Z的所有事件為｛0,1,2…K-1}X與Z相互獨立，求信道容量C。輸入輸出干擾k-=0列坐標行坐標3．一般離散信道的容量符號數(shù)量較少信道容量的計算：首先假設(shè)信道的輸入概率分布，根據(jù)信道容量的定義和輸入概率分布的約束條件，直接求解極值問題即可得到最佳分布；然后根據(jù)最佳分布計算信道輸入、輸出之間的平均互信息量，從而得到信道容量如果信道輸入、輸出。例3.6信道轉(zhuǎn)移矩陣為

求信道輸入最佳分布和信道容量。解：觀察信道轉(zhuǎn)移矩陣可知，該信道不是對稱，信道的輸入輸出符號數(shù)量都為2，假設(shè)信道輸入符號的概率分別為p,1-p求得：平均互信息量C=0.415比特/符號從該例可以看出，1、即使是簡單的非對稱二元信道，其最佳分布的求解也十分復(fù)雜。2、所以一般離散信道的信道容量的求解通過計算機求解。一般離散信道達到信道容量時，輸入概率分布應(yīng)滿足的定理定理3.2設(shè)有一般離散信道，它有r個輸入符號，s個輸出符號，其平均互信息I(X;Y)達到極大值（即等于信道容量）的充要條件是輸入概率分布p(x)滿足：常數(shù)C就是所求的信道容量對所有的的ai對所有的的ai上述定理的幾點討論1、上述定理只是給出了達到信道容量時，信道輸入符號分布的充要條件；2、不能夠給出信道輸入的最佳概率分布，也沒有給出信道容量的計算公式；3、達到信道容量的最佳分布一般不是唯一的，只要輸入分布滿足概率的約束條件，并且使得達到最大值即可。4、一般情況下，根據(jù)上述定理求解信道容量和信道輸入的最佳概率分布還是十分復(fù)雜的。但是對于某些特殊信道，可以使用上述定理求解信道容量。

可逆矩陣信道容量假定所有輸入字母的概率為Qk,則輸出概率分布由可得即：令：得：可看成是有J個未知數(shù)的線性方程組。由假設(shè)P是非奇異矩陣，故線性方程組有唯一解。令｛｝為其解，由又可得特別注意Qk>0,對上面的解進行驗證。計算，計算Qk,解方程組驗證。若Qk>0,則所得到的解釋正確的。否則滿足條件的解在邊界上，令某個Qk=0,再進行試解。特別，J>K多解，有時要令多個Qk為0進行試解。例題：DMC信道轉(zhuǎn)移矩陣為試求信道容量C。根據(jù)，列方程組得從而根據(jù)求得再根據(jù)得到方程組可得，輸入分布經(jīng)驗證，Qk>0,因此結(jié)果正確。C=log5-1最佳分布為例3.7設(shè)某信道轉(zhuǎn)移矩陣為求該信道的容量和信道輸入的最佳概率分布。解：該信道不是對稱信道，所以不能直接使用對稱信道計算其信道容量。但是通過觀察發(fā)現(xiàn)，如果信道輸入符號的概率p(a2)=0，該信道就是一個二元純對稱刪除信道。這樣就可以假設(shè)然后檢查是否滿足上述定理的條件，如果滿足就可以計算出信道容量。首先根據(jù)假設(shè)求出相應(yīng)的p(bj)，

然后計算互信息量顯然滿足定理3.2的條件，所以信道容量為對應(yīng)的信道輸入最佳概率分布為。3.2.3離散信道容量的迭代算法

基本思想：設(shè)后驗概率p(ai|bj)為自變量，并且假設(shè)存在一個反向試驗信道，反向信道的轉(zhuǎn)移矩陣就是由p(ai|bj)構(gòu)成的；這樣平均互信息量就可以表示為信道轉(zhuǎn)移矩陣和反向轉(zhuǎn)移矩陣的函數(shù)，通過反向矩陣修正信道輸入概率的分布，迭代計算I(X;Y)直到其趨向平穩(wěn)為止。正向信道

引入反向試驗信道后1.以反向轉(zhuǎn)移概率分布為自變量首先假設(shè)信道輸入概率分布保持不變,而是固定的，可以求出時對應(yīng)的反向試驗信道概率分布構(gòu)造函數(shù)求偏導(dǎo)由即信道容量C可由函數(shù)的雙重最大化得到2.以輸入概率分布p(ai)為自變量構(gòu)造函數(shù)求偏導(dǎo)簡化得到其中由等式右邊p(ai)是假設(shè)的初始信道輸入概率，等式左邊的p*(ai)是雙重極大化求得的輸入概率。經(jīng)過整理后得到3.離散無記憶信道容量的逐步迭代算法任意選擇初始輸入概率分布。一般情況下，往往選擇初始分布為等概率分布繼續(xù)進行下一步計算，令迭代序號為在第n步迭代中，可得到其中這三個表達式就是迭代算法的基本公式?，F(xiàn)在令

和

3.3離散序列信道及其容量信道離散序列信道模型對于離散無記憶信道（DMC):離散無記憶平穩(wěn)信道單符號離散無記憶信道轉(zhuǎn)移矩陣輸入取自，輸出取自信道轉(zhuǎn)移矩陣N次擴展序列信道轉(zhuǎn)移矩陣輸入序列：輸出序列：轉(zhuǎn)移矩陣無記憶信道，有下式：一般離散信道的結(jié)論定理3.3離散信道輸入序列，輸出序列，信道轉(zhuǎn)移概率，有（1）如果信道無記憶（2）如果信道輸入序列無記憶，（3）上述兩者均無記憶Xi與Yi表示隨即序列X，Y中第i個分量無記憶信道當輸入字母統(tǒng)計獨立時，輸出字母y也統(tǒng)計獨立，此時取等號序列單個分量傳遞的信道容量兩個序列的互信息量一般離散無記憶N次擴展信道容量平穩(wěn)離散無記憶N次擴展信道容量如果輸入序列符號都來自集合X輸出序列符號都來自集合Y都服從獨立同一分布信道平穩(wěn)則：于是信道輸入隨機序列的變量在同一信道傳輸，則則單符號平均互信息量序列信道容量等于單符號信道容量之和例3.7某二元離散無記憶信道轉(zhuǎn)移矩陣為對信道進行2次擴展，擴展后的信道轉(zhuǎn)移矩陣為信道轉(zhuǎn)移矩陣元素計算：信道容量串聯(lián)信道容量信道1轉(zhuǎn)移矩陣P1,信道2轉(zhuǎn)移矩陣P2,串聯(lián)信道轉(zhuǎn)移矩陣P=P1P2平均互信息量信道容量信道1p(y|x)信道2p(z|xy)XZY并聯(lián)信道容量…信道2p(Y2|X2)X2Y2信道1p(Y1|X1)X1Y1信道m(xù)p(Ym|Xm)XmYm1、序列轉(zhuǎn)移概率：2、每個信道無記憶，總的信道無記憶，則3、并聯(lián)信道容量當輸入分布最佳時,達信道容量，類似離散無記憶序列信道3.4信源與信道的匹配信息傳輸速率R等于信源與信宿之間的平均互信息量當輸入達最佳分布時，稱為信源與信道達到匹配，否則信道有冗余。

定義3.5設(shè)信道的信息傳輸速率為R，信道容量為I(X,Y)，信道的剩余度定義為信道剩余度＝C-I(X,Y)而相對剩余度定義為討論：1、離散信道是對稱的或者接近對稱時，信源輸出符號分布盡可能接近信道要求的等概率分布，實現(xiàn)信源、信道的匹配。采用信源編碼技術(shù)去除信源符號之間相關(guān)性，并且經(jīng)過適當?shù)淖儞Q后達到此要求。2、如果R<C，可以對信源輸出進行適當?shù)男诺谰幋a，實現(xiàn)無誤差的信息傳輸；如果R>C，實現(xiàn)無差錯信息傳輸是不可能的。

3.5連續(xù)信道及其容量對于連續(xù)信源：1、互信息量為信源的熵與條件熵之差2、信道容量定義為互信息量的最大值在形式上，連續(xù)信道的信道容量與離散信道的信道容量是相同的。

3.5.1連續(xù)單符號加性信道信道輸入x(x∈R)輸出y(y∈R)n連續(xù)單符號加性信道單符號連續(xù)信道平均互信息量信道容量根據(jù)限平均功率最大熵定理，輸入X與噪聲n相互獨立，有x=y-n假設(shè)由高斯分布性質(zhì)，當時，信道容量噪聲的加性噪聲信道容量的上、下界

信噪功率比3.5.2多維無記憶加性連續(xù)信道加性信道n1y1=x1+n1x1n2y2=x2+n2x2nNyN=xN+nNxN…輸入序列x輸入序列y噪聲n，均值0的高斯序列多維無記憶加性噪聲信道等價于N個獨立并聯(lián)加性信道輸入、輸出信號是幅度連續(xù)、時間離散信道無記憶，有因為是加性信道噪聲分量輸入分量因多維無記憶加性信道容量1、當各時刻噪聲相同分布2、當各時刻噪聲、輸入不同分布輸入同分布信道容量約束條件求作輔助函數(shù)對Psi(i=0,1,…N)求偏導(dǎo)，令其為0，得由約束條件，得求出信道容量為，當，該信道不分配能量當，該信道分配能量，分配到某時刻噪聲、信號功率和例3.8各時刻，對應(yīng)噪聲為均值為0，方差為輸入X滿足，各分量統(tǒng)計獨立，并滿足求信道容量。先由約束條件，求得此時關(guān)閉信道7~10，N=6，求得此時關(guān)閉信道6，N=5，得關(guān)閉信道5，N=4,各信道分得功率大于0。

信道容量

=2.35比特/自由度功率注水法功率分配3.5.3加性高斯白噪聲信道(AWGN)對波形信道作以下限制：輸入、輸出是平穩(wěn)隨機過程限頻F、限時T在時間上離散為：輸入輸出波形信道平均互信息量3.5.3波形信道容量單位時間信息傳輸率信道容量噪聲，方差即噪聲功率，雙邊功率譜密度取序列長度（T時間內(nèi)取N個樣本，單位時間有2W個樣本）波形信道轉(zhuǎn)換為多維無記憶高斯加性信道，有下式：：每個信號樣本平均功率：每個噪聲分量的功率波形信道容量W：信號帶寬(Hz)，Ps：輸入信號平均功率(w)，N0:噪聲功率譜密度(w/Hz)香農(nóng)公式