第三章信道及其容量

1、第三章 信道及其容量u 信道的任務(wù)是以信號方式傳輸信息和存儲信息。u 研究信道中能夠傳送或存儲的最大信息量，即信道容量。3.1 信道的數(shù)學(xué)模型和分類 等效信道 干擾源 物理信道 解調(diào)器 編碼器 譯碼器 信宿 信源 調(diào)制器 實際信道 編碼信道 圖3.1.1 數(shù)字通信系統(tǒng)的一般模型3.1 信道的數(shù)學(xué)模型和分類 一、信道的分類一、信道的分類 根據(jù)載荷消息的媒體不同根據(jù)載荷消息的媒體不同根據(jù)信息傳輸?shù)姆绞礁鶕?jù)信息傳輸?shù)姆绞礁鶕?jù)信息傳輸?shù)姆绞椒诸愔懈鶕?jù)信息傳輸?shù)姆绞椒诸愔?根據(jù)信道的用戶多少：兩端根據(jù)信道的用戶多少：兩端(單用戶單用戶)信道信道 多端多端(多用戶多用戶)信道信道根據(jù)信道輸入端和輸出端的關(guān)

2、聯(lián)：根據(jù)信道輸入端和輸出端的關(guān)聯(lián)： 無反饋信道無反饋信道 反饋信道反饋信道根據(jù)信道的參數(shù)與時間的關(guān)系：根據(jù)信道的參數(shù)與時間的關(guān)系： 固定參數(shù)信道固定參數(shù)信道 時變參數(shù)信道時變參數(shù)信道 根據(jù)輸入和輸出信號的特點：根據(jù)輸入和輸出信號的特點： 離散信道離散信道 連續(xù)信道連續(xù)信道 半離散或半連續(xù)信道半離散或半連續(xù)信道 波形信道波形信道二、離散信道的數(shù)學(xué)模型二、離散信道的數(shù)學(xué)模型條件概率條件概率 P(y/x) 描述了輸入信號和輸出信號之間統(tǒng)計描述了輸入信號和輸出信號之間統(tǒng)計依賴關(guān)系。反映了依賴關(guān)系。反映了信道的統(tǒng)計特性信道的統(tǒng)計特性。 根據(jù)信道的根據(jù)信道的統(tǒng)計特性即條件概率統(tǒng)計特性即條件概率 P(y/x

3、)P(y/x)的不同，的不同，離散信道又可分成三種情況：離散信道又可分成三種情況： 無干擾信道無干擾信道 有干擾無記憶信道有干擾無記憶信道 有干擾有記憶信道有干擾有記憶信道 (1)無干擾無干擾(噪聲噪聲)信道信道 信道中沒有隨機性的干擾或者干擾很小，輸出信號信道中沒有隨機性的干擾或者干擾很小，輸出信號y與輸入信號與輸入信號 x 之間有確定的、一之間有確定的、一 一對應(yīng)的關(guān)系。即：一對應(yīng)的關(guān)系。即：y f (x)(0)(1)|(xfyxfyxyP(2)有干擾無記憶信道有干擾無記憶信道 信道輸入和輸出之間的條件概率是一般的概率分布。信道輸入和輸出之間的條件概率是一般的概率分布。 如果任一時刻輸出符

4、號只統(tǒng)計依賴于對應(yīng)時刻的輸入符號，如果任一時刻輸出符號只統(tǒng)計依賴于對應(yīng)時刻的輸入符號，則這種信道稱為無記憶信道。則這種信道稱為無記憶信道。)|().|.()|(iiNiNNxyPxxxyyyPxyP12121 (3) 有干擾有干擾(噪聲噪聲)有記憶信道有記憶信道 實際信道往往是既有干擾實際信道往往是既有干擾(噪聲噪聲)又有記憶的這種類型。又有記憶的這種類型。 例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時造成了碼字之間的干擾。造成了碼字之間的干擾。 在這一類信道中某一瞬間的輸出符號在這一類信道中某一瞬間的輸出符號不但與對應(yīng)時刻的不但與對應(yīng)時刻的

5、輸入符號有關(guān)，而且還與此以前其他時刻信道的輸入符號及輸入符號有關(guān)，而且還與此以前其他時刻信道的輸入符號及輸出符號有關(guān)輸出符號有關(guān)，這樣的信道稱為有記憶信道。這樣的信道稱為有記憶信道。三、單符號離散信道三、單符號離散信道單符號離散信道：單符號離散信道：輸入符號為輸入符號為X，取值于，取值于a1,a2, ,ar。輸出符號為輸出符號為Y，取值于，取值于b1,b2, ,bs。條件概率：條件概率：P(y/x)P(y=bj/x=ai)P(bj/ai) 這一組條件概率稱為這一組條件概率稱為信道的傳遞概率信道的傳遞概率或或轉(zhuǎn)移概率轉(zhuǎn)移概率，可以用，可以用來來描述信道干擾描述信道干擾影響的大小。影響的大小。 信

6、道中有干擾信道中有干擾(噪聲噪聲)存在，可以用傳遞概率存在，可以用傳遞概率 P(bj/ai) 來描述干來描述干擾影響的大小。擾影響的大小。 一般一般簡單的單符號離散信道簡單的單符號離散信道可以用可以用X, P(y/x) ,Y 三者加以描三者加以描述。述。 其數(shù)學(xué)模型可以用概率空間其數(shù)學(xué)模型可以用概率空間X, P(y/x) ,Y描述。當然，也可描述。當然，也可用下圖來描述：用下圖來描述： a1 b1 a2 b2 X . . Y . .ar bsP(bj/ai)例例1 二元對稱信道，二元對稱信道，BSC，Binary Symmetrical Channel解：解：此時，此時，X:0,1 ; Y:0

7、,1 ; r=s=2，a1=b1=0；a2=b2=1。傳遞概率傳遞概率:pPabPpPabPppPabPppPabP )0|1()|()1|0()|(1)1|1()|(1)0|0()|(12212211 p是單個符號是單個符號傳輸發(fā)生錯誤傳輸發(fā)生錯誤的概率。的概率。（1-p）表示是）表示是無錯誤傳輸無錯誤傳輸?shù)母怕省５母怕省?轉(zhuǎn)移矩陣轉(zhuǎn)移矩陣: -1 pppp1 0 1011p a1=0 0=b11p a2=1 1=b2pp符號符號“2”表示接收到了表示接收到了“0”、“1”以外的特殊符以外的特殊符號號 qqpp1001 0 2 101p0 01p1 1q1q2例例2二元刪除信道。二元刪除信道

8、。BEC，Binary Eliminated Channel解：解：X:0，1 Y:0，1，2此時，此時，r 2，s 3，傳遞矩陣為：傳遞矩陣為： 一般離散單符號信道的傳遞概率可用矩陣形式表示，即一般離散單符號信道的傳遞概率可用矩陣形式表示，即 sjijijpp110 矩陣矩陣P完全描述了信道的特性，可用它作為離散單符號完全描述了信道的特性，可用它作為離散單符號信道的另一種數(shù)學(xué)模型信道的另一種數(shù)學(xué)模型的形式。的形式。 P中有些是信道干擾引起的錯誤概率，有些是信道正確中有些是信道干擾引起的錯誤概率，有些是信道正確傳輸?shù)母怕?。所以該矩陣又稱為傳輸?shù)母怕?。所以該矩陣又稱為信道矩陣信道矩陣（轉(zhuǎn)移矩陣）

9、（轉(zhuǎn)移矩陣） 。 rsrrsspppppppppP.:.212222111211 b1 b2 bsa1 P(b1|a1) P(b2|a1) P(bs|a1)a2 P(b1|a2) P(b2|a2) P(bs|a2) . ar P(b1|ar) P(b2|ar) P(bs|ar)3.2 信道疑義度與平均互信息 本節(jié)進一步研究離散單符號信道的數(shù)學(xué)模型下的信本節(jié)進一步研究離散單符號信道的數(shù)學(xué)模型下的信息傳輸問題。息傳輸問題。一、信道疑義度一、信道疑義度信道輸入信源信道輸入信源X的熵的熵 H(X)是在接收到輸出是在接收到輸出Y以前，關(guān)于輸入變量以前，關(guān)于輸入變量X的先驗不的先驗不確定性，稱為先驗熵。確

10、定性，稱為先驗熵。 )(log)()(1log)()(1xPxPaPaPXHXirii接受到接受到bj后，關(guān)于后，關(guān)于X的不確定性為的不確定性為 后驗熵在輸出符號集后驗熵在輸出符號集Y范圍內(nèi)是個隨機量，對后驗熵在符范圍內(nèi)是個隨機量，對后驗熵在符號集號集Y中求數(shù)學(xué)期望，得條件熵中求數(shù)學(xué)期望，得條件熵-信道疑義度信道疑義度：這是接收到輸出符號這是接收到輸出符號bj后關(guān)于后關(guān)于X的的后驗熵后驗熵。 后驗熵是當信道接收端接收到輸出符號后驗熵是當信道接收端接收到輸出符號bj后，關(guān)于輸入后，關(guān)于輸入符號的信息測度。符號的信息測度。)|(1log)|()|(jXjjbxPbxPbXH )/()()/()|(

11、1jsjjjbXHbPbXHEYXHrijijisjjbaPbaPbP11)|(1log)|()()|(1log)(,yxPxyPYX互信息量互信息量 I(xi ; yj)：收到消息：收到消息yj 后獲得關(guān)于后獲得關(guān)于xi的信息量的信息量)()|(log)|(1log)(1log)/()();(ijijiijixpyxpyxpxpyxIxIyxI二、平均互信息二、平均互信息)()|(log)();()();(ijijijijijijixpyxpyxpyxIyxpYXI平均互信息平均互信息I(X; Y)： I(xi ; yj)的的統(tǒng)計平均。統(tǒng)計平均。l它代表接收到符號集它代表接收到符號集Y后平均

12、每個符號獲得的關(guān)于后平均每個符號獲得的關(guān)于X的信的信息量，也表示了輸入與輸出兩個隨機變量之間的統(tǒng)計約息量，也表示了輸入與輸出兩個隨機變量之間的統(tǒng)計約束程度。束程度。平均互信息與各類熵的關(guān)系平均互信息與各類熵的關(guān)系)(1log)()(;)(1log)()(ypypYHxpxpXHYX)|(1log)()|(;)|(1log)()|(,xypxypXYHyxpxypYXHYXYX )(1log)()(,xypxypXYHYX H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)I(X;Y)H(XY)H(XY) 兩種特殊信道兩種特殊信道)(0)(1)|(xfyjixfyjixypij)(0)(1)|

13、(xfyjixfyjiyxpjiYyXxyPxyp)()|(YyXxxPyxp)()|(3.2 3.2 平均互信息的性質(zhì)平均互信息的性質(zhì)平均互信息平均互信息 I(X;Y) 具有以下特性：具有以下特性：（1）非負性）非負性 即即 I(X;Y) = 0 當當X、Y統(tǒng)計獨立時等式成立。統(tǒng)計獨立時等式成立。（2）極值性）極值性 即即 I(X;Y) = H(X) 當當 H(X/Y)=0 時，即信道中傳輸信息無損時，等式時，即信道中傳輸信息無損時，等式成立。成立。（3）交互性（對稱性）交互性（對稱性） 即即 I(X;Y) = I(Y;X) 當當 X、Y統(tǒng)計獨立時統(tǒng)計獨立時 I(X;Y) = I(Y;X)=

14、0 當信道無干擾時當信道無干擾時(一一對應(yīng)一一對應(yīng)) I(X;Y) = I(Y;X)=H(X)=H(Y),(| )(| )(;)( ;)()log( ) (| )log( )( )( )( ) (| )X YX YXP y xP y xI X YI Y XP xyP x P y xP yP yP yP x P y x其中：l 平均互信息平均互信息I(X;Y)是輸入信源的概率分布是輸入信源的概率分布P(x)的的型凸函數(shù)。型凸函數(shù)。l 平均互信息平均互信息I(X;Y)是信道傳遞的概率是信道傳遞的概率P(y/x)的的型凸函數(shù)。型凸函數(shù)。 當當信源固定信源固定后，選擇不同的信道來傳輸同一信源符后，選擇

15、不同的信道來傳輸同一信源符號，在信道輸出端獲得關(guān)于信源的信息量是不同的。號，在信道輸出端獲得關(guān)于信源的信息量是不同的。 對每一種信源都存在一種最差的信道，此時干擾對每一種信源都存在一種最差的信道，此時干擾 (噪聲噪聲) 最大，而輸出端獲得的信息量最小。最大，而輸出端獲得的信息量最小。3.3.3 3 離散無記憶信道的擴展離散無記憶信道的擴展信道信道sjijijpp110)|().|.()|(12121ijNiNNxyPxxxyyyPxyP rsrrsspppppppppP.:.:.2122221112111 11111 111 12221 12(. )(. )(.)(. )(|): (.)(.

16、)NNNNkkrrrsssrsa aabbba aabbbpXYa aab bb NNNNNNsrrrss212222111211(|)khhkp1212(|)hhhNkkkNp b bba aa1(|)1,2,1,2,NNNhikiip bakirhis22222222pppppppppppppppppppppppp2112131241(/)(00/00)(0/0) (0/0)(/)(01/00)(0/0) (1/0)(/)(10/00)(1/0) (0/0)(/)(11/00)(1/0) (1/0)PPPPpPPPPppPPPPppPPPPp);();(NNYXIYXI)/()(NNNYX

17、HXH)/()(NNNXYHYHNiiixyPP1)/()/(xyNiiiYXIYXI1);();(),(),(1iiNiYXIIYX),(),(),(1YXNIYXIIiiNiYX 研究信道的研究信道的目的目的是要討論信道中平均每個符號所是要討論信道中平均每個符號所能傳送的信息量能傳送的信息量-信息傳輸率信息傳輸率R 平均互信息平均互信息I(X;Y)就是接收到符號就是接收到符號Y后平均每個后平均每個符號獲得的關(guān)于符號獲得的關(guān)于X的信息量。的信息量。 所以：所以： R = I(X;Y) = H(X) H(X|Y) (比特比特/符號符號)3.4 3.4 離散信道的信道容量離散信道的信道容量 信道

18、中每秒平均傳輸?shù)男畔⒘啃诺乐忻棵肫骄鶄鬏數(shù)男畔⒘?信息傳輸速率信息傳輸速率RtRt R/t = I(X;Y)/t = H(X)/t H(X|Y)/t （比特（比特/秒）秒）一、一、 信道容量的定義信道容量的定義 由于平均互信息由于平均互信息I(X;Y)是輸入隨機變量的是輸入隨機變量的型凸函數(shù)型凸函數(shù) ，所，所以對一固定的信道，總存在一種信源，使傳輸每個符號平均獲以對一固定的信道，總存在一種信源，使傳輸每個符號平均獲得的信息量最大。得的信息量最大。即存在一個最大的信息傳輸率即存在一個最大的信息傳輸率 -定義為定義為信道容量信道容量C);(max)(YXICXP tCCt例例4 信道容量的計算信道

19、容量的計算)(1);(maxpHYXImax(; )max()( )1( )CIX YHppH pH p ()( )HppH p當當12二、簡單離散信道的信道容量二、簡單離散信道的信道容量100010001)3 , 2 , 1,(10)/()/(jijijibaPabPjiij)/(loglog)(max)(max)()(symbolbitsrYHXHCyPxP1000000101103530000002121P”0“1)/(1)/(1)/(1)/(1)/(1)/(635242322111其他各項后驗概率為baPbaPbaPbaPbaPbaPsymbolbitrXHCxP/log)(max)(

20、無噪有損信道無噪有損信道()max( )log(/)P yCH Ysbit symbol三、對稱離散信道的信道容量三、對稱離散信道的信道容量2161313121616131213131616161613131PP和7 . 01 . 02 . 01 . 02 . 07 . 03161316161613131PP和.11.11:.11ppprrpppPrrppprr1pp)/() ,., (log),., ()(max2121)(symbolbitpppHspppHYHCssxP YXxypxypxpXYH)|(1log)|()()|()/()(xXYHxpXYxypxypxXYH)|(1log)

21、|()|(),., ()/(21spppHxXYH3131616161613131P四、離散無記憶四、離散無記憶N次擴展信道的信道容量次擴展信道的信道容量),(),(1iiNiYXII YX即：即：CN = NC()()1()11max (; ) max(;) max (;) iNP XNiiP XiNiiP XiNiiCI X YI X YI X YC 35 連續(xù)信道的信道容量 一、連續(xù)單符號加性高斯噪聲信道的信道容量一、連續(xù)單符號加性高斯噪聲信道的信道容量22log)(enh2020log212log2logPeePC)1log(21)1log(212nssPPP二、多維無記憶高斯加性連續(xù)

22、信道二、多維無記憶高斯加性連續(xù)信道NiiNiiinpxypxypnp11)()/()/()(NiiiYXIYXI1);();(NinisiPP11log21NinisiPP11log21);(max)(YXICxpX1Y1=X1 +n1n1XNYN=XN +nNnNPnnsPPNC1log2NininiPPC11log210 00 )(xxxxnisiPPPPXENisiNii112nisiPPnisiPP)( 11WPNisi65. 00 . 1.2 . 01 . 011011011NiniPP517. 06 . 0.2 . 01 . 01616161iniPP5 . 05 . 0.2 .

23、01 . 01515151iniPP5 . 04 . 0.2 . 01 . 01414141iniPP35. 24 . 03 . 02 . 01 . 05 . 0log21log21log211log21443214141nnnniniinisiPPPPPPPC53. 48 . 0.2 . 01 . 0825. 0log21log21log2188765432181nnnnnnnniniPPPPPPPPPC85. 00 . 1.2 . 01 . 031011011NiniPP)(31WPNisi825. 08 . 0.2 . 01 . 0381三、限頻限時限功率的加性高斯白噪聲信道的信道容量三

24、、限頻限時限功率的加性高斯白噪聲信道的信道容量 12(,.,)Lxx xx12(,.,)Lyy yyyxn2LWT和，而在頻帶內(nèi)的高斯噪聲是彼此獨立的，從而有按照采樣定理，在0，T范圍內(nèi)要求。這是多維無記憶高斯加性信道，其信道容量為： 211log 12LiiiPC0 =log(1)sPWTN W -這是重要的這是重要的香農(nóng)公式香農(nóng)公式。當信道輸入信號是平均功率受。當信道輸入信號是平均功率受限的高斯白噪聲信號時，信息傳輸率才達到此信道容量。限的高斯白噪聲信號時，信息傳輸率才達到此信道容量。 WNPWTCCsTt01loglim比特秒比特秒3.6 信源與信道的匹配 在一般情況下，當信源與信道相連接時，其信息傳輸率并未達到最大。我們總希望能使信息傳輸率越大越好，能達到或盡可能接近于信道容量，由前面的分析可知，信息傳輸率接近