第三章信道及其容量

1、第三章 信道及其容量u 信道的任務(wù)是以信號(hào)方式傳輸信息和存儲(chǔ)信息。u 研究信道中能夠傳送或存儲(chǔ)的最大信息量，即信道容量。3.1 信道的數(shù)學(xué)模型和分類 等效信道 干擾源 物理信道 解調(diào)器 編碼器 譯碼器 信宿 信源 調(diào)制器 實(shí)際信道 編碼信道 圖3.1.1 數(shù)字通信系統(tǒng)的一般模型3.1 信道的數(shù)學(xué)模型和分類 一、信道的分類一、信道的分類 根據(jù)載荷消息的媒體不同根據(jù)載荷消息的媒體不同根據(jù)信息傳輸?shù)姆绞礁鶕?jù)信息傳輸?shù)姆绞礁鶕?jù)信息傳輸?shù)姆绞椒诸愔懈鶕?jù)信息傳輸?shù)姆绞椒诸愔?根據(jù)信道的用戶多少：兩端根據(jù)信道的用戶多少：兩端(單用戶單用戶)信道信道 多端多端(多用戶多用戶)信道信道根據(jù)信道輸入端和輸出端的關(guān)

2、聯(lián)：根據(jù)信道輸入端和輸出端的關(guān)聯(lián)： 無(wú)反饋信道無(wú)反饋信道 反饋信道反饋信道根據(jù)信道的參數(shù)與時(shí)間的關(guān)系：根據(jù)信道的參數(shù)與時(shí)間的關(guān)系： 固定參數(shù)信道固定參數(shù)信道 時(shí)變參數(shù)信道時(shí)變參數(shù)信道 根據(jù)輸入和輸出信號(hào)的特點(diǎn)：根據(jù)輸入和輸出信號(hào)的特點(diǎn)： 離散信道離散信道 連續(xù)信道連續(xù)信道 半離散或半連續(xù)信道半離散或半連續(xù)信道 波形信道波形信道二、離散信道的數(shù)學(xué)模型二、離散信道的數(shù)學(xué)模型條件概率條件概率 P(y/x) 描述了輸入信號(hào)和輸出信號(hào)之間統(tǒng)計(jì)描述了輸入信號(hào)和輸出信號(hào)之間統(tǒng)計(jì)依賴關(guān)系。反映了依賴關(guān)系。反映了信道的統(tǒng)計(jì)特性信道的統(tǒng)計(jì)特性。 根據(jù)信道的根據(jù)信道的統(tǒng)計(jì)特性即條件概率統(tǒng)計(jì)特性即條件概率 P(y/x

3、)P(y/x)的不同，的不同，離散信道又可分成三種情況：離散信道又可分成三種情況： 無(wú)干擾信道無(wú)干擾信道 有干擾無(wú)記憶信道有干擾無(wú)記憶信道 有干擾有記憶信道有干擾有記憶信道 (1)無(wú)干擾無(wú)干擾(噪聲噪聲)信道信道 信道中沒(méi)有隨機(jī)性的干擾或者干擾很小，輸出信號(hào)信道中沒(méi)有隨機(jī)性的干擾或者干擾很小，輸出信號(hào)y與輸入信號(hào)與輸入信號(hào) x 之間有確定的、一之間有確定的、一 一對(duì)應(yīng)的關(guān)系。即：一對(duì)應(yīng)的關(guān)系。即：y f (x)(0)(1)|(xfyxfyxyP(2)有干擾無(wú)記憶信道有干擾無(wú)記憶信道 信道輸入和輸出之間的條件概率是一般的概率分布。信道輸入和輸出之間的條件概率是一般的概率分布。 如果任一時(shí)刻輸出符

4、號(hào)只統(tǒng)計(jì)依賴于對(duì)應(yīng)時(shí)刻的輸入符號(hào)，如果任一時(shí)刻輸出符號(hào)只統(tǒng)計(jì)依賴于對(duì)應(yīng)時(shí)刻的輸入符號(hào)，則這種信道稱為無(wú)記憶信道。則這種信道稱為無(wú)記憶信道。)|().|.()|(iiNiNNxyPxxxyyyPxyP12121 (3) 有干擾有干擾(噪聲噪聲)有記憶信道有記憶信道 實(shí)際信道往往是既有干擾實(shí)際信道往往是既有干擾(噪聲噪聲)又有記憶的這種類型。又有記憶的這種類型。 例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時(shí)例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時(shí)造成了碼字之間的干擾。造成了碼字之間的干擾。 在這一類信道中某一瞬間的輸出符號(hào)在這一類信道中某一瞬間的輸出符號(hào)不但與對(duì)應(yīng)時(shí)刻的不但與對(duì)應(yīng)時(shí)刻的

5、輸入符號(hào)有關(guān)，而且還與此以前其他時(shí)刻信道的輸入符號(hào)及輸入符號(hào)有關(guān)，而且還與此以前其他時(shí)刻信道的輸入符號(hào)及輸出符號(hào)有關(guān)輸出符號(hào)有關(guān)，這樣的信道稱為有記憶信道。這樣的信道稱為有記憶信道。三、單符號(hào)離散信道三、單符號(hào)離散信道單符號(hào)離散信道：?jiǎn)畏?hào)離散信道：輸入符號(hào)為輸入符號(hào)為X，取值于，取值于a1,a2, ,ar。輸出符號(hào)為輸出符號(hào)為Y，取值于，取值于b1,b2, ,bs。條件概率：條件概率：P(y/x)P(y=bj/x=ai)P(bj/ai) 這一組條件概率稱為這一組條件概率稱為信道的傳遞概率信道的傳遞概率或或轉(zhuǎn)移概率轉(zhuǎn)移概率，可以用，可以用來(lái)來(lái)描述信道干擾描述信道干擾影響的大小。影響的大小。 信

6、道中有干擾信道中有干擾(噪聲噪聲)存在，可以用傳遞概率存在，可以用傳遞概率 P(bj/ai) 來(lái)描述干來(lái)描述干擾影響的大小。擾影響的大小。 一般一般簡(jiǎn)單的單符號(hào)離散信道簡(jiǎn)單的單符號(hào)離散信道可以用可以用X, P(y/x) ,Y 三者加以描三者加以描述。述。 其數(shù)學(xué)模型可以用概率空間其數(shù)學(xué)模型可以用概率空間X, P(y/x) ,Y描述。當(dāng)然，也可描述。當(dāng)然，也可用下圖來(lái)描述：用下圖來(lái)描述： a1 b1 a2 b2 X . . Y . .ar bsP(bj/ai)例例1 二元對(duì)稱信道，二元對(duì)稱信道，BSC，Binary Symmetrical Channel解：解：此時(shí)，此時(shí)，X:0,1 ; Y:0

7、,1 ; r=s=2，a1=b1=0；a2=b2=1。傳遞概率傳遞概率:pPabPpPabPppPabPppPabP )0|1()|()1|0()|(1)1|1()|(1)0|0()|(12212211 p是單個(gè)符號(hào)是單個(gè)符號(hào)傳輸發(fā)生錯(cuò)誤傳輸發(fā)生錯(cuò)誤的概率。的概率。（1-p）表示是）表示是無(wú)錯(cuò)誤傳輸無(wú)錯(cuò)誤傳輸?shù)母怕?。的概率?轉(zhuǎn)移矩陣轉(zhuǎn)移矩陣: -1 pppp1 0 1011p a1=0 0=b11p a2=1 1=b2pp符號(hào)符號(hào)“2”表示接收到了表示接收到了“0”、“1”以外的特殊符以外的特殊符號(hào)號(hào) qqpp1001 0 2 101p0 01p1 1q1q2例例2二元?jiǎng)h除信道。二元?jiǎng)h除信道

8、。BEC，Binary Eliminated Channel解：解：X:0，1 Y:0，1，2此時(shí)，此時(shí)，r 2，s 3，傳遞矩陣為：傳遞矩陣為： 一般離散單符號(hào)信道的傳遞概率可用矩陣形式表示，即一般離散單符號(hào)信道的傳遞概率可用矩陣形式表示，即 sjijijpp110 矩陣矩陣P完全描述了信道的特性，可用它作為離散單符號(hào)完全描述了信道的特性，可用它作為離散單符號(hào)信道的另一種數(shù)學(xué)模型信道的另一種數(shù)學(xué)模型的形式。的形式。 P中有些是信道干擾引起的錯(cuò)誤概率，有些是信道正確中有些是信道干擾引起的錯(cuò)誤概率，有些是信道正確傳輸?shù)母怕?。所以該矩陣又稱為傳輸?shù)母怕?。所以該矩陣又稱為信道矩陣信道矩陣（轉(zhuǎn)移矩陣）

9、（轉(zhuǎn)移矩陣） 。 rsrrsspppppppppP.:.212222111211 b1 b2 bsa1 P(b1|a1) P(b2|a1) P(bs|a1)a2 P(b1|a2) P(b2|a2) P(bs|a2) . ar P(b1|ar) P(b2|ar) P(bs|ar)3.2 信道疑義度與平均互信息 本節(jié)進(jìn)一步研究離散單符號(hào)信道的數(shù)學(xué)模型下的信本節(jié)進(jìn)一步研究離散單符號(hào)信道的數(shù)學(xué)模型下的信息傳輸問(wèn)題。息傳輸問(wèn)題。一、信道疑義度一、信道疑義度信道輸入信源信道輸入信源X的熵的熵 H(X)是在接收到輸出是在接收到輸出Y以前，關(guān)于輸入變量以前，關(guān)于輸入變量X的先驗(yàn)不的先驗(yàn)不確定性，稱為先驗(yàn)熵。確

10、定性，稱為先驗(yàn)熵。 )(log)()(1log)()(1xPxPaPaPXHXirii接受到接受到bj后，關(guān)于后，關(guān)于X的不確定性為的不確定性為 后驗(yàn)熵在輸出符號(hào)集后驗(yàn)熵在輸出符號(hào)集Y范圍內(nèi)是個(gè)隨機(jī)量，對(duì)后驗(yàn)熵在符范圍內(nèi)是個(gè)隨機(jī)量，對(duì)后驗(yàn)熵在符號(hào)集號(hào)集Y中求數(shù)學(xué)期望，得條件熵中求數(shù)學(xué)期望，得條件熵-信道疑義度信道疑義度：這是接收到輸出符號(hào)這是接收到輸出符號(hào)bj后關(guān)于后關(guān)于X的的后驗(yàn)熵后驗(yàn)熵。 后驗(yàn)熵是當(dāng)信道接收端接收到輸出符號(hào)后驗(yàn)熵是當(dāng)信道接收端接收到輸出符號(hào)bj后，關(guān)于輸入后，關(guān)于輸入符號(hào)的信息測(cè)度。符號(hào)的信息測(cè)度。)|(1log)|()|(jXjjbxPbxPbXH )/()()/()|(

11、1jsjjjbXHbPbXHEYXHrijijisjjbaPbaPbP11)|(1log)|()()|(1log)(,yxPxyPYX互信息量互信息量 I(xi ; yj)：收到消息：收到消息yj 后獲得關(guān)于后獲得關(guān)于xi的信息量的信息量)()|(log)|(1log)(1log)/()();(ijijiijixpyxpyxpxpyxIxIyxI二、平均互信息二、平均互信息)()|(log)();()();(ijijijijijijixpyxpyxpyxIyxpYXI平均互信息平均互信息I(X; Y)： I(xi ; yj)的的統(tǒng)計(jì)平均。統(tǒng)計(jì)平均。l它代表接收到符號(hào)集它代表接收到符號(hào)集Y后平均

12、每個(gè)符號(hào)獲得的關(guān)于后平均每個(gè)符號(hào)獲得的關(guān)于X的信的信息量，也表示了輸入與輸出兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)約息量，也表示了輸入與輸出兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)約束程度。束程度。平均互信息與各類熵的關(guān)系平均互信息與各類熵的關(guān)系)(1log)()(;)(1log)()(ypypYHxpxpXHYX)|(1log)()|(;)|(1log)()|(,xypxypXYHyxpxypYXHYXYX )(1log)()(,xypxypXYHYX H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)I(X;Y)H(XY)H(XY) 兩種特殊信道兩種特殊信道)(0)(1)|(xfyjixfyjixypij)(0)(1)|

13、(xfyjixfyjiyxpjiYyXxyPxyp)()|(YyXxxPyxp)()|(3.2 3.2 平均互信息的性質(zhì)平均互信息的性質(zhì)平均互信息平均互信息 I(X;Y) 具有以下特性：具有以下特性：（1）非負(fù)性）非負(fù)性 即即 I(X;Y) = 0 當(dāng)當(dāng)X、Y統(tǒng)計(jì)獨(dú)立時(shí)等式成立。統(tǒng)計(jì)獨(dú)立時(shí)等式成立。（2）極值性）極值性 即即 I(X;Y) = H(X) 當(dāng)當(dāng) H(X/Y)=0 時(shí)，即信道中傳輸信息無(wú)損時(shí)，等式時(shí)，即信道中傳輸信息無(wú)損時(shí)，等式成立。成立。（3）交互性（對(duì)稱性）交互性（對(duì)稱性） 即即 I(X;Y) = I(Y;X) 當(dāng)當(dāng) X、Y統(tǒng)計(jì)獨(dú)立時(shí)統(tǒng)計(jì)獨(dú)立時(shí) I(X;Y) = I(Y;X)=

14、0 當(dāng)信道無(wú)干擾時(shí)當(dāng)信道無(wú)干擾時(shí)(一一對(duì)應(yīng)一一對(duì)應(yīng)) I(X;Y) = I(Y;X)=H(X)=H(Y),(| )(| )(;)( ;)()log( ) (| )log( )( )( )( ) (| )X YX YXP y xP y xI X YI Y XP xyP x P y xP yP yP yP x P y x其中：l 平均互信息平均互信息I(X;Y)是輸入信源的概率分布是輸入信源的概率分布P(x)的的型凸函數(shù)。型凸函數(shù)。l 平均互信息平均互信息I(X;Y)是信道傳遞的概率是信道傳遞的概率P(y/x)的的型凸函數(shù)。型凸函數(shù)。 當(dāng)當(dāng)信源固定信源固定后，選擇不同的信道來(lái)傳輸同一信源符后，選擇

15、不同的信道來(lái)傳輸同一信源符號(hào)，在信道輸出端獲得關(guān)于信源的信息量是不同的。號(hào)，在信道輸出端獲得關(guān)于信源的信息量是不同的。 對(duì)每一種信源都存在一種最差的信道，此時(shí)干擾對(duì)每一種信源都存在一種最差的信道，此時(shí)干擾 (噪聲噪聲) 最大，而輸出端獲得的信息量最小。最大，而輸出端獲得的信息量最小。3.3.3 3 離散無(wú)記憶信道的擴(kuò)展離散無(wú)記憶信道的擴(kuò)展信道信道sjijijpp110)|().|.()|(12121ijNiNNxyPxxxyyyPxyP rsrrsspppppppppP.:.:.2122221112111 11111 111 12221 12(. )(. )(.)(. )(|): (.)(.

16、)NNNNkkrrrsssrsa aabbba aabbbpXYa aab bb NNNNNNsrrrss212222111211(|)khhkp1212(|)hhhNkkkNp b bba aa1(|)1,2,1,2,NNNhikiip bakirhis22222222pppppppppppppppppppppppp2112131241(/)(00/00)(0/0) (0/0)(/)(01/00)(0/0) (1/0)(/)(10/00)(1/0) (0/0)(/)(11/00)(1/0) (1/0)PPPPpPPPPppPPPPppPPPPp);();(NNYXIYXI)/()(NNNYX

17、HXH)/()(NNNXYHYHNiiixyPP1)/()/(xyNiiiYXIYXI1);();(),(),(1iiNiYXIIYX),(),(),(1YXNIYXIIiiNiYX 研究信道的研究信道的目的目的是要討論信道中平均每個(gè)符號(hào)所是要討論信道中平均每個(gè)符號(hào)所能傳送的信息量能傳送的信息量-信息傳輸率信息傳輸率R 平均互信息平均互信息I(X;Y)就是接收到符號(hào)就是接收到符號(hào)Y后平均每個(gè)后平均每個(gè)符號(hào)獲得的關(guān)于符號(hào)獲得的關(guān)于X的信息量。的信息量。 所以：所以： R = I(X;Y) = H(X) H(X|Y) (比特比特/符號(hào)符號(hào))3.4 3.4 離散信道的信道容量離散信道的信道容量 信道

18、中每秒平均傳輸?shù)男畔⒘啃诺乐忻棵肫骄鶄鬏數(shù)男畔⒘?信息傳輸速率信息傳輸速率RtRt R/t = I(X;Y)/t = H(X)/t H(X|Y)/t （比特（比特/秒）秒）一、一、 信道容量的定義信道容量的定義 由于平均互信息由于平均互信息I(X;Y)是輸入隨機(jī)變量的是輸入隨機(jī)變量的型凸函數(shù)型凸函數(shù) ，所，所以對(duì)一固定的信道，總存在一種信源，使傳輸每個(gè)符號(hào)平均獲以對(duì)一固定的信道，總存在一種信源，使傳輸每個(gè)符號(hào)平均獲得的信息量最大。得的信息量最大。即存在一個(gè)最大的信息傳輸率即存在一個(gè)最大的信息傳輸率 -定義為定義為信道容量信道容量C);(max)(YXICXP tCCt例例4 信道容量的計(jì)算信道

19、容量的計(jì)算)(1);(maxpHYXImax(; )max()( )1( )CIX YHppH pH p ()( )HppH p當(dāng)當(dāng)12二、簡(jiǎn)單離散信道的信道容量二、簡(jiǎn)單離散信道的信道容量100010001)3 , 2 , 1,(10)/()/(jijijibaPabPjiij)/(loglog)(max)(max)()(symbolbitsrYHXHCyPxP1000000101103530000002121P”0“1)/(1)/(1)/(1)/(1)/(1)/(635242322111其他各項(xiàng)后驗(yàn)概率為baPbaPbaPbaPbaPbaPsymbolbitrXHCxP/log)(max)(

20、無(wú)噪有損信道無(wú)噪有損信道()max( )log(/)P yCH Ysbit symbol三、對(duì)稱離散信道的信道容量三、對(duì)稱離散信道的信道容量2161313121616131213131616161613131PP和7 . 01 . 02 . 01 . 02 . 07 . 03161316161613131PP和.11.11:.11ppprrpppPrrppprr1pp)/() ,., (log),., ()(max2121)(symbolbitpppHspppHYHCssxP YXxypxypxpXYH)|(1log)|()()|()/()(xXYHxpXYxypxypxXYH)|(1log)

21、|()|(),., ()/(21spppHxXYH3131616161613131P四、離散無(wú)記憶四、離散無(wú)記憶N次擴(kuò)展信道的信道容量次擴(kuò)展信道的信道容量),(),(1iiNiYXII YX即：即：CN = NC()()1()11max (; ) max(;) max (;) iNP XNiiP XiNiiP XiNiiCI X YI X YI X YC 35 連續(xù)信道的信道容量 一、連續(xù)單符號(hào)加性高斯噪聲信道的信道容量一、連續(xù)單符號(hào)加性高斯噪聲信道的信道容量22log)(enh2020log212log2logPeePC)1log(21)1log(212nssPPP二、多維無(wú)記憶高斯加性連續(xù)

22、信道二、多維無(wú)記憶高斯加性連續(xù)信道NiiNiiinpxypxypnp11)()/()/()(NiiiYXIYXI1);();(NinisiPP11log21NinisiPP11log21);(max)(YXICxpX1Y1=X1 +n1n1XNYN=XN +nNnNPnnsPPNC1log2NininiPPC11log210 00 )(xxxxnisiPPPPXENisiNii112nisiPPnisiPP)( 11WPNisi65. 00 . 1.2 . 01 . 011011011NiniPP517. 06 . 0.2 . 01 . 01616161iniPP5 . 05 . 0.2 .

23、01 . 01515151iniPP5 . 04 . 0.2 . 01 . 01414141iniPP35. 24 . 03 . 02 . 01 . 05 . 0log21log21log211log21443214141nnnniniinisiPPPPPPPC53. 48 . 0.2 . 01 . 0825. 0log21log21log2188765432181nnnnnnnniniPPPPPPPPPC85. 00 . 1.2 . 01 . 031011011NiniPP)(31WPNisi825. 08 . 0.2 . 01 . 0381三、限頻限時(shí)限功率的加性高斯白噪聲信道的信道容量三

24、、限頻限時(shí)限功率的加性高斯白噪聲信道的信道容量 12(,.,)Lxx xx12(,.,)Lyy yyyxn2LWT和，而在頻帶內(nèi)的高斯噪聲是彼此獨(dú)立的，從而有按照采樣定理，在0，T范圍內(nèi)要求。這是多維無(wú)記憶高斯加性信道，其信道容量為： 211log 12LiiiPC0 =log(1)sPWTN W -這是重要的這是重要的香農(nóng)公式香農(nóng)公式。當(dāng)信道輸入信號(hào)是平均功率受。當(dāng)信道輸入信號(hào)是平均功率受限的高斯白噪聲信號(hào)時(shí)，信息傳輸率才達(dá)到此信道容量。限的高斯白噪聲信號(hào)時(shí)，信息傳輸率才達(dá)到此信道容量。 WNPWTCCsTt01loglim比特秒比特秒3.6 信源與信道的匹配 在一般情況下，當(dāng)信源與信道相連接時(shí)，其信息傳輸率并未達(dá)到最大。我們總希望能使信息傳輸率越大越好，能達(dá)到或盡可能接近于信道容量，由前面的分析可知，信息傳輸率接近