第3章 信道與信道容量

1、第第3章章 信道與信道容量信道與信道容量 吳曉青 目 錄 u3.1信道分類(lèi) u3.2 單符號(hào)離散信道及其容量 3.2.1 數(shù)學(xué)模型 3.2.2信道容量 3.2.3 離散信道容量的迭代算法 u3.3 離散序列信道及其容量 u3.4 信源與信道的匹配 u3.5 連續(xù)信道及其容量 3.5.1 連續(xù)單符號(hào)加性信道 3.5.2 多維無(wú)記憶加性連續(xù)信道 3.5.3 加性高斯白噪聲波形信道 信道：信道：信息傳輸?shù)耐ǖ溃莻鬏斝畔⒌妮d 體，其主要任務(wù)是傳輸或者存儲(chǔ)信息。 通信的本質(zhì)：通信的本質(zhì)：就是通過(guò)信道傳輸信息，實(shí) 現(xiàn)不同地點(diǎn)之間或者不同時(shí)間的信息交 流。 主要研究?jī)?nèi)容：主要研究?jī)?nèi)容：在理論上能夠傳輸或者

2、存 儲(chǔ)的最大信息量，即信道容量。 3.1信道分類(lèi)信道分類(lèi) 信息論研究信道，一般認(rèn)為信息論研究信道，一般認(rèn)為已經(jīng)知道信道的傳輸特已經(jīng)知道信道的傳輸特 性性，即輸入、輸出之間的統(tǒng)計(jì)依賴關(guān)系已知。，即輸入、輸出之間的統(tǒng)計(jì)依賴關(guān)系已知。 離散無(wú)記憶信道模型 根據(jù)統(tǒng)計(jì)特性分類(lèi)： 恒參信道：恒參信道：信道的統(tǒng)計(jì)特性不隨時(shí)間而變 化。比如，幅度衰減倍數(shù)等參數(shù)恒定。如 電話線、光纖、高斯白噪聲信道、衛(wèi)星信 道一般視為恒參信道。 隨參信道：隨參信道：信道的統(tǒng)計(jì)特性隨時(shí)間而變化。 統(tǒng)計(jì)特性隨著環(huán)境、溫度、濕度等參數(shù)而 變化。如短波信道隨電離層變化而變化； 微波信道，移動(dòng)電話在高速列車(chē)上可能因 多普勒效應(yīng)發(fā)生頻移等

3、。 根據(jù)信道用戶量多少分類(lèi)： 單用戶信道單用戶信道：也稱兩端信道，該信道只有一個(gè) 輸入端和一個(gè)輸出端，而且只能進(jìn)行單方向 的通信。 點(diǎn)對(duì)點(diǎn)應(yīng)用。 多用戶信道：多用戶信道：也稱多端信道，輸入端或者輸出 端至少有一端具有兩個(gè)或者兩個(gè)以上用戶， 并且可以實(shí)現(xiàn)雙向通信。目前大多數(shù)信道都 是多端信道。 廣播信道、通信網(wǎng)絡(luò)等。 根據(jù)輸入、輸出的取值特性分類(lèi)： 離散信道離散信道：也稱為數(shù)字信道，該類(lèi)信道中輸入空間、 輸出空間均為離散事件集合，集合中事件數(shù)量是有 限的，或者有限可數(shù)的，隨機(jī)變量取值都是離散的。 連續(xù)信道連續(xù)信道：也稱為模擬信道，輸入空間、輸出空間 均為連續(xù)事件集合，集合中事件的數(shù)量是無(wú)限的、

4、不可數(shù)的，即隨機(jī)變量的取值數(shù)量是無(wú)限的、或者 不可數(shù)的。 半離散半連續(xù)信道半離散半連續(xù)信道：輸入空間、輸出空間一個(gè)為離 散事件集合，而另一個(gè)則為連續(xù)事件集合，即輸入、 輸出隨機(jī)變量一個(gè)是離散的，另一個(gè)是連續(xù)的。 波形信道：波形信道：也稱為時(shí)間連續(xù)信道，信道輸入、輸出 都是時(shí)間的函數(shù)，而且隨機(jī)變量的取值都取自連續(xù) 集合，且在時(shí)間上的取值是連續(xù)的。 根據(jù)信道中信號(hào)所受噪聲的統(tǒng)計(jì)特性分類(lèi)： 隨機(jī)差錯(cuò)信道隨機(jī)差錯(cuò)信道：信道中傳輸碼元所遭受的噪 聲是隨機(jī)的、獨(dú)立的，這種噪聲相互之間不具 有關(guān)聯(lián)性，碼元錯(cuò)誤不會(huì)成串出現(xiàn)，最具有代 表性的是高斯白噪聲信道。（ 無(wú)記憶信道） 突發(fā)差錯(cuò)信道突發(fā)差錯(cuò)信道：信道中噪

5、聲或者干擾對(duì)傳輸 碼元的影響具有關(guān)聯(lián)性，相互之間并不獨(dú)立， 從而使得碼元錯(cuò)誤往往成串出現(xiàn)，常有的如衰 落信道、碼間干擾信道。在實(shí)際中這種信道經(jīng) 常出現(xiàn)，如移動(dòng)通信的信道、光盤(pán)存儲(chǔ)等都屬 于該類(lèi)信道。 （ 有記憶信道） 3.2單符號(hào)離散信道及其容量單符號(hào)離散信道及其容量 3.2.1 數(shù)學(xué)模型數(shù)學(xué)模型 單符號(hào)無(wú)記憶信道： 信道的輸入符號(hào)之間、輸出符號(hào)之間都不存在關(guān) 聯(lián)性，即無(wú)記憶的，此時(shí)輸入、輸出可以看作 是單符號(hào)的，稱這類(lèi)信道為單維信道或者單符 號(hào)信道。 單符號(hào)離散無(wú)記憶信道 進(jìn)一步，如果信道的輸入、輸出隨機(jī)變量都是離 散的，則該信道為單符號(hào)離散無(wú)記憶信道。 輸入符號(hào)集合X、輸出符號(hào)集合Y內(nèi)部不

6、存在 關(guān)聯(lián)性，集合X和集合Y之間有關(guān)聯(lián) 。 離散無(wú)記憶信道模型 條件轉(zhuǎn)移概率 用來(lái)描述信道特性。 輸入x=ai，輸出y=bj對(duì)應(yīng)的條件轉(zhuǎn)移概率為 ( | )(|)( | ) jiji py xpy b x apb a 信道轉(zhuǎn)移矩陣 用矩陣來(lái)表示信道輸入、輸出符號(hào)之間的條件轉(zhuǎn) 移關(guān)系： 又稱為條件轉(zhuǎn)移矩陣或者信道轉(zhuǎn)移矩陣。條件轉(zhuǎn) 移矩陣是一個(gè)rs的矩陣， 當(dāng)輸入、輸出集合的元素?cái)?shù)量相等(r=s)時(shí)， 是一個(gè)方陣。 11211 12222 12 (|)(|)(|) (|)(|)(|) ( |) (|)(|)(|) s s rrsr p b ap bap b a p b ap bap b a P Y

7、 X p b ap bap b a 信道的條件轉(zhuǎn)移概率p(bj|ai)通常稱為前向概率，表 示在輸入為ai時(shí)，通過(guò)信道后接收為bj的概率，描 述了信道噪聲的特性。 p(ai|bj)稱為后向概率，表示當(dāng)接收符號(hào)為bj時(shí)，信道 輸入為ai的概率，所以也稱為后驗(yàn)概率。 (,)() (|) ijjij p a bp bp ab 1 ( , )( ) (|) ( |) ( ) ( ) (|) ijiji ijr j iji i p a bp a p b a p a b p b p a p b a 后驗(yàn)概率求后驗(yàn)概率求 法法 ( ,)( ) (|) ijiji p a bp a p b a 前向概率、后驗(yàn)

8、概率前向概率、后驗(yàn)概率 由公式 由公式 3.2.2 信道容量信道容量 信道的信息傳輸率信息傳輸率R 含義： 1、表示在單符號(hào)離散信道中，平均每個(gè)符號(hào)傳送的信息 量。 2、由于信道中存在干擾，信道輸出端接收的符號(hào)與輸入 符號(hào)之間并不是一一對(duì)應(yīng)的; 從信息傳輸?shù)慕嵌榷?，信道輸入符?hào)X所攜帶的 平均信息量H(X)并不等于信道輸出端接收到的信息量 H(Y)； 3、信道的干擾或者噪聲總是有限的，從統(tǒng)計(jì)角度而言， 總有部分信息能夠準(zhǔn)確傳輸。 ( ; )( )(| )RI X YH XH X Y )|()(XYHYH 信息傳輸速率 t:傳輸一個(gè)符號(hào)所需時(shí)間 的單位：bit/符號(hào)s/符號(hào)=bit/s t R

9、 R t t R 定義定義3.13.1 設(shè)某信道的平均互信息量為I(X;Y)，信道輸 入符號(hào)的先驗(yàn)概率為p(x)，該信道的信道容量C C定義 為 ( ) max (;) p x CI X Y 上述的極值問(wèn)題實(shí)際是有約束條件的，先驗(yàn)概率分布 ( )p x應(yīng)當(dāng)滿足下列條件 () 0 i p xa 1 ()1 r i i p a 對(duì)于給定信道，前向概率p(x)是一定的，所以信道容 量就是在信道前向概率一定的情況下，尋找某種先 驗(yàn)概率分布，從而使得平均互信息量最大，這種先 驗(yàn)分布概率稱為最佳分布。 幾點(diǎn)討論：幾點(diǎn)討論： 1、對(duì)于給定信道最佳分布總是存在的。 如果信道輸入滿足最佳分布，信息傳輸率 最大，

10、即達(dá)到信息容量C； 如果信道輸入的先驗(yàn)分布不是最佳分布， 那么信息傳輸率不能夠達(dá)到信息容量。 2、信道傳輸?shù)男畔⒘縍必須小于信道容量C，否 則傳輸過(guò)程中會(huì)造成信息損失，出現(xiàn)錯(cuò)誤； 如果Rsrs，形成多對(duì)一的映射關(guān)系，可，形成多對(duì)一的映射關(guān)系，可 得：得： 信道容量信道容量 此時(shí)使得此時(shí)使得 最佳分布不唯一，滿足上述條件即可。最佳分布不唯一，滿足上述條件即可。 0)|(YXH 0)|(XYH ( )( ) max (; )max( ) p xp x CI X YH Ylbs ( ) 1/ j p bs1, 2 , .,js 無(wú)噪有損信道矩陣特點(diǎn)無(wú)噪有損信道矩陣特點(diǎn) 每行只有一個(gè)元素為每行只有一個(gè)

11、元素為1 1，其余元素都為，其余元素都為0 0 。 10 10 ( |) 01 01 P Y X （3）有噪無(wú)損信道）有噪無(wú)損信道 信道輸出符號(hào)信道輸出符號(hào)Y Y集合的數(shù)量大于信道輸入符號(hào)集合的數(shù)量大于信道輸入符號(hào)X X集合集合 的數(shù)量，即的數(shù)量，即rsr0,對(duì)上面的解進(jìn)行驗(yàn)證。 計(jì)算 ， 計(jì)算Qk,解方程組 j w 1 j j w j j C 2log C j j w 2 )|(kjpQw k kj 驗(yàn)證。若Qk0,則所得到的解釋正確的。否則滿足條 件的解在邊界上，令某個(gè)Qk=0,再進(jìn)行試解。 特別，JK多解，有時(shí)要令多個(gè)Qk為0進(jìn)行試解。 例題：DMC信道轉(zhuǎn)移矩陣為 試求信道容量C。 2

12、1 4 1 0 4 1 0100 0010 4 1 0 4 1 2 1 根據(jù) ，列方程 組 得 從而 2 1 log 2 1 4 1 log 4 1 4 1 log 4 1 2 1 4 1 4 1 0 0 4 1 log 4 1 4 1 log 4 1 2 1 log 2 1 4 1 4 1 2 1 431 3 2 421 0, 2 3241 15log2log j j C 1.1 , 0, )|(log)|()|( Kkkjpkjpkjp j j j 根據(jù) 求得 再根據(jù) 得到方程組 5 2 2, 10 1 2 3241 21 wwww CC )|(kjpQw k kj 10 1 2 1 5

13、2 4 1 5 2 4 1 10 1 4 1 2 1 41 43 21 41 QQ QQ QQ QQ C j j w 2 可得，輸入分布 經(jīng)驗(yàn)證，Qk0 , 因此結(jié)果正確。 C=log5-1 最佳分布為 30 11 , 30 4 3241 QQQQ 30 11 , 30 4 3241 QQQQ 例例3.7 設(shè)某信道轉(zhuǎn)移矩陣為 求該信道的容量和信道輸入的最佳概率分布。 解：解：該信道不是對(duì)稱信道，所以不能直接使用對(duì)稱信道計(jì) 算其信道容量。 但是通過(guò)觀察發(fā)現(xiàn)，如果信道輸入符號(hào)的概率p(a2)=0， 該信道就是一個(gè)二元純對(duì)稱刪除信道。 這樣就可以假設(shè) 0.90.10 1/3 1/3 1/3 00.1

14、0.9 P 然后檢查是否滿足上述定理的條件，如果滿足就可以計(jì)算出 信道容量。 首先根據(jù)假設(shè)求出相應(yīng)的p(bj) 2 ( )0p a ， 13 ( )( ) 1/2p ap a 3 11 1 ( )( ) (|)0.45 ii i p bp a p b a 3 23 1 ( )( ) ( | ) 0.1 ii i pbp a pb a 3 33 1 ( )( ) (|)0.45 ii i p bp a p b a 然后計(jì)算互信息量 3 1 11 1 ( | ) ( ; )( | )log0.9 ( ) j j j j pb a I a Ypb a pb 3 2 22 1 ( |) ( ; )(

15、|)log0.29 ( ) j j j j p b a I a Yp b a p b 3 1 33 1 (|) ( ; )(|)log0.9 ( ) j j j j p b a I a Yp b a p b 顯然滿足定理3.2的條件，所以信道容量為 0 .9C 對(duì)應(yīng)的信道輸入最佳概率分布為 (0.5,0,0.5) 。 3.2.3 離散信道容量的迭代算法離散信道容量的迭代算法 基本思想： 設(shè)后驗(yàn)概率p(ai|bj)為自變量，并且假設(shè)存在一個(gè) 反向試驗(yàn)信道，反向信道的轉(zhuǎn)移矩陣就是由 p(ai|bj)構(gòu)成的； 這樣平均互信息量就可以表示為信道轉(zhuǎn)移矩陣和 反向轉(zhuǎn)移矩陣的函數(shù)，通過(guò)反向矩陣修正信道輸 入

16、概率的分布，迭代計(jì)算I(X;Y)直到其趨向平穩(wěn) 為止。 X )( i ap Y )( j bp 正向通道 (|) ji p b a X )( i ap Y )( j bp 反向通道 ( |) ij p a b 正向信道正向信道 (|) (; )() (|)log () ji iji XY j p ba I X Yp a p ba p b (|) ( ) (|)log ( ) ij iji XY i p a b p a p ba p a 引入反向試驗(yàn)信道后引入反向試驗(yàn)信道后 (|) ( , )( ) (|)log ( ) ij iji XY i p a b I Pp a p ba p a 1.以

17、反向轉(zhuǎn)移概率分布為自變量以反向轉(zhuǎn)移概率分布為自變量 ( ) i p a首先假設(shè)信道輸入概率分布首先假設(shè)信道輸入概率分布保持不變保持不變, 而而 (|) ji p ba 是固定的，是固定的，可以求出 可以求出 (|) max ( , ) ij p a b I P (|) ij p ab 時(shí)對(duì)應(yīng)的時(shí)對(duì)應(yīng)的 反向試驗(yàn)信道概率反向試驗(yàn)信道概率 分布分布 構(gòu)造函數(shù)構(gòu)造函數(shù) 1 1 ( )( , )(|)1,2,., r jij i FI Pp a bjs 1 ( , )(| )0(1,2,.,1,2,., ) ( | ) r jkj k ij I Pp a birjs p a b 求偏導(dǎo)求偏導(dǎo) ( )

18、( | ) 0(1,2,.,1,2,., ) ( |) iji j ij p a p b a irjs p a b ()(|) (|) iji ij j p ap ba p ab 由由 1 (|)1 r ij i p ab 11 1 ( |)( ) ( | ) 1(1,2,., ) rr ijiji ii j p a bp a p b ajs 1 () (|)(1,2,., ) r jiji i p a p bajs * 1 ()(|) (|) ()(|) iji ijr iji i p ap ba pab p ap ba ( ) ( | ) ( | ) iji ij j pa pb a pa

19、 b 即信道容量即信道容量C可由函數(shù)可由函數(shù) ()()(|) max()max max(, ) iiij p ap ap a b CI PI P ),(PI的雙重最大化得到的雙重最大化得到 2. 以輸入概率分布以輸入概率分布p(ai)為自變量為自變量 構(gòu)造函構(gòu)造函 數(shù)數(shù) * 2 1 ( )( ,)( ) r i i F PI Pp a * 1 ( ,)()0(1,2,., ) () r i i i I Pp air p a 求偏導(dǎo)求偏導(dǎo) 1 1 ln ( )( | )ln *( | )0(1,2,., ) s ijiij j papb ap a bir 簡(jiǎn)化得到簡(jiǎn)化得到 1 ( )exp(|)

20、ln *(|) (1)(1,2,., ) s ijiij j p ap b apa bir 1 ()1 r i i p a (1)* 11 exp(|)ln(|) rs jiij ij ep bap ab * 1 * * 11 exp(|)ln(|) () exp(|)ln(|) s jiij j i rs jiij ij p bapab pa p bapab 其中其中 * 1 1 1 () () () i ir i i p a pa p a * 1 ( ) (|) (|) ( ) (|) iji ijr iji i p a p ba p a b p a p ba 由由 1 1 1 (|) e

21、xp(|)ln () (|) s ji jir j iji i p ba p ba p ap ba 等式右邊等式右邊p(ai) 是假設(shè)的初始是假設(shè)的初始 信道輸入概率，信道輸入概率， 等式左邊的等式左邊的 p*(ai)是雙重極是雙重極 大化求得的輸大化求得的輸 入概率。入概率。 經(jīng)過(guò)整理后得到經(jīng)過(guò)整理后得到 * () * 11 max ( ,)(,) lnexp(|)ln(|) i p a rs jiij ij I PI P p bapab 3. 離散無(wú)記憶信道容量的逐步迭代算法離散無(wú)記憶信道容量的逐步迭代算法 任意選擇初始輸入概率分任意選擇初始輸入概率分 布布 (1) p 。一般情況下，。一

22、般情況下， 往往選擇初始分布為等概率分布往往選擇初始分布為等概率分布 (1) 1 11 ,.p r rr 繼續(xù)進(jìn)行下一步計(jì)算，令迭代序號(hào)為繼續(xù)進(jìn)行下一步計(jì)算，令迭代序號(hào)為 1,2,.n 在第在第n步迭代中，可得到步迭代中，可得到 ( ) ( ) ( ) 1 ( ) ( | ) ( | ) ( ) ( | ) i ii n ij n ijr n j i pa pb a pa b pa pb a ( ) ( ) 1 1 (|) exp(|)ln ( ) (|) s jin ijir n j iji i p b a p b a pp a p b a ( )( ) (1) ( )( ) 1 ( ) (

23、 ) ( ) nn n ii ir nn ii i pa pa pa 其中其中 這三個(gè)表達(dá)式就是迭代算法的基本公式。這三個(gè)表達(dá)式就是迭代算法的基本公式。 現(xiàn)在令現(xiàn)在令 ( ) (/) ( ) () ( , )max(, ) (1, )max ( ,) ij i n p ab n p a C n nI P C nnI P ( )( ) ( , )(,) nn C n nI P ( ) ( ) ( ) 11 ( | ) ( ) ( | )ln n rs ijn iji n ij i pa b pa pb a p a ( ) ( ) 11 1 (|) ( ) (|)ln ( ) (|) rs jin

24、 ijir n ij iji i p b a pa p b a pa p b a 和和(1)( ) (1, )(,) nn C nnI P ( ) 11 lnexp(|)ln(|) rs n jiij ij p bapab ( )( ) 1 ln() r nn ii i pa 3.3 離散序列信道及其容量 ),.,( 21N N xxx XX ),.,( 21N N yyy YY )|(XYp N 信道 1,.,1 , 0,1,.,1 , 0JYyKXx nnnn 離散序列信道模型 對(duì)于離散無(wú)記憶信道（DMC): )|(),.,|,.,()|( 1 2121 N i iiNNN XYpXXXY

25、YYpXYp )|()|(xypXYp N N 離散無(wú)記憶平穩(wěn)信道 單符號(hào)離散無(wú)記憶信道轉(zhuǎn)移矩陣 輸入取自 ，輸出取自 信道轉(zhuǎn)移矩陣 ,., 21r aaaX,., 21s bbbY )|()|()|( )|()|()|( )|()|()|( )|( 21 22221 11211 rsrr s s abpabpabp abpabpabp abpabpabp XYP Xariaaa i N iNiii 121 ,.,2 , 1),.,( Ybsjbbb j N jNjjj 121 ,.2 , 1),.,( NNNN N N srrr s s qqq qqq qqq Q 21 2 2221 1 1

26、211 )|().|.()|( 1 2121mi N i nimNmmnNnnmnmn abpaaabbbppq N次擴(kuò)展序列信道轉(zhuǎn)移矩陣 輸入序列： 輸出序列： 轉(zhuǎn)移矩陣 無(wú)記憶信道，有下式： 一般離散信道的結(jié)論一般離散信道的結(jié)論 定理3.3 離散信道輸入序列， 輸出序列 ，信道轉(zhuǎn)移概率 ，有 （1）如果信道無(wú)記憶 （2）如果信道輸入序列無(wú)記憶， （3）上述兩者均無(wú)記憶 Xi與Yi表示隨即序列X，Y中第i個(gè)分量 ),.,( 21N N XXXX ),.,( 21N N YYYY)|(xypN );();( 1 i N i i NN YXIYXI );();( 1 i N i i NN YXI

27、YXI );();( 1 i N i i NN YXIYXI N i i NN N N N i ii NNN NN NN NN YH YYYYHYYHYH YYYHYH XYH YYYXXXYH YXXXYHXXXYH XXXYYYHXYH 1 121121 21 1 12121 1212211 2121 )( ).|(.)|()( ).()( )|( ).|(. ).|().|( ).|.()|(證明 無(wú)記憶信道 當(dāng)輸入字母統(tǒng)計(jì)獨(dú)立時(shí)，輸出字 母y也統(tǒng)計(jì)獨(dú)立，此時(shí)取等號(hào) N i i NN iii i N i i ii N i i NNNNN CYXI CYXI YXI XYHYHXYHYHY

28、XI 1 1 1 );( );( );( )|()()|()();( 由信道容量定義， 序列單個(gè)分量傳遞的信道容量 兩個(gè)序列的 互信息量 N i iii N i xp i N i i xp NN xp N CYXI YXIYXIC 11 )( 1 )()( );(max );(max);(max 一般離散無(wú)記憶N次擴(kuò)展信道容量 平穩(wěn)離散無(wú)記憶N次擴(kuò)展信道容量 如果 輸入序列符號(hào)都來(lái)自集合X 輸出序列符號(hào)都來(lái)自集合Y 都服從獨(dú)立同一分布 信道平穩(wěn) 則： 于是 信道輸入隨機(jī)序列的變量在同一信道傳輸，則 則 );();( ii YXIYXI );();();( 1 YXNIYXIYXI i N i

29、i NN NiC i ,.,2 , 1,C NCC N 單符號(hào)平 均互信息 量 序列信道容量等于單符號(hào)信道容 量之和 例3.7 某二元離散無(wú)記憶信道轉(zhuǎn)移矩陣為 對(duì)信道進(jìn)行2次擴(kuò)展，擴(kuò)展后的信道轉(zhuǎn)移矩陣為 信道轉(zhuǎn)移矩陣元素計(jì)算： 信道容量 pp pp P 1 1 22 22 22 22 )1 ()1 ()1 ( )1 ()1 ()1 ( )1 ()1 ()1 ( )1 ()1 ()1 ( pppppp pppppp pppppp pppppp Q ),1 (),1 (,)1(4 22 2 ppppppHlbC ) 0|0() 0|0()00|00(ppp )0| 1 ()0|0( )0| 1 (

30、)0|0( pp pp 即 串聯(lián)信道容量串聯(lián)信道容量 信道1轉(zhuǎn)移矩陣P1,信道2轉(zhuǎn)移矩陣P2,串聯(lián)信道轉(zhuǎn)移 矩陣P= P1 P2 平均互信息量 信道容量 信道1 p(y|x) 信道2 p(z|xy) X Z Y );();( );();( ZYIZXI YXIZXI ,min 21 CCC 并聯(lián)信道容量并聯(lián)信道容量 信道2 p(Y2|X2) X2 Y2 信道1 p(Y1|X1) X1 Y1 信道m(xù) p(Ym|Xm) Xm Ym )|(),.,|,.,( 1 2121 m i iimm XYpXXXYYYp );();( 1 i m i i YXIYXI m i i CYXIC 1 );(max

31、 ),.,( 21m XXXp 1、序列轉(zhuǎn)移概率： 2、每個(gè)信道無(wú)記憶，總的信道 無(wú)記憶，則 3、并聯(lián)信道容量 當(dāng)輸入分布 最佳時(shí),達(dá)信道 容量，類(lèi)似離散無(wú)記憶序列信道 3.4 信源與信道的匹配 信息傳輸速率信息傳輸速率R R等于信源與信宿之間的平均互信等于信源與信宿之間的平均互信 息量息量 當(dāng)輸入達(dá)最佳分布時(shí)，當(dāng)輸入達(dá)最佳分布時(shí)， 稱為信源與信道達(dá)到匹配，否則信道有冗余。稱為信源與信道達(dá)到匹配，否則信道有冗余。 ( ; )R I X Y CYXIR);(max( 定義定義3.53.5 設(shè)信道的信息傳輸速率為設(shè)信道的信息傳輸速率為R R，信道容，信道容 量為量為I(X,Y)I(X,Y)，信道的

32、剩余度定義為，信道的剩余度定義為 信道剩余度信道剩余度C-I(X,Y)C-I(X,Y) 而相對(duì)剩余度定義為而相對(duì)剩余度定義為 (; )(; ) 1 CI X YI X Y CC 討論： 1、離散信道是對(duì)稱的或者接近對(duì)稱時(shí)，信源離散信道是對(duì)稱的或者接近對(duì)稱時(shí)，信源 輸出符號(hào)分布盡可能接近信道要求的輸出符號(hào)分布盡可能接近信道要求的等概等概 率率分布，實(shí)現(xiàn)信源、信道的匹配。采用分布，實(shí)現(xiàn)信源、信道的匹配。采用信信 源編碼技術(shù)源編碼技術(shù)去除信源符號(hào)之間相關(guān)性，并去除信源符號(hào)之間相關(guān)性，并 且經(jīng)過(guò)適當(dāng)?shù)淖儞Q后達(dá)到此要求。且經(jīng)過(guò)適當(dāng)?shù)淖儞Q后達(dá)到此要求。 2 2、如果、如果RCRCRC，實(shí)現(xiàn)無(wú)差錯(cuò)信息傳輸是

33、不可能，實(shí)現(xiàn)無(wú)差錯(cuò)信息傳輸是不可能 的。的。 3.5 3.5 連續(xù)信道及其容量連續(xù)信道及其容量 對(duì)于對(duì)于連續(xù)信源連續(xù)信源： 1 1、互信息量互信息量為信源的熵與條件熵之差為信源的熵與條件熵之差 2 2、信道容量信道容量定義為互信息量的最大值定義為互信息量的最大值 在形式上，連續(xù)信道的信道容量與離散信在形式上，連續(xù)信道的信道容量與離散信 道的信道容量是相同的。道的信道容量是相同的。 3.5.1連續(xù)單符號(hào)加性信道 信道 輸入x(xR)輸出y(yR) n 連續(xù)單符號(hào)加性信道 )|()()|()();(XYHYHYXHXHYXI cccc ), 0()(2log( 2 1 -)(max )()|()(

34、)(max )|()(max;max 22 )( )( )()( NneYH nHXYHnHYH XYHYHYXC c xp cccc xp cc xpxp 噪聲 加性信道 單符號(hào)連續(xù)信道平均互信息量 信道容量 根據(jù)限平均功率最大熵定理， 輸入X與噪聲n相互獨(dú)立，有x=y-n 假設(shè) 由高斯分布性質(zhì)，當(dāng) 時(shí)， 信道容量信道容量 噪聲 的加性噪聲信道容量的上、下界 最大時(shí)，當(dāng))(),0(YHPNy c ),(SuNx x ), 0( 2 PNx )1 (2log 2 1 )2log( 2 1 )2(log 2 1 )2log( 2 1 22 2 S e P eeePC )()2log( 2 1 )

35、1 (2 2 1 2 nHePC S e c ), 0 ( 2 Nn 信噪功 率比 3.5.2多維無(wú)記憶加性連續(xù)信道多維無(wú)記憶加性連續(xù)信道 ),.,( 21N xxxx 加性信道 n1 y1=x1+n1x1 n2 y2=x2+n2x2 nN yN=xN+nN xN ),.,( 21N yyyy ),.,( 21N nnnn 輸入序列x 輸入序列y 噪聲n，均值0的高斯序列 多維無(wú)記憶加性噪聲信道等價(jià)于多維無(wú)記憶加性噪聲信道等價(jià)于N N個(gè)個(gè)獨(dú)立并聯(lián)獨(dú)立并聯(lián)加性信道加性信道 輸入、輸 出信號(hào)是 幅度連續(xù)、 時(shí)間離散 )|()|( 1 i N i i xypxyp )()|()( 11 N i ii

36、 N i i npxypnp niiii pNn 22), , 0 ( ), 0( sii pNx )1log( 2 1 );();( 11 N i ni si i N i i P P YXIYXI )1log( 2 1 );(max 1 )( N i ni si xp P P YXIC 信道無(wú)記憶，有 因?yàn)槭羌有孕诺?噪聲分量 輸入分量 因 多維無(wú)記憶加性信道容量信道容量 1、當(dāng)各時(shí)刻噪聲相同分布 2、當(dāng)各時(shí)刻噪聲、輸入不同分布 ), 0( ni PNn ), 0( si PNx )1log( 2 1 1 N i n s P P C PP N i si 1 );(max )( YXIC xp

37、 N i si N i ni si sNss P P P PPPF 11 21 )1log( 2 1 ),.,( 輸入同分布 信道容量 約束條件 求 作輔助函數(shù) 對(duì)Psi(i=0,1,N)求偏導(dǎo)，令其為0， 2 1 nisi PP PP ni N i )( 1 ) )( 1 ( 2 1 1 N i ni ni P P C ni P ni P 得 由約束條件，得 求出 信道容量為 ， 當(dāng) ，該信道不分配能量 當(dāng) ，該信道分配能量，分配到 ni P 某時(shí)刻噪聲、 信號(hào)功率和 例3.8 各時(shí)刻 ，對(duì)應(yīng)噪聲為均值為0， 方差為 輸入X滿足 ，各分量統(tǒng)計(jì)獨(dú)立，并滿 足 求信道容量。 10,.2 , 1i

38、 ), 0( nii PNx 0 . 1, 9 . 0, 8 . 0, 7 . 0, 6 . 0 5 . 0, 4 . 0, 3 . 0, 2 . 0, 1 . 0 109876 54321 nnnnn nnnnn PPPPP PPPPP 65.0 5 . 0 1 10 1 i si P 先由約束條件，求得此時(shí) 關(guān)閉信道710，N=6，求得此時(shí)0 6 s P 關(guān)閉信道6，N=5，得 關(guān)閉信道5，N=4, 各信道分得功率大于0。 5 . 0 )1( 2 1 4 1 i ni si P P C 0 5 s P 信道容量 =2.35比特/自由度 2 1 2 2 2 3 2 4 1s P 2s P 3

39、s P 4s P 功率 注水法功率分配 3.5.3加性高斯白噪聲信道(AWGN) 對(duì)波形信道作以下限制： 輸入、輸出是平穩(wěn)隨機(jī)過(guò)程 限頻F、限時(shí)T 在時(shí)間上離散為： 輸入 輸出 波形信道平均互信息量 ),.,( 21N YYYY )|()(lim )|()(lim );(lim)(),( XYHYH YXHXH YXItytxI cc N cc N N ),.,( 21N XXXX 3.5.3波形信道容量波形信道容量 單位時(shí)間信息傳輸率 信道容量 噪聲 ，方差即噪聲功率，雙邊功率譜密度 取 序列長(zhǎng)度 （T時(shí)間內(nèi)取N個(gè)樣本，單位時(shí)間有2W個(gè)樣本） );( 1 limYXI T R T t );( 1 limmax )( YXI T C Txp t WTN2 ), 0( 0 NN 2 0 N )1log( ) 2 2 1log( 2 )1log( 2 1 0 0 1 WN P WT N W P N P P C s S N i ni si 2 0 N P ni W P P s si 2 )1log(lim 0W N P W T C C s T t 波形信道轉(zhuǎn)換