第三章信道容量——信息論與編碼

1、 第第3 3章章 信道容量信道容量 l信道的主要任務(wù)：以信號的形式傳輸和存儲信信道的主要任務(wù)：以信號的形式傳輸和存儲信息。息。l問題：在什么條件下，通過信道的信息量最大，問題：在什么條件下，通過信道的信息量最大，即信道容量的問題。即信道容量的問題。第第3章：信道容量章：信道容量23.1 信道的數(shù)學(xué)模型和分類信道的數(shù)學(xué)模型和分類P(Y/X)xY信道的數(shù)學(xué)模型信道的數(shù)學(xué)模型：X P(Y/X) Y輸入與輸出之間一般不是確定的函數(shù)關(guān)系，輸入與輸出之間一般不是確定的函數(shù)關(guān)系，而是統(tǒng)計依賴的。而是統(tǒng)計依賴的。3信道的分類信道的分類連續(xù)連續(xù)信道信道半離散信半離散信道道離散離散信道信道信道的分類信道的分類4信

2、道的分類信道的分類單符號單符號 信道信道多符號多符號信道信道信道的分類信道的分類5信道的分類信道的分類單用戶信單用戶信道道多用戶信多用戶信道道信道的分類信道的分類6信道的分類信道的分類無干擾信無干擾信道道有干擾信有干擾信道道信道的分類信道的分類7信道的分類信道的分類有記憶信有記憶信道道無記憶信無記憶信道道信道的分類信道的分類83.2 單符號離散信道的信道容量單符號離散信道的信道容量l信道的輸入和輸出都取值于離散集合，且信道的輸入和輸出都取值于離散集合，且都用一個隨機變量來表示的信道就是單符都用一個隨機變量來表示的信道就是單符號離散信道。號離散信道。9信道容量的定義信道容量的定義naaaX,21

3、p(bi/ai)xYi=1,2,nmbbbY,21p(bi/ai）信道的轉(zhuǎn)移概率信道的轉(zhuǎn)移概率/信道傳遞概率信道傳遞概率10離散無記憶信道離散無記憶信道 (DMC) (DMC) 9 11信道轉(zhuǎn)移概率矩陣：信道轉(zhuǎn)移概率矩陣：轉(zhuǎn)移概率矩陣轉(zhuǎn)移概率矩陣 轉(zhuǎn)移概率矩陣的每一行元素之和為轉(zhuǎn)移概率矩陣的每一行元素之和為1 對任意對任意 j 0, 1, , m ，由全概率公式，由全概率公式有有 : 12信道的信息傳輸率信道的信息傳輸率l信源熵為信源熵為H(X)，由于干擾的存在，一般只接，由于干擾的存在，一般只接收到收到I(X;Y)。平均互信息。平均互信息 I (X ;Y) ：接收到：接收到 Y 后平均每個符

4、號獲得的關(guān)于后平均每個符號獲得的關(guān)于 X 的信息量。的信息量。 l定義定義:平均每個符號能傳送的消息總量為信平均每個符號能傳送的消息總量為信道的信息傳輸速率（信息率），道的信息傳輸速率（信息率），R， R=I(X;Y)若平均傳送一個符號為若平均傳送一個符號為t秒，則信道每秒鐘平秒，則信道每秒鐘平均傳送的信息量，均傳送的信息量，1(; )tRI X Yt13信道容量信道容量11()(; )()log ()nmjiijijjp baI X Yp abp b111()( ) ()log () ()nmjiijinijjjiip bap a p bap bp baI(X;Y)是是p(ai)和和p(bj

5、/ai)的二元函數(shù)。當(dāng)信道特性的二元函數(shù)。當(dāng)信道特性p(bj/ai)固定后，固定后，I(X;Y)隨信源概率分布隨信源概率分布p(ai)變化。變化。14lI(X;Y)是是p(ai)的上凸函數(shù)，總能找到一個的上凸函數(shù)，總能找到一個p(ai)使得信息率最大。使得信息率最大。l信道容量：信道中最大的傳輸速率，信道容量：信道中最大的傳輸速率，C，l單位：比特單位：比特/信道符號信道符號l單位時間的信道容量，比特單位時間的信道容量，比特/秒秒 ()()maxmax (; )p aip aiCRI X Y()()1maxmax (; )p aip aiCRI X Yt信道容量信道容量15信道容量信道容量()

6、()()max (; ) max()() max( )()iiip ap ap aCI X YH XH X YH YH Y X);(max1)(YXItCiapt16幾種特殊離散信道的容量幾種特殊離散信道的容量一、離散無噪信道一、離散無噪信道1、一一對應(yīng)的無噪信道、一一對應(yīng)的無噪信道an bna1 b1a2 b21.000.0.0100.100naaaX,21nbbbY,2117a1 b1a2 b2an-1 bn-1an bn00.10000.010.10.00001.000X、Y一一對應(yīng)一一對應(yīng),此時此時H(X/Y)=0，H(Y/X)=0， CmaxI(X;Y)log n (p(ai)=1/

7、n即等概即等概)p(ai)一一對應(yīng)的無噪信道一一對應(yīng)的無噪信道18a1 b1 b2 b32、具有擴展功能的無噪信道具有擴展功能的無噪信道a2 b4 b5 b6a3 b7 b8 38372625241312110000000000000000ababababababababpppppppp19此時，此時，H(X/Y)=0，H(Y/X) 0，且且 H(X) H(Y)。所以，所以，C = max H(X) = log n (p(ai)=1/n即等概即等概) p(ai)一個輸入對應(yīng)多個輸出一個輸入對應(yīng)多個輸出2、具有擴展功能的無噪信道具有擴展功能的無噪信道203、具有歸并性的無噪信道、具有歸并性的無噪

8、信道a1 b1a2 a3 b2a4100010010001001a5 b3C = max H(Y) = log m p(ai) =？p(ai)H(X/Y) 0，H(Y/X) = 0多個輸入變成一個輸出多個輸入變成一個輸出21結(jié)論結(jié)論l無噪信道的信道容量只取決于信道的輸入無噪信道的信道容量只取決于信道的輸入符號數(shù)符號數(shù)n或輸出符號數(shù)或輸出符號數(shù)m，與信源無關(guān)。，與信源無關(guān)。是表征信道特性的一個參量。是表征信道特性的一個參量。22二、強對稱二、強對稱(均勻均勻)離散信道的信道容量離散信道的信道容量pnpnpnpnppnpnpnpp1111.1.111.11n X np：總體錯誤概率naaaX,21

9、mbbbY,2123(/)() (/)log(/)()(/)log(/)nnijijiijnniiinnijijijH YXp a p bap bap a HHp bap ba 其中1,.111ppppnnn特點及信道容量特點及信道容量每行、每列都是同一集合各元素的不同排列(; )( )()I X YH YH Y X24(1)log(1)(log)(1)11nippHppnnn 特點及信道容量固定固定X Xaiai，對，對Y Y求和，即選定某一行，對各元素求和，即選定某一行，對各元素自信息量加權(quán)求和。自信息量加權(quán)求和。(/)log(/)nnijijijHp bap baaiai不同時，只是求和

10、順序不同，結(jié)果完全一樣，不同時，只是求和順序不同，結(jié)果完全一樣，所以所以HniHni與與X X無關(guān)，是常數(shù)。無關(guān)，是常數(shù)。25()( /)( )(; )( )max( )nniniiininip aiH YXp a HHI X YH YHCH YH信道容量信道容量？輸入符號的概率如何分布，才能使得輸入符號的概率如何分布，才能使得H H（Y Y）達到最大？達到最大？26napi1)(相應(yīng)的相應(yīng)的ninapapapHnHYHXYHYHYXICiiiilog )(max )/()(max );(max)()()(信道容量27結(jié)論：l當(dāng)輸入等概率分布時，強對稱離散信道能夠傳當(dāng)輸入等概率分布時，強對稱離

11、散信道能夠傳輸最大的平均信息量，達到信道容量。輸最大的平均信息量，達到信道容量。l信道容量只與信道的輸出符號信道容量只與信道的輸出符號n及信道矩陣的某及信道矩陣的某一行矢量有關(guān)。一行矢量有關(guān)。28二進制對稱信道（二進制對稱信道（ BSC ） 二進制對稱信道的信道容量二進制對稱信道的信道容量 C = 1 - H ( p ) 29三、對稱離散信道的信道容量三、對稱離散信道的信道容量矩陣中的每列都矩陣中的每列都 是集合是集合P = pP = p1 1,p,p2 2, , , p, pn n 中的諸元素的不同排列，稱矩陣的列是可排列的。中的諸元素的不同排列，稱矩陣的列是可排列的。矩陣中的每行都是集合矩

12、陣中的每行都是集合Q = qQ = q1 1, q, q2 2, , ,q,qm m 中的諸元素的不同排列，稱矩陣的行是可排列中的諸元素的不同排列，稱矩陣的行是可排列的的。30如果矩陣的行和列都是可排列的，如果矩陣的行和列都是可排列的，稱矩陣是可排列的。稱矩陣是可排列的。如果一個信道矩陣具有可排列性，如果一個信道矩陣具有可排列性，則它所表示的信道稱為則它所表示的信道稱為對稱信道中，當(dāng)對稱信道中，當(dāng)nmnmnm，Q Q是是P P的子集；當(dāng)?shù)淖蛹?；?dāng)n=mn=m時，時，P=QP=Q。對稱信道對稱離散信道對稱離散信道31輸入對稱輸入對稱 如果轉(zhuǎn)移概率矩陣如果轉(zhuǎn)移概率矩陣 P 的每一行都是第一行的置的

13、每一行都是第一行的置 換換 ( 包含同樣元素包含同樣元素 ) ，稱該矩陣是輸入對稱。，稱該矩陣是輸入對稱。 輸出對稱輸出對稱 如果轉(zhuǎn)移概率矩陣如果轉(zhuǎn)移概率矩陣 P 的每一列都是第一列的置的每一列都是第一列的置 換換 ( 包含同樣元素包含同樣元素 ) ，稱該矩陣是輸出對稱。，稱該矩陣是輸出對稱。 對稱信道對稱信道 輸入、輸出都對稱。輸入、輸出都對稱。 23 對稱離散信道對稱離散信道32練習(xí)：判斷下列矩陣表示的信道是否是對稱信道練習(xí)：判斷下列矩陣表示的信道是否是對稱信道 61316131616131313p 40.7 0.2 0.10.1 0.2 0.7p 31316161616131311p31

14、21612161316131212p33napi1)(相應(yīng)的相應(yīng)的minimjijijinimjijijiHabpabpapabpabpapXYH )/(log)/()( )/(log)/()()/(1111mimiapHmHYHCilog)(max)(34例：例： 某對稱離散信道的信道矩陣為某對稱離散信道的信道矩陣為 信道容量為: 35強對稱信道與對稱信道比較：強對稱信道與對稱信道比較： 強對稱強對稱 對稱對稱 n=m n與與m未必相等未必相等 矩陣對稱矩陣對稱 矩陣未必對稱矩陣未必對稱 P=Q P與與Q未必相等未必相等行之和，列之和均為行之和，列之和均為1行之和為行之和為136四、準(zhǔn)對稱信

15、道離散信道的信道容量四、準(zhǔn)對稱信道離散信道的信道容量若信道矩陣的行是可排列的，但列不可排列，若信道矩陣的行是可排列的，但列不可排列，如果把列分成若干個不相交的子集，且由如果把列分成若干個不相交的子集，且由n n行和行和各子集的諸列構(gòu)成的各個子矩陣都是可排列的，各子集的諸列構(gòu)成的各個子矩陣都是可排列的，則稱相應(yīng)的信道為準(zhǔn)對稱信道。則稱相應(yīng)的信道為準(zhǔn)對稱信道。例如下面的矩陣：例如下面的矩陣：818121418181412137準(zhǔn)對稱準(zhǔn)對稱 信道信道 轉(zhuǎn)移概率矩陣轉(zhuǎn)移概率矩陣 P 是輸入對稱而輸出不對稱，即是輸入對稱而輸出不對稱，即 P 的每的每 一行都包含同樣的元素而各列的元素可以不同。一行都包含

16、同樣的元素而各列的元素可以不同。 準(zhǔn)對稱信道的信道容量準(zhǔn)對稱信道的信道容量 由由 I ( X;Y ) 表達式表達式 1 求其極大值求其極大值 公式法公式法 2 38公式法公式法 將信道矩陣分成若干個互不相交的對稱的子集將信道矩陣分成若干個互不相交的對稱的子集 39例： 408181214181814121miHXYH)/()(max)(miapHYHCi例題41假設(shè)此時將矩陣的列分為假設(shè)此時將矩陣的列分為S S個子集，每個子集個子集，每個子集的元素個數(shù)分別是的元素個數(shù)分別是m m1 1，m m2 2，m ms s。ssmjjsjsmjjjmjjjbPbPbPbPbPbPYH)(log)(.)(

17、log)()(log)()(1111例題42例題43多符號離散信道數(shù)學(xué)模型多符號離散信道數(shù)學(xué)模型多符號離散信道多符號離散信道 多符號信源通過離散信道傳輸形成多符號離多符號信源通過離散信道傳輸形成多符號離散信道。散信道。1212.NNXX XXYY YY1212KnKnXa aaYb bbYXYPX)(44多符號離散信道的數(shù)學(xué)模型多符號離散信道的數(shù)學(xué)模型12.NXX XX12.NYYYY12Niiiia aanii iN,.,2 , 1.21Nni,.,2,112Njjjjb bbNmj,.,2,1mjjjN,.,2 , 1.21有 個元素Nn()XP Y XY45()XP Y XY112111

18、222212()().()()().().()() .()NNNNNNmmnmnnppppppppp 信道矩陣信道矩陣46)/()();(XYHYHYXI1X)(11XYP)(NNXYPNXXY1YNY離散無記憶信道的N次擴展信道47離散無記憶信道的離散無記憶信道的N N次擴展信道次擴展信道無記憶：無記憶：YK僅與僅與XK有關(guān)有關(guān)121211221(/)(./.)(/)(/).(/)(/)NNNNNiiiP YXP Y YYX XXP YXP YXP YXP YX4811121212121211112( /).(.) (.)log(.)NNNNNNNnnmmiiijjjiiiiijjjjjii

19、iH Y Xp a aap b bba aap b bba aa 1211111111112() ()()log()()NNNNNNNnnmmiiijijiiijjjijip a aap b ap bap b ap ba 4911111112222222222()()log()()()log().()()log()NNNNNNNnmijijiijnmijijiijnmijijiijp ap bap bap ap bap bap ap bap ba 11221(/)(/).(/)(/)KKNKKKH YXH YXH YXH YX501121121111(;)()(/)(.)(/)(.)()(;)

20、()(/)(;)(;)NKKKNNKKKNNKKNNKKKKKNKKKI X YH YH YXH Y YYH YXH Y YYH YI X YH YH YXI X YI XY51離散無記憶信道的離散無記憶信道的N次擴展信道次擴展信道l離散無記憶信道的離散無記憶信道的N次擴展信道的平次擴展信道的平均互信息量不大于均互信息量不大于N個變量個變量X1X2.XN單單獨通過信道獨通過信道 的平的平均互信息量之和。均互信息量之和。YXYPX)(NKKKYXIYXI1);();(521 2 1NX X . (;)(;)(;)(;)KNkkkXXI X YI XYI X YNI X YCNC當(dāng)且僅當(dāng)無記憶，等

21、號成立當(dāng)隨機變量取值同一符號集時離散無記憶信道擴展信道信道容量離散無記憶信道擴展信道信道容量結(jié)論：如果信道是結(jié)論：如果信道是N N次擴展信道，信源也是次擴展信道，信源也是N N次次擴展信源，則擴展信源，則N N次擴展信道的信道容量是離散次擴展信道的信道容量是離散無記憶信道容量的無記憶信道容量的N N倍倍53獨立并聯(lián)信道的信道容量獨立并聯(lián)信道的信道容量lN次擴展信道的推廣，隨機變量取值于不同次擴展信道的推廣，隨機變量取值于不同的符號集的符號集121.NNNKKCCCCC543.5 3.5 連續(xù)信道連續(xù)信道55)/(YXYPX,baX R),(,baY R),(p(y/x)連續(xù)信道的數(shù)學(xué)模型連續(xù)信

22、道的數(shù)學(xué)模型);(max)(YXICxpC56加性連續(xù)信道加性連續(xù)信道NY=X+Np(y/x)=p(n)X57dxdyxypxypxpXYHyxc)/(log)/()()/(dxdnnpnpxpNx)(log)()()()(log)(NHdnnpnpcN)()(NHXYHcc加性連續(xù)信道加性連續(xù)信道( )max( )()ccp xCHYHN58假定N是均值為0，方差為NP2的高斯變量22log21)(eNHc噪噪聲聲功功率率2)()(2log21)(max )()(maxeYHNHYHCcxpccxp高斯加性連續(xù)信道高斯加性連續(xù)信道限功率最大熵定理限功率最大熵定理 只有只有 Y 為為正態(tài)分布時

23、，其熵最大正態(tài)分布時，其熵最大 59yyP2xxP2輸入平輸入平均功率均功率輸出平輸出平均功率均功率對于高斯加性信道NXYNxyPPP高斯加性連續(xù)信道高斯加性連續(xù)信道60)2log(21)2log(21 )()(max22)(eeNHYHCyccxp)1log(21log21NxNxNPPPPPNxPP信噪功率比高斯加性連續(xù)信道高斯加性連續(xù)信道61香農(nóng)公式香農(nóng)公式log(1)xtNPCWP(bit/s)香農(nóng)公式香農(nóng)公式PN 功率譜密度功率譜密度 W 帶寬帶寬 Px信號功率信號功率 信噪功率比信噪功率比 Px/ PN= Px/ N0W 62香農(nóng)公式的討論香農(nóng)公式的討論 log(1)xtNPCWP

24、(bit/s)W eNPCxt20log帶寬一定時，信噪功率比與信道帶寬一定時，信噪功率比與信道 容量成對數(shù)關(guān)系容量成對數(shù)關(guān)系 當(dāng)輸入信號功率一定，增加帶當(dāng)輸入信號功率一定，增加帶 寬，容量可以增加寬，容量可以增加 63頻帶利用率：單位頻帶的信息傳輸速率頻帶利用率：單位頻帶的信息傳輸速率 C t 一定時，帶寬一定時，帶寬 W 增大，信噪功率比可降低，增大，信噪功率比可降低， 即兩者是可以互換的。即兩者是可以互換的。 信道容量可以通過系統(tǒng)帶寬與信噪比的互換而保持不變信道容量可以通過系統(tǒng)帶寬與信噪比的互換而保持不變 64例：如果例：如果SNR=7SNR=7，W=4000HzW=4000Hz，則可得，則可得 C=12C=1210103 3 b/s b/s； 但是，如果但是，如果 NR=15,W=3000HzNR=15,W=3000Hz，則可得同樣，則可得同樣 C C 值。值。 信噪比和帶寬的互換性在通信工程中有很大的用處。信噪比和帶寬的互換性在通信工程中有很大的用處。 例如，在宇宙飛船與地面的通信中，飛船上的發(fā)射功例如，在宇宙飛船與地面的通信中，飛船上的發(fā)射功