電子科技大學信息論第5章 信道容量

1、信道容量信道容量第第5章章 信道容量信道容量p信道可靠傳輸信息的能力如何度量？信道可靠傳輸信息的能力如何度量？信道容量信道容量5.1 信道容量信道容量1、信道容量、信道容量信道給定時，平均互信息信道給定時，平均互信息I(X;Y)對于信源概率對于信源概率P(X)嚴格上凸嚴格上凸總能找到總能找到P(X)，使，使I(X;Y)達到最大達到最大定義定義信道給定時平均互信息信道給定時平均互信息I(X;Y)的最大值，用的最大值，用C表示表示)Y;X( ImaxC)X(P信道容量信道容量2、信道容量的意義、信道容量的意義平均互信息平均互信息I(X;Y)信道中每傳輸一條消息所信道中每傳輸一條消息所攜帶的平均信息

2、量攜帶的平均信息量信道容量信道容量C給定信道中每傳輸一條消息所攜帶給定信道中每傳輸一條消息所攜帶的最大平均信息量的最大平均信息量給定信道可靠傳輸信息的給定信道可靠傳輸信息的能力能力信道容量信道容量3、信道容量的主要性質(zhì)、信道容量的主要性質(zhì)非負性非負性0)Y;X( ImaxC)X(P0C 0)Y;X( I極值性極值性MlogCNlogC信道容量信道容量)Y(H)Y;X( I)X(H)Y;X( IMlog)Y(Hmax)Y;X( ImaxCNlog)X(Hmax)Y;X( ImaxC)X(P)X(P)X(P)X(P0CYX相互獨立時，與NlogCYX一一對應時，與信道容量信道容量例例1p1ppp1

3、)X/Y(P信道的信道容量及達到信道容量的信源概率信道的信道容量及達到信道容量的信源概率)p(H)p1log()p1 (plogp)p1log()p1 (plogp)x(Pplogp)p1log()p1 ()x(P)X/Y(H21)bit)(p(H1)p(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X( ImaxC?)X(P)X(P)X(P信道容量信道容量如果信宿等概如果信宿等概信宿等概是否可達？信宿等概是否可達？21)x(P)p1 ()x(pP)y(P21)x(pP)x(P)p1 ()y(P212211，可達解出21)x(P)x(P21)bit)(p(H1C21)x(P)x(P21信道容

4、量信道容量例例21001)X/Y(P信道的信道容量及達到信道容量的信源概率信道的信道容量及達到信道容量的信源概率)(H)1log()1 (log)1log()1 (log)x(Plog)1log()1 ()x(P)X/Y(H21)bit)(H3log)(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X( ImaxC?)X(P)X(P)X(P信道容量信道容量如果信宿等概如果信宿等概信宿等概是否可達？信宿等概是否可達？31)x(P)1 ()y(P31)x(P)x(P) e (P31)x(P)1 ()y(P2221110)x(P)x(P0)x(P)x(P)21 (2121信道容量信道容量時矛盾！不

5、可達311)x(P)x(P21，設)1)(1 ()y(P)1 () e (P)1 ()y(P21)(H)(H)1 (log)1log()1 ()1log()1 (log)1 (log)1)(1log()1)(1 ()1log()1 ()Y(H信道容量信道容量)bit(1)(H)1 (max)(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X( ImaxC)X(P)X(P)X(P)X(P21)x(P)x(P21信道容量信道容量5.2 對稱信道的信道容量對稱信道的信道容量1、對稱信道、對稱信道矩陣中每一行都是集合中各元素矩陣中每一行都是集合中各元素的不同排列的不同排列矩陣行可置換；每一列都是集合

6、矩陣行可置換；每一列都是集合 中各元素的不同排列中各元素的不同排列矩陣列可矩陣列可置換置換q,q,qQM21p,p,pPN21信道的信道矩陣既行可置換又列可置換信道的信道矩陣既行可置換又列可置換定義定義信道容量信道容量例例13 . 05 . 02 . 02 . 03 . 05 . 05 . 02 . 03 . 0)X/Y(P例例23/ 16/ 13/ 16/ 16/ 13/ 16/ 13/ 1)X/Y(P信道容量信道容量二進制對稱信道二進制對稱信道pp1p1p)X/Y(P信道容量信道容量2、對稱信道的信道容量、對稱信道的信道容量N1)x(P)x(P)x(PN21)q,q,q(HMlogCM21

7、達到信道容量的信源概率達到信道容量的信源概率信道容量信道容量對稱信道行可置換對稱信道行可置換)q ,q ,q (Hqlogqqlogq)x(Pqlogq )x(P)x/y(Plog)x/y(P)x(P)X/Y(HM21M1jjjN1iM1jjjiN1iM1jjjiN1iM1jijiji)q,q,q(HMlog)q,q,q(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X( ImaxCM21?M21)X(P)X(P)X(P信道容量信道容量如果信宿等概如果信宿等概信宿等概是否可達？信宿等概是否可達？對稱信道列可置換，不失一般性，設對稱信道的對稱信道列可置換，不失一般性，設對稱信道的信道矩陣信道矩

8、陣1NN1N3221pppppppp)X/Y(P信道容量信道容量M1)x(Pp)x(Pp)x(Pp)y(PM1)x(Pp)x(Pp)x(Pp)y(PN123122NN22111N1iiN21pM1)x(P)x(P)x(P解出N, 2 , 1iN1)x(P1)x(NP)x(PiiN1ii信道容量信道容量)q,q,q(HMlogCM21信道容量信道容量二進制對稱信道的信道容量二進制對稱信道的信道容量)p(H1C21)x(P)x(P21達到信道容量的信源概率達到信道容量的信源概率信道容量信道容量例例33 . 05 . 02 . 02 . 03 . 05 . 05 . 02 . 03 . 0)X/Y(

9、P信道容量及達到信道容量的信源概率信道容量及達到信道容量的信源概率信道矩陣既行可置換又列可置換信道矩陣既行可置換又列可置換對稱信道對稱信道信道容量信道容量信道容量信道容量)bit(099. 02 . 0log2 . 03 . 0log3 . 05 . 0log5 . 03log)2 . 0 , 3 . 0 , 5 . 0(H3logC達到信道容量的信源概率達到信道容量的信源概率31)x(P)x(P)x(P321信道容量信道容量例例43/ 16/ 13/ 16/ 16/ 13/ 16/ 13/ 1)X/Y(P信道容量及達到信道容量的信源概率信道容量及達到信道容量的信源概率信道矩陣既行可置換又列可

10、置換信道矩陣既行可置換又列可置換對稱信道對稱信道信道容量信道容量信道容量信道容量)bit(082. 061log61231log3124log)61,61,31,31(H4logC達到信道容量的信源概率達到信道容量的信源概率21)x(P)x(P21信道容量信道容量3、弱對稱信道、弱對稱信道信道的信道矩陣行可置換信道的信道矩陣行可置換定義定義按列分為按列分為s個不相交的子信道，各子信道的信道矩個不相交的子信道，各子信道的信道矩陣既行可置換又列可置換陣既行可置換又列可置換信道容量信道容量例例59 . 01 . 0001 . 09 . 0)X/Y(P例例67 . 02 . 01 . 01 . 02

11、. 07 . 0)X/Y(P信道容量信道容量二進制擦除信道二進制擦除信道弱對稱信道弱對稱信道1001)X/Y(P信道容量信道容量4、弱對稱信道的信道容量、弱對稱信道的信道容量)q,q,q(HPlogPmCM21ks1kkks , 2 , 1kkPkmkk值個子信道的子信宿等概對應于第數(shù)個子信道的信道矩陣列第其中，N1)x(P)x(P)x(PN21達到信道容量的信源概率達到信道容量的信源概率信道容量信道容量弱對稱信道行可置換弱對稱信道行可置換)q ,q ,q (Hqlogqqlogq)x(Pqlogq )x(P)x/y(Plog)x/y(P)x(P)X/Y(HM21M1jjjN1iM1jjjiN

12、1iM1jjjiN1iM1jijiji)q,q,q(HMlog)q,q,q(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X( ImaxCM21?M21)X(P)X(P)X(P信道容量信道容量如果信宿等概如果信宿等概信宿等概是否可達？信宿等概是否可達？7 . 02 . 01 . 01 . 02 . 07 . 0)X/Y(P31)x(P7 . 0)x(P1 . 0)y(P31)x(P2 . 0)x(P2 . 0)y(P31)x(P1 . 0)x(P7 . 0)y(P213212211信道容量信道容量0)x(P)x(P0)x(P1 . 0)x(P5 . 02121矛盾！不可達矛盾！不可達按列分為

13、按列分為s個不相交的子信道，各子信道的信道矩個不相交的子信道，各子信道的信道矩陣既行可置換又列可置換陣既行可置換又列可置換對應于子信道的各子信宿等概是否可達？對應于子信道的各子信宿等概是否可達？子信道矩陣列可置換，不失一般性，設第子信道矩陣列可置換，不失一般性，設第k個子信個子信道矩陣道矩陣如果各子信宿等概如果各子信宿等概信道容量信道容量1kkNkN1kN3k2k2k1kkpppppppp)X/Y(P)y(P)x(Pp)x(Pp)x(Pp)y(P)x(Pp)x(Pp)x(PpkN1k23k12kkNkN22k11kN1ikikN21p)y(P)x(P)x(P)x(P解出信道容量信道容量N, 2

14、 , 1iN1)x(P1)x(NP)x(PiiN1iis , 2 , 1kpN1)y(PN1ikik)q,q,q(H)y(Plog)y(Pm)q,q,q(H)y(Plog)y(PCM21ks1kkkM21s1kmkkk信道容量信道容量二進制擦除信道的信道容量二進制擦除信道的信道容量1C21)x(P)x(P21達到信道容量的信源概率達到信道容量的信源概率信道容量信道容量例例79 . 01 . 0001 . 09 . 0)X/Y(P信道容量及達到信道容量的信源概率信道容量及達到信道容量的信源概率信道矩陣行可置換，按列分為兩個不相交的子信道，信道矩陣行可置換，按列分為兩個不相交的子信道，各子信道的信

15、道矩陣既行可置換又列可置換各子信道的信道矩陣既行可置換又列可置換弱對弱對稱信道稱信道二進制擦除信道二進制擦除信道信道容量信道容量9 . 0009 . 0)X/Y(P11 . 01 . 0)X/Y(P245. 0)09 . 0(21p21)y(P2m21ii 111，1 . 0) 1 . 01 . 0(21p21)y(P1m21ii222，兩個子信道矩陣兩個子信道矩陣信道容量信道容量)0 , 1 . 0 , 9 . 0(H1 . 0log1 . 0145. 0log45. 02C信道容量信道容量)bit(9 . 01 . 0log1 . 09 . 0log9 . 01 . 0log1 . 0)2

16、log9 . 0(log9 . 01 . 0log1 . 09 . 0log9 . 01 . 0log1 . 045. 0log9 . 0達到信道容量的信源概率達到信道容量的信源概率21)x(P)x(P21信道容量信道容量7 . 02 . 01 . 01 . 02 . 07 . 0)X/Y(P例例8信道容量及達到信道容量的信源概率信道容量及達到信道容量的信源概率信道矩陣行可置換，按列分為兩個不相交的子信信道矩陣行可置換，按列分為兩個不相交的子信道，各子信道的信道矩陣既行可置換又列可置換道，各子信道的信道矩陣既行可置換又列可置換弱對稱信道弱對稱信道信道容量信道容量7 . 01 . 01 . 07

17、 . 0)X/Y(P12 . 02 . 0)X/Y(P24 . 0) 1 . 07 . 0(21p21)y(P2m21ii 111，2 . 0)2 . 02 . 0(21p21)y(P1m21ii222，兩個子信道矩陣兩個子信道矩陣信道容量信道容量) 1 . 0 , 2 . 0 , 7 . 0(H2 . 0log2 . 014 . 0log4 . 02C信道容量信道容量)bit(365. 01 . 0log1 . 07 . 0log7 . 04 . 0log8 . 01 . 0log1 . 02 . 0log2 . 07 . 0log7 . 02 . 0log2 . 04 . 0log8 .

18、0達到信道容量的信源概率達到信道容量的信源概率21)x(P)x(P21信道容量信道容量5.3 NN信道的信道容量信道的信道容量信道容量信道容量N, 2 , 1jN, 2 , 1i)x/y(Plog)x/y(P)x/y(P) 1 (jN1jijijN1jjij求出由)2log(C)2(N1jj信道容量信道容量N, 2 , 1j2)y(P) 1 (CjjN, 2 , 1i)x(PN, 2 , 1j)x/y(P)x(P)y(P)2(iN1iijij求出由達到信道容量的信源概率達到信道容量的信源概率信道容量信道容量限制下的條件極值在1)x(P)Y;X( IN1iiN, 2 , 1i01)x(P)X/Y

19、(H)Y(H)x(P1)x(P)Y;X( I )x(PN1kkiN1kki令M, 2 , 1jN, 2 , 1i)x/y(P)x/y(P)x(P)x(P)x(P)y(PijN1kkjkiij注意到信道容量信道容量1)x(P)x/y(Plog)x/y(P)x(P)y(Plog)y(P)x(PN1kkN1kM1jjkkjkM1jjjiM1jijijM1jijjij)x/y(Plog)x/y(P)x/y(ePlog)y(Plog)x/y(PN, 2 , 1i0)x/y(Plog)x/y(Pelog)y(Plog)x/y(PM1jijijM1jjij信道容量信道容量N, 2 , 1ielog)x/y(

20、Plog)x/y(P)y(Plog)x/y(PM1jijijM1jjijelogelog)x(PC)x/y(Plog)x/y(P)x(P)y(Plog)x/y(P)x(PN1iiN1iM1jijijiN1iM1jjiji注意到N, 2 , 1iC)x/y(Plog)x/y(P)y(Plog)x/y(PM1jijijM1jjij信道容量信道容量N, 2 , 1jC)y(Plogjj引入輔助變量當當M=N，方程有唯一解，方程有唯一解N, 2 , 1i)x/y(Plog)x/y(P)x/y(PC)y(P)logx/y(PC)y(Plog)x/y(PN1jijijN1jjijN1jjijN1jjijN

21、,1,2,jj解出信道容量信道容量N, 2 , 1j2)y(PC)y(PlogCjjjjN1jCN1jCN1jCN1jjjjj221222)y(P)2log(CN1jj信道容量信道容量N, 2 , 1j2)y(PCjjN, 2 , 1j)x/y(P)x(P)y(PN1iijijN,1,2,i)x(Pi解出信道容量信道容量例例1信道容量及達到信道容量的信源概率信道容量及達到信道容量的信源概率75. 025. 001)X/Y(P082. 10811. 075. 0log75. 025. 0log25. 075. 025. 000log01log101) 1 (212121求出由信道容量信道容量)b

22、it(558. 0472. 1log)22log(C)2(082. 10321. 0222)y(P679. 0222)y(P) 1 (640. 1558. 0082. 1C2528. 0558. 00C121428. 0)x(P572. 0)x(P321. 0)x(P75. 0)x(P0)y(P679. 0)x(P25. 0)x(P1)y(P)2(21212211求出由信道容量信道容量5.4 聯(lián)合信道容量與條件信道容量聯(lián)合信道容量與條件信道容量1、聯(lián)合信道容量與條件信道容量、聯(lián)合信道容量與條件信道容量定義定義聯(lián)合信道容量聯(lián)合信道容量信道給定時聯(lián)合平均互信息信道給定時聯(lián)合平均互信息I(X1X2X

23、n; Y1Y2Yn)的最大值，用的最大值，用C(X1X2Xn; Y1Y2Yn)表示表示)YYY;XXX( Imax)YYY;XXX(Cn21n21)XXX(Pn21n21n21信道容量信道容量條件信道容量條件信道容量信道給定時條件平均互信息信道給定時條件平均互信息I(Xk;YL/X1Xk-1Y1YL-1)的最大值，用的最大值，用C(Xk;YL/X1Xk-1Y1YL-1)表示表示定義定義)YY/Y;X( Imax)YY/Y;X(C)Y/Y;X( Imax)Y/Y;X(C1n1n1)X(P1n1n1121)X(P12111信道容量信道容量)YYX/Y;X( Imax)YYX/Y;X(C)YX/Y;X( Imax)YX/Y;X(C1n11n2)XX(P1n11n21122)XX(P11222121)YYXX/Y;X( Imax)YYXX/Y;X(C1n11n1nn)XXX(P1n11n1nnn21信道容量信道容量2、信道容量的鏈式法則、信道容量的鏈式法則)YYXX/Y;X(C)YYX/Y;X(C)YX/Y;X(C)YY/Y;X(C)Y/Y;X(C)Y;X(C)YYY;XXX(C1n11n1nn1n11n211221n1n112111n21n21信道容量信道容量)YYXX/Y;X( I)YYX/Y;X( I)YX/Y;X( I)YY/Y;X( I)Y/Y;X( I)Y;X( I)YY