第五章 離散信道的信道容量課件

第五章離散信道的信道容量1第五章離散信道的信道容量

第五章離散信道的信道容量

第五章

離散信道的信道容量內(nèi)容提要：

信道對(duì)于信息率的容納并不是無限制的，它不僅與物理信道本身的特性有關(guān)，還與信道輸入信號(hào)的統(tǒng)計(jì)特性有關(guān)，它有一個(gè)極限值，即信道容量，信道容量是有關(guān)信道的一個(gè)很重要的物理量。這一章研究信道，研究在信道中傳輸?shù)拿總€(gè)符號(hào)所攜帶的信息量，并定義信道容量。

第五章離散信道的信道容量3本章重點(diǎn)：1.信道容量的定義；2.平均互信息量達(dá)到信道容量的充要條件；3.幾種特殊離散信道信道容量的計(jì)算。第五章離散信道的信道容量5.1信道容量的定義

信息傳輸率是衡量通信質(zhì)量的一個(gè)重要指標(biāo)，由定理2.1知：對(duì)于固定信道，總存在某種輸入概率分布q(x)，使I（X;Y）達(dá)到最大值，定義這個(gè)最大值為信道容量，記為C。（比特/碼符號(hào)） （5-2）使I（X;Y）達(dá)到信道容量的分布q(x)為最佳分布。第五章離散信道的信道容量5.2離散無記憶信道容量的計(jì)算定理5.1

如果信道是離散無記憶（DMC）的，則CN

NC，其中C是同一信道傳輸單符號(hào)時(shí)的信道容量。下面一條定理給出了一維信道和N維信道的信道容量之間的關(guān)系。若信道離散無記憶，則根據(jù)[定理2.4]有：第五章離散信道的信道容量若（1）輸入的N個(gè)符號(hào)統(tǒng)計(jì)獨(dú)立，即信源離散無記憶,根據(jù)[定理2.3]有：第五章離散信道的信道容量（2）對(duì)每個(gè)i,輸入分布q(xi)可使I(Xi;Yi)達(dá)到信道容量C，則：

==NC

CN

NC (5-5)綜合式(5-4)和(5-5)，在信源和信道都離散無記憶的情況下，有CN=NC，即定理中等號(hào)成立，這時(shí)N長序列的傳輸問題可歸結(jié)為單符號(hào)傳輸問題。第五章離散信道的信道容量5.2.1達(dá)到信道容量的充要條件定理5.2

使平均互信息量I（X;Y）達(dá)到信道容量C的充要條件是信道輸入概率分布，簡(jiǎn)記為q

(X)={q(x1),q(x2),…,q(xM)}滿足：

(5-6)介紹幾種無噪信道，對(duì)于無噪信道，信道的輸入X和輸出Y之間有著確定的關(guān)系，一般有三類：無損信道、確定信道和無損確定信道?！纠?.2】無損信道

無損信道的輸入符號(hào)集元素個(gè)數(shù)小于輸出符號(hào)集的元素個(gè)數(shù)，信道的一個(gè)輸入對(duì)應(yīng)多個(gè)互不交叉的輸出，如圖5-2所示，信道輸入符號(hào)集X={x1,x2,x3}，輸出符號(hào)集Y={y1,y2,y3,y4,y5,y6}，其信道轉(zhuǎn)移概率矩陣記為，計(jì)算該信道的信道容量。圖5-2無損信道x1x2x3y1y2y3y5y62/61/63/61/21/21y42.根據(jù)定義計(jì)算信道容量C從上式可看出，求信道容量C的問題轉(zhuǎn)化為尋找某種分布q(x)使信源熵H（X）達(dá)到最大，由極大離散熵定理知道，在信源消息等概分布時(shí)，熵值達(dá)到最大，即有1.先考察平均互信息量I（X;Y）=H（X）-H（X︱Y），在無噪信道條件下，H（X︱Y）=0，則平均互信息量I（X;Y）=H（X）第五章離散信道的信道容量3.根據(jù)平均互信息量I（X;Y）達(dá)到信道容量的充要條件式（5-6）對(duì)C進(jìn)行驗(yàn)證：先根據(jù)計(jì)算出ω(yj)，j=1,2,3,4,5,6第五章離散信道的信道容量再計(jì)算出：第五章離散信道的信道容量5.2.2幾類特殊的信道

定義5.1

如果信道轉(zhuǎn)移概率矩陣P中，每一行元素都是另一行相同元素的不同排列，則稱該信道關(guān)于行（輸入）對(duì)稱。定義5.2

如果信道轉(zhuǎn)移概率矩陣P中，每一列元素都是另一列相同元素的不同排列，則稱該信道關(guān)于列（輸出）對(duì)稱。定義5.3

如果信道轉(zhuǎn)移概率矩陣P可按輸出符號(hào)集Y分成幾個(gè)子集（子矩陣），而每一子集關(guān)于行、列都對(duì)稱，稱此信道為準(zhǔn)對(duì)稱信道。1.準(zhǔn)對(duì)稱信道【例5.6】信道輸入符號(hào)集X={x1,x2}，輸出符號(hào)集Y={y1,y2,y3,y4}，給定信道轉(zhuǎn)移概率矩陣，求該信道的信道容量C。

這是一個(gè)準(zhǔn)對(duì)稱信道，根據(jù)定理5.3，當(dāng)X等概分布，時(shí)，信道容量平均互信息量I（X;Y）=H（Y）-H（Y︱X）

(5-7)定理5.3

實(shí)現(xiàn)DMC準(zhǔn)對(duì)稱信道的信道容量的分布為等概分布。第五章離散信道的信道容量由，先算出

(5-8)

將式(5-8)和代入式(5-7)，可算得信道容量

=0.0325(比特/符號(hào))第五章離散信道的信道容量【例5.8】信道輸入符號(hào)集X={x1,x2}，輸出符號(hào)集Y={y1,y2,y3}，給定信道轉(zhuǎn)移概率矩陣

，求信道容量C。設(shè)使平均互信息量達(dá)到信道容量的信源分布為q(x1)=

，q(x2)=1-

。由可算出

2.信源只含兩個(gè)消息

平均互信息量I(X;Y)=H(Y)–H(Y︱X)

=-(1-q)[

log

+(1-

)log(1-

)]根據(jù)定義，求C的問題就轉(zhuǎn)化為

為何值時(shí)，I(X;Y)達(dá)到最大值。令則信道容量C=I(X;Y)︱a=0.5=1-q

計(jì)算信道容量C按下面步驟進(jìn)行：(1)先驗(yàn)證信道轉(zhuǎn)移概率矩陣P=[p(yj︱xi)]是方陣，且矩陣P的行列式︱[p(yj︱xi)]︱≠0；3.信道轉(zhuǎn)移概率矩陣為非奇異方陣

第五章離散信道的信道容量(2)計(jì)算出逆矩陣P-1=[p-1(yj︱xk)]；(3)根據(jù)式（5-17），計(jì)算出；

(4)根據(jù)式（5-18），計(jì)算出信道容量C；

(5)

驗(yàn)證是否滿足q(xi)

0，i=1,2,…,K。l

先由式（5-16）計(jì)算出

（yk）k=1,2,…,Kl再由式（5-21）計(jì)算

第五章離散信道的信道容量【例5.9】給出信道轉(zhuǎn)移概率矩陣，求信道容量C。（1）P矩陣的行列式，說明P是一個(gè)非奇異方陣。（2）P的逆矩陣（3）算出第五章離散信道的信道容量（4）信道容量

（奈特/碼符號(hào)）（5）下面驗(yàn)證是否q(xi)

0，i=1,2先根據(jù)算出再算得第五章離散信道的信道容量圖5-9兩個(gè)信道5.3組合信道的容量

考慮有兩個(gè)信道。信道1信道2：

信道編碼器XY信道譯碼器X

/Y

/第五章離散信道的信道容量5.3.1獨(dú)立并行信道

在這種情況下，二個(gè)信道作為一個(gè)信道使用，傳送符號(hào)，接收符號(hào)，根據(jù)定理2.4，對(duì)于離散無記憶信道，下式成立（5-22）對(duì)上面不等式兩邊取最大值，得

C

C

1+C2

（5-23）推廣到N個(gè)信道的并行組合，當(dāng)N個(gè)信道并行獨(dú)立使用時(shí)，記Ck(k=1,2,…,N)為第k個(gè)信道的信道容量，C為組合信道的總?cè)萘?，則有 （5-24）等號(hào)成立的條件，都要求信源離散無記憶，即要求信道獨(dú)立使用且輸入獨(dú)立。

5.3.2和信道

兩個(gè)信道輪流使用，使用概率分別為p1,p2，且p1+p2=1，記概率分布P

=（p1,p2），和信道的平均互信息計(jì)算如下

I（P）=I（p1,p2）=p1I（X;Y）+p2I（X/;Y/）+H2（P）式中：H2(P)=-p1logp1-p2logp2。第五章離散信道的信道容量根據(jù)定義，有

（5-26）求使式(5-26)取極大值的P

令，對(duì)數(shù)以2為底，注意到p2=1-p1，得記C1-logp1=C2-logp2=

（

為待定常數(shù)）（5-27）

從式（5-27）中解出： （5-28）

將式(5-28)代入條件p1+p2=1，得

（5-29）式（5-28）中的p1,p2就是使平均互信息量I（p1,p2）達(dá)到最大的取值，將其代入式（5-26），得：=

（p1+p2）=

將式（5-29）代入式（5-30）得：

推廣到N個(gè)信道輪流使用的情況,當(dāng)N個(gè)信道以不同概率輪流使用時(shí)，記Ck(k=1,2,…,N)為第k個(gè)信道的信道容量，C為組合信道的總?cè)萘?，則有 （5-31）第五章離散信道的信道容量5.3.3串行信道

將兩個(gè)信道級(jí)聯(lián)，有X

/=Y，如圖5-10所示。X信道1信道2Y

/Y=X

/

圖5-10串行信道

串行信道的信道轉(zhuǎn)移概率 用矩陣表示為：（5-32）串行級(jí)聯(lián)信道的信道轉(zhuǎn)移概率趨向于兩個(gè)獨(dú)立信道轉(zhuǎn)移概率的均值。若將N個(gè)轉(zhuǎn)移概率相同的信道級(jí)聯(lián)，當(dāng)N→∞時(shí)，其總信道容量將趨于零。

第五章離散信道的信道容量信道1：P1=[p(y︱x)]，信道2：P2=[p(y‘︱x‘

)]，信道1和信道2是獨(dú)立的，信道2的輸出Z只與其輸入Y及信道轉(zhuǎn)移概率P2=[p(y’︱x’

)]有關(guān)，而與X無關(guān)。因此信道1和信道2串連就構(gòu)成了一個(gè)馬爾可夫鏈，對(duì)于馬爾可夫鏈有如下定理：X信道1信道2ZY圖5-11馬爾可夫鏈數(shù)據(jù)處理定理：無論經(jīng)過何種數(shù)據(jù)處理，都不會(huì)使信息量增加。定理5.4

若隨機(jī)變量X、Y、Z組成一個(gè)馬爾可夫鏈，如圖5-11所示，則有

I（X;Z）

I（X;Y）（5-33）

I（X;Z）I（Y;Z）（5-34）第五章離散信道的信道容量【例5.11】兩個(gè)離散信道，，將它們串行連接使用，如圖

5-10，計(jì)算總信道容量C。（1）先計(jì)算總信道的信道轉(zhuǎn)移概率矩陣第五章離散信道的信道容量串聯(lián)信道的總信道矩陣P等于第一級(jí)信道的信道矩陣P1，從而概率滿足p(y︱x)=p(z︱x)(對(duì)所有的x，y，z)

（5-36）對(duì)式（5-36）兩邊關(guān)于x求和，得

p(y)=p