信息論與編碼傅祖云講義第三章谷風(fēng)校園

1、第三章 離散信道及其信道容量3.1 信道的數(shù)學(xué)模型及分類3.2 平均互信息及平均條件互信息3.3 平均互信息的特征3.4 信道容量及其一般計(jì)算方法小結(jié)本章主要內(nèi)容：3.9 信源與信道的匹配1沐風(fēng)教資第三章 離散信道及其信道容量本章的重、難點(diǎn)內(nèi)容：了解信道的分類及基本數(shù)學(xué)模型掌握平均互信息和平均條件互信息的概念和意義知道平均互信息的特征掌握信道容量及其一般計(jì)算方法*2沐風(fēng)教資3.1信道的數(shù)學(xué)模型及分類在廣義的通信系統(tǒng)中，信道是很重要的一部分。信道的任務(wù)是以信號(hào)方式傳輸信息和存儲(chǔ)信息。研究信道的目的就是研究信道中能夠傳送或存儲(chǔ)的最大信息量，即信道容量問題。本章首先討論離散信道的統(tǒng)計(jì)特性和數(shù)學(xué)模型，

2、然后定量地研究信道傳輸?shù)钠骄バ畔⒓捌湫再|(zhì)，并導(dǎo)出信道容量及其計(jì)算方法。本章只限于研究一個(gè)輸入端和一個(gè)輸出端即單用戶信道，以無記憶、無反饋、恒參離散信道為重點(diǎn)。3沐風(fēng)教資3.1.1 信道的分類根據(jù)信道的用戶多少根據(jù)信道輸入輸出的關(guān)聯(lián)根據(jù)信道參數(shù)與時(shí)間的關(guān)系根據(jù)輸入輸出信號(hào)的特點(diǎn)兩端（單用戶）信道多端（多用戶）信道無反饋信道反饋信道固定參數(shù)信道時(shí)變參數(shù)信道離散信道連續(xù)信道半離散或半連續(xù)信道波形信道4沐風(fēng)教資3.1.2離散信道的數(shù)學(xué)模型離散信道的數(shù)學(xué)模型如下圖所示信道xy),.,.,()(),.,.,(121ninyyyyxypxxxxraax,.,:1sbby,.,:1yxyp1)(圖3.1 離

3、散信道數(shù)學(xué)模型 根據(jù)信道的統(tǒng)計(jì)特性即條件概率 的不同，離散信道又可分成三種情況。)(xyp5沐風(fēng)教資離散信道的數(shù)學(xué)模型無干擾（無噪）信道有干擾無記憶信道：離散無記憶信道的充要條件對(duì)任意n值和任意x、y的取值，上式都成立。有干擾有記憶信道：即有干擾（噪聲）又有記憶，實(shí)際信道往往是這種類型。信道輸出不但與輸入有關(guān)，還與其它時(shí)刻的輸入和輸出有關(guān)，這樣的信道稱為有記憶信道。)(0)(1)()(xfyxfyxypxfyniiinnxypxxxyyypxyp12121)().()(6沐風(fēng)教資3.1.3單符號(hào)離散信道的數(shù)學(xué)模型單符號(hào)離散信道的輸入變量為x，取值于 ；輸出變量為y，取值于 。并有條件概率 這一

4、組條件概率稱為信道的傳遞概率或轉(zhuǎn)移概率一般簡(jiǎn)單的單符號(hào)離散信道的數(shù)學(xué)模型可以用概率空間x,p(y|x),y來描述。raaa,.,21sbbb,.,21)()()(ijijabpaxbypxypybababaxsr.2211)(ijabp7沐風(fēng)教資兩種重要的二元信道bsc和bec例3.1 二元對(duì)稱信道bsc（binary symmetric channel）這是很重要的一種特殊信道。輸入符號(hào)x取值于0，1；輸出符號(hào)也取值于0，1。傳遞概率： 傳遞矩陣：a1=0a2=1b1=0b2=11-p1-pppxypppabp1)00()(11pppabp1) 11 ()(22ppabp) 10()(21p

5、pabp)01 ()(12pppp1110108沐風(fēng)教資兩種重要的二元信道bsc和bec例3.2 二元?jiǎng)h除信道bec（binary erasure channel）這也是很重要的一種特殊信道。輸入符號(hào)x取值于0，1；輸出符號(hào)取值于0，2，1。信道傳遞矩陣：qqpp1001101200101pq1-p1-q29沐風(fēng)教資二元?jiǎng)h除信道bec的說明這種信道實(shí)際是存在的，當(dāng)信號(hào)波形傳輸中失真較大時(shí)，我們?cè)诮邮斩瞬皇菍?duì)接收信號(hào)硬性判為0和1，而是根據(jù)最佳接收機(jī)額外給出的信道失真信息增加一個(gè)中間狀態(tài)2（稱為刪除符號(hào)），采用特定的糾刪編碼，可有效的恢復(fù)出這個(gè)中間狀態(tài)的正確取值。如果信道干擾不是很嚴(yán)重的話， 和

6、 的可能性要比 和 的可能性小得多，所以，假設(shè) 是較合理的。 011020210) 10()01(xypxyp10沐風(fēng)教資單符號(hào)離散信道的數(shù)學(xué)模型由此可見，一般單符號(hào)離散信道的轉(zhuǎn)移概率可用信道轉(zhuǎn)移矩陣p來表示：關(guān)于信道矩陣的幾點(diǎn)說明：1、輸入和輸出符號(hào)的聯(lián)合概率為pabpabpabpabpabpabpabpabpabpaaabbbrsrrssrs)()()()()()()()()(2121221221112121)()()()()(jijijijibapbpabpapbap11沐風(fēng)教資單符號(hào)離散信道的數(shù)學(xué)模型其中 是信道傳遞概率，通常稱為前向概率，它是由于噪聲引起的，描述了信道噪聲的特性。而

7、稱為后向概率。也把 稱為先驗(yàn)概率，而把 稱為后驗(yàn)概率。2、根據(jù)聯(lián)合概率可得輸出符號(hào)的概率3、根據(jù)貝葉斯公式得后驗(yàn)概率上式說明，在信道輸出端接收到任一符號(hào) 一定是輸入符號(hào) , 中的一個(gè)輸入信道。)(ijabp)(jibap)(iap)(jibap1()( ) (/)rjijiip bp a p ba()(/)()ijijjp abp abp b1(/)1rijip abjb1ara12沐風(fēng)教資3.2平均互信息及平均條件互信息3.2.1信道疑義度信源輸入信道的熵先驗(yàn)熵h(x)信道中有干擾(噪聲)存在，接收到符號(hào) 后輸入的是什么符號(hào)仍存在有不確定性 后驗(yàn)熵。意義：后驗(yàn)熵是當(dāng)信道接收端接收到輸出 符號(hào)

8、 后，關(guān)于輸入符號(hào)的信息測(cè)度。xriiixpxpapapxh)(log)()(1log)()(1rixjjjijijbxpbxpbapbapbxh1)(1log)()(1log)()(jbjb13沐風(fēng)教資信道疑義度后驗(yàn)熵在輸出符號(hào)集y范圍內(nèi)是個(gè)隨機(jī)量，對(duì)后驗(yàn)熵在符號(hào)集y中求數(shù)學(xué)期望，得條件熵為信道疑義度(含糊度)：意義：信道疑義度表示在輸出端收到輸出變量y的符號(hào)后，對(duì)于輸入端的變量x尚存在的平均不確定性（存在疑義）。這是由于信道干擾（噪聲）引起的。risjyxjijisjsjrijijijjjjyxpxypbapbapbapbapbpbxhbpbxheyxh11,111)(1log)()(1l

9、og)()(1log)()()()()()(14沐風(fēng)教資信道疑義度的說明對(duì)于一一對(duì)應(yīng)信道，接收到輸出y后，對(duì)x的不確定性將完全消除，信道疑義度 。一般情況下條件熵小于無條件熵，有 。說明接收到變量y的所有符號(hào)后，關(guān)于輸入變量x的平均不確定性將減少，即總能消除一些關(guān)于輸入端x的不確定性，從而獲得了一些信息。0)(yxh)()(xhyxh15沐風(fēng)教資3.2.2 平均互信息通過信道傳輸消除了一些不確定性，獲得了一定的信息。我們定義： 稱為x和y之間的平均互信息。物理意義：它代表接收到輸出符號(hào)后平均每個(gè)符號(hào)獲得的關(guān)于x的信息量。它也表明，輸入與輸出兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)約束程度。互信息 是代表收到某消

10、息y后獲得關(guān)于某事件x的信息量。它可取正值，也可取負(fù)值。 是 的統(tǒng)計(jì)平均,所以 。)()();(yxhxhyxi);(yxi);(yxi);(yxi);(yxi0);(yxi16沐風(fēng)教資平均互信息與各類熵之間的關(guān)系熵只是平均不確定性的描述，而不確定性的消除（兩熵之差）才等于接收端所獲得的信息量。因此，獲得的信息量不應(yīng)該和不確定性混為一談。維拉圖表示的各類熵之間的關(guān)系：h(x|y)h(y|x)i(x;y)h(x)h(y)h(xy)()()()()()()();(xyhyhxyhyhxhyxhxhyxi17沐風(fēng)教資平均互信息與各類熵之間的關(guān)系每個(gè)圓減去平均互信息后剩余的部分代表兩個(gè)疑義度 是信道疑

11、義度，又稱為損失熵 反映了信道中噪聲源的不確定性， 又稱噪聲熵或散布度h(x|y)h(y|x)i(x;y)h(x)h(y)h(xy);()()(yxixhyxh);()()(yxiyhxyh)(yxh)(xyh18沐風(fēng)教資平均互信息與各類熵之間的關(guān)系下面討論兩種極端情況1、無噪一一對(duì)應(yīng)信道（無損信道）此時(shí)可以計(jì)算得： 在圖中就表示是兩圓重合。信道中損失熵和噪聲熵都為零。有2、輸入輸出完全統(tǒng)計(jì)獨(dú)立（全損信道）0)()(yxhxyh)()();(yhxhyxi)()(yhxyh)()(xhyxh0);(yxi19沐風(fēng)教資3.3平均互信息的特性1、平均互信息的非負(fù)性該性質(zhì)表明，通過信道總能傳遞一些信

12、息，最差的條件下，輸入輸出完全獨(dú)立，不傳遞任何信息，互信息等于0，但決不會(huì)失去已知的信息。2、平均互信息的極值性一般來說，信道疑義度總是大于0，所以互信息總是小于信源的熵，只有當(dāng)信道是無損信道時(shí)，信道疑義度等于0，互信息等于信源的熵。0);(yxi)();(xhyxi20沐風(fēng)教資平均互信息的特征3、平均互信息的交互性（對(duì)稱性）實(shí)際上i(x;y)和i(y;x)只是觀察者的立足點(diǎn)不同，對(duì)信道的輸入x和輸出y的總體測(cè)度的兩種表達(dá)形式。正因?yàn)橛薪换バ裕悦麨榛バ畔ⅰ?4、平均互信息的凸?fàn)钚裕▋蓚€(gè)定理）定理3.1 平均互信息 是信源概率分布p(x)的型凸函數(shù)。);();(xyiyxi);(yxi21

13、沐風(fēng)教資平均互信息的特征定理3.1的意義：對(duì)于每一個(gè)固定信道，一定存在一種信源（某一概率分布p(x)），使輸出端獲得的平均信息量為最大imax（型凸函數(shù)存在極大值）。這時(shí)稱這個(gè)信源為該信道的匹配信源。定理3.2 平均互信息 是信道傳遞概率 的型凸函數(shù)。定理3.2的意義：對(duì)每一種信源都存在一種最差的信道，此信道的干擾（噪聲）最大，而輸出端獲得的信息量最小imin。);(yxi)(xyp22沐風(fēng)教資二元對(duì)稱信道bsc的平均互信息例3.4設(shè)二元對(duì)稱信道的輸入概率空間為 信道特性如圖所示,求平均互信息解：根據(jù)平均互信息的定義得：a1=0a2=1b1=0b2=11-p1-pppxy11, 0)(xpx)

14、()(1log1log)(1log1log)()()(1log)()()()()();(phyhppppyhppppxpyhxypxypxpyhxyhyhyxixxy23沐風(fēng)教資二元對(duì)稱信道bsc的平均互信息輸出符號(hào)的概率：則所以riijijabpapbp1)()()(ppppyp)1 ()0(ppppyp)1 () 1()()(1log1log1log)(1log)();(phpphppppppppppppyxi24沐風(fēng)教資二元對(duì)稱信道bsc的平均互信息其中 也是 區(qū)域上的熵函數(shù)。當(dāng)信道固定即固定p時(shí)，可得 是的型函數(shù)，如圖所示。)(pph1 , 0);(yxi)()(1log1log1lo

15、g)(1log)();(phpphppppppppppppyxi10i(x;y)1h(p)0.50.510pi(x;y)h()0.51h()25沐風(fēng)教資3.4信道容量及其一般計(jì)算方法預(yù)備知識(shí)及幾個(gè)定義：研究信道的目的是要討論信道中平均每個(gè)符號(hào)所能傳送的信息量，即信道的信息傳輸率r。定義信息的傳輸率就是平均互信息。即定義單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘繛樾畔鬏斔俾省?()()();(symbolbityxhxhyxir)()(1)(1);(1sbityxhtxhtyxitrt26沐風(fēng)教資信道容量及其一般計(jì)算方法每個(gè)固定信道都有一個(gè)最大的信息傳輸率，定義這個(gè)最大的信息傳輸率為信道容量c，即其單位為 或

16、 ，而相應(yīng)的輸入概率分布稱為最佳輸入分布。單位時(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛橐话闳苑Q 為信道容量。);(max)(yxicxp符號(hào)比特符號(hào)奈特);(max1)(yxitcxpttc27沐風(fēng)教資信道容量及其一般計(jì)算方法信道容量的含義：信道容量與已輸入信源的概率分布無關(guān)，它是信道的特征的參量，反映的是信道的最大信息傳輸能力。由上節(jié)知識(shí)得對(duì)于二元信道平均互信息為當(dāng) 時(shí)， 平均互信息的極大值為 因此，二元對(duì)稱信道的信道容量為 與x概率分布無關(guān)。計(jì)算信道容量就是求 極大值問題。)()();(phpphyxi211)21()(hpph)(1);(phyxi)()(1symbolbitphc);(yxi28沐

17、風(fēng)教資3.4.1 離散無噪信道的信道容量1、離散無噪無損信道無噪：一個(gè)輸入對(duì)應(yīng)一個(gè)輸出，噪聲熵?zé)o損：一個(gè)輸出對(duì)應(yīng)一個(gè)輸入，損失熵所以這類信道的平均互信息為信道容量為a1a2a3b2b1b3111100010001p信道矩陣0)(yxh0)(xyh)()();(yhxhyxisrcloglog29沐風(fēng)教資離散無噪信道的信道容量2、離散有噪無損信道特點(diǎn):信道矩陣中每一列有且僅有一個(gè)非零元素有噪：一個(gè)x對(duì)應(yīng)多個(gè)y，無損：接收到y(tǒng)后x完全確定，信道容量b1a1a2a3b2b3b4b5b611/21/23/53/101/10信道矩陣100000010/110/35/30000002/12/1p0)(xy

18、h0)(yxhrxhyxiclog)();(max30沐風(fēng)教資離散無噪信道的信道容量3、離散無噪有損信道（確定信道）信道容量：此類信道接收到符號(hào)y后不能完全消除對(duì)x的不確定性，信息有損失。但輸出端y的平均不確 定性因噪聲熵等于零而沒有增加。a1a2a3aiai+1arb1b2b3無噪：有損：一個(gè)x對(duì)應(yīng)一個(gè)y，前向概率 非0即1，0)(xyh)(xyp一個(gè)y對(duì)應(yīng)多個(gè)x，后向概率不等于0或1，)( yxp0)(yxhsyhyxiclog)();(max31沐風(fēng)教資離散無噪信道的信道容量我們可以用維拉圖來表述有噪無損信道和無噪有損信道中平均互信息、損失熵、噪聲熵以及信源熵之間的關(guān)系。i(x;y)h(

19、x)=i(x;y)h(y)h(y|x)有噪無損信道i(x;y)h(y)=i(x;y)h(x)h(x|y)有損無噪信道rxhclog)(maxsyhclog)(max32沐風(fēng)教資3.4.2 對(duì)稱離散信道的信道容量如果信道轉(zhuǎn)移矩陣p p中每一行都是由 同一組元素的不同排列構(gòu)成的，并且每一列也是由 這一組元素不同排列組成的，則稱這種信道為對(duì)稱離散信道。例如而21,sppp21,rqqq3131616161613131p216131312161613121p3161316161613131p7 . 01 . 02 . 01 . 02 . 07 . 0p不是對(duì)稱信道33沐風(fēng)教資對(duì)稱離散信道的信道容量若輸

20、入符號(hào)和輸出符號(hào)個(gè)數(shù)相同，都等于r，且信道矩陣為其中 ，則稱此信道為強(qiáng)對(duì)稱信道或均勻信道。該信道矩陣中各列之和也等于1。prprprprprpprprprprppp1111111111 pp34沐風(fēng)教資對(duì)稱離散信道的信道容量對(duì)于對(duì)稱離散信道，當(dāng)輸入符號(hào)x達(dá)到等概率分布，則輸出符號(hào)y一定也達(dá)到等概率分布。由此得對(duì)稱離散信道的信道容量為對(duì)稱離散信道能夠傳輸?shù)淖畲蟮钠骄畔⒘?，它只與對(duì)稱信道矩陣中行矢量 和輸出符號(hào)集的個(gè)數(shù)s有關(guān)。)/(),(log),()(max2121symbolbitppphsppphyhcss21,sppp35沐風(fēng)教資對(duì)稱離散信道容量的計(jì)算例3.5某對(duì)稱離散信道的信道矩陣為解

21、：每個(gè)符號(hào)平均能夠傳輸?shù)淖畲笮畔?.0817 bit,只有當(dāng)輸入符號(hào)等概分布時(shí)才達(dá)到這個(gè) 最大值 。 3131616161613131p)/(0817. 061log61231log3122)61,61,31,31(4log),(log21symbolbithppphscs36沐風(fēng)教資對(duì)稱離散信道容量的計(jì)算例3.6 對(duì)于強(qiáng)對(duì)稱信道，其信道容量為對(duì)于二元信道r=2由上式得)() 1log(log1logloglog1log11log1loglog)1,1,(log),(log21phrprrpppprrprprprppprrprpphrppphrcs)/()(1symbolbitphc37沐風(fēng)

22、教資對(duì)稱離散信道容量的計(jì)算二元對(duì)稱信道討論：當(dāng)p=1/2時(shí)，二元對(duì)稱信道的信道容量c=0，不管輸入概率分布如何都能達(dá)到信道容量。該信道輸入端不能傳遞任何信息到輸出端。這種信道是沒有任何實(shí)際意義的，但它從理論上說明了信道的最佳輸入分布不一定是惟一的。 )/()(1symbolbitphc38沐風(fēng)教資3.4.3 準(zhǔn)對(duì)稱信道的信道容量準(zhǔn)對(duì)稱信道的概念：若信道的列可以劃分成若干個(gè)互不相交的子集，每一個(gè)子集都是對(duì)稱信道，則稱該信道為準(zhǔn)對(duì)稱信道，如：3161316161613131p可劃分為31616131313161617 . 01 . 02 . 02 . 01 . 07 . 0p可劃分為7 . 02

23、. 02 . 07 . 01 . 01 . 039沐風(fēng)教資準(zhǔn)對(duì)稱信道的信道容量可以證明達(dá)到準(zhǔn)對(duì)稱離散信道信道容量的輸入分布（最佳輸入分布）是等概分布，也可計(jì)算得準(zhǔn)對(duì)稱離散信道的信道容量為：其中r是輸入符號(hào)集的個(gè)數(shù)， 為準(zhǔn)對(duì)稱信道矩陣中的行元素。而 是第k個(gè)子矩陣 中行元素之和， 是第k個(gè)子矩陣 中列元素之和。即nkkksmnppphrc121log),(log),(21spppknkqkmkqkyyikxypn)(kxikyyxypm)(40沐風(fēng)教資3.4.4 一般離散信道的信道容量一般離散信道的信道容量的計(jì)算：就是對(duì)所有可能的輸入概率分布 求平均互信息 的極大值。對(duì)一般信道有定理3.3:一般

24、離散信道的平均互信息 達(dá)到極大值（即等于信道容量）的充要條件是輸入概率分布 滿足這時(shí)c就是所求的信道容量。)(xp);(yxi);(yxi0);()(0);()(iiiiiipxcyxibpxcyxia其對(duì)于所有其對(duì)于所有 ip41沐風(fēng)教資一般離散信道的信道容量在定理3.3中 是輸出端接收到y(tǒng)后，獲得關(guān)于 的信息量，即是信源符號(hào) 對(duì)輸出端y平均提供的互信息。一般 值與 有關(guān)，且有令 );(yxiiiax iax );(yxiiixcyxii);(sjjijijibpabpabpyxi1)()(log)();(42沐風(fēng)教資一般離散信道的信道容量該定理說明：當(dāng)平均互信息達(dá)到信道容量時(shí)，輸入信源每一

25、個(gè)符號(hào)x輸出相同的互信息。可以利用該定理對(duì)一些特殊信道求它的信道容量例3.8輸入符號(hào)集 ，輸出符號(hào)集 。信道傳遞矩陣為求該信道的信道容量。2 , 1 , 0 1 , 010212101p01201111/21/243沐風(fēng)教資一般離散信道的信道容量解：假設(shè)輸入概率分布為 檢驗(yàn)是否滿足定理3.3，若滿足就找到了最佳分布。由式得0) 1 (,21)2()0(pppsjjijijibpabpabpyxi1)()(log)();(212log)()0(log)0(); 0(yiypypypyxi2log); 2(yxii210)() 1(log) 1(); 1(yiypypypyxi44沐風(fēng)教資一般離散

26、信道的信道容量由以上可見此輸入分布滿足定理3.3因此可得這個(gè)信道的信道容量為而達(dá)到信道容量的輸入概率分布就是前面假設(shè)的分布iiiiiixpyxixpyxi的所有的所有02log);(02log);()/(12logsymbolbitc0) 1 (,21)2()0(ppp45沐風(fēng)教資一般離散信道的信道容量例3.9 信道如圖，輸入符號(hào)集為 ，輸出符號(hào)集為 。信道矩陣為,求信道容量。解：設(shè)輸入概率分布54321,aaaaa21,bb101021210101pb1a1a2a3b2110.5a4a5110.50)()()(,21)()(43251apapapapap46沐風(fēng)教資由式 及式計(jì)算得此假設(shè)分布

27、滿足定理3.3。因此信道容量為最佳分布是sjjijijibpabpabpyxi1)()(log)();(riijijabpapbp1)()()(21)()(21bpbp0);(2log);();(2log);();(35421yaxiyaxiyaxiyaxiyaxi)/(12logsymbolbitc0)()()(,21)()(43251apapapapap47沐風(fēng)教資若設(shè)輸入分布為同理可得也有根據(jù)定理3.3可知，輸入分布也是最佳分布，還有其它最佳分布，這說明 信道的最佳輸入分布不是唯一的。而輸出分 布是唯一的。0)(,41)()()()(35421apapapapap21)()(21bpbp

28、)(2log);(),(2log);(35421axyxiaaaaxyxiiiii0)(,41)()()()(35421apapapapap48沐風(fēng)教資一般離散信道的信道容量計(jì)算對(duì)于一般離散信道，很難利用定理3.3來求信道容量和對(duì)應(yīng)的輸入概率分布，只能采用求解如下方程組的方法。于是把方程組中前r個(gè)方程改寫成：1)(, 2, 1)()(log)(11riisjjijijapricbpabpabpsjsjjijijijricbpabpabpabp11, 2 , 1)(log)()(log)(49沐風(fēng)教資一般離散信道的信道容量計(jì)算移項(xiàng)后可得：令 代入上式，得：這是含有s個(gè)未知數(shù)j，有r個(gè)方程的非齊次

29、線性方程組。sjsjijijjijriabpabpbpcabp11, 2 , 1)(log)()(log)()(logjjbpc sjsjijijjijriabpabpabp11, 2 , 1)(log)()(50沐風(fēng)教資一般離散信道的信道容量計(jì)算如果設(shè)r=s，信道轉(zhuǎn)移矩陣p是非奇異方陣，則此方程組有解，并且可以求出j的數(shù)值，然后根據(jù) 的條件求得信道容量：由這個(gè)c值就可解得對(duì)應(yīng)的輸出概率分布p(bj)再根據(jù) 就可解 出達(dá)到信道容量的最佳輸入概率分布p(ai)。1)(1sjjbpsymbolbitcsjj12logsjbpcjj, 2 , 12)(riijijsjabpapbp1, 2 , 1)

30、,(log)()(51沐風(fēng)教資一般離散信道的信道容量計(jì)算 例例3.103.10設(shè)離散無記憶信道如圖，輸入x的符號(hào)集為 輸出y的符號(hào)集 傳遞矩陣為求其信道容量及其最佳的輸入概率分布。4321,aaaa4321,bbbba11/21/2111/41/41/41/4a2a3a4b1b2b3b42141041010000104104121p52沐風(fēng)教資一般離散信道的信道容量計(jì)算此信道是非對(duì)稱信道，無法利用定理3.3來計(jì)算信道容量。但這信道矩陣為方陣r=s,且為非奇異矩陣，所以可得方程組：解方程組，得21log2141log4141log412141410041log4141log4121log2141

31、41214313242120413253沐風(fēng)教資一般離散信道的信道容量計(jì)算得信道容量輸出符號(hào)概為由此可得最佳輸入分布為)(32. 115log)2222(log220022symbolbitc1012)()()15log2(412bpbp104)()(32bpbp304)()(41apap3011)()(32apap54沐風(fēng)教資一般離散信道的信道容量計(jì)算幾點(diǎn)說明：有時(shí)所求出的p(ai)不一定能滿足概率的條件（因?yàn)椴捎美窭嗜粘俗臃〞r(shí)沒有加入 p(ai)0 的條件限制），所以必須對(duì)解進(jìn)行檢查。如果所有解都滿足p(ai)0 ,則解是正確的。否則解無效。55沐風(fēng)教資一般離散信道的信道容量計(jì)算解無效（有些p(ai)0）表明所求的極限值c出現(xiàn)在邊界上，