答案~信息論與編碼練習(xí)

1、有一個(gè)二元對(duì)稱(chēng)信道，其信道矩陣如下圖所示。設(shè)該信道以1500個(gè)二元符號(hào)/秒的速度傳輸輸入符號(hào)?，F(xiàn)有一消息序列共有14000個(gè)二元符號(hào)，并設(shè)在這消息中P(0)=P(1)=1/2。問(wèn)從信息傳輸?shù)慕嵌葋?lái)考慮，10秒鐘內(nèi)能否將這消息序列無(wú)失真地傳送完？解答：消息是一個(gè)二元序列，且為等概率分布，即P(0)=P(1)=1/2，故信源的熵為H(X)=1(bit/symbol)。則該消息序列含有的信息量14000(bit/symbol)。 下面計(jì)算該二元對(duì)稱(chēng)信道能傳輸?shù)淖畲蟮男畔鬏斔俾剩?信道傳遞矩陣為： 信道容量（最大信息傳輸率）為： C=1-H(P)=1-H(0.98)0.8586bit/symbol得最大信息傳輸速率為： Rt 1500符號(hào)/秒 0.8586比特/符號(hào) 1287.9比特/秒 1.288103比特/秒 此信道10秒鐘內(nèi)能無(wú)失真?zhèn)鬏數(shù)米畲笮畔⒘?0 Rt 1.288104比特 可見(jiàn)，此信道10秒內(nèi)能無(wú)失真?zhèn)鬏數(shù)米畲笮畔⒘啃∮谶@消息序列所含有的信息量，故從信息傳輸?shù)慕嵌葋?lái)考慮，不可能在10秒鐘內(nèi)將這消息無(wú)失真的傳送完。2、若已知信道輸入分布為等概率分布，且有如下兩個(gè)信道，其轉(zhuǎn)移概率矩陣分別為：試求這兩個(gè)信道的信道容量，并問(wèn)這兩個(gè)信道是否有噪聲？3 、已知隨即變量X和Y的聯(lián)合分布如下所示：YX0101/83/813/81/8試計(jì)算：H（X）、H（Y）、H（XY）、H（X/Y）、H（Y/X）、I（X；Y）解：(1) (2)(3) H（X/Y）= H（XY）- H（Y）=1.811-1=0.811(4) H（Y/X）= H（XY）- H（X）=1.811-1=0.811(5)4、 有一個(gè)可以旋轉(zhuǎn)的圓盤(pán)，盤(pán)面上被均勻的分成38份，用1,2,3，38數(shù)字標(biāo)示，其中有2份涂綠色，18份涂黑色，圓盤(pán)停轉(zhuǎn)后，盤(pán)面上指針指向某一數(shù)字和顏色。（1）若僅對(duì)顏色感興趣，計(jì)算平均不確定度；（2）若對(duì)顏色和數(shù)字都感興趣，計(jì)算平均不確定度；（3）如果顏色已知，計(jì)算條件熵。 解：(1) H(色)= (2) P(色數(shù))= H(色數(shù))= (3) H(數(shù)/色)= H(色數(shù))- H(色)=5、 在一個(gè)二進(jìn)制信道中，信源消息集X=0,1，且P(0)=P(1),信宿的消息集Y=0,1,信道傳輸概率P（1/2）=1/4, P(0/1)=1/8。求：（1）在接收端收到y(tǒng)=0后，所提供的關(guān)于傳輸消息X的平均條件互信息量I(X；y=0).(2) 該情況所能提供的平均互信息量I(X;Y).解：(1) P(ij)= P(i/j)= (2) 方法1: = 6 某一無(wú)記憶信源的符號(hào)集為0,1，已知p0=1/4, p1=3/4(1)求符號(hào)的平均熵（2）由100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列（例如有m個(gè)“0”和（100-m）個(gè)“1”）的自信息量的表達(dá)式。（3）計(jì)算（2）中的序列的熵。 解： (1) H(X)= (2) =(3) 7、 一階馬氏鏈信源有三個(gè)符號(hào)u1,u2,u3,轉(zhuǎn)移概率為：P(u1/u2)=1/2, P(u2/u2)=1/2, P(u3/u1)=0, P(u1/u2)=1/3, P(u2/u2)=0, P(u3/u2)=2/3,P(u1/u3)=1/3, P(u2/u3)=2/3, P(u3/u3)=0,畫(huà)出狀態(tài)圖并求出各符號(hào)穩(wěn)定概率。解： P(j/i)= 解方程組 求得W=1/2S11/31/31/22/3S3S22/38、 設(shè)有一信源，它在開(kāi)始時(shí)以p(a)=0.6,p(b)=0.3,p(c)=0.1的概率發(fā)出X1，如果X1為a時(shí)則X2為a,b,c的概率為1/3;如果X1為b時(shí)則X2為a,b,c的概率為1/3;如果X1為c時(shí)則X2為a,b的概率為1/2，而為c的概率是0;而且后面發(fā)出Xi的概率只與 Xi-1有關(guān)。又p(Xi/ Xi-1)=p(X2/ X1),i3。試?yán)民R兒可夫信源的圖示法畫(huà)出狀態(tài)轉(zhuǎn)移圖，并求出狀態(tài)轉(zhuǎn)移矩陣和信源熵HP(j/i)= 解方程組 得到W1= , W2= , W3= 9 某信源符號(hào)有8個(gè)符號(hào)u1,u8,概率分別是1/2，1/4，1/8.，1/16，1/32,1/64,1/128,1/128，編成這樣的碼：000,001,010,011,100,101,110,111。求（1）信源的符號(hào)熵H(U) (2)出現(xiàn)一個(gè)“1”或一個(gè)“0”的概率；（3）這樣碼的編碼效率；（4）相應(yīng)的香農(nóng)碼和費(fèi)諾瑪；（5）該碼的編碼效率？解：(1) H(U)=(2) 每個(gè)信源使用3個(gè)二進(jìn)制符號(hào),出現(xiàn)0的次數(shù)為 出現(xiàn)1的次數(shù)為P(0)= P(1)= (3) (4) 相應(yīng)的香農(nóng)編碼信源符號(hào)xi符號(hào)概率pi累加概率Pi-Logp(xi)碼長(zhǎng)Ki碼字x11/20110x21/40.52210x31/80.7533110x41/160.875441110x51/320.9385511110x61/640.96966111110x71/1280.984771111110x81/1280.9927711111110 相應(yīng)的費(fèi)諾碼 信源符號(hào)xi符號(hào)概率pi第一次分組第二次分組第三次分組第四次分組第五次分組第六次分組第七次分組二元碼x11/200x21/41010x31/810110x41/16101110x51/321011110x61/6410111110x71/128101111110x81/128111111110（5）香農(nóng)碼和費(fèi)諾碼相同 平均碼長(zhǎng)為 編碼效率為： 10 已知符號(hào)集x1,x2,x3,為無(wú)限離散集合，他們出現(xiàn)的概率分別是p(x1)=1/2,p(x2)=1/4,p(x3)=1/8,p(xi)=1/2i ,。（1）用香農(nóng)編碼方法寫(xiě)出各個(gè)符號(hào)的碼字；（2）計(jì)算碼字的平均信息傳輸率。（3）計(jì)算信源編碼效率。3 解：（1） pi= 累加概率為 Pi= 累加概率分別為符號(hào)x1x1x2x3x4x5x6x7概率1/21/41/81/161/321/641/1281/256累加概率00.50.750.8750.9380.9690.9840.992碼長(zhǎng)12345678 二元碼010110111011110111110111111011111110 （2）信源的信息量為平均碼長(zhǎng)為： 碼字的平均信息傳輸率為 Rbit/碼（3）編碼效率R10011該二進(jìn)制對(duì)稱(chēng)信道的概率轉(zhuǎn)移矩陣為，（1）若p(x0)=3/4,p(x1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。（2）求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布。12、某信源發(fā)送端有2個(gè)符號(hào)，xi,i=1,2,p(xi)=a,每秒發(fā)出一個(gè)符號(hào)。接收端有3種符號(hào)yj,j=1,2,3,轉(zhuǎn)移概率矩陣如下：（1）計(jì)算接收端的平均不確定度；（2）計(jì)算由于噪聲產(chǎn)生的不確定度H(Y/X);(3) 計(jì)算信道容量解：(1)接收端的不確定度為: (2)H(Y/X)=(3)=0得到得 13 發(fā)送端有3種等概率符號(hào)（x1,x2,x3）,p(xi)=1/3,接收端收到3種符號(hào)（y1,y2,y3）,信道轉(zhuǎn)移概率矩陣如下：（1）求接收端收到一個(gè)符號(hào)后得到的信息量H(Y); (2)計(jì)算噪聲熵H(Y/X);(3)計(jì)算當(dāng)接收到端收到一個(gè)符號(hào)y2的錯(cuò)誤率；（4）計(jì)算從接收端看的平均錯(cuò)誤率；（5）計(jì)算從發(fā)送端看的平均錯(cuò)誤率；（6）從轉(zhuǎn)移矩陣中你能看出信道的好壞嗎：（7）計(jì)算發(fā)送端的H(X)和H(X/Y)。 解： (1)條件概率 ，聯(lián)合概率，后驗(yàn)概率 ， ，（2） H(Y/X)= （3）當(dāng)接收為y2，發(fā)為x1時(shí)正確，如果發(fā)的是x1和x3為錯(cuò)誤，各自的概率為：P(x1/y2)=，P(x2/y2)=，P(x3/y2)=其中錯(cuò)誤概率為：Pe=P(x1/y2)+P(x3/y2)=（4）平均錯(cuò)誤概率為（5）仍為0.733（6）此信道不好 原因是信源等概率分布，從轉(zhuǎn)移信道來(lái)看 正確發(fā)送的概率x1-y1的概率0.5有一半失真 x2-y2的概率0.3有失真嚴(yán)重 x3-y3的概率0 完全失真（7）H(X/Y)=14、 設(shè)離散無(wú)記憶信道的輸入符號(hào)集X:0,1，輸出符號(hào)集Y:0,1,2，信