信息論與編碼(第二版)曹雪虹(最全版本)答案

1、精選文檔信息論與編碼（其次版）曹雪虹答案其次章2.1一個(gè)馬爾可夫信源有3個(gè)符號(hào)，轉(zhuǎn)移概率為：，畫出狀態(tài)圖并求出各符號(hào)穩(wěn)態(tài)概率。解：狀態(tài)圖如下狀態(tài)轉(zhuǎn)移矩陣為：設(shè)狀態(tài)u1，u2，u3穩(wěn)定后的概率分別為W1，W2、W3由得計(jì)算可得2.2 由符號(hào)集0，1組成的二階馬爾可夫鏈，其轉(zhuǎn)移概率為：=0.8，=0.2，=0.2，=0.8，=0.5，=0.5，=0.5，=0.5。畫出狀態(tài)圖，并計(jì)算各狀態(tài)的穩(wěn)態(tài)概率。解： 于是可以列出轉(zhuǎn)移概率矩陣：狀態(tài)圖為： 設(shè)各狀態(tài)00，01，10，11的穩(wěn)態(tài)分布概率為W1,W2,W3,W4 有 得 計(jì)算得到2.3 同時(shí)擲出兩個(gè)正常的骰子，也就是各面呈現(xiàn)的概率都為1/6，求：(1

2、) “3和5同時(shí)消滅”這大事的自信息；(2) “兩個(gè)1同時(shí)消滅”這大事的自信息；(3) 兩個(gè)點(diǎn)數(shù)的各種組合（無序）對(duì)的熵和平均信息量；(4) 兩個(gè)點(diǎn)數(shù)之和（即2, 3, , 12構(gòu)成的子集）的熵；(5) 兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息量。解：(1) (2)(3)兩個(gè)點(diǎn)數(shù)的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21種組合：其中11，22，33，44，55，66的概率是 其他15個(gè)組合的概率是(4)參考上面的兩個(gè)點(diǎn)數(shù)的排列，可以得出兩個(gè)點(diǎn)數(shù)求和的概率分布如下：(5)2-4 2.

3、5 居住某地區(qū)的女孩子有25%是高校生，在女高校生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是高校生”的消息，問獲得多少信息量？解：設(shè)隨機(jī)變量X代表女孩子學(xué)歷Xx1（是高校生）x2（不是高校生）P(X)0.250.75設(shè)隨機(jī)變量Y代表女孩子身高Yy1（身高>160cm）y2（身高<160cm）P(Y)0.50.5已知：在女高校生中有75%是身高160厘米以上的即：求：身高160厘米以上的某女孩是高校生的信息量即：2.6 擲兩顆骰子，當(dāng)其向上的面的小圓點(diǎn)之和是3時(shí)，該消息包含的信息量是多少？當(dāng)小圓點(diǎn)之和是7時(shí)

4、，該消息所包含的信息量又是多少？解：1）因圓點(diǎn)之和為3的概率該消息自信息量2）因圓點(diǎn)之和為7的概率該消息自信息量2.7 設(shè)有一離散無記憶信源，其概率空間為 （1）求每個(gè)符號(hào)的自信息量 （2）信源發(fā)出一消息符號(hào)序列為202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求該序列的自信息量和平均每個(gè)符號(hào)攜帶的信息量解：同理可以求得由于信源無記憶，所以此消息序列的信息量就等于該序列中各個(gè)符號(hào)的信息量之和就有：平均每個(gè)符號(hào)攜帶的信息量為bit/符號(hào)2.8 試問四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？解：四進(jìn)制脈沖可以表示4個(gè)不

5、同的消息，例如：0, 1, 2, 3 八進(jìn)制脈沖可以表示8個(gè)不同的消息，例如：0, 1, 2, 3, 4, 5, 6, 7二進(jìn)制脈沖可以表示2個(gè)不同的消息，例如：0, 1假設(shè)每個(gè)消息的發(fā)出都是等概率的，則：四進(jìn)制脈沖的平均信息量 八進(jìn)制脈沖的平均信息量二進(jìn)制脈沖的平均信息量所以：四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的2倍和3倍。2-9 “” 用三個(gè)脈沖 “”用一個(gè)脈沖(1) I()= I() (2) H= 2-10 (2) P(黑/黑)= P(白/黑)= H(Y/黑)= (3) P(黑/白)= P(白/白)= H(Y/白)= (4) P(黑)= P(白)= H(Y)= 2.11

6、有一個(gè)可以旋轉(zhuǎn)的圓盤，盤面上被均勻的分成38份，用1，38的數(shù)字標(biāo)示，其中有兩份涂綠色，18份涂紅色，18份涂黑色，圓盤停轉(zhuǎn)后，盤面上的指針指向某一數(shù)字和顏色。（1）假如僅對(duì)顏色感愛好，則計(jì)算平均不確定度（2）假如僅對(duì)顏色和數(shù)字感愛好，則計(jì)算平均不確定度（3）假如顏色已知時(shí)，則計(jì)算條件熵解：令X表示指針指向某一數(shù)字，則X=1,2,.,38 Y表示指針指向某一種顏色，則Y=l綠色，紅色，黑色 Y是X的函數(shù)，由題意可知（1）bit/符號(hào)（2）bit/符號(hào)（3）bit/符號(hào)2.12 兩個(gè)試驗(yàn)X和Y，X=x1 x2 x3,Y=y1 y2 y3,l聯(lián)合概率為（1） 假如有人告知你X和Y的試驗(yàn)結(jié)果，你得到

7、的平均信息量是多少？（2） 假如有人告知你Y的試驗(yàn)結(jié)果，你得到的平均信息量是多少？（3） 在已知Y試驗(yàn)結(jié)果的狀況下，告知你X的試驗(yàn)結(jié)果，你得到的平均信息量是多少？解：聯(lián)合概率為 YXy1y2y3 x17/241/240 x21/241/41/24 x301/247/24 =2.3bit/符號(hào)X概率分布Xx1x2x3P8/248/248/24bit/符號(hào) Y概率分布是 =0.72bit/符號(hào)Yy1y2y3P8/248/248/242.13 有兩個(gè)二元隨機(jī)變量X和Y，它們的聯(lián)合概率為Y Xx1=0x2=1y1=01/83/8y2=13/81/8并定義另一隨機(jī)變量Z = XY（一般乘積），試計(jì)算：(

8、1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。解：(1)Z = XY的概率分布如下：(2)(3)2-14 (1) P(ij)= P(i/j)= (2) 方法1: = 方法2: 2-15P(j/i)= 2.16 黑白傳真機(jī)的消息元只有黑色和白色兩種，即X=黑，白，一般氣象圖上，黑色的消滅概率p(黑)

9、0.3，白色消滅的概率p(白)0.7。（1）假設(shè)黑白消息視為前后無關(guān)，求信源熵H(X)，并畫出該信源的香農(nóng)線圖（2）實(shí)際上各個(gè)元素之間是有關(guān)聯(lián)的，其轉(zhuǎn)移概率為：P(白|白)0.9143，P(黑|白)0.0857，P(白|黑)0.2，P(黑|黑)0.8，求這個(gè)一階馬爾可夫信源的信源熵，并畫出該信源的香農(nóng)線圖。（3）比較兩種信源熵的大小，并說明緣由。解：（1）bit/符號(hào)P(黑|白)=P(黑)P(白|白)P(白) P(黑|黑)P(黑)P(白|黑)P(白)（2）依據(jù)題意，此一階馬爾可夫鏈?zhǔn)瞧椒€(wěn)的（P(白)0.7不隨時(shí)間變化，P(黑)0.3不隨時(shí)間變化）0.512bit/符號(hào)2.17 每幀電視圖像可以

10、認(rèn)為是由3Í105個(gè)像素組成的，全部像素均是獨(dú)立變化，且每像素又取128個(gè)不同的亮度電平，并設(shè)亮度電平是等概消滅，問每幀圖像含有多少信息量？若有一個(gè)廣播員，在約10000個(gè)漢字中選出1000個(gè)漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無依靠）？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？解：1)2)3)2.20 給定語音信號(hào)樣值X的概率密度為,求Hc(X)，并證明它小于同樣方差的正態(tài)變量的連續(xù)熵。解2.24 連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為：，求H(X), H(Y), H(XYZ)和I(X;Y)。（提示：）解：2.25

11、 某一無記憶信源的符號(hào)集為0, 1，已知P(0) = 1/4，P(1) = 3/4。(1) 求符號(hào)的平均熵；(2) 有100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列（例如有m個(gè)“0”和（100 - m）個(gè)“1”）的自信息量的表達(dá)式；(3) 計(jì)算(2)中序列的熵。解：(1)(2) (3) 2-26 P(i)= P(ij)= H(IJ)= 2.29 有一個(gè)一階平穩(wěn)馬爾可夫鏈,各Xr取值于集合,已知起始概率P(Xr)為，轉(zhuǎn)移概率如下圖所示 j i1231231/22/32/31/401/31/41/30(1) 求的聯(lián)合熵和平均符號(hào)熵(2) 求這個(gè)鏈的極限平均符號(hào)熵(3) 求和它們說對(duì)應(yīng)的冗余度解：（1）符號(hào)

12、X1，X2的聯(lián)合概率分布為12311/41/81/821/601/1231/61/12012314/245/245/24X2的概率分布為那么=1.209bit/符號(hào)X2X3的聯(lián)合概率分布為12317/247/487/4825/3605/1235/365/120那么=1.26bit/符號(hào)/符號(hào)所以平均符號(hào)熵符號(hào)（2）設(shè)a1,a2,a3穩(wěn)定后的概率分布分別為W1,W2,W3,轉(zhuǎn)移概率距陣為由 得到 計(jì)算得到又滿足不行約性和非周期性/符號(hào)(3)/符號(hào) /符號(hào) /符號(hào) 2-30 (1) 求平穩(wěn)概率 P(j/i)= 解方程組 得到 (2) 信源熵為: 2-31 P(j/i)= 解方程組 得到W1= ,

13、W2= , W3= 2.32 一階馬爾可夫信源的狀態(tài)圖如圖213所示，信源X的符號(hào)集為（0，1，2）。（1）求信源平穩(wěn)后的概率分布P(0),P(1),P(2)（2）求此信源的熵（3）近似認(rèn)為此信源為無記憶時(shí)，符號(hào)的概率分布為平穩(wěn)分布。求近似信源的熵H(X)并與進(jìn)行比較解:依據(jù)香農(nóng)線圖,列出轉(zhuǎn)移概率距陣令狀態(tài)0,1,2平穩(wěn)后的概率分布分別為W1,W2,W3 得到 計(jì)算得到由齊次遍歷可得符號(hào) 由最大熵定理可知存在極大值或者也可以通過下面的方法得出存在極大值: 又所以當(dāng)p=2/3時(shí)0<p<2/3時(shí)2/3<p<1時(shí)所以當(dāng)p=2/3時(shí)存在極大值,且符號(hào)所以2-33 (1) 解方程

14、組: 得p(0)=p(1)=p(2)= (2) (3) 當(dāng)p=0或p=1時(shí) 信源熵為0練習(xí)題：有一離散無記憶信源，其輸出為，相應(yīng)的概率為，設(shè)計(jì)兩個(gè)獨(dú)立的試驗(yàn)去觀看它，其結(jié)果分別為，已知條件概率:P(y1|x)01012101/2111/2P(y2|x)01012110001(1) 求和，并推斷哪一個(gè)試驗(yàn)好些(2) 求，并計(jì)算做Y1和Y2兩個(gè)試驗(yàn)比做Y1和Y2中的一個(gè)試驗(yàn)可多得多少關(guān)于X的信息(3) 求和，并解釋它們的含義解:(1)由題意可知 Y1X0101/40101/421/41/4 Y2X0101/4011/40201/2P(y1=0)=p(y1=1)=1/2 p(y2=1)=p(y2=1

15、)=1/2=0.5bit/符號(hào)符號(hào)>所以其次個(gè)試驗(yàn)比第一個(gè)試驗(yàn)好P(y1y2x)0001101101/40001001/40201/401/4（2）由于Y1和Y2 相互獨(dú)立，所以P(y1y2|x)000110110100010010201/201/2y1y200011011p1/41/41/41/4bit/符號(hào)=1.5bit/符號(hào)由此可見，做兩個(gè)試驗(yàn)比單獨(dú)做Y1可多得1bit的關(guān)于X的信息量，比單獨(dú)做Y2多得0.5bit的關(guān)于X的信息量。（3）=1.5-1=0.5bit/符號(hào) 表示在已做Y2的狀況下，再做Y1而多得到的關(guān)于X的信息量同理可得=1.5-0.5=1bit/符號(hào)表示在已做Y1的

16、狀況下，再做Y2而多得到的關(guān)于X的信息量歡迎下載！第三章3.1 設(shè)二元對(duì)稱信道的傳遞矩陣為(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；(2) 求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布；解：1)2) 其最佳輸入分布為3-2某信源發(fā)送端有2個(gè)符號(hào)，i1，2；，每秒發(fā)出一個(gè)符號(hào)。接受端有3種符號(hào)，j1，2，3，轉(zhuǎn)移概率矩陣為。（1） 計(jì)算接受端的平均不確定度；（2） 計(jì)算由于噪聲產(chǎn)生的不確定度；（3） 計(jì)算信道容量。解：聯(lián)合概率XY0則Y的概率分布為Y（1）取2為底（2）取2為底取e為底= 03.3 在有擾離散信道上傳輸

17、符號(hào)0和1，在傳輸過程中每100個(gè)符號(hào)發(fā)生一個(gè)錯(cuò)誤，已知P(0)=P(1)=1/2，信源每秒內(nèi)發(fā)出1000個(gè)符號(hào)，求此信道的信道容量。解：由題意可知該二元信道的轉(zhuǎn)移概率矩陣為：為一個(gè)BSC信道所以由BSC信道的信道容量計(jì)算公式得到：3.4 求圖中信道的信道容量及其最佳的輸入概率分布.并求當(dāng)=0和1/2時(shí)的信道容量C的大小。X0 Y01112211解: 信道矩陣P=,此信道為非奇異矩陣,又r=s,可利用方程組求解 = (i=1,2,3)解得 所以 C=log=log20+2×2(1-)log(1-)+=log1+21-H()=log1+2而 (j=1,2,3)得所以 P(a1)=P(b

18、1)=當(dāng)=0時(shí),此信道為一一對(duì)應(yīng)信道,得 C=log3, 當(dāng)=1/2時(shí),得 C=log2, ,3.5 求下列二個(gè)信道的信道容量，并加以比較（1） （2）其中p+=1解：（1）此信道是準(zhǔn)對(duì)稱信道，信道矩陣中Y可劃分成三個(gè)互不相交的子集 由于集列所組成的矩陣,而這兩個(gè)子矩陣滿足對(duì)稱性，因此可直接利用準(zhǔn)對(duì)稱信道的信道容量公式進(jìn)行計(jì)算。C1=logr-H(p1 p2 p3)-其中r=2,N1=M1=1-2 N2= M2=4 所以C1=log2-H(,p-,2)-(1-2)log(1-2)-2log4=log2+()log()+(p-)log(p-)+2log2-(1-2)log(1-2)-2log4=

19、log2-2log2-(1-2)log(1-2)+()log()+(p-)log(p-)=(1-2)log2/(1-2)+()log()+(p-)log(p-)輸入等概率分布時(shí)達(dá)到信道容量。（2）此信道也是準(zhǔn)對(duì)稱信道，也可接受上述兩種方法之一來進(jìn)行計(jì)算。先接受準(zhǔn)對(duì)稱信道的信道容量公式進(jìn)行計(jì)算，此信道矩陣中Y可劃分成兩個(gè)互不相交的子集，由子集列所組成的矩陣為，這兩矩陣為對(duì)稱矩陣 其中r=2,N1=M1=1-2 N2=M2=2，所以C=logr-H(-,p-,2,0)-=log2+(-)log(-)+(p-)log(p-)+2log2-(1-2)log(1-2)-2log2=log2-(1-2)l

20、og(1-2)+( -)log(-)+(p-)log(p-)=(1-2)log2/(1-2)+2log2+(-)log(-)+(p-)log(p-)=C1+2log2輸入等概率分布（P（a1）=P（a2）=1/2）時(shí)達(dá)到此信道容量。比較此兩信道容量，可得C2=C1+2log23-6 設(shè)有擾離散信道的傳輸狀況分別如圖317所示。求出該信道的信道容量。解：對(duì)稱信道取2為底 bit/符號(hào)3-7 (1) 條件概率 ，聯(lián)合概率，后驗(yàn)概率 ， ，（2） H(Y/X)= （3）當(dāng)接收為y2，發(fā)為x1時(shí)正確，假如發(fā)的是x1和x3為錯(cuò)誤，各自的概率為：P(x1/y2)=，P(x2/y2)=，P(x3/y2)=其

21、中錯(cuò)誤概率為：Pe=P(x1/y2)+P(x3/y2)=（4）平均錯(cuò)誤概率為（5）仍為0.733（6）此信道不好 緣由是信源等概率分布，從轉(zhuǎn)移信道來看 正確發(fā)送的概率x1-y1的概率0.5有一半失真 x2-y2的概率0.3有失真嚴(yán)峻 x3-y3的概率0 完全失真（7）H(X/Y)=3. 8 設(shè)加性高斯白噪聲信道中，信道帶寬3kHz，又設(shè)(信號(hào)功率+噪聲功率)/噪聲功率=10dB。試計(jì)算該信道的最大信息傳輸速率Ct。解：3. 9 在圖片傳輸中，每幀約有2.25Í106個(gè)像素，為了能很好地重現(xiàn)圖像，能分16個(gè)亮度電平，并假設(shè)亮度電公平概分布。試計(jì)算每分鐘傳送一幀圖片所需信道的帶寬（信噪功

22、率比為30dB）。解：3-10 一個(gè)平均功率受限制的連續(xù)信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。（1）已知信道上的信號(hào)與噪聲的平均功率比值為10，求該信道的信道容量；（2）信道上的信號(hào)與噪聲的平均功率比值降至5，要達(dá)到相同的信道容量，信道通頻帶應(yīng)為多大？（3）若信道通頻帶減小為0.5MHZ時(shí)，要保持相同的信道容量，信道上的信號(hào)與噪聲的平均功率比值應(yīng)等于多大？解：（1） （2）（3）歡迎下載！第四章第五章5-1 將下表所列的某六進(jìn)制信源進(jìn)行二進(jìn)制編碼，試問：消息概率u1u2u3u4u5u61/21/41/161/161/161/16000001010011100101 0 01 011

23、 0111 01111011111 0 10 110 1110 11110111110 0 101101110010011111 100000101011011001001100101110111(1) 這些碼中哪些是唯一可譯碼？(2) 哪些碼是非延長(zhǎng)碼？(3) 對(duì)全部唯一可譯碼求出其平均碼長(zhǎng)和編譯效率。解：首先，依據(jù)克勞夫特不等式，找出非唯一可譯碼不是唯一可譯碼，而：又依據(jù)碼樹構(gòu)造碼字的方法，的碼字均處于終端節(jié)點(diǎn)他們是即時(shí)碼5-2 (1) 由于A,B,C,D四個(gè)字母,每個(gè)字母用兩個(gè)碼,每個(gè)碼為0.5ms, 所以每個(gè)字母用10ms 當(dāng)信源等概率分布時(shí),信源熵為H(X)=log(4)=2 平均信

24、息傳遞速率為bit/ms=200bit/s (2) 信源熵為 H(X)= =0.198bit/ms=198bit/s5-35-5(1) H(U)=(2) 每個(gè)信源使用3個(gè)二進(jìn)制符號(hào),消滅0的次數(shù)為 消滅1的次數(shù)為P(0)= P(1)= (3) (4) 相應(yīng)的香農(nóng)編碼信源符號(hào)xi符號(hào)概率pi累加概率Pi-Logp(xi)碼長(zhǎng)Ki碼字x11/20110x21/40.52210x31/80.7533110x41/160.875441110x51/320.9385511110x61/640.96966111110x71/1280.984771111110x81/1280.9927711111110 相應(yīng)的費(fèi)諾碼 信源符號(hào)xi符號(hào)概率pi第一次分組其次次分組第三次分組第四次分組第五次分組第六次分組第七次分組二元碼x11/200x21/41010x31/810110x41/16101110x51/321011110x61/6410111110x71/128101111110x81/128111111110（5）香農(nóng)碼和費(fèi)諾碼相同 平均碼長(zhǎng)為 編碼效率為： 5.65.75.10(2) 5-11 （1）信源熵 （2）香農(nóng)編碼： 信源符號(hào)xi符號(hào)概率pi累加概率Pi-L