信息論與編碼(第二版)曹雪虹(最全版本)答案[借鑒相關(guān)]

1、信息論與編碼（第二版）曹雪虹答案第二章2.1一個馬爾可夫信源有3個符號，轉(zhuǎn)移概率為：，畫出狀態(tài)圖并求出各符號穩(wěn)態(tài)概率。解：狀態(tài)圖如下狀態(tài)轉(zhuǎn)移矩陣為：設(shè)狀態(tài)u1，u2，u3穩(wěn)定后的概率分別為W1，W2、W3由得計算可得2.2 由符號集0，1組成的二階馬爾可夫鏈，其轉(zhuǎn)移概率為：=0.8，=0.2，=0.2，=0.8，=0.5，=0.5，=0.5，=0.5。畫出狀態(tài)圖，并計算各狀態(tài)的穩(wěn)態(tài)概率。解： 于是可以列出轉(zhuǎn)移概率矩陣：狀態(tài)圖為： 設(shè)各狀態(tài)00，01，10，11的穩(wěn)態(tài)分布概率為W1,W2,W3,W4 有 得 計算得到2.3 同時擲出兩個正常的骰子，也就是各面呈現(xiàn)的概率都為1/6，求：(1) “3

2、和5同時出現(xiàn)”這事件的自信息；(2) “兩個1同時出現(xiàn)”這事件的自信息；(3) 兩個點數(shù)的各種組合（無序）對的熵和平均信息量；(4) 兩個點數(shù)之和（即2, 3, , 12構(gòu)成的子集）的熵；(5) 兩個點數(shù)中至少有一個是1的自信息量。解：(1) (2)(3)兩個點數(shù)的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21種組合：其中11，22，33，44，55，66的概率是 其他15個組合的概率是(4)參考上面的兩個點數(shù)的排列，可以得出兩個點數(shù)求和的概率分布如下：(5)2-4 2.5 居住

3、某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？解：設(shè)隨機(jī)變量X代表女孩子學(xué)歷Xx1（是大學(xué)生）x2（不是大學(xué)生）P(X)0.250.75設(shè)隨機(jī)變量Y代表女孩子身高Yy1（身高160cm）y2（身高160cm）P(Y)0.50.5已知：在女大學(xué)生中有75%是身高160厘米以上的即：求：身高160厘米以上的某女孩是大學(xué)生的信息量即：2.6 擲兩顆骰子，當(dāng)其向上的面的小圓點之和是3時，該消息包含的信息量是多少？當(dāng)小圓點之和是7時，該消息所包含的信息量又

4、是多少？解：1）因圓點之和為3的概率該消息自信息量2）因圓點之和為7的概率該消息自信息量2.7 設(shè)有一離散無記憶信源，其概率空間為 （1）求每個符號的自信息量 （2）信源發(fā)出一消息符號序列為202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求該序列的自信息量和平均每個符號攜帶的信息量解：同理可以求得因為信源無記憶，所以此消息序列的信息量就等于該序列中各個符號的信息量之和就有：平均每個符號攜帶的信息量為bit/符號2.8 試問四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？解：四進(jìn)制脈沖可以表示4個不同的消息，例如：0, 1

5、, 2, 3 八進(jìn)制脈沖可以表示8個不同的消息，例如：0, 1, 2, 3, 4, 5, 6, 7二進(jìn)制脈沖可以表示2個不同的消息，例如：0, 1假設(shè)每個消息的發(fā)出都是等概率的，則：四進(jìn)制脈沖的平均信息量 八進(jìn)制脈沖的平均信息量二進(jìn)制脈沖的平均信息量所以：四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的2倍和3倍。2-9 “” 用三個脈沖 “”用一個脈沖(1) I()= I() (2) H= 2-10 (2) P(黑/黑)= P(白/黑)= H(Y/黑)= (3) P(黑/白)= P(白/白)= H(Y/白)= (4) P(黑)= P(白)= H(Y)= 2.11 有一個可以旋轉(zhuǎn)的圓盤，盤

6、面上被均勻的分成38份，用1，38的數(shù)字標(biāo)示，其中有兩份涂綠色，18份涂紅色，18份涂黑色，圓盤停轉(zhuǎn)后，盤面上的指針指向某一數(shù)字和顏色。（1）如果僅對顏色感興趣，則計算平均不確定度（2）如果僅對顏色和數(shù)字感興趣，則計算平均不確定度（3）如果顏色已知時，則計算條件熵解：令X表示指針指向某一數(shù)字，則X=1,2,.,38 Y表示指針指向某一種顏色，則Y=l綠色，紅色，黑色 Y是X的函數(shù)，由題意可知（1）bit/符號（2）bit/符號（3）bit/符號2.12 兩個實驗X和Y，X=x1 x2 x3,Y=y1 y2 y3,l聯(lián)合概率為（1） 如果有人告訴你X和Y的實驗結(jié)果，你得到的平均信息量是多少？（2

7、） 如果有人告訴你Y的實驗結(jié)果，你得到的平均信息量是多少？（3） 在已知Y實驗結(jié)果的情況下，告訴你X的實驗結(jié)果，你得到的平均信息量是多少？解：聯(lián)合概率為 YXy1y2y3 x17/241/240 x21/241/41/24 x301/247/24 =2.3bit/符號X概率分布Xx1x2x3P8/248/248/24bit/符號 Y概率分布是 =0.72bit/符號Yy1y2y3P8/248/248/242.13 有兩個二元隨機(jī)變量X和Y，它們的聯(lián)合概率為Y Xx1=0x2=1y1=01/83/8y2=13/81/8并定義另一隨機(jī)變量Z = XY（一般乘積），試計算：(1) H(X), H(Y

8、), H(Z), H(XZ), H(YZ)和H(XYZ)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。解：(1)Z = XY的概率分布如下：(2)(3)2-14 (1) P(ij)= P(i/j)= (2) 方法1: = 方法2: 2-15P(j/i)= 2.16 黑白傳真機(jī)的消息元只有黑色和白色兩種，即X=黑，白，一般氣象圖上，黑色的出現(xiàn)概率p(黑)0.3，白色出現(xiàn)的概率p

9、(白)0.7。（1）假設(shè)黑白消息視為前后無關(guān)，求信源熵H(X)，并畫出該信源的香農(nóng)線圖（2）實際上各個元素之間是有關(guān)聯(lián)的，其轉(zhuǎn)移概率為：P(白|白)0.9143，P(黑|白)0.0857，P(白|黑)0.2，P(黑|黑)0.8，求這個一階馬爾可夫信源的信源熵，并畫出該信源的香農(nóng)線圖。（3）比較兩種信源熵的大小，并說明原因。解：（1）bit/符號P(黑|白)=P(黑)P(白|白)P(白) P(黑|黑)P(黑)P(白|黑)P(白)（2）根據(jù)題意，此一階馬爾可夫鏈?zhǔn)瞧椒€(wěn)的（P(白)0.7不隨時間變化，P(黑)0.3不隨時間變化）0.512bit/符號2.17 每幀電視圖像可以認(rèn)為是由3105個像素組

10、成的，所有像素均是獨立變化，且每像素又取128個不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問每幀圖像含有多少信息量？若有一個廣播員，在約10000個漢字中選出1000個漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無依賴）？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？解：1)2)3)2.20 給定語音信號樣值X的概率密度為,求Hc(X)，并證明它小于同樣方差的正態(tài)變量的連續(xù)熵。解2.24 連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為：，求H(X), H(Y), H(XYZ)和I(X;Y)。（提示：）解：2.25 某一無記憶信源的符號集為0, 1，

11、已知P(0) = 1/4，P(1) = 3/4。(1) 求符號的平均熵；(2) 有100個符號構(gòu)成的序列，求某一特定序列（例如有m個“0”和（100 - m）個“1”）的自信息量的表達(dá)式；(3) 計算(2)中序列的熵。解：(1)(2) (3) 2-26 P(i)= P(ij)= H(IJ)= 2.29 有一個一階平穩(wěn)馬爾可夫鏈,各Xr取值于集合,已知起始概率P(Xr)為，轉(zhuǎn)移概率如下圖所示 j i1231231/22/32/31/401/31/41/30(1) 求的聯(lián)合熵和平均符號熵(2) 求這個鏈的極限平均符號熵(3) 求和它們說對應(yīng)的冗余度解：（1）符號X1，X2的聯(lián)合概率分布為12311

12、/41/81/821/601/1231/61/12012314/245/245/24X2的概率分布為那么=1.209bit/符號X2X3的聯(lián)合概率分布為12317/247/487/4825/3605/1235/365/120那么=1.26bit/符號/符號所以平均符號熵符號（2）設(shè)a1,a2,a3穩(wěn)定后的概率分布分別為W1,W2,W3,轉(zhuǎn)移概率距陣為由 得到 計算得到又滿足不可約性和非周期性/符號(3)/符號 /符號 /符號 2-30 (1) 求平穩(wěn)概率 P(j/i)= 解方程組 得到 (2) 信源熵為: 2-31 P(j/i)= 解方程組 得到W1= , W2= , W3= 2.32 一階馬

13、爾可夫信源的狀態(tài)圖如圖213所示，信源X的符號集為（0，1，2）。（1）求信源平穩(wěn)后的概率分布P(0),P(1),P(2)（2）求此信源的熵（3）近似認(rèn)為此信源為無記憶時，符號的概率分布為平穩(wěn)分布。求近似信源的熵H(X)并與進(jìn)行比較解:根據(jù)香農(nóng)線圖,列出轉(zhuǎn)移概率距陣令狀態(tài)0,1,2平穩(wěn)后的概率分布分別為W1,W2,W3 得到 計算得到由齊次遍歷可得符號 由最大熵定理可知存在極大值或者也可以通過下面的方法得出存在極大值: 又所以當(dāng)p=2/3時0p2/3時2/3p所以第二個實驗比第一個實驗好P(y1y2x)0001101101/40001001/40201/401/4（2）因為Y1和Y2 相互獨立

14、，所以P(y1y2|x)000110110100010010201/201/2y1y200011011p1/41/41/41/4bit/符號=1.5bit/符號由此可見，做兩個實驗比單獨做Y1可多得1bit的關(guān)于X的信息量，比單獨做Y2多得0.5bit的關(guān)于X的信息量。（3）=1.5-1=0.5bit/符號 表示在已做Y2的情況下，再做Y1而多得到的關(guān)于X的信息量同理可得=1.5-0.5=1bit/符號表示在已做Y1的情況下，再做Y2而多得到的關(guān)于X的信息量歡迎下載！第三章3.1 設(shè)二元對稱信道的傳遞矩陣為(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H

15、(Y/X)和I(X;Y)；(2) 求該信道的信道容量及其達(dá)到信道容量時的輸入概率分布；解：1)2) 其最佳輸入分布為3-2某信源發(fā)送端有2個符號，i1，2；，每秒發(fā)出一個符號。接受端有3種符號，j1，2，3，轉(zhuǎn)移概率矩陣為。（1） 計算接受端的平均不確定度；（2） 計算由于噪聲產(chǎn)生的不確定度；（3） 計算信道容量。解：聯(lián)合概率XY0則Y的概率分布為Y（1）取2為底（2）取2為底取e為底= 03.3 在有擾離散信道上傳輸符號0和1，在傳輸過程中每100個符號發(fā)生一個錯誤，已知P(0)=P(1)=1/2，信源每秒內(nèi)發(fā)出1000個符號，求此信道的信道容量。解：由題意可知該二元信道的轉(zhuǎn)移概率矩陣為：為

16、一個BSC信道所以由BSC信道的信道容量計算公式得到：3.4 求圖中信道的信道容量及其最佳的輸入概率分布.并求當(dāng)=0和1/2時的信道容量C的大小。X0 Y01112211解: 信道矩陣P=,此信道為非奇異矩陣,又r=s,可利用方程組求解 = (i=1,2,3)解得 所以 C=log=log20+22(1-)log(1-)+=log1+21-H()=log1+2而 (j=1,2,3)得所以 P(a1)=P(b1)=當(dāng)=0時,此信道為一一對應(yīng)信道,得 C=log3, 當(dāng)=1/2時,得 C=log2, ,3.5 求下列二個信道的信道容量，并加以比較（1） （2）其中p+=1解：（1）此信道是準(zhǔn)對稱信

17、道，信道矩陣中Y可劃分成三個互不相交的子集 由于集列所組成的矩陣,而這兩個子矩陣滿足對稱性，因此可直接利用準(zhǔn)對稱信道的信道容量公式進(jìn)行計算。C1=logr-H(p1 p2 p3)-其中r=2,N1=M1=1-2 N2= M2=4 所以C1=log2-H(,p-,2)-(1-2)log(1-2)-2log4=log2+()log()+(p-)log(p-)+2log2-(1-2)log(1-2)-2log4=log2-2log2-(1-2)log(1-2)+()log()+(p-)log(p-)=(1-2)log2/(1-2)+()log()+(p-)log(p-)輸入等概率分布時達(dá)到信道容量。

18、（2）此信道也是準(zhǔn)對稱信道，也可采用上述兩種方法之一來進(jìn)行計算。先采用準(zhǔn)對稱信道的信道容量公式進(jìn)行計算，此信道矩陣中Y可劃分成兩個互不相交的子集，由子集列所組成的矩陣為，這兩矩陣為對稱矩陣 其中r=2,N1=M1=1-2 N2=M2=2，所以C=logr-H(-,p-,2,0)-=log2+(-)log(-)+(p-)log(p-)+2log2-(1-2)log(1-2)-2log2=log2-(1-2)log(1-2)+( -)log(-)+(p-)log(p-)=(1-2)log2/(1-2)+2log2+(-)log(-)+(p-)log(p-)=C1+2log2輸入等概率分布（P（a1

19、）=P（a2）=1/2）時達(dá)到此信道容量。比較此兩信道容量，可得C2=C1+2log23-6 設(shè)有擾離散信道的傳輸情況分別如圖317所示。求出該信道的信道容量。解：對稱信道取2為底 bit/符號3-7 (1) 條件概率 ，聯(lián)合概率，后驗概率 ， ，（2） H(Y/X)= （3）當(dāng)接收為y2，發(fā)為x1時正確，如果發(fā)的是x1和x3為錯誤，各自的概率為：P(x1/y2)=，P(x2/y2)=，P(x3/y2)=其中錯誤概率為：Pe=P(x1/y2)+P(x3/y2)=（4）平均錯誤概率為（5）仍為0.733（6）此信道不好 原因是信源等概率分布，從轉(zhuǎn)移信道來看 正確發(fā)送的概率x1-y1的概率0.5有

20、一半失真 x2-y2的概率0.3有失真嚴(yán)重 x3-y3的概率0 完全失真（7）H(X/Y)=3. 8 設(shè)加性高斯白噪聲信道中，信道帶寬3kHz，又設(shè)(信號功率+噪聲功率)/噪聲功率=10dB。試計算該信道的最大信息傳輸速率Ct。解：3. 9 在圖片傳輸中，每幀約有2.25106個像素，為了能很好地重現(xiàn)圖像，能分16個亮度電平，并假設(shè)亮度電平等概分布。試計算每分鐘傳送一幀圖片所需信道的帶寬（信噪功率比為30dB）。解：3-10 一個平均功率受限制的連續(xù)信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。（1）已知信道上的信號與噪聲的平均功率比值為10，求該信道的信道容量；（2）信道上的信號與噪聲的

21、平均功率比值降至5，要達(dá)到相同的信道容量，信道通頻帶應(yīng)為多大？（3）若信道通頻帶減小為0.5MHZ時，要保持相同的信道容量，信道上的信號與噪聲的平均功率比值應(yīng)等于多大？解：（1） （2）（3）歡迎下載！第四章第五章5-1 將下表所列的某六進(jìn)制信源進(jìn)行二進(jìn)制編碼，試問：消息概率u1u2u3u4u5u61/21/41/161/161/161/16000001010011100101 0 01 011 0111 01111011111 0 10 110 1110 11110111110 0 101101110010011111 100000101011011001001100101110111(1)

22、 這些碼中哪些是唯一可譯碼？(2) 哪些碼是非延長碼？(3) 對所有唯一可譯碼求出其平均碼長和編譯效率。解：首先，根據(jù)克勞夫特不等式，找出非唯一可譯碼不是唯一可譯碼，而：又根據(jù)碼樹構(gòu)造碼字的方法，的碼字均處于終端節(jié)點他們是即時碼5-2 (1) 因為A,B,C,D四個字母,每個字母用兩個碼,每個碼為0.5ms, 所以每個字母用10ms 當(dāng)信源等概率分布時,信源熵為H(X)=log(4)=2 平均信息傳遞速率為bit/ms=200bit/s (2) 信源熵為 H(X)= =0.198bit/ms=198bit/s5-35-5(1) H(U)=(2) 每個信源使用3個二進(jìn)制符號,出現(xiàn)0的次數(shù)為 出現(xiàn)

23、1的次數(shù)為P(0)= P(1)= (3) (4) 相應(yīng)的香農(nóng)編碼信源符號xi符號概率pi累加概率Pi-Logp(xi)碼長Ki碼字x11/20110x21/40.52210x31/80.7533110x41/160.875441110x51/320.9385511110x61/640.96966111110x71/1280.984771111110x81/1280.9927711111110 相應(yīng)的費諾碼 信源符號xi符號概率pi第一次分組第二次分組第三次分組第四次分組第五次分組第六次分組第七次分組二元碼x11/200x21/41010x31/810110x41/16101110x51/321011110x61/6410111110x71/128101111110x81/128111111110（5）香農(nóng)碼和費諾碼相同 平均碼長為 編碼效率為： 5.65.75.10(2) 5-11 （1）信源熵 （2）香農(nóng)編碼： 信源符號xi符號概率pi累加概率Pi-Logp(xi)碼長Ki碼字x10.3201.644200x20.220.322.18430