信息論與編碼課后答案

1、2.1一個馬爾可夫信源有3個符號，轉移概率為：，畫出狀態(tài)圖并求出各符號穩(wěn)態(tài)概率。解：狀態(tài)圖如下狀態(tài)轉移矩陣為：設狀態(tài)u1，u2，u3穩(wěn)定后的概率分別為W1，W2、W3由得計算可得2.2 由符號集0，1組成的二階馬爾可夫鏈，其轉移概率為：=0.8，=0.2，=0.2，=0.8，=0.5，=0.5，=0.5，=0.5。畫出狀態(tài)圖，并計算各狀態(tài)的穩(wěn)態(tài)概率。解： 于是可以列出轉移概率矩陣：狀態(tài)圖為： 設各狀態(tài)00，01，10，11的穩(wěn)態(tài)分布概率為W1,W2,W3,W4 有 得 計算得到2.7 設有一離散無記憶信源，其概率空間為 （1）求每個符號的自信息量 （2）信源發(fā)出一消息符號序列為202 120

2、130 213 001 203 210 110 321 010 021 032 011 223 210，求該序列的自信息量和平均每個符號攜帶的信息量解：同理可以求得因為信源無記憶，所以此消息序列的信息量就等于該序列中各個符號的信息量之和就有：平均每個符號攜帶的信息量為bit/符號 2.11 有一個可以旋轉的圓盤，盤面上被均勻的分成38份，用1，38的數(shù)字標示，其中有兩份涂綠色，18份涂紅色，18份涂黑色，圓盤停轉后，盤面上的指針指向某一數(shù)字和顏色。（1）如果僅對顏色感興趣，則計算平均不確定度（2）如果僅對顏色和數(shù)字感興趣，則計算平均不確定度（3）如果顏色已知時，則計算條件熵解：令X表示指針指向

3、某一數(shù)字，則X=1,2,.,38 Y表示指針指向某一種顏色，則Y=l綠色，紅色，黑色 Y是X的函數(shù)，由題意可知（1）bit/符號（2）bit/符號（3）bit/符號2.12 兩個實驗X和Y，X=x1 x2 x3,Y=y1 y2 y3,l聯(lián)合概率為（1） 如果有人告訴你X和Y的實驗結果，你得到的平均信息量是多少？（2） 如果有人告訴你Y的實驗結果，你得到的平均信息量是多少？（3） 在已知Y實驗結果的情況下，告訴你X的實驗結果，你得到的平均信息量是多少？解：聯(lián)合概率為 YXy1y2y3 x17/241/240 x21/241/41/24 x301/247/24 =2.3bit/符號X概率分布Xx1

4、x2x3P8/248/248/24bit/符號 Y概率分布是 =0.72bit/符號Yy1y2y3P8/248/248/242.16 黑白傳真機的消息元只有黑色和白色兩種，即X=黑，白，一般氣象圖上，黑色的出現(xiàn)概率p(黑)0.3，白色出現(xiàn)的概率p(白)0.7。（1）假設黑白消息視為前后無關，求信源熵H(X)，并畫出該信源的香農(nóng)線圖（2）實際上各個元素之間是有關聯(lián)的，其轉移概率為：P(白|白)0.9143，P(黑|白)0.0857，P(白|黑)0.2，P(黑|黑)0.8，求這個一階馬爾可夫信源的信源熵，并畫出該信源的香農(nóng)線圖。（3）比較兩種信源熵的大小，并說明原因。解：（1）bit/符號P(黑|

5、白)=P(黑)P(白|白)P(白) P(黑|黑)P(黑)P(白|黑)P(白)（2）根據(jù)題意，此一階馬爾可夫鏈是平穩(wěn)的（P(白)0.7不隨時間變化，P(黑)0.3不隨時間變化）0.512bit/符號2.20 給定語音信號樣值X的概率密度為,求Hc(X)，并證明它小于同樣方差的正態(tài)變量的連續(xù)熵。解：2.29 有一個一階平穩(wěn)馬爾可夫鏈,各Xr取值于集合,已知起始概率P(Xr)為，轉移概率如下圖所示 j i1231231/22/32/31/401/31/41/30(1) 求的聯(lián)合熵和平均符號熵(2) 求這個鏈的極限平均符號熵(3) 求和它們說對應的冗余度解：（1）符號X1，X2的聯(lián)合概率分布為1231

6、1/41/81/821/601/1231/61/12012314/245/245/24X2的概率分布為那么=1.209bit/符號X2X3的聯(lián)合概率分布為12317/247/487/4825/3605/1235/365/120那么=1.26bit/符號/符號所以平均符號熵符號（2）設a1,a2,a3穩(wěn)定后的概率分布分別為W1,W2,W3,轉移概率距陣為由 得到 計算得到又滿足不可約性和非周期性/符號(3)/符號 /符號 /符號 2.32 一階馬爾可夫信源的狀態(tài)圖如圖213所示，信源X的符號集為（0，1，2）。（1）求信源平穩(wěn)后的概率分布P(0),P(1),P(2)（2）求此信源的熵（3）近似認

7、為此信源為無記憶時，符號的概率分布為平穩(wěn)分布。求近似信源的熵H(X)并與進行比較解:根據(jù)香農(nóng)線圖,列出轉移概率距陣令狀態(tài)0,1,2平穩(wěn)后的概率分布分別為W1,W2,W3 得到 計算得到由齊次遍歷可得符號 由最大熵定理可知存在極大值或者也可以通過下面的方法得出存在極大值: 又所以當p=2/3時0<p<2/3時2/3<p<1時所以當p=2/3時存在極大值,且符號所以練習題：有一離散無記憶信源，其輸出為，相應的概率為，設計兩個獨立的實驗去觀察它，其結果分別為，已知條件概率:P(y1|x)01012101/2111/2P(y2|x)01012110001(1) 求和，并判斷哪一

8、個實驗好些(2) 求，并計算做Y1和Y2兩個實驗比做Y1和Y2中的一個實驗可多得多少關于X的信息(3) 求和，并解釋它們的含義解:(1)由題意可知 Y1X0101/40101/421/41/4 Y2X0101/4011/40201/2P(y1=0)=p(y1=1)=1/2 p(y2=1)=p(y2=1)=1/2=0.5bit/符號符號>所以第二個實驗比第一個實驗好P(y1y2x)0001101101/40001001/40201/401/4（2）因為Y1和Y2 相互獨立，所以P(y1y2|x)000110110100010010201/201/2y1y200011011p1/41/41/41/4bit/符號=1.5bit/符號由此可見，做兩個實驗比單獨做Y1可多得1bit