信息論與編碼第2章習(xí)題解答

--#-=-PilogPi-PlogP=H(P)(3)當(dāng)P=0,Htc=0當(dāng)P=1,htc=i因?yàn)樾畔㈧厥潜硎拘旁吹钠骄淮_定性，題中當(dāng)P=1或P=0時(shí)表明信源從某一狀態(tài)出發(fā)轉(zhuǎn)移到另一狀態(tài)的情況是一定發(fā)生或一定不發(fā)生，即是確定的事件。當(dāng)P=1時(shí)，從0狀態(tài)一定轉(zhuǎn)移到2狀態(tài)，2狀態(tài)一定轉(zhuǎn)移到1狀態(tài)，1狀態(tài)一定轉(zhuǎn)移到0狀態(tài)。所以不論從何狀態(tài)起信源輸出的序列一定是021021序列，完全確定的。當(dāng)P=0時(shí)，0狀態(tài)永遠(yuǎn)處于0狀態(tài)，1狀態(tài)永遠(yuǎn)處于1狀態(tài)，2狀態(tài)用于處于2狀態(tài)。信源輸出的符號序列也是確定的。所以當(dāng)P=1或P=0時(shí)，信源輸出什么符號不存在不確定性，完全是確定的，因此確定信源的信息熵等于零。2.24設(shè)有一個(gè)馬爾可夫信源,它的狀態(tài)集為{s1,s2,s3},符號集為{a1,a2,a3},及在某狀態(tài)下發(fā)符號的概率為P(aklsi)(i,k=1,2,3)，如下圖所示.求出圖中馬爾可夫信源的狀態(tài)極限概率并找出符號的極限概率(2)計(jì)算信源處在某一狀態(tài)下輸出符號的條件熵H(sj)(j=1,2,3).(3)求出馬爾可夫信源熵H-解:(1)此信源的狀態(tài)集不等于符號集,從狀態(tài)轉(zhuǎn)移圖可知P(a1|s1)=1/2,P(a1|s1)=0,P(a1|s3)=1P(a2|s1)=1/4,P(a2|s2)=1/2,P(a2|s3)=0P(a3|s1)=1/4,P(a3|s2)=1/2,P(a3|s3)=0狀態(tài)轉(zhuǎn)移概率為P(s2ls1)=P(a1ls1)+P(a2ls1)=3/4P(s3|s1)=P(a3|s1)=1/4P(s1|s1)=0P(s1|s2)=0P(s2|s2)=P(a2|s2)=1/2P(s3|s2)=P(a3|s2)=1/2P(s1|s3)=P(a1|s3)=1P(s2|s3)=P(a2|s3)=0P(s3|s4)=P(a3|s3)=0TOC\o"1-5"\h\z-0 3/4 1/4一得狀態(tài)轉(zhuǎn)移矩陣：P=0 1/2 1/20 0從圖可知此狀態(tài)馬爾可夫鏈?zhǔn)菚r(shí)齊的,狀態(tài)數(shù)有限的和是不可約閉集,所以其具有各態(tài)歷經(jīng)性,平穩(wěn)后狀態(tài)的極限概率分布存在.得到如下方程組：{Q(s)=Q(s)1 3Q(s2)=3/4Q(s1)+1/2Q(s2)Q(s：)=1/4Q(s；)+1/2Q(s：)Q(s)+Q(s2)+Q(s3)=1解得：Q(s1)=2/7,Q(s2)=2/7,Q(s3)=3/7符號的極限概率P(ak)=許Q(si)P(aklsi)k=1,2,3所以P(a1)=Q(s1)P(a1ls1)+Q(s2)P(a1ls2)+Q(s3)P(a1ls3)=3/7,P(a2)=2/7,P(a3)=2/7信源處于某一狀態(tài)下的輸出符號的條件熵H(Xlsj)=-許P(aklsj)logP(aklsj)j=1,2,3k1H(Xls1)=-P(a1ls1)logP(a1ls1)-P(a2ls1)logP(a2ls1)-P(a3ls1)logP(a3ls1)=-1/2log21/2-1/4log21/4-1/4log21/4=1.5比特/符號H(Xls2)=H(0,1/2,1/2)=1比特/符號H(Xls2)=H(1,0,0)=0比特/符號(3)馬爾可夫信源熵H=也Q(s)H(Xls)8 j jk1=Q(s1)H(Xls1)+Q(s2)H(Xls2)+Q(s3)H(Xls3)=2/7X1.5+3/7X1+0=6/7比特/符號N0.857比特/符號2.25黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X=｛黑，白｝，設(shè)黑色出現(xiàn)的概率為P(黑)=0.3,白色的出現(xiàn)概率為P(白)=0.7。假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵H(X)。假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P(白l白)=0.9,P(黑l白)=0.1,P(白l黑)=0.2,P(黑|黑)=0.8,求此一階馬爾可夫信源的熵H2分別求出上述兩種信源的剩余度，并比較H(X)和H2的大小，并說明其物理意義。解：(1)如果圖上黑白消息出現(xiàn)沒有關(guān)聯(lián)，則熵為：H(X)=H(0.7,0.3)=0.881bit/##設(shè)白為w,黑為b那么對應(yīng)兩種狀態(tài)Sw和Sb那么轉(zhuǎn)移概率為TOC\o"1-5"\h\zS f Sh 0.1wbS f S 0.9w wSh f S 0.2b wSh 今Sh 0.8bb則Q(Sw)=0.9Q(Sw)+0.2Q(Sb)Q(Sb)=0.8Q(Sb)+0.1Q(Sw)Q(Sb)+Q(Sw)=1由以上三式可得出Q(Sw)=2/3,Q(Sb)=1/3所以P(w)=Q(Sw)*0.9+Q(Sb)*0.2=2/3P(B)=Q(Sw)*0.1+Q(Sb)*0.8=1/3由以上可得到：H2=H(0.9,0.1)*2/3+H(0.8,0.2)*1/3=0.554bit/##(3)最大熵H0=H(0.5,0.5)=1,則信源一