信息論與編碼-曹雪虹-課后習(xí)題參考答案

精心整理精心整理精心整理《信息論與編碼》-曹雪虹-課后習(xí)題答案第二章MACROBUTTONMTEditEquationSection2SEQMTEqn\r\h\*MERGEFORMATSEQMTSec\r1\h\*MERGEFORMATSEQMTChap\r1\h\*MERGEFORMAT2.1一個(gè)馬爾可夫信源有3個(gè)符號(hào)，轉(zhuǎn)移概率為：，，，，，，，，，畫(huà)出狀態(tài)圖并求出各符號(hào)穩(wěn)態(tài)概率。解：狀態(tài)圖如下?tīng)顟B(tài)轉(zhuǎn)移矩陣為：設(shè)狀態(tài)u1，u2，u3穩(wěn)定后的概率分別為W1，W2、W3由得計(jì)算可得2.2由符號(hào)集{0，1}組成的二階馬爾可夫鏈，其轉(zhuǎn)移概率為：=0.8，=0.2，=0.2，=0.8，=0.5，=0.5，=0.5，=0.5。畫(huà)出狀態(tài)圖，并計(jì)算各狀態(tài)的穩(wěn)態(tài)概率。解：于是可以列出轉(zhuǎn)移概率矩陣：狀態(tài)圖為：設(shè)各狀態(tài)00，01，10，11的穩(wěn)態(tài)分布概率為W1,W2,W3,W4有得計(jì)算得到2.3同時(shí)擲出兩個(gè)正常的骰子，也就是各面呈現(xiàn)的概率都為1/6，求：(1)“3和5同時(shí)出現(xiàn)”這事件的自信息；(2)“兩個(gè)1同時(shí)出現(xiàn)”這事件的自信息；(3)兩個(gè)點(diǎn)數(shù)的各種組合（無(wú)序）對(duì)的熵和平均信息量；(4)兩個(gè)點(diǎn)數(shù)之和（即2,3,…,12構(gòu)成的子集）的熵；(5)兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息量。解：(1)(2)(3)兩個(gè)點(diǎn)數(shù)的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21種組合：其中11，22，33，44，55，66的概率是其他15個(gè)組合的概率是(4)參考上面的兩個(gè)點(diǎn)數(shù)的排列，可以得出兩個(gè)點(diǎn)數(shù)求和的概率分布如下：(5)2-42.5居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息，問(wèn)獲得多少信息量？解：設(shè)隨機(jī)變量X代表女孩子學(xué)歷Xx1（是大學(xué)生）x2（不是大學(xué)生）P(X)0.250.75設(shè)隨機(jī)變量Y代表女孩子身高Yy1（身高>160cm）y2（身高<160cm）P(Y)0.50.5已知：在女大學(xué)生中有75%是身高160厘米以上的即：求：身高160厘米以上的某女孩是大學(xué)生的信息量即：2.6擲兩顆骰子，當(dāng)其向上的面的小圓點(diǎn)之和是3時(shí)，該消息包含的信息量是多少？當(dāng)小圓點(diǎn)之和是7時(shí)，該消息所包含的信息量又是多少？解：1）因圓點(diǎn)之和為3的概率該消息自信息量2）因圓點(diǎn)之和為7的概率該消息自信息量2.7設(shè)有一離散無(wú)記憶信源，其概率空間為（1）求每個(gè)符號(hào)的自信息量（2）信源發(fā)出一消息符號(hào)序列為{202120130213001203210110321010021032011223210}，求該序列的自信息量和平均每個(gè)符號(hào)攜帶的信息量解：同理可以求得因?yàn)樾旁礋o(wú)記憶，所以此消息序列的信息量就等于該序列中各個(gè)符號(hào)的信息量之和就有：平均每個(gè)符號(hào)攜帶的信息量為bit/符號(hào)2.8試問(wèn)四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？解：四進(jìn)制脈沖可以表示4個(gè)不同的消息，例如：{0,1,2,3}八進(jìn)制脈沖可以表示8個(gè)不同的消息，例如：{0,1,2,3,4,5,6,7}二進(jìn)制脈沖可以表示2個(gè)不同的消息，例如：{0,1}假設(shè)每個(gè)消息的發(fā)出都是等概率的，則：四進(jìn)制脈沖的平均信息量八進(jìn)制脈沖的平均信息量二進(jìn)制脈沖的平均信息量所以：四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的2倍和3倍。2-9“－”用三個(gè)脈沖“●”用一個(gè)脈沖(1)I(●)=I(－)＝(2)H=2-10(2)P(黑/黑)=P(白/黑)=H(Y/黑)=(3)P(黑/白)=P(白/白)=H(Y/白)=(4)P(黑)=P(白)=H(Y)=2.11有一個(gè)可以旋轉(zhuǎn)的圓盤(pán)，盤(pán)面上被均勻的分成38份，用1，…，38的數(shù)字標(biāo)示，其中有兩份涂綠色，18份涂紅色，18份涂黑色，圓盤(pán)停轉(zhuǎn)后，盤(pán)面上的指針指向某一數(shù)字和顏色。（1）如果僅對(duì)顏色感興趣，則計(jì)算平均不確定度（2）如果僅對(duì)顏色和數(shù)字感興趣，則計(jì)算平均不確定度（3）如果顏色已知時(shí)，則計(jì)算條件熵解：令X表示指針指向某一數(shù)字，則X={1,2,……….,38}Y表示指針指向某一種顏色，則Y={l綠色，紅色，黑色}Y是X的函數(shù)，由題意可知（1）bit/符號(hào)（2）bit/符號(hào)（3）bit/符號(hào)2.12兩個(gè)實(shí)驗(yàn)X和Y，X={x1x2x3},Y={y1y2y3},l聯(lián)合概率為如果有人告訴你X和Y的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？如果有人告訴你Y的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？在已知Y實(shí)驗(yàn)結(jié)果的情況下，告訴你X的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？解：聯(lián)合概率為YXy1y2y3x17/241/240x21/241/41/24x301/247/24=2.3bit/符號(hào)

X概率分布Xx1x2x3P8/248/248/24bit/符號(hào)Y概率分布是=0.72bit/符號(hào)Yy1y2y3P8/248/248/242.13有兩個(gè)二元隨機(jī)變量X和Y，它們的聯(lián)合概率為YXx1=0x2=1y1=01/83/8y2=13/81/8并定義另一隨機(jī)變量Z=XY（一般乘積），試計(jì)算：(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)；(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY)；(3)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。解：(1)Z=XY的概率分布如下：(2)(3)2-14(1)P(ij)=P(i/j)=(2)方法1:=方法2:2-15P(j/i)=2.16黑白傳真機(jī)的消息元只有黑色和白色兩種，即X={黑，白}，一般氣象圖上，黑色的出現(xiàn)概率p(黑)＝0.3，白色出現(xiàn)的概率p(白)＝0.7。（1）假設(shè)黑白消息視為前后無(wú)關(guān)，求信源熵H(X)，并畫(huà)出該信源的香農(nóng)線圖（2）實(shí)際上各個(gè)元素之間是有關(guān)聯(lián)的，其轉(zhuǎn)移概率為：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求這個(gè)一階馬爾可夫信源的信源熵，并畫(huà)出該信源的香農(nóng)線圖。（3）比較兩種信源熵的大小，并說(shuō)明原因。解：（1）bit/符號(hào)P(黑|白)=P(黑)P(白|白)＝P(白)P(黑|黑)＝P(黑)P(白|黑)＝P(白)（2）根據(jù)題意，此一階馬爾可夫鏈?zhǔn)瞧椒€(wěn)的（P(白)＝0.7不隨時(shí)間變化，P(黑)＝0.3不隨時(shí)間變化）＝0.512bit/符號(hào)2.17每幀電視圖像可以認(rèn)為是由3105個(gè)像素組成的，所有像素均是獨(dú)立變化，且每像素又取128個(gè)不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問(wèn)每幀圖像含有多少信息量？若有一個(gè)廣播員，在約10000個(gè)漢字中選出1000個(gè)漢字來(lái)口述此電視圖像，試問(wèn)廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無(wú)依賴）？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？解：1)2)3)2.20給定語(yǔ)音信號(hào)樣值X的概率密度為,,求Hc(X)，并證明它小于同樣方差的正態(tài)變量的連續(xù)熵。解：2.24連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為：，求H(X),H(Y),H(XYZ)和I(X;Y)。（提示：）解：2.25某一無(wú)記憶信源的符號(hào)集為{0,1}，已知P(0)=1/4，P(1)=3/4。(1)求符號(hào)的平均熵；(2)有100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列（例如有m個(gè)“0”和（100-m）個(gè)“1(3)計(jì)算(2)中序列的熵。解：(1)(2)(3)2-26P(i)=P(ij)=H(IJ)=2.29有一個(gè)一階平穩(wěn)馬爾可夫鏈,各Xr取值于集合,已知起始概率P(Xr)為，轉(zhuǎn)移概率如下圖所示ji1231231/22/32/31/401/31/41/30求的聯(lián)合熵和平均符號(hào)熵求這個(gè)鏈的極限平均符號(hào)熵求和它們說(shuō)對(duì)應(yīng)的冗余度解：（1）符號(hào)X1，X2的聯(lián)合概率分布為12311/41/81/821/601/1231/61/12012314/245/245/24X2的概率分布為

那么=1.209bit/符號(hào)X2X3的聯(lián)合概率分布為12317/247/487/4825/3605/1235/365/120那么=1.26bit/符號(hào)/符號(hào)所以平均符號(hào)熵／符號(hào)（2）設(shè)a1,a2,a3穩(wěn)定后的概率分布分別為W1,W2,W3,轉(zhuǎn)移概率距陣為由得到計(jì)算得到又滿足不可約性和非周期性/符號(hào)(3)/符號(hào)/符號(hào)/符號(hào)2-30(1)求平穩(wěn)概率P(j/i)=解方程組得到(2)信源熵為:2-31P(j/i)=解方程組得到W1=,W2=,W3=2.32一階馬爾可夫信源的狀態(tài)圖如圖2－13所示，信源X的符號(hào)集為（0，1，2）。（1）求信源平穩(wěn)后的概率分布P(0),P(1),P(2)（2）求此信源的熵（3）近似認(rèn)為此信源為無(wú)記憶時(shí)，符號(hào)的概率分布為平穩(wěn)分布。求近似信源的熵H(X)并與進(jìn)行比較解:根據(jù)香農(nóng)線圖,列出轉(zhuǎn)移概率距陣令狀態(tài)0,1,2平穩(wěn)后的概率分布分別為W1,W2,W3得到計(jì)算得到由齊次遍歷可得符號(hào)由最大熵定理可知存在極大值或者也可以通過(guò)下面的方法得出存在極大值:又所以當(dāng)p=2/3時(shí)0<p<2/3時(shí)2/3<p<1時(shí)所以當(dāng)p=2/3時(shí)存在極大值,且符號(hào)所以2-33(1)解方程組:得p(0)=p(1)=p(2)=(2)(3)當(dāng)p=0或p=1時(shí)信源熵為0練習(xí)題：有一離散無(wú)記憶信源，其輸出為，相應(yīng)的概率為，設(shè)計(jì)兩個(gè)獨(dú)立的實(shí)驗(yàn)去觀察它，其結(jié)果分別為，已知條件概率:P(y1|x)01012101/2111/2P(y2|x)01012110001求和，并判斷哪一個(gè)實(shí)驗(yàn)好些求，并計(jì)算做Y1和Y2兩個(gè)實(shí)驗(yàn)比做Y1和Y2中的一個(gè)實(shí)驗(yàn)可多得多少關(guān)于X的信息求和，并解釋它們的含義解:(1)由題意可知Y1X0101/40101/421/41/4Y2X0101/4011/40201/2P(y1=0)=p(y1=1)=1/2p(y2=1)=p(y2=1)=1/2=0.5bit/符號(hào)符號(hào)>所以第二個(gè)實(shí)驗(yàn)比第一個(gè)實(shí)驗(yàn)好P(y1y2x)0001101101/40001001/40201/401/4（2）因?yàn)閅1和Y2相互獨(dú)立，所以P(y1y2|x)000110110100010010201/201/2y1y200011011p1/41/41/41/4bit/符號(hào)=1.5bit/符號(hào)由此可見(jiàn)，做兩個(gè)實(shí)驗(yàn)比單獨(dú)做Y1可多得1bit的關(guān)于X的信息量，比單獨(dú)做Y2多得0.5bit的關(guān)于X的信息量。（3）=1.5-1=0.5bit/符號(hào)表示在已做Y2的情況下，再做Y1而多得到的關(guān)于X的信息量同理可得=1.5-0.5=1bit/符號(hào)表示在已做Y1的情況下，再做Y2而多得到的關(guān)于X的信息量歡迎下載！第三章3.1設(shè)二元對(duì)稱信道的傳遞矩陣為(1)若P(0)=3/4,P(1)=1/4，求H(X),H(X/Y),H(Y/X)和I(X;Y)；(2)求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布；解：1)2)其最佳輸入分布為3-2某信源發(fā)送端有2個(gè)符號(hào)，，i＝1，2；，每秒發(fā)出一個(gè)符號(hào)。接受端有3種符號(hào)，j＝1，2，3，轉(zhuǎn)移概率矩陣為。計(jì)算接受端的平均不確定度；計(jì)算由于噪聲產(chǎn)生的不確定度；計(jì)算信道容量。解：聯(lián)合概率X Y0則Y的概率分布為Y（1）取2為底（2）取2為底取e為底=03.3在有擾離散信道上傳輸符號(hào)0和1，在傳輸過(guò)程中每100個(gè)符號(hào)發(fā)生一個(gè)錯(cuò)誤，已知P(0)=P(1)=1/2，信源每秒內(nèi)發(fā)出1000個(gè)符號(hào)，求此信道的信道容量。解：由題意可知該二元信道的轉(zhuǎn)移概率矩陣為： 為一個(gè)BSC信道所以由BSC信道的信道容量計(jì)算公式得到：3.4求圖中信道的信道容量及其最佳的輸入概率分布.并求當(dāng)=0和1/2時(shí)的信道容量C的大小。XX0Y0111221－1－解:信道矩陣P=,此信道為非奇異矩陣,又r=s,可利用方程組求解=(i=1,2,3)解得所以C=log=log[20+2×2(1-)log(1-)+]=log[1+21-H()]=log[1+2]而(j=1,2,3)得所以P(a1)=P(b1)=當(dāng)=0時(shí),此信道為一一對(duì)應(yīng)信道,得C=log3,當(dāng)=1/2時(shí),得C=log2,,3.5求下列二個(gè)信道的信道容量，并加以比較（1）（2） 其中p+=1解：（1）此信道是準(zhǔn)對(duì)稱信道，信道矩陣中Y可劃分成三個(gè)互不相交的子集由于集列所組成的矩陣,而這兩個(gè)子矩陣滿足對(duì)稱性，因此可直接利用準(zhǔn)對(duì)稱信道的信道容量公式進(jìn)行計(jì)算。C1=logr-H(p1’p2’p3其中r=2,N1=M1=1-2N2=M2=4所以C1=log2-H(,p-ε,2ε)-(1-2)log(1-2)-2log4=log2+()log()+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε=log2-2εlog2-(1-2ε)log(1-2ε)+()log()+(p-ε)log(p-ε)=(1-2ε)log2/(1-2ε)+()log()+(p-)log(p-)輸入等概率分布時(shí)達(dá)到信道容量。（2）此信道也是準(zhǔn)對(duì)稱信道，也可采用上述兩種方法之一來(lái)進(jìn)行計(jì)算。先采用準(zhǔn)對(duì)稱信道的信道容量公式進(jìn)行計(jì)算，此信道矩陣中Y可劃分成兩個(gè)互不相交的子集，由子集列所組成的矩陣為，這兩矩陣為對(duì)稱矩陣其中r=2,N1=M1=1-2N2=M2=2，所以C=logr-H(-,p-ε,2ε,0)-=log2+(-)log(-)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε=log2-(1-2ε)log(1-2ε)+(-)log(-)+(p-ε)log(p-ε)=(1-2ε)log2/(1-2ε)+2εlog2+(-)log(-)+(p-ε)log(p-ε)=C1+2εlog2輸入等概率分布（P（a1）=P（a2）=1/2）時(shí)達(dá)到此信道容量。比較此兩信道容量，可得C2=C1+2εlog23-6設(shè)有擾離散信道的傳輸情況分別如圖3－17所示。求出該信道的信道容量。解：對(duì)稱信道取2為底bit/符號(hào)3-7(1)條件概率，聯(lián)合概率，后驗(yàn)概率，，（2）H(Y/X)=（3）當(dāng)接收為y2，發(fā)為x1時(shí)正確，如果發(fā)的是x1和x3為錯(cuò)誤，各自的概率為：P(x1/y2)=，P(x2/y2)=，P(x3/y2)=其中錯(cuò)誤概率為：Pe=P(x1/y2)+P(x3/y2)=（4）平均錯(cuò)誤概率為（5）仍為0.733（6）此信道不好原因是信源等概率分布，從轉(zhuǎn)移信道來(lái)看正確發(fā)送的概率x1-y1的概率0.5有一半失真x2-y2的概率0.3有失真嚴(yán)重x3-y3的概率0完全失真（7）H(X/Y)=3.8設(shè)加性高斯白噪聲信道中，信道帶寬3kHz，又設(shè){(信號(hào)功率+噪聲功率)/噪聲功率}=10dB。試計(jì)算該信道的最大信息傳輸速率Ct。解：3.9在圖片傳輸中，每幀約有2.25106個(gè)像素，為了能很好地重現(xiàn)圖像，能分16個(gè)亮度電平，并假設(shè)亮度電平等概分布。試計(jì)算每分鐘傳送一幀圖片所需信道的帶寬（信噪功率比為30dB）。解：3-10一個(gè)平均功率受限制的連續(xù)信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。（1）已知信道上的信號(hào)與噪聲的平均功率比值為10，求該信道的信道容量；（2）信道上的信號(hào)與噪聲的平均功率比值降至5，要達(dá)到相同的信道容量，信道通頻帶應(yīng)為多大？（3）若信道通頻帶減小為0.5MHZ時(shí)，要保持相同的信道容量，信道上的信號(hào)與噪聲的平均功率比值應(yīng)等于多大？解：（1）（2）（3）歡迎下載！第四章4.2某二元信源其失真矩陣為求這信源的Dmax和Dmin和R(D)函數(shù)。解：因?yàn)槎雀判旁绰适д婧瘮?shù)：其中n=2,所以率失真函數(shù)為：4.3一個(gè)四元對(duì)稱信源，接收符號(hào)Y={0,1,2,3}，其失真矩陣為，求Dmax和Dmin及信源的R(D)函數(shù)，并畫(huà)出其曲線（取4至5個(gè)點(diǎn)）。解：因?yàn)閚元等概信源率失真函數(shù)：其中a=1,n=4,所以率失真函數(shù)為：函數(shù)曲線：其中：4-3信源熵為Dmax=min{,,,}R(Dmax)=0Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2只要滿足p(y1)+p(y2)+p(y3)+p(y4)=1在[0,1]區(qū)間可以任意取值。歡迎下載！第五章5-1將下表所列的某六進(jìn)制信源進(jìn)行二進(jìn)制編碼，試問(wèn)：消息概率u1u2u3u4u5u61/21/41/161/161/161/160000010100111001010010110111011110111110101101110111101111100101101110010011111100000101011011001001100101110111這些碼中哪些是唯一可譯碼？哪些碼是非延長(zhǎng)碼？對(duì)所有唯一可譯碼求出其平均碼長(zhǎng)和編譯效率。解：首先，根據(jù)克勞夫特不等式，找出非唯一可譯碼不是唯一可譯碼，而：又根據(jù)碼樹(shù)構(gòu)造碼字的方法，，的碼字均處于終端節(jié)點(diǎn)他們是即時(shí)碼5-2(1)因?yàn)锳,B,C,D四個(gè)字母,每個(gè)字母用兩個(gè)碼,每個(gè)碼為0.5ms,所以每個(gè)字母用10ms當(dāng)信源等概率分布時(shí),信源熵為H(X)=log(4)=2平均信息傳遞速率為bit/ms=200bit/s(2)信源熵為H(X)==0.198bit/ms=198bit/s5-5(1)H(U)=(2)每個(gè)信源使用3個(gè)二進(jìn)制符號(hào),出現(xiàn)0的次數(shù)為出現(xiàn)1的次數(shù)為P(0)=P(1)=(3)(4)相應(yīng)的香農(nóng)編碼信源符號(hào)xi符號(hào)概率pi累加概率Pi-Logp(xi)碼長(zhǎng)Ki碼字x11/20110x21/40.52210x31/80.7533110x41/160.875441110x51/320.9385511110x61/640.96966111110x71/1280.984771111110x8