第二章 信源熵-習(xí)題答案

1、2.1 試問(wèn)四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？解：四進(jìn)制脈沖可以表示4個(gè)不同的消息，例如：0, 1, 2, 3八進(jìn)制脈沖可以表示8個(gè)不同的消息，例如：0, 1, 2, 3, 4, 5, 6, 7二進(jìn)制脈沖可以表示2個(gè)不同的消息，例如：0, 1假設(shè)每個(gè)消息的發(fā)出都是等概率的，則：四進(jìn)制脈沖的平均信息量H(X1) = log2n = log24 = 2 bit/symbol八進(jìn)制脈沖的平均信息量H(X2) = log2n = log28 = 3 bit/symbol二進(jìn)制脈沖的平均信息量H(X0) = log2n = log22 = 1 bit/symbol所以：四進(jìn)制、八進(jìn)制脈沖

2、所含信息量分別是二進(jìn)制脈沖信息量的2倍和3倍。2.2 居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息，問(wèn)獲得多少信息量？解：設(shè)隨機(jī)變量X代表女孩子學(xué)歷Xx1（是大學(xué)生）x2（不是大學(xué)生）P(X)0.250.75設(shè)隨機(jī)變量Y代表女孩子身高Yy1（身高>160cm）y2（身高<160cm）P(Y)0.50.5已知：在女大學(xué)生中有75%是身高160厘米以上的即：p(y1/ x1) = 0.75求：身高160厘米以上的某女孩是大學(xué)生的信息量即：2.3 一副充

3、分洗亂了的牌（含52張牌），試問(wèn)(1) 任一特定排列所給出的信息量是多少？(2) 若從中抽取13張牌，所給出的點(diǎn)數(shù)都不相同能得到多少信息量？解：(1) 52張牌共有52！種排列方式，假設(shè)每種排列方式出現(xiàn)是等概率的則所給出的信息量是：(2) 52張牌共有4種花色、13種點(diǎn)數(shù)，抽取13張點(diǎn)數(shù)不同的牌的概率如下：2.4 設(shè)離散無(wú)記憶信源，其發(fā)出的信息為(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符號(hào)攜帶的信息量是多少？解：(1) 此消息總共有14個(gè)0、13個(gè)1、12個(gè)2、6個(gè)3，因此此消息發(fā)出

4、的概率是：此消息的信息量是：(2) 此消息中平均每符號(hào)攜帶的信息量是：2.5 從大量統(tǒng)計(jì)資料知道，男性中紅綠色盲的發(fā)病率為7%，女性發(fā)病率為0.5%，如果你問(wèn)一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，問(wèn)這兩個(gè)回答中各含多少信息量，平均每個(gè)回答中含有多少信息量？如果問(wèn)一位女士，則答案中含有的平均自信息量是多少？解：男士：女士：2.6 設(shè)信源，求這個(gè)信源的熵，并解釋為什么H(X) > log6不滿(mǎn)足信源熵的極值性。解：不滿(mǎn)足極值性的原因是。2.7 證明：H(X3/X1X2) H(X3/X1)，并說(shuō)明當(dāng)X1, X2, X3是馬氏鏈時(shí)等式成立。證明：2.8證明：H(X1X2

5、 。 Xn) H(X1) + H(X2) + + H(Xn)。證明：2.9 設(shè)有一個(gè)信源，它產(chǎn)生0，1序列的信息。它在任意時(shí)間而且不論以前發(fā)生過(guò)什么符號(hào)，均按P(0) = 0.4，P(1) = 0.6的概率發(fā)出符號(hào)。(1) 試問(wèn)這個(gè)信源是否是平穩(wěn)的？(2) 試計(jì)算H(X2), H(X3/X1X2)及H；(3) 試計(jì)算H(X4)并寫(xiě)出X4信源中可能有的所有符號(hào)。解：(1) 這個(gè)信源是平穩(wěn)無(wú)記憶信源。因?yàn)橛羞@些詞語(yǔ)：“它在任意時(shí)間而且不論以前發(fā)生過(guò)什么符號(hào)”(2) (3) 2.10 一階馬爾可夫信源的狀態(tài)圖如下圖所示。信源X的符號(hào)集為0, 1, 2。(1) 求平穩(wěn)后信源的概率分布；(2) 求信源的

6、熵H。解：(1)(2)2.11黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X=黑，白。設(shè)黑色出現(xiàn)的概率為P(黑) = 0.3，白色出現(xiàn)的概率為P(白) = 0.7。(1) 假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求熵H(X)；(2) 假設(shè)消息前后有關(guān)聯(lián)，其依賴(lài)關(guān)系為P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此一階馬爾可夫信源的熵H2(X);(3) 分別求上述兩種信源的剩余度，比較H(X)和H2(X)的大小，并說(shuō)明其物理含義。解：(1)(2) (3)H(X) > H2(X)表示的物理含義是：無(wú)記憶信源的不確定度大與有記憶信源的不確

7、定度，有記憶信源的結(jié)構(gòu)化信息較多，能夠進(jìn)行較大程度的壓縮。2.12 同時(shí)擲出兩個(gè)正常的骰子，也就是各面呈現(xiàn)的概率都為1/6，求：(1) “3和5同時(shí)出現(xiàn)”這事件的自信息；(2) “兩個(gè)1同時(shí)出現(xiàn)”這事件的自信息；(3) 兩個(gè)點(diǎn)數(shù)的各種組合（無(wú)序）對(duì)的熵和平均信息量；(4) 兩個(gè)點(diǎn)數(shù)之和（即2, 3, , 12構(gòu)成的子集）的熵；(5) 兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息量。解：(1)(2)(3)兩個(gè)點(diǎn)數(shù)的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21種組合：其中11，22，33，44

8、，55，66的概率是其他15個(gè)組合的概率是(4)參考上面的兩個(gè)點(diǎn)數(shù)的排列，可以得出兩個(gè)點(diǎn)數(shù)求和的概率分布如下：(5) 2.13 某一無(wú)記憶信源的符號(hào)集為0, 1，已知P(0) = 1/4，P(1) = 3/4。(1) 求符號(hào)的平均熵；(2) 有100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列（例如有m個(gè)“0”和（100 - m）個(gè)“1”）的自信息量的表達(dá)式；(3) 計(jì)算(2)中序列的熵。解：(1)(2) (3) 2.14 對(duì)某城市進(jìn)行交通忙閑的調(diào)查，并把天氣分成晴雨兩種狀態(tài)，氣溫分成冷暖兩個(gè)狀態(tài)，調(diào)查結(jié)果得聯(lián)合出現(xiàn)的相對(duì)頻度如下：若把這些頻度看作概率測(cè)度，求：(1) 忙閑的無(wú)條件熵；(2) 天氣狀態(tài)和氣

9、溫狀態(tài)已知時(shí)忙閑的條件熵；(3) 從天氣狀態(tài)和氣溫狀態(tài)獲得的關(guān)于忙閑的信息。解：(1)根據(jù)忙閑的頻率，得到忙閑的概率分布如下： (2) 設(shè)忙閑為隨機(jī)變量X，天氣狀態(tài)為隨機(jī)變量Y，氣溫狀態(tài)為隨機(jī)變量Z(3) 2.15 有兩個(gè)二元隨機(jī)變量X和Y，它們的聯(lián)合概率為Y Xx1=0x2=1y1=01/83/8y2=13/81/8并定義另一隨機(jī)變量Z = XY（一般乘積），試計(jì)算：(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z

10、/XY)；(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。解：(1)Z = XY的概率分布如下：(2)(3)2.16 有兩個(gè)隨機(jī)變量X和Y，其和為Z = X + Y（一般加法），若X和Y相互獨(dú)立，求證：H(X) H(Z), H(Y) H(Z)。證明：同理可得。2.17 給定聲音樣值X的概率密度為拉普拉斯分布，求Hc(X)，并證明它小于同樣方差的正態(tài)變量的連續(xù)熵。解：2.18 連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為：，求H(X), H(Y), H(XYZ)和I(X;Y)。（提示：）解：2.19 每幀電視圖像可以認(rèn)為是由3Í105個(gè)像素組成的，所有像素均是獨(dú)立變化，且每像素又取128個(gè)不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問(wèn)每幀圖像含有多少信息量？若有一個(gè)廣播員，在約10000個(gè)漢字中選出1000個(gè)漢字來(lái)口述此電視圖像，試問(wèn)廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無(wú)依賴(lài)）？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？解：1)2)3)2.20 設(shè)是平穩(wěn)離散有記憶信源，試證明：。證明：2.21 設(shè)是N維高斯分布的連續(xù)信源，且X1, X2, ,