信息理論及編碼參考答案

1、. 2.3 一副充分洗亂的牌含52，試問(wèn)：1任一特定排列所給出的不確定性是多少？2隨機(jī)抽取13牌，13牌的點(diǎn)數(shù)互不一樣時(shí)的不確定性是多少？ 解：152撲克牌可以按不同的順序排列，所有可能的不同排列數(shù)就是全排列種數(shù)，為因?yàn)閾淇伺瞥浞窒磥y，任一特定排列出現(xiàn)的概率相等，設(shè)事件A為任一特定排列，則其發(fā)生概率為可得，該排列發(fā)生所給出的信息量為 bit dit2設(shè)事件B為從中抽取13牌，所給出的點(diǎn)數(shù)互不一樣。 撲克牌52中抽取13，不考慮排列順序，共有種可能的組合。13牌點(diǎn)數(shù)互不一樣意味著點(diǎn)數(shù)包括A，2，K，而每一種點(diǎn)數(shù)有4種不同的花色意味著每個(gè)點(diǎn)數(shù)可以取4中花色。所以13牌中所有的點(diǎn)數(shù)都不一樣的組合數(shù)為

2、。因?yàn)槊糠N組合都是等概率發(fā)生的，所以則發(fā)生事件B所得到的信息量為 bit dit2.5 設(shè)在一只布袋中裝有100只對(duì)人手的感覺(jué)完全一樣的木球，每只上涂有1種顏色。100只球的顏色有以下三種情況：(1) 紅色球和白色球各50只；(2) 紅色球99只，白色球1只；(3) 紅，黃，藍(lán)，白色各25只。求從布袋中隨意取出一只球時(shí)，猜想其顏色所需要的信息量。解：猜想木球顏色所需要的信息量等于木球顏色的不確定性。令R取到的是紅球，W取到的是白球，Y取到的是黃球，B取到的是藍(lán)球。1假設(shè)布袋中有紅色球和白色球各50只，即則 bit2假設(shè)布袋中紅色球99只，白色球1只，即則 bitbit3假設(shè)布袋中有紅，黃，藍(lán)，

3、白色各25只，即則 bit2.7 設(shè)信源為求，井解釋為什么，不滿(mǎn)足信源熵的極值性。解： bit/symbol不滿(mǎn)足極值性的原因是，不滿(mǎn)足概率的完備性。2.8 大量統(tǒng)計(jì)說(shuō)明，男性紅綠色盲的發(fā)病率為7%，女性發(fā)病率為0.5%，如果你問(wèn)一位男同志是否為紅綠色盲，他答復(fù)是或否。1這二個(gè)答復(fù)中各含多少信息量2平均每個(gè)答復(fù)中含有多少信息量3如果你問(wèn)一位女同志，則答案中含有的平均信息量是多少解：對(duì)于男性，是紅綠色盲的概率記作，不是紅綠色盲的概率記作，這兩種情況各含的信息量為 bit bit平均每個(gè)答復(fù)中含有的信息量為 bit/答復(fù)對(duì)于女性，是紅綠色盲的概率記作，不是紅綠色盲的記作，則平均每個(gè)答復(fù)中含有的信息

4、量為 bit/答復(fù)聯(lián)合熵和條件熵2.9 任意三個(gè)離散隨機(jī)變量、和，求證：。證明：方法一：要證明不等式成立，等價(jià)證明下式成立：根據(jù)熵函數(shù)的定義得證方法二：因?yàn)樗裕笞C不等式等價(jià)于因?yàn)闂l件多的熵不大于條件少的熵，上式成立，原式得證。2.11 設(shè)隨機(jī)變量和的聯(lián)合概率空間為定義一個(gè)新隨機(jī)變量普通乘積。 1計(jì)算熵、以及；2計(jì)算條件熵、以及；3計(jì)算互信息量、以及； 解 1 bit/symbol bit/symbol可得的概率空間如下由得由對(duì)稱(chēng)性可得2H-H=H-H根據(jù)對(duì)稱(chēng)性，H=HH=H-HH=H-H根據(jù)對(duì)稱(chēng)性，H=HH=HH=H-H根據(jù)對(duì)稱(chēng)性，把*和Y互換得H=HH=H-H(3)根據(jù)對(duì)稱(chēng)性，得根據(jù)對(duì)稱(chēng)

5、性得2.17 設(shè)信源發(fā)出二次擴(kuò)展消息,其中第一個(gè)符號(hào)為A、B、C三種消息，第二個(gè)符號(hào)為D、E、F、G四種消息，概率和如下：ABC 1/2 1/3 1/6D 1/4 3/10 1/6E 1/4 1/5 1/2F 1/4 1/5 1/6G 1/4 3/10 1/6求二次擴(kuò)展信源的聯(lián)合熵。解：聯(lián)合概率為可得*,Y的聯(lián)合概率分布如下：ABCD 1/8 1/10 1/36E 1/8 1/15 1/12F 1/8 1/15 1/36G 1/8 1/10 1/36所以2.19 設(shè)*離散平穩(wěn)信源，概率空間為并設(shè)信源發(fā)出的符號(hào)只與前一個(gè)相鄰符號(hào)有關(guān)，其聯(lián)合概率為如下表所示：0120 1/4 1/1801 1/1

6、8 1/3 1/1820 1/18 7/36求信源的信息熵、條件熵與聯(lián)合熵，并比擬信息熵與條件熵的大小。解：邊緣分布為條件概率如下表：0120 9/11 1/801 2/11 3/4 2/920 1/8 7/9所以信源熵為條件熵：可知因?yàn)闊o(wú)條件熵不小于條件熵，也可以得出如上結(jié)論。聯(lián)合熵：說(shuō)明：1符號(hào)之間的相互依賴(lài)性造成了信源的條件熵比信源熵少。2聯(lián)合熵表示平均每?jī)蓚€(gè)信源符號(hào)所攜帶的信息量。平均每一個(gè)信源符號(hào)所攜帶的信息量近似為原因在于考慮了符號(hào)間的統(tǒng)計(jì)相關(guān)性，平均每個(gè)符號(hào)的不確定度就會(huì)小于不考慮符號(hào)相關(guān)性的不確定度。2.20 黑白氣象 圖的消息只有黑色B和白色W兩種，即信源，設(shè)黑色出現(xiàn)的概率為

7、，白色的出現(xiàn)概率為。1假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求熵2假設(shè)圖上黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴(lài)關(guān)系為，求此一階馬爾可夫信源的熵。3分別求上述兩種信源的剩余度，并比擬和的大小，試說(shuō)明其物理意義。解：1假設(shè) 圖上黑白消息沒(méi)有關(guān)聯(lián)，則等效于一個(gè)DMS，則信源概率空間為信源熵為2該一階馬爾可夫信源的狀態(tài)空間集為根據(jù)題意可得狀態(tài)的一步轉(zhuǎn)移矩陣狀態(tài)極限概率滿(mǎn)足即可以解得，該一階馬爾可夫信源的熵為3黑白消息信源的剩余度為一階馬爾可夫信源的剩余度為由前兩小題中計(jì)算的和比擬可知該結(jié)果說(shuō)明：當(dāng)信源的消息符號(hào)之間有依賴(lài)時(shí)，信源輸出消息的不確定性降低。所以，信源消息之間有依賴(lài)時(shí)信源熵小于信源消息之間無(wú)依賴(lài)時(shí)信源

8、熵。這說(shuō)明信源熵反映了信源的平均不確定性的大小。而信源剩余度反映了信源消息依賴(lài)關(guān)系的強(qiáng)弱，剩余度越大，信源消息之間依賴(lài)關(guān)系就越大。2.23 設(shè)信源為試求：信源的熵、信息含量效率以及冗余度；求二次和三次擴(kuò)展信源的概率空間和熵。解：1假設(shè)*為DMS，則可得二次擴(kuò)展信源的概率空間2次擴(kuò)展信源的熵為三次擴(kuò)展信源的概率空間及熵為2.18 設(shè)有一個(gè)信源，它產(chǎn)生0，1符號(hào)的信息。它在任意時(shí)間而且不管以前發(fā)生過(guò)什么符號(hào)，均按的概率發(fā)出符號(hào)。1試問(wèn)這個(gè)信源是否是平穩(wěn)的？2試計(jì)算,及；3試計(jì)算并寫(xiě)出信源中可能有的所有符號(hào)。解：該信源在任何時(shí)刻發(fā)出的符號(hào)概率都是一樣的，即信源發(fā)出符號(hào)概率分布與時(shí)間起點(diǎn)無(wú)關(guān)，因此這個(gè)

9、信源是平穩(wěn)信源。又因?yàn)樾旁窗l(fā)出的符號(hào)之間彼此獨(dú)立。所以該信源也是離散無(wú)記憶信源。2信源無(wú)記憶3信源無(wú)記憶的所有符號(hào)：2.23 設(shè)信源為試求：信源的熵、信息含量效率以及冗余度；求二次和三次擴(kuò)展信源的概率空間和熵。解：1假設(shè)*為DMS，則可得二次擴(kuò)展信源的概率空間2次擴(kuò)展信源的熵為三次擴(kuò)展信源的概率空間及熵為2.25 設(shè)連續(xù)隨機(jī)變量*的概率密度函數(shù)為求*的熵；求的熵；求的熵。解：1因?yàn)樗怨?首先求得Y的分布函數(shù)Y的概率密度為Y的微分熵為令因?yàn)?，關(guān)于Y沒(méi)有不確定，常數(shù)A不會(huì)增加不確定度，所以從熵的概念上也可判斷此時(shí)3首先求得Y的分布函數(shù)Y的概率密度為Y的微分熵為令3.2 信道線(xiàn)圖如下，試確定該信

10、道的轉(zhuǎn)移概率矩陣 解：按照轉(zhuǎn)移矩陣的排列原則：行對(duì)應(yīng)輸入符號(hào)，列對(duì)應(yīng)輸出符號(hào)3.3 的轉(zhuǎn)移矩陣如下1畫(huà)出信道線(xiàn)圖；2假設(shè)輸入概率為，求聯(lián)合概率、輸出概率以及后驗(yàn)概率。解：12乘以的第1行，乘以的第2行，得聯(lián)合概率矩陣：的各列元素相加得對(duì)應(yīng)的輸出概率，寫(xiě)成矩陣形式：的各列元素除以對(duì)應(yīng)的輸出概率，得后驗(yàn)概率矩陣：3.4 設(shè)離散無(wú)記憶信源通過(guò)離散無(wú)記憶信道傳送信息，設(shè)信源的概率分布和信道的線(xiàn)圖分別為試求：1信源的符號(hào)和分別含有的自信息；2從輸出符號(hào)所獲得的關(guān)于輸入符號(hào)的信息量；3信源和信道輸出的熵；4信道疑義度和噪聲熵；5從信道輸出中獲得的平均互信息量。解：(1) /符號(hào)/符號(hào) (2)=/符號(hào) =/

11、符號(hào) =/符號(hào)=/符號(hào)(3) /符號(hào)/符號(hào)(4)、(5)/符號(hào)/符號(hào)/符號(hào)/符號(hào)又根據(jù) =/符號(hào)3.6 舉出以下信道的實(shí)例，給出線(xiàn)圖和轉(zhuǎn)移矩陣。1無(wú)損的，但不是確定的，也不是對(duì)稱(chēng)的；2準(zhǔn)對(duì)稱(chēng)且無(wú)損，但不是確定的；3無(wú)損確實(shí)定信道。解：(1) 滿(mǎn)足無(wú)損，(不確定)，不具有行列排列性，線(xiàn)圖和轉(zhuǎn)移矩陣如下(2) 無(wú)損要求；不確定要求，具有行排列性，線(xiàn)圖和轉(zhuǎn)移矩陣如下：(3) 無(wú)損、確定信道的線(xiàn)圖和轉(zhuǎn)移矩陣如下3.7 求以下兩個(gè)信道的信道容量和最正確輸入分布，并加以比擬。其中。解：方法一：利用一般DMC信道容量解的充要條件，計(jì)算各偏互信息，并使之均等于信道容量C，再結(jié)合輸出概率的完備性，可以解出信道容

12、量，最后利用全概率公式得出最正確輸入分布。該方法通用，但過(guò)程繁瑣。方法二：觀察發(fā)現(xiàn)此信道是準(zhǔn)對(duì)稱(chēng)信道。信道矩陣中可劃分為二個(gè)互不相交的子集，如下：，而這兩個(gè)子矩陣滿(mǎn)足對(duì)稱(chēng)性，因此，可直接利用準(zhǔn)對(duì)稱(chēng)信道的信道容量公式進(jìn)展計(jì)算。其中n=2, ，, ，所以輸入等概率分布時(shí)到達(dá)信道容量。2此信道也是準(zhǔn)對(duì)稱(chēng)信道，現(xiàn)采用準(zhǔn)對(duì)稱(chēng)信道的信道容量公式進(jìn)展計(jì)算。此信道矩陣中可劃分成兩個(gè)互不相交的子集為，這兩矩陣為對(duì)稱(chēng)矩陣。其中 n=2， ，所以輸入等概率分布時(shí)到達(dá)此信道容量。兩個(gè)信道的噪聲熵相等但第二個(gè)信道的輸出符號(hào)個(gè)數(shù)較多，輸出熵較大，故信道容量也較大。3.8 求以下二個(gè)信道的信道容量及其最正確的輸入概率分布。

13、解：圖中2個(gè)信道的信道矩陣為矩陣為行列排列陣，其滿(mǎn)足對(duì)稱(chēng)性，所以這兩信道是對(duì)稱(chēng)離散信道。由對(duì)稱(chēng)離散信道的信道容量公式得 比特/符號(hào)特/符號(hào)最正確輸入分布是輸入為等概率分布。3.9 設(shè)信道轉(zhuǎn)移矩陣為1求信道容量和最正確輸入分布的一般表達(dá)式；2當(dāng)和時(shí)，信道容量分別為多少？并針對(duì)計(jì)算結(jié)果作一些說(shuō)明。解：1該信道屬一般信道，設(shè)最正確輸入分布為，三個(gè)輸入概率外加信道容量，共4個(gè)參數(shù)，需列4個(gè)方程。由定理3.6，有化簡(jiǎn)得解得轉(zhuǎn)移概率，輸出分布已求出，根據(jù)可求出。解得2 當(dāng)p=0,此信道為一一對(duì)應(yīng)信道，得 bit/信道符號(hào)，最正確輸入分布為當(dāng)時(shí)，=1 bit/信道符號(hào)，最正確輸入分布為，p=0時(shí)，信道為確定無(wú)損信道，可以從輸出端得到信源的全部信息量，信源的最大熵即為信道容量。但時(shí)，信道存在干