信息理論及編碼參考答案

1、. 2.3 一副充分洗亂的牌含52，試問：1任一特定排列所給出的不確定性是多少？2隨機(jī)抽取13牌，13牌的點(diǎn)數(shù)互不一樣時的不確定性是多少？ 解：152撲克牌可以按不同的順序排列，所有可能的不同排列數(shù)就是全排列種數(shù)，為因?yàn)閾淇伺瞥浞窒磥y，任一特定排列出現(xiàn)的概率相等，設(shè)事件A為任一特定排列，則其發(fā)生概率為可得，該排列發(fā)生所給出的信息量為 bit dit2設(shè)事件B為從中抽取13牌，所給出的點(diǎn)數(shù)互不一樣。 撲克牌52中抽取13，不考慮排列順序，共有種可能的組合。13牌點(diǎn)數(shù)互不一樣意味著點(diǎn)數(shù)包括A，2，K，而每一種點(diǎn)數(shù)有4種不同的花色意味著每個點(diǎn)數(shù)可以取4中花色。所以13牌中所有的點(diǎn)數(shù)都不一樣的組合數(shù)為

2、。因?yàn)槊糠N組合都是等概率發(fā)生的，所以則發(fā)生事件B所得到的信息量為 bit dit2.5 設(shè)在一只布袋中裝有100只對人手的感覺完全一樣的木球，每只上涂有1種顏色。100只球的顏色有以下三種情況：(1) 紅色球和白色球各50只；(2) 紅色球99只，白色球1只；(3) 紅，黃，藍(lán)，白色各25只。求從布袋中隨意取出一只球時，猜想其顏色所需要的信息量。解：猜想木球顏色所需要的信息量等于木球顏色的不確定性。令R取到的是紅球，W取到的是白球，Y取到的是黃球，B取到的是藍(lán)球。1假設(shè)布袋中有紅色球和白色球各50只，即則 bit2假設(shè)布袋中紅色球99只，白色球1只，即則 bitbit3假設(shè)布袋中有紅，黃，藍(lán)，

3、白色各25只，即則 bit2.7 設(shè)信源為求，井解釋為什么，不滿足信源熵的極值性。解： bit/symbol不滿足極值性的原因是，不滿足概率的完備性。2.8 大量統(tǒng)計(jì)說明，男性紅綠色盲的發(fā)病率為7%，女性發(fā)病率為0.5%，如果你問一位男同志是否為紅綠色盲，他答復(fù)是或否。1這二個答復(fù)中各含多少信息量2平均每個答復(fù)中含有多少信息量3如果你問一位女同志，則答案中含有的平均信息量是多少解：對于男性，是紅綠色盲的概率記作，不是紅綠色盲的概率記作，這兩種情況各含的信息量為 bit bit平均每個答復(fù)中含有的信息量為 bit/答復(fù)對于女性，是紅綠色盲的概率記作，不是紅綠色盲的記作，則平均每個答復(fù)中含有的信息

4、量為 bit/答復(fù)聯(lián)合熵和條件熵2.9 任意三個離散隨機(jī)變量、和，求證：。證明：方法一：要證明不等式成立，等價證明下式成立：根據(jù)熵函數(shù)的定義得證方法二：因?yàn)樗裕笞C不等式等價于因?yàn)闂l件多的熵不大于條件少的熵，上式成立，原式得證。2.11 設(shè)隨機(jī)變量和的聯(lián)合概率空間為定義一個新隨機(jī)變量普通乘積。 1計(jì)算熵、以及；2計(jì)算條件熵、以及；3計(jì)算互信息量、以及； 解 1 bit/symbol bit/symbol可得的概率空間如下由得由對稱性可得2H-H=H-H根據(jù)對稱性，H=HH=H-HH=H-H根據(jù)對稱性，H=HH=HH=H-H根據(jù)對稱性，把*和Y互換得H=HH=H-H(3)根據(jù)對稱性，得根據(jù)對稱

5、性得2.17 設(shè)信源發(fā)出二次擴(kuò)展消息,其中第一個符號為A、B、C三種消息，第二個符號為D、E、F、G四種消息，概率和如下：ABC 1/2 1/3 1/6D 1/4 3/10 1/6E 1/4 1/5 1/2F 1/4 1/5 1/6G 1/4 3/10 1/6求二次擴(kuò)展信源的聯(lián)合熵。解：聯(lián)合概率為可得*,Y的聯(lián)合概率分布如下：ABCD 1/8 1/10 1/36E 1/8 1/15 1/12F 1/8 1/15 1/36G 1/8 1/10 1/36所以2.19 設(shè)*離散平穩(wěn)信源，概率空間為并設(shè)信源發(fā)出的符號只與前一個相鄰符號有關(guān)，其聯(lián)合概率為如下表所示：0120 1/4 1/1801 1/1

6、8 1/3 1/1820 1/18 7/36求信源的信息熵、條件熵與聯(lián)合熵，并比擬信息熵與條件熵的大小。解：邊緣分布為條件概率如下表：0120 9/11 1/801 2/11 3/4 2/920 1/8 7/9所以信源熵為條件熵：可知因?yàn)闊o條件熵不小于條件熵，也可以得出如上結(jié)論。聯(lián)合熵：說明：1符號之間的相互依賴性造成了信源的條件熵比信源熵少。2聯(lián)合熵表示平均每兩個信源符號所攜帶的信息量。平均每一個信源符號所攜帶的信息量近似為原因在于考慮了符號間的統(tǒng)計(jì)相關(guān)性，平均每個符號的不確定度就會小于不考慮符號相關(guān)性的不確定度。2.20 黑白氣象 圖的消息只有黑色B和白色W兩種，即信源，設(shè)黑色出現(xiàn)的概率為

7、，白色的出現(xiàn)概率為。1假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵2假設(shè)圖上黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為，求此一階馬爾可夫信源的熵。3分別求上述兩種信源的剩余度，并比擬和的大小，試說明其物理意義。解：1假設(shè) 圖上黑白消息沒有關(guān)聯(lián)，則等效于一個DMS，則信源概率空間為信源熵為2該一階馬爾可夫信源的狀態(tài)空間集為根據(jù)題意可得狀態(tài)的一步轉(zhuǎn)移矩陣狀態(tài)極限概率滿足即可以解得，該一階馬爾可夫信源的熵為3黑白消息信源的剩余度為一階馬爾可夫信源的剩余度為由前兩小題中計(jì)算的和比擬可知該結(jié)果說明：當(dāng)信源的消息符號之間有依賴時，信源輸出消息的不確定性降低。所以，信源消息之間有依賴時信源熵小于信源消息之間無依賴時信源

8、熵。這說明信源熵反映了信源的平均不確定性的大小。而信源剩余度反映了信源消息依賴關(guān)系的強(qiáng)弱，剩余度越大，信源消息之間依賴關(guān)系就越大。2.23 設(shè)信源為試求：信源的熵、信息含量效率以及冗余度；求二次和三次擴(kuò)展信源的概率空間和熵。解：1假設(shè)*為DMS，則可得二次擴(kuò)展信源的概率空間2次擴(kuò)展信源的熵為三次擴(kuò)展信源的概率空間及熵為2.18 設(shè)有一個信源，它產(chǎn)生0，1符號的信息。它在任意時間而且不管以前發(fā)生過什么符號，均按的概率發(fā)出符號。1試問這個信源是否是平穩(wěn)的？2試計(jì)算,及；3試計(jì)算并寫出信源中可能有的所有符號。解：該信源在任何時刻發(fā)出的符號概率都是一樣的，即信源發(fā)出符號概率分布與時間起點(diǎn)無關(guān)，因此這個

9、信源是平穩(wěn)信源。又因?yàn)樾旁窗l(fā)出的符號之間彼此獨(dú)立。所以該信源也是離散無記憶信源。2信源無記憶3信源無記憶的所有符號：2.23 設(shè)信源為試求：信源的熵、信息含量效率以及冗余度；求二次和三次擴(kuò)展信源的概率空間和熵。解：1假設(shè)*為DMS，則可得二次擴(kuò)展信源的概率空間2次擴(kuò)展信源的熵為三次擴(kuò)展信源的概率空間及熵為2.25 設(shè)連續(xù)隨機(jī)變量*的概率密度函數(shù)為求*的熵；求的熵；求的熵。解：1因?yàn)樗怨?首先求得Y的分布函數(shù)Y的概率密度為Y的微分熵為令因?yàn)?，關(guān)于Y沒有不確定，常數(shù)A不會增加不確定度，所以從熵的概念上也可判斷此時3首先求得Y的分布函數(shù)Y的概率密度為Y的微分熵為令3.2 信道線圖如下，試確定該信

10、道的轉(zhuǎn)移概率矩陣 解：按照轉(zhuǎn)移矩陣的排列原則：行對應(yīng)輸入符號，列對應(yīng)輸出符號3.3 的轉(zhuǎn)移矩陣如下1畫出信道線圖；2假設(shè)輸入概率為，求聯(lián)合概率、輸出概率以及后驗(yàn)概率。解：12乘以的第1行，乘以的第2行，得聯(lián)合概率矩陣：的各列元素相加得對應(yīng)的輸出概率，寫成矩陣形式：的各列元素除以對應(yīng)的輸出概率，得后驗(yàn)概率矩陣：3.4 設(shè)離散無記憶信源通過離散無記憶信道傳送信息，設(shè)信源的概率分布和信道的線圖分別為試求：1信源的符號和分別含有的自信息；2從輸出符號所獲得的關(guān)于輸入符號的信息量；3信源和信道輸出的熵；4信道疑義度和噪聲熵；5從信道輸出中獲得的平均互信息量。解：(1) /符號/符號 (2)=/符號 =/

11、符號 =/符號=/符號(3) /符號/符號(4)、(5)/符號/符號/符號/符號又根據(jù) =/符號3.6 舉出以下信道的實(shí)例，給出線圖和轉(zhuǎn)移矩陣。1無損的，但不是確定的，也不是對稱的；2準(zhǔn)對稱且無損，但不是確定的；3無損確實(shí)定信道。解：(1) 滿足無損，(不確定)，不具有行列排列性，線圖和轉(zhuǎn)移矩陣如下(2) 無損要求；不確定要求，具有行排列性，線圖和轉(zhuǎn)移矩陣如下：(3) 無損、確定信道的線圖和轉(zhuǎn)移矩陣如下3.7 求以下兩個信道的信道容量和最正確輸入分布，并加以比擬。其中。解：方法一：利用一般DMC信道容量解的充要條件，計(jì)算各偏互信息，并使之均等于信道容量C，再結(jié)合輸出概率的完備性，可以解出信道容

12、量，最后利用全概率公式得出最正確輸入分布。該方法通用，但過程繁瑣。方法二：觀察發(fā)現(xiàn)此信道是準(zhǔn)對稱信道。信道矩陣中可劃分為二個互不相交的子集，如下：，而這兩個子矩陣滿足對稱性，因此，可直接利用準(zhǔn)對稱信道的信道容量公式進(jìn)展計(jì)算。其中n=2, ，, ，所以輸入等概率分布時到達(dá)信道容量。2此信道也是準(zhǔn)對稱信道，現(xiàn)采用準(zhǔn)對稱信道的信道容量公式進(jìn)展計(jì)算。此信道矩陣中可劃分成兩個互不相交的子集為，這兩矩陣為對稱矩陣。其中 n=2， ，所以輸入等概率分布時到達(dá)此信道容量。兩個信道的噪聲熵相等但第二個信道的輸出符號個數(shù)較多，輸出熵較大，故信道容量也較大。3.8 求以下二個信道的信道容量及其最正確的輸入概率分布。

13、解：圖中2個信道的信道矩陣為矩陣為行列排列陣，其滿足對稱性，所以這兩信道是對稱離散信道。由對稱離散信道的信道容量公式得 比特/符號特/符號最正確輸入分布是輸入為等概率分布。3.9 設(shè)信道轉(zhuǎn)移矩陣為1求信道容量和最正確輸入分布的一般表達(dá)式；2當(dāng)和時，信道容量分別為多少？并針對計(jì)算結(jié)果作一些說明。解：1該信道屬一般信道，設(shè)最正確輸入分布為，三個輸入概率外加信道容量，共4個參數(shù)，需列4個方程。由定理3.6，有化簡得解得轉(zhuǎn)移概率，輸出分布已求出，根據(jù)可求出。解得2 當(dāng)p=0,此信道為一一對應(yīng)信道，得 bit/信道符號，最正確輸入分布為當(dāng)時，=1 bit/信道符號，最正確輸入分布為，p=0時，信道為確定無損信道，可以從輸出端得到信源的全部信息量，信源的最大熵即為信道容量。但時，信道存在干