第3章離散信源習(xí)題與答案

1、3.1 設(shè)有一離散無記憶信源，其概率空間為該信源發(fā)出的信息序列為(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。求：(1) 此消息的自信息量是多少？(2) 此消息中平均每符號攜帶的信息量是多少？解：(1) 此消息總共有14個0、13個1、12個2、6個3，因此消息發(fā)出的概率是：此消息的信息量是：(2) 此消息中平均每符號攜帶的信息量是：3.2 某一無記憶信源的符號集為0, 1，已知信源的概率空間為(1) 求信息符號的平均熵；(2) 由100個符號構(gòu)成的序列，求某一特定序列（例如有m個“0”和（100 - m）個“1”）

2、的自信息量的表達(dá)式；(3) 計(jì)算(2)中序列的熵。解：(1)(2) (3) 3.5 某信源的消息符號集的概率分布和二進(jìn)制代碼如題表3.2所列。題表 3.2信源1/21/41/81/8代碼010110111(1) 求信息的符號熵；(2) 求每個消息符號所需要的平均二進(jìn)制碼的個數(shù)或平均代碼長度。進(jìn)而用這一結(jié)果求碼序列中的一個二進(jìn)制碼的熵；(3) 當(dāng)消息是由符號序列組成時，各符號之間若相互獨(dú)立，求其對應(yīng)的二進(jìn)制碼序列中出現(xiàn)0和1的無條件概率和，求相鄰碼間的條件概率、。解：(1) (2) (3) 設(shè)消息序列長為，則、的個數(shù)分別為個。則0的個數(shù)為而1的個數(shù)為因而3.7 設(shè)有一個信源，它產(chǎn)生0，1序列的信

3、息。該信源在任意時間而且不論以前發(fā)生過什么消息符號，均按P(0) = 0.4，P(1) = 0.6的概率發(fā)出符號。(1) 試問這個信源是否是平穩(wěn)的；(2) 試計(jì)算H(X2), H(X3/X1X2)及H；(3) 試計(jì)算H(X4)并寫出X4信源中可能有的所有符號。解：(1) 這個信源是平穩(wěn)無記憶信源。因?yàn)橛羞@些詞語：“它在任意時間而且不論以前發(fā)生過什么符號”(2) (3) 3.11 有一馬爾可夫信源，已知轉(zhuǎn)移概率為，。試畫出狀態(tài)轉(zhuǎn)移圖，并求出信源熵。解：3.21黑白傳真機(jī)的信息元只有黑色和白色兩種X=黑，白，一般氣象圖上黑色出現(xiàn)的概率為P(黑) = 0.3，白色出現(xiàn)的概率為P(白) = 0.7，黑白消息前后沒有關(guān)聯(lián)，其轉(zhuǎn)移概率為P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8。求該一階馬爾可夫信源的不確定性H(X/X)，并畫出該信源的狀態(tài)轉(zhuǎn)移圖。解：3.23 設(shè)信源產(chǎn)生A, B, C三種符號，。試計(jì)算冗余度。解：3.26 一階馬爾可夫信源的狀態(tài)圖如下