信息論與編碼課堂小測驗含答案

1、信息論與編碼課堂測驗Log 3 = 1.5851. 擲兩顆均勻的骰子，當(dāng)其向上的面的小圓點之和是3時，該消息包含的信息量是多少？當(dāng)小圓點之和是7時，該消息所包含的信息量又是多少？解：每顆骰子各有六面,每面分別有1、2、3、4、5、6個小圓點以示區(qū)分，又知兩顆骰子是均勻的，所以每個骰子每面出現(xiàn)的概率均為1/6,1） 因圓點之和為3的情況是（1,2）、（2,1）兩種情況，設(shè)x為圓點之和為3的情況，所以其出現(xiàn)的概率為：該消息自信息量2）因圓點之和為7的情況是（1,6）、（6,1）、（2,5）、（5,2）、（3,4）、（4,3）六種情況，設(shè)x為圓點之和為7的情況，所以其出現(xiàn)的概率為：該消息自信息量2.

2、 每幀電視圖像可以認(rèn)為是由3Í105個像素組成的，所有像素均是獨立變化，且每像素又取128個不同的亮度電平，并設(shè)亮度電平是等概率出現(xiàn)，問每幀圖像含有多少信息量？若有一個廣播員，在16384個漢字中選出1000個漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無依賴）？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？解：1) 因為每像素可取128個不同的亮度電平，并設(shè)亮度電平是等概率出現(xiàn).設(shè)X為像素這一信源，則其有128中等概率的不同亮度電平情況，所以像素的平均信息量為:每幀電視圖像由3Í105個像素組成，所有像素均是獨立

3、變化，所以每幀圖像是單個像素的3Í105次擴展，每幀圖像的平均信息量為:2) 16384個漢字等概率出現(xiàn)，每個漢字的平均信息量為：用1000個漢字描述該圖像，包含的信息量有（因為相互獨立，所以是1000次的擴展）：3)若要完整描述該圖像，需要的漢字?jǐn)?shù)為：3. 一階馬爾可夫信源消息集，狀態(tài)集，且令，條件轉(zhuǎn)移概率為，(1)畫出該馬氏鏈的狀態(tài)轉(zhuǎn)移圖；(2)計算信源的極限熵。解：(1)馬爾科夫鏈的狀態(tài)轉(zhuǎn)移圖如下：（2）令、根據(jù)狀態(tài)轉(zhuǎn)移圖得到以下聯(lián)立方程： 求解后，得到 各狀態(tài)條件熵為：H(X|S1) =H(1/4,1/4,1/2) =1.5比特/符號H(X|S2)=H(1/3,1/3,1/3

4、) =1.585比特/符號H(X|S3)=H(2/3,1/3) = 0.918比特/符號 所以該馬爾科夫信源極限熵為：比特/符號4. 設(shè)有一離散無記憶信源x1x2x3x4x5x6x73/81/43/163/323/641/321/64(1) 求信源熵H(X)。(2) 用哈夫曼編碼方法編成二元變長編碼。(3) 計算出其編碼效率。解：(1)(2)信源符號符號概率編 碼 過 程碼字碼長5/813/83/80x13/83/83/83/83/8112x21/41/41/41/41/41023/1601x33/163/163/163/160023/32011x43/323/323/3201033/6401

5、11x53/643/6401104x61/32011115X71/64011105 (3)編碼效率另解： (1)(2)信源符號符號概率編 碼 過 程碼字碼長x13/83/83/83/83/85/811x21/41/41/41/43/83/8012x33/163/163/163/161/40003x43/323/323/323/1600104x53/643/643/32001105x61/323/640011106X71/640011116 (3)編碼效率 5. 設(shè)有擾離散信道的傳輸情況分別如圖所示（每條線對應(yīng)轉(zhuǎn)移概率都是1/2），求出該信道的信道容量，及取得該信道容量時的信源概率分布。解：該信

6、道的信道轉(zhuǎn)移概率矩陣為：該矩陣每行、每列都是有兩個1/2、兩個0構(gòu)成，滿足行可排列性和列可排列性，所以為對稱信道，其容量為：取2為底 bit/符號對應(yīng)的信源概率分布為等概率分布，均為1/4。6. 設(shè)有離散信源和。試證：證明：所以 練習(xí)題：有一離散無記憶信源，其輸出為，相應(yīng)的概率為，設(shè)計兩個獨立的實驗去觀察它，其結(jié)果分別為，已知條件概率:P(y1|x)01012101/2011/2P(y2|x)01012110001(1) 求和，并判斷哪一個實驗好些(2) 求，并計算做Y1和Y2兩個實驗比做Y1和Y2中的一個實驗可多得多少關(guān)于X的信息(3) 求和，并解釋它們的含義解:(1)由題意可知 Y1X0101/40101/421/41/4 Y2X0101/4011/40201/2P(y1=0)=p(y1=1)=1/2 p(y2=0)=p(y2=1)=1/2=0.5bit/符號符號>所以第二個實驗比第一個實驗好（2）因為Y1和Y2 相互獨立，所以y1y200011011p1/41/41/41/4P(y1y2x)0001101101/40001001/40201/401/4P(y1y2|x)000110110100010010201/201/2bit/符號=1.5bit/符號由此可見，做兩個實驗比單獨做Y1可多得1bit的關(guān)于X的信息量，比單獨做Y2多得0.