信息論復(fù)習(xí)題

第二章信息的度量1、居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的二分之一。如果我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？2、設(shè)離散無記憶信源，其發(fā)出的信息為()，求(1)此消息的自信息量是多少？(2)此消息中平均每符號(hào)攜帶的信息量是多少？3、某一無記憶信源的符號(hào)集為{0,1}，已知P(0)=1/4，P(1)=3/4。(1)求符號(hào)的平均熵；(2)有100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列（例如有m個(gè)“0”和（100-m）個(gè)“1(3)計(jì)算(2)中序列的熵。4.已知隨機(jī)變量X、Y的聯(lián)合概率分布如表1所示，求聯(lián)合熵H(XY)，自信息的熵H(X)、H(Y)，條件熵H(Y|X)、H(X|Y)，互信息I(X;Y)。表1X,Y的聯(lián)合概率分布Y=0Y=1X=01/41/2X=101/45、有兩個(gè)二元隨機(jī)變量X和Y，它們的聯(lián)合概率為YXx1=0x2=1y1=01/83/8y2=13/81/8并定義另一隨機(jī)變量Z=XY（普通乘積），試計(jì)算：(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)；(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY)；(3)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。6、有兩個(gè)隨機(jī)變量X和Y，其和為Z=X+Y（普通加法），若X和Y互相獨(dú)立，求證：H(X)≤H(Z),H(Y)≤H(Z)。第三章信源及信源熵1、設(shè)有一種信源，它產(chǎn)生0，1序列的信息。它在任意時(shí)間并且不管以前發(fā)生過什么符號(hào)，均按P(0)=0.4，P(1)=0.6的概率發(fā)出符號(hào)。(1)試問這個(gè)信源與否是平穩(wěn)的？(2)試計(jì)算H(X2),H(X3/X1X2)及H∞；(3)試計(jì)算H(X4)并寫出X4信源中可能有的全部符號(hào)。2、某一無記憶信源的符號(hào)集為{0,1}，已知P(0)=1/4，P(1)=3/4。(1)求符號(hào)的平均熵；(2)有100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列（例如有m個(gè)“0”和（100-m）個(gè)“1(3)計(jì)算(2)中序列的熵。5、一馬氏鏈的轉(zhuǎn)移概率矩陣以下，問此馬氏鏈與否含有遍歷性并求平穩(wěn)分布和的值。6、有一階平穩(wěn)馬氏源X，符號(hào)集{0，1，2}，其中符號(hào)轉(zhuǎn)移概率為：；求此馬氏源的平穩(wěn)分布；求此馬氏源的熵；求平穩(wěn)馬氏源的二次擴(kuò)展源的全部符號(hào)概率；試求：1.該馬氏鏈的二步轉(zhuǎn)移概率矩陣；2.求平穩(wěn)分布。第四章信道及信道容量設(shè)二元信道的概率轉(zhuǎn)移矩陣為：。求該信道的容量及其達(dá)成容量時(shí)的輸入概率分布。將該信道進(jìn)行兩級(jí)級(jí)聯(lián)，求級(jí)聯(lián)信道的容量及其達(dá)成容量時(shí)的輸入概率分布。2、一信道的轉(zhuǎn)移概率矩陣為求信道容量和達(dá)成容量時(shí)的輸入概率。3、有一種二元對(duì)稱信道，其信道矩陣為。（1）求信道容量。（2）設(shè)該信源以1500二元符號(hào)/秒的速度輸入信源符號(hào)，現(xiàn)有一消息序列共有14000個(gè)二元符號(hào)，并設(shè)P(0)=P(1)=1/2,問從消息傳輸?shù)慕嵌葋砜紤]，10秒鐘內(nèi)與否能將這消息序列無失真的傳遞完？第五章無失真信源編碼1、某離散無記憶信源S的符號(hào)集A={a1,a2,…,a7}，各符號(hào)的概率分別為：1/3,1/3,1/9,1/9,1/27,1/27,1/27；1)對(duì)該信源符號(hào)進(jìn)行二元Huffman編碼并計(jì)算平均碼長(zhǎng)；（規(guī)定：寫出編碼過程、列出信源符號(hào)和碼字的對(duì)應(yīng)表）；2）對(duì)該信源符號(hào)進(jìn)行三元Huffman編碼并計(jì)算平均碼長(zhǎng)；（規(guī)定：寫出編碼過程、列出信源符號(hào)和碼字的對(duì)應(yīng)表）；2.某離散無記憶信源有7個(gè)信源符號(hào)，所對(duì)應(yīng)的概率分別為：0.4，0.2，0.1，0.1，0.1，0.05，0.05，碼符號(hào)集為{0，1，2}。求信源的熵及信源剩余度；對(duì)其進(jìn)行三元Huffman編碼；求平均碼長(zhǎng)、編碼效率。3、設(shè)信源S的信源空間為符號(hào)集U:{0,1,2},試編出三元Haffman碼,并計(jì)算其平均碼長(zhǎng).第六章有噪信道編碼2、某信源含有四個(gè)消息，概率分別為：1/2，1/4，1/8，1/8，編成二元碼為C={000，011，101，110}，各碼字通過一種單符