-信息的統(tǒng)計度量題與答案

同時擲出一對質地均勻的骰子，也就是各面朝上發(fā)生的概率均為1/6,試求:“3和5同時出現”這事件的自信息量；“兩個1同時出現”這事件的自信息量；”兩個點數中至少有一個是1”這事件的自信息量。解：⑴11111—X—+—X—=一666618/(xj=-logXx,.)=-10g-^-=4.17bit1o(2)z111p(x)=-x-=——6636/(七)=-10gp(x,.)=-log-!-=5.17bit3。,、11-11P\X-)=—x—x11= “66 36/(蒼)=-log/?(.￥,.)=-log1i=1.71bit2.4居住某地區(qū)的女孩中有25%是大學生，在女大學生中有75$是身高1.6m以上的，而女孩中身高1.6m以上的占總數的一半。假如我們得知“身高1.6m以上的某女孩是大學生”的消息，問獲得多少信息量？解：設隨機變量X代表女孩子學歷XX.(是大學生) X2(不是大學生)P(X) 0.25 0.75設隨機變量Y代表女孩子身高V?(身高＜160cm)0.5YV?(身高＜160cm)0.5P(Y) 0.5已知：在女大學生中有75%是身高160厘米以上的即：P()L/占)=°-75bit求：身高160厘米以上的某女孩是大學生的信息量〃/、 1 //X】P(K)P()'i/K) 1 0.25x0.751i式i?.即:/(占/)\)=-logP區(qū)/乃)=—log , =-log———=L415即:P(X) 0.52.5一副充分洗亂了的牌(含52張牌)，試問：(1)任一特定排列所給出的信息量是多少？(2)若從中抽取13張牌，所給出的點數都不相同時得到多少信息量？解：(1)52張牌共有52!種排列方式，假設每種排列方式出現是等概率的則所給出的信息量是:/(xj=-log/?(xz)=log52!=225.581bit52張牌共有4種花色、13種點數，抽取13張點數不同的牌的概率如下:413〃(為尸”413/(為)=-log/?(xz)=-log—=13.208bitC52試問四進制、八進制的每一波形所含的信息量是二進制每一波形所含的信息量的多少倍？解：四進制脈沖可以表示4個不同的消息，例如：{0.1,2,3}八進制脈沖可以表示8個不同的消息，例如：{0,1,2,3,4,5,6,7}二進制脈沖可以表示2個不同的消息，例如：{0,1}假設每個消息的發(fā)出都是等概率的，則：四進制脈沖的平均信息量H(X；)=log”=log4=2bit八進制脈沖的平均信息量”(XJ=log//=log8=3bit二進制脈沖的平均信息量”(X。)=log/?=log2=1bit所以：四進制、八進制脈沖所含信息量分別是二進制脈沖信息量的2倍和3倍。如有6行8列的棋型方格，若有2個質點A和B,分別以等概率落入任一方格內，且它們的坐標分別為(X,,%)、(Xs，。)，但A和B不能落入同一方格內。試求：(1)若僅有質點A,求A落入任一方格的平均自信息量；(2)若已知A已入，求B落入的平均自信息量；(3)若A、B是可分辨的，求A、B同時落入的平均自信息量。解：,、〃(%)=—⑴ “48H(X)=log/?=log48=5.58〃〃P。)唳P(匕八)=卡H(Y1X)=一￡￡p("p()"/"logp(x/x,)=log/?=log47=5.55〃"H(XY)=H(X)+H(y/X)=5.58+5.55=11.14加

一個消息由符號0,1,2,3組成，已知p(0)=或p(l)=2,p(2)=L,〃⑶=L試求8 4 4 8由60個符號構成的消息的平均信息量。解："(X)=-ZP(蒼)1。gP(西)i=-(03751og0.375+0.251og0.25+0.251og0.25+0.1251og0.125)=1.906?！?0H(X)=60x1.906=114.36。”已知信源發(fā)出可和生兩種消息，且p(《)=〃(％)=0.5。此消息在二進制對稱信道上傳輸，信道傳輸特性為p也/aj=p(b2/a2)=\-s,p(bja2)=p(b2/ai)=s求互信息量I(a-b.)和I(a”bJ。解:P(aJbJ=Pglg/aJ

￡p(q)p(〃/q)P(aJbJ=Pglg/aJ

￡p(q)p(〃/q)p(a2/b2p(a2/b2)=手⑷岫/%)一九+'(一)2/(%;4)=log'(%'")=log=l+log(l-6)bitP(《) 12;A)=log，"[b：)=logdy)=l+log(l-E)bitP&) 12黑白傳真機的消息元只有黑色和白色兩種，即后｛黑，白｝,一般氣象圖上，黑色的出現概率夕函=0.3,白色的出現概率夕(即=0.7。假設黑白消息視為前后無關，求信息爆H(X)°解：//(X)=-^p(x;.)logp(x;.)=-(0.3log0.3+0.7logO.7)=0.881/?//2.17對某城市進行交通忙閑的調查，并把天氣分成晴雨兩種狀態(tài)，氣溫分成冷暖兩個狀態(tài),調查結果得聯合出現的相對頻度如下：

一冷12晴「冷8晴曖8「冷271：1：1一冷12晴「冷8晴曖8「冷271：1：1曖1515「冷41：1：1曖16曖12若把這些頻度看作概率測度，求：(1)忙閑的無條件熔；(2)天氣狀態(tài)和氣溫狀態(tài)已知時忙閑的條件燧；(3)從天氣狀態(tài)和氣溫狀態(tài)獲得的關于忙閑的信息。解：(1)根據忙閑的頻率，得到忙閑的概率分布如下：63P(X)1102羽閑39102"(X)=-1>(z)logp(x,)=卷1。8黑十39, 39]102°gi02j=0.960bit設忙閑為隨機變量X,天氣狀態(tài)為隨機變量匕氣溫狀態(tài)為隨機變量Z”(XYZ)=-工Z￡p(%y/k)logp(x為&)iJkTOC\o"1-5"\h\z(12f 12 8t 8 27? 27 161 16= log + log + log + log U02 102 102 102 102 102 102 1028? 8 15, 15 41 4 12, 12+ log + log + log + log 102 102 102 102 102 102 102 102=2.819bit當。g21+2Ug當。g21+2Ug二+罵。g型!102 102102 102102 102J"(yz)=-￡Zp()"4)logp(yA)=——log—+jk "UZ1UZ=1.980bitH(X/YZ)=H(XYZ)-H(YZ)=2.819-1.980=0.839bitZ(X;KZ)=H(X)-H(X/YZ)=0.960-0.839=0.121bit2.18有兩個二元隨機變量彳和匕它們的聯合概率分布函數如題表2.1所列。題表2.110101/83/813/81/8同時定義另一隨機變量z=XY(一般乘積)。試計算：(1)熔，㈤，H(Y),H(Z)fH(XZ),H(YZ)^\H(XYZ)(2)條件燧H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),和H(Z/XY)，(3)互信息/次;以，/(X;Z),/(Y;Z),I(X;Y/Z),/化乙勿和/(X;Z/Y)O解：(1)131p(W)=p8%)+P(x1y2)=-+-=-oo2311P(J)=P(ZX)+P(&)?2)=-+-=-oo2"(X)=—￡p(x,)logp(x,)=lbiti131p(yJ=p(%>\)+p(x2y\)=-+-=-ooZ/ / 311P(X)=P(x,y2)+p(x2y2)=-+-=-ooZ”(y)=-Zp(x)i°gp(匕)=ibitZ二XY的概率分布如下：rz],=o"=[UHid2 /7 7 1 1\H(Z)=_￡p(Z/lo印(Za)=--log-+-log-=0.544bitk oooyP(xJ=P(Xi4)+p(X]G)p*涇)=0P(XR)=p(xJ=0.5P(Zj=p(WZj+p(.GZj7 3PgZJ=〃(ZJ—〃(/芍)=三一0.5=三o oP(G)=〃(."?)+p(&zjp(x2z2)=p(z2)=^o”(XZ)= )logp(x,4)=-(^-log^-+jlogj+110g|l=1.406bitp(y])=p(y】z】)+p(MZ2)p(%z2)=op(%zJ=p(%)=0.5p(&-)+「(％G)7 3〃()、&)=p(zj—〃(”4)= 0.5=do oP(Z2)=P(y\z2)+P(y2z2)P()k)=P(Z2)=:o”（yz）=-ZZP（）"4）i°gP（yA）=-(|log|+|log|+hog|1=1,406bit\ZZoooo/P(占)'送2)=。P(占九打)=。P(x2Hz2)=0P(M%zJ+P(￡Xz?)=p*]”)〃(占月乙)=〃(占%)=1/8P(A%zJ+p(X]XZj=P*1zj113P(%%zJ=P(x】ZJ-P(Z>\Zl)=---=-ZooP(&)'R)+p(三為Z?)=p(4兌)3P^2>\Zl)=p(x2yj=-op(&”zj=op(&”4)+p(0%z?)=pCj%)p(&”zl=p(4%)=：o”(XYZ)=-￡Z￡p(wyA)logp(x,yA)(1 1 3 3 3 3 1 1\= log-+-log-+-log-+-log-=1.811bit(8 8 8 8 8 8 8 8J

=1.811Z?z7/1 1 3 33 31 1\=1.811Z?z7"(XY)=-ZZ〃(￡L)logp(Z?)=--log-+-log-+-log-+-log-ij yOooooooH(X/Y)=H(XY)-H(Y)=1.811-1=0.811bitH(y/X)=H(Xy)_“(X)=1.811-1=0.8116"H(X/Z)=H(XZ)-H(Z)=1.406-0.544=0.862bitH(Z/X)="(XZ)-"(X)=1.406-1=0.406bitH(Y/Z)=H(YZ)-H(Z)=1.406-0.544=0.862bitH(Z/Y)=H(YZ)-H(Y)=1.406-1=0.406bitH(X/YZ)=H(XYZ)-H(YZ)=1.811-1.406=0.405bitH(Y/XZ)=H(XYZ)~H(XZ)=1.811-1.406=0.405bitH(Z/XY)=H(XYZ)-H(XY)=1.811-1.811=0bitZ(X；r)=H(X)-H(X/Y)=1-0.811=0.189bitZ(X;Z)="(X)-”(X/Z)=1-0.862=0.138bitZ(r；Z)=//(/)-//(y/Z)=1-0.862=0.138/2/7/(X；r/Z)=H(X/Z)-H(X/YZ)=0.862-0.405=0.457bitI(Y-Z/X)=H(Y/X)-H(Y/XZ)=0.811-0.405=0.406bit/(X;Z/Y)=H(X/Y)-H(X/YZ)=0.811-0.405=0.406bit2.19有兩個隨機變量彳和r,其和為z=彳+匕若不和V相互獨立，求證：H(X)WH(Z),H(Y)WH(Z)tH(XY)是H(Z)O證明：(1):Z=X+Y???〃(&/￡)=p(4f)=P???〃(&/￡)=p(4f)=P(%)0”(Z/X)=-￡￡p(X4)logp(4/Xj=-￡p(X)￡p(Za/”logp(0/X,)ik i k=-￡p(z)(力)i°gp(K)="(丫)，L， _-：H(Z)>H(Z/X):.H(Y)<H(Z)同理可得(3)H(XYZ)="(Z)+H(XY/Z)>H(Z)H(XYZ)=H(XY)+H(Z/XY)>”(Z)v//(z/xr)=o.\H(XY)>H(Z)20對于任意三個隨機變量X、Y、Z,求證：H(XYZ)=H(XZ)+H(Y/X)—I(Z;Y/X)H(XYZ)-H(XY)<H(XZ)—"(X)證明：H(XZ)+H(Y/X)-I(Z,Y/X)=[H(Z/X)+H(X)]+H(Y/X)-[H(Z/X)-H(Z/XY)]=H(Z/X)+[H(X)+H(Y/X)]-H(Z/X)+H(Z/XY)=H(XY)+H(Z/XY)=H(XYZ)v/(Z；r/X)>0vZ(Z；y/X)=H(Z/X)-H(Z/XY):.H(Z/X)-H(Z/XY)>0:.H(Z/XY)<H(Z/X)vH(Z/XY)=H(XYZ)-H(XY)?：H(Z/X)=H(XZ)-H(X)H(XYZ)—H(XY)<H(XZ)-H(X)2.21證明：HlXJXiXDSHgXJ證明：vZ(X3;X2/X1)>0vZ(X3;X2/X1)=//(X3/X1)-77(X3/X2X1).-.//(X3/X1)-77(X3/X2X1)>0.-.//(X3/X2Xi)<//(X3/X1)2.26已知信源包含8個數字信息0,1,2,3,4,5,6,70為了在二進制信道上傳輸，用信源編碼器將這8個十