(完整word版)信息論與編碼-曹雪虹-課后習(xí)題答案

信息論與編碼》-曹雪虹-課后習(xí)題答案第二章2.1—個馬爾可夫信源有3個符號』，轉(zhuǎn)移概率為|:/\?p(氣丨訃二1/2，p(u21uj=1/2，p(u3IU])=0，p(uju2)=1/3，p(u2lu2)=0，p(u3lu2)=2/3，p(uju3)=1/3，p(u2lu3)=2/3，p(uju3)=0，畫出狀態(tài)圖并求出各符號穩(wěn)態(tài)概率。解：狀態(tài)圖如下1/2狀態(tài)轉(zhuǎn)移矩陣為：1/2狀態(tài)轉(zhuǎn)移矩陣為：2W1+2W1+1W2+1W3=W1計算可得10W1=1259W2=225W3=25‘1/21/20、p=1/302/3J/32/30丿設(shè)狀態(tài)u1，u2，u3穩(wěn)定后的概率分別為W1，W2W3WP=W得1W,+-W3=W2{21332W1+W2+W3=123W2=W3童搠卅JIIIP8、言二110.2、乞。。||0?2、p(三l)H0?8、0(1)"0?5、0(1)"0?5、0(=01)"0?5、￡三。)"0.5。畫圧并鈿圈、3占?0(0一00)"0(00一00)^000p(o-ll)=p(lo-ll)"0.2p(l-001(01一00)"0.20(三1)H0(1三dho.oo7(0-01)H7(10-01)H0.5po-lo)nxoo-lo)"0.50(1-01)"p(ll-01T0.5xl-10)n0(01-10)no.5需并斜00、01、10、11a.血POO0.200>000.50.50.50.500<000.200(2)11x66(2)11x66(2)11x66(2)11x66WP=W為w.=1iIi=1'0.8W1+0.5W3=W10.2W1+0.5W3=W2<0.5W2+0.2W4=W30.5W2+0.8W4=W4W1+W2+W3+W4=1計算得到W,=—14W2=-7W3=-7W4=—14同時擲出兩個正常的骰子，也就是各面呈現(xiàn)的概率都為1/6，求：(1)“3和5同時出現(xiàn)”這事件的自信息；“兩個1同時出現(xiàn)”這事件的自信息；兩個點(diǎn)數(shù)的各種組合(無序)對的熵和平均信息量；(4)兩個點(diǎn)數(shù)之和(即2,3,…,12構(gòu)成的子集)的熵；(5)兩個點(diǎn)數(shù)中至少有一個是1的自信息量。解：(1)11111-)=x—+—X—=-i666618I(x)=-logp(x)=-log=4.170bitii18p(p(x)=i136I(x)=-logp(x)=-log=5.170bitii36(3)兩個點(diǎn)數(shù)的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21種組合：111—x—=——6636其中11，22，33，44，55，66的概率是111—x—=——6636其他15個組合的概率是2i112x—x—=—6618(一11.(一11.11\H(X)=一丫p(x)logp(x)二一6x二logp+15x石log^T；=4.337bit/symbol(4)參考上面的兩個點(diǎn)數(shù)的排列，可以得出兩個點(diǎn)數(shù)求和的概率分布如下：iii363618=8丿23456789101112=V11115151111}〔36181293663691836JXP(X)H(X)=一p(x)logp(x)iii匚1i1丄21i1丄21i1丄2J1丄25]5丄J1)=-2x——log—丄2x—log—丄2x—log—丄2x—log—丄2x—log—丄一log—(36361818121299363666丿=3.274bit/symbol

p(x)=—x—x11=11i6636I(x)=-logp(x)=-log11=1.710biti3641)-Log-=1\2;-Log=0.014-Log=0.014<100；-Log二-Lng二■二-Lng二■+-^-LogflOO)=0.031100I99丿10099100ion2.5居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知"身高160厘米以上的某女孩是大學(xué)生"的消息，問獲得多少信息量？解：設(shè)隨機(jī)變量X代表女孩子學(xué)歷XX］（是大學(xué)x2（不是大學(xué)生）生）P（X）0.250.75設(shè)隨機(jī)變量Y代表女孩子身高Yy】(身y2(身高高>160cm)<160cm)P(Y)0.50.5已知：在女大學(xué)生中有75%是身高160厘米以上的艮卩：P(y/x)=0.75bit11求：身高11160厘米以上的某女孩是大學(xué)生的信息量艮卩*p(x)p(y/x)[0.25x0.75I(x/y)=-logp(x/y)=-log—=—log———-——=1.415bit1111p(y)0.51擲兩顆骰子，當(dāng)其向上的面的小圓點(diǎn)之和是3時，該消息包含的信息量是多少？當(dāng)小圓點(diǎn)之和是7時，該消息所包含的信息量又是多少？解：「因圓點(diǎn)之和為3的概率P(x)=p(1,2)+p(2,1)=118該消息自信息量I(x)=-logp(x)=log18=4.170bit2)因圓點(diǎn)之和為7的概率P(x)=p(1,6)+p(6,1)+p(2,5)+p(5,2)+p(3,4)+p(4,3)=16該消息自信息量I(x)=-logp(x)=log6=2.585bit設(shè)有一離散無記憶信源，其概率空間為rx「rx1_0x2_1x_2x_3'_1234<p丿、3/81/41/41/8丿1)求每個符號的自信息量2)信源發(fā)出一消息符號序列為｛202120130213001203210110321010021032011223210｝，求該序列的自信息量和平均每個符號攜帶的信息量解：18應(yīng)即=叫=「415bit同理可以求得I(x2)=2bit,I(x3)=2bit,I(x3)=3bit因為信源無記憶，所以此消息序列的信息量就等于該序列中各個符號的信息量之和就有："兒F-i=141(xi)+13I(x2)+121(x3)+61(x4)=87.81bit平均每個符號攜帶的信息量為87.81_195bit/符號45—*試問四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？解：四進(jìn)制脈沖可以表示4個不同的消息，例如：｛0,1,2,3｝八進(jìn)制脈沖可以表示8個不同的消息，例如：｛0,1,2,3,4,5,6,7｝二進(jìn)制脈沖可以表示2個不同的消息，例如：｛0,1｝假設(shè)每個消息的發(fā)出都是等概率的，貝,四進(jìn)制脈沖的平均信息量h(X)=logn=log4=2bit/symbol1八進(jìn)制脈沖的平均信息量h(X)=logn=log8=3bit/symbol2二進(jìn)制脈沖的平均信息量h(X)=logn=log2=1bit/symbol0所以：四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的2倍和3倍。2-9用三個脈沖"?”用一個脈沖I(-)=(4]飛3丿⑴【（?）=⑵H=2-10①（2）=0.415Log（4）=213._Log（4）+_Log_44丄Lo或3）+-Log-=0.91SP（黑/黑）-空14H（Y/黑）-lLogP（黑/白）-:14H（Y/白）-2朗四「呦二=0.9414I5丿14J9丿P（黑）-2P（白）-23（3\一=0.811P（白/黑）-!￡140.3S1/14A10（14\—十一Log—voj14血丿P（白/白）-戈1414^nH（Y）-1L□能）+-Log-I=0P1S33遼丿2.11有一個可以旋轉(zhuǎn)的圓盤，盤面上被均勻的分成38份，用1,..,38的數(shù)字標(biāo)示，其中有兩份涂綠色，18份涂紅色，18份涂黑色，圓盤停轉(zhuǎn)后，盤面上的指針指向某一數(shù)字和顏色。（1）如果僅對顏色感興趣，則計算平均不確定度（2）如果僅對顏色和數(shù)字感興趣，則計算平均不確定度（3）如果顏色已知時，則計算條件熵解令X表示指針指向某一數(shù)字則x={1238}Y表示指針指向某一種顏色，則Y={l綠色，紅色，黑色}Y是X的函數(shù)，由題意可知p(兀器)=p(x)p1238-1838bit/符號H(Y)仝卩(“噸耐二宛噸T+22宛噸茂二1.24j=1jH(X,Y)=H(X)=log238=5.25bit/付號注t/付號H(XIY)=H(X,Y)-H(Y)=H(X)-H(Y)=5.25-1.24=4.012.12兩個實(shí)驗X和Y，X={x1x2x3},Y={y1y2y?},I聯(lián)合概率r(x,y)=r為ijij廠r“rr、'7/241/240'111213rrr=1/241/41/24212223.rrr.、01/247/24丿1）如果有人告訴你X和Y的實(shí)驗結(jié)果，你得到的平均信息量是多少？2）如果有人告訴你Y的實(shí)驗結(jié)果，你得到的平均信息量是多少？3）在已知Y實(shí)驗結(jié)果的情況下，告訴你X的實(shí)H（y）=3xIlog23=1.58bit/付cupx"寸CNX寸rxi00寸rxi00xd00窩00窩00Ad螫>僉卜.OH8ql—E.eH(X)H—CTX)HH(X-X)HWZI啟(X、NA)I'(AI、(NA)I、(ZIux)I二AX、Z)HDizA)H、(ZA/X)H、iH、(a)h、(x、z)h、(x)h、(a)h、1hs二ZAX)H目)H、(ZX)H、(Z)H、(A)H、(X)H-酬杰坦、(if)ax"z啣劄?zāi)醤—漢隕肚00m00二00二00m/oII^rHI-1IIaLOH2(z)d-K-呂股0勵塞呂?<nNloqul/s-*q-H(ixMOI.XMlHsxesszzz-z——H—+—H(iK)d+(ix」dH(L+r(Tx+J/(kxloqlu^-Eq-H(xx501(YxMlH(X)He88ZZTZZ—H—+—H(i3d+(ix〉dH(3dIa+aI(zdxx+(k-YxI(才Xp(x)=p(xz)+p(xz)11112p(xz)=012p(xz)=p(x)=0.5111p(z)=p(xz)+p(xz)1112173p(xz)=p(z)-p(xz)=-0.5=-2111188p(z)=p(xz)+p(xz)21222p(xz)=p(z)=2228H(XZ)=-MikH(XZ)=-Mikp(xz)logp(xz)=ikik(1]13]31]1)—log—+—log—+—log—(228888丿=1.406bit/symbolp(y)=p(yz)+p(yz)11112p(yz)=012p(yz)=p(y)=0.5111p(z)=p(yz)+p(yz)TOC\o"1-5"\h\z1112173p(y2z1)=p(z1)-p(y1z1)=8-0.5=8p(z)=p(yz)+p(yz)21222p(yz)=p(z)=-2228H(YZ)=-Mjk(1.13.31.1)p(yz)logp(yz)=-—log—+—log-+—log—=1.406bit/symboljkjk<228888丿(3)(3)(3)(3)p(Xyz)=0112p(xyz)=0122p(xyz)=0212p(xyz)+p(xyz)=p(xy)11111211p(xyz)=p(xy)=1/811111p(xiy2G+p(xiyiG=p(xiGp(xiy2G=p(xiG-p(WG=2p(xyz)+p(xyz)=p(xy)211212213p(xyz)=p(xy)=211218p(xyz)=0221p(xyz)+p(xyz)=p(xy)22122222p(xyz)=p(xy)=222228H(XYZ)=_mp(xyz)logp(xyz)ijk2ijkijk(11333311\=-—log—+—log—+—log—+—log—=1.811bit/symbol(88888888丿(2)(113.33.31.1\H(XY)二一Hp(xy)logp(xy)二二一一log—+—log—+—log—+—log—二1.811bit/symbol18ijH(X/Y)二H(XY)-H(Y)二1.811-1二0.811bit/symbolH(Y/X)二H(XY)-H(X)二1.811-1二0.811bit/symbolH(X/Z)二H(XZ)-H(Z)二1.406-0.544二0.862bit/symbolH(Z/X)二H(XZ)-H(X)二1.406-1二0.406bit/symbol8888888丿H(Y/Z)二H(YZ)-H(Z)二1.406-0.544二0.862bit/symbolH(Z/Y)二H(YZ)-H(Y)二1.406-1二0.406bit/symbolH(X/YZ)二H(XYZ)-H(YZ)二1.811-1.406二0.405bit/symbolH(Y/XZ)二H(XYZ)-H(XZ)二1.811-1.406二0.405bit/symbolH(Z/XY)二H(XYZ)-H(XY)二1.811-1.811二0bit/symbolI(X;Y)=H(X)-H(X/Y)=1-0.811=0.189bit/symbolI(X;Z)=H(X)-H(X/Z)=1-0.862=0.138bit/symbolI(Y;Z)=H(Y)-H(Y/Z)=1-0.862=0.138bit/symbolI(X;Y/Z)=H(X/Z)-H(X/YZ)=0.862-0.405=0.457bit/symbolI(Y;Z/X)=H(Y/X)-H(Y/XZ)=0.862-0.405=0.457bit/symbolI(X;Z/Y)=H(X/Y)-H(X/YZ)=0.811-0.405=0.406bit/symbol2-14方法2:2-15f?「2'*1、「方法2:2-15f?「2'*1、「7'7+Log9+7；Log791S11611\2」J」2」J」0.311扣gp(aVb1)=p(*l)=p(b^=|p(al)pCbl-al)\rOD丿廣3i><31144P(ij)=S3P(i/j)=79171711J3;<166Jdp(yQj=317179-+一316刁憶卩(曲=—s■i——T—16—7gIKYhp(yO)IKyO)+p(y1)l(X;y1)=-0.40S+—0.236=0.311161首艸2)=辿空空’f㈣I(a1；b2>Logf理匹■]=logf旦]=Log(2E)\、F(乩)J12.16黑白傳真機(jī)的消息元只有黑色和白色兩種，即X=｛黑，白｝，一般氣象圖上，黑色的出現(xiàn)概率P（黑）=0.3，白色出現(xiàn)的概率p（白）=0.7。（1）假設(shè)黑白消息視為前后無關(guān)，求信源熵H（X），并畫出該信源的香農(nóng)線圖（2）實(shí)際上各個元素之間是有關(guān)聯(lián)的，其轉(zhuǎn)移概率為：P（白|白）=0.9143,P（黑|白）=0.0857,P（白嘿）=0.2,P（黑|黑）=0.8,求這個一階馬爾可夫信源的信源熵，并畫出該信源的香農(nóng)線圖。（3）比較兩種信源熵的大小，并說明原因。解H（X）=0.3log210+0.7log210=0.8813bit/符號P（黑|白）=P（黑）-0.7?■■-'xp（白I白）=p（白）皿乙町---vL07p（黑I黑）=p（黑）p（白I黑）=p（白）（2）根據(jù)題意，此一階馬爾可夫鏈?zhǔn)瞧椒€(wěn)的（P（白）=0.7不隨時間變化，P（黑）=0.3不隨時間變化）Hg(X)=H(X21X1)眾p(Xi，y.)log2ijlij=0.9143x0.7log2-+0.0857x0.71og2-+0.2x0.31og2±20.914320.085720.2+0.8x0.31og2^—20.8二0.512bit/符號2.17每幀電視圖像可以認(rèn)為是由3105個像素組成的，所有像素均是獨(dú)立變化，且每像素又取128個不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問每幀圖像含有多少信息量？若有一個廣播員，在約10000個漢字中選出1000個漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無依賴）？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？解：1)H(X)二logn二log128二7bit/symbol22bit/symbolH(Xn)二NH(X)二3x105x7二2.1xbit/symbol2)H(X)二logn二log10000二13.288bit/symbol22H(Xn)二NH(X)二1000x13.288二13288bit/symbol3)H(X3)H(Xn)

H(X)2.1X10613.288二1580372.20給定語音信號樣值X的概率密度為求Hc(X)，并證明它小于同樣方差的正態(tài)變量的連續(xù)熵。解：Hc(X)求Hc(X)，并證明它小于同樣方差的正態(tài)變量的連續(xù)熵。解：Hc(X)=-于px(x)logpx(x)dx=-fpx(x)log*九e-九Ldx-ax-a」px(x)log扣X-fpx(X)(-小)logedX-a-a=-log—+logef丄九e-入xl(X|x|)dx-a=-log1X+logef^Xexx?九(-x)dx+logf丄九丘-九x(Xx)dx222-a0=-log2X+2log2xe-xxdx01=-log—九一loge(1+九x)e-九x2=-log2x+loge=log2eE(X)=0,D(X)=—X2+a0H(XJ二］log2兀e?二|log竽二陀2^>二H(X)2九22九2九九2.24連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為：P(x,y)=其他提示：2.24連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為：P(x,y)=其他提示：解：求H(X),H(Y),H(XYZ和I(X;Y)。J2logsinxdx=-—log2)022*2*4*&2p(xy)dy=Jn^dy=2、r口一wr2一x2nr2p(x)=J三_*r2一x2H(X)=-Jrp(x)logp(x)dxc-r=-Jrp(x)log^；r2-x2dx-rnr2I*2(*,■=-Jrp(x)logdx-Jrp(x)log、r2-x2dx-rnr2-rnr2(-r<x<r)nr2nr2f■=log-Jrp(x)logr2-x2dx2-rnr21=log一logr+1-—loge222=lognr-—logebit/symbol222其中：Jrp(x)log\r2-x2dx一r=Jr遼三logR頁dx-rnr24f.，-=ri；r2-x2log、r2-x2dxnr2040令x=rcos0J0rsin9logrsin9d(rcos0)

2x2兀2血2血=logrJ2d9-logrJ2cos29d9+J2logsin9d9-J2cos29logsin9d929logsin9d92COS2兀0x0x0x0x0=logr-logrJ29logsin9d92COS2兀0x0x22fx=logr-1-J2cos29logsin9d9x0=logr-1+2loge其中：2fxJ2cos29logsin9d9x01fx=J2logsin9dsin29x0in29dlogsin9丿TOC\o"1-5"\h\z=丄|sin29logsin9-J2sin兀(in29dlogsin9丿=-丄J：2sin9cos9竺豈客d9x0sin92x=-—logeJ2cos29d9x202Jx1+cos29=一一logej2d9兀202eJ2cos20dO20工20=-—logeeJ2cos20dO20工20=-^loge-丄logesin29222兀2=-—loge22Qvlivl」—)loqulywq9MOI—irMOII—9MOIllrWOIeH000u

(XX)XISH+(x)hh(a.x)、

loqulE七qMOIIApxp(￡d=Z」1￡WOIHz」l￡ypxpMOI3XJJ—Hyoypxp(￡dWOI(ox=—H(XX)Hmoih(x)ohhg{)oh。擺呂屁址廿(0)恥七(m)(=J(E「001)啟0E皿呂凰二盡址骰期—姝聯(lián)'Ign^001皿S-3。寸、mHd'寸二丄0)di二i.OSM^SfBzbit/symbolH(X)=-工p(x)logp(x)=-_log—+—log—bit/symboli’i(1、m(3、—x14丿14丿P(x)二i100-m3100-m41003100-mI(x)二—logp(x)二—log=41.5+1.585mbitii4100⑶H(X100=100H(X)=100x0.811=81.1bit/symbol2-26fiiii]rqri1ii「4444288E3PQ/i)=3113P(i)=1P(ij)二1111105510310L5T7To111111111<d3S><363636丿H(IJ)=4—4-2■—LosfllJ)-4-2■—Loaf'll-+-3■—-Lo4-—LoaflZ)=3.415S101536122.29有一個一階平穩(wěn)馬爾可夫鏈xxx，各Xr取X1,X2’?…X/…r值于集合A?！阎鹗几怕蔖(Xr)為1,2,311/21/41/422/301/332/31/30⑴求(X,X2,X3)的聯(lián)合熵和平均符號熵求這個鏈的極限平均符號熵求HHH和它們說對應(yīng)的冗余度H0H1H2解：(1)H(X1,X2，X3)二H(X1)+H(X2IX1)+H(XJX2,X1)二H(X1)+H(X2IX1)+H(X3IX2)H(x1)=-無2-沁卜4^4=/符號X1,X2的聯(lián)合概率分布為p(x1xp(x1x2)ij12311/41/81/821/601/1231/6T7120\的概率分布為那么1214/2457245/24Yp(xx)1i2ji=1.209bit/符號H(X21X1)=4log4+拯4+|log4+6log|+臺博+6log|+#og=1.209bit/符號x2x3的聯(lián)合概率分布為rn/v\7/WI:/v\￡np0股0勵塞§膽骰軀W2異0)696-fE696.EK+6061+『匚(xqxwhnln遅nln^>q9cxl」H^oh+ro融+益012+^0融+寸蘭a+寸營i^+^oiish(zx「x)hm00￡二<—1Lnorxi00orxi—iLOc—17/249s9mLOZX■X—irximnln毎_nln遅寸i--I;寸Iz-l;vL一MH寸^oihoh1AAi一X)遼At飼丄nH±HS盟sffi耳丘心四擬[><F7TIHA1+A1+AlzeE-寸At"A17+AifVmezeteIHA1Z+A1Z+AideeiEm亠aihcmjfflElc3ie0—Nd-只世s勵塞挫擦寸zH2=出+⑷9=1.355bit/符號TOC\o"1-5"\h\z..1.250=1一耳0=1-=0.21001.581252=1-n2=1-=0.078221.355125Y1=1-n1=1-TT=06171/32-30(1)求平穩(wěn)概率P(j/i)=[|<1解方程組得到H(S/s1)=-Log-3U+|Log(3r)=0.91gH(S/s2)=0信源熵為：1H(S)=W1H(S/s1)+W2H(S/s2)=-0.91S+-0=0.63S42-31r11%r11%332111———=33211H2--0U3；科1十師十W3三1得到P(j/i)=333111333--0匕2)W1=三,W2二

解方程組生W3=134Hp2/a)=Log](3)=1.5S5H(>2/b>Log(①=1.5S5H(X3/c>L□或刁=1331HH(X2/a)+W2Hp<2/b)+W3H(X3/c)=--L^3)十-Lcg(J)十-L^2)=1.4392.32一階馬爾可夫信源的狀態(tài)圖如圖2-13所示，信源X的符號集為(0,1,2)(1)求信源平穩(wěn)后的概率分布P(0),P(1),P(2)(2)求此信源的熵(3)近似認(rèn)為此信源為無記憶時，符號的概率分布為平穩(wěn)分布。求近似信源的熵H(X)并與H進(jìn)行比較A!”A17+Al(d—I)+iEezel'l丿MHMZ+MZ+M(d—I)丿(d丄)Z畀d泅1。「彳m艮補(bǔ)交MOI——HNaZ7NI?d+7*+(Ed——Idp€8hq輕股曲?)88屋冋圏骰集玄喘壓血紇二厠了蘭丄從了1dd—1ZZEmMOId+Inmo-(a—一!><)HMWh(^h時亠=1

2(1-p)0vpv2/3時陽/X)一log>°dp2(1-p)2/3<p<1時dH丿X2—噸p<°2(1-p)H(X)存在極大值,且h(X)二1.58bit/付所以當(dāng)p=2/3號所以H“(X)<H(X,)2-33(1)dp時maxzl-pp\00-pp解方程組：(1-p)Wl+p-W2=W1(1-p)W2十買弼二購p-WL+(1-p)W3=W3W1+W2+W3=1得p(0)=p(1)=p(2)=13⑵H(X/0)=H(X/1)=H(X/2)=-[1_p)'Log(l-p)-p'L-og^p)H?(X)=-*HCW)4(X/1)+i*H(X2)=-(1-p)Log(l-p)-卩“如(3)33當(dāng)p=0或p=1時信源熵為0練習(xí)題：有一離散無記憶信源，其輸出為X骯丄2},相應(yīng)的概率為p0應(yīng)的概率為p0=1/4,pi=I/4,P2=1/2設(shè)計兩個獨(dú)立的實(shí)驗去觀察它，其結(jié)果分別為y九,]},篤九‘J，已知條件概率:p(y」x)0p(y」x)0101110121/21/2⑴求I（x；y1）和I（x；y2），并判斷哪一個實(shí)驗好P(y2|x)01010110201些⑵求/（X;⑴，并計算做丫1和丫?兩個實(shí)驗比做Y1和丫2中的一個實(shí)驗可多得多少關(guān)于X的信息⑶求I（x；y1iy2）和I（x；y2iy1），并解釋它們的含義解:（1）由題意可知-0101/40101/421/41/4P(y1=0)=p(y1=1)=1/2p(y2=1)=p(y2=1)=1/2???I(X;Y丿=H(Y1)-H(Y1IX)=log2-4log=0.5bit/符號0亠01/4011/402-晶2-102x—log2「4——1/2I(X;Y2)=H(Y2)-H(Y2IX)=log2-4log1-4log1-2log1=1bit/號＞I(X;Y1)所以第二個實(shí)驗比第一個實(shí)驗好(2)因為Y］和Y2相互獨(dú)立，所以

p(yyx)~0000110p(yxy2Ix)=p(yjx)p(y2Ix)111/4Q—1/4p(yy|x)000110110100010010201/201/2yy00011011p1/41/41/41/41/40—1/4???I(X;Y???I(X;Y1Y2)=H(Y],Y2)-H(Y1Y2IX)=log4-4log1-4log1-4x2log2bit/符???I(X;Y???I(X;Y1Y2)=H(Y],Y2)-H(Y1Y2IX)=log4-4log1-4log1-4x2log2bit/符=1.5bit/符號由此可見，做兩個實(shí)驗比單獨(dú)做Y］可多得1bit的關(guān)于X的信息量，比單獨(dú)做Y2多得0.5bit的關(guān)于X的3)I(X;Y1IY2)=H(XIY1)-H(XIYY2)=H(X,Y2)-H(X)-[H(X)-1(X;YY2)]=[H(X)-1(X;YJ]-[H(X)-1(X;Y],Y2)]=I(X;Y],Y2)-1(X;Y2)=1?5-1=0?5bit/符號表示在已做Y2的情況下，再做Y1而多得到的關(guān)于X的信息量同理可得I(X;I(X;Y2IY1)=I(X;Y],Y2)-1(X;Y1)=1.5-0.5=1bit/符號表示在已做Y1的情況下，再做Y2而多得到的關(guān)于X的信息量歡迎下載！(I二ItwA)H、(A/X)H、(H空寸、I"d丈：(0)dw市土只世衆(zhòng)wb運(yùn)卿睡友H強(qiáng)IzXXXXz■￡*zzoqlwGvxqEOOHOI501x(11日1I+門日門)+eWOOIHH—E"01H(rx)、xeulHo(CXIoqula-七qC90.0H6寸卜.0—118.0(X、X)H—(X)HH(rX)、一oqEQ_二q6寸卜.0H816.0+086.0—二8.0H(Xr)H+(X)H—(X)HH(X、X)H一oquiB二一q086.0HQ9I寸d"01X卜91寸d+ysqowolXEssqo)—H(ixM—H(X)HE寸E寸ZZZTZTZZZTZ卜91寸oI—xl+lx—Ix_(x〉d+(K、(KxH((x〉d+(ix〉dI(EE8Q.0Hgxp+"XPH(ZY、kx(ZYx+(\vkx(-YxH(kzxx+(k-YxH(kxoqtuawq816.0HOIfxrrrJrrrrrrrrrH(X_ix"01(X、ix(Yxmm—h(xr)H寸Z寸寸Z寸7oqula三q二"01X7+""01XD)—H(乂xd—H(X)HLL""丁I/其最佳輸入分布為p其最佳輸入分布為p(x)=ai1，2，p（x）=1i23-2某信源發(fā)送端有2個符號，，i=1,2;每秒發(fā)出一個符號。接受端有3種符號,j3，轉(zhuǎn)移概率矩陣為Pri/21/2o］?！疨=1/21/41/4（1）計算接受端的平均不確定度;（2）計算由于噪聲產(chǎn)生的不確定度H（Y|X）（3）計算信道容量。解：_「1/21/20_P=1/21/41/4「X--YT：,Xy1y2y3x1a/2a/20x(1—a)/2(1—a)/4(1—a)/4聯(lián)合概率()p(x,y)____1j則Y的概率分布為Yy1y2y31/2(1+a)/4(1—a)/41+a41—a4H(Y)=2log2+tlog^+tlog1—a11=—log2+—log24161—a2a1—a+4loglog2+丁log16+丁log2441—a2a1—a+4log^取2芬底在a1—a+4log^H(Y)=(3+4log亠+4log工)bit2421—a2421+a00(2)H(YIX)二—-log1+-log二+a1a11—a11—a11—a1log—+log—+log—2^22^2224444=一-log2+-(1一-)log22-2-12pl°g2取2為底3—aH(Y1x)=-2-bit'-1_1[=max—log2+—logp(x.)\24取e為底a(2ln2+4lni—1-2+4ln1+-)c二maxI(X;Y)二max[h(Y)—H(YIX)]p(xi)p(xi)1-、1一-'4r2-+4log^Jd-112-11一--11_—ln2++—ln+—(—一)241一-241+-41一-1+-1-11一--2_一ln2++—ln一22(1一-2)41+-41一-2111一-_—ln2+—ln241+-=01一-_11+—4--_—51-111-1c_x—log2+—log+—x—log—2541—今45425125-1_log2+—log+log—1041620415-_log2+—log——log2102410-5243.3在有擾離散信道上傳輸符號0和1，在傳輸過程中每100個符號發(fā)生一個錯誤已知P(0)=P1)=1/2,信源每秒內(nèi)發(fā)出1000個符號，求此信道的信道容量。解：由題意可知該二元信道的轉(zhuǎn)移概率矩陣為：0.990.01為一個BSC信道0.010.99所以由BSC信道的信道容量計算公式得到:C=logs-H(P)=log2plog一=0.92bit/sign.,°P=1iC=-C=1000C=920bit/sectt求圖中信道的信道容量及其最佳的輸入概率分布.并求當(dāng)=0和1/2時的信道容量C的大小?！闤0112解:信道矩陣P=01X0112解:信道矩陣P=01-e

e0e1－e,此信道為非奇異矩(i=1,2,3)陣，又r=s,可利用方程組求解(i=1,2,3)P(bIa)0P(bIa)logP(bIa)TOC\o"1-5"\h\zjijjiji廠1廠10i(1—g)(1—e)log(1—8)+￡log823(1—g)logg+(1—g)log(1—g)23解得=01(1—￡)l0g(l—￡)+￡log￡所以3C=log”=log[2o+2x2(i-)log(1-)+￡log訂j=log[l+2i-h()]=log[1+2(1”JP(b)=201—c—2—c二112(1)(廠)12廠hC)TOC\o"1-5"\h\zP(b)=2}~c亡2丿212(1)(1-yP(b)=2丁C=P(b)32而P(b)&P(a)P(bIa)(j=1/2/3)jijiP(P(b)=P(a)11P(b)=P(a)(1—g)P(a上23P(b)=P(a)&+P(a)(1)23所以P(a1)=P(b1)=1+2(1—8)(廠)于p(十p(獷p忙p(皆1+；y當(dāng)=0時，此信道為一一對應(yīng)信道，得C=log3,當(dāng)P(a)=P(a)=P(a)=1C=log3,當(dāng)P(a)=P(a)=P(a)=1233=1/2時,得C=log2,p（巴）=2'P（孝=P（氣）=4求下列二個信道的信道容量，并加以比較1)1)p—8p—828、(2)z—P—8P—8280]:p-8p-828J:P-8P-8028JJ其中p+-=1解：（1）此信道是準(zhǔn)對稱信道，信道矩陣中Y可劃分成三個互不相交的子集由于集列所組成的矩陣仔-s匕一打,儼］而這兩個子矩陣滿足對稱性，因<PP-J128J此可直接利用準(zhǔn)對稱信道的信道容量公式進(jìn)行計算。CBIogr-H?1'p2'p3')-丘以噸Mkk=1其中「=2皿M1=1-28N2=28M2=48所以C1=log2-H(-￡,p-E,2￡)-(1-2e)Iog(1-2e)-2￡Iog48=log2+(_8)log(-8)+(p-s)Iog(p-s)+2sIog2s-(1-2s)log(f-2s)-2slog4s=Iog2-2Elog2-(1-2E)Iog(1-2s)+(-_￡)log(萬-8)+(p=%。翱。?2/(1-2￡)+(-_￡)log(-_8)+(p-e)log(p-8)8輸入等概率分布時達(dá)到信道容量。2）此信道也是準(zhǔn)對稱信道，也可采用上述兩種方法之一來進(jìn)行計算。先采用準(zhǔn)對稱信道的信道容量公式進(jìn)行計算，此信道矩陣中Y可劃分成兩個互不相交的子集，由子集列所組成的矩陣為(p-sp-打Ip-sp-s>f2s0］這兩矩陣為對稱矩陣其、02s丿中r=2,N1=M1=1-2N2二M2=2，所以￡￡C=log「-H(--s,P-&2&0)-￡NklogMk=log2+(-Jog(-J+(p-w)log(p-w)+2wlog2E-(1-2E)log(1-2E)-2elog2E=log2-(1-2E)log(1-2e)+(--s)log(--J+(p-E)log(p-e)=(1-2E)log2/(1-2E)+2elog2+(--s)log(--s)+(p-E)log(p-e)=C1+2elog2輸入等概率分布(P(al)=P(a2)=1/2)時達(dá)到此信道容量。比較此兩信道容量，可得C2=C1+2elog23-6設(shè)有擾離散信道的傳輸情況分別如圖3－17所示。求出該信道的信道容量。X丄1/21/21/2'1/21/21/2圖3-17解：+2001解：+200121200+2十20對稱信道1212」C=logm一H(YIa)i=log4-—x2log2C=1bit/符號取2為底C=1bit/符號7￡丄］.0口L丄，后驗概.0￡丄］.0口L丄，后驗概.010<1條件概率J鳥鑒]，聯(lián)合概率吸1TOC\o"1-5"\h\z<0.10.90)[1p53率巴i/j)=-i-5551亠0V0丿P(yo)：=「P(yi)：=25y2)二6H(Y)=-Lo痰耳4--Log(3)+-Log(6)=1.4J9TOC\o"1-5"\h\z26(2)H(Y/X)二￡l曲十丄扁嗎十丄t十z闆2]610\3J15152丿11皿伴二丄扁嗎亠丄Log+IW嗎?■10\3J10\3J3010\9J(3)當(dāng)接收為y2，發(fā)為x1時正確，如果發(fā)的是x1和x3為錯誤，各自的概率為：P(x1/y2)=i，P(x2/y2)=丄，P(x3/y2)=丄TOC\o"1-5"\h\z555其中錯誤概率為：Pe二P(x1/y2)+P(x3/y2)=丄+3_55平均錯誤概率為—+—+—+—+—+—=0.733153010101510仍為0.733此信道不好原因是信源等概率分布，從轉(zhuǎn)移信道來看正確發(fā)送的概率x1-y1的概率0.5有一半失真x2-y2的概率0.3有失真嚴(yán)重x3-y3的概率0完全失真(7)H(X)=Log(S)=l.:5SJH(X/Y)=

iiir5)2iiir5)26Log⑵+1BLog(5)+=Logl2丿+云Log101515+店⑸+1oLog13“+一Log(10)+一Log-3010=1.3013.8設(shè)加性高斯白噪聲信道中，信道帶寬3kHz，又設(shè)｛（信號功率+噪聲功率）/噪聲功率｝=10dB。試計算該信道的最大信息傳輸速率ct。解：3.9在圖片傳輸中，每幀約有2.25仕06個像素，為了能很好地重現(xiàn)圖像，能分16個亮度電平，并假設(shè)亮度電平等概分布。試計算每分鐘傳送一幀圖片所需信道的帶寬（信噪功率比為30dB）解：H=logn=log16=4bit/symbol22I二NH二2.25x106x4二9x106bit二10I9x106CI9x106C=—==1.5x105bit/stt60P)C=Wlog1+tCrtplog1+-^Ap丿NPN丿1.5x105==15049log(1+1000)2Hz3-10一個平均功率受限制的連續(xù)信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。（1）已知信道上的信號與噪聲的平均功率比值為10，求該信道的信道容量；（2）信道上的信號與噪聲的平均功率比值降至5，要達(dá)到相同的信道容量，信道通頻帶應(yīng)為多大？（3）若信道通頻帶減小為0.5MHZ時，要保持相同的信道容量，信道上的信號與噪聲的平均功率比值應(yīng)等于多大？解：（1）'‘C=Wlog（1+SNR）2=1X106log(1+10)2=3.159Mbps(2)'7C二Wlog(1+5)二3.459Mbps2223.159M.?.W二丄二1.338MHZ2log6TOC\o"1-5"\h\z(3)2log(1)3.459'7C=Wlog(1+SNR')二3.459Mbps3323.459log(1+SNR')=20.5.SNR=120歡迎下載！第四章4.2某二元信源_p(X)_=｛u21/2｝其失真矩陣為D=_0a求這信源的Dmax和Dmin和R(D)函數(shù)。解：in工d(x,y)=二Xain工d(x,y)=二Xa+=X°=—2丄'/'「丿./r\r\maxjjiij22ji11D=p(x)mind(x,y)二x°+_x°二°minijij22因為二元等概信源率失真函數(shù):R(D)二Inn-H[—j其中n二2,所以率失真函數(shù)為:DDR(D)二ln2-lnR(D)二ln2-ln4.3一個四元對稱信源P(X)[=[1/41/41/41/4｝，接收符「°11「1011號Y=｛0,1,2,3｝，其失真矩陣為]；；°°_|，求Dmax和Dmin及信源的R(D)函數(shù)，并畫出其曲線(取4至5個點(diǎn))。解:TOC\o"1-5"\h\z11113D二minD二minp(x)d(x,y)二x1+—xl+—xl+—x0二一maxjjiij44444ji1111D二乙p(x)mind(x,y)二x0+—x0+—x0+—x0二0minijij4444因為n元等概信源率失真函數(shù)：DDDDR(D)=lnn+Dln—+|1-D|ln|1-D|an一1va丿(a丿其中a=1,n二4,所以率失真函數(shù)為:R(D)二ln4+DIn—+G-D)lnG-D)函數(shù)曲線:3R(D)其中:1/41/2D3/4R(D)其中:1/41/2D3/4D=0,R(0)=ln4nat/symbolD=4,R(D)=ln4一ilnl^nat/symbolD=R(D)=ln4一^ln12nat/symbol223D=4,R(D)=0nat/symbol3‘0111、10111101v1110丿信源熵為H(x)=Log(4)=2Dmax=min{3,3,3,3}R(Dmax)=O4444?-H-滿Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2?-H-滿p(yl),p(y2),p(y3),p(y4)p(y1)+p(y2)+p(y3)+p(y4)=1在［0,1］區(qū)間可以任意取值。歡迎下載！第五章5-1將下表所列的某六進(jìn)制信源進(jìn)行二進(jìn)制編碼，試問：■消息概率CiC2C3C4C5C6u11/2~000~000101U21/4001011010000001U31/160100111101101001100U41/16011011111101100010101U51/1610001111111101001110110U61/161010111111111101111110111這些碼中哪些是唯一可譯碼？哪些碼是非延長碼？對所有唯一可譯碼求出其平均碼長和編譯效率。解：首先，根據(jù)克勞夫特不等式，找出非唯一可譯碼C:6X2-3<1163C:2-i+2-2+2-3+2-4+2-5+2-6=<1264C3：6t<iC:2-i+2-2+4x2-4=14C:2-1+5x2-3>15C:2-2+5x2-3<1...C不是唯一可譯碼，而C:54又根據(jù)碼樹構(gòu)造碼字的方法C,C，C的碼字均處于終端節(jié)點(diǎn)136...他們是即時碼⑴C1.C2.C3.CS(7)ClrC3rC6(為Hp)=|Lcig(石+jLog(4)4-4116Log(10=2K1=3K3K2=—1-1-—:+—34-—4+'154-—■6=2.125R2=H(旳百=2-0.94124161616162.125—1十—-2H:J十—4十1J十—■6=2.125R3=H㈤=—^―=0.P4124161616162.1351r1o1-■2十一己十一?3十—-3十1己十—■3=2.5RG==—=0.824161首1616Kj62.52(1)因為A,B,C,D四個字母，每個字母用兩個碼，每個碼為0.5ms,所以每個字母用10ms當(dāng)信源等概率分布時，信源熵為H(X)=log(4)=2

平均信息傳遞速率為^=02bit/ms=200bit/s10(2)信源熵為H(X)—￡Lag(y)+-L-qg(4)+-Lag(4)+—Log544LQ空=0?198bit/ms=198bit/s105-5(1)111