第二章信源熵練習(xí)題

1、第一章緒論練習(xí)題一、填空題信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的的描述，不確定性可以用TOC o 1-5 h z概率來(lái)表達(dá)，因而可以用概率論與隨機(jī)過(guò)程來(lái)描述信源輸出的消息。單符號(hào)信源用概率空間來(lái)描述，即信源符號(hào)的及其O信源的某一種取值概率大，則其不確定性（度）;相反，某一種取值概率小，則其不確定性（度）。信源發(fā)出消息，傳輸信息的過(guò)程是：發(fā)出消息之前，信源即將發(fā)出什么消息存在不確定性（度），不確定性（度）的大小由消息的概率決定；發(fā)出某個(gè)具體消息后，就消除了對(duì)應(yīng)大小的。在這一過(guò)程中，從未知到己知，傳遞了信息，信息的大小就是。個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來(lái)的信息量稱為h信息量，簡(jiǎn)稱H信息,其定義為1（兀）=

2、-10笑P（兀）_，白信息量的單位與所用的有關(guān)。這就是香農(nóng)信息的度量規(guī)則。聯(lián)合自信息是聯(lián)合事件發(fā)生時(shí)所帶來(lái)的信息量；條件自信息量是帶有條件是事件發(fā)生時(shí)所帶來(lái)的信息量。離散單符號(hào)信源爛是信源中各個(gè)消息符號(hào)（隨機(jī)變量各個(gè)取值）不確定度（或者自信息量）的數(shù)學(xué)期望,代表了信息源的平均不確定度,記作H（X）,用數(shù)學(xué)式子表達(dá)為H（X）=EI（兀）=一工p（耳）logp（xQ。1=1離散信源爛有最大值，其取得最大值的條件是離散信源;離散信源爛一定有最大值的原因是爛函數(shù)是輕o例如，包含11個(gè)不同離散消息的信源X的爛H（X）log2n（選填、2、W或者二），當(dāng)滿足X中條件時(shí)，上式取得等號(hào)。聯(lián)合爛是聯(lián)合離散符號(hào)集

3、合XY上，聯(lián)合消息兀為的聯(lián)合鬥信息量的數(shù)學(xué)期望(或者概率統(tǒng)計(jì)/加權(quán)平均)，在數(shù)學(xué)上表達(dá)為nntnmH(XY)=工工p(兀yjl(%yj=-工工p(%yjlogp(兀yj。i=lj=li=lj=l條件爛是聯(lián)合離散符號(hào)集合XYJL,條件h信息量的的數(shù)學(xué)期望(或者概率統(tǒng)計(jì)/加權(quán)平均)，在數(shù)學(xué)上表達(dá)為Ximnmh(x/y)=Pyja/yj=p(兀yjogp(/y3)i=lj=li=lj=l平均符號(hào)爛是離散平穩(wěn)信源輸出N長(zhǎng)的信源符號(hào)序列中平均每個(gè)信源符號(hào)所攜帶的信息量稱為平均符號(hào)爛，記為Hn(X),數(shù)學(xué)上表達(dá)為HN(x)=A7H(x1x2.xN)。相關(guān)長(zhǎng)度為L(zhǎng)的一般有記憶序列信源的爛為h(x1x2.xl

4、)=h(x1)+h(x2/x1)+h(x3/x1x2)+.+h(xl/x1x2.xl_1),特別，當(dāng)相關(guān)長(zhǎng)度為2時(shí)H(XXJ=H(XJ+H(xyxj,當(dāng)序列信源為N次擴(kuò)展信源時(shí)其爛值為H(Xn)=NH(X)o極限爛一若離散平穩(wěn)信源序列長(zhǎng)度N趨丁無(wú)窮時(shí)，平均符號(hào)爛的極限存在，則稱此極限為離散平穩(wěn)信源的極限爛(也稱爛率)，記為Hg(X)，在數(shù)學(xué)上表達(dá)為Hg(X)=limHn(X)=limH(務(wù)冬.吝)N-coNt8NM階馬爾科夫信源信源的剩余度(冗余度)任何離散信源只耍它的消息符號(hào)等概條件，其信源爛達(dá)到最大值H。,即理想信源每個(gè)消息符號(hào)平均承載的信息量的最大能力為H.；實(shí)際信源由丁信源消息符號(hào)概率

5、分布不均等或者前后發(fā)出消息的相互關(guān)聯(lián)，從而使實(shí)際爛值H/卜T-Ho,即實(shí)際承載的信息量小于其最大能力H.。丁是，實(shí)際信源消息符號(hào)承載信息的能力有剩余，此即信源的剩余度(冗余度)，在數(shù)學(xué)上表達(dá)為/=1-7=1-。連續(xù)信源的絕對(duì)爛為無(wú)窮大,但相對(duì)嫡為有限值,在數(shù)學(xué)上表達(dá)為Hc(X)=-px(x)logpx(x)(bc,連續(xù)信源相對(duì)爛不滿足非負(fù)性在實(shí)際問(wèn)題中，常遇到的是爛之間的差，如互信息量，因而常用相對(duì)爛代替絕對(duì)爛進(jìn)行研究。與離散信源爛相似也可以定義出連續(xù)信源的相對(duì)聯(lián)合爛、相對(duì)條件爛等概念。連續(xù)信源最大相對(duì)嫡定理：1)峰值功率受限(取值幅度受限)時(shí)，均勻分布的連續(xù)信源爛值最大，H(X)=logr(

6、b_a)；2)平均功率受限(方差受限)時(shí),高斯分布的信源爛值最大，Hc(X)=-log.2心:23)均值受限時(shí)，指數(shù)分布的信源爛值最大，H,X)=lo%me連續(xù)信源的絕對(duì)爛為無(wú)窮大，因此用任何離散消息符號(hào)去對(duì)連續(xù)信源進(jìn)行編碼時(shí)必然存在部分信息丟失(失真)，而只能實(shí)現(xiàn)限失真編碼。爛功率與q(x)分布的實(shí)際信源爛值相等的高斯分布信源的實(shí)際平均功率的限定值。互信息是信道輸出端接收到消息符號(hào)y后，從消息符號(hào)y獲得的關(guān)于輸入端發(fā)出某個(gè)消息符號(hào)x的信息量，記為I(x;y),在數(shù)學(xué)上表達(dá)為i(;yj=log=i(兀)-1(莓/比)?；バ畔⒕哂袑?duì)稱性。平均互信息是互信息在對(duì)應(yīng)聯(lián)合概率空間上的數(shù)學(xué)期望(概率統(tǒng)計(jì)

7、平均/概率加權(quán)平均)，也具有對(duì)稱性I(X;Y)=I(Y;X),有三種表達(dá)形式：1)I（X;Y）=H（X）-H（X/Y）；2）I（Y;X）=H（Y）-H（Y/X）:3）I（X;Y）=H（X）+H（Y）-H（XY）o平均互信息l(x；Y)=fPypiog,啤孚是信源概率分布P(兀)1=1j=iP(Yj)的上凸函數(shù)，即在定義域內(nèi)有最大值存在；平均互信息是信道傳遞概率分布P(y/x)的下凸函數(shù)，即在定義域內(nèi)有最小值存在。二、選擇題TOC o 1-5 h z關(guān)于h信息量和離散信源爛的下列說(shuō)法正確的是()白信息量20,離散信源爛20；B.h信息量W0,離散信源爛W0；C.白信息量$0,離散信源爛WO；D.

8、h信息量W0,離散信源爛20；關(guān)于連續(xù)信源絕對(duì)爛和相對(duì)源爛的下列說(shuō)法正確的是()A.絕對(duì)爛20,相對(duì)源爛必定$0；B.絕對(duì)爛W0,相對(duì)源爛必定W0；C.絕對(duì)爛$0,相對(duì)源爛不一定WO；D.絕對(duì)爛W0,相對(duì)源爛不一定$0關(guān)于互信息和平均互信息的下列說(shuō)法正確的是()A.互信息取值20,但平均互信息WO；B.互信息W0,但平均互信息W0；C.互信息可正可負(fù)，但平均互信息20；D.互信息W0,但平均互信息20；下列選項(xiàng)中()能建立信源的概率空間各事件互不包含，且的概率滿足00時(shí)，hix0的關(guān)系，并注意logx=lnxloge,得np(ax)H(X)-logn述P(aJ1=11loge=npQJf丄一f

9、P(6)】oge=1=1n1=1條件爛不大丁無(wú)條件爛即H(X/Y)H(X)證明：H(X/Y)=-工工p(y3)P(兀|為)log2p(兀IX)丄j=-工p(yj工p(Ix)嗨2p(%IyjTOC o 1-5 h zji8=limH(XXoX”_Xh)N-aN=lim丄NH(X)=H(X)=0.971bit/symbolNT8NH(X4)=4H(X)=-4x(0.41og0.4+0.61og0.6)=3.884bit/symbolX的所有符號(hào)：000000010010001101000101011001111000100110101011110011011110mi馬爾科夫信源問(wèn)題見(jiàn)PPT例題和

10、習(xí)題每幀電視圖像可以認(rèn)為是由3X105個(gè)像素組成的，所有像素均是獨(dú)立變化，且每像素乂取128個(gè)不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問(wèn)每幀圖像含有多少信息量？若有一個(gè)廣播員，在約10000個(gè)漢字中選出1000個(gè)漢字來(lái)口述此電視圖像，試問(wèn)廣播員描述此圖像所廣播的信息量是多少(假設(shè)漢字字匯是等概率分布，并彼此無(wú)依賴)？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需耍多少漢字？解：1)H(X)=logn=logl28=7bit/symbolH(Xn)=NH(X)=3x105x7=2.1X106bit/symbol2)H(X)=logn=logl0000=13.288bit/symbolH(Xn)=NH

11、(X)=1000 x13.288=13288bit/symbol3)=158037H(Xn)_2.1X106H(X)13.288設(shè)有一連續(xù)隨機(jī)變量，其概率密度函數(shù)P(x)=bx20 x0)的爛HcCO；試求Y=2X的爛HcCO。解：1)Hc(X)=-匚f(x)logf(x)dx=一f(x)logbx2dx=_logbff(x)dx-If(x)logx2dxJRJR=-logb-2bx2logxdxi2baa3=-logblog9e/、bx/ba3,T%(x)=,Fx(a)=1a3.HC(X)=-logblog一bit/symbole2)vOx0y-AaAya+AFY(y)=P(Yy)=P(X+Ay)=P(Xy-=Jabx-ctx=-(y-f(y)=F(y)=b(y-刃2Hc(y)=-Jrf(刃嗨f(y)dy=-JRf(y)logb(y-A)2dy=-logb-Jrf(y)dy-Jrf(y)log(y-A)2dy=-logb-2bjR(y-A)2log(y-刃d(y-A)=-logb-3logbit/symbol9eFv(y)=?(y-Q3,FyG+a)=-=ia/.H(Y)=-logblogbit/symbolev0 xa0fa/.0y2aFY(y)=P(Yy)=P(2Xy)=P(X)Zrf(y)=F,(y)=y2oHc(Y)=-|rf(y)logf(y)dy=