【精選】信息論與編碼作業(yè)答案(新)超全

1、信息論與編碼作業(yè)答案(新)超全 篇一：信息論與編碼姜丹第三版 信息論與編碼習(xí)題參考答案 第一章 單符號(hào)離散信源 信息論與編碼作業(yè)是74頁(yè)，1.1的（1）（5），1.3,1.4,1.6,1.13,1.14還有證明熵函數(shù)的連續(xù)性、擴(kuò)展性、可加性 1.1同時(shí)擲一對(duì)均勻的子，試求： (1)“2和6同時(shí)出現(xiàn)”這一事件的自信息量； (2)“兩個(gè)5同時(shí)出現(xiàn)”這一事件的自信息量； (3)兩個(gè)點(diǎn)數(shù)的各種組合的熵； (4)兩個(gè)點(diǎn)數(shù)之和的熵； (5)“兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1”的自信息量。 解： 11 樣本空間：n?c6c6?6?6?36 n12 n36(1)p1? (3)信源空間： ?log?6?log36?4.

2、32bit 36236 ?h(x)?15? 2436636836 ?log36?log?log?log36362363364 1036636 365366n1136 n3611 ?h(x)? 1.2如有6行、8列的棋型方格，假設(shè)有兩個(gè)質(zhì)點(diǎn)a和b，分別以等概落入任一方格內(nèi)，且它們的坐標(biāo)分別為（xa，ya）, （xb，yb）,但a，b不能同時(shí)落入同一方格內(nèi)。 （1） 假設(shè)僅有質(zhì)點(diǎn)a，求a落入任一方格的平均信息量； （2） 假設(shè)已經(jīng)明白a已落入，求b落入的平均信息量； （3） 假設(shè)a，b是可識(shí)別的，求a，b落入的平均信息量。 解： 1 (1)?a落入任一格的概率:p(ai)?i(ai)?logp(a

3、i)?log48 48 i?1 48 (2)?在已經(jīng)明白a落入任一格的情況下,b落入任一格的概率是:p(bi)?i(bi)?logp(bi)?log47 i?148 1 47 (3)ab同時(shí)落入某兩格的概率是p(abi)?i(abi)?logp(abi) 48?47i?1 11?4847 1.3從大量統(tǒng)計(jì)材料明白,男性中紅綠色盲的發(fā)病率為7%,女性發(fā)病率為0.5%.假設(shè)你征詢一位男士：“你是否是紅綠色盲？”他的答復(fù)可能是：“是”，也可能“不是”。征詢這兩個(gè)答復(fù)中各含有多少信息量？平均每個(gè)答復(fù)中各含有多少信息量？假設(shè)你征詢一位女士，那么她的答案中含有多少平均信息量？ 解： 關(guān)于男士: 答復(fù)“是”

4、的信息量：i(my)?logp(my)?log7%?3.84bit答復(fù)“不是”的信息量：i(mn)?logp(mn)?log93%?0.105bit平均每個(gè)答復(fù)信息量：h(m)?p(my)?logp(my)?p(mn)?logp(mn) ?-7%?log7%-93%?log93%?0.366bit關(guān)于女： 答復(fù)“是”的信息量：i(wy)?logp(wy)?log0.5%答復(fù)“不是”的信息量：i(mn)?logp(mn)?log99.5% 1.4某一無(wú)經(jīng)歷信源的符號(hào)集為0，1，已經(jīng)明白p0? 13 ，p1? 23 。 （1） 求符號(hào)的平均信息量； （2） 由1000個(gè)符號(hào)構(gòu)成的序列，求某一特定序

5、列（例如有m個(gè)“0”,（1000-m）個(gè)“1”） 的自信量的表達(dá)式； （3） 計(jì)算（2）中序列的熵。 解： 1122 3333 12 （2）i(a)?mlogp0?(1000?m)logp?mlog?(1000?m)logbit 33 （3）h(a)?1000h(x)?1000?0.918?918bit/sequence h(a)?p0logp0? i?1m 1000?m ? i?1 p1logp1? m12(1000?m)2 log?log3333 1.5設(shè)信源x的信源空間為： a1 a2a3a4a5 a6?x： x?p：? 求信源熵，并解釋為什么h(x)log6，不滿足信源熵的極值性。 解

6、： h(x)?p(ai)logp(ai) i?1 6 ?0.17log0.17?0.19log0.19?2?0.18log0.18?0.16log0.16?0.3log0.3 ?2.725 bit/symble 可見h(x)?2.725?log6?2.585 不滿足信源熵的極值性， 這是由于信源熵的最大值是在?pi?1的約束條件下求得的，但是此題中 i?1r ?p i?1 6 i ?1.18不滿足信源熵最大值成立的約束條件，因此h(x)?log6。 1.6為了使電視圖象獲得良好的明晰度和規(guī)定的比照度，需要用5×105個(gè)像素和10個(gè)不同的亮度電平，并設(shè)每秒要傳送30幀圖象，所有的像素是

7、獨(dú)立的，且所有亮度電平等概出現(xiàn)。求傳輸此圖象所需要的信息率（bit/s）。 解： 由于亮度電平等概出現(xiàn)，由熵的極值性： i?110 每幀圖像的熵是： h(x)?5?105?h(x0)?5?105?3.322?1.661?106 bit/frame ?所需信息速率為：r?r(frame/s)?h(x)(bit/frame)?30?1.661?106?4.983?107 bit/s 1.7設(shè)某彩電系統(tǒng)，除了滿足關(guān)于黑白電視系統(tǒng)的上述要求外，還必須有30個(gè)不同的色彩度。試證明傳輸這種彩電系統(tǒng)的信息率要比黑白系統(tǒng)的信息率大2.5倍左右。 證: 增加30個(gè)不同色彩度,在滿足黑白電視系統(tǒng)要求下,每個(gè)色彩度

8、需要10個(gè)亮度,因此每個(gè)像素需要用30?10?300bit量化 ?每個(gè)像素的熵是： h(x1)?p(bi)logp(bi)?log300bit/pels i?1300 ? h(x1)log300 ?2.477?2.5h(x0)log10 ?彩色電視系統(tǒng)每個(gè)像素信息量比黑白電視系統(tǒng)大2.5倍作用,因此傳輸一樣的圖形,彩色電視系統(tǒng)信息率要比黑白電視系統(tǒng)高2.5倍左右. 1.8每幀電視圖像能夠認(rèn)為是由3×105個(gè)像素組成，因此像素均是獨(dú)立變化，且每像素又取128個(gè)不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)。征詢每幀圖像含有多少信息量？假設(shè)如今有一個(gè)廣播員，在約10000個(gè)漢字中選1000個(gè)字來(lái)

9、口述這一電視圖像，試征詢假設(shè)要恰當(dāng)?shù)孛枥L此圖像，廣播員在口述中至少需要多少漢字？ 解: 每幀圖象所含信息量: h(x)?3?105?h(x)?3?105?log128?2.1?106bit/symble1000 ?每個(gè)漢字所包含信息量:h(c)?logp每個(gè)漢字所出現(xiàn)概率p? 描繪一幀圖像需要漢字?jǐn)?shù)n,h(x)?nh(c)h(x)2.1?106n?6.322?105/frame h(c)?log0.1?最少需要6.322?105個(gè)漢字 1.9給定一個(gè)概率分布(p1,p2,.,pn)和一個(gè)整數(shù)m，0?m?n。定義qm?1? ?p，證明： ii?1 m h(p1,p2,.,pn)?h(p1,p2,

10、.,pm,qm)?qmlog(n?m)。并說(shuō)明等式何時(shí)成立？ 證： 先證明f(x)?xlogx(x?0)為凸函數(shù)，如下： loge 又x?0x loge ?f?(x)?(?xlogx)?0 即f(x)?xlogx(x?0)為凸函數(shù)。 x?f?(x)?(?xlogx)? 又?h(p1,p2,.,pn)?pilogpi? i?1m i?m?1 ?plogp i n i由凸函數(shù)的性質(zhì)，變量函數(shù)的平均值小于變量的算術(shù)平均值的函數(shù)，可得： ? i?m?1 ?pilogpi?(n?m) i?m?1 n i?m?1 ?f(p) i n n?m ?(n?m)f( i?m?1 ?p n i n?m )?(n?m

11、) i?m?1 ?p n i n?m log i?m?1 ?p n i n?m ?qmlog qmn?m 即? ?plogp i n i ?qmlogqm?qmlog(n?m) 當(dāng)且僅當(dāng)pm?1?pm?2?.?pn時(shí)等式成立。?h(p1,p2,.,pn)?pilogpi? m ?plogp i n i ?pilogpi?qmlogqm?qmlog(n?m) m i?1 i?m?1 i?1 m?h(p1,p2,.,pm,qm)?pilogpi?qmlogqm i?1 ?h(p1,p2,.,pn)?h(p1,p2,.,pm,qm)?qmlog(n?m)當(dāng)且僅當(dāng)pm?1?pm?2?.?pn時(shí)等式成立。 1.10找出兩種特別分布: p1p2p3pn，p1p2p3pm,使h(p1,p2,p3,pn)=h(p1,p2,p3,pm)。解：n m h(p1,p2,.,pn)?pilogpi?h(q1,q2,.,qm)?qilogqi i?1 i?1篇二：信息論與編碼課程大作業(yè) 信息論與編碼課程大作業(yè) 1、 以下面方向?yàn)轭}，寫一份：(標(biāo)題能夠本人定義,只要內(nèi)容在以 下范圍之內(nèi)) a) 信息理論方法的應(yīng)用 b) 信息率失真函數(shù)與有損數(shù)據(jù)壓縮技術(shù) c) 信源編碼及其開展動(dòng)態(tài) d) 論信源編碼