信息論與編碼習(xí)題課新課件

信息、消息、信號(hào)的定義？三者的關(guān)系？通信系統(tǒng)的模型？各個(gè)主要功能模塊及作用？

第一章

第二章信源的分類？自信息量、條件自信息量、平均自信息量、信源熵、不確定度、條件熵、疑義度、噪聲熵、聯(lián)合熵、互信息量、條件互信息量、平均互信息量以及相對(duì)熵的概念？計(jì)算方法?冗余度?具有概率為的符號(hào)自信息量：條件自信息量：平均自信息量、平均不確定度、信源熵：條件熵：聯(lián)合熵：互信息：熵的基本性質(zhì)：非負(fù)性、對(duì)稱性、確定性(2)

(3)兩個(gè)點(diǎn)數(shù)的排列如下：共有21種組合：其中11，22，33，44，55，66的概率是其他15個(gè)組合的概率是111213141516212223242526313233343536414243444546515253545556616263646566(4)兩個(gè)點(diǎn)數(shù)求和的概率分布如下：(5)包含1的組合：{(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}因?yàn)樾旁礋o(wú)記憶，所以此消息序列的信息量就等于該序列中各個(gè)符號(hào)的信息量之和，就有：平均每個(gè)符號(hào)攜帶的信息量為bit/符號(hào)2.8

試問(wèn)四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？解：四進(jìn)制脈沖可以表示4個(gè)不同的消息：{0,1,2,3}

八進(jìn)制脈沖可以表示8個(gè)不同的消息：{0,1,2,3,4,5,6,7}

二進(jìn)制脈沖可以表示2個(gè)不同的消息：{0,1}假設(shè)每個(gè)消息的發(fā)出都是等概率的，則：四進(jìn)制脈沖的平均信息量八進(jìn)制脈沖的平均信息量二進(jìn)制脈沖的平均信息量所以，四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的2倍和3倍。2-9

國(guó)際莫爾斯電碼用點(diǎn)和劃的序列發(fā)送英文字母，劃用連續(xù)三個(gè)單位的電流脈沖表示，點(diǎn)用持續(xù)一個(gè)單位的電流脈沖表示。其劃出現(xiàn)的概率是點(diǎn)出現(xiàn)概率的1/3，計(jì)算：（1）點(diǎn)和劃的信息量；（2）點(diǎn)和劃的平均信息量?！埃背霈F(xiàn)的概率是

解：

“”出現(xiàn)概率的1/3

(1)I()＝bit

I()=(2)H=

bitBit/符號(hào)

(3)P(黑/白)=

P(白/白)=

H(Y/白)=

(4)

H(Y)=2-14在一個(gè)二進(jìn)制信道中，信源消息，且p(1)=p(0),信宿的消息,信道傳輸概率，（1）在接收端收到y(tǒng)=0后，所提供的關(guān)于傳輸消息x的平均條件互信息量I(X;y=0);（2）該情況所能提供的平均互信息量I(X;Y)。。求：解：(1)

P(i，j)=

P(i/j)=2-15已知信源發(fā)出a1和a2兩種消息，p(a1)=p(a2)=1/2,此消息在二進(jìn)制對(duì)稱信道上傳輸，信道傳輸特性為。求互信息量I(a1;b1)和I(a1;b2)。解：信道轉(zhuǎn)移概率矩陣為P(bj/ai)=

p222.17每幀電視圖像可以認(rèn)為是由

個(gè)像素組成的，所有像素均是獨(dú)立變化，且每像素又取128個(gè)不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問(wèn)每幀圖像含有多少信息量？若有一個(gè)廣播員，在約10000個(gè)漢字中選出1000個(gè)漢字來(lái)口述此電視圖像，試問(wèn)廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無(wú)依賴）？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？解：（1）2-26一個(gè)信源發(fā)出二重符號(hào)序列消息（X1，X2),其中第一個(gè)符號(hào)X1可以是A,B,C中的一個(gè)，第二個(gè)符號(hào)X2可以是D,E,F,G中的一個(gè)。已知各個(gè)為p(A)=1/2,p(B)=1/3,p(C)=1/6;各個(gè)值列成如下。求這個(gè)信源的熵（聯(lián)合熵H(X1，X2)）。

A

BCD1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6解：

P(i)=

P(i，j)=第三章信道容量的定義：無(wú)噪無(wú)損離散信道：對(duì)稱DMC信道、準(zhǔn)對(duì)稱DMC信道的定義？對(duì)稱DMC信道：準(zhǔn)對(duì)稱DMC信道：（連續(xù)信道）香農(nóng)公式：二元對(duì)稱信道：（2）其最佳輸入分布為3.3

在有擾離散信道上傳輸符號(hào)0和1，在傳輸過(guò)程中每100個(gè)符號(hào)發(fā)生一個(gè)錯(cuò)誤，已知P(0)=P(1)=1/2，信源每秒內(nèi)發(fā)出1000個(gè)符號(hào)，求此信道的信道容量。解：由題意可知該二元信道的轉(zhuǎn)移概率矩陣為：為一個(gè)BSC信道所以由BSC信道的信道容量計(jì)算公式得到：

解：(1)

（2）聯(lián)合概率后驗(yàn)概率

H(Y/X)==bit/symbol（3）當(dāng)接收為，發(fā)為時(shí)正確，如果發(fā)的是則為錯(cuò)誤，各自的概率為：則錯(cuò)誤概率為：（4）從接收端看平均錯(cuò)誤概率為：（5）從發(fā)送端看的平均錯(cuò)誤概率為：（6）能看出此信道不好。原因是信源等概率分布，從轉(zhuǎn)移信道來(lái)看正確發(fā)送的概率x1→y1的概率0.5有一半失真；x2→y2的概率0.3有嚴(yán)重失真；x3→y3的概率0完全失真。（7）bit/symbol

H(X/Y)=bit/symbol3-10

一個(gè)平均功率受限制的連續(xù)信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。（1）已知信道上的信號(hào)與噪聲的平均功率比值為10，求該信道的信道容量；（2）信道上的信號(hào)與噪聲的平均功率比值降至5，要達(dá)到相同的信道容量，信道通頻帶應(yīng)為多大？（3）若信道通頻帶減小為0.5MHZ時(shí)，要保持相同的信道容量，信道上的信號(hào)與噪聲的平均功率比值應(yīng)等于多大？解：（1）

（2）（3）

3-12

有一個(gè)二元對(duì)稱信道，其信道轉(zhuǎn)移概率如下圖所示，該信道以1500個(gè)二元符號(hào)/s的速度傳輸輸入符號(hào)?，F(xiàn)有一消息序列共有14000個(gè)二元符號(hào)，并設(shè)在這消息中p(0)=p(1)=1/2。問(wèn)從信息傳輸?shù)慕嵌葋?lái)考慮，10秒鐘內(nèi)能否將這消息序列無(wú)失真地傳送完？解：信道容量由于為1bit,14000個(gè)符號(hào)14000bit的信息，傳輸14000bit的信息需要時(shí)間不能無(wú)失真的傳輸，每個(gè)二元符號(hào)的信息量失真函數(shù)：第四章平均失真：信息率失真函數(shù)R(D)：R(D)函數(shù)的定義域：

R(D)函數(shù)的性質(zhì)：下凸性、連續(xù)性、單調(diào)遞減性信息率失真函數(shù)與信道容量的比較。4-1設(shè)有一個(gè)二元等概率信源,，通過(guò)一個(gè)二進(jìn)制對(duì)稱信道（BSC）。其失真函數(shù)與信道轉(zhuǎn)移概率分別定義為

，

試求失真矩陣d和平均失真。解：由題意得，失真矩陣為d，信道轉(zhuǎn)移概率矩陣為P平均失真為

4-3

設(shè)輸入符號(hào)與輸出符號(hào)X和Y均取值于{0,1,2,3}，且輸入符號(hào)的概率分布為P(X=i)=1/4,i=0,1,2,3,設(shè)失真矩陣為求以及相應(yīng)的編碼器轉(zhuǎn)移概率矩陣。解：由題意，得

則這時(shí)信源無(wú)失真，0→0,1→1,2→2,3→3，相應(yīng)的編碼器轉(zhuǎn)移概率矩陣為

則

此時(shí)輸出概率分布可有多種，其中一種為：p(0)=1,p(1)=p(2)=p(3)=0則相應(yīng)的編碼器轉(zhuǎn)移概率矩陣為p764-5

具有符號(hào)集的二元信源，信源發(fā)生概率為：所示，接收符號(hào)集，轉(zhuǎn)移概率為：。發(fā)出符號(hào)與接收符號(hào)的失真：。。Z信道如下圖（1）計(jì)算平均失真（2）率失真函數(shù)R(D)的最大值是什么？當(dāng)q為什么值時(shí)可達(dá)到該最大值？此時(shí)平均失真D是多大？（3）率失真函數(shù)R(D)的最小值是什么？當(dāng)q為什么值時(shí)可達(dá)到該最小值？此時(shí)平均失真D是多大？；（4）畫(huà)出R(D)-D的曲線。解：由題意，知失真矩陣為d轉(zhuǎn)移概率矩陣為（1）平均失真（2）此時(shí)的平均失真當(dāng)q=0時(shí)，

容易看出當(dāng)此時(shí)的平均失真D=q(1-p)=1-p

時(shí)，minR(D)=0（3）

（4）R(D)-D曲線第五章信源編碼主要內(nèi)容：能夠分辨碼字的類型；掌握計(jì)算碼長(zhǎng)、編碼效率；掌握幾種常用的信源編碼方法：香農(nóng)編碼、費(fèi)諾編碼和哈夫曼編碼。具有概率為的符號(hào)自信息量：條件自信息量：平均自信息量、平均不確定度、信源熵：條件熵：聯(lián)合熵：