信息論與編碼習(xí)題課新課件

信息、消息、信號的定義？三者的關(guān)系？通信系統(tǒng)的模型？各個主要功能模塊及作用？

第一章

第二章信源的分類？自信息量、條件自信息量、平均自信息量、信源熵、不確定度、條件熵、疑義度、噪聲熵、聯(lián)合熵、互信息量、條件互信息量、平均互信息量以及相對熵的概念？計算方法?冗余度?具有概率為的符號自信息量：條件自信息量：平均自信息量、平均不確定度、信源熵：條件熵：聯(lián)合熵：互信息：熵的基本性質(zhì)：非負(fù)性、對稱性、確定性(2)

(3)兩個點(diǎn)數(shù)的排列如下：共有21種組合：其中11，22，33，44，55，66的概率是其他15個組合的概率是111213141516212223242526313233343536414243444546515253545556616263646566(4)兩個點(diǎn)數(shù)求和的概率分布如下：(5)包含1的組合：{(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}因為信源無記憶，所以此消息序列的信息量就等于該序列中各個符號的信息量之和，就有：平均每個符號攜帶的信息量為bit/符號2.8

試問四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？解：四進(jìn)制脈沖可以表示4個不同的消息：{0,1,2,3}

八進(jìn)制脈沖可以表示8個不同的消息：{0,1,2,3,4,5,6,7}

二進(jìn)制脈沖可以表示2個不同的消息：{0,1}假設(shè)每個消息的發(fā)出都是等概率的，則：四進(jìn)制脈沖的平均信息量八進(jìn)制脈沖的平均信息量二進(jìn)制脈沖的平均信息量所以，四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的2倍和3倍。2-9

國際莫爾斯電碼用點(diǎn)和劃的序列發(fā)送英文字母，劃用連續(xù)三個單位的電流脈沖表示，點(diǎn)用持續(xù)一個單位的電流脈沖表示。其劃出現(xiàn)的概率是點(diǎn)出現(xiàn)概率的1/3，計算：（1）點(diǎn)和劃的信息量；（2）點(diǎn)和劃的平均信息量?！埃背霈F(xiàn)的概率是

解：

“”出現(xiàn)概率的1/3

(1)I()＝bit

I()=(2)H=

bitBit/符號

(3)P(黑/白)=

P(白/白)=

H(Y/白)=

(4)

H(Y)=2-14在一個二進(jìn)制信道中，信源消息，且p(1)=p(0),信宿的消息,信道傳輸概率，（1）在接收端收到y(tǒng)=0后，所提供的關(guān)于傳輸消息x的平均條件互信息量I(X;y=0);（2）該情況所能提供的平均互信息量I(X;Y)。。求：解：(1)

P(i，j)=

P(i/j)=2-15已知信源發(fā)出a1和a2兩種消息，p(a1)=p(a2)=1/2,此消息在二進(jìn)制對稱信道上傳輸，信道傳輸特性為。求互信息量I(a1;b1)和I(a1;b2)。解：信道轉(zhuǎn)移概率矩陣為P(bj/ai)=

p222.17每幀電視圖像可以認(rèn)為是由

個像素組成的，所有像素均是獨(dú)立變化，且每像素又取128個不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問每幀圖像含有多少信息量？若有一個廣播員，在約10000個漢字中選出1000個漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無依賴）？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？解：（1）2-26一個信源發(fā)出二重符號序列消息（X1，X2),其中第一個符號X1可以是A,B,C中的一個，第二個符號X2可以是D,E,F,G中的一個。已知各個為p(A)=1/2,p(B)=1/3,p(C)=1/6;各個值列成如下。求這個信源的熵（聯(lián)合熵H(X1，X2)）。

A

BCD1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6解：

P(i)=

P(i，j)=第三章信道容量的定義：無噪無損離散信道：對稱DMC信道、準(zhǔn)對稱DMC信道的定義？對稱DMC信道：準(zhǔn)對稱DMC信道：（連續(xù)信道）香農(nóng)公式：二元對稱信道：（2）其最佳輸入分布為3.3

在有擾離散信道上傳輸符號0和1，在傳輸過程中每100個符號發(fā)生一個錯誤，已知P(0)=P(1)=1/2，信源每秒內(nèi)發(fā)出1000個符號，求此信道的信道容量。解：由題意可知該二元信道的轉(zhuǎn)移概率矩陣為：為一個BSC信道所以由BSC信道的信道容量計算公式得到：

解：(1)

（2）聯(lián)合概率后驗概率

H(Y/X)==bit/symbol（3）當(dāng)接收為，發(fā)為時正確，如果發(fā)的是則為錯誤，各自的概率為：則錯誤概率為：（4）從接收端看平均錯誤概率為：（5）從發(fā)送端看的平均錯誤概率為：（6）能看出此信道不好。原因是信源等概率分布，從轉(zhuǎn)移信道來看正確發(fā)送的概率x1→y1的概率0.5有一半失真；x2→y2的概率0.3有嚴(yán)重失真；x3→y3的概率0完全失真。（7）bit/symbol

H(X/Y)=bit/symbol3-10

一個平均功率受限制的連續(xù)信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。（1）已知信道上的信號與噪聲的平均功率比值為10，求該信道的信道容量；（2）信道上的信號與噪聲的平均功率比值降至5，要達(dá)到相同的信道容量，信道通頻帶應(yīng)為多大？（3）若信道通頻帶減小為0.5MHZ時，要保持相同的信道容量，信道上的信號與噪聲的平均功率比值應(yīng)等于多大？解：（1）

（2）（3）

3-12

有一個二元對稱信道，其信道轉(zhuǎn)移概率如下圖所示，該信道以1500個二元符號/s的速度傳輸輸入符號?，F(xiàn)有一消息序列共有14000個二元符號，并設(shè)在這消息中p(0)=p(1)=1/2。問從信息傳輸?shù)慕嵌葋砜紤]，10秒鐘內(nèi)能否將這消息序列無失真地傳送完？解：信道容量由于為1bit,14000個符號14000bit的信息，傳輸14000bit的信息需要時間不能無失真的傳輸，每個二元符號的信息量失真函數(shù)：第四章平均失真：信息率失真函數(shù)R(D)：R(D)函數(shù)的定義域：

R(D)函數(shù)的性質(zhì)：下凸性、連續(xù)性、單調(diào)遞減性信息率失真函數(shù)與信道容量的比較。4-1設(shè)有一個二元等概率信源,，通過一個二進(jìn)制對稱信道（BSC）。其失真函數(shù)與信道轉(zhuǎn)移概率分別定義為

，

試求失真矩陣d和平均失真。解：由題意得，失真矩陣為d，信道轉(zhuǎn)移概率矩陣為P平均失真為

4-3

設(shè)輸入符號與輸出符號X和Y均取值于{0,1,2,3}，且輸入符號的概率分布為P(X=i)=1/4,i=0,1,2,3,設(shè)失真矩陣為求以及相應(yīng)的編碼器轉(zhuǎn)移概率矩陣。解：由題意，得

則這時信源無失真，0→0,1→1,2→2,3→3，相應(yīng)的編碼器轉(zhuǎn)移概率矩陣為

則

此時輸出概率分布可有多種，其中一種為：p(0)=1,p(1)=p(2)=p(3)=0則相應(yīng)的編碼器轉(zhuǎn)移概率矩陣為p764-5

具有符號集的二元信源，信源發(fā)生概率為：所示，接收符號集，轉(zhuǎn)移概率為：。發(fā)出符號與接收符號的失真：。。Z信道如下圖（1）計算平均失真（2）率失真函數(shù)R(D)的最大值是什么？當(dāng)q為什么值時可達(dá)到該最大值？此時平均失真D是多大？（3）率失真函數(shù)R(D)的最小值是什么？當(dāng)q為什么值時可達(dá)到該最小值？此時平均失真D是多大？；（4）畫出R(D)-D的曲線。解：由題意，知失真矩陣為d轉(zhuǎn)移概率矩陣為（1）平均失真（2）此時的平均失真當(dāng)q=0時，

容易看出當(dāng)此時的平均失真D=q(1-p)=1-p

時，minR(D)=0（3）

（4）R(D)-D曲線第五章信源編碼主要內(nèi)容：能夠分辨碼字的類型；掌握計算碼長、編碼效率；掌握幾種常用的信源編碼方法：香農(nóng)編碼、費(fèi)諾編碼和哈夫曼編碼。具有概率為的符號自信息量：條件自信息量：平均自信息量、平均不確定度、信源熵：條件熵：聯(lián)合熵：