《信息論與編碼》試卷(A1)

1、9裝課程信息論與編碼班級計122姓名葉玉虎學號129074068密封線安徽工業(yè)大學試題紙（一）題號二三四五六七八九十十一十二十三十四十五十六十七十八十九二十總分得分20132014學年第一學期期末考試信息論與編碼試卷（A1）一、填空題（共20分，每空2分）信源兩大類。按照信源發(fā)出的消息在時間和幅度上的分布情況，可將信源分成離散信源和連續(xù)離散信源一X1xxxx1234_p(x)_1/21/41/81/82.，則信源的熵為1.75bit/符號信源符號等概分布3.對于離散無記憶信源，當信源熵有最大值時，滿足條件為的充要條件。4-采用m進制編碼的碼字長度為Ki碼字個數(shù)為n，則克勞夫特不等式為，它是判斷

2、*_3見3f4.采年如進制畦瑪?shù)拇a宇&匿淘Ki,碼宇亍皺為則克旁元特不等式,L它是判斷哇一可譯瑪存在的充棗條件-信息率失真函數(shù)R（D）是關于D的嚴格單調非增函數(shù)。如果所有碼字都配置在二進制碼樹的葉節(jié)點，則該碼字為唯一可譯碼信源編碼的主要目的是提高通信的有效性。信源符號的相關程度越大，信源的剩余度越大。二、選擇題（共10分，5題）設有一離散無記憶信源X,其符號數(shù)為n,則有（A）成立。A、H（X）logn;22C、H（X）2logn;D、以上結論都不對。21/21/31/6設有離散無記憶信道，其信道矩陣為P=1/61/21/3，則信道容量是（A）。1/31/61/2a、應？3-h（2+6）;B、嗨

3、23-hft）；C、log25一H（亍石）；D、log26一H（3Klogmlogm22B、1-HX)K日(X)logm2D、KHX)logm2C、1+HX)Klogm2A1-1裝訂線課程信息論與編碼班級姓名學號密封線安徽工業(yè)大學試題紙（二）設X是一個離散無記憶信源，X2、X3、X4分別是其2、3、4次擴展信源。由變長無失真信源編碼定理知，對上述4個信源進行二元香農變長編碼，則對（D）進行編碼時，編碼效率最高。A、X；B、X2；C、X3；D、X4。關于信息率失真函數(shù)R（D），下列說法正確的是（A）。A、R（D）函數(shù)表示信源X和允許的失真度D給定的情況下，需要由信源傳送給信宿的最小信息率；B、R

4、（D）函數(shù)表示信源和允許的失真度D給定的情況下，需要由信源傳送給信宿的最大信息率；C、R（D）函數(shù)的取值范圍是（-8,0）;D、以上說法都不對。三、簡答題（共20分，每題10分）1、簡述信息的特征。1.簡述倩總的特征*悸：倍息的基沐槪想比亍吉荊不翩定性.住何已確宦歯享物卸不妬息*接戲咅応收到倍總丈前、對它的內磔是不知道的所尿倩感是新知識.新內毎.佶感是能逆認姜龜徉對英一享物的耒知性克不硝定性城歯占VB知識-倍息町以產生,電町風謂失,同對帝懇可反被揣帶.貯存履處理，1.簡單弁螞蚪丈址騙咼帖步菠，祐衆(zhòng)消息齋號按英出觀姑榛率丸小啟躍半到ptrjA譏柑AAI瑕兩豐槪率擔小的誓勿亦別前和7井捋或蔭個慨串

5、相加:吏-g特號抽璃率，與.來亦囲瑪元為特號覽斯排f對重坤后的兩帕暢申股小特號寶徑歩礦2的辻機4竝堆上號過很，宜到赴府兩牛靜號譽1X0和1為止iAO-開姑.尙前返遼稈劉各彳詢餵粹爭所對應躺碼亢序到，即相広的焉駄I買分丨評卷人嘰F置題艾站沁.信息的特征就是對于辨別該信息起決定作用的信息，比如說你要識別一個人，這個人的信息有很多，但是能區(qū)別開他與別人的特征就是他的特征,如果你只說他是男的，戴眼鏡就毫無意義，這種特征的人特別多，如果他有一些與眾不同的地方，就可以做為他的特征了.信息的基本特征2、簡單介紹哈夫曼編碼的步驟。簡單敘述香農編碼的步驟。編碼步驟如下：將信源發(fā)岀的q個消息符號按其概率的遞誠次序

6、依次排列：入巴心二工靄,i-i按下式計算第個消息的二進制代碼組的碼長A,并取整；訂代)哄p(x2).pCxn)o2.將依次排列的信源符號按概率植分兩大組:并對各組賦予一個二進制元碼0.1.工將每一大組的信源符號進一步分組,使劃分后的兩組概率和近于相同并又賦兩組0.1o4.如此重復:至兩組只剩下一個信源符號為止。5.信源符號所對應的碼字即為費諾碼一寫岀哈夫曼編碼步驟。將11個信源消息符號按其岀現(xiàn)的概率大小依次排列;p(xl)p(x2).p(xn)取兩個概率最小的字母分別配以0和1兩碼元:并將這兩個概率相加作為一個新字母的概率，與未分配的二進符號的字母重新排隊。重復步驟(2)的過程;直到最后兩個符

7、號配以0和1為止！n工mk-1i=l從最后一級開始一向前返回得到各個信源符號所對應的碼元序列。描述克勞夫特不等式。用碼樹的概念可以推導岀唯一可譯碼存在的充要條件，即各碼字的長度Ki應符合不等式m是進制數(shù)，ri是信源符號數(shù)稱之為克勞夫特Kraft)不等式A1- 四、證明題(10分)證明：平均互信息量同信息熵之間滿足：l(X;Y)二H(X)+H(Y)-H(XY)四、(50證明：平均互信息量同信息燔之間滿足I(X;Y)=H(X)+H(Y)-H(XY)證明:同理罩吟耳)嗨啲十=HX)_H(X|F)因為HXY=HX-HYX)(1分)(2分)(1分)HIXY)=-H(Y)-HX：Y)I(XiY=H(X-H

8、XT1分)裝訂線課程信息論與編碼班級姓名學號密封線安徽工業(yè)大學試題紙（三）五、計算題（40分，共3題）1.（10分）居住在某地區(qū)的女孩中有25%是大學生，在女大學生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占總數(shù)的一半。假如我們得知“身高1.6米以上的某女孩是大學生”的消息，問獲得多少信息量？解：設隨機變量X代表女孩子學歷/心是大學生）七（不是大學生）P（X）0.250.75設隨機變量Y代表女孩子身高Y旳（身高160cm）y2（身高160cm）P（Y）0.50.5已即求知；在女大學生中有75%是身高160厘米以上的:p（y/心）-0.75:身高20厘米以上的某女孩是大學生的信息量，即；/（x1/y1）=-logp（1/y1）=-log2|_-L卩（兒（0.25xO.75=-log=1.415bitI0.5丿A1- 2.（10分）求右圖所示的信道的容量及達到信道容量時的輸入分布。b2bi丑、住分j求右圖朋不的信道的容瑩及達釘信道專世時的輸入由右圖可扣，探苗道的轉穆槪羋殖陣泊尸