信息論習(xí)題集(陳運)581

信息論習(xí)題集一、名詞解釋(25道)4、自信息量(P9)5、離散平穩(wěn)無記憶信源(P39)6、馬爾可夫信源(P46)二、填空(100道)1、在認識論層次上研究信息的時候，必須同時考慮到形式、含義和效用三個方面的因了。10、單符號離散信源一般用隨機變量描述，而多符號離散信源一般用隨機矢量描述。、一個隨機事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為其發(fā)生概率對數(shù)12、自信息量的單位一般有比特、奈特和哈特。。15、兩個相互獨立的隨機變量的聯(lián)合自信息量等于兩個自信息量之和。之間的平均互信息量趨于變小。21、平均功率為P的高斯分布的連續(xù)信源，其信源熵，Hc(X)=22。22、對于限峰值功率的N維連續(xù)信源，當(dāng)概率密度均勻分布時連續(xù)信源熵具有最大值。大值。信源的熵功率P之比。則編碼長度至少為3。ii27、若把擲骰子的結(jié)果作為一離散信源，則其信源熵為log26。28、同時擲兩個正常的骰子，各面呈現(xiàn)的概率都為1/6，則“3和5同時出現(xiàn)”這件事的自30、一副充分洗亂的撲克牌(52張)，從中任意抽取1張，然后放回，若把這一過程看作離32、信道的輸出僅與信道當(dāng)前輸入有關(guān)，而與過去輸入無關(guān)的信道稱為無記憶信道。34、強對稱信道的信道容量C=log2n-Hni。35、對稱信道的信道容量C=log2m-Hmi。36、對于離散無記憶信道和信源的N次擴展，其信道容量CN=NC。xCN立并聯(lián)信道，其信道容量CN=k=1k。38*、多用戶信道的信道容量用多維空間的一個區(qū)域的界限來表示。。40*、廣播信道是只有一個輸入端和多個輸出端的信道。41、當(dāng)信道的噪聲對輸入的干擾作用表現(xiàn)為噪聲和輸入的線性疊加時，此信道稱為加性連續(xù)信道。1P1P43、信道編碼定理是一個理想編碼的存在性定理，即：信道無失真?zhèn)鬟f信息的條件是信息率小于信道容量。44、信道矩陣L001」代表的信道的信道容量C=1。「10] 47、對于具有歸并性能的無燥信道，達到信道容量的條件是p(yj)=1/m)。48、信道矩陣L01」代表的信道，若每分鐘可以傳遞6*105個符號，則該信道的最大信息49、信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。51、信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性就越大，獲得的信息量就越小。52、信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息率也越小。的誤差或失真。(0i=j〈54、漢明失真函數(shù)d(xi，yj)=l1i豐j。55、平方誤差失真函數(shù)d(xi，yj)=(yj-xi)2。56、平均失真度定義為失真函數(shù)的數(shù)學(xué)期望，即d(xi，yj)在X和Y的聯(lián)合概率空間P (XY)中的統(tǒng)計平均值。57、如果信源和失真度一定，則平均失真度是信道統(tǒng)計特性的函數(shù)。真度準則。59、離散無記憶N次擴展信源通過離散無記憶N次擴展信道的平均失真度是單符號信源通過單符號信道的平均失真度的N倍。ji。61、信息率失真函數(shù)，簡稱為率失真函數(shù)，即：試驗信道中的平均互信息量的最小值。62、平均失真度的下限取0的條件是失真矩陣的每一行至少有一個零元素。64、率失真函數(shù)對允許的平均失真度是單調(diào)遞減和連續(xù)的。65、對于離散無記憶信源的率失真函數(shù)的最大值是log2n。22D(D/a)。73、按照不同的編碼目的，編碼可以分為三類：分別是信源編碼、信道編碼和安全編碼。75、一般情況下，信源編碼可以分為離散信源編碼、連續(xù)信源編碼和相關(guān)信源編碼。76、連續(xù)信源或模擬信號的信源編碼的理論基礎(chǔ)是限失真信源編碼定理。，其編碼效率為1。。概率為p[L(0)]=p0L(0)1p1。83、游程序列的熵等于原二元序列的熵。應(yīng)的二元序列的編碼效率為η，則三者的關(guān)系是η0>η>η1。85、在實際的游程編碼過程中，對長碼一般采取截斷處理的方法。87、在多符號的消息序列中，大量的重復(fù)出現(xiàn)的，只起占時作用的符號稱為冗余位。91、信道編碼的最終目的是提高信號傳輸?shù)目煽啃浴?5、等重碼可以檢驗全部的奇數(shù)位錯和部分的偶數(shù)位錯。96、任意兩個碼字之間的最小漢明距離有稱為碼的最小距dmin，則dmin=c豐c'。98、若檢錯碼的最小距離為dmin，則可以檢測出任意小于等于l=d-1min個差錯。99、線性分組碼是同時具有分組特性和線性特性的糾錯碼。碼。錯信息量和條件自信息量都是非負的和單調(diào)遞減的。對ijijijij對I(xy)=I(x)+I(y/x)=Iijijijij對ijiijjji對I(x;y)=I(x)I(x/y)=I(ijiijjji對10、信源熵具有嚴格的下凸性。錯11、平均互信息量I(X；Y)對于信源概率分布p(xi)和條件概率分布p(yj/xi)都具有凸對20、若對一離散信源(熵為H(X))進行二進制無失真編碼，設(shè)定長碼子長度為K，變長21、信道容量C是I(X；Y)關(guān)于p(xi)的條件極大值。對22、離散無噪信道的信道容量等于log2n，其中n是信源X的消息個數(shù)。錯p(p(y)=23、對于準對稱信道，當(dāng)jm時，可達到信道容量C。錯27、信道無失真?zhèn)鬟f信息的條件是信息率小于信道容量。對28、最大信息傳輸速率，即：選擇某一信源的概率分布(p(xi))，使信道所能傳送的信息29、對于具有歸并性能的無燥信道，當(dāng)信源等概率分布時(p(xi)=1/n)，達到信道容量。錯30、求解率失真函數(shù)的問題，即：在給定失真度的情況下，求信息率的極小值。對32、當(dāng)p(xi)、p(yj/xi)和d(xi，yj)給定后，平均失真度是一個隨即變量。錯33、率失真函數(shù)對允許的平均失真度具有上凸性。對36、率失真函數(shù)的值與信源的輸入概率無關(guān)。錯限失真信源編碼定理。錯42、游程序列的熵(“0”游程序列的熵與“1”游程序列的熵的和)大于等于原二元序列的對五、證明(10道)2X全相等時，上式取等號。I(X；YZ)=I(X；Y)+I(X；Z/Y)=I(X；Z)+X；Y/Z)Y不相互重合時，有H(Y)-H(X)=H(Y/X)I(X；Y)=N*I(X；Y)N信源，有RN(D)=NR(D)。其中N為任意正整數(shù)，Dmin。9、試證明離散二元無記憶信源的熵等于對應(yīng)的游程序列的熵。六、計算(20道)limH(X) (1)H(X2)(2)H(X3/X1X2)(3)N)w試計算：H(X)、H(Y)、H(XY)、H(X/Y)、H(Y/X)、H(X；Y)(1)“3和5同時出現(xiàn)”這事件的自信息量；(3)兩個點數(shù)的各種組合(無序?qū)?的熵或平均自信息量；(4)兩個點數(shù)之和(即2、3、…12構(gòu)成的子集)的熵；「p|Lpp(y「p|Lpp(y)=kmC=-xsmp(y)logp(y)-H(q,q,^,q)(2)k=1kk2k12mLOG23≈1.585LOG25≈2.3236LOG211≈3.46)4、某校入學(xué)考試中有1/4考生被錄取，3/4考生未被錄取。被錄取的考生中有50%來自本市，而落榜考生中有10%來自本市。所有本市的考生都學(xué)過英語。而外地落榜考生以(1)當(dāng)已知考生來自本市時，給出多少關(guān)于考生是否被錄取的信息；(2)當(dāng)已知考生學(xué)過英語時，給出多少有關(guān)考生是否被錄取的信息；zHXH(Y|X)、H(Z|XY)。xnP(n)Xn=0isafixedvalueA.EvaluatetheresultingH(X).(1)對該信源編二進制費諾(Fano)碼；(2)計算其信息熵、平均碼長、信息率、編碼效率。7、已知一個信源包含八個符號消息,它們的概率分布如下表,EEGDBHAFC①該信源每秒鐘內(nèi)發(fā)出一個符號,求該信源的熵及信息傳輸速率。②對八個符號作二進制碼元的霍夫曼編碼,寫出各代碼組,并求出編碼效率。③對八個符號作三進制碼元的霍夫曼編碼,寫出各代碼組,并求出編碼效率。9、設(shè)二進制對稱無記憶信道，信道矩陣為[P]=試計算：(1)[P]代表的信道的信道容量C；p]|(2)[P3]代表的信道的信道容量C3。提示：利用如下公式象元有64種彩色度，每種彩度又有16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出現(xiàn)并且個組合之間相互獨立。(1)計算每秒傳送25幀圖象所需要的信道容量；(2)如果在加性高斯白噪聲信道上信號與噪聲平均功率的比值為63，為實時傳送彩色 ax (2)率失真函數(shù)R(D)；1 (3)當(dāng)d=p時的信息率(即R(D))；2(4)粗略地繪制D與R的關(guān)系曲線。 (2)信道傳輸矩陣P(Y/X)1223「1101000]17、設(shè)二元(7,4)線性分組碼的生成矩陣為G=||L1010001」給出該碼的一致校驗矩陣并寫出所有的伴隨式和與之相對應(yīng)的陪集首。若接收矢量18、有一組碼將二位信息位編成五位長的碼字，其規(guī)則如下：(1)證明此碼是系統(tǒng)一致校驗碼；(2)找出其生成矩陣和一致校驗矩陣；011 (3)對于無記憶二元對稱信道(p<<)，列出其最大似然譯碼的譯碼表；2(4)計算正確譯碼概率。設(shè)一分組碼具有一致校驗矩陣|010101011|(1)求這分組碼n=？k=？，共有多少個碼字？(2)求此分組碼的生成矩陣；(3)矢量101010是否是碼字？實際錯誤不同？(1)Writedow