信息論期末考試試題

1、安徽大學(xué)20112012學(xué)年第1學(xué)期信息論考試試卷（AB合卷）院/系 年級 專業(yè) 姓名 學(xué)號 題 號一二三四五總 分 得 分得分一、填空題1、接收端收到y(tǒng)后，獲得關(guān)于發(fā)送的符號是x的信息量是 。2、香農(nóng)信息的定義 。3、在已知事件的條件下，接收到y(tǒng)后獲得關(guān)于事件x的條件互信息的表達式為 。4、通信系統(tǒng)模型主要分成五個部分分別為： 。5、研究信息傳輸系統(tǒng)的目的就是要找到信息傳輸過程的共同規(guī)律，以提高信息傳輸?shù)目煽啃浴⒂行浴?和 ，使信息傳輸系統(tǒng)達到最優(yōu)化。6、某信源S共有32個信源符號，其實際熵=1.4比特/符號，則該信源剩余度為 。7、信道固定的情況下，平均互信息是輸入信源概率分布的 型凸函

2、數(shù)。信源固定的情況下，平均互信息是信道傳遞概率的 型凸函數(shù)。8、當信源與信道連接時，若信息傳輸率達到了信道容量，則稱此信源與信道達到匹配。信道剩余度定義為 。9、已知信源X的熵H(X)=0.92比特/符號,則該信源的五次無記憶擴展信源X5的信息熵= 。10、將，從大到小排列為 。11、根據(jù)香農(nóng)第一定理，對于離散無記憶信源S，用含r個字母的碼符號集對N長信源符號序列進行變長編碼，總能找到一種無失真的唯一可譯碼，使每個信源符號所需平均碼長滿足： 。12、多項式剩余類環(huán)是域的充要條件為 。13、多項式剩余類環(huán)的任一理想的生成元與關(guān)系為 。14、有限域的全部子域為 。15、國際標準書號（ISBN）由十

3、位數(shù)字組成（諸，滿足：），其中前九位均為0-9，末位0-10，當末位為10時用X表示。Handbook of Applied Cryptography的書號為ISBN：7-121-01339- ，Coding and Information Theory的書號為ISBN：7-5062-3392- 。得分二、判斷題1、互信息與平均互信息都具有非負性質(zhì)。 （ ）2、離散信源的信息熵是信源無失真數(shù)據(jù)壓縮的極限值。 （ ）3、對于無噪無損信道，其輸入和輸出有確定的一一對應(yīng)關(guān)系。 （ ）4、對于有噪無損信道，其輸入和輸出有確定的一一對應(yīng)關(guān)系。 （ ）5、設(shè)有噪信道的信道容量為C，若信息傳輸率，只要碼長n

4、足夠長，必存在一種信道編碼和相應(yīng)的譯碼規(guī)則，使譯碼平均錯誤概率為任意小。反之，若則不存在以R傳輸信息而為任意小的碼。 （ ） 6、在任何信息傳輸系統(tǒng)中，最后獲得的信息至多是信源所提供的信息。如果一旦在某一過程中丟失一些信息，以后的系統(tǒng)不管如何處理，如不觸及到丟失信息過程的輸入端，就不能再恢復(fù)已丟失的信息。 （ ）7、對于離散信道，有，并且不管采用什么譯碼規(guī)則，上述費諾不等式成立。 （ ）8、碼C=0,10,1100,1110,1011,1101是唯一可譯碼。 （ ）9、一定存在碼長分別為1，2，3，3，3，4，5，5的二元即時碼。 （ ）三、計算題得分1、設(shè)，。計算。當為統(tǒng)計獨立時，計算。2、

5、有一離散無記憶信源 ， 。 求該信源的二次擴展信源，并計算二次擴展信源的信源熵。3、求下述兩信道的信道容量及其達到信道容量時的輸入概率分布。 （1） （2）4、設(shè)二元對稱信道的傳遞矩陣為，求此信道的信道容量及相應(yīng)的最佳輸入概率分布。當輸入概率分布為時，求。5、設(shè)有一馬爾可夫信源，其狀態(tài)集為，符號集為。在某狀態(tài)下發(fā)某符號的概率為。見下圖：計算此馬爾可夫信源熵。S1S2S3a3:1/4a1:1a3:1/2a2:1/4a1:1/2a2:1/26、一階馬爾可夫信源的狀態(tài)圖如下圖所示，信源X的符號集為0，1，2并定義。 (1)求信源平穩(wěn)后的概率分布P(0)，P(1)，P(2)；(2)求此信源的熵。 0 2 1p/2p/2p/2p/2p/2p/27、求以為生成多項式的長為3的三元循環(huán)碼C的全體碼字。8、求以為生成多項式的長為3的二元循環(huán)碼C的全體碼字。得分四、綜合題1、設(shè)有一離散信道，其信道傳遞矩陣為，并設(shè)，。試分別按最小錯誤概率準則和最大似然譯碼準則確定譯碼函數(shù)，并計算相應(yīng)的平均錯誤概率。2、信源空間為，碼符號為，試構(gòu)造一種三元緊致碼，并計算平均碼長。3、設(shè)C是二元線性碼，其校驗矩陣為。試求全體碼字，列簡明譯碼表