信息論期末考試試題

1、安徽大學(xué)20112012學(xué)年第1學(xué)期信息論考試試卷（AB合卷）院/系 年級(jí) 專業(yè) 姓名 學(xué)號(hào) 題 號(hào)一二三四五總 分 得 分得分一、填空題1、接收端收到y(tǒng)后，獲得關(guān)于發(fā)送的符號(hào)是x的信息量是 。2、香農(nóng)信息的定義 。3、在已知事件的條件下，接收到y(tǒng)后獲得關(guān)于事件x的條件互信息的表達(dá)式為 。4、通信系統(tǒng)模型主要分成五個(gè)部分分別為： 。5、研究信息傳輸系統(tǒng)的目的就是要找到信息傳輸過(guò)程的共同規(guī)律，以提高信息傳輸?shù)目煽啃浴⒂行浴?和 ，使信息傳輸系統(tǒng)達(dá)到最優(yōu)化。6、某信源S共有32個(gè)信源符號(hào)，其實(shí)際熵=1.4比特/符號(hào)，則該信源剩余度為 。7、信道固定的情況下，平均互信息是輸入信源概率分布的 型凸函

2、數(shù)。信源固定的情況下，平均互信息是信道傳遞概率的 型凸函數(shù)。8、當(dāng)信源與信道連接時(shí)，若信息傳輸率達(dá)到了信道容量，則稱此信源與信道達(dá)到匹配。信道剩余度定義為 。9、已知信源X的熵H(X)=0.92比特/符號(hào),則該信源的五次無(wú)記憶擴(kuò)展信源X5的信息熵= 。10、將，從大到小排列為 。11、根據(jù)香農(nóng)第一定理，對(duì)于離散無(wú)記憶信源S，用含r個(gè)字母的碼符號(hào)集對(duì)N長(zhǎng)信源符號(hào)序列進(jìn)行變長(zhǎng)編碼，總能找到一種無(wú)失真的唯一可譯碼，使每個(gè)信源符號(hào)所需平均碼長(zhǎng)滿足： 。12、多項(xiàng)式剩余類環(huán)是域的充要條件為 。13、多項(xiàng)式剩余類環(huán)的任一理想的生成元與關(guān)系為 。14、有限域的全部子域?yàn)?。15、國(guó)際標(biāo)準(zhǔn)書(shū)號(hào)（ISBN）由十

3、位數(shù)字組成（諸，滿足：），其中前九位均為0-9，末位0-10，當(dāng)末位為10時(shí)用X表示。Handbook of Applied Cryptography的書(shū)號(hào)為ISBN：7-121-01339- ，Coding and Information Theory的書(shū)號(hào)為ISBN：7-5062-3392- 。得分二、判斷題1、互信息與平均互信息都具有非負(fù)性質(zhì)。 （ ）2、離散信源的信息熵是信源無(wú)失真數(shù)據(jù)壓縮的極限值。 （ ）3、對(duì)于無(wú)噪無(wú)損信道，其輸入和輸出有確定的一一對(duì)應(yīng)關(guān)系。 （ ）4、對(duì)于有噪無(wú)損信道，其輸入和輸出有確定的一一對(duì)應(yīng)關(guān)系。 （ ）5、設(shè)有噪信道的信道容量為C，若信息傳輸率，只要碼長(zhǎng)n

4、足夠長(zhǎng)，必存在一種信道編碼和相應(yīng)的譯碼規(guī)則，使譯碼平均錯(cuò)誤概率為任意小。反之，若則不存在以R傳輸信息而為任意小的碼。 （ ） 6、在任何信息傳輸系統(tǒng)中，最后獲得的信息至多是信源所提供的信息。如果一旦在某一過(guò)程中丟失一些信息，以后的系統(tǒng)不管如何處理，如不觸及到丟失信息過(guò)程的輸入端，就不能再恢復(fù)已丟失的信息。 （ ）7、對(duì)于離散信道，有，并且不管采用什么譯碼規(guī)則，上述費(fèi)諾不等式成立。 （ ）8、碼C=0,10,1100,1110,1011,1101是唯一可譯碼。 （ ）9、一定存在碼長(zhǎng)分別為1，2，3，3，3，4，5，5的二元即時(shí)碼。 （ ）三、計(jì)算題得分1、設(shè)，。計(jì)算。當(dāng)為統(tǒng)計(jì)獨(dú)立時(shí)，計(jì)算。2、

5、有一離散無(wú)記憶信源 ， 。 求該信源的二次擴(kuò)展信源，并計(jì)算二次擴(kuò)展信源的信源熵。3、求下述兩信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布。 （1） （2）4、設(shè)二元對(duì)稱信道的傳遞矩陣為，求此信道的信道容量及相應(yīng)的最佳輸入概率分布。當(dāng)輸入概率分布為時(shí)，求。5、設(shè)有一馬爾可夫信源，其狀態(tài)集為，符號(hào)集為。在某狀態(tài)下發(fā)某符號(hào)的概率為。見(jiàn)下圖：計(jì)算此馬爾可夫信源熵。S1S2S3a3:1/4a1:1a3:1/2a2:1/4a1:1/2a2:1/26、一階馬爾可夫信源的狀態(tài)圖如下圖所示，信源X的符號(hào)集為0，1，2并定義。 (1)求信源平穩(wěn)后的概率分布P(0)，P(1)，P(2)；(2)求此信源的熵。 0 2 1p/2p/2p/2p/2p/2p/27、求以為生成多項(xiàng)式的長(zhǎng)為3的三元循環(huán)碼C的全體碼字。8、求以為生成多項(xiàng)式的長(zhǎng)為3的二元循環(huán)碼C的全體碼字。得分四、綜合題1、設(shè)有一離散信道，其信道傳遞矩陣為，并設(shè)，。試分別按最小錯(cuò)誤概率準(zhǔn)則和最大似然譯碼準(zhǔn)則確定譯碼函數(shù)，并計(jì)算相應(yīng)的平均錯(cuò)誤概率。2、信源空間為，碼符號(hào)為，試構(gòu)造一種三元緊致碼，并計(jì)算平均碼長(zhǎng)。3、設(shè)C是二元線性碼，其校驗(yàn)矩陣為。試求全體碼字，列簡(jiǎn)明譯碼表