信息論基礎(chǔ) 答案2

1、信息論基礎(chǔ)答復(fù)一、填空問(wèn)題(共15分，每空1分)1 .當(dāng)連續(xù)消息通過(guò)某個(gè)放大器時(shí)，該放大器輸出的最大瞬時(shí)電壓為b，最小瞬時(shí)電壓為a。 從放大器輸出消息后，其源的絕對(duì)熵將是無(wú)限大的每個(gè)自由度的最大熵。2 .高斯白噪聲通道指的是功率譜上具有恒定數(shù)量的通道噪聲，其中通道噪聲遵循正態(tài)分布。3 .如果連續(xù)信道源的平均功率為5 W，則最大熵達(dá)到最大值的條件為高斯信道。4 .在離散源中具有剩馀的置信度的原因是不均勻地在源上具有記憶(或在輸出符號(hào)之間具有相關(guān)性)。5 .在進(jìn)行無(wú)失真的可變長(zhǎng)度源編碼的情況下，離散無(wú)存儲(chǔ)器源的編碼效率最多達(dá)到1。6 .當(dāng)進(jìn)行無(wú)失真的長(zhǎng)源編碼時(shí)，所述無(wú)離散記憶的源的碼字長(zhǎng)度發(fā)生改變

2、。 根據(jù)源碼元的統(tǒng)一特性，通過(guò)對(duì)概率大的碼元使用短碼，對(duì)概率小的碼元使用長(zhǎng)碼，可降低平均碼長(zhǎng)，可提高編碼效率。七、八進(jìn)制源的最小熵為0，最大熵為。8 .如果一個(gè)事件的發(fā)生概率為0.125，則自身信息量為。9 .選擇在下面的空格中輸入數(shù)字符號(hào)“”或“”=二、判斷題(正確打、錯(cuò)誤打)(訂正5分、各小題1分)1 )離散無(wú)記憶等概念源的剩馀佗度為0。 ()2 )離散無(wú)記憶源的n次擴(kuò)張?jiān)撵厥窃畔㈧氐膎倍()3 )相互信息可以是正、負(fù)、零。 ()4 )源的真正功率不大于熵功率()5 )信道容量與源輸出碼元的概率分布有關(guān)。 （）三、(5點(diǎn))已知源的概率密度函數(shù)如下圖所示，求源的相對(duì)熵四、(15點(diǎn))求解沒(méi)

3、有離散記憶源的概率空間這些通過(guò)干擾信道，匯集信道輸出端的接收信號(hào)，已知信道發(fā)書的概率如下圖所示。試行修訂：(1)源中事件的自我信息量(3點(diǎn))(2)源的信息熵(3分)(3)共熵(3分)(4)噪聲熵(3點(diǎn))(5)關(guān)于接收信息獲得的來(lái)源的熵。 (3分)(1)(2)(3)(4)(5)在有限平均功率(10分鐘)的連續(xù)信道上，信道帶寬是10MHz，信道噪聲是高斯白噪聲。(1)已知信道上的信號(hào)和噪聲的平均功率比為63，并且校正用于各信道的信道噪聲分級(jí)。(2)當(dāng)信道帶寬降低到2MHz時(shí)，每個(gè)信道上的信號(hào)和噪聲的平均功率比是多少以實(shí)現(xiàn)相同的信道容量(1)(2)6、(10點(diǎn))已知信道源的校正的7個(gè)符號(hào)信息是其概率

4、空間位于(1)使用霍夫曼(Huffman )編碼方法來(lái)生成二進(jìn)制可變長(zhǎng)度編碼表。 (7分)(2)校正源熵、平均代碼長(zhǎng)度和編碼效率。 (9分)(1)(7分)(2)分鐘)(3分)(10點(diǎn))取兩個(gè)隨機(jī)變量的和，它們的聯(lián)合概率密度求出隨機(jī)變量的概率密度函數(shù)，修正變量的熵。已知(2分)則(2分)所以是獨(dú)立的，所以y是高斯分布因?yàn)樗?兩分)所以(兩分)所以(2)八、(十分)將某信道的傳遞矩陣對(duì)該信道的信道容量進(jìn)行校正，說(shuō)明達(dá)到信道容量的最佳輸入概率分布。解： s=4(2分)(2分)最佳概率分布輸入概率(2點(diǎn))9、(14分)設(shè)置了一個(gè)馬爾可夫源，其中，的概率是1/3，的概率是1/3，其中，的概率是1/2。 而且后發(fā)的概率只是有關(guān)系，