信息論基礎(chǔ) 答案2[驕陽(yáng)教學(xué)]

1、信息論基礎(chǔ)答案一、填空題（共15分，每空1分）1、若一連續(xù)消息通過(guò)某放大器，該放大器輸出的最大瞬時(shí)電壓為b，最小瞬時(shí)電壓為a。若消息從放大器中輸出，則該信源的絕對(duì)熵是 無(wú)窮大 ；其能在每個(gè)自由度熵的最大熵是 。2、高斯白噪聲信道是指 信道噪聲服從正態(tài)分布，且功率譜為常數(shù) 。3、若連續(xù)信源的平均功率為5 W，則最大熵為，達(dá)到最大值的條件是 高斯信道 。4、離散信源存在剩余度的原因是 信源有記憶（或輸出符號(hào)之間存在相關(guān)性） 和 不等概 。5、離散無(wú)記憶信源在進(jìn)行無(wú)失真變長(zhǎng)信源編碼時(shí)，編碼效率最大可以達(dá)到 1 。6、離散無(wú)記憶信源在進(jìn)行無(wú)失真變長(zhǎng)信源編碼時(shí)，碼字長(zhǎng)度是變化的。根據(jù)信源符號(hào)的統(tǒng)計(jì)特性，

2、對(duì)概率大的符號(hào)用 短 碼，對(duì)概率小的符號(hào)用 長(zhǎng) 碼，這樣平均碼長(zhǎng)就可以降低，從而提高編碼效率。7、八進(jìn)制信源的最小熵為 0 ，最大熵為 。8、一個(gè)事件發(fā)生概率為0.125，則自信息量為 。9、在下面空格中選擇填入數(shù)字符號(hào)“”或“” = 二、判斷題（正確打，錯(cuò)誤打）（共5分，每小題1分）1) 離散無(wú)記憶等概信源的剩余度為0。 （ ）2) 離散無(wú)記憶信源N次擴(kuò)展源的熵是原信息熵的N倍 （ ）3) 互信息可正、可負(fù)、可為零。 （ ）4) 信源的真正功率永遠(yuǎn)不會(huì)大于熵功率，即 （ ）5) 信道容量與信源輸出符號(hào)的概率分布有關(guān)。 （ ）三、（5分）已知信源的概率密度函數(shù)如下圖所示，求信源的相對(duì)熵 四、（

3、15分）設(shè)一個(gè)離散無(wú)記憶信源的概率空間為它們通過(guò)干擾信道，信道輸出端的接收信號(hào)集為，已知信道出書概率如下圖所示。試計(jì)算：（1） 信源中事件的自信息量；（3分）（2） 信源的信息熵；（3分）（3） 共熵;（3分）（4） 噪聲熵；（3分）（5） 收到信息后獲得的關(guān)于信源的平均信息量。（3分）（1）（2）（3）（4）（5）五、（10分）一個(gè)平均功率受限的連續(xù)信道，信道帶寬為10MHz，信道噪聲為高斯白噪聲。 （1）已知信道上的信號(hào)與噪聲的平均功率比值為63，計(jì)算該信道的信道蓉量。 （2）如果信道帶寬降為2MHz，要達(dá)到相同的信道容量，信道上的信號(hào)與噪聲的平均功率比值應(yīng)為多少？（1）（2）六、（10分

4、）已知信源共7個(gè)符號(hào)信息，其概率空間為（1） 試用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼。（7分）（2） 計(jì)算信源熵，平均碼長(zhǎng)和編碼效率。（9分）（1）（7分）（2） 分） （3分）七、（10分）設(shè)給定兩隨機(jī)變量和，它們的聯(lián)合概率密度為求隨機(jī)變量的概率密度函數(shù)，并計(jì)算變量的熵。已知得 （2分）則 （2分）所以和獨(dú)立，所以y為高斯分布因?yàn)?所以 （2分）所以 （2分）所以 （2）八、（10分）設(shè)某信道的傳遞矩陣為計(jì)算該信道的信道容量，并說(shuō)明達(dá)到信道容量的最佳輸入概率分布。解：s=4 （2分） （2分）最佳概率分布當(dāng)輸入概率 （2分）九、（14分）設(shè)有一個(gè)馬爾可夫信源，如果為時(shí)，為、的概率為1/3；如果為時(shí)，為、的概率為1/3；如果為時(shí)，為、的概率為1/2。而且后面發(fā)的概率只與有關(guān)，又。（1）寫出