信息論基礎(chǔ)試卷期末A卷

信息論基礎(chǔ)》試卷(期末A卷PAGE重慶郵電大學(xué)2007/2008學(xué)年2學(xué)期《信息論基礎(chǔ)》試卷（期末）（A卷）（半開(kāi)卷）一、填空題（本大題共10小空，每小空1分，共20分）1.按信源發(fā)出符號(hào)所對(duì)應(yīng)的隨機(jī)變量之間的無(wú)統(tǒng)計(jì)依賴關(guān)系，可將離散信源分為有記憶信源和無(wú)記憶信源兩大類。2.一個(gè)八進(jìn)制信源的最大熵為3bit/符號(hào)3.有一信源X，其概率分布為，其信源剩余度為94.64%；若對(duì)該信源進(jìn)行十次擴(kuò)展，則每十個(gè)符號(hào)的平均信息量是15bit。4.若一連續(xù)消息通過(guò)放大器，該放大器輸出的最大瞬間電壓為b，最小瞬時(shí)電壓為a。若消息從放大器中輸出，則該信源的絕對(duì)熵是；其能在每個(gè)自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高頻率為F，則單位時(shí)間內(nèi)輸出的最大信息量是2Flog（b-a）bit/s.5.若某一信源X，其平均功率受限為16w，其概率密度函數(shù)是高斯分布時(shí)，差熵的最大值為；與其熵相等的非高斯分布信源的功率為6、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。7、無(wú)失真信源編碼的平均碼長(zhǎng)最小理論極限制為信源熵（或H(S)/logr=Hr(S)）。8、當(dāng)R=C或（信道剩余度為0）時(shí)，信源與信道達(dá)到匹配。9、根據(jù)是否允許失真，信源編碼可分為無(wú)失真信源編碼和限失真信源編碼。10、在下面空格中選擇填入數(shù)學(xué)符號(hào)“”或“”（1）當(dāng)X和Y相互獨(dú)立時(shí)，H（XY）=H(X)+H(X/Y)。（2）假設(shè)信道輸入用X表示，信道輸出用Y表示。在無(wú)噪有損信道中，H(X/Y)>0,H(Y/X)=0,I(X;Y)<H(X)。二、擲兩粒骰子，各面出現(xiàn)的概率都是1/6，計(jì)算信息量：1.當(dāng)點(diǎn)數(shù)和為3時(shí)，該消息包含的信息量是多少？2.當(dāng)點(diǎn)數(shù)和為7是，該消息包含的信息量是多少？X=13/4027/40P(Y=i)12/4028/40由P（X|Y）=P(X|Y)/P(Y)可得P(X|Y)Y=0Y=1X=03/41/28X=11/427/28H(X|Y)=-3.該信道是對(duì)稱信道，其容量為：C=logs-H=log2-H（0.9,0.1）=1-0.469=0.531bit/符號(hào)這時(shí)，輸入符號(hào)服從等概率分布，即六、某信道的轉(zhuǎn)移矩陣試求：該信道的信道容量及其最佳輸入概率分布。解：該信道是準(zhǔn)對(duì)稱信道，分解為兩個(gè)互不相交的子信道矩陣這里C=logr-H(P的行矢量)-=0.174bit/符號(hào)這時(shí)，輸入端符號(hào)服從等概率分布，即=七、信源符號(hào)X有六種字母，概率為0.32,0.22,0.18,0.16,0.08,0.04。用赫夫曼編碼法編成二進(jìn)制變長(zhǎng)碼，寫出編碼過(guò)程并計(jì)算其平均碼長(zhǎng)、編碼后的信息傳輸率和編碼效率。解：碼字碼字001011010011001110.320.220.180.160.080.04“1”0100.120100.28110.400.61該信源在編碼之前的信源熵為：=0.526+0.481+0.445+0.423+0.292+0.186

=2.353bit/符號(hào)編碼后的平均碼長(zhǎng)：=2.4碼元/信源符號(hào)編碼后的信息傳輸率為：bit/碼元編碼效率為：八、設(shè)在平均功率受限的高斯可加波形信道中，信道帶寬為3KHz，又設(shè)信噪比為101.試計(jì)算該信道傳達(dá)的最大信息率（單位時(shí)間）；2.若功率信噪比降為5dB，要達(dá)到相同的最大信息傳輸率，信道帶寬是多少？解：1.故：該信道傳送的最大