信息論與編碼

#桂林工學院2009-2010學年第二學期課程名稱：《信息論與編碼》一、填空(每題2分，共20分)1、信息是對事物狀態(tài)(或它的存在方式)的不確定性的一種描述，其中自信息I(x)=；事件發(fā)生前，它表示，事件發(fā)生后，它表示。X]「xxx〕2、已知一個單符號離散無記憶信源，d/Y、={Ik12，則其四次擴展信源的序列P(X)11/21/41/41熵的大小為。3、對于單符號離散無記憶信源X,若輸出符號取值于集合4,x,x,xxx,x,x},則其最1234,5,678大信源熵為，且達到此最大熵時各符號的概率分布為。4、信源編碼的目的是為了提高通信系統(tǒng)的,而信道編碼的最終目的是為了。5、一離散信道的信道矩陣如下所示，則其信道容量為比特/信道符號。TOC\o"1-5"\h\z-0.20.30000000.10.4一P=000.20.30.500000000000.10.60.3006、有一個信源，它產(chǎn)生0,1序列的信息，它在任意時間而且無論以前發(fā)生什么符號，均按P(0)=0.3,P(1)=0.7的概率發(fā)出符號，則H(X2)=,X2信源中可能有的符號H(X3/X1X2)=。7、在對單符號離散信源進行費諾編碼時,其中一個步驟是按編碼進制數(shù)將概率分組,分組的原則是使每組概率之和。8、設某二元碼為C={11100,01001,10010,00111}若碼字等概率分布，則此碼的碼率為，若采用最小距離譯碼準則，則接收序列10011,01100,應譯成的碼字分別為、(7,4)漢明碼的許用碼組有一個；若一碼組為0100n1,則其碼重為。

10、某(7,4)循環(huán)碼，生成多項式為g(x)=X3+x+l(對應碼字為0001011),則碼字10100n此循環(huán)碼的碼字，碼字1100100此循環(huán)碼的碼字(本題填“是”或“不是”)。二、選擇,將正確答案代號填寫在題后的括號內(nèi)(20分)1、設有離散無記憶信源XP1、設有離散無記憶信源XP(X)x=0x=1x=2x=3]1/22/41/81/81，其發(fā)出的消息為3021300120021011030101002,則此消息中平均每個符號攜帶的信息量是答:()(D)1.84比特/符號(A)2比特/符號(B)1.75比特/符號(C)1.98(D)1.84比特/符號2、若三個離散隨機變量，有如下關系：X+Y=Z，其中X和Y相互獨立。則以下各組關系式中哪一組是正確的答:()I(X;Z)=H(Z)-H(Y);I(X;YZ)=H(X);I(Y:Z/X)=H(Y);I(X;Y/Z)=H(X/Z);I(X;Z)=H(Z)-H(Y);I(X;YZ)=H(Y);I(Y:Z/X)=H(Z);I(X;Y/Z)=H(X/Z);I(X;Y)=0;I(X;YZ)=H(X);I(Y:Z/X)=H(X);I(X;Y/Z)=H(Z/X);I(X;Y)=0;I(X;YZ)=H(X);I(Y:Z/X)=H(Y);I(X;Y/Z)=H(X/Z);TOC\o"1-5"\h\z3、八進制脈沖所含信息量是二進制脈沖的幾倍。答:()(A)2(B)3(C)1/2(D)1/34、發(fā)送端發(fā)送糾檢錯碼,接收端根據(jù)糾檢錯碼判斷接收的消息是否有錯,如果在糾錯范圍內(nèi),則自動糾錯,否則反饋給發(fā)送端,發(fā)送端重新發(fā)送信息,這種糾錯方式為何種糾錯方式。(A)前向糾錯(B)混合糾錯(C)反饋重傳糾錯5)自動糾錯答：()5、設加性高斯白噪聲信道中，信道帶寬為4KHZ，又設｛(信號功率+噪聲功率)/噪聲功率=16｝則該信道的最大信息傳輸速率為多少？答:()(A)15Kbit/s(B)16Kbit/s(C)16.35Kbit/s(D)18Kbit/s6、設無記憶二進制信源fX1P(X)J01]6、設無記憶二進制信源fX1P(X)J01]0.80.21，對此信源發(fā)出的二元序列進行游程編碼,則0游程長度為3的概率為(A)0.128(B)0.512(C)0.64(D)0.04答:()7、某單符號離散無記憶信源，信源符號數(shù)n=45,對其編四進制哈夫曼碼，號數(shù)r等于(A)1(B)2(C)3(D)4則首次縮減時選取的符答:()8下面哪個性質不屬于加權熵的性質。答:()(A)非負性(B)對稱性(C)非容性(D)凸函數(shù)性XIxxxxI9、已知離散信源Pm)01030204卜某信道的信道矩陣為P(X)I0.10.30.20.4Ix1x2x1x2x3x4y1飛.20.60.50.1yy230.30.10.20.10.20.10.30.4y40.40.10.20.2則“收到y(tǒng)3的條件下推測輸入乂1”的概率為()(A)1/32(B)0.32(C)0.1(D)1/22f1f110、已知一個(6,3)線性分組碼的生成矩陣G=0e00101、10110,則在其伴隨式一差錯圖案01011,答:()表中，錯誤圖案E=(000001)對應的伴隨式為：(A)010(B)001(C)011答:()三、判斷題。以下陳述中，正確的在題號前打J,錯誤的打義。(10分)()1.若信源發(fā)送xi,信宿接收到七，則互信息量表示從yj中得到的關于xi的信息量。()2.離散信源熵表示信源輸出后，每個離散消息所提供的平均信息量。()3.平均互信息量是從平均意義上度量每通過一個符號流經(jīng)信道的平均信息量。所以平均互信息量就等于所有符號的互信息量之和除以符號的總個數(shù)。()4具有一一對應關系的無噪信道,要達到其信道容量必須要求信源等概率分布。()5信道容量就是在固定信源的情況下求平均互信息的極大值；而信息率失真函數(shù)是在實驗信道中(滿足保真度準則的信道)中尋找平均互信息量極小值的問題。()6.信源是否平穩(wěn),取決于信源所發(fā)符號序列的概率分布是否與時間的起點有關；而信源是否有記憶,取決于信源輸出的消息序列中前后符號之間有無相互依賴關系。()7.連續(xù)信源的絕對熵為無限大。()8.奇校驗碼能發(fā)現(xiàn)奇數(shù)個錯,偶校驗碼能發(fā)現(xiàn)偶數(shù)個錯。()9.香農(nóng)編碼時,應先確定每個信源符號的碼長,再編碼字。()10.信源熵只與信源的總體結構有關,而不在乎個別消息的概率,甚至與消息的取值無關。以下計算題,共50分四、(10分)有一BSC信道，已知其轉移概率P(0/1)=0.05：1、試寫出該信道的信道矩陣并求其信道容量。2、設該信道以750二元符號/秒的速度傳輸輸入符號?，F(xiàn)有一消息序列共有5000個二元符號,并設P(0)=P(1)=0.5,問從信息傳輸?shù)慕嵌葋砜紤]，10秒鐘內(nèi)能否將這消息序列無失真地傳遞完？五、(10分)在圖片傳輸中，每幀約有2.5X106個像素，為了能很好地重現(xiàn)圖像，每像素又取32個不同的亮度電平，并設亮度電平是等概率出現(xiàn)。試計算每三分鐘傳送一幀圖片所需信道的帶寬(信噪功率比為30dB)。1/31/61/83/8六、(8分)求信道矩陣尸=對應的信道容量，并說明達到該信道容量的信源輸1/61/33/81/8入概率分布。

七、(10分)信源的空間為XP(X)七、(10分)信源的空間為XP(X)XXXXXX1234560.200.180.190.100.010.15x70.14x80.03(1)若碼符號為x=hi},試構造一種二元緊制碼，并計算其編碼效率。(2)若碼符號為x=hi},用香農(nóng)-費諾-埃利斯編碼方法編成二元變長惟一可譯碼，并計算其編碼效率。-oo111or八、(12分)：已知一個(7,3)線性分組碼的生成矩陣為G=010011110011101、求這線性分組碼的n=？，k=?編碼效率為多少？所編程序：G=[0011101;0100111;1001110];n=size(G,2);k=size(G,1);nkdisp。編碼效率為h：1)h=k/n;h運行結果：3編碼效率為h.h=0.42862、當輸入序列為101010110時，求經(jīng)過此編碼器編碼后的輸出序列;所編程序：G=[0011101;0100111;1001110];n=size(G,2);k=si