信息論與編碼

#桂林工學(xué)院2009-2010學(xué)年第二學(xué)期課程名稱(chēng)：《信息論與編碼》一、填空(每題2分，共20分)1、信息是對(duì)事物狀態(tài)(或它的存在方式)的不確定性的一種描述，其中自信息I(x)=；事件發(fā)生前，它表示，事件發(fā)生后，它表示。X]「xxx〕2、已知一個(gè)單符號(hào)離散無(wú)記憶信源，d/Y、={Ik12，則其四次擴(kuò)展信源的序列P(X)11/21/41/41熵的大小為。3、對(duì)于單符號(hào)離散無(wú)記憶信源X,若輸出符號(hào)取值于集合4,x,x,xxx,x,x},則其最1234,5,678大信源熵為，且達(dá)到此最大熵時(shí)各符號(hào)的概率分布為。4、信源編碼的目的是為了提高通信系統(tǒng)的,而信道編碼的最終目的是為了。5、一離散信道的信道矩陣如下所示，則其信道容量為比特/信道符號(hào)。TOC\o"1-5"\h\z-0.20.30000000.10.4一P=000.20.30.500000000000.10.60.3006、有一個(gè)信源，它產(chǎn)生0,1序列的信息，它在任意時(shí)間而且無(wú)論以前發(fā)生什么符號(hào)，均按P(0)=0.3,P(1)=0.7的概率發(fā)出符號(hào)，則H(X2)=,X2信源中可能有的符號(hào)H(X3/X1X2)=。7、在對(duì)單符號(hào)離散信源進(jìn)行費(fèi)諾編碼時(shí),其中一個(gè)步驟是按編碼進(jìn)制數(shù)將概率分組,分組的原則是使每組概率之和。8、設(shè)某二元碼為C={11100,01001,10010,00111}若碼字等概率分布，則此碼的碼率為，若采用最小距離譯碼準(zhǔn)則，則接收序列10011,01100,應(yīng)譯成的碼字分別為、(7,4)漢明碼的許用碼組有一個(gè)；若一碼組為0100n1,則其碼重為。

10、某(7,4)循環(huán)碼，生成多項(xiàng)式為g(x)=X3+x+l(對(duì)應(yīng)碼字為0001011),則碼字10100n此循環(huán)碼的碼字，碼字1100100此循環(huán)碼的碼字(本題填“是”或“不是”)。二、選擇,將正確答案代號(hào)填寫(xiě)在題后的括號(hào)內(nèi)(20分)1、設(shè)有離散無(wú)記憶信源XP1、設(shè)有離散無(wú)記憶信源XP(X)x=0x=1x=2x=3]1/22/41/81/81，其發(fā)出的消息為3021300120021011030101002,則此消息中平均每個(gè)符號(hào)攜帶的信息量是答:()(D)1.84比特/符號(hào)(A)2比特/符號(hào)(B)1.75比特/符號(hào)(C)1.98(D)1.84比特/符號(hào)2、若三個(gè)離散隨機(jī)變量，有如下關(guān)系：X+Y=Z，其中X和Y相互獨(dú)立。則以下各組關(guān)系式中哪一組是正確的答:()I(X;Z)=H(Z)-H(Y);I(X;YZ)=H(X);I(Y:Z/X)=H(Y);I(X;Y/Z)=H(X/Z);I(X;Z)=H(Z)-H(Y);I(X;YZ)=H(Y);I(Y:Z/X)=H(Z);I(X;Y/Z)=H(X/Z);I(X;Y)=0;I(X;YZ)=H(X);I(Y:Z/X)=H(X);I(X;Y/Z)=H(Z/X);I(X;Y)=0;I(X;YZ)=H(X);I(Y:Z/X)=H(Y);I(X;Y/Z)=H(X/Z);TOC\o"1-5"\h\z3、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的幾倍。答:()(A)2(B)3(C)1/2(D)1/34、發(fā)送端發(fā)送糾檢錯(cuò)碼,接收端根據(jù)糾檢錯(cuò)碼判斷接收的消息是否有錯(cuò),如果在糾錯(cuò)范圍內(nèi),則自動(dòng)糾錯(cuò),否則反饋給發(fā)送端,發(fā)送端重新發(fā)送信息,這種糾錯(cuò)方式為何種糾錯(cuò)方式。(A)前向糾錯(cuò)(B)混合糾錯(cuò)(C)反饋重傳糾錯(cuò)5)自動(dòng)糾錯(cuò)答：()5、設(shè)加性高斯白噪聲信道中，信道帶寬為4KHZ，又設(shè)｛(信號(hào)功率+噪聲功率)/噪聲功率=16｝則該信道的最大信息傳輸速率為多少？答:()(A)15Kbit/s(B)16Kbit/s(C)16.35Kbit/s(D)18Kbit/s6、設(shè)無(wú)記憶二進(jìn)制信源fX1P(X)J01]6、設(shè)無(wú)記憶二進(jìn)制信源fX1P(X)J01]0.80.21，對(duì)此信源發(fā)出的二元序列進(jìn)行游程編碼,則0游程長(zhǎng)度為3的概率為(A)0.128(B)0.512(C)0.64(D)0.04答:()7、某單符號(hào)離散無(wú)記憶信源，信源符號(hào)數(shù)n=45,對(duì)其編四進(jìn)制哈夫曼碼，號(hào)數(shù)r等于(A)1(B)2(C)3(D)4則首次縮減時(shí)選取的符答:()8下面哪個(gè)性質(zhì)不屬于加權(quán)熵的性質(zhì)。答:()(A)非負(fù)性(B)對(duì)稱(chēng)性(C)非容性(D)凸函數(shù)性XIxxxxI9、已知離散信源Pm)01030204卜某信道的信道矩陣為P(X)I0.10.30.20.4Ix1x2x1x2x3x4y1飛.20.60.50.1yy230.30.10.20.10.20.10.30.4y40.40.10.20.2則“收到y(tǒng)3的條件下推測(cè)輸入乂1”的概率為()(A)1/32(B)0.32(C)0.1(D)1/22f1f110、已知一個(gè)(6,3)線(xiàn)性分組碼的生成矩陣G=0e00101、10110,則在其伴隨式一差錯(cuò)圖案01011,答:()表中，錯(cuò)誤圖案E=(000001)對(duì)應(yīng)的伴隨式為：(A)010(B)001(C)011答:()三、判斷題。以下陳述中，正確的在題號(hào)前打J,錯(cuò)誤的打義。(10分)()1.若信源發(fā)送xi,信宿接收到七，則互信息量表示從yj中得到的關(guān)于xi的信息量。()2.離散信源熵表示信源輸出后，每個(gè)離散消息所提供的平均信息量。()3.平均互信息量是從平均意義上度量每通過(guò)一個(gè)符號(hào)流經(jīng)信道的平均信息量。所以平均互信息量就等于所有符號(hào)的互信息量之和除以符號(hào)的總個(gè)數(shù)。()4具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道,要達(dá)到其信道容量必須要求信源等概率分布。()5信道容量就是在固定信源的情況下求平均互信息的極大值；而信息率失真函數(shù)是在實(shí)驗(yàn)信道中(滿(mǎn)足保真度準(zhǔn)則的信道)中尋找平均互信息量極小值的問(wèn)題。()6.信源是否平穩(wěn),取決于信源所發(fā)符號(hào)序列的概率分布是否與時(shí)間的起點(diǎn)有關(guān)；而信源是否有記憶,取決于信源輸出的消息序列中前后符號(hào)之間有無(wú)相互依賴(lài)關(guān)系。()7.連續(xù)信源的絕對(duì)熵為無(wú)限大。()8.奇校驗(yàn)碼能發(fā)現(xiàn)奇數(shù)個(gè)錯(cuò),偶校驗(yàn)碼能發(fā)現(xiàn)偶數(shù)個(gè)錯(cuò)。()9.香農(nóng)編碼時(shí),應(yīng)先確定每個(gè)信源符號(hào)的碼長(zhǎng),再編碼字。()10.信源熵只與信源的總體結(jié)構(gòu)有關(guān),而不在乎個(gè)別消息的概率,甚至與消息的取值無(wú)關(guān)。以下計(jì)算題,共50分四、(10分)有一BSC信道，已知其轉(zhuǎn)移概率P(0/1)=0.05：1、試寫(xiě)出該信道的信道矩陣并求其信道容量。2、設(shè)該信道以750二元符號(hào)/秒的速度傳輸輸入符號(hào)?，F(xiàn)有一消息序列共有5000個(gè)二元符號(hào),并設(shè)P(0)=P(1)=0.5,問(wèn)從信息傳輸?shù)慕嵌葋?lái)考慮，10秒鐘內(nèi)能否將這消息序列無(wú)失真地傳遞完？五、(10分)在圖片傳輸中，每幀約有2.5X106個(gè)像素，為了能很好地重現(xiàn)圖像，每像素又取32個(gè)不同的亮度電平，并設(shè)亮度電平是等概率出現(xiàn)。試計(jì)算每三分鐘傳送一幀圖片所需信道的帶寬(信噪功率比為30dB)。1/31/61/83/8六、(8分)求信道矩陣尸=對(duì)應(yīng)的信道容量，并說(shuō)明達(dá)到該信道容量的信源輸1/61/33/81/8入概率分布。

七、(10分)信源的空間為XP(X)七、(10分)信源的空間為XP(X)XXXXXX1234560.200.180.190.100.010.15x70.14x80.03(1)若碼符號(hào)為x=hi},試構(gòu)造一種二元緊制碼，并計(jì)算其編碼效率。(2)若碼符號(hào)為x=hi},用香農(nóng)-費(fèi)諾-埃利斯編碼方法編成二元變長(zhǎng)惟一可譯碼，并計(jì)算其編碼效率。-oo111or八、(12分)：已知一個(gè)(7,3)線(xiàn)性分組碼的生成矩陣為G=010011110011101、求這線(xiàn)性分組碼的n=？，k=?編碼效率為多少？所編程序：G=[0011101;0100111;1001110];n=size(G,2);k=size(G,1);nkdisp。編碼效率為h：1)h=k/n;h運(yùn)行結(jié)果：3編碼效率為h.h=0.42862、當(dāng)輸入序列為101010110時(shí)，求經(jīng)過(guò)此編碼器編碼后的輸出序列;所編程序：G=[0011101;0100111;1001110];n=size(G,2);k=si