信息論與編碼填空題(新),DOC

1、歡迎閱讀1.在無失真的信源中，信源輸出由冬 來度量；在有失真的信源中，信源輸出由RD) 來度量。2 .要使通信系統(tǒng)做到傳輸信息有效、可靠和保密，必須首先信源編碼,然后加密編碼，再信道編碼,最后送入信道。3 .帶限AWG波形信道在平均功率受限條件下信道容量的基本公式，也就是有名的香農(nóng)公式是C =Wlog(1 +SNR);當(dāng)歸一化信道容量C/W趨近于零時(shí)，也即信道完全喪失了通信能力，此時(shí)EJNo-1.6 dB ,我們將它稱作香農(nóng)限，是一切編碼方式所能達(dá)到的理論極限。4 .保密系統(tǒng)的密鑰量越小，密鑰嫡 H(K)就越，其密文中含有的關(guān)于明文的信息量I(M； C)就 越 大。5 .已知n= 7的循環(huán)碼g

2、(x) = x4+x2+x+1 ,則信息位長度k為3、校驗(yàn)多項(xiàng)式h(x) =_ x3 + x + 1_。6 .設(shè)輸入符號表為X=0, 1,輸出符號表為Y= 0, 1。輸入信號的概率分布為p=(1/2 , 1/2), 失真函數(shù)為 d(0, 0) = d(1 ,1) = 0, d(0,1) =2, d(1 , 0) = 1,貝ij 榮=0, R %n)=： 1bit/symbol , 相應(yīng)的編碼器轉(zhuǎn)移概率矩陣p(y/x )=1 0 1; Aax= 0.5 , R(AaJ= 0 ,相應(yīng)的編碼器轉(zhuǎn)移概0 1I _、 L j! J" A率矩陣p(y/x ) = 0 1。1 07.已知用戶A的R

3、SA公開密鑰(e,n)=(3,55) , p =5,q =11，則Wn) = 40，他的秘密密鑰(d,n)=(27,55)。若用戶B向用戶A發(fā)送m=2的加密消息，則該加密后的消息為 8 01 .設(shè)X的取值受限于有限區(qū)間a,b,則X服從均勻 分布時(shí),其嫡達(dá)到最大；如X的均值為 N,方差受限為仃2,則X服從高斯分布時(shí),其嫡達(dá)到最大。2 .信息論不等式：對于任意實(shí)數(shù) z>0,有l(wèi)nznz-1,當(dāng)且僅當(dāng)z = 1時(shí)等式成立。3 .設(shè)信源為X=0, 1, P (0) =1/8,則信源的嫡為_1/8log28十7/8log2(7/8)比特/符號,如信源 I .IJ 1 1 I發(fā)出由m個(gè)“0”和(10

4、0-m)個(gè)“1”構(gòu)成的序列，序列的自信息量為 mlog28十(100 m)10g2(7/8) 比特/符號。4 .離散對稱信道輸入等概率時(shí)，輸出為 等概 分布。5 .根據(jù)碼字所含的碼元的個(gè)數(shù)，編碼可分為定長 編碼和 變長 編碼。6 .設(shè) DM勸 IU = U1U2U3U4U5 U6 1用二元符號表x =x=0% =1對其進(jìn)：FU_10.370.250.180.100.07 0.03J行定長編碼，若所編的碼為000, 001, 010, 011, 100, 101,則編碼器輸出碼元的一維概率 P(x1) =0.747, PM) = 0.253_1 .在現(xiàn)代通信系統(tǒng)中，信源編碼主要用于解決信息傳輸中

5、的有效性，信道編碼主要用于解決信息傳輸中的可靠性 ，加密編碼主要用于解決信息傳輸中的安全性 。2 .離散信源X =卜1x2 x3 x",則信源的嫡為1.75bit/ 符號 。|p(x)1/2 1/4 1/8 1/83 .對稱DMC。道而輸入符號數(shù)為n,藉出符號數(shù)為mi信道轉(zhuǎn)移卞S率矩陣為pj ,則該信道的容量m為 C =log m + £ pij log pij o J 14 .采用m進(jìn)制編碼的碼字長度為K,碼字個(gè)數(shù)為n,則克勞夫特不等式為士 m-Ki <1 , 它是i =1判斷 唯一可譯碼存在的充要條件。., I J5 .差錯(cuò)控制的基本方式大致可以分為前向糾錯(cuò)、反饋

6、重發(fā) 和 混合糾錯(cuò) 。6 .如果所有碼字都配置在二進(jìn)制碼樹的葉節(jié)點(diǎn)，則該碼字為唯一可譯碼。,-7 .齊次馬爾可夫信源的一步轉(zhuǎn)移概率矩陣為P,穩(wěn)態(tài)分布為 W則四口 P滿足的方程為 W=WP 。8 .設(shè)某信道輸入端的嫡為H(X),輸出端的嫡為H(Y),該信道為無噪有損信道，則該信道的容量為 MAX H (Y)。9 .某離散無記憶信源X,其符號個(gè)數(shù)為n,則當(dāng)信源符號呈 等概 分布情況下，信源嫡取最大值og (r)。10 .在信息處理中，隨著處理級數(shù)的增加，輸入消息和輸出消息之間的平均互信息量趨于減少。，一一二，, 二- -； 12 .信息論不等式：對于任意實(shí)數(shù) z>0,有InzWz-1,當(dāng)且僅

7、當(dāng)z = 1時(shí)等式成立。13 設(shè)信源為X=0, 1, P (0) =1/8,則信源的嫡為_1/8log28 + 7/8log2(7/8)比特/符號,如信源 1 J I ' »TJ發(fā)出由m個(gè)“0”和(100-m)個(gè)“1”構(gòu)成的序列，序列的自信息量為 mlog28十(100 m)log2(7/8) 比特/符號。14 離散對稱信道輸入等概率時(shí)，輸出為 等概 分布。15 根據(jù)碼字所含的碼元的個(gè)數(shù)，編碼可分為定長 編碼和 變長 編碼。16 設(shè)DM效'= U1U2U3U4U5U61用二元符號表X =% =0% =1對其進(jìn):PU -：0.37 0.25 0.18 0.10 0.07

8、 0.03行定長編碼，若所編的碼為000, 001, 010, 011, 100, 101,1 .信息的基本概念在于它的不確定性。2 .按照信源發(fā)出的消息在時(shí)間和幅度上的分布情況，可將信源分成離散 信源和連續(xù)信源兩大類。3 . 一個(gè)隨機(jī)事件的自信息量定義為其出現(xiàn)概率對數(shù)的負(fù)俏。4 .按樹圖法構(gòu)成的碼一定滿足 即時(shí)碼 的定義。5 .有擾離散信道編碼定理稱為香農(nóng)第二極限被理。歡迎閱讀歡迎閱讀6 .糾錯(cuò)碼的檢、糾錯(cuò)能力是指檢測、糾正錯(cuò)誤碼元的數(shù)目。7 .信道一般指傳輸信息的物理媒介，分為 有線 信道和 無線 信道。8 .信源編碼的主要目的是提高通信系統(tǒng)的有效性。1 .設(shè)信源X包含4個(gè)不同離散消息，當(dāng)

9、且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率為 1/4時(shí)，信、源 嫡達(dá)到最大值，為_2_,此時(shí)各個(gè)消息的自信息量為_2 _02 .如某線性分組碼的最小漢明距 dmin=4,則該碼最多能檢測出3個(gè)隨機(jī)錯(cuò)、最多能糾正_1個(gè)隨機(jī)錯(cuò)。3 .克勞夫特不等式是唯一可譯碼_存在 的充要條件。4 .平均互信息量I(X;Y)與信源嫡和條件嫡之間的關(guān)系是(X;Y)=H(X)-H(X/Y )。5 ._信源提高通信的有效性，_信道目的是提高通彳S的可靠性，_加密編碼的目的是保證 " I通信的安全性。6 .信源編碼的目的是提高通信的有效性，信道編碼的目的是提高通信的可靠性，加密編碼的目的是保證通信的安全性 。7 .設(shè)信源X包

10、含8個(gè)不同離散消息，當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率為_1/8時(shí)，信 源嫡達(dá)到最大值，為 3。8 .自信息量表征信源中各個(gè)符號的不確定度，信源符號的概率越大，其自信息量越_小o9 .信源的冗余度來自兩個(gè)方面，一是信源符號之間的相關(guān)性_,二是信源符號分布的不均勻性。"10 .最大后驗(yàn)概率譯碼指的是譯碼器要在已知r的條件下找出可能性最大的發(fā)碼作為譯碼估值 、即令 二maxP( |r)。11.常用的檢糾錯(cuò)方法有前向糾錯(cuò)、反饋重發(fā)和混合糾錯(cuò)三種1 .給定Xi條件下隨機(jī)事件yj所包含的不確定度和條件自信息量A.數(shù)量上不等，單位不同C.數(shù)量上相等，單位不同2 .條件嫡和無條件嫡的關(guān)系是：A. H(

11、Y/X)<HY)C. H(Y7X)<HY)3 .根據(jù)樹圖法構(gòu)成規(guī)則，A.在樹根上安排碼字C.在中間節(jié)點(diǎn)上安排碼字4 .下列說法正確的是：A.奇異碼是唯一可譯碼C.非奇異碼不一定是唯一可譯碼5 .下面哪一項(xiàng)不屬于嫡的性質(zhì)：A.非負(fù)性歡迎閱讀p(yj /Xi) , (D)B.數(shù)量上不等，單位相同D.數(shù)量上相等，單位相同(C)B. H(WX)>HY)D. H(Y/X)>HY)(D)B.在樹枝上安排碼字D.在終端節(jié)點(diǎn)上安排碼字(C)B.非奇異碼是唯一可譯碼D.非奇異碼不是唯一可譯碼(B)B.完備性歡迎閱讀D.確定性' p(yj/x”i'、p(Xi,yj) =q(

12、x)C.對稱性1 .下面表達(dá)式中正確的是(AA. Z p(yj /x) =1B.C. z p(x,yj)=(yj) d.2.彩色電視顯像管的屏幕上有5X105個(gè)像元，設(shè)每個(gè)像元有64種彩色度，每種彩度又有16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出現(xiàn)，并且各個(gè)組合之間相互獨(dú)立。每秒傳送25幀圖像所需要的信道容量（C ）。A. 50 ：106B. 75：106C. 125 ：106D. 250 ：106一1 213.已知某無記憶三符號信源a,b,c等概分布，接收端為二符號集，其失真矩陣為d=1 1 ,則信源2 1J的最大平均失真度Dmax為（D ）。A. 1/3 B. 2

13、/3 C. 3/3 D. 4/34.線性分組碼不具有的性質(zhì)是（C ） oA.任意多個(gè)碼字的線性組合仍是碼字B.最小漢明距離等于最小非0重量C.最小漢明距離為3D.任一碼字和其校驗(yàn)矩陣的乘積 CmHT=05 .率失真函數(shù)的下限為（B）。A .H（U）B.0C.I（U; V） D.沒有下限一'I I6 .糾錯(cuò)編碼中，下列哪種措施不能減小差錯(cuò)概率（ D）。A.增大信道容量B. 增大碼長 C. 減小碼率 D. 減小帶寬7 . 一珍珠養(yǎng)殖場收獲240顆外觀及重量完全相同的特大珍珠，但不幸被人用外觀相同但重量僅有微 小差異的假珠換掉1顆。一人隨手取出3顆，經(jīng)測量恰好找出了假珠，不巧假珠又滑落進(jìn)去，

14、那人找了許久卻未找到，但另一人說他用天平最多6次能找出，結(jié)果確是如此，這一事件給出的信息量（A ）。A. 0bit B. log6bit C. 6bit D. log240Ht8 .下列陳述中，不正確的是（D ）。A.離散無記憶信道中，H （Y）是輸入概率向量的凸函數(shù)歡迎閱讀B.滿足格拉夫特不等式的碼字為惟一可譯碼C.一般地說，線性碼的最小距離越大，意味著任意碼字間的差別越大，則碼的檢錯(cuò)、糾錯(cuò)能力越強(qiáng)D.滿足格拉夫特不等式的信源是惟一可譯碼9 .一個(gè)隨即變量x的概率密度函數(shù)P(x)= x /2 , 0EXW2V,則信源的相對嫡為(C )A . 0.5bit B. 0.72bit C. 1bit

15、 D. 1.44bit10 .下列離散信源，嫡最大的是(D )。A. H (1/3,1/3,1/3 ) ; B. H (1/2,1/2 );C. H (0.9,0.1 ) ; D. H (1/2,1/4,1/8,1/8)11 .下列不屬于消息的是(B )。J 尸一一_ X；A.文字 B. 信號 C. 圖像 D. 語言12 .為提高通信系統(tǒng)傳輸消息有效性，信源編碼采用的方法是( A ) oA.壓縮信源的冗余度B.在信息比特中適當(dāng)加入冗余比特C.研究碼的生成矩陣D.對多組信息進(jìn)行交織處理13 .最大似然譯碼等價(jià)于最大后驗(yàn)概率譯碼的條件是( D )。A.離散無記憶信道B.無錯(cuò)編碼C.無擾信道D.消息

16、先驗(yàn)等概14 .下列說法正確的是(C )。A.等重碼是線性碼B.碼的生成矩陣唯一C.碼的最小漢明距離等于碼的最小非0重量D.線性分組碼中包含一個(gè)全 0碼字15 .二進(jìn)制通信系統(tǒng)使用符號0和1,由于存在失真，傳輸時(shí)會產(chǎn)生誤碼，用符號表示下列事件， u0:一個(gè)0發(fā)出 u1: 一個(gè)1發(fā)出 v0 : 一個(gè)0收到 v1: 一個(gè)1收到 則已知收到的符號，被告知發(fā)出的符號能得到的信息量是( A )。A. H(U/V) B. H(V/U) C. H(U,V) D. H(UV)16 .同時(shí)扔兩個(gè)正常的骰子，即各面呈現(xiàn)的概率都是1/6,若點(diǎn)數(shù)之和為12,則得到的自信息為(B )。A. 一 log36bit B.

17、log36bit C.log (11/36)bit D. log (11/36)bit17 .下列組合中不屬于即時(shí)碼的是(A )。歡迎閱讀歡迎閱讀A. 0 , 01, 011 B. 0, 10, 110 C. 00, 10, 11 D. 1, 01, 0011101018 .已知某(6, 3)線性分組碼的生成矩陣G= 110001 ,則不用計(jì)算就可判斷出下列碼中不是該011101碼集里的碼是(D )。A. 000000 B. 110001 C. 011101 D. 11111119 .一個(gè)隨即變量x的概率密度函數(shù)P(x)= x /2 , 0<x<2V ,則信源的相對嫡為( C )A

18、. 0.5bit/ 符號 B. 0.72bit/ 符號 C. 1bit/ 符號 D. 1.44bit/ 符號20 .設(shè)有一個(gè)無記憶信源發(fā)出符號 A和B,已知p(A)=丸p(B)=秘，發(fā)出二重符號序列消息的信源, 無記憶信源嫡H(X2)為(A )。-=,6、只要工 總切,當(dāng)N足夠長時(shí)，一定存在一種無失真編碼。7、當(dāng)R< C時(shí)，只要碼長足夠長，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯(cuò)誤概率無窮小。8、在認(rèn)識論層次上研究信息的時(shí)候，必須同時(shí)考慮到形式、含義和效用 三個(gè)方面的因素。9、1948年，美國數(shù)學(xué)家 香農(nóng) 發(fā)表了題為“通信的數(shù)學(xué)理論”的長篇論文，從而創(chuàng)立了信息論。按照信息的性質(zhì)，可以把

19、信息分成 語法信息、語義信息和語用信息。按照信息的地位，可以把信 息分成客觀信息和主觀信息。人們研究信息論的目的是為了 高效、可靠、安全地交換和利用各 種各樣的信息。信息的 可度量性 是建立信息論的基礎(chǔ)。統(tǒng)計(jì)度量 是信息度量最常用的方法。嫡 是 香農(nóng)信息論最基本最重要的概念。事物的不確定度是用時(shí)間統(tǒng)計(jì)發(fā)生概率的對數(shù) 來描述的。10、單符號離散信源一般用隨機(jī)變量描述，而多符號離散信源一般用隨機(jī)矢量描述。11、一個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為其發(fā)生概率對數(shù)的負(fù)值 o12、自信息量的單位一般有 比特、奈特和哈特。13、必然事件的自信息是0 。14、不可能事件的自信息量是8

20、 。15、兩個(gè)相互獨(dú)立的隨機(jī)變量的聯(lián)合自信息量等于兩個(gè)自信息量之和。16、數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過多級處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的 平均互信息量趨于變小 。17、離散平穩(wěn)無記憶信源X的N次擴(kuò)展信源的嫡等于離散信源 X的嫡的N倍。18、離散平穩(wěn)有記憶信源的極限嫡，HNmH(XN/X1X2-XN')。19、對于n元m階馬爾可夫信源，具狀態(tài)空間共有 nm個(gè)不同的狀態(tài)。20、一維連續(xù)隨即變量X在a, b區(qū)間內(nèi)均勻分布時(shí)，其信源嫡為log2 (b-a)。1 . 一 log 2 2 eP21、平均功率為P的高斯分布的連續(xù)信源，具信源嫡，Hc (X) =2。22、對于限峰值

21、功率的N維連續(xù)信源，當(dāng)概率密度 均勻分布 時(shí)連續(xù)信源嫡具有最大值。23、對于限平均功率的一維連續(xù)信源，當(dāng)概率密度高斯分布 時(shí)，信源嫡有最大值。歡迎閱讀信息率小于Ct= 9 kHz 。24、對于土MS為0,平均功率受限的連續(xù)信源，信源的冗余度決定于平均功率的限定值P和信源的嫡功率P之比。25、若一離散無記憶信源的信源嫡 H (X)等于2.5,對信源進(jìn)行等長的無失真二進(jìn)制編碼，則編碼 長度至少為3。n'、. m* _ 126、m元長度為ki , i=1 , 2, n的異前置碼存在的充要條件是：。27、若把擲骰子的結(jié)果作為一離散信源，則其信源嫡為10g26 。28、同時(shí)擲兩個(gè)正常的骰子，各面

22、呈現(xiàn)的概率都為1/6,則“3和5同時(shí)出現(xiàn)”這件事的自信息量是 10g218 (1+2 log23 )。1 二 p(x) e m29、若一維隨即變量X的取值區(qū)間是0, oo,其概率密度函數(shù)為m ,其中：x之。，m是X的數(shù)學(xué)期望，則X的信源嫡HC(X)=log2me。30、一副充分洗亂的撲克牌(52張)，從中任意抽取1張，然后放回，若把這一過程看作離散無記憶信源，則其信源嫡為log2 52031、根據(jù)輸入輸出信號的特點(diǎn)，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù)信道。32、信道的輸出僅與信道當(dāng)前輸入有關(guān)，而與過去輸入無關(guān)的信道稱為無記憶 信道。33、具有對應(yīng)關(guān)系的無噪信道的信道容量C= log

23、2n 。34、強(qiáng)對稱信道的信道容量C= 10g2n-Hni 。35、對稱信道的信道容量 C= 10g2m-Hmi。36、對于離散無記憶信道和信源的 N次擴(kuò)展，其信道容量CN= NC。N'、Ck37、對于N個(gè)對立并聯(lián)信道，其信道容量 CN 二 匕 。38、多用戶信道的信道容量用 多維空間的一個(gè)區(qū)域的界限 來表示。39、多用戶信道可以分成幾種最基本的類型：多址接入信道、廣播信道 和相關(guān)信源信道。40、廣播信道是只有 一個(gè)輸入端和多個(gè)輸出端 的信道。41、當(dāng)信道的噪聲對輸入的干擾作用表現(xiàn)為噪聲和輸入的線性疊加時(shí)，此信道稱為"lOg2(1 +-PL)42、高斯加性信道的信道容量C=2

24、Pn 。43、信道編碼定理是一個(gè)理想編碼的存在性定理，即：信道無失真?zhèn)鬟f信息的條件是 信道容量。1/2 1/2 044、信道夕1陣-00 1 -代表的信道的信道容量C= 1 o一 1 011 00 145、信道矩陣-代表的信道的信道谷重C= 1 。46、高斯加性噪聲信道中，信道帶寬3kHz,信噪比為7,則該信道的最大信息傳輸速率47、對于具有歸并性能的無燥信道，達(dá)到信道容量的條件是p (yj ) =1/m)。加性連續(xù)信道c1 0In J 48、信道矩陣P 1代表的信道，若每分鐘可以傳遞 6*105個(gè)符號，則該信道的最大信息傳輸速率 Ct= 10kHz 。49、信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻

25、帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。50、求解率失真函數(shù)的問題，即：在給定失真度的情況下，求信息率的極小值o51、信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性就越大，獲得的信息量就越小。52、信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息率也越小。53、單符號的失真度或失真函數(shù)d (xi , yj )表示信源發(fā)出一個(gè)符號xi ,信宿再現(xiàn)yj所引起的 誤 差或失真 。0 i = j=54、漢明失真函數(shù)d (xi , yj ) = J i ' j 。55、平方誤差失真函數(shù) d (xi , yj ) = (yj-xi )2。56、平均失真度定義為失真函數(shù)

26、的數(shù)學(xué)期望，即 d (xi , yj )在X和Y的 聯(lián)合概率空間P (XYO中 的統(tǒng)計(jì)平均值。57、如果信源和失真度一定，則平均失真度是信道統(tǒng)計(jì)特性的函數(shù)。58、如果規(guī)定平均失真度 D不能超過某一限定的值D,即：D < D o我們把Dm D稱為保真度準(zhǔn)則。59、離散無記憶N次擴(kuò)展信源通過離散無記憶 N次擴(kuò)展信道的平均失真度是單符號信源通過單符號 信道的平均失真度的N 倍。60、試驗(yàn)信道的集合用 PD表示，WJ PD= P(yj/x)D £ D;i =1,2,一，n, j =1,2,，m最小值61、信息率失真函數(shù)，簡稱為率失真函數(shù)，即：試驗(yàn)信道中的平均互信息量的 62、平均失真度

27、的下限取0的條件是失真矩陣的每一行至少有一個(gè)零元素 63、平均失真度的上限D(zhuǎn)ma艱Dj : j=1 , 2, , m中的最小值64、率失真函數(shù)對允許的平均失真度是單調(diào)遞減和連續(xù)的。65、66、67、對于離散無記憶信源的率失真函數(shù)的最大值是10g2n當(dāng)失真度大于平均失真度的上限時(shí)f/1 II I-一:1- 11-_ - j 連續(xù)信源X的率失真函數(shù)R (D)=Dmax寸，率失真函數(shù)InfI(X;Y) p(y/x) Pd ')R (D) = 068、69、當(dāng)D E。2時(shí)，高斯信源在均方差失真度下的信息率失真函數(shù)為R(D) =保真度準(zhǔn)則下的信源編碼定理的條件是信源的信息率R大于率失真函數(shù)R (

28、D)。歡迎閱讀. X 01 ：-070、某二元信源 - 11/2 1/2其失真矩陣Da一 X J。1 ；一。aI°i,則該信源的Dmax= a/2 。a°i,則該信源的Dmin= 0 。71、某二元信源P(X)J/2 1/2其失真矩陣Da一 X 01 ：-072、某二元信源!P(X)1/2 1/2其失真矩陣Da73、按照不同的編碼目的，編碼可以分為三類：分別是 74、信源編碼的目的是：提高通信的有效性。a0則該信源的R (D) = 1-H (D/a) 信源編碼、信道編碼和安全編碼。75、一般情況下，信源編碼可以分為離散信源編碼、連續(xù)信源編碼和相關(guān)信源編碼76、連續(xù)信源或模擬信號的信源編碼的理論基礎(chǔ)是限失真信源編碼定理77、在