信息論與編碼曹雪虹題庫

.在無失真的信源中，信源輸出由H(X)來度量；在有失真的信源中，信源輸出由R(D)來度量。.要使通信系統(tǒng)做到傳輸信息有效、可靠和保密，必須首先信源編碼，然后_加密_編碼，再信道編碼，最后送入信道。.帶限AWGN波形信道在平均功率受限條件下信道容量的基本公式，也就是有名的香農(nóng)公式是C=Wlog(1+SNR);當歸一化信道容量C/W趨近于零時，也即信道完全喪失了通信能力，此時Eb/N0為-1.6dB,我們將它稱作香農(nóng)限，是一切編碼方式所能達到的理論極限。.保密系統(tǒng)的密鑰量越小，密鑰嫡H(K)就越小，其密文中含有的關(guān)于明文的信息量I(M;C)就越大。.已知n=7的循環(huán)碼g(x)=x4+x2+x+1,則信息位長度k為，校驗多項式h(x)=3.設(shè)輸入符號表為X={0,1},輸出符號表為丫={0,1}。輸入信號的概率分布為p=(1/2,1/2),失真函數(shù)為d(0,0)=d(1,1)=0,d(0,1)=2,d(1,0)=1,則Dmin=0,?10??;Dmax=0.5,01??R(Dmin)=1bit/symbol,相應的編碼器轉(zhuǎn)移概率矩陣[p(y/x)]=?R(Dmax)=0,相應的編碼器轉(zhuǎn)移概率矩陣[p(y/x)]=??10??。10??.已知用戶A的RSA公開密鑰(e,n)=(3,55),p=5,q=11,則(f)(n)=40,他的秘密密鑰(d,n)=(27,55)。若用戶B向用戶A發(fā)送m=2的加密消息，則該加密后的消息為8。1.設(shè)X的取值受限于有限區(qū)間[a,b],則X服從均勻分布時，其嫡達到最大；如X的均值為見方差受限為b,則X服從分布時，其嫡達到最大。.信息論不等式：對于任意實數(shù)z>0,有l(wèi)nz-1z當且僅當z=1時等式成立。.設(shè)信源為X={0,1},P(0)=1/8,則信源的嫡為1/8log28+7/8log2(7/8),如信源發(fā)出由m個“0和(100-m)個“1構(gòu)成的序列，序列的自信息量為2mlog28+(100-m)log2(7/8)。離散對稱信道輸入等概率時，輸出為等概分布。根據(jù)碼字所含的碼元的個數(shù)，編碼可分為定長編碼和變長編碼。設(shè)DMS為？u2u3u4u5u6?U??u1?=.，用二元符號表????PU??0.370.250.180.100.070.03?X={x1=0,x2=1}對其進行定長編碼，若所編的碼為{000,001,010,011,100,101},則編碼器輸出碼元的一維概率P(x1)=,P(x2)=1.在現(xiàn)代通信系統(tǒng)中，信源編碼主要用于解決信息傳輸中的有效性，信道編碼主要用于解決信息傳輸中的可靠性，加密編碼主要用于解決信息傳輸中的安全性。X??x1x2x3x4?2.離散信源？，則信源的嫡為1.75bit/符號。=?p(x)??1/21/41/81/8?????3.對稱DMC信道的輸入符號數(shù)為n,輸出符號數(shù)為m，信道轉(zhuǎn)移概率矩陣為pij,則該信道的容量為C=logm+mj=1匯pijlogpijn4.采用m進制編碼的碼字長度為Ki,碼字個數(shù)為n,則克勞夫特不等式為匯mKi<1,i=1它是判斷唯一可譯碼存在的充要條件。.差錯控制的基本方式大致可以分為前向糾錯、反饋重發(fā)和混合糾錯。.如果所有碼字都配置在二進制碼樹的葉節(jié)點，則該碼字為唯一可譯碼。.齊次馬爾可夫信源的一步轉(zhuǎn)移概率矩陣為P,穩(wěn)態(tài)分布為W,則W和P滿足的方程為W=WP。.設(shè)某信道輸入端的嫡為H(X),輸出端的嫡為H(Y),該信道為無噪有損信道，則該信道的容量為MAXH(Y)。.某離散無記憶信源X,其符號個數(shù)為n,則當信源符號呈等概分布情況下，信源嫡取最大值_log(n)。.在信息處理中，隨著處理級數(shù)的增加，輸入消息和輸出消息之間的平均互信息量趨于減少。.信息論不等式：對于任意實數(shù)z>0,有l(wèi)nz-1z當且僅當z=1時等式成立。設(shè)信源為X={0,1},P(0)=1/8,則信源的嫡為1/8log28+7/8log2(7/8),如信源發(fā)出由m個“0和(100-m)個“1構(gòu)成的序列，序列的自信息量為mlog28+(100-m)log2(7/8)。離散對稱信道輸入等概率時，輸出為等概分布。根據(jù)碼字所含的碼元的個數(shù)，編碼可分為定長編碼和變長編碼。設(shè)DMS為？u2u3u4u5u6?U??u1?=.??0.370.250.180.100.070.03?,用二元符號表P?U???X={x1=0,x2=1}對其進行定長編碼，若所編的碼為{000,001,010,011,100,101},.信息的基本概念在于它的不確定性。.按照信源發(fā)出的消息在時間和幅度上的分布情況，可將信源分成離散信源和連續(xù)信源兩大類。.一個隨機事件的自信息量定義為其出現(xiàn)概率對數(shù)的負值。.按樹圖法構(gòu)成的碼一定滿足即時碼的定義。.有擾離散信道編碼定理稱為香農(nóng)第二極限定理。TOC\o"1-5"\h\z.糾錯碼的檢、糾錯能力是指檢測、糾正錯誤碼元的數(shù)目。.信道一般指傳輸信息的物理媒介，分為有線信道和無線信道。.信源編碼的主要目的是提高通信系統(tǒng)的有效性。.設(shè)信源X包含4個不同離散消息，當且僅當X中各個消息出現(xiàn)的概率為—1/4—時，信、、源嫡達到最大值，為_2_,此時各個消息的自信息量為_2.如某線性分組碼的最小漢明距dmin=4,則該碼最多能檢測出—3個隨機錯，最多能糾正__1個隨機錯。.克勞夫特不等式是唯一可譯碼―存在―的充要條件。.平均互信息量I(X;丫河信源嫡和條件嫡之間的關(guān)系是―(X;Y)=H(X)-H(X/Y)._信源—提高通信的有效性，_信道目的是提高通信的可靠性，_加密—編碼的目的是保證通信的安全性。.信源編碼的目的是提高通信的有效性，信道編碼的目的是提高通信的可靠性，加密編碼的目的是保證通信的安全性。.設(shè)信源X包含8個不同離散消息，當且僅當X中各個消息出現(xiàn)的概率為_1/8—時，信源嫡達到最大值，為3。TOC\o"1-5"\h\z.自信息量表征信源中各個符號的不確定度，信源符號的概率越大，其自信息量越_小—。.信源的冗余度來自兩個方面，一是信源符號之間的—相關(guān)性__,二是信源符號分布的__不均勻性。.最大后驗概率譯碼指的是譯碼器要在已知r的條件下找出可能性最大的發(fā)碼作為譯碼估值，即令=maxP(|r)。.常用的檢糾錯方法有—前向糾錯—、反饋重發(fā)和混合糾錯三種。.給定xi條件下隨機事件yj所包含的不確定度和條件自信息量p(yj/xi),(D)A.數(shù)量上不等，單位不同C.數(shù)量上相等，單位不同.條件嫡和無條件嫡的關(guān)系是：A.H(Y/X)VH(Y)C.H(Y/X)<H(Y).根據(jù)樹圖法構(gòu)成規(guī)則，A.在樹根上安排碼字C.在中間節(jié)點上安排碼字B.數(shù)量上不等，單位相同D.數(shù)量上相等，單位相同(C)B.H(Y/X)>H(Y)D.H(Y/X)>H(出))B.在樹枝上安排碼字D.在終端節(jié)點上安排碼字.下列說法正確的是：A.奇異碼是唯一可譯碼(C)B.非奇異碼是唯一可譯碼D.非奇異碼不是唯一可譯碼(B)B.完備性D.確定性C.非奇異碼不一定是唯一可譯碼5.下面哪一項不屬于嫡的性質(zhì)：A,非負性C.對稱性1.下面表達式中正確的是(A)。A.C.匯p(yjijj/xi)=1B.Ep(yj/xi)=1iEp(x,y)=w(y)D.Ep(x,y)=q(x)jjijii52.彩色電視顯像管的屏幕上有5X10個像元，設(shè)每個像元有64種彩色度，每種彩度又有16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出現(xiàn)，并且各個組合之間相互獨立。每秒傳送25幀圖像所需要的信道容量(C)。A.50?10B.75?1066C.125?106D.250?106?12???3.已知某無記憶三符號信源a,b,c等概分布，接收端為二符號集，其失真矩陣為d=1????21??則信源的最大平均失真度Dmax為(D)。A.1/3B.2/3C.3/3D.4/34.線性分組碼不具有的性質(zhì)是(C)。A.任意多個碼字的線性組合仍是碼字B.最小漢明距離等于最小非0重量C.最小漢明距離為3D.任一碼字和其校3^矩陣的乘積cmH=0.率失真函數(shù)的下限為(B)。A.H(U)B.0C.I(U;V)D沒有下限.糾錯編碼中，下列哪種措施不能減小差錯概率(D)。A.增大信道容量B.增大碼長C.減小碼率D.減小帶寬.一珍珠養(yǎng)殖場收獲240顆外觀及重量完全相同的特大珍珠，但不幸被人用外觀相同但重量僅有微小差異的假珠換掉1顆。一人隨手取出3顆，經(jīng)測量恰好找出了假珠，不巧假珠又滑落進去，那人找了許久卻未找到，但另一人說他用天平最多6次能找出，結(jié)果確是如此，這T一事件給出的信息量(A)。A.0bitB.log6bitC.6bitD.log240bit8.下列陳述中，不正確的是(D)。A.離散無記憶信道中，H(Y)是輸入概率向量的凸函數(shù)B.滿足格拉夫特不等式的碼字為惟一可譯碼C.一般地說，線性碼的最小距離越大，意味著任意碼字間的差別越大，則碼的檢錯、糾錯能力越強D.滿足格拉夫特不等式的信源是惟一可譯碼.一個隨即變量x的概率密度函數(shù)P(x)=x/2,0<xW2VU信源的相對嫡為(C)。A.0.5bitB.0.72bitC.1bitD.1.44bit.下列離散信源，嫡最大的是(D)。A.H(173,1/3,1/3);B.H(1/2,1/2);C.H(0.9,0.1);D.H(1/2,1/4,1/8,1/8).下列不屬于消息的是(B)。A.文字B.信號C圖彳覆D.語言.為提高通信系統(tǒng)傳輸消息有效性，信源編碼采用的方法是(A)。A.壓縮信源的冗余度B在信息比特中適當加入冗余比特C.研究碼的生成矩陣D對多組信息進行交織處理.最大似然譯碼等價于最大后驗概率譯碼的條件是(D)。A.離散無記憶信道B.無錯編碼C.無擾信道D.消息先驗等概.下列說法正確的是(C)。A.等重碼是線性碼B.碼的生成矩陣唯一C.碼的最小漢明距離等于碼的最小非0重量D.線性分組碼中包含一個全0碼字.二進制通信系統(tǒng)使用符號0和1,由于存在失真，傳輸時會產(chǎn)生誤碼，用符號表示下列事件，U0：一個0發(fā)出u1:一個1發(fā)出V0:一個0收至Ijv1:一個1收到則已知收到的符號，被告知發(fā)出的符號能得到的信息量是(A)。A.H(U/V)B.H(V/U)C.H(U,V)D.H(UV).同時扔兩個正常的骰子，即各面呈現(xiàn)的概率都是1/6,若點數(shù)之和為12,則得到的自信息為(B)。A.—log36bitB.log36bitC.-log(11/36)bitD.log(11/36)bit.下列組合中不屬于即時碼的是(A)。A.{0,01,011}B.{0,10,110}C.{00,10,11}D.{1,01,00}?111010???18.已知某(6,3)線性分組碼的生成矩陣G=110001,則不用計算就可判斷出下列碼?????011101?中不是該碼集里的碼是(D)。A.000000B.110001C.011101D.11111119.一個隨即變量x的概率密度函數(shù)P(x)=x/2,0<x<2VW言源的相對嫡為(C)。A.0.5bit/符號B.0.72bit/符號C.1bit/符號D.1.44bit/符號320.設(shè)有一個無記憶信源發(fā)出符號A和B,已知p(A)=1,發(fā)出二重符號序列消，p(B)=息的信源，無記憶信源嫡H(X)為(A)。A.0.81bit/二重符號B.1.62bit/二重符號C.0.93bit/二重符號D.1.86bit/二重符號26、只要，當N足夠長時，一定存在一種無失真編碼。7、當RVC時，只要碼長足夠長，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯誤概率無窮小。8、在認識論層次上研究信息的時候，必須同時考慮到形式、含義和效用三個方面的因素。9、1948年，美國數(shù)學家香農(nóng)發(fā)表了題為通信的數(shù)學理論”的長篇論文，從而創(chuàng)立了信息論。按照信息的性質(zhì)，可以把信息分成語法信息、語義信息和語用信息。按照信息的地位，可以把信息分成客觀信息和主觀信息。人們研究信息論的目的是為了高效、可靠、安全地交換和利用各種各樣的信息。信息的可度量性是建立信息論的基礎(chǔ)。統(tǒng)計度量是信息度量最常用的方法。嫡是香農(nóng)信息論最基本最重要的概念。事物的不確定度是用時間統(tǒng)計發(fā)生概率的對數(shù)來描述的。10、單符號離散信源一般用隨機變量描述，而多符號離散信源一般用隨機矢量描述。11、一個隨機事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為其發(fā)生概率對數(shù)的負值。12、自信息量的單位一般有比特、奈特和哈特。TOC\o"1-5"\h\z13、必然事件的自信息是0。14、不可能事件的自信息量是8。15、兩個相互獨立的隨機變量的聯(lián)合自信息量等于兩個自信息量之和。16、數(shù)據(jù)處理定理：當消息經(jīng)過多級處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。17、離散平穩(wěn)無記憶信源X的N次擴展信源的嫡等于離散信源X的嫡的N倍。limH(XN/X1X2XN-1)1&離散平穩(wěn)有記憶彳t源的極限嫡，Hoo=n-qp19、對于n元m階馬爾可夫信源，其狀態(tài)空間共有nm個不同的狀態(tài)。20、一維連續(xù)隨即變量X在［a,b］區(qū)間內(nèi)均勻分布時，其信源嫡為10g2(b-a)。11og22兀eP22評均功率為P的高斯分布的連續(xù)信源，其信源嫡，Hc(X)=。22、對于限峰值功率的N維連續(xù)信源，當概率密度均勻分布時連續(xù)信源嫡具有最大值。23、對于限平均功率的一維連續(xù)信源，當概率密度高斯分布時，信源嫡有最大值。24、對于均值為0,平均功率受限的連續(xù)信源，信源的冗余度決定于平均功率的限定值P和信源的^功率P之比。25、若一離散無記憶信源的信源嫡H(X)等于2.5,對信源進行等長的無失真二進制編碼，則編碼長度至少為3。26、m元長度為ki,i=1,2,?n的異前置碼存在的充要條件是：Emi=1科ki菰127、若把擲骰子的結(jié)果作為一離散信源，則其信源嫡為1og26。28、同時擲兩個正常的骰子，各面呈現(xiàn)的概率都為1/6,則“3和5同時出現(xiàn)”這件事的自信息量是1og218(1+210g23)。1-p(x)=emx>,0m29、若一維隨即變量X的取值區(qū)間是［0,8］,其概率密度函數(shù)為，其中：m是X的數(shù)學期望，則X的信源嫡xHC(X)=1og2me。30、一副充分洗亂的撲克牌(52張)，從中任意抽取1張，然后放回，若把這一過程看作離散無記憶信源，則其信源嫡為1og252。31、根據(jù)輸入輸出信號的特點，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù)信道。32、信道的輸出僅與信道當前輸入有關(guān)，而與過去輸入無關(guān)的信道稱為無記憶信道。33、具有對應關(guān)系的無噪信道的信道容量C=1og2n。34、強對稱信道的信道容量C=10g2n-Hni。35、對稱信道的信道容量C=10g2m-Hmi。36、對于離散無記憶信道和信源的N次擴展，其信道容量CN=NC。37、對于N個對立并聯(lián)信道，其信道容量CN=ECk=1Nk38、多用戶信道的信道容量用多維空間的一個區(qū)域的界限來表示。39、多用戶信道可以分成幾種最基本的類型：多址接入信道、廣播信道和相關(guān)信源信道。40、廣播信道是只有一個輸入端和多個輸出端的信道。41、當信道的噪聲對輸入的干擾作用表現(xiàn)為噪聲和輸入的線性疊加時，此信道稱為加性連續(xù)信道。P11og2(1+X)2PN。42、高斯加性信道的信道容量C=43、信道編碼定理是一個理想編碼的存在性定理，即：信道無失真?zhèn)鬟f信息的條件是信息率小于信道容量。?1/21/20??0?01??代表的信道的信道容量C=1。44、信道矩陣?10??10????01??代表的信道的信道容量C=1。45、信道矩陣？46、高斯加性噪聲信道中，信道帶寬3kHz，信噪比為7,則該信道的最大信息傳輸速率Ct=9kHz。47、對于具有歸并性能的無燥信道，達到信道容量的條件是p(yj)=1/m)。?10??01??代表的信道，若每分鐘可以傳遞6*105個符號，則該信道的最大信息48、信道矩陣？傳輸速率Ct=10kHz。49、信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。50、求解率失真函數(shù)的問題，即：在給定失真度的情況下，求信息率的極小值。51、信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性就越大，獲得的信息量就越小。52、信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息率也越小。53、單符號的失真度或失真函數(shù)d(xi,yj)表示信源發(fā)出一個符號xi,信宿再現(xiàn)yj所引起的誤差或失真。?0i=j?1i大j54、漢明失真函數(shù)d(xi,yj)=?55、平方誤差失真函數(shù)d(xi,yj)=(yj-xi)2。56、平均失真度定義為失真函數(shù)的數(shù)學期望，即d(xi,yj)在X和Y的聯(lián)合概率空間P(XY)中的統(tǒng)計平均值。57、如果信源和失真度一定，則平均失真度是信道統(tǒng)計特性的函數(shù)。58、如果規(guī)定平均失真度D不能超過某一限定的值D,即：DWD我們把Dw麗為保真度準則。59、離散無記憶N次擴展信源通過離散無記憶N次擴展信道的平均失真度是單符號信源通過單符號信道的平均失真度的N倍。60、試驗信道的集合用PD來表示，則PD={p(yj/xi):D<D;i=1,2,,n,j廣1,2,,m}61、信息率失真函數(shù)，簡稱為率失真函數(shù)，即：試驗信道中的平均互信息量的最小值。62、平均失真度的下限取0的條件是失真矩陣的每一行至少有一個零元素。63、平均失真度的上限D(zhuǎn)max取{Dj：j=1,2,??；m}中的最小值。64、率失真函數(shù)對允許的平均失真度是單調(diào)遞減和連續(xù)的。65、對于離散無記憶信源的率失真函數(shù)的最大值是log2n。66、當失真度大于平均失真度的上限時Dmax時，率失真函數(shù)R(D)=0。Inf67、連續(xù)信源X的率失真函數(shù)R(D)=p(y/x)CPDI(X;Y)。268、當Dw時，高斯信源在均方差失真度下的信息率失真函數(shù)為R(D)=1(T2log22D。69、保真度準則下的信源編碼定理的條件是信源的信息率R大于率失真函數(shù)R(D)。1??0a??X??0=?a0??P(X)??1/21/2??,則該信源的Dmax=a/2。????70、某二元信源其失真矩陣D=?1??0a??X??0=?a0??P(X)??1/21/2??,則該信源的Dmin=0。????71、某二元信源其失真矩陣D=?1??0a??X??0=?a0??P(X)??1/21/2??,則該信源的R(D)=1-H???其失真矩陣D=?72、某二元信源？(D/a)。TOC\o"1-5"\h\z73、按照不同的編碼目的，編碼可以分為三類：分別是信源編碼、信道編碼和安全編碼。74、信源編碼的目的是：提高通信的有效性。75、一般情況下，信源編碼可以分為離散信源編碼、連續(xù)信源編碼和相關(guān)信源編碼。76、連續(xù)信源或模擬信號的信源編碼的理論基礎(chǔ)是限失真信源編碼定理。77、在香農(nóng)編碼中，第i個碼字的長度ki和p(xi)之間有關(guān)系。-log2p(xi)＜-tog＜2p(xi)x2x3x4x5x6x7x8??X??x1=?P(X)??1/41/4