信息論與編碼試題集與復習資料新

第.25010.50.50.75設輸入符號及輸出符號為X＝Y∈{0,1,2,3}，且輸入符號等概率分布。設失真函數為漢明失真。求Dmax和Dmin及R(Dmax)和R(Dmin)〔20分〕解：失真矩陣的每一行都有0，因此Dmin=0填空題設信源X包含4個不同離散消息，當且僅當X中各個消息出現的概率為___1/4___時，信源熵到達最大值，為__2__，此時各個消息的自信息量為__2__。2.如某線性分組碼的最小漢明距dmin=4，那么該碼最多能檢測出___3____個隨機錯，最多能訂正__1____個隨機錯。3.克勞夫特不等式是唯一可譯碼___存在___的充要條件。4.平均互信息量I(X;Y)及信源熵和條件熵之間的關系是___(X;Y)=H(X)-H(X/Y)___。_信源___提高通信的有效性，_信道____目的是提高通信的牢靠性，_加密__編碼的目的是保證通信的平安性。6.信源編碼的目的是提高通信的有效性，信道編碼的目的是提高通信的牢靠性，加密編碼的目的是保證通信的平安性。7.設信源X包含8個不同離散消息，當且僅當X中各個消息出現的概率為__1/8__時，信源熵到達最大值，為___3____。8.自信息量表征信源中各個符號的不確定度，信源符號的概率越大，其自信息量越_小___。9.信源的冗余度來自兩個方面，一是信源符號之間的__相關性__，二是信源符號分布的__不勻稱性__。10.最大后驗概率譯碼指的是譯碼器要在r的條件下找出可能性最大的發(fā)碼作為譯碼估值，即令=maxP(|r)___。11.常用的檢糾錯方法有__前向糾錯___,反應重發(fā)和混合糾錯三種。單項選擇題1.下面表達式中正確的選項是〔A〕。A.B.C.D.2.彩色電視顯像管的屏幕上有5×105個像元，設每個像元有64種彩色度，每種彩度又有16種不同的亮度層次，假如全部的彩色品種和亮度層次的組合均以等概率出現，并且各個組合之間相互獨立。每秒傳送25幀圖像所須要的信道容量〔C〕。A.50106B.75106C.125106D.2501063.某無記憶三符號信源a,b,c等概分布，接收端為二符號集，其失真矩陣為d=,那么信源的最大平均失真度為〔D〕。A.1/3B.2/3C.3/3D.4/34.線性分組碼不具有的性質是〔C〕。A.隨意多個碼字的線性組合仍是碼字B.最小漢明距離等于最小非0重量C.最小漢明距離為3D.任一碼字和其校驗矩陣的乘積cmHT=05.率失真函數的下限為〔B〕。A.H(U)B.0C.I(U;V)D.沒有下限6.糾錯編碼中，以下哪種措施不能減小過失概率〔D〕。A.增大信道容量B.增大碼長C.減小碼率D.減小帶寬7.一珍寶養(yǎng)殖場收獲240顆外觀及重量完全一樣的特大珍寶，但不幸被人用外觀一樣但重量僅有微小差異的假珠換掉1顆。一人順手取出3顆，經測量恰好找出了假珠，不巧假珠又滑落進去，那人找了許久卻未找到，但另一人說他用天平最多6次能找出，結果確是如此，這一事務給出的信息量〔A〕。A.0bitB.log6bitC.6bitD.log240bit8.以下陳述中，不正確的選項是〔D〕。A.離散無記憶信道中，H〔Y〕是輸入概率向量的凸函數B.滿意格拉夫特不等式的碼字為惟一可譯碼C.一般地說，線性碼的最小距離越大，意味著隨意碼字間的差異越大，那么碼的檢錯,糾錯實力越強D.滿意格拉夫特不等式的信源是惟一可譯碼9.一個隨即變量x的概率密度函數P(x)=x/2，，那么信源的相對熵為〔C〕。A.0.5bitB.0.72bitC.1bitD.1.44bit10.以下離散信源，熵最大的是〔D〕。A.H〔1/3,1/3,1/3〕；B.H〔1/2,1/2〕；C.H〔0.9,0.1〕；D.H〔1/2,1/4,1/8,1/8)11.以下不屬于消息的是〔B〕。A.文字B.信號C.圖像D.語言12.為提高通信系統(tǒng)傳輸消息有效性，信源編碼采納的方法是〔A〕。A.壓縮信源的冗余度B.在信息比特中適當參與冗余比特C.探討碼的生成矩陣D.對多組信息進展交織處理13.最大似然譯碼等價于最大后驗概率譯碼的條件是〔D〕。A.離散無記憶信道B.無錯編碼C.無擾信道D.消息先驗等概14.以下說法正確的選項是〔C〕。A.等重碼是線性碼B.碼的生成矩陣唯一C.碼的最小漢明距離等于碼的最小非0重量D.線性分組碼中包含一個全0碼字15.二進制通信系統(tǒng)運用符號0和1，由于存在失真，傳輸時會產生誤碼，用符號表示以下事務，u0:一個0發(fā)出u1:一個1發(fā)出v0:一個0收到v1:一個1收到那么收到的符號，被告知發(fā)出的符號能得到的信息量是〔A〕。A.H(U/V)B.H(V/U)C.H(U,V)D.H(UV)16.同時扔兩個正常的骰子，即各面呈現的概率都是1/6，假設點數之和為12，那么得到的自信息為〔B〕。A.－log36bitB.log36bitC.－log(11/36)bitD.log(11/36)bit17.以下組合中不屬于即時碼的是〔A〕。A.{0，01，011}B.{0，10，110}C.{00，10，11}D.{1，01，00}18.某〔6，3〕線性分組碼的生成矩陣，那么不用計算就可推斷出以下碼中不是該碼集里的碼是〔D〕。A.000000B.110001C.011101D.11111119.一個隨即變量x的概率密度函數P(x)=x/2，，那么信源的相對熵為〔C〕。A.0.5bit/符號B.0.72bit/符號C.1bit/符號D.1.44bit/符號20.設有一個無記憶信源發(fā)出符號A和B，，發(fā)出二重符號序列消息的信源，無記憶信源熵為〔A〕。A.0.81bit/二重符號B.1.62bit/二重符號C.0.93bit/二重符號D.1.86bit/二重符號推斷題1.確定性信源的熵H(0,0,0,1)=1?！插e〕2.信源X的概率分布為P(X)={1/2,1/3,1/6}，對其進展哈夫曼編碼得到的碼是唯一的。 〔錯〕離散無記憶序列信源中平均每個符號的符號熵等于單個符號信源的符號熵?！矊Α?.非奇異的定長碼肯定是唯一可譯碼?！插e〕5.信息率失真函數R(D)是在平均失真不超過給定失真限度D的條件下，信息率容許壓縮的最小值。 〔對〕6.信源X的概率分布為P(X)={1/2,1/3,1/6}，信源Y的概率分布為P(Y)={1/3,1/2,1/6}，那么信源X和Y的熵相等。〔對〕7.互信息量I(X;Y)表示收到Y后仍對信源X的不確定度。〔對〕8.對信源符號X={a1,a2,a3,a4}進展二元信源編碼，4個信源符號對應碼字的碼長分別為K1=1，K2=2，K3=3，K3=3，滿意這種碼長組合的碼肯定是唯一可譯碼。 〔錯〕9.DMC信道轉移概率矩陣為，那么此信道在其輸入端的信源分布為P(X)={1/2,1/2}時傳輸的信息量到達最大值。〔錯〕10.設C={000000,001011,010110,011101,100111,101100,110001,111010}是一個二元線性分組碼，那么該碼最多能檢測出3個隨機錯誤?！插e〕四,名詞說明1.極限熵:2.信道容量:3.平均自信息量:五,計算題1.設離散無記憶信源其發(fā)生的消息為〔23211223210〕，依據“離散無記憶信源發(fā)出的消息序列的自信息等于消息中各個符號的自信息之和〞，求此消息的自信息量；〔2〕在此消息中平均每個符號攜帶的信息量是多少？2.一個二元信源連接一個二元信道，如下圖。其中，。試求：I(X,Y)，H(X,Y)，H(X/Y)，和H(Y/X)。設輸入信號的概率分布為P=(1/2,1/2)，失真矩陣為。試求Dmin，Dmax，R(Dmin)，R(Dmax)。4.信源共有6個符號消息，其概率分布為={0.37，0.25，0.18，0.10，0.07，0.03}?！?〕對這6個符號進展二進制哈夫曼編碼〔給出編碼過程〕，寫出相應碼字，并求出平均碼長和編碼效率。 〔2〕哈夫曼編碼的結果是否唯一？假如不唯一，請給出緣由。5.二進制通信系統(tǒng)運用符號0和1，由于存在失真，傳輸時會產生誤碼，用符號表示以下事務。x0：一個0發(fā)出；x1：一個1發(fā)出y0：一個0收到；y1：一個1收到給定以下概率：p(x0)=1/2，p(y0/x0)=3/4，p(y0/x1)=1/2?！?〕求信源的熵H(X)；〔2〕發(fā)出的符號，求收到符號后得到的信息量H(Y/X)；〔3〕發(fā)出和收到的符號，求能得到的信息量H(X,Y)。6.設DMC信道的傳輸狀況如以下圖所示?！?〕試寫出該信道的轉移概率矩陣；〔2〕求該信道的信道容量。7.設輸入信號的概率分布為P=(1/2,1/2)，失真矩陣為。試求，，，。8.設有離散無記憶信源共有5個符號消息，其概率分布為={0.4，0.2，0.2，0.1，0.1}?！?〕對這5個符號進展二進制哈夫曼編碼〔給出編碼過程〕，寫出相應碼字，并求出平均碼長和編碼效率；〔2〕哈夫曼編碼的結果是否唯一？假如不唯一，請給出緣由。,平均自信息為表示信源的平均不確定度，也表示平均每個信源消息所供應的信息量。平均互信息表示從Y獲得的關于每個X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個系統(tǒng)不確定性減少的量。2,最大離散熵定理為：離散無記憶信源，等概率分布時熵最大。3,最大熵值為。4,通信系統(tǒng)模型如下：

5,香農公式為為保證足夠大的信道容量，可采納〔1〕用頻帶換信噪比；〔2〕用信噪比換頻帶。6,只要，當N足夠長時，肯定存在一種無失真編碼。7,當R＜C時，只要碼長足夠長，肯定能找到一種編碼方法和譯碼規(guī)那么，使譯碼錯誤概率無窮小。8,在相識論層次上探討信息的時候，必需同時考慮到形式,含義和效用三個方面的因素。9,1948年，美國數學家香農發(fā)表了題為“通信的數學理論〞的長篇論文，從而創(chuàng)立了信息論。依據信息的性質，可以把信息分成語法信息,語義信息和語用信息。依據信息的地位，可以把信息分成客觀信息和主觀信息。人們探討信息論的目的是為了高效,牢靠,平安地交換和利用各種各樣的信息。信息的可度量性是建立信息論的根底。統(tǒng)計度量是信息度量最常用的方法。熵是香農信息論最根本最重要的概念。事物的不確定度是用時間統(tǒng)計發(fā)生概率的對數來描述的。10,單符號離散信源一般用隨機變量描述，而多符號離散信源一般用隨機矢量描述。11,一個隨機事務發(fā)生某一結果后所帶來的信息量稱為自信息量，定義為其發(fā)生概率對數的負值。12,自信息量的單位一般有比特,奈特和哈特。13,必定事務的自信息是0。14,不可能事務的自信息量是∞。15,兩個相互獨立的隨機變量的聯(lián)合自信息量等于兩個自信息量之和。16,數據處理定理：當消息經過多級處理后，隨著處理器數目的增多，輸入消息及輸出消息之間的平均互信息量趨于變小。17,離散平穩(wěn)無記憶信源X的N次擴展信源的熵等于離散信源X的熵的N倍。18,離散平穩(wěn)有記憶信源的極限熵，。19,對于n元m階馬爾可夫信源，其狀態(tài)空間共有nm個不同的狀態(tài)。20,一維連續(xù)隨即變量X在[a，b]區(qū)間內勻稱分布時，其信源熵為log2〔b-a〕。21,平均功率為P的高斯分布的連續(xù)信源，其信源熵，Hc〔X〕=。22,對于限峰值功率的N維連續(xù)信源，當概率密度勻稱分布時連續(xù)信源熵具有最大值。23,對于限平均功率的一維連續(xù)信源，當概率密度高斯分布時，信源熵有最大值。24,對于均值為0，平均功率受限的連續(xù)信源，信源的冗余度確定于平均功率的限定值P和信源的熵功率之比。25,假設一離散無記憶信源的信源熵H〔X〕等于2.5，對信源進展等長的無失真二進制編碼，那么編碼長度至少為3。26,m元長度為ki，i=1，2，···n的異前置碼存在的充要條件是：。27,假設把擲骰子的結果作為一離散信源，那么其信源熵為log26。28,同時擲兩個正常的骰子，各面呈現的概率都為1/6，那么“3和5同時出現〞這件事的自信息量是log218〔1+2log23〕。29,假設一維隨即變量X的取值區(qū)間是[0，∞]，其概率密度函數為，其中：，m是X的數學期望，那么X的信源熵。30,一副充分洗亂的撲克牌〔52張〕，從中隨意抽取1張，然后放回，假設把這一過程看作離散無記憶信源，那么其信源熵為。31,依據輸入輸出信號的特點，可將信道分成離散信道,連續(xù)信道,半離散或半連續(xù)信道。32,信道的輸出僅及信道當前輸入有關，而及過去輸入無關的信道稱為無記憶信道。33,具有一一對應關系的無噪信道的信道容量C=log2n。34,強對稱信道的信道容量C=log2n-Hni。35,對稱信道的信道容量C=log2m-Hmi。36,對于離散無記憶信道和信源的N次擴展，其信道容量CN=NC。37,對于N個對立并聯(lián)信道，其信道容量CN=。38,多用戶信道的信道容量用多維空間的一個區(qū)域的界限來表示。39,多用戶信道可以分成幾種最根本的類型：多址接入信道,播送信道和相關信源信道。40,播送信道是只有一個輸入端和多個輸出端的信道。41,當信道的噪聲對輸入的干擾作用表現為噪聲和輸入的線性疊加時，此信道稱為加性連續(xù)信道。42,高斯加性信道的信道容量C=。43,信道編碼定理是一個志向編碼的存在性定理，即：信道無失真?zhèn)鬟f信息的條件是信息率小于信道容量。44,信道矩陣代表的信道的信道容量C=1。45,信道矩陣代表的信道的信道容量C=1。46,高斯加性噪聲信道中，信道帶寬3kHz，信噪比為7，那么該信道的最大信息傳輸速率Ct=9kHz。47,對于具有歸并性能的無燥信道，到達信道容量的條件是p〔yj〕=1/m〕。48,信道矩陣代表的信道，假設每分鐘可以傳遞6*105個符號，那么該信道的最大信息傳輸速率Ct=10kHz。49,信息率失真理論是量化,數模轉換,頻帶壓縮和數據壓縮的理論根底。50,求解率失真函數的問題，即：在給定失真度的狀況下，求信息率的微小值。51,信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性就越大，獲得的信息量就越小。52,信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息率也越小。53,單符號的失真度或失真函數d〔xi，yj〕表示信源發(fā)出一個符號xi，信宿再現yj所引起的誤差或失真。54,漢明失真函數d〔xi，yj〕=。55,平方誤差失真函數d〔xi，yj〕=〔yj-xi〕2。56,平均失真度定義為失真函數的數學期望，即d〔xi，yj〕在X和Y的聯(lián)合概率空間P〔XY〕中的統(tǒng)計平均值。57,假如信源和失真度肯定，那么平均失真度是信道統(tǒng)計特性的函數。58,假如規(guī)定平均失真度不能超過某一限定的值D，即：。我們把稱為保真度準那么。59,離散無記憶N次擴展信源通過離散無記憶N次擴展信道的平均失真度是單符號信源通過單符號信道的平均失真度的N倍。60,試驗信道的集合用PD來表示，那么PD=。61,信息率失真函數，簡稱為率失真函數，即：試驗信道中的平均互信息量的最小值。62,平均失真度的下限取0的條件是失真矩陣的每一行至少有一個零元素。63,平均失真度的上限Dmax取{Dj：j=1，2，···，m}中的最小值。64,率失真函數對允許的平均失真度是單調遞減和連續(xù)的。65,對于離散無記憶信源的率失真函數的最大值是log2n。66,當失真度大于平均失真度的上限時Dmax時，率失真函數R〔D〕=0。67,連續(xù)信源X的率失真函數R〔D〕=。68,當時，高斯信源在均方差失真度下的信息率失真函數為。69,保真度準那么下的信源編碼定理的條件是信源的信息率R大于率失真函數R〔D〕。70,某二元信源其失真矩陣D=，那么該信源的Dmax=a/2。71,某二元信源其失真矩陣D=，那么該信源的Dmin=0。72,某二元信源其失真矩陣D=，那么該信源的R〔D〕=1-H〔D/a〕。73,依據不同的編碼目的，編碼可以分為三類：分別是信源編碼,信道編碼和平安編碼。74,信源編碼的目的是：提高通信的有效性。75,一般狀況下，信源編碼可以分為離散信源編碼,連續(xù)信源編碼和相關信源編碼。76,連續(xù)信源或模擬信號的信源編碼的理論根底是限失真信源編碼定理。77,在香農編碼中，第i個碼字的長度ki和p〔xi〕之間有關系。78,對信源進展二進制費諾編碼，其編碼效率為1。79,對具有8個消息的單符號離散無記憶信源進展4進制哈夫曼編碼時，為使平均碼長最短，應增加2個概率為0的消息。80,對于香農編碼,費諾編碼和哈夫曼編碼，編碼方法惟一的是香農編碼。81,對于二元序列111111111111，其相應的游程序列是23652457。82,設無記憶二元序列中，“0〞和“1〞的概率分別是p0和p1，那么“0〞游程長度L〔0〕的概率為。83,游程序列的熵等于原二元序列的熵。84,假設“0〞游程的哈夫嗎編碼效率為η0，“1〞游程的哈夫嗎編碼效率為η1，且η0>η1對應的二元序列的編碼效率為η，那么三者的關系是η0>η>η1。85,在實際的游程編碼過程中，對長碼一般實行截斷處理的方法。86,“0〞游程和“1〞游程可以分別進展哈夫曼編碼，兩個碼表中的碼字可以重復，但C碼必需不同。87,在多符號的消息序列中，大量的重復出現的，只起占時作用的符號稱為冗余位。88,“冗余變換〞即：將一個冗余序列轉換成一個二元序列和一個縮短了的多元序列。89,L-D編碼是一種分幀傳送冗余位序列的方法。90,L-D編碼適合于冗余位較多或較少的狀況。91,信道編碼的最終目的是提高信號傳輸的牢靠性。92,狹義的信道編碼即：檢,糾錯編碼。93,BSC信道即：無記憶二進制對稱信道。94,n位重復碼的編碼效率是1/n。95,等重碼可以檢驗全部的奇數位錯和局部的偶數位錯。96,隨意兩個碼字之間的最小漢明距離有稱為碼的最小距dmin，那么dmin=。97,假設糾錯碼的最小距離為dmin，那么可以訂正隨意小于等于t=個過失。98,假設檢錯碼的最小距離為dmin，那么可以檢測出隨意小于等于l=dmin-1個過失。99,線性分組碼是同時具有分組特性和線性特性的糾錯碼。100,循環(huán)碼即是采納循環(huán)移位特性界定的一類線性分組碼。三,推斷〔每題1分〕〔50道〕必定事務和不可能事務的自信息量都是0。錯自信息量是的單調遞減函數。對單符號離散信源的自信息和信源熵都具有非負性。對單符號離散信源的自信息和信源熵都是一個確定值。錯單符號離散信源的聯(lián)合自信息量和條件自信息量都是非負的和單調遞減的。對自信息量,條件自信息量和聯(lián)合自信息量之間有如下關系： 對自信息量,條件自信息量和互信息量之間有如下關系： 對當隨即變量X和Y相互獨立時，條件熵等于信源熵。對當隨即變量X和Y相互獨立時，I〔X；Y〕=H〔X〕。錯10,信源熵具有嚴格的下凸性。錯11,平均互信息量I〔X；Y〕對于信源概率分布p〔xi〕和條件概率分布p〔yj/xi〕都具有凸函數性。對12,m階馬爾可夫信源和消息長度為m的有記憶信源，其所含符號的依靠關系一樣。錯13,利用狀態(tài)極限概率和狀態(tài)一步轉移概率來求m階馬爾可夫信源的極限熵。對14,N維統(tǒng)計獨立勻稱分布連續(xù)信源的熵是N維區(qū)域體積的對數。對15,一維高斯分布的連續(xù)信源，其信源熵只及其均值和方差有關。錯16,連續(xù)信源和離散信源的熵都具有非負性。錯17,連續(xù)信源和離散信源都具有可加性。對18,連續(xù)信源和離散信源的平均互信息都具有非負性。對19,定長編碼的效率一般小于不定長編碼的效率。對20,假設對一離散信源〔熵為H〔X〕〕進展二進制無失真編碼，設定長碼子長度為K，變長碼子平均長度為，一般>K。錯21,信道容量C是I〔X；Y〕關于p〔xi〕的條件極大值。對22,離散無噪信道的信道容量等于log2n，其中n是信源X的消息個數。錯23,對于準對稱信道，當時，可到達信道容量C。錯24,多用戶信道的信道容量不能用一個數來代表。對25,多用戶信道的信道容量不能用一個數來代表，但信道的信息率可以用一個數來表示。錯26,高斯加性信道的信道容量只及信道的信噪有關。對27,信道無失真?zhèn)鬟f信息的條件是信息率小于信道容量。對28,最大信息傳輸速率，即：選擇某一信源的概率分布〔p〔xi〕〕，使信道所能傳送的信息率的最大值。錯29,對于具有歸并性能的無燥信道，當信源等概率分布時〔p〔xi〕=1/n〕，到達信道容量。錯30,求解率失真函數的問題，即：在給定失真度的狀況下，求信息率的微小值。對31,信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性就越小，獲得的信息量就越小。錯32,當p〔xi〕,p〔yj/xi〕和d〔xi，yj〕給定后，平均失真度是一個隨即變量。錯33,率失真函數對允許的平均失真度具有上凸性。對34,率失真函數沒有最大值。錯35,率失真函數的最小值是0。對36,率失真函數的值及信源的輸入概率無關。錯37,信源編碼是提高通信有效性為目的的編碼。對38,信源編碼通常是通過壓縮信源的冗余度來實現的。對39,離散信源或數字信號的信源編碼的理論根底是限失真信源編碼定理。錯40,一般狀況下，哈夫曼編碼的效率大于香農編碼和費諾編碼。對41,在編m〔m>2〕進制的哈夫曼碼時，要考慮是否須要增加概率為0的碼字，以使平均碼長最短。對42,游程序列的熵〔“0〞游程序列的熵及“1〞游程序列的熵的和〕大于等于原二元序列的熵。錯43,在游程編碼過程中，“0〞游程和“1〞游程應分別編碼，因此，它們的碼字不能重復。錯44,L-D編碼適合于冗余位較多和較少的狀況，否那么，不但不能壓縮碼率，反而使其擴張。對45,狹義的信道編碼既是指：信道的檢,糾錯編碼。對46,對于BSC信道，信道編碼應當是一對一的編碼，因此，消息m的長度等于碼字c的長度。錯47,等重碼和奇〔偶〕校驗碼都可以檢出全部的奇數位錯。對48,漢明碼是一種線性分組碼。對49,循環(huán)碼也是一種線性分組碼。對50,卷積碼是一種特別的線性分組碼。錯１．設Ｘ的取值受限于有限區(qū)間［a,b］，那么X聽從勻稱分布時，其熵到達最大；如X的均值為，方差受限為，那么X聽從高斯分布時，其熵到達最大。2．信息論不等式：對