(完整word版)信息論習(xí)題集

1、信息論習(xí)題集第一章、判斷題1、 信息論主要研究目的是找到信息傳輸過程的共同規(guī)律，提高信息傳輸?shù)目煽啃浴?有效性、保密性和認(rèn)證性，以達(dá)到信息傳輸系統(tǒng)的最優(yōu)化。（“2、同一信息，可以采用不同的信號形式來載荷；同一信號形式可以表達(dá)不同形式的信息。 （“3、通信中的可靠性是指使信源發(fā)出的消息準(zhǔn)確不失真地在信道中傳輸；（W4、 有效性是指用盡量短的時間和盡量少的設(shè)備來傳送一定量的信息。（M5、保密性是指隱蔽和保護(hù)通信系統(tǒng)中傳送的消息，使它只能被授權(quán)接收者獲取，而不能被 未授權(quán)者接收和理解。（V）6、認(rèn)證性是指接收者能正確判斷所接收的消息的正確性，驗證消息的完整性，而不是偽造 的和被竄改的。（V7、在香農(nóng)

2、信息的定義中，信息的大小與事件發(fā)生的概率成正比，概率越大事件所包含的信 息量越大。（X第二章一、判斷題1、通信中獲得的信息量等于通信過程中不確定性的消除或者減少量。（V2、離散信道的信道容量與信源的概率分布有關(guān)，與信道的統(tǒng)計特性也有關(guān)。（X）3、連續(xù)信道的信道容量與信道帶寬成正比，帶寬越寬，信道容量越大。（X4、信源熵是信號符號集合中，所有符號的自信息的算術(shù)平均值。（X）5、 信源熵具有極值性，是信源概率分布P的下凸函數(shù)，當(dāng)信源概率分布為等概率分布時取 得最大值。（X6、 離散無記憶信源的 N次擴展信源，其熵值為擴展前信源熵值的N倍。（V7、互信息的統(tǒng)計平均為平均互信息量，都具有非負(fù)性。（X）

3、8、信源剩余度越大，通信效率越高，抗干擾能力越強。（X）9、信道剩余度越大，信道利用率越低，信道的信息傳輸速率越低。（X）10、信道輸入與輸出之間的平均互信息是輸入概率分布的下凸函數(shù)。（X）11、 在信息處理過程中，熵是不會增加的。（V12、熵函數(shù)是嚴(yán)格上凸的。（V13、 信道疑義度永遠(yuǎn)是非負(fù)的。（V14、對于離散平穩(wěn)信源，其極限熵等于最小平均符號熵。（ V2-1同時擲兩個正常的骰子，也就是各面呈現(xiàn)的概率都是1/6，求：（1）“3和5同時出現(xiàn)”事件的自信息量；（2）“兩個1同時出現(xiàn)”事件的自信息量；（3）兩個點數(shù)的各種組合（無序?qū)Γ┑撵鼗蚱骄畔⒘浚唬?）兩個點數(shù)之和（即2, 3,，12構(gòu)成的

4、子集）的熵；（5）兩個點數(shù)中至少有一個是1的自信息。2-2居住某地區(qū)的女孩中有 25%是大學(xué)生，在女大學(xué)生中有 75%身高為1.6m以 上，而女孩中身高1.6m以上的占總數(shù)一半。假如得知“身高 1.6m以上的某女孩是大學(xué) 生”的消息，問獲得多少信息量？、2-3兩個實驗才 厲*7和尸仇巧用，聯(lián)合概率曲Q竝為 丹甩 As7/24 1/240Al Pzz fe二1/241/41/24_Ai Aa01/24 7 （1）如果有人告訴你 X和F的實驗結(jié)果，你得到的平均信息量是多少？（2）如果有人告訴你 F的實驗結(jié)果，你得到的平均信息量是多少？（3）在已知F的實驗結(jié)果的情況下， 告訴你址的實驗結(jié)果，你得到的

5、平均信息量是多少？2-4某一無記憶信源的符號集為，已知幾”I ,刊。（1）求信源符號的平均信息量；（2）由100個符號構(gòu)成的序列，求某一特定序列（例如有 審個0和1® E個1）的 信息量的表達(dá)（3）計算（2）中的序列熵。2-5有一個馬爾可夫信源，已知轉(zhuǎn)移概率為 。試畫出狀態(tài)轉(zhuǎn)移圖，并求出信源熵。2-6有一個一階馬爾可夫鏈兀耳一兀一各兀取值于集* %叫嚀，已知起 丹=尺覽=對=£丑=巧=7始概率為，其轉(zhuǎn)移概率如下：j i12311/21/41/422/301/332/31/30（1）求才了£“的聯(lián)合熵和平均符號熵;（2）求這個鏈的極限平均符號熵；（3）求"

6、u耳"二和它們對應(yīng)的冗余度。2-7 一階馬爾可夫信源的狀態(tài)如圖所示，信源X的符號集為0,1,2。（1）求平穩(wěn)后的信源的概率分布；（2）求信源爛"（3）求當(dāng)F 。和F 1時信源的熵，并說明其理由。2-8設(shè)有一信源，它在開始時以丿3 °-&覽刃03昨）°的概率發(fā)出巧，如果1 1為時，則才2為出已廠的概率為芋；如果X為0時，則為"”產(chǎn)的概率為；1如果兀為左時，則為口少概率為？，為匚的概率為0。而且后面發(fā)出兀 的概率 只與疋I有關(guān)。有兀|才丿厲巧| Q I T。試?yán)民R爾可夫信源的圖示法 畫出狀態(tài)轉(zhuǎn)移圖，并且計算信源熵盯。AVV*第二早一、判斷

7、題1、 信息論主要研究目的是找到信息傳輸過程的共同規(guī)律，提高信息傳輸?shù)目煽啃浴?有效性、保密性和認(rèn)證性，以達(dá)到信息傳輸系統(tǒng)的最優(yōu)化。（“2、同一信息，可以采用不同的信號形式來載荷；同一信號形式可以表達(dá)不同形式的信息。（v）3、通信中的可靠性是指使信源發(fā)出的消息準(zhǔn)確不失真地在信道中傳輸；（V4、 有效性是指用盡量短的時間和盡量少的設(shè)備來傳送一定量的信息。（V5、保密性是指隱蔽和保護(hù)通信系統(tǒng)中傳送的消息，使它只能被授權(quán)接收者獲取，而不能被未授權(quán)者接收和理解。（ V6、認(rèn)證性是指接收者能正確判斷所接收的消息的正確性，驗證消息的完整性，而不是偽造的和被竄改的。（V7、在香農(nóng)信息的定義中，信息的大小與事

8、件發(fā)生的概率成正比，概率越大事件所包含的信息量越大。（X）8、 通信中獲得的信息量等于通信過程中不確定性的消除或者減少量。（V9、離散信道的信道容量與信源的概率分布有關(guān)，與信道的統(tǒng)計特性也有關(guān)。（X）10、連續(xù)信道的信道容量與信道帶寬成正比，帶寬越寬，信道容量越大。（X）11、信源熵是信號符號集合中，所有符號的自信息的算術(shù)平均值。（X）12、 信源熵具有極值性，是信源概率分布P的下凸函數(shù)，當(dāng)信源概率分布為等概率分布時 取得最大值。（X ）13、 離散無記憶信源的 N次擴展信源，其熵值為擴展前信源熵值的N倍。（V14、互信息的統(tǒng)計平均為平均互信息量，都具有非負(fù)性。（X）15、信源剩余度越大，通信

9、效率越高，抗干擾能力越強。(X)16、信道剩余度越大，信道利用率越低，信道的信息傳輸速率越低。(X)17、信道輸入與輸出之間的平均互信息是輸入概率分布的下凸函數(shù)。(X)18、 在信息處理過程中，熵是不會增加的。(“19、熵函數(shù)是嚴(yán)格上凸的。(“20、 信道疑義度永遠(yuǎn)是非負(fù)的。( “21、 對于離散平穩(wěn)信源，其極限熵等于最小平均符號熵。(v)22、對于離散無記憶信道，達(dá)到信道容量時其輸入概率分布是唯一的、特定的。(V23、噪聲功率相同的加性噪聲信道中以高斯噪聲信道的信道容量最大。(X )24、 典型序列中，信源符號出現(xiàn)的頻率與它的概率接近。(v25、 為有效抵抗加性高斯噪聲干擾，信道輸入分布應(yīng)該

10、是高斯分布。(v26、最大似然譯碼準(zhǔn)則是使平均譯碼錯誤率最小的準(zhǔn)則。(X)27、 加性高斯噪聲信道的信道容量不大于相同平均功率的其他加性噪聲信道的信道容量。(v28、 非奇異的定長碼是惟一可譯碼。(v29、AWGI的信道容量的大小與系統(tǒng)的帶寬成正比。(X)30、 信源編碼可以提高信息傳輸?shù)挠行浴?v31、 連續(xù)信源和離散信源的平均互信息都具有非互性。(v32、當(dāng)信道輸入獨立等概率時，信道疑義度達(dá)到最大值。(X)33、 必然事件和不可能事件的自信息量都是0 °(X)34、事件所包含的信息量是與事件發(fā)生的概率成反比的。(X)二、選擇題1 離散信源熵表示信源輸出一個消息所給出的( B 。

11、A、實際信息量；B、統(tǒng)計平均信息量；C、最大信息量；D、最小信息量；2 平均互信息 I(X,Y) 等于( C 。A、H(Y) H(X/Y) ； B、H(X) H(Y/X)C、H(Y) H(Y/X) ； D、H(XY) H(X)；3設(shè)連續(xù)信源輸出的信號譜寬度為 W，平均功率為N (受限)，則連續(xù)無噪信 道的信道容量為( A 。A、Wlog(2 n eN) B、2Wlog(2 n eN) C、Wlog(2 n N) D、2Wlog(2 n N)4對于無記憶離散信源X，其熵值為H(X)，由其生成的擴展信源XN的熵為H(Xn), H(X)與H(Xn)之間的關(guān)系是(B )。A、 H(XN)=H(X) ；

12、B、 H(XN)=NH(X) ；C、 H(XN)= HN(X)；D、 H(XN)= H(X)/N；5、 關(guān)于信源編碼和信道編碼，下面的說法錯誤的是(B )A 、信源編碼是為了減少冗余度，信道編碼則是有意增加冗余度；B 、信源編碼提高了可靠性，降低了有效性；C、首先對信源編碼，到了信道的輸入端再對其進(jìn)行信道編碼；D 、信道編碼提高了可靠性，降低了有效性。6、 以下關(guān)于離散平穩(wěn)信源的說法不正確的是(C )A、平穩(wěn)信源發(fā)出的符號序列的概率分布與時間起點無關(guān)；B、平均符號熵隨信源關(guān)聯(lián)長度 L的增加而減??；C、對于平穩(wěn)信源，一般情況下，齊次包括平穩(wěn)，平穩(wěn)不包括齊次；D、平穩(wěn)信源的概率分布特性具有時間推移

13、不變性。7、 將某六進(jìn)制信源進(jìn)行二進(jìn)制編碼如下表示，則這些碼中是唯一可譯碼的是(D )符號概率C1C2C3C4C5C6U11/2000000101U21/4001011010000001U31/160100111101101010100U41/16011011111101100110101U51/1610001111111101001110110U61/161010111111111101111001111A、C1C3C6B、C2C3C6C、C1 C2C3D、C1C2C3C68、關(guān)于線性分組碼，下列說法正確的是（ B ）A、卷積碼是線性分組碼的一種；B、最小碼距是除全零碼外的碼的最小重量；C、

14、具有封閉性，碼字的組合未必是碼字；D、不具有封閉性，碼字的組合未必是碼字。9、香農(nóng)公式是用在哪種信道中（ D）A、二進(jìn)制離散信道；B、離散無記憶信道；C、離散輸入，連續(xù)輸出信道；D、波形信道。10、 通信系統(tǒng)的性能指標(biāo)為（A）A、有效性可靠性 安全性 經(jīng)濟性B、有效性可行性安全性 保密性C、保密性可靠性安全性經(jīng)濟性D、高效性可行性安全性經(jīng)濟性11、 信源存在冗余度的主要原因是（C）A、信源符符號間的相關(guān)性B、信源符號分布的不均勻性C、信源符號間的相關(guān)性及分布的不均勻性D、以上都不對12、對于（n，k）線性分組碼，設(shè) dmin為最小漢明距離，則以下正確的是（ D）A、這組碼能糾正U個錯誤的充分必

15、要條件是等dmin=2u+1 ；B、 具有檢測L個錯誤的能力的充要條件是dmin=L+1;C、 具有糾正t個錯誤，同時可以發(fā)現(xiàn)L（L>t）個錯誤的能力的充分條件是dmin=t+L+1;D、以上三個結(jié)論都不正確。三、填空題1、單符號離散信源一般用隨機變量描述，而多符號信源一般用隨機矢量描述。2、 離散平穩(wěn)無記憶信源X的N次擴展信源的熵等于離散信源 X的熵的N倍。3、對于一階馬爾可夫信源，其狀態(tài)空間共有個不同的狀態(tài)。4、根據(jù)輸入輸出的信號特點，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù)信道。5、對于離散無記憶信道和信源的 N次擴展，其信道容量C" = NC&信道編碼論定

16、理是一個理想編碼存在性理論，即：信道無失真?zhèn)鬟f信息的條 件是信息傳輸速率小于信道容量。7、 信源編碼的目的是 提高通信的有效性。8、 對于香農(nóng)編碼、費諾編碼和霍夫曼編碼，編碼方法唯一的是 香農(nóng)編碼o9、 在多符號的消息序列中，大量重復(fù)出現(xiàn)的，只起暫時作用的符號稱為冗余位o個差錯10、若糾錯碼的最小距離為d-,則可以糾錯任意小于等于11、 線性分組碼是同時具有分組特性和線性特性的糾錯碼。12、平均功率為P的高斯分布的連續(xù)信源，其信源熵為”工二刀”耳亠）13、當(dāng)連續(xù)信源和連續(xù)信道都是無記憶時，則14、 信源編碼與信道編碼之間的最大區(qū)別是，信源編碼需減少信源的剩余度，而信道編碼需增加 信源的剩余度。

17、15、 離散信源的熵值H（X）越小，說明該信源消息之間的平均不確定性 減弱。16、信源符號間的相關(guān)程度越大，則信源的符號熵越小，信源剩余度越大。17、 唯一可譯碼的碼長必須滿足Kraft不等式“。18、R（ D）是滿足D準(zhǔn)則下平均傳送每個信源符號所需要的最少比特數(shù)，它是定義域上嚴(yán)格的遞減函數(shù)。19、 AWGN信道下實現(xiàn)可靠通信的信噪比下界-1.59dB，此時對應(yīng)的頻帶利用率為0。20、 對于含有n個信源符號的離散信源，其最大熵值為“叱”。對于連續(xù)信源，當(dāng)幅度受限 時，均勻分布具有最大熵，當(dāng)平均功率受限時，高斯分布具有最大熵。21、 同時擲出兩個正常的骰子，骰子分六面，每一面出現(xiàn)的概率是1/6，

18、則“兩個1同時出現(xiàn)”這一事件的自信息量為5.17比特。22、 已知信源的各個符號分別為字母A、B、C、D，現(xiàn)用四進(jìn)制碼元表示，每個碼元的寬度為10ms，如果每個符號出現(xiàn)的概率分別為1/5，1/4，1/4，3/10，則信源熵 H（X）為1.985比特/符號，在無擾離散信道上的平均信息傳輸速率為198.5比特/秒。23、已知 8 個碼組，（000000）、（ 001110）、（ 010101）、（ 011011）、（ 100011 八（101101 八（110110）、（ 111000）。則該碼組的最小碼距為3,若只用于檢錯可檢測 2位錯碼，若只用于糾錯可糾正1位錯碼。24、能獲得最佳碼的編碼方式

19、主要有香農(nóng)編碼、費諾編碼、和霍夫曼編碼。25、 八進(jìn)制脈沖是二進(jìn)制脈沖所含信息量的3倍。26、1948年，美國數(shù)學(xué)家香農(nóng)發(fā)表了題為“通信的數(shù)學(xué)理論”的長篇論文，從而創(chuàng)立了信 息論。27、 對于n元m階馬爾可夫信源，其狀態(tài)空間共有nm個不同的狀態(tài)。28、信道編碼的最終目的是為了提高信號傳輸?shù)目煽啃浴Ｋ?、簡答題）1、什么叫信息？答：信息是事物運動狀態(tài)或存在方式的不確定性的描述。2、 信源冗余度：信源冗余度也就是信源剩余度，它是指信源所含信息量與符號 所能攜帶的最大信息量之間差別的度量。3、線性分組碼：分組碼的信息碼元與監(jiān)督碼元之間的關(guān)系為線性關(guān)系時，這種 分組碼就稱為線性分組碼。而分組碼是一組固定

20、長度的碼組，可表示為（n , k）， 通常它用于前向糾錯。在分組碼中，監(jiān)督位被加到信息位之后，形成新的碼。在編碼時，k個信息位被編為n位碼組長度，而n-k個監(jiān)督位的作用就是實現(xiàn)檢錯 與糾錯。4、 熵功率：若平均功率為P的非高斯分布的信源具有熵為h,稱熵也為h的高 斯信源的平均功率為熵功率。5、什么是信源編碼，試述香農(nóng)第一編碼定理的物理意義？答：所謂信源編碼就是對信源的原始符號按一定的規(guī)則進(jìn)行變換，以新的編碼符號代替原始信源符號，從而降低原始信源的冗余度。香農(nóng)第一編碼定理的物理意義：無失真信源編碼的實質(zhì)就是對離散信源進(jìn)行 適當(dāng)?shù)淖儞Q，使變換后新的碼符號信源（信道的輸入信源）即可能等概分布，以 使

21、新信源的每個碼符號平均所含的信息量達(dá)到最大，從而使信道的信息傳輸率R 達(dá)到信道容量C,實現(xiàn)信源與信道理想的統(tǒng)計匹配。6若有一信源每秒鐘發(fā)出2.66個信源符號。將此信源的輸出符號送入某一個二元信道中 進(jìn)行傳輸（假設(shè)信道是無噪無損失），而信道每秒鐘只傳遞2個二元符號。試問信源不經(jīng)過編碼能否直接與信道連接？通過適當(dāng)編碼能否與信道連接？采用何 種編碼，為什么？答：因信源符號速率大于信道傳輸速率（2.66>2），所以不能直接連接R = J7（j）x 266 = 0_72x2_W =因為所以，可以通過當(dāng)編碼在次信道中無失真的傳輸。可對信源的 N詞擴展信源進(jìn)行無失真信源編碼，只要 N足夠大取適當(dāng)?shù)木幋a

22、就能與信道匹配。7、香農(nóng)第二定理（信道編碼定理）指出了“高效率、高可靠性”的信道編碼存在性。則：（1）高效率、高可靠性的含義是什么？（2）存在這種信道編碼的條件是什么？（3 ）重復(fù)碼是否是否滿足“高效率、高可靠性”的條件，為什么？（4）當(dāng)前是否存在接近香農(nóng)信道容量界的信道編碼？答：（1）高效率是指信息傳輸速率接近信道容量，高可靠性是指譯碼錯誤概率任意小。（2）存在這種信道編碼的必要條件是信息傳輸速率小于信道容量。（3） 重復(fù)碼不滿足“高效率、高可靠性”的條件，因為當(dāng)"八兇才> 0 o（4 ）當(dāng)前存在接近香農(nóng)信道容量界的信道編碼。五、計算題II1、（ 10分）由符號集合0，1組成

23、的二階馬氏鏈，轉(zhuǎn)移概率為：p（0/00）=0.8，p（0/11）=0.7，p（1/00）=0.2， p（1/11）=0.3，p（0/01）=0.5，p（0/10）=0.4，p（1/01）=0.5， p（1/10）=0.6。畫出狀態(tài)圖，并計算各狀態(tài)的穩(wěn)態(tài)概率。解：由已知條件可知題目的狀態(tài)轉(zhuǎn)移高率矩陣如下：(3分)狀態(tài)轉(zhuǎn)移圖為(3分)由狀態(tài)轉(zhuǎn)移概率矩陣知道，設(shè)各狀態(tài)為Si、S2、S3、S4，可知各狀態(tài)之間滿足關(guān)系:X =14/33% = 7/33爲(wèi)=7/3354=5/33（4分）+0_4Ss罠=0杏 +06S,q S3 = Oj552 +0_75Lj =>S4 二 0 卑 +O3S4貝+片十

24、片+ S4 =1六、編碼題1、已知一信源包含8個符號，其概率分布分別為：P=0.1，0.18，0.4，0.05，0.06，0.1，0.07，0.04。(1 )該信源每秒發(fā)送一個信源符號，求該信源的熵及其信息傳輸速率；(2)對八個符號進(jìn)行霍夫曼編碼，寫出相應(yīng)的碼字，并求出編碼效率。解:( 1嚴(yán)(Q 一尸(7噸勺)2氣畑 T呵信息傳輸速率尺2巧(加，' a)( 4分）編碼碼字分別為:（2）（ 4 分）平均碼字為：L=2.61編碼效率為:w J7W 255*t Jt 2_6197%（2 分）3.1設(shè)二元對稱信道的傳遞矩陣為1-32-3S10.40.40.40.40.40.40.6S20.18

25、0.180.180.190.230.370.4S30.10.10.130.180.190.23S40.10.10.10.130.18S50.070.090.10.1S60.060.070.09S70.050.06S80.041， 001， 011,0000， 0100， 0101， 00010， 00011(1) 若 P(0) = 3/4, P(1) = 1/4，求 H(X), H(X/Y), H(Y/X) 和 l(X;Y)；(2) 求該信道的信道容量及其達(dá)到信道容量時的輸入概率分布；3-2某信源發(fā)送端有2個符號，乓，1, 2；機0 ",每秒發(fā)出一個符號。接受端有3H/2 1/2 0

26、 1種符號 巧，j = 1, 2, 3,轉(zhuǎn)移概率矩陣為1/2 1/4 1/4(1)計算接受端的平均不確定度；(2)計算由于噪聲產(chǎn)生的不確定度陀|禺；(3)計算信道容量。解：P =1/2 1/2 01/2 1/4 "4P =3-3設(shè)二進(jìn)制對稱信道的概率轉(zhuǎn)移矩陣為_2/3 1/31/3 2/3(1) 若尸11 1 ,求 H(X), H(X|Y), H(Y|X) 和 l(X;Y).(2) 求該信道的信道容量及其達(dá)到信道容量時的輸入概率分布3-4設(shè)某對稱離散信道的信道矩陣為ri 1111r =11116631求其信道容量。3-5設(shè)有擾信道的傳輸情況分別如圖3.17所示。試求這種信道的信道容量

27、。1/23-6求下列兩個信道的信道容量，并加以比較。P£眩p£0(1)P-2r(2)pY p-E02f其中、名詞解釋（25道）1、“本體論”的信息2、“認(rèn)識論”信息3、離散信源4、自信息量 5、離散平穩(wěn)無記憶信源6、馬爾可夫信源7、信源冗余度10、強對稱信道13、連續(xù)信道16、率失真函數(shù)19、游程變換22、BSC信道25、循環(huán)碼8、連續(xù)信源 9、11、對稱信道14、平均失真度17、信息價值率20、L-D編碼23、碼的最小距離信道容量12、多符號離散信道15、實驗信道18、游程序列21、冗余變換24、線性分組碼二、填空（100道）1、 在認(rèn)識論層次上研究信息的時候，必須同時考

28、慮到 形式、含義和效用 三個方面的因素。2、 1948年，美國數(shù)學(xué)家 香農(nóng)發(fā)表了題為“通信的數(shù)學(xué)理論”的長篇論文，從而創(chuàng)立了信 息論。3、 按照信息的性質(zhì)，可以把信息分成語法信息、語義信息和語用信息。4、 按照信息的地位，可以把信息分成客觀信息和主觀信息 。5、 人們研究信息論的目的是為了高效、可靠、安全 地交換和利用各種各樣的信息。6、信息的 可度量性 是建立信息論的基礎(chǔ)。7、統(tǒng)計度量是信息度量最常用的方法。熵是香農(nóng)信息論最基本最重要的概念。9、隨機矢量描述。其發(fā)牛概率對數(shù)事物的不確定度是用時間統(tǒng)計發(fā)生概率的對數(shù) 來描述的。10、單符號離散信源一般用隨機變量描述，而多符號離散信源一般用11、

29、一個隨機事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為 的負(fù)值。12、自信息量的單位一般有比特、奈特和哈特13、必然事件的自信息是_0_。14、 不可能事件的自信息量是Q。15、 兩個相互獨立的隨機變量的聯(lián)合自信息量等于兩個自信息量之和 。16、 數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過多級處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。17、離散平穩(wěn)無記憶信源 X的N次擴展信源的熵等于離散信源X的熵的_N倍。» = fa心18、 離散平穩(wěn)有記憶信源的極限熵，19、 對于n元m階馬爾可夫信源，其狀態(tài)空間共有dt個不同的狀態(tài)。20、 一維連續(xù)隨即變量X在a, b區(qū)間內(nèi)

30、均勻分布時，其信源熵為log?_ （ b-a） 22、 對于限峰值功率的 N維連續(xù)信源，當(dāng)概率密度均勻分布時連續(xù)信源熵具有最大值。21、平均功率為P的高斯分布的連續(xù)信源，其信源熵,He (X)=23、 對于限平均功率的一維連續(xù)信源，當(dāng)概率密度高斯分布時，信源熵有最大值。24、 對于均值為0,平均功率受限的連續(xù)信源，信源的冗余度決定于平均功率的限定值P和信源的熵功率尸之比。25、若一離散無記憶信源的信源熵H（X）等于2.5,對信源進(jìn)行等長的無失真二進(jìn)制編碼,則編碼長度至少為 3 。26、m元長度為ki, i=1 , 2,n的異前置碼存在的充要條件是：27、 若把擲骰子的結(jié)果作為一離散信源，則其信

31、源熵為Jog26o28、 同時擲兩個正常的骰子，各面呈現(xiàn)的概率都為1/6,則“ 3和5同時出現(xiàn)”這件事的自 信息量是 Iog2l8 （1+2 log 23 ）。29、若一維隨即變量X的取值區(qū)間是0,°°，其概率密度函數(shù)為m是X的數(shù)學(xué)期望，則X的信源熵 昨上曲。30、一副充分洗亂的撲克牌（52張），從中任意抽取 1張，然后放回，若把這一過程看作 離散無記憶信源，則其信源熵為- 52。31、 根據(jù)輸入輸出信號的特點，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù) 信道。32、 信道的輸出僅與信道當(dāng)前輸入有關(guān)，而與過去輸入無關(guān)的信道稱為無記憶 信道。33、 具有一一對應(yīng)關(guān)系的無噪

32、信道的信道容量C= loggn。34、 強對稱信道的信道容量 C= log 2n-H ni。35、 對稱信道的信道容量C= Iog2m-Hmi。36、 對于離散無記憶信道和信源的N次擴展，其信道容量 CN= _NC。x37、 對于N個對立并聯(lián)信道，其信道容量Cn =38*、多用戶信道的信道容量用多維空間的一個區(qū)域的界限來表示。39*、多用戶信道可以分成幾種最基本的類型：多址接入信道、廣播信道和相關(guān)信源信道。40*、廣播信道是只有一個輸入端和多個輸出端的信道。41、 當(dāng)信道的噪聲對輸入的干擾作用表現(xiàn)為噪聲和輸入的線性疊加時，此信道稱為加性連 續(xù)信道。幽Q+令42、 高斯加性信道的信道容量C=43

33、、 信道編碼定理是一個理想編碼的存在性定理，即：信道無失真?zhèn)鬟f信息的條件是信息 率小于信道容量 。1/2 1/2 C0 0 144、 信道矩陣L代表的信道的信道容量 C= L。C= 1 。46、高斯加性噪聲信道中，信道帶寬3kHz，信噪比為7,則該信道的最大信息傳輸速率Ct= _9kHz 。47、 對于具有歸并性能的無燥信道，達(dá)到信道容量的條件是p (yj) =1/m )。1 048、 信道矩陣L° I代表的信道，若每分鐘可以傳遞6*105個符號，則該信道的最大信息傳輸速率Ct= 10kHz。49、 信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。50、 求解率失真函數(shù)

34、的問題，即：在給定失真度的情況下，求信息率的極小值。51、 信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性 就越大，獲得的信息量就越小。52、 信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息率也越小。53、 單符號的失真度或失真函數(shù)d( xi，yj)表示信源發(fā)出一個符號xi，信宿再現(xiàn)yj所引起的誤差或失真。054、 漢明失真函數(shù)d(xi，yj)= U '工丿。55、 平方誤差失真函數(shù) d ( xi，yj) =( yj- xi)2。56、 平均失真度定義為失真函數(shù)的數(shù)學(xué)期望，即d(xi,yj)在X和Y的 聯(lián)合概率空間 P(XY) 中的統(tǒng)計平均值

35、。57、 如果信源和失真度一定，則平均失真度是信道統(tǒng)計特性的函數(shù)。58、如果規(guī)定平均失真度 °不能超過某一限定的值D，即 H 。我們把DS 稱為他 真度準(zhǔn)則。59、離散無記憶 N次擴展信源通過離散無記憶N次擴展信道的平均失真度是單符號信源通過單符號信道的平均失真度的N倍。60、試驗信道的集合用PD來表示，則PD= b#")"劌。61、 信息率失真函數(shù)，簡稱為率失真函數(shù)，即：試驗信道中的平均互信息量的最小值。62、 平均失真度的下限取0的條件是失真矩陣的每一行至少有一個零元素。63、 平均失真度的上限 D max取 D j: j=1 ， 2， m中的 最小值。64、 率失真函數(shù)對允許的平均失真度是單調(diào)遞減和連續(xù)的 。65、 對于離散無記憶信源的率失真函數(shù)的最大值是_log2n。66、 當(dāng)失真度大于平均失真度的上限時Dmax時，率失真函數(shù)R ( D) =。67、連續(xù)信源X的率失真函數(shù)R ( D)68、當(dāng)時，高斯信源在均方差失真度下的信息率失真函數(shù)為69、保真度準(zhǔn)則下的信源編碼定理的條件是信源的信息率 R大于率失真函數(shù) R (D)。70、某二兀信源貝刖1/2 1/