信息論基礎復習提綱

1、信息科學基礎課程總結（一）學習內容：第一章隨機變量的信息度量1學習信息論的發(fā)展歷史，了解信息論的產生、發(fā)展與應用；信息的定義與特征；2信息的度量問題；3香農嫡一一隨機變量的不確定性度量；4信息量的一些基本性質；5熟練進行有關嫡的計算：香農嫡、聯(lián)合嫡、微分嫡等（不要忽視條件嫡、互信息、相對嫡等概念）；6廣義嫡。第二章隨機過程的信息度量和漸近等分性1什么是信源？信源的分類；2什么是隨機過程？什么是馬爾可夫信源？3隨機過程的信息度量問題一嫡率；4 了解冗余度和相對冗余度；5 了解嫡的基本性質，互嫡與互信息；6理解信源編碼定理。7了解什么是最大嫡，記住常用的幾種最大嫡分布：有限區(qū)間上的最大嫡、半開直線

2、與全直線上的最大嫡。第三章數(shù)據(jù)壓縮和信源編碼1信源編碼的基本問題，了解即時碼的定義；2等長碼概念及其碼率；Kraft不等式；3變長碼編碼及平均碼長的定義；4熟練進行哈夫曼碼與算術碼的編碼及構造碼樹；5了解通用碼概念，會編LZW碼和YK碼；16會計算通用碼的壓縮率（碼率）。第四章數(shù)據(jù)可靠傳輸和信道編碼1了解離散無記憶信道和信道容量；2會用定義、極值法和Lagrange乘子法計算信道容量;3了解信道編碼的作用和常見類型；4理解信道編碼定理的內容。信息科學基礎習題課一、填空題（20分）：1 .利用數(shù)字結構進行信息處理是當今社會信息社會的一大特色，因此有人稱當今的信息社會又是一個數(shù)字化的社會,這就是把

3、現(xiàn)實世界中的各種不同類型的信息與信號都設法用數(shù)字來表達，并在數(shù)字化的條件下進行處理。2 .信息具有可設計、傳遞、復制、存儲、修改與擴展等特性，對這些特性的處理過程統(tǒng)稱為信息處理信息科學為研究信息處理提供理論基礎，其中包括它們的數(shù)學模型、基本的度量關系與性質、相關的優(yōu)化算法等。3 .時間與空間實際上是信息處理中的最基本的資源，在信息處理中除了加快速度與節(jié)省空間之外，尋找它們的最優(yōu)信息處理方案是信息科學理論中的重要內容與基本目標。4 .信息論一般是指在信息的加工、傳遞、存儲等處理問題中的基礎理論問題。5 .1948年香農發(fā)表了具有奠基性的論文通信系統(tǒng)的數(shù)學理論，拉開了信息科學研究的帷幕。信息的度量

4、問題包括：信息能否度量？如何度量？信息度量的內在含義是什么？信息度量的基本特征（其中包括信息度量與其他學科的相互關系等問題）與信息度量的各種應用問題等。6 .一個量的引進，它的出發(fā)點必須基本合理，對這個量的度量對象、意義和內容有一個較為明確而又合理的解釋；一個量的引進是否有意義，最終還要看它能否解決問題，解決了什么樣的問題，以及它在這些問題中的作用與特征；理解一個量的意義，既要從它原始定義的出發(fā)點來理解，又要從它最終解決問題的意義上來理解。信息不可能通過一種量而確定所有的信息度量問題。香農嫡是信息的一種最基本與重要的度量。7 .一個通信系統(tǒng)的數(shù)學模型由信源、信道、翻碼與譯碼組成，它們可用概率論

5、模型給以描述，并由信息量確定它們的特征。8 .由消息變信號，再由信號還原成消息的運算稱為編碼。編碼的數(shù)學本質是一種X，其核心問題是碼元的設計與選擇。9 .信息的傳遞過程可歸結為：首先由信源發(fā)出消息（原始消息），由編碼將原始消息變?yōu)樾盘?，并進入信道成為信道的輸入信號（簡稱輸入信號，或入口信號，輸入信號經信道的編碼通過信道,經過信道的傳送，到達另一端，經過信道譯碼形成輸出信號或出口信號，再經過信源譯碼運算把輸出信號變?yōu)橄?，這種消息是原始消息的還原；所以又稱還原消息，還原消息最終由接收者接收。10 .由于干擾的存在，信道的輸出信號可能與輸入信號不同；從而形成還原消息與原始消息的不同，這種現(xiàn)象稱為通

6、信誤差，是通信系統(tǒng)中需要克服的。通信誤差的克服一般通過硬件與軟件兩個途徑來解決。軟件的改進就是信道編碼方式的改進。11 .為實現(xiàn)有效編碼，在編碼理論中同時從兩方面來進行考慮首先從信源角度考慮，在不丟失信源的原始信息條件下對信源的數(shù)據(jù)量盡可能精簡壓縮，這就是信源編碼問題。另一方面則從信道角度考慮，主要目的是克服誤差干擾，使數(shù)據(jù)實現(xiàn)無誤差或誤差很小的傳遞，這就是信道編碼問題。12 .香農信息論的主要目的是討論編碼的可行性問題。討論在什么樣的條件下信源在信道中的可通過，或有效編碼的存在性問題。信源編碼定理研究的是只要編碼的碼率大于信源的崎，則必存在信源編譯碼方案，使當被編碼的信源分組長度趨于無窮時，

7、譯碼誤差概率可以任意小，信道編碼定理研究的是如果編碼速率R小于信道容量、則對任意小的正數(shù)、存在碼率為R的信道碼、只要分組長度充分大、就可以使誤差概率任意小百分之百13 .信源編碼問題分有失真與無失真編碼問題。所謂無失真編碼問題就是要求編碼運算能夠恢復原來的數(shù)據(jù)信息，經編碼運算后不丟失任何信息；而有失真編碼運算問題就是允許編碼運算有一定的誤差發(fā)生，在允許誤差的條件下，尋找信源的最小“信號體積”。14 .無失真信源編碼的主要類型分等(或定)長碼與變長碼兩種。15 .使用定長碼的主要優(yōu)點是編碼運算簡單，它可以依據(jù)消息與信號的長度自動區(qū)分各自所對應的字符但它的缺點是編碼利用率低。16 .無論是等長碼還

8、是變長碼，它們的編碼原則都必須具有可還原性。17 .所謂通用碼就是針對以上問題，在不知道信源的概率分布的情況下,對隨時出現(xiàn)的數(shù)據(jù)序列直接進行編碼。常用的通用碼有LZW碼與YK碼。18 .哈夫曼(Huffman)碼與算術碼是兩種重要的變長碼。19 .H(X),H(Y),H(X,Y),H(X|Y),H(Y|X)與I(X:Y)的相互關系可用集合之間的相互關系來表示:H(X,Y)H(X)20 .無記憶離散信源序列的最小可達速率就是信源的香農崎(或幅率)。但這是在nT極限意義下的結論。實際應用時，應該在給定有限的n值的意義下，建立盡可能好的編碼方案。、判斷題(10分)：(對的在括號內打錯的在括號內打父)

9、(1)C=0,10,00,01是即時碼;C=0,10,110,1110,10110,1101是唯一可譯碼；(3)C=1,01,001,0001是即時碼;(4)C=0,100,101,110,111,011是唯一可譯碼;(5)信源定長碼的編碼問題是求最大可達速率；(6)連續(xù)型隨機變量的微分嫡具有非負性；(7)全直線上的隨機變量，其期望和方差固定，則它的最大嫡分布為指數(shù)分布；(8)=3,l=1/3=I4=I5=h=I7=3,1=I9=l0=l1=4的碼滿足Kraft不等式;(9)信道編碼和信源編碼就是映射關系，都是對應的映射關系；(10)信源輸出符號所攜帶的信息的有效程度即冗余度。三、計算題:1.

10、X與Y的聯(lián)合分布給定如下計算H(X),H(Y),H(X,Y),H(X/Y),I(X,Y)2H(X)一PilogPii1解：計算邊緣密度二01Yi01/31/32/311/92/91/3Xi4/95/91根據(jù)嫡的定義及H(X),H(Y),H(X,Y),H(XY),I(X;Y)之間的關系，可得4455Inln=0.5117(nat)9999同理，H(Y)=0.6931(nat)22H(X,Y)=J,、pjlogpj=1.1996(nat)iTidH(XY)=H(X,Y)-H(Y)=0.5056(nat)I(X;Y)=H(X)-H(XY)=0.0052(nat)2,已給信源概率分布S為XiX2X3X

11、4X50.400.200.200.100.10如取碼字母表U=0,1,試進行二元Huffman編碼，并計算平均碼長和方差信源概率碼概率碼概率碼概率碼xi0.0500000.150000.30000.3000x20.100001x30.150010.15001乂40.20100.20100.20100.431乂50.23110.23110.2311匚=pl=2.45(1分)622.仃i=Epi(li-L)=0.5475.(2分)i13 .設信源序列為aacdbbaaadc,對其進行LZW編碼。4 .試構造以下序列的YK數(shù)據(jù)壓縮編碼：nX=00010001010111110001010100011

12、1。、一.、一bx20x1.一5 .設隨機變量X的概率密度為,求(1)常數(shù)b;(2)微分燧h(x)00其它6 .信源的概率分布p=(0.25,0.25,0.20,0.15,0.15),在D=2時給出算術編碼，并計算平均碼長xiPF(x)F(x)的二進制表示li碼長碼字10.250.1250.001300120.250.3750.011301130.200.6000.100114100140.150.7750.11000114110050.150.9250.111011041110(8分)L=3.5(2分)7 .已知LZW碼的碼字集合為：(0,b),(0,a).(1,c),(2,b),(1,a),(5,d),(4,c),畫出碼樹圖,并進行譯碼，寫出信源消息。8 .根據(jù)教材110頁1)(2)的信道，寫出轉移概率矩陣，計算信道容量。9 .已知M信道的信道轉移概率矩陣為：0.800200.80.2,計算信道容量四、證明題1 .證明H(X),H(Y),H(X,Y),H(X|Y),H(Y|X)與I(X;Y)之間的鏈法則。2 .證明以下結論：如果Xn是無記憶信源，記X是由X確定的隨機變量，Ln是Xn的最優(yōu)不等長編碼Ln1的平均長度，那么不等式：H(x)&一H(x)