信息論與編碼課程總結

1、信息論與編碼信息論與編碼這門課程給我?guī)Я撕苌羁痰母惺?。信息論是人類在通信工程實踐之中總結發(fā)展而來的，它主要由通信技術、概率論、隨機過程、數理統(tǒng)計等相結合而形成。它主要研究如何提高信息系統(tǒng)的可靠性、有效性、保密性和認證性，以使信息系統(tǒng)最優(yōu)化。學習這門課程之后，我學到了很多知識，總結之后，主要有以下幾個方面：首先是基本概念。信息是指各個事物運動的狀態(tài)及狀態(tài)變化的方式。消息是指包括信息的語言、文字和圖像等。信號是消息的物理體現，為了在信道上傳輸消息，就必須把消息加載到具有某種物理特性的信號上去。信號是信息的載荷子或載體。信息的基本概念在于它的不確定性，任何已確定的事物都不含有信息。信息的特征：（1）

2、接收者在收到信息之前，對其內容是未知的。（2）信息是能使認識主體對某一事物的未知性或不確定性減少的有用知識。（3）信息可以產生，也可以消失，同時信息可以被攜帶、存儲及處理。（4）信息是可以量度的，信息量有多少的差別。編碼問題可分解為3類：信源編碼、信道編碼、加密編碼。接下來，學習信源，重點研究信源的統(tǒng)計特性和數學模型，以及各類離散信源的信息測度熵及其性質，從而引入信息理論的一些基本概念和重要結論。本章內容是香農信息論的基礎。重點要掌握離散信源的自信息，信息熵（平均自信息量），條件熵，聯(lián)合熵的的概念和求法及其它們之間的關系，離散無記憶的擴展信源的信息熵。另外要記住信源的數學模型。通過學習信源與信

3、息熵的基本概念，了解了什么是無記憶信源。信源發(fā)出的序列的統(tǒng)計性質與時間的推移無關，是平穩(wěn)的隨機序列。當信源的記憶長度為m+1時，該時刻發(fā)出的符號與前m個符號有關聯(lián)性，而與更前面的符號無關，這種有記憶信源叫做m階馬爾可夫信源。若上述條件概率與時間起點無關，則信源輸出的符號序列可看成齊次馬爾可夫鏈，這樣的信源叫做齊次馬爾可夫信源。之后學習了信息熵有關的計算，定義具有概率為的符號的自信息量為：。自信息量具有下列特性：（1）（2）（3）非負性（4）單調遞減性（5）可加性。信源熵是在平均意義上來表征信源的總體特征，它是信源X的 函數，一般寫成H（X）。信源熵：，條件熵：聯(lián)合熵，聯(lián)合熵H(X,Y)與熵H(

4、X)及條件熵H(Y|X)的關系：?；バ畔? 。熵的性質：非負性，對稱性，確定性，極值性。接下來接觸到信道，知道了信道的分類，根據用戶數可以分為，單用戶和多用戶；根據輸入端和輸出端可以分為無反饋和反饋信道；根據信道參數與時間可以分為固定參數和時變參數；根據信道受噪聲種類分為隨機差錯信道和突發(fā)差錯信道根據輸入輸出信號的特點分為離散信道，連續(xù)信道，半離散半連續(xù)，波形信道。學習了信道容量的相關計算，信道容量C=含義，表征信道能傳輸的最大信息量，或者信道的最大傳輸能力。以上是信息論部分的知識，下面就進入到編碼的部分，我們首先接觸到時是信源編碼的相關概念。分組碼:將信源消息分成若干組，即符號序列，序列中的

5、每個符號取自符號集A，。而每個符號序列依照固定的碼表映射一個碼字，這樣的碼稱為分組碼，也叫快碼。碼可以分為固定長度碼和變長碼； 分組碼又分為奇異碼和非奇異碼；若信源符號和碼字是一一對應的，該碼為非奇異碼，反之為奇異碼。非奇異碼又分為非唯一可譯碼和唯一可譯碼；任意有限長的碼元序列，只能被唯一分割成一個個碼字，稱唯一可譯碼；值得注意的是奇異碼不是唯一可譯碼，而非奇異碼中有唯一可譯碼和非唯一可譯碼。唯一可譯碼又分為非即時碼和即時碼；接收端收到一個完整的碼字后，不能立即譯碼，還需等下一個碼字開始接受后才能判斷是否可以譯碼，稱為非即時碼，即時碼又稱非延時碼，任意一個碼字都不是其他碼字的前綴部分，叫異前綴

6、碼。唯一可譯碼的充要條件：。定長編碼定理：由L個符號組成的、每個符號的熵為的無記憶平穩(wěn)信源符號序列（）,可用個符號(每個符號有m種可能值)進行定長編碼。對任意,則當L足夠大時，必可使譯碼差錯小于；當時，譯碼差錯一定是有限值。當L足夠大時，譯碼幾乎必定出錯。然后學習了如何計算編碼效率，編碼效率：,其中為平均符號熵。 最佳編碼效率：，單個符號變長編碼定理：若離散無記憶信源的符號熵為,每個信源符號用m進制碼元進行變長編碼，一定存在一種無失真編碼方法，其碼字平均長度滿足下列不等式.平均輸出信息率為。 碼字平均長度：10碼字平均長度：及 信源符號的平均碼長：。然后了解了集中常見的編碼方法。費諾編碼：平均

7、碼長，為碼長；信息傳輸速率：。哈夫曼編碼：把信源符號(i=1,2,m)出現的概率按由大到小的順序排列；(2)對兩個概率最小的符號分別標“0”和“1”，然后把這兩個概率相加作為一個新的輔助符號的概率；(3)將這個新的輔助符號與其他符號一起重新按概率大小順序排列；(4)跳到第2步，直到出現概率相加為1為止；(5)用線將符號連接起來，得到一個碼樹，樹的m個端點對應m個信源符號；6)從最后一個概率為1的節(jié)點開始，沿著碼樹分別到達每個信源符號，將一路遇到的“0”和“1”順序排列起來，就是對應端點的信源符號的碼字。最后學習了信道的糾錯編碼，糾錯碼分類：從功能角度，分為檢錯碼和糾錯碼；從對信息序列的處理方法

8、，分為分組碼和卷積碼；從碼元與原始信息的關系，分為線性碼和非線性碼。噪聲均化的三種方法：增加碼長N，卷積，交錯。基底不是唯一的，生成矩陣也就不是唯一的。非系統(tǒng)碼的生產矩陣可以通過運算轉變?yōu)橄到y(tǒng)形式，此過程叫系統(tǒng)化。與任何一個（n,k）分組線性碼的碼空間C相對應，一定存在一個對偶空間D.空間的n-k個基底排列起來可構成一個（n-k）n矩陣，將這個矩陣稱為碼空間C的校驗矩陣H.。線性碼的任意碼字c一定正交于其對偶碼的任意一個碼字，也必定正交于校驗矩陣H的任意一個行矢量，即,0為零矩陣，若，則c為碼字，反之，則不是碼字。校驗矩陣的定義。信息論與編碼是一門比較有難度的課程，接觸的知識點比較廣，比較全，先行課程也比較多。通過學習這門課程，我加深了對基本概念的