信息論與編碼zjh201209ZJH第一章

信息論與編碼InformationTheoryandCoding

主講教師：張建華河南工業(yè)大學信息科學與工程學院電話mail:Informationtheory@163.com2012年8月27日信息論與編碼

InformationTheoryandCoding

課程介紹

本課程是信息、通信、電子工程類專業(yè)的基礎課程。通過對本課程的學習，使學生能掌握有關信息論的基本理論以及編碼的理論和實現原理。重點討論了信源的熵、熵的性質和無失真信源編碼理論、限失真信源編碼理論以及各種常用的信源編碼方法，如香農編碼、費諾編碼、哈夫曼編碼、游程編碼、預測編碼等，討論了信道編碼理論以及各種常用的信道編碼方法，如線性分組碼、卷積碼、級聯碼等。本課程為以后開設的專業(yè)課程打下了堅實的基礎。

信息論與編碼(第2版)InformationTheoryandcoding曹雪虹張宗橙編著普通高等教育“十一五”國家級規(guī)劃教材指定教材清華大學出版社參考書信息論與編碼，曹雪虹,張宗橙編，北京郵電大學出版社，2001信息論—基礎理論與應用，傅祖蕓編著，電子工業(yè)出版社，2001第一章緒論第一節(jié)信息論的形成和發(fā)展第二節(jié)通信系統(tǒng)的模型首先了解如下兩個問題1．信息的概念是什么？2．信息論和信息技術分別研究什么樣的問題？1．信息的概念是什么？

信息是指各個事物運動的狀態(tài)及狀態(tài)變化的方式。人們從來自對周圍世界的觀察得到的數據中獲得信息。信息是抽象的意識或知識，它是看不見、摸不到的。人腦的思維活動產生的一種想法，當它仍儲存在腦子中的時候它就是一種信息。2．信息論和信息技術分別研究什么樣的問題？

信息不是靜止的，它會產生也會消亡，人們需要獲取它，并完成它的傳輸、交換、處理、檢測、識別、存儲、顯示等功能。研究這方面的科學就是信息科學，信息論是信息科學的主要理論基礎之一。它研究信息的基本理論，主要研究可能性和存在性問題，為具體實現提供理論基礎。與之對應的是信息技術，主要研究如何實現、怎樣實現的問題。第一節(jié)信息論的形成和發(fā)展

20世紀20年代奈奎斯特(Nyquist，H．)和哈特萊(Hartley，L．V．R．)提出了信息的定義

1924年奈奎斯特解釋了信號帶寬和信息速率之間的關系

1928哈特萊最早研究了通信系統(tǒng)傳輸信息的能力，給出了信息度量方法

1936年阿姆斯特朗(Armstrong)提出了增大帶寬可以使抗干擾能力加強

1941～1944年香農對通信和密碼進行深入研究，用概率論的方法研究通信系統(tǒng)，揭示了通信系統(tǒng)傳遞的對象就是信息，并對信息給以科學的定量描述，提出了信息熵的概念。指出通信系統(tǒng)的中心問題是在噪聲下如何有效而可靠地傳送信息以及實現這一目標的主要方法是編碼等。香農因此成為信息論的奠基人。

1948年“Amathematicaltheoryofcommunication(通信的數學理論)”，這是一篇關于現代信息論的開創(chuàng)性的權威論文，為信息論的創(chuàng)立做出了貢獻。第一節(jié)信息論的形成和發(fā)展

50年代信息論在學術界引起了巨大的反響

60年代信道編碼技術有較大進展，使它成為信息論的又一重要分支；信源編碼的研究落后于信道編碼。香農1959年的文章(Codingtheoremsforadiscretesourcewithafidelitycriterion)系統(tǒng)地提出了信息率失真理論，它是數據壓縮的數學基礎，為各種信源編碼的研究奠定了基礎

到70年代，有關信息論的研究，從點與點間的單用戶通信推廣到多用戶系統(tǒng)的研究。1972年蓋弗（Caer）發(fā)表了有關廣播信道的研究，以后陸續(xù)有關于多接入信道和廣播信道模型的研究，但由于這些問題比較難，到目前為止，多用戶信息論研究得不多，還有許多尚待解決的課題。

保真度準則下的離散信源編碼定理第一節(jié)信息論的形成和發(fā)展

幾個概念

狹義信息論和廣義信息論信息論是在信息可以量度的基礎上，研究有效地和可靠地傳遞信息的科學，它涉及信息量度、信息特性、信息傳輸速率、信道容量、干擾對信息傳輸的影響等方面的知識。通常把上述范圍的信息論稱為狹義信息論，又因為它的創(chuàng)始人是香農，故又稱為香農信息論。廣義信息論則包含通信的全部統(tǒng)計問題的研究，除了香農信息論之外，還包括信號設計、噪聲理論。信號的檢測與估值等。

第一節(jié)信息論的形成和發(fā)展本書講述的信息理論的基本內容是與通信科學密切相關的狹義信息論：（1）什么是信息？如何度量信息？（2）在信息傳輸中，基本的極限條件是什么？（3）信息的壓縮和恢復的極限條件是什么？（4）從環(huán)境中抽取信息的極限條件是什么？（5）設計什么樣的設備才能達到這些極限？（6）實際上接近極限的設備是否存在？

第一節(jié)信息論的形成和發(fā)展按照信息論或控制論的觀點，在通信和控制系統(tǒng)中傳送的本質內容是信息，系統(tǒng)中實際傳輸的則是測量的信號，信息包含在信號之中，信號是信息的載體。信號到了接收端（信息論里稱為信宿）經過處理變成文字、語聲或圖像，人們再從中得到有用的信息。

信息提取過程及信息提取方法在接收端將含有噪聲的信號經過各種處理和變換，從而取得有用信息的過程就是信息提取，提取有用信息的方法主要有檢測和估計兩類。

第一節(jié)信息論的形成和發(fā)展信息、消息和信號的關系信息是指各個事物運動的狀態(tài)及狀態(tài)變化的方式。人們從來自對周圍世界的觀察得到的數據中獲得信息。信息是抽象的意識或知識，它是看不見、摸不到的。人腦的思維活動產生的一種想法，當它仍儲存在腦子中的時候它就是一種信息。消息是指包含有信息的語言、文字和圖像等，例如我們每天從廣播節(jié)目、報紙和電視節(jié)目中獲得各種新聞及其他消息。消息是具體的，它載荷信息，但它不是物理性的。信號是消息的物理體現，為了在信道上傳輸消息，就必須把消息加載（調制）到具有某種物理特征的信號上去。信號是信息的載荷子或載體，是物理性的。如電信號、光信號等。

第一節(jié)信息論的形成和發(fā)展數據載有信息的可觀測、可傳輸、可存儲及可處理的信號均稱為數據

信息的基本特征信息的基本概念在于它的不確定性，任何已確定的事物都不含