信息論基礎與應用-李梅-第一章 緒論

1、李 梅l教材及主要參考書教材及主要參考書： 信息論基礎與應用信息論基礎與應用 李梅李梅 電子工業(yè)出版社，電子工業(yè)出版社， 20162016年年6 6月月 信息論信息論-基礎理論與應用基礎理論與應用，傅祖蕓，傅祖蕓 電子工業(yè)出版社，電子工業(yè)出版社，20012001年年8 8月月l考核考核：平時成績平時成績 20（作業(yè)、考勤、（作業(yè)、考勤、實驗實驗） 期末考試期末考試 80（閉卷）（閉卷）l答疑答疑：實驗一：信道容量的迭代算法實驗一：信道容量的迭代算法 2 學時實驗二：實驗二：Huffman 編碼編碼 2 學時實驗三：通信系統(tǒng)仿真實驗三：通信系統(tǒng)仿真 4 學時 （備選題目：LZW壓縮編碼）T. M

2、. Cover, Fundamental of Information Theory 最為流行的英文教材，為Stanford、MIT等學校的研究生課程選用 數學推導適中，強調概念，作為參考教材R.G. Gallager, Information Theory and Reliable Communication 數學推導較為艱深 作為提高教材一、一、什么是信息什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究內容三、信息論的研究內容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究內容三、信息論的研究內容四、信息論的

3、形成和發(fā)展四、信息論的形成和發(fā)展1. 概述概述2. 信息的通俗概念信息的通俗概念3. 信息的狹義概念（香農信息）信息的狹義概念（香農信息）4. 信息的廣義概念信息的廣義概念l組成客觀世界的三大基本要素：組成客觀世界的三大基本要素：物質物質能量能量信息信息l沒有物質什么都不存在，沒有能量什么都不會發(fā)生，沒沒有物質什么都不存在，沒有能量什么都不會發(fā)生，沒有信息什么都沒有意義。有信息什么都沒有意義。 美國學者歐廷格美國學者歐廷格研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型 信息的通俗概念：消息就是信息。信息的通俗概念：消息就是信息。l用文字、符號、數據、語言、音

4、符、圖片、圖像等能夠用文字、符號、數據、語言、音符、圖片、圖像等能夠被人們感覺器官所感知的形式，把客觀物質運動和主觀被人們感覺器官所感知的形式，把客觀物質運動和主觀思維活動的狀態(tài)表達出來，就稱為思維活動的狀態(tài)表達出來，就稱為消息消息。研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l消息消息中包含信息，消息是信息的載體。中包含信息，消息是信息的載體。l信號信號是表示消息的物理量，包括電信號、光信號等。是表示消息的物理量，包括電信號、光信號等。l信號信號中攜帶著消息，信號是消息的載體。中攜帶著消息，信號是消息的載體。信息信息信號信號消息消息研究內容研究內容形成和

5、發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型香農信息：信息是對事物運動狀態(tài)或存在方式的香農信息：信息是對事物運動狀態(tài)或存在方式的不確定不確定 性性的描述。的描述。l通信的基本問題是在一點通信的基本問題是在一點( (信宿）精確或近似恢復另一點信宿）精確或近似恢復另一點（信源）所選擇的消息。（信源）所選擇的消息。 香農香農l通信的過程就是消除通信的過程就是消除不確定性不確定性的過程。的過程。l例例1 1： 甲袋紅、白球各甲袋紅、白球各5050個，乙袋紅、白、藍、黑球各個，乙袋紅、白、藍、黑球各2525

6、個。比較從甲袋中取出一個球是紅球的事件和從乙袋個。比較從甲袋中取出一個球是紅球的事件和從乙袋中取出一個球是紅球的事件發(fā)生的難易程度，也就是事中取出一個球是紅球的事件發(fā)生的難易程度，也就是事件發(fā)生的不確定性。件發(fā)生的不確定性。研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l例例2 2： 北京地區(qū)十月份可能出現的天氣包括：晴、陰、北京地區(qū)十月份可能出現的天氣包括：晴、陰、雨、雪。比較天氣預報為雨、雪。比較天氣預報為“晴晴”和天氣預報為和天氣預報為“雪雪”，給人們帶來的信息量。給人們帶來的信息量。研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模

7、型通信系統(tǒng)模型結論結論：不確定性的大小與事：不確定性的大小與事件發(fā)生的概率有關。件發(fā)生的概率有關。研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型不確定性的大小與事件發(fā)生的概率有關不確定性的大小與事件發(fā)生的概率有關因此，信息量可以表示為概率的函數。因此，信息量可以表示為概率的函數。不確定性是概率的函數不確定性是概率的函數l信息與概率的關系：信息與概率的關系：事件發(fā)生的事件發(fā)生的概率越大概率越大，該事件包含的，該事件包含的信息量越小信息量越小；如果一個事件發(fā)生的如果一個事件發(fā)生的概率為概率為1 1，那么它包含的，那么它包含的信息量為信息量為0 0；兩個相互獨立事

8、件所提供的信息量應等于它們各自提供的兩個相互獨立事件所提供的信息量應等于它們各自提供的信息量之和。信息量之和。研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l某個消息的不確定性（含有的信息量）可以表示為：某個消息的不確定性（含有的信息量）可以表示為：1( )loglog( )( )iiiI xp xp x 研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型qiiixpxpXH1)(log)()(信源的平均信源的平均不確定性：不確定性：11111()()log55xp xI x 22244()()log55xp xI x 114

9、4()loglog5555H X l香農信息的優(yōu)點：香農信息的優(yōu)點：有明確的數學表達式，定量化有明確的數學表達式，定量化與人們直觀理解的信息含義一致與人們直觀理解的信息含義一致不考慮收信者主觀感受的不同，認為同一消息對不考慮收信者主觀感受的不同，認為同一消息對任何收信者，所得信息量相同。任何收信者，所得信息量相同。研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l香農信息的局限：香農信息的局限：沒有考慮收信者的主觀特性和主觀意義沒有考慮收信者的主觀特性和主觀意義研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型研究內容研究內容形

10、成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型信息信息是認識主體（人、生物、機器）所感受的和表達的事是認識主體（人、生物、機器）所感受的和表達的事物運動的狀態(tài)和運動狀態(tài)變化的方式。物運動的狀態(tài)和運動狀態(tài)變化的方式。語法信息語法信息語義信息語義信息語用信息語用信息一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究內容三、信息論的研究內容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1. 通信系統(tǒng)模型通信系統(tǒng)模型2. 提高通信系統(tǒng)的性能指標的措施提高通信系統(tǒng)的性能指標的措施研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型圖

11、圖1 通信系統(tǒng)模型通信系統(tǒng)模型l信源信源l編碼器編碼器l信道信道l譯碼器譯碼器l信宿信宿研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型研究內容：研究內容：l信源發(fā)出的消息的信源發(fā)出的消息的統(tǒng)計特性統(tǒng)計特性 離散離散信源、信源、連續(xù)連續(xù)信源、信源、波形波形信源信源 有記憶有記憶信源和信源和無記憶無記憶信源信源 平穩(wěn)平穩(wěn)信源和信源和非平穩(wěn)非平穩(wěn)信源信源l信源產生信息的信源產生信息的速率速率 熵率熵率研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l編碼器的功能：將消息變成適合信道傳輸的信號編碼器的功能：將消息變成適合信道傳輸的信

12、號 l編碼器包括：編碼器包括：信源編碼器信源編碼器信道編碼器信道編碼器調制器調制器研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型圖圖2 編碼器的組成編碼器的組成研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l信源編碼器：信源編碼器：去除信源消息中的冗余度，提高傳輸的有效性。去除信源消息中的冗余度，提高傳輸的有效性。研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l信道編碼器：信道編碼器：將信源編碼后的符號加上冗余符號，提高傳輸的可靠性。將信源編碼后的符號加上冗余符號，提高傳輸的可靠性。研究

13、內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型圖圖3 信道編碼示例信道編碼示例研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l思考題：思考題： 信源編碼去除冗余度，信道編碼卻加上冗余度，為信源編碼去除冗余度，信道編碼卻加上冗余度，為什么要這么做？什么要這么做？l調制器：調制器：功能：將信道編碼后的符號變成適合信道傳輸的信號功能：將信道編碼后的符號變成適合信道傳輸的信號目的：目的： 提高傳輸效率提高傳輸效率研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l狹義信道狹義信道l廣義信道廣義信道研究內

14、容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型研究內容：研究內容：l信道的信道的統(tǒng)計特性統(tǒng)計特性無噪聲無噪聲信道、信道、有噪聲有噪聲信道信道離散離散信道、信道、連續(xù)連續(xù)信道、信道、波形波形信道信道有記憶有記憶信道和信道和無記憶無記憶信道信道恒參恒參信道（信道（平穩(wěn)平穩(wěn)信道）和信道）和隨參隨參信道（信道（非平穩(wěn)非平穩(wěn)信道）信道）單用戶單用戶信道和信道和多用戶多用戶信道信道l信道傳輸信息的信道傳輸信息的最高速率最高速率 信道容量信道容量研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l譯碼器的功能：從接收到的信號中恢復消息。譯碼器的功

15、能：從接收到的信號中恢復消息。l包括：包括：解調器解調器信道譯碼器信道譯碼器信源譯碼器信源譯碼器研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型圖圖4 譯碼器的組成譯碼器的組成研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l信宿是消息傳送的對象（人或機器）。信宿是消息傳送的對象（人或機器）。l香農信息論不研究信宿。香農信息論不研究信宿。研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l提高提高有效性有效性： （數據壓縮）（數據壓縮）信源編碼：信源編碼：無失真無失真信源編碼和信源編碼和限失真限

16、失真信源編碼信源編碼l提高提高可靠性可靠性： （可靠傳輸）（可靠傳輸）信道編碼信道編碼2.提高通信系統(tǒng)性能指標的措施研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究內容三、信息論的研究內容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1. 信息論研究的主要問題信息論研究的主要問題2. 什么是信息論什么是信息論3. 信息論的應用信息論的應用通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容 狹義信息論：又稱香農信息論。狹義信息論：又稱香農信息論。 一般信息論：

17、也叫工程信息論。一般信息論：也叫工程信息論。 廣義信息論廣義信息論廣義廣義信息論信息論一般一般信息論信息論狹義狹義信息論信息論1 1）什么是信息？如何度量信息？）什么是信息？如何度量信息？通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容2 2）怎樣確定信源輸出信息的速率？）怎樣確定信源輸出信息的速率？3 3）對于一個信道，它傳輸信息的最高速率（信道容量）是）對于一個信道，它傳輸信息的最高速率（信道容量）是多少？多少？4 4）無失真信源編碼，所需要的最少碼符號數是多少？）無失真信源編碼，所需要的最少碼符號數是多少？ 香農第一定理香農第一定理： 如果編碼后的信源序列

18、的如果編碼后的信源序列的編碼信息率不小于信源的熵，那么一定存編碼信息率不小于信源的熵，那么一定存在一種無失真信源編碼方法；否則，不存在一種無失真信源編碼方法；否則，不存在這樣的一種無失真信源編碼方法。在這樣的一種無失真信源編碼方法。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容5 5）在有噪聲信道中，有沒有可能實現幾乎無差錯的傳輸信）在有噪聲信道中，有沒有可能實現幾乎無差錯的傳輸信息？息？ 香農第二定理香農第二定理：如果信道的信息傳輸率小于信：如果信道的信息傳輸率小于信道容量，那么總可以找到一種編碼方式，使得道容量，那么總可以找到一種編碼方式，使得當編碼序列足

19、夠長時傳輸差錯任意小；否則，當編碼序列足夠長時傳輸差錯任意??；否則，不存在使差錯任意小的信道編碼方式。不存在使差錯任意小的信道編碼方式。 通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容6 6）如果信源編碼時，允許一定的失真，那么信源編碼所需）如果信源編碼時，允許一定的失真，那么信源編碼所需要的最少碼符號數又是多少？要的最少碼符號數又是多少？ 香農第三定理香農第三定理：對于任意的失真度：對于任意的失真度 ，只要，只要碼字足夠長，那么總可以找到一種編碼方法，使碼字足夠長，那么總可以找到一種編碼方法，使編碼后的編碼信息率編碼后的編碼信息率 ，而碼的平均失真，而碼的平

20、均失真度度 。0D 0D()R DdD通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容 信息論是通信的數學基礎，它以概率論為主要數學工具，信息論是通信的數學基礎，它以概率論為主要數學工具，詳細研究了通信中的各個關鍵環(huán)節(jié)，以定理的形式給出了信詳細研究了通信中的各個關鍵環(huán)節(jié)，以定理的形式給出了信源編碼、信道編碼的理論極限，為各種具體的通信技術提供源編碼、信道編碼的理論極限，為各種具體的通信技術提供了理論上的指導。了理論上的指導。信息論創(chuàng)立的標志信息論創(chuàng)立的標志: :香農于香農于19481948年發(fā)表年發(fā)表 的論文的論文： A Mathematical Theory

21、of Communication（通信的數學理論）（通信的數學理論）通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容l以概率論、隨機過程為基本研究工具。以概率論、隨機過程為基本研究工具。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容l研究的是通信系統(tǒng)的整個過程，而不是單個環(huán)節(jié)，并研究的是通信系統(tǒng)的整個過程，而不是單個環(huán)節(jié)，并以編、譯碼器為重點。以編、譯碼器為重點。l關心的是最優(yōu)系統(tǒng)的性能和怎樣達到這個性能（并不關心的是最優(yōu)系統(tǒng)的性能和怎樣達到這個性能（并不具體設計系統(tǒng)）。具體設計系統(tǒng)）。l要求信源為隨機過程，不研究信宿。要求信源

22、為隨機過程，不研究信宿。信息論幫助通信工程師從全局的觀點觀察和設計通信系統(tǒng)。信息論幫助通信工程師從全局的觀點觀察和設計通信系統(tǒng)。信息論是從事信息通信系統(tǒng)研究和開發(fā)的必備的知識。信息論是從事信息通信系統(tǒng)研究和開發(fā)的必備的知識。香農信息論的目標是研究通信系統(tǒng)的信息傳遞，而不是幫香農信息論的目標是研究通信系統(tǒng)的信息傳遞，而不是幫助人們理解信息含義。香農信息論有它的局限性。助人們理解信息含義。香農信息論有它的局限性。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容 通信的基本問題是在一點精確地或近似地恢復另一點（信源）通信的基本問題是在一點精確地或近似地恢復另一點（信源

23、）所選擇的消息。通常，這些消息是有含義的，但是這些語義方所選擇的消息。通常，這些消息是有含義的，但是這些語義方面的問題與通信問題無關，而重要的方面是實際消息是從一個面的問題與通信問題無關，而重要的方面是實際消息是從一個可能的消息集合中選擇出的一條消息。可能的消息集合中選擇出的一條消息。 香農香農通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容信息論的應用舉例語音信號壓縮（G.711,GSM,Vocoder）計算機文件壓縮模擬話路中數據傳輸速率的提高其他（音頻信號壓縮MP3、圖象信號的壓縮JPEG,MPEG等）通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究內容三、信息論的研究內容四、信息論的形成和發(fā)展四、信息論的形