信息論課件-緒論

1、楊楊 杰杰 目的目的： 了解學習信息論的作用、方法與意義作用、方法與意義，對信息論的研究方法和成果研究方法和成果有廣泛的基本認識，學會應用應用，為進一步研究打下基礎 特點特點： 以信息理論信息理論為中心，區(qū)別與“信源編碼”、“信道編碼” 以概念和物理意義為主，數(shù)學推導盡量放到課外 結合通信系統(tǒng)實際應用應用內容課時第一章：信息論與信息論方法概述3第二章：信息論的基本概念9第三章：信源、熵率及冗余度6第四章：無失真信源編碼定理6第五章：信道與信道容量9第六章：信道編碼定理6第七章：率失真函數(shù)與限失真信源編碼定理6復習+習題課+考試3+3+3付祖云，“信息論基礎理論與應用”，電子工業(yè)出版社朱雪龍，“

2、應用信息論基礎”，清華大學出版社吳偉陵，“信息處理與編碼”，人民郵電出版社王育民等， “信息與編碼理論”，西電出版社McElice, The Theory of Information &Coding Proakis, Digital Communication Viterbi, Principle of Digital communication &Coding 講課:（概念、方法） 自學:（數(shù)學推導、定理證明） 作業(yè)：（書面、上機） 隨堂活動：1、講課，2、課堂提問，3、擴展論文。 考試：平時成績：40(隨堂活動、作業(yè)、考勤） 期終閉卷：60（基本概念、基本計算、基本定理）。 聯(lián)系方式：e

3、mail:， 68948367（4#442） 信息、信息科學與信息論 信息論研究的對象、目的和內容 信息論發(fā)展簡史與現(xiàn)狀 信息論的形成與發(fā)展 信息論方法的應用及其取得的成果物質、能量和信息是物質世界的三大支柱，是科學歷物質、能量和信息是物質世界的三大支柱，是科學歷史上三個最重要的基本概念史上三個最重要的基本概念什么是信息？牛津英文字典牛津英文字典 Informinformation“某人被通知或告知的內容、情報、消息某人被通知或告知的內容、情報、消息” 香農(nóng)香農(nóng)“信息是事物運動狀態(tài)或存在方式的不確定性的描述信息是事物運動狀態(tài)或存在方式的不確定性的描述” ” 鐘義信鐘義信“信息就是事物運動的狀態(tài)

4、和方式，就是關于事物運動信息就是事物運動的狀態(tài)和方式，就是關于事物運動的千差萬別的狀態(tài)和方式的知識的千差萬別的狀態(tài)和方式的知識” 信息具有信息具有抽象性抽象性和和重要性重要性什么是信息？抽象性：信息本身既看不見，又摸不抽象性：信息本身既看不見，又摸不著，沒有氣味、沒有顏色、沒有形狀、著，沒有氣味、沒有顏色、沒有形狀、沒有大小、沒有重量沒有大小、沒有重量，它是非常抽，它是非常抽象的東西。象的東西。重要性：信息在信息化程度越來越高重要性：信息在信息化程度越來越高的社會中將起到越來越重要的作用，的社會中將起到越來越重要的作用，是比物質和能量更為寶貴的資源，全是比物質和能量更為寶貴的資源，全面掌握信息

5、的概念，正確、及時、有面掌握信息的概念，正確、及時、有效地利用信息，能夠為人類創(chuàng)造更多效地利用信息，能夠為人類創(chuàng)造更多的財富。的財富。 信息的信息的5條主要特征條主要特征 信息來源于信息來源于物質物質，又不是物質本身；它從物質的運動中產(chǎn)生出，又不是物質本身；它從物質的運動中產(chǎn)生出來又可以脫離物質而相對獨立地存在。來又可以脫離物質而相對獨立地存在。 信息來源于信息來源于精神精神世界，但又不局限于精神領域。世界，但又不局限于精神領域。 信息與信息與能量能量息息相關，但又與能量有本質的區(qū)別。息息相關，但又與能量有本質的區(qū)別。 信息具有信息具有知識知識的本性，但又比知識的內含更廣泛。的本性，但又比知識

6、的內含更廣泛。 信息可以被認識主體信息可以被認識主體獲取和利用獲取和利用。技術術語的信息技術術語的信息：表達信息所用的形式或載體 具體但無確切定義廣義的信息廣義的信息：信息的形式、內容最廣泛意義 什么是信息？統(tǒng)計信息統(tǒng)計信息：信息表達形式中統(tǒng)計方面的性質 明確定義的 科學名詞 與內容無關、獨立于形式IT -IT -計算機所涉及的各種各樣的技術計算機所涉及的各種各樣的技術 缺點：籠統(tǒng)、不明確 優(yōu)點：適應種類繁 多、不斷發(fā)展 統(tǒng)一的、全面的、高層次的 什么是信息技術？ 出現(xiàn)于圖書館學研究圖書文獻的檢索 計算機出現(xiàn)后新的含義 不同國家含義不盡相同 發(fā)展和長遠的觀點能與信息技術相對應的基礎科學（P14

7、）什么是信息科學？American tradition 著眼于信息的著眼于信息的語語法（法（ syntactic） ）結結構構 對對信息定量、客信息定量、客觀觀的分析的分析 為現(xiàn)為現(xiàn)代通信系代通信系統(tǒng)統(tǒng)的的設計設計提供基本原提供基本原則則British tradition 著眼于信息的著眼于信息的語義語義（ （semantic）和）和語語用用 （ （pragmatic） ） 研究信息的主研究信息的主觀觀性、信息性、信息對對人人類類思思維維和行和行為為的影響的影響 與哲學、心理學、生物學關系密切與哲學、心理學、生物學關系密切Syntactic：事物運：事物運動動狀狀態(tài)態(tài)和狀和狀態(tài)態(tài)改改變變方式方

8、式（外在形式）（外在形式）Semantic：事物運：事物運動動狀狀態(tài)態(tài)和方式的具體含和方式的具體含義義（內在含（內在含義義） ）Pragmatic：事物運：事物運動動狀狀態(tài)態(tài)和方式及其含和方式及其含義對觀義對觀察者的效用察者的效用（效用價（效用價值值） ）信息論統(tǒng)計信息理論 四十年代末期C.E.Shannon，以客觀概率信息為研究對象，從通信的信息傳輸問題中總結和開拓出來的理論。統(tǒng)計信息理論局限性不能解決一些問題 如：人工智能中啟發(fā)式搜索和學習發(fā)展的觀點信息科學所不可缺少的理論基石什么是信息理論？考慮事物運動狀態(tài)及考慮事物運動狀態(tài)及其變化方式的外在形其變化方式的外在形式，實際上研究的是式，實際

9、上研究的是語法信息語法信息 香農(nóng)定義信息的出發(fā)點是假定事物狀態(tài)可以用一個經(jīng)典集合論香農(nóng)定義信息的出發(fā)點是假定事物狀態(tài)可以用一個經(jīng)典集合論為基礎的概率模型來描述。實際存在的某些事物運動狀態(tài)要尋為基礎的概率模型來描述。實際存在的某些事物運動狀態(tài)要尋找一個合適的概率模型往往是非常困難的。某些情況下，這一找一個合適的概率模型往往是非常困難的。某些情況下，這一模型不一定存在。模型不一定存在。 香農(nóng)定義信息的度量沒有考慮收信者的主觀性和主觀意義，也香農(nóng)定義信息的度量沒有考慮收信者的主觀性和主觀意義，也撇開了信息的撇開了信息的具體含義具體含義、具體用途具體用途、重要程度重要程度和和引起的后果引起的后果等等元

10、素。這就與實際情況不完全一致。元素。這就與實際情況不完全一致。 香農(nóng)信息的定義和度量是科學的，能反映信息的某些本質；香農(nóng)信息的定義和度量是科學的，能反映信息的某些本質；但卻是有缺陷的、有局限的。這樣，它的適用范圍會受到嚴重但卻是有缺陷的、有局限的。這樣，它的適用范圍會受到嚴重影響。影響。在中對信息的表達分為三個層次：信號信號、消息消息、信息信息。信號：是信息的物理表達層，是三個層次中最具體的層次。它是一個物理量，是一個載荷信息的實體，可測量、可描述、可顯示。消息：(或稱為符號)是信息的數(shù)學表達層，它雖不是一個物理量，但是可以定量地加以描述，它是具體物理信號的進一步數(shù)學抽象，可將具體物理信號抽象

11、為兩大類型：1) 離散(數(shù)字)消息，是一組未知量，可用隨機序列來描述：U=(U1UlUL)2) 連續(xù)(模擬)消息，也是未知量，它可用隨機過程來描述：U(t,)信息：它是更高層次哲學上的抽象，是信號與消息的更高表達層次。三個層次中，信號最具體，信息最抽象。它們三者之間的關系是哲學上的內涵與外延的關系。通信中的信息含義？關系：關系：信息信息-可以認為是具體的物理信號、數(shù)學描述的消息的內涵，即信號具體載荷的內容、消息描述的含義。信號信號-則是抽象信息在物理層表達的外延；消息消息-則是抽象信息在數(shù)學層表達的外延。同一信息，可以采用不同的消息形式(比如文字、語言、圖象等)來載荷；同一信息，也可以采用不同

12、的信號形式(比如電信號、光信號)來表達；同一信號形式，比如“0”與“1”可以表達不同形式的信息，比如無與有、斷 與通、低與高(電平)等等。 通信中的信息含義？信號：火光（亮、滅）消息：s(x)=sgn(x)信息：有/無敵情信號：電磁波（基帶信號或頻帶信號）消息：s(t)（連續(xù)的語音）信息：通話內容 信息論的研究范疇 廣義 信息論 工程信息論 統(tǒng)計信息論 統(tǒng)計信息論：統(tǒng)計信息論：也稱狹義信息論也稱狹義信息論/ /經(jīng)典信息論經(jīng)典信息論/ /香農(nóng)信息論。主要研香農(nóng)信息論。主要研究究信息測度、信道容量、信息率失真函數(shù)信息測度、信道容量、信息率失真函數(shù)，與這三個概念相對應的香與這三個概念相對應的香農(nóng)農(nóng)三

13、大定理，信源編碼，信道編碼三大定理，信源編碼，信道編碼。 工程信息論：工程信息論：主要研究信息傳輸和處理問題。除香農(nóng)基本理論之主要研究信息傳輸和處理問題。除香農(nóng)基本理論之外，還包括外，還包括噪聲理論、信號濾波和預測、統(tǒng)計檢測和估計理論、調制噪聲理論、信號濾波和預測、統(tǒng)計檢測和估計理論、調制理論。理論。后一部分內容以維納為代表。后一部分內容以維納為代表。 廣義信息論：廣義信息論：是一門綜合性的新型學科是一門綜合性的新型學科信息科學。信息科學。至今沒有嚴至今沒有嚴格的定義。凡是能夠用格的定義。凡是能夠用廣義通信系統(tǒng)模型廣義通信系統(tǒng)模型描述的過程或系統(tǒng)，都能用描述的過程或系統(tǒng)，都能用信息基本理論來研

14、究。信息基本理論來研究。不僅包括一般信息論的內容，還包括如醫(yī)學、不僅包括一般信息論的內容，還包括如醫(yī)學、生物學、心理學、遺傳學、神經(jīng)生理學、語言學、語義學、社會學、生物學、心理學、遺傳學、神經(jīng)生理學、語言學、語義學、社會學、經(jīng)濟管理中有關信息的問題經(jīng)濟管理中有關信息的問題。反過來，所有研究信息的識別、控制、反過來，所有研究信息的識別、控制、提取、變換、傳輸、處理、存儲、顯示、價值、作用和信息量的大小提取、變換、傳輸、處理、存儲、顯示、價值、作用和信息量的大小的一般規(guī)律以及實現(xiàn)這些原理的技術手段的工程學科，都屬于廣義信的一般規(guī)律以及實現(xiàn)這些原理的技術手段的工程學科，都屬于廣義信息論的范疇。息論的

15、范疇。 信息論對象信息傳輸系統(tǒng)（廣義的通信系統(tǒng)）統(tǒng)一的信息傳輸系統(tǒng)模型 統(tǒng)計信息論Shannon信息論（本課程的主要內容）主要研究通信系統(tǒng)的數(shù)學描述與定量分析，研究系統(tǒng)的最優(yōu)狀態(tài)與優(yōu)化理論，即研究通信系統(tǒng)理論上的潛在能力與數(shù)學上的極限情況。它是以存在性研究為主體，又稱它為數(shù)學信息論。研究內容研究內容：1) 信源的描述，信息的定量度量、分析與計算。2) 信道的描述，信道傳輸?shù)亩慷攘?、分析與計算。3） 信源、信道與通信系統(tǒng)之間的統(tǒng)計匹配，以及通信系統(tǒng)的優(yōu)化優(yōu)化。 Shannon的三個編碼定理。信息論誕生五十年來，至今，仍然是指導通信技術發(fā)展的理信息論誕生五十年來，至今，仍然是指導通信技術發(fā)展的理

16、論基礎，是創(chuàng)新新通信體制的源泉。論基礎，是創(chuàng)新新通信體制的源泉?；卮鸬膯栴}如： 信息如何度量和比較？ 從關心信息的角度如何為信源/信道建模，即如何表達信息源/信息通道等？ 如何最有效地傳輸和存儲信息？可以壓縮的極限是什么？ 通過一個信道可以傳輸?shù)淖畲蟮男畔⒘渴嵌嗌伲?如何評價信道編碼的性能？信道編碼的性能極限是什么？系統(tǒng)優(yōu)化的實質系統(tǒng)優(yōu)化的實質就是要研究系統(tǒng)在不同優(yōu)化指標下，兩類參量（主、客觀）之間的統(tǒng)計匹配與匹配的條件。 優(yōu)化的目標：系統(tǒng)傳輸最有效：對無失真信源、對限失真信源系統(tǒng)傳輸最可靠；系統(tǒng)傳輸最安全；有以上三個指標、四個方面所討論的系統(tǒng)優(yōu)化就構成了最著名的C. E. Shannon三個

17、編碼定理與一個密碼學基本定理。工程信息論 以工程為背景，主要研究通信系統(tǒng)中各部分的最佳工作規(guī)律，與最佳設計原則，它以構造性為主體，以工程上技術問題為主。研究內容主要包括：信源編、譯碼理論及其設計構造方法；信道編、譯碼理論及其設計構造方法；最佳調制與解調理論與實現(xiàn)；最佳檢測、估值與最佳接收理論與實現(xiàn)；檢測、估值、濾波理論最佳信息處理理論、方法與算法；均衡、模式識別、人工智能、隨機控制 香農(nóng)理論：香農(nóng)理論：香農(nóng)研究的對象是從信源到信宿之間的香農(nóng)研究的對象是從信源到信宿之間的全過程，是收、發(fā)端聯(lián)合最優(yōu)化問題，其重點是放在全過程，是收、發(fā)端聯(lián)合最優(yōu)化問題，其重點是放在編碼。編碼。他指出，只要在傳輸前后

18、對消息進行適當?shù)木幋a和譯他指出，只要在傳輸前后對消息進行適當?shù)木幋a和譯碼，就能保證在干擾的存在下，最佳地傳送和準確或近似地再碼，就能保證在干擾的存在下，最佳地傳送和準確或近似地再現(xiàn)消息。為此發(fā)展了信息測度理論、信道容量理論和編碼理論?，F(xiàn)消息。為此發(fā)展了信息測度理論、信道容量理論和編碼理論。 維納理論：維納理論：維納研究的重點是在接收端。研究一個維納研究的重點是在接收端。研究一個信號如果在傳輸過程中被某些因素（如噪聲、非線性信號如果在傳輸過程中被某些因素（如噪聲、非線性失真等）所干擾時，在接收端怎樣把它恢復、再現(xiàn)，失真等）所干擾時，在接收端怎樣把它恢復、再現(xiàn)，從干擾中提取出來。從干擾中提取出來。

19、在此基礎上，創(chuàng)立了最佳線性過濾理在此基礎上，創(chuàng)立了最佳線性過濾理論（維納濾波器）、統(tǒng)計檢測與估計理論、噪聲理論。論（維納濾波器）、統(tǒng)計檢測與估計理論、噪聲理論。 目的 找到信息傳輸過程的共同規(guī)律 提高信息傳輸?shù)目煽啃?、有效性、安全?可靠性：信源發(fā)出信道準確、不失真地再現(xiàn)于信宿 有效性：盡可能短的時間、盡可能少的資源實現(xiàn)傳送 安全性：隱蔽、保護傳送到消息 達到信息傳輸系統(tǒng)最優(yōu)化通信技術的理論基礎通信技術的理論基礎信息的表現(xiàn)形式信息的表現(xiàn)形式通信通信關心關心簡單、基礎的廣義信息簡單、基礎的廣義信息信宿不能準確再現(xiàn)信源時：n 出現(xiàn)于通信系統(tǒng)研究出現(xiàn)于通信系統(tǒng)研究n 不與通信同時出現(xiàn)不與通信同時出現(xiàn)

20、交通物資運輸電網(wǎng)能量（電力）運輸通信？通信技術的發(fā)展提出新的問題： 遠距離傳輸、提高信道利用率等 Claude. E. Shannon的兩篇論文 Shannon 信息論 1948年-信息時代的里程碑! “A Mathematical Theory in Communication” Shannon第一、二定理 1959年“Coding theorems for a discrete source with a fidelity criterion”. Shannon第三定理是香農(nóng)的智慧與貢獻，使得數(shù)字系統(tǒng)成為通信與信息處理領域的主力軍. 香農(nóng)信息論建立前（1948年前），最大的通信電纜可以同時

21、傳輸1,800路通話 25年后，最大的通信電纜可以同時傳輸 230,000路通話.今天一根頭發(fā)絲粗細的光纖可以同時傳輸超過 6,400,000路通話. 1948年以前 Telegraph (Morse, 1830s); Telephone (Bell, 1876); Wireless Telegraph (Marconi, 1887); AM Radio (early 1900s) Single -Sideband Modulation(Carson,1922); Television (1925 -1927); Frequency Modulation (Armstrong, 1936);

22、Pulse-Code Modulation (PCM)(Reeves, 1937-1939); Spread Spectrum (1940s). 1948年以后，調制解調 Digital Modulation: BPSK, QPSK, QAM,FH, DS, FDMA, TDMA, CDMA 空間時間自適應處理、智能天線技術、MIMO 多用戶檢測、干擾抑制技術 多載波和OFDM 1948年以后，信源編碼 Huffman, Fano Code (1950); 波形編碼：PCM, DM, DPCM; 語音參量編碼、感知編碼; 圖象編碼：DCT, 幀間預測插值, 運動補償 數(shù)據(jù)壓縮編碼 語音編碼標準

23、 圖象編碼標準 1948年以后、信道編碼 Hamming Code, Cyclic Code (1950); Convolution Code (Fano, Viterbi, 1950); BCH Code, Reed Solumn Code (1959) 級連碼（內碼：RS碼+外碼：卷級碼） Trellis coded Modulation (1976, 1982) Turbo Code (1993) (10-5，0.5dB) LDPC (Gallager,1963) (10-6, 0.04dB) 1948年：年：信息論學科誕生：信息論學科誕生：1948年，香農(nóng)發(fā)表論文年，香農(nóng)發(fā)表論文“A

24、mathematical theory of communication”。同時維納提出了。同時維納提出了最佳濾波理論最佳濾波理論，成為信息論的一個重要分支。成為信息論的一個重要分支。 五十年代五十年代：信息論在學術界引起了巨大反響。信息論在學術界引起了巨大反響。 1959年：年：香農(nóng)為各種信源編碼的研究奠定基礎：香農(nóng)為各種信源編碼的研究奠定基礎：發(fā)表論文發(fā)表論文“Coding theorems for a discrete source with a fidelity criterion”，數(shù)據(jù)壓數(shù)據(jù)壓縮理論與技術成為信息論的重要分支?？s理論與技術成為信息論的重要分支。 六十年代六十年代：信

25、道編碼技術有較大進展。信道編碼技術有較大進展。信道編碼成為信息論重要信道編碼成為信息論重要分支。分支。 19611961年：年：香農(nóng)的重要論文香農(nóng)的重要論文“雙路通信信道雙路通信信道”開拓了多用戶信息理論的開拓了多用戶信息理論的研究。研究。 七十年代七十年代：有關信息論的研究，從點對點間的單用戶通信推有關信息論的研究，從點對點間的單用戶通信推廣到多用戶系統(tǒng)的研究。廣到多用戶系統(tǒng)的研究。密碼學成為信息論重要分支。信息安全的重要密碼學成為信息論重要分支。信息安全的重要性。性。香農(nóng)信息論香農(nóng)信息論：信息概念的深化；信息概念的深化；網(wǎng)絡信息理論和多重相關信源編碼理論的發(fā)展和應用；網(wǎng)絡信息理論和多重相關

26、信源編碼理論的發(fā)展和應用；通信網(wǎng)的一般信息理論研究；通信網(wǎng)的一般信息理論研究；信息率失真理論的發(fā)展及其在數(shù)據(jù)壓縮和圖像處理中的應用；信息率失真理論的發(fā)展及其在數(shù)據(jù)壓縮和圖像處理中的應用；信息論在大規(guī)模集成電路中的應用；信息論在大規(guī)模集成電路中的應用；磁記錄信道的研究等。磁記錄信道的研究等。 糾錯碼理論：糾錯碼理論：在工程方面應用及最優(yōu)編碼方法研究。在工程方面應用及最優(yōu)編碼方法研究。 維納信息論：維納信息論：對量子檢測和估計理論、非參數(shù)檢測和估計理對量子檢測和估計理論、非參數(shù)檢測和估計理論以及非線性檢測與估計理論的研究。論以及非線性檢測與估計理論的研究。統(tǒng)計數(shù)學的一個分支統(tǒng)計數(shù)學的一個分支Fis

27、er信息量、 Shannon熵、率失真理論 熵、階熵、次熵、熵等信號與信息處理的一般理論基礎信號與信息處理的一般理論基礎密碼學、最大熵譜估計、最大熵準則等 語音信號壓縮：實際成果：實際成果： 64Kbps-100bps-(極限）信息論：信息論：語音信號所需的編碼速率語音信號所需的編碼速率 Nyquist采樣定理與量化分析所給出的編碼速率采樣定理與量化分析所給出的編碼速率 降低信息傳輸所需的功率 信息論：信息論：極限極限 1.6db 采用低碼率的信道編碼可以降低采用低碼率的信道編碼可以降低 傳送單位比特的能量與噪聲概率譜密度比傳送單位比特的能量與噪聲概率譜密度比 實際應用：實際應用： 10.5d

28、b0.2db-0/ NEb-3-2-1012345678910111210-610-510-410-310-210-1誤碼率pb信噪比Eb/N0(dB)shanno限僅內碼（4，1，15）未編碼僅內碼（2，1，7）碼級連級連 Modems (模擬話路中數(shù)據(jù)傳輸速率的提高） 利用利用modem將數(shù)據(jù)信息變換為話帶兼容的模擬信號以實現(xiàn)在將數(shù)據(jù)信息變換為話帶兼容的模擬信號以實現(xiàn)在普通電話線上進行數(shù)據(jù)通信普通電話線上進行數(shù)據(jù)通信, Shannon給出了這種應用的極限給出了這種應用的極限性能，在該極限引導下，性能，在該極限引導下， modem的發(fā)展到的發(fā)展到V34時已接近極限時已接近極限信息論：信息論： 4KHz,25db下極限下極限25Kbps應用成果：應用成果： 300bps-28.8kbps- Wireless（無線通信） 香農(nóng)信息論為高性能調制與編碼技術的發(fā)展提供了思香農(nóng)信息論為高性能調制與編碼技術的發(fā)展提供了思想和思路，而高性能調制與編碼技術的發(fā)展帶動了無想和思路，而高性能調制與編碼技術的發(fā)展帶動了無線技術的迅猛發(fā)展，線技術的迅猛發(fā)展，CDMA就是一個根植于香農(nóng)信息就是一個根植于香農(nóng)信息論思想的非常成功的實例。論思想的非常成功的實例。. Data storage （數(shù)據(jù)存儲） 文本數(shù)據(jù)的存儲和讀取以及音視頻